海森矩阵

在数学中，海森矩阵（Hessian matrix 或 Hessian）是一个自变量为向量的实值函数的二阶偏导数组成的方块矩阵，此函数如下：

http://upload.wikimedia.org/math/3/2/8/32833c34491439daba17f33da8520c0c.png

如果 f 所有的二阶导数都存在，那么 f 的海森矩阵即：

http://upload.wikimedia.org/math/f/e/8/fe88a60048136f3dc47f0522940c863b.png

其中 http://upload.wikimedia.org/math/1/e/f/1ef67edd2e3c85c43fb856285d944154.png，即

http://upload.wikimedia.org/math/7/5/d/75dc4e662a991741dc6d0314b6c8a7d2.png

（也有人把海森定义为以上矩阵的行列式） 海森矩阵被应用于牛顿法解决的大规模优化问题。

[编辑]混合偏导数和海森矩阵的对称性

海森矩阵的混合偏导数是海森矩阵非主对角线上的元素。假如他们是连续的，那么求导顺序没有区别，即

http://upload.wikimedia.org/math/f/c/1/fc178ec4483449a2002475cfc69bf86d.png

上式也可写为

http://upload.wikimedia.org/math/1/2/d/12d9f2acf00349e85f0acd7137b43385.png

在正式写法中，如果 f 函数在区域 D 内连续并处处存在二阶导数，那么 f的海森矩阵在 D 区域内为对称矩阵。

[编辑]在 http://upload.wikimedia.org/math/1/3/4/134676911181af05d24d406f16edf587.png 的函数的应用

给定二阶导数连续的函数http://upload.wikimedia.org/math/8/f/a/8fa14cdd754f91cc6554c9e71929cce7.png 的临界点是属于鞍点还是极值点。

对于 http://upload.wikimedia.org/math/4/6/8/468a52ccabe523944a0c3a9a99948a53.png，然而凭一阶导数不能判断它是鞍点、局部极大点还是局部极小点。海森矩阵可能解答这个问题。

http://upload.wikimedia.org/math/f/c/a/fca3faba7738d632b2d640ce706d0d6c.png

• H > 0 ：若http://upload.wikimedia.org/math/f/c/6/fc6c713e7eb34f6cb756d754fc2f61db.png是局部极大点。
• H < 0 ：http://upload.wikimedia.org/math/f/c/6/fc6c713e7eb34f6cb756d754fc2f61db.png是鞍点。
• H = 0 ：二阶导数无法判断该临界点的性质，得从更高阶的导数以泰勒公式考虑。

[编辑]在高维情况下的推广

当函数http://upload.wikimedia.org/math/6/0/7/607acaa73c762411b20745149a11e90b.png阶的对称矩阵。

• 当H是正定矩阵时，临界点http://upload.wikimedia.org/math/0/b/2/0b21a666a81629962ade8afd967826ed.png是一个局部的最小值。
• 当H是负定矩阵时，临界点http://upload.wikimedia.org/math/0/b/2/0b21a666a81629962ade8afd967826ed.png是一个局部的最大值。
• H=0,需要更高阶的导数来帮助判断。
• 在其余情况下，临界点http://upload.wikimedia.org/math/0/b/2/0b21a666a81629962ade8afd967826ed.png不是局部极值。