最近在看最优化，

复习了一梯度、海森矩阵的知识。

一、一维函数的一阶导，是判断递增递减。

  若f'(x) > 0，则函数的曲线在该段呈单调递增；

  若f'(x) < 0，则函数的曲线在该段呈单调递减；

  若f'(x) = 0，则函数在该点的切线斜率为0，即函数平行于X轴；

二、一维函数的二阶导，反映：

  （1）斜线斜率变化的速度

  （2）函数的凹凸性。

当函数f(x) 在某区间I上有二阶导，

  a.若f''(x) > 0，则函数在局部为凸函数，函数在该段有极小值。

   从二维坐标面看，函数的几何图像呈现“向下凹陷”的形状。在该段函数图像上任意两点的连线，两点之间的图像会出现在连线的下方等同于拥有极小值。在函数上表现为f(x)+f(y)恒大于等于2f((x+y)／2)。

  b.若f''(x) < 0，则函数在局部为凹函数，在该段函数拥有极大值。

  从二维坐标面看，函数的几何图像呈现“向上凸起”的形状。在该段函数图像上任意两点的连线，两点之间的图形将出现在连线的上方。在函数上则表现为f(x)+f(y)恒小于等于2f((x+y)／2)。

  下图中，左图为“凸函数”， 右图为“凹函数”。

   

  c.若f''(x) = 0，则函数在该点左右两边二阶导数正负号改变，则称该点为“拐点”，几何直观上就是改变凹凸性的点（切线变化方向改变的点）。在该点函数有可能有极值，需要对Xo的左右去心领域内判断一阶导数的与零的大小。

将一维函数的一阶导、二阶导，推广到n维向量函数。

  对于函数 f(x)，若x为n维列向量 x=(x1,x2,...,xn),可得到:

    1. f'(x)为f(x)在n维向量x处的梯度；

    2. f''(x)为f(x)在n维向量x处的Hesse矩阵。

  

  一维函数的一阶导、二阶导几何意义在二维平面上，

  而n维函数的一阶导、二阶导，先用大脑想象一下3维空间，再推广到更抽象的n维空间。