凸优化学习(二)--保凸运算以及梯度下降法为何收敛

标签:
凸优化机器学习 |
分类: 计算机技术 |
第一部分
保凸运算包括几种:
1.交集:这类正名一般都是用凸集的定义来正名的,而凸集的定义是:
http://s11/mw690/001oZrbjzy6RphtSW2S5a&690
其证明过程的思路是:
设两个凸集C1,C2,其交集是C3,现在任取C3的两点,由于这两点属于C1,所以这两点之间连线都在C1里面,同理这两点连线都在C2里面,也即这两点连线在C1和C2的交集,也即C3里面,得证。
2.仿射函数:函数f=Ax+b,称函数是仿射的,即线性函数加常数的形式
3.线性分式及透射函数:
http://s10/mw690/001oZrbjzy6Rpi1yw4N29&690
4.投射变化
http://s2/mw690/001oZrbjzy6Rpi3kWKR51&690
换个角度,该函数是theta的二次函数,所以其必然是凸函数,故可以通过梯度下降的方式得到极值。