加载中…
个人资料
  • 博客等级:
  • 博客积分:
  • 博客访问:
  • 关注人气:
  • 获赠金笔:0支
  • 赠出金笔:0支
  • 荣誉徽章:
正文 字体大小:

凸优化学习(二)--保凸运算以及梯度下降法为何收敛

(2015-04-11 09:55:46)
标签:

凸优化

机器学习

分类: 计算机技术

第一部分

保凸运算包括几种:

1.交集:这类正名一般都是用凸集的定义来正名的,而凸集的定义是:

http://s11/mw690/001oZrbjzy6RphtSW2S5a&690
其证明过程的思路是:

设两个凸集C1,C2,其交集是C3,现在任取C3的两点,由于这两点属于C1,所以这两点之间连线都在C1里面,同理这两点连线都在C2里面,也即这两点连线在C1和C2的交集,也即C3里面,得证。

2.仿射函数:函数f=Ax+b,称函数是仿射的,即线性函数加常数的形式

3.线性分式及透射函数:

http://s10/mw690/001oZrbjzy6Rpi1yw4N29&690

4.投射变化

http://s2/mw690/001oZrbjzy6Rpi3kWKR51&690

 第二部分

 为什么梯度下降法为何收敛?

 梯度下降法的目标函数如下:

 http://s15/mw690/001oZrbjzy6Rprhe6qa6e&690

换个角度,该函数是theta的二次函数,所以其必然是凸函数,故可以通过梯度下降的方式得到极值。

0

阅读 收藏 喜欢 打印举报/Report
  

新浪BLOG意见反馈留言板 欢迎批评指正

新浪简介 | About Sina | 广告服务 | 联系我们 | 招聘信息 | 网站律师 | SINA English | 产品答疑

新浪公司 版权所有