加载中…
个人资料
渔婆的愚公
渔婆的愚公
  • 博客等级:
  • 博客积分:0
  • 博客访问:99,840
  • 关注人气:14
  • 获赠金笔:0支
  • 赠出金笔:0支
  • 荣誉徽章:
相关博文
推荐博文
谁看过这篇博文
加载中…
正文 字体大小:

locally weighted regression

(2013-06-01 10:01:08)
标签:

it

分类: MachineLearning
Andrew Ng有关于他的导师经常比较喜欢的局部加权线性回归的问题(非参数算法)。
http://v.163.com/movie/2008/1/E/B/M6SGF6VB4_M6SGHM4EB.html
对于线性回归中,通过残差最小化进行函数拟合时,可以对损失函数进行变形,因为可能对某一个新值进行预测的时候,他仅仅与相近的域值关系很大,与其他的域值关系很小,所以可以把损失函数改写为:
Sum[w^(i)*(y^(i)-T(Thelta)*x^(i))^2,i]
其中w^(i)=Exp[-(x^(i)-x)^2/(2*tau)],按x^(i)与x接近时,w^(i)趋向于1;x^(i)与x远离时,w^(i)趋向于0

当然这个方法有几个弊端
1.对每个新的x都要重新进行拟合,代价较大,但是可以通过看Andrew Moore关于KD tree的研究工作了解对其的高效算法。
2.同样会出现欠拟合和过拟合现象
3.权重函数形式和tau值定的很随意,还没有进行较好的研究

注记:为什么新浪微博的创作窗口不能直接进行数学文档的编写?

0

阅读 评论 收藏 转载 喜欢 打印举报/Report
  • 评论加载中,请稍候...
发评论

    发评论

    以上网友发言只代表其个人观点,不代表新浪网的观点或立场。

      

    新浪BLOG意见反馈留言板 电话:4000520066 提示音后按1键(按当地市话标准计费) 欢迎批评指正

    新浪简介 | About Sina | 广告服务 | 联系我们 | 招聘信息 | 网站律师 | SINA English | 会员注册 | 产品答疑

    新浪公司 版权所有