加载中…
个人资料
raniy
raniy
  • 博客等级:
  • 博客积分:0
  • 博客访问:220,682
  • 关注人气:78
  • 获赠金笔:0支
  • 赠出金笔:0支
  • 荣誉徽章:
相关博文
推荐博文
谁看过这篇博文
加载中…
正文 字体大小:

Ⅰ.deep learning这件小事……

(2013-03-30 16:25:46)
标签:

机器学习

deep-learning

玻尔兹曼机

分类: 机器学习
deep learning这件小事终于有点眉目了。。。。。。

事情最早从Boltzmann machine说起
[1984 Cognitive science, 379]boltzmann machines--constraint satisfaction networks that learn
[1985 Cognitive science, 1819]a learning algorithm for boltzmann machines
[1986, 1065]Learning and relearning in Boltzmann machines
这三篇文章介绍了Boltzmann machine以及它的学习算法
主要缺点就是学习速度太慢,太慢了。比乌龟慢多了。。。。。


接下来出现了restricted Boltzmann machine(RBM)
[1992 NIPS]unsupervised learning of distributions on binary vectors using two layer networks
明明是一篇8页的论文,怎么就下载不到呢,面对着苦逼的41页
我决定。。。。。不看了
论文中主要是介绍了restricted Boltzmann machine(RBM)的概念;并给出了一个RBM的学习算法,不过看样子这个学习算法不是很给力的样子,不想认真看下去了。。


很重要的一个东西出来了 contrastive divergence
[2002 Nuural Computation, 675]training products of experts by minimizing contrastive divergence
具体还没看明白
????????????????????


还有一个与之关联的东西叫做products of experts(POE)
[1999 ICANN, 202]products of experts
[2002 Nuural Computation, 675]#######training products of experts by minimizing contrastive divergence
自然也还没太明白了


在介绍DBN之前还要介绍一种machine:
[1995 Neural computation, 404]The Helmholtz Machine
[1995 Science,462]The wake-sleep algorithm for unsupervised Neural Networks
[2000, 9]helmholtz machines and wake-sleep learning
之所以介绍这个,是因为接下来要谈的06年的论文中提到了wake-sleep算法


大头::::
[2006 Neural Computing, 657]######a fast learning algorithm for deep belief nets
[2006 Science, 8]new life for neural networks
[2006 science, 623]Reducing the dimensionality of data with neural networks
目测应该是2006年两篇science上的论文让DBN火了!


接下来的事情:
1.把RBM的训练方法看明白
[2010, 55]a practical guide to training restricted boltzmann machines
[2002 Nuural Computation, 675]training products of experts by minimizing contrastive divergence
2.把contrastive divergence和products of experts看一下,搞清楚它们与Boltzmann machine以及RBM的关系
3.把wake-sleep算法稍微回顾一下
4.啃大头。。。。。
5.理清几者之间关系
6.返回原函数




为什么会突然看DBN了呢?
前几天在整理机器学习领域大牛的资料时,从Michael Jordan找到了Andrew Ng,在Andrew Ng的主页上看到他最近发表的文章是关于deep learning的;Andrew Ng的主页:http://robotics.stanford.edu/~ang/,上面有文章可以下载,也包括他近期的研究
好奇心害死猫,于是就有了这些曲折的故事

把DBN稍微看一下之后要回到概率图模型的学习上去。。。
 
 
 
 

0

阅读 评论 收藏 转载 喜欢 打印举报/Report
  • 评论加载中,请稍候...
发评论

    发评论

    以上网友发言只代表其个人观点,不代表新浪网的观点或立场。

      

    新浪BLOG意见反馈留言板 电话:4000520066 提示音后按1键(按当地市话标准计费) 欢迎批评指正

    新浪简介 | About Sina | 广告服务 | 联系我们 | 招聘信息 | 网站律师 | SINA English | 会员注册 | 产品答疑

    新浪公司 版权所有