加载中…

加载中...

正文 字体大小:

Deep Learning 【2,3】

(2013-02-06 08:21:50)
【2】

1981 年的诺贝尔医学奖,颁发给了 David Hubel 和 Torsten Wiesel,以及 Roger Sperry。前两位的主要贡献,是 “发现了视觉系统的信息处理”[1]。

1958 年,David Hubel 和 Torsten Wiesel 在 John Hopkins University,研究瞳孔区域与大脑皮层神经元的对应关系。他们在猫的后脑头骨上,开了一个 3 毫米的小洞,向洞里插入电极,测量神经元的活跃程度。

然后,他们在小猫的眼前,展现各种形状、各种亮度的物体。并且,在展现每一件物体时,还改变物体放置的位置和角度。他们期望通过这个办法,让小猫瞳孔感受不同类型、不同强弱的刺激。

之所以做这个试验,目的是去证明一个猜测。位于后脑皮层的不同视觉神经元,与瞳孔所受刺激之间,存在某种对应关系。一旦瞳孔受到某一种刺激,后脑皮层的某一部分神经元就会活跃。

经历了很多天反复的枯燥的试验,同时牺牲了若干只可怜的小猫,David Hubel 和 Torsten Wiesel 发现了一种被称为 “方向选择性细胞(Orientation Selective Cell)”的神经元细胞。当瞳孔发现了眼前的物体的边缘,而且这个边缘指向某个方向时,这种神经元细胞就会活跃。

这个发现激发了人们对于神经系统的进一步思考。神经-中枢-大脑的工作过程,或许是一个不断迭代、不断抽象的过程。

这里的关键词有两个,一个是抽象,一个是迭代。从原始信号,做低级抽象,逐渐向高级抽象迭代。人类的逻辑思维,经常使用高度抽象的概念。

例如,从原始信号摄入开始(瞳孔摄入像素 Pixels),接着做初步处理(大脑皮层某些细胞发现边缘和方向),然后抽象(大脑判定,眼前的物体的形状,是圆形的),然后进一步抽象(大脑进一步判定该物体是只气球)。

这个生理学的发现,促成了计算机人工智能,在四十年后的突破性发展。


Reference,

[1] The Nobel Prize in Physiology or Medicine 1981.
http://www.nobelprize.org/nobel_prizes/medicine/laureates/1981/


【3】

1995 年前后,Bruno Olshausen 和 David Field 两位学者任职 Cornell University,他们试图同时用生理学和计算机的手段,双管齐下,研究视觉问题。

他们收集了很多黑白风景照片,从这些照片中,提取出 400 个小碎片,每个照片碎片的尺寸均为 16x16 像素,不妨把这 400 个碎片标记为 S[i], i = 0,.. 399。

接下来,再从这些黑白风景照片中,随机提取另一个碎片,尺寸也是 16x16 像素,不妨把这个碎片标记为 T。

他们提出的问题是,如何从这 400 个碎片中,选取一组碎片,S[k], 通过叠加的办法,合成出一个新的碎片,而这个新的碎片,应当与随机选择的目标碎片 T,尽可能相似,同时,S[k] 的数量尽可能少。用数学的语言来描述,就是,

   Sum_k (a[k] * S[k]) --> T,     其中 a[k] 是在叠加碎片 S[k] 时的权重系数。

为解决这个问题,Bruno Olshausen 和 David Field 发明了一个算法,稀疏编码(Sparse Coding)。稀疏编码是一个重复迭代的过程,每次迭代分两步。

1. 选择一组 S[k],然后调整 a[k],使得 Sum_k (a[k] * S[k]) 最接近 T。
2. 固定住 a[k],在 400 个碎片中,选择其它更合适的碎片S’[k],替代原先的 S[k],使得 Sum_k (a[k] * S’[k]) 最接近 T。

经过几次迭代后,最佳的 S[k] 组合,被遴选出来了。令人惊奇的是,被选中的 S[k],基本上都是照片上不同物体的边缘线,这些线段形状相似,区别在于方向。[1]

Bruno Olshausen 和 David Field 的算法结果,与 David Hubel 和 Torsten Wiesel 的生理发现,不谋而合!

人工智能更加逼近自然智能了!
 
Deep <wbr>Learning <wbr>【2,3】

图一. Illustration of Sparse Coding。


Reference,

[1] Emergence of Simple-Cell Receptive Field Properties by Learning a Sparse Code for Natural Images.
http://redwood.berkeley.edu/bruno/papers/nature-paper.pdf

0

阅读 评论 收藏 转载 喜欢 打印举报
  • 评论加载中,请稍候...
发评论

    发评论

    以上网友发言只代表其个人观点,不代表新浪网的观点或立场。

      

    新浪BLOG意见反馈留言板 电话:4006900000 提示音后按1键(按当地市话标准计费) 欢迎批评指正

    新浪简介 | About Sina | 广告服务 | 联系我们 | 招聘信息 | 网站律师 | SINA English | 会员注册 | 产品答疑

    新浪公司 版权所有