加载中…
个人资料
远东轶事
远东轶事
  • 博客等级:
  • 博客积分:0
  • 博客访问:159,852
  • 关注人气:781
  • 获赠金笔:0支
  • 赠出金笔:0支
  • 荣誉徽章:
图片播放器
分类
访客
加载中…
搜博主文章
博文
标签:

杂谈

在计算机视觉和机器学习中,把问题建模转换成目标函数,然后优化以求得模型参数是一个极其重要的方法。在这个过程中,误差往往出在两个地方,一个是从数据(或者现实世界)到建模的误差,另一个是从建模到解模的误差。目标函数太复杂则解模解不好,目标函数太简单则会让模型偏离实际太远。因此找一个富有表达能力,能较好处理各种实际问题,同时又有全局最优解(或者至少解有好性质)的目标函数,是我们一直以来要追求的。

但是要达到这个目标是很难的事情。有全局最优解又足够灵活的目标函数屈指可数。在连续域上的一大类是凸函数,这个包括了凸集上的二次函数和线性函数,用梯度下降就能得到最优解,大家耳熟能详;另一类在离散域上有特殊结构的函数,比如说一些二元函数的和,有submodularity性质的函数,可以用动态规划、贪心法或者最大流最小割求解。但是碰到个一般的目标函数,既非凸又非线性的,那基本上就没戏了。一个著名的例外是SVD,可以得到非凸函数的全局最优解,原因是这个非凸函数(超球或者超椭球上的二次函数)比较简单,所有的驻点(特征值)都能求出来,然后比大小就行,最近一个例子是09年隐马尔可夫链的最优参数估
阅读  ┆ 评论  ┆ 转载 ┆ 收藏 
(2014-07-05 23:54)
标签:

杂谈

最近在项目的快速推进中,又体会到很多制订计划和做事的方法。

我在之前的博客中,曾写到制定计划需要“宽松,简洁,劳逸结合”。宽松,为的是不让自己过于紧张而失去动力;简洁,为了能抓住问题主干,随时根据现实情况改变计划;而劳逸结合,是为了能长远发展。在高强度高压力的工作环境下,这三条原则,要切实贯彻起来并不容易。事情千头万绪,哪里能有宽松,完全没空锻炼,计划赶不上变化,好像总是事情牵着自己走,怎么办?

孙子兵法说“不战而屈人之兵”,老子说“无为而治”,类比一下,完成一件事最省时间的办法,就是不去做它。这话当然有点夸张,但是尽量把细节砍去,在最关键的事情上花最多时间,却是极其重要的。为此,需要克服各种坏习惯。这些坏习惯,往往不经意却能控制未来整个人生走向。更要小心的是,这些习惯以传统的眼光看,全都是美德。

坏习惯之一:过于勤奋。天天工作时间很长,其实做的工作费力却不解决问题,对完成目标帮助甚小。最后累死累活,埋怨天地不公。举个例子,我不是写代码出身,程序出错,按老习惯调错调到半夜,够辛苦了吧,是不是应该
阅读  ┆ 评论  ┆ 转载 ┆ 收藏 
标签:

杂谈

除了要专心之外,做研究,有两个坎要过,一个平衡要把握。

其一,读别人文章是坎。读文章初时觉得文献浩如烟海不可胜计,每年又新增几百上千的文章,每篇艰深莫测,看也看不完,更不用说追踪研究领域的最新动态,很有挫败感。但看多了,就发现翻来覆去原来套路就这么些,新文章再出来,大概看个半小时或一小时就能领会其精神,这样,第一个坎就过了。

这其中的要义,是要多思多想,积极地归纳总结。我见过同学不善此道,每天熬夜看一箱一箱的文章,但要问他主线是什么,他却被各种细节所迷惑,说不出个所以然来。这样辛苦是辛苦了,却事倍功半,要是处于这种状态,那就是要糟糕,得停止继续看下去,回头好好想想了。

其二,
阅读  ┆ 评论  ┆ 转载 ┆ 收藏 
(2014-03-05 13:15)
标签:

杂谈

英国科幻大师亚瑟·克拉克爵士曾说过:“任何一项足够先进的技术,初看起来都与魔法(魔术)无异”。我们观赏魔术表演,初看起来神秘莫测,其实揭秘后过程清楚手法明白,只是因为障眼法让我们下意识地在错误的时间关注了错误的事件,从而产生不可思议之感。

理工科也是一样,说穿了就是大自然千百年来玩的不变把戏,不理解的人认为其神秘,只是因为肉眼凡胎,被各种纷繁的表面现象所迷惑,或是掌握的台前幕后的信息不足,而没能看见隐藏在现象之后的关键原因。一旦明白和理解其机理之后,都会有“原来如此,其实说穿了十分简单”的感悟,就像魔术师的把戏被揭穿了一样。

明白了这个总纲,学习过程就很简单:从基本假设出发,严格地沿着逻辑体系和推理链条一步一步地走到终点,然后做一些习题,思考一些现象,试着检验自己的理解是否准确明晰,是否能得到习题的正解,或是预测现象的发展,仅此而已,没什么需要灵感或是创造力的地方。最后,就看自己是不是能够有“原来如此”甚至“不过如此”的感叹,若是仍然觉得十分神秘,那学习就要算是失败了。

那么理工科学习的难点在哪
阅读  ┆ 评论  ┆ 转载 ┆ 收藏 
标签:

杂谈

那么,如何才能做到全神贯注呢?

话说某年某月某日,一位绝世大侠在酒楼与众兄弟把酒言欢,好不快活。突然间一声呼喝,仇家披麻戴孝拔刀上楼,众酒楼宾客见了这阵仗,无不体似筛糠,心惊胆战。大侠见了,一口烈酒入肚,神情肃穆,站起身来,厅堂的聒噪浑然不觉,周围的兄弟视若不见,眼里只有对手的一举一动,一招一式。然后对峙,猫腰,冲刺,拔剑,兔起鹘落间,剑芒暴起,人头落地——接着,小二还六神无主时,大侠早泰然自若,呼喝道:“牛肉两斤,拿酒来!”

小说家笔法虽然夸张,但所谓全神贯注,确实就是如此。不在乎何时何地,时间长短,但要目标明确,心无旁骛。所要解决的问题在心里不停重复,并赌上所有的脑力资源在短时间内反复思考,不达目的誓不罢休。要推公式?推完前不许聊天不许上厕所,要调程序?调完前不开网页不查邮件。等到看见问题关键所在——或许只需要十五分钟半小时——之后,微博该刷就刷,论坛该逛就逛,帅哥美女该聊就聊,悉听尊便。因为今天又有进展了,奖励自己有啥不对的嘛。

借通信的术语来说,大脑不擅长频分复用(同时干多件事),但很擅
阅读  ┆ 评论  ┆ 转载 ┆ 收藏 
(2014-01-22 13:56)
标签:

杂谈

这四个月以来,白天去公司干活,晚上在谷歌吃完晚饭后骑车半小时回来继续做自己的研究,一直到晚上十一二点睡觉为止。做的工作仍然是博士阶段的研究课题。这部分工作最近有幸在今年的ICCV拿了马尔荣誉奖,但是里面可供挖掘的东西仍然很多,这几个月把空闲时间拼凑起来,取得了不少令人满意的进展。

下面说一说这四个月来一下利用业余时间做研究的经验,或者说做“民科”的经验(笑)。说实话,我不知道自己能坚持这个模式多久,但先总结一下分享给大家,总是好事;另一方面,以后自己懈怠了,再拿出来看看也是不错的。

在这里,我假定大家是有兴趣做自己喜欢的事情的,不然回家那么累,看个电视呼呼睡倒,还谈什么再做一个课题,更不用说成果。有了兴趣,心里能总是把想要做的事情放在第一位,才能继续。

有了兴趣之后,研究的思路可以冒出很多来,我经常有这样的体验,看完了涯叔的帖子,突然对赤壁大战有兴趣了,然后就开始YY站在曹操的角度看应该如何做选择,如何调兵布将,等等,有时还会为自己的天才想法而沾沾自喜。但这些是否就能东拼西凑出一部有关赤壁大战的专著
阅读  ┆ 评论  ┆ 转载 ┆ 收藏 
标签:

杂谈

到谷歌无人车组全职工作已经有四个月了。写一下感想。

鉴于项目的高度机密性,很多话不能说,我唯一能透露的,就是两条:同事们都很牛,然后都非常努力。我们组基本上是9点开始工作,然后晚上6点多走,老板不怎么主动管,但大家都明白如果事情做不完就得加班,因为一个一个小发布(release)的最后期限(deadline)摆在那里,不能不干。总的来说,比谷歌的其它部门要忙一点,节奏很快,不像是在大公司里工作,反倒更像是在一个初创团队里忙碌。

这四个月感觉下来,Google[x]实验室有几个很有趣的特点。其一是软硬件结合极其紧密,这一点从已有的报道里可以看出,不论是无人车(Self-driving car),眼镜(Google Glass)还是最近公布的气球无线网络(Loon)及能测血糖的隐形眼镜(Iris),都是软硬结合的产品。这直接导致的结果,就是我们每天面对的问题和之前在学术圈时思考的完全不同。

在学术圈,问题的已知条件和数据集都是给定的,我们要做的就是像解数学题一样,钻进去找到更好的解法,并在已知的数据集上和前人对比证明其有效性。但在Google[x]则完全不同,大项目(比如说开
阅读  ┆ 评论  ┆ 转载 ┆ 收藏 
标签:

动漫评论

看完了《进击的巨人》,忍不住上来赞叹两句。主题深刻,剧情连接紧凑,暗线伏笔接二连三,情节出人意外又情理之中,人物塑造丰满生动表情细腻,场景做工精致,打斗动作感十足,背景音乐气势磅礴,和画面配合得天衣无缝。

这一季动画,讲述的是人类面临巨人进攻,濒临灭绝,在危机下不屈抗争的故事。但更让人印象深刻的,是“个人在危机下的选择”这一主题。作者借三位主角中的智囊阿明,反复表达了这个主题:“人要是什么都不放弃,就什么也改变不了。”如02年的经典之作《钢之炼金术士》表达的主题“人没有牺牲就没有得到”一样,将现实的选择赤裸血淋地放在观众的面前。从一开始的杀人和被杀的选择,中篇将军牺牲大量组员而换来的城墙堵门作战,及故事高潮时艾伦选择跟随团队还是以一己之力对抗女巨人,利威尔兵长在面对巨人追击时选择抛弃尸体或是转身对抗,及最后团长为了抓到女巨人的本体,而不惜在城镇发动战役牺牲平民。

更深刻的是,动画从不对各人的选择作道德评判,就连智谋远虑如利威尔兵长,对拥有巨人化能力的主角艾伦“相信团队还是相信个人”的疑问,说的也只是“我也不知道,你的选择都是
阅读  ┆ 评论  ┆ 转载 ┆ 收藏 
(2013-11-18 10:18)
标签:

杂谈

现代科学发展到如今,大部分学科的原理都已发现,理论体系都已建立,纯净实验室里的,以控制变量法为准绳的实验,基本上把大到太阳系,小到原子核,长到几亿年,短到几皮秒的世界规律和基本原理都挖掘得差不多了。

科学的任务,好像已经由我们上一代的科学家们完成了,余下的,似乎只是反复使用和组合原理以达成具体目标的“工程实践”而已。我们在上大学的时候,都有这样一种感觉,好像理科最为神圣,工科则等而下之,因为工科触及各种零碎细节,却不对基本原理伤筋动骨。

其实不仅是我们,二战后的科学家们中间也弥漫着这样一种乐观的情绪,认为有了原理,一切都所向披靡,过不了二十年,会有机器人为我们端茶倒水。人工智能?图象识别?全都是归在应用领域的小事情,一个MIT学生的暑期项目而已。

但是实际上,我们的认识大错特错了,工程实践听起来轻描淡写,但实则重逾千钧。简单原理的组合,却会产生无限的结果。有机化学里碳氢氧氮四个元素,不知道组成了多少有机化合物;ATCG四个碱基和二十个氨基酸,编织出地球这个丰富的生物圈;0和1两个状态改变了人们的生活方式
阅读  ┆ 评论  ┆ 转载 ┆ 收藏 
(2013-11-11 06:29)
标签:

杂谈

人类自从有了智慧以来,一直以概念来描述世间万物。首先,我们给身边的每样物体起名字,天,地,日,月,山,水,风,雨,都是独一无二的具体概念。渐渐地,名字太多不好记,就开始以组合的方式命名。比如说,取两件事物相关联的特征来指第三件事,暴雨落于田野,声音很大,于是起了个名字叫“雷”,亮的东西,就像那太阳和月亮,于是就起了个名字叫“明”,等等。

在这种方式下,每个名字都渐渐丢失了原本具体事物的个性,而变成了很多事物共通的特征。在特征上研究而得到的规则和逻辑,能应用于所有具有这特征的事物,因此有极强的推广能力,所谓“举一反三”是也。比如说,知道了“一加一等于二”,我们就知道一枚硬币加一枚硬
阅读  ┆ 评论  ┆ 转载 ┆ 收藏 
相册专辑
加载中…
评论
加载中…
留言
加载中…

新浪BLOG意见反馈留言板 不良信息反馈 电话:4006900000 提示音后按1键(按当地市话标准计费) 欢迎批评指正

新浪简介 | About Sina | 广告服务 | 联系我们 | 招聘信息 | 网站律师 | SINA English | 会员注册 | 产品答疑

新浪公司 版权所有