作者：王长虎  网络搜索与数据挖掘组 

 MindFinder在包含二百万张图像的图像库中的搜索结果。

每行的第一幅图为用户勾画的轮廓（以及关键字或主色调），其余为排在最前端的查询结果。

 

MindFinder是一款基于轮廓的图像搜索引擎。通过它，你可以方便地在面板上勾画想要查找的物体的轮廓，系统会以此给出匹配的图像，当然，它同时也允许用户添加关键字或主色调作为补充。不必在基于文本的搜索结果中众里寻它，体验MindFinder如何帮你立刻找到想象中的图像吧！

 

写在前面

 

新一代图像搜索系统MindFinder(基于轮廓的图像搜索引擎)的实现，同时也是我的职业生涯中一个重要的起点。如今,我刚刚加入微软亚洲研究院一周年，MindFinder就算是我送给她的第一个礼物吧，本文将勾勒出它的“前世今生”。

 

这篇文章发表的同时，介绍MindFinder的视频也将同时发布，因此在文章中，将不会以MindFinder的技术细节作为重点，而是主要介绍MindFinder和我在这一年中的成长经历。

 

MindFinder不仅可以通过勾画线条来查询图片，她也为我勾画出了我的未来。 

 

MindFinder的贡献

 

MindFinder系统允许用户方便地在面板上勾画想要查找的物体的轮廓，并以此给出匹配的图像（如图一所示，或参见视频）。当然用户也可以添加关键字或主色调作为补充。想象一下，在未来的图像搜索引擎中，用户仅仅需要在面板上勾画两三笔便可以检索到纯净的埃菲尔铁塔的图片；设计师可以用自己画的部分草图来检索数据库中的相似图片为自己提供灵感；您的孩子在还没识字的时候便可以用笔随意画小动物的轮廓，并从检索到的图像中认识和了解各种动物。特别是随着可触摸屏设备的大量出现，MindFinder系统以及相应的基于轮廓的搜索技术将拥有广泛的应用前景。 

 用MindFinder搜索“玫瑰”

 

事实上，虽然基于轮廓检索图片的概念在上世纪九十年代已被世界各地的学者广泛研究过，由于问题本身的难度，世界上仍然没有研制出一个实用的系统来有效地在百万级数据库上基于勾画的线条来检索图像。这也导致了近十年来在这个领域的研究相比其他图像检索技术少了很多。MindFinder填补了这一空白。并且我们有信心MindFinder将带动这一领域的发展，使得基于轮廓的图像搜索技术越来越成熟。

 

那么我为何会选择这样一个被学术界认为很难完成的项目呢？现在回想起来，其中有偶然的因素，也有必然的因素。

 

毕业前的誓言

 

我读博士的大部分时间都是在微软亚洲研究院作实习生，在2009年博士毕业前，我曾经为研究院的实习生们写了一篇文章《成长在微软亚洲研究院》，回忆了我与研究院相识五年间的点点滴滴。在最后一节《新的挑战》中，我引述了信息检索领域大牛Bruce Croft所说的一段话作为我对自己今后工作的要求：“Paper number does not really make a lot of sense. To be a leader, you should have a clear focus and have real impact. For example, the only reason why one receives an academic award is that he contributes a lot to a specific research direction but not that he has published hundreds of papers.”（“发表论文的数量不能充分地说明什么。作为领袖人物，你应该有一个明确的聚焦，也发挥真正的影响力。例如，一个人获得学术荣誉的唯一原因，是他为某个特定研究领域做出贡献，而非他发表了数以百计的论文。”）我对自己的要求是，希望自己的工作能产生尽可能大的影响，希望世界上尽可能多的人从我的工作中受益。

 

这是我毕业前的誓言。

 

我的选择：出国还是留下？

一个人在成长过程中，总会做出一些重要的决定。我在博士毕业前，也有两个选择：1）到美国顶级大学中作博
士后；2）留在微软亚洲研究院工作。前者意味着一两年后，可以有更广阔的发展空间，比如，到新加坡、香港或者大陆当(副)教授，或者那时候再进入工业界。后者呢，便是放弃了在国外名校镀金的光环，甚至放弃了读博士期间近十篇顶级国际会议论文的资历——在微软对绩效的评估是跟你过去的履历无关的。我的好多朋友，无论是在国外或国内高校做教授，还是在工业界打拼，大都建议我先出国到知名高校读个博士后，然后再做打算，毕竟即使那个时候再回国，名校的光环可能比你在国内两年的打拼更被老板们认可。

 

可是，我最终选择了留下，以一种特立独行的方式：我总共只投了两份简历，一个是微软亚洲研究院，另一个是哥伦比亚大学的博士后职位，并且在第二份申请中写明，如果拿到微软亚洲研究院的offer，便放弃哥伦比亚大学的申请。结果出人意料的是，我很快地拿到了微软亚洲研究院的offer，况且2009年，是经济危机最严重的一年，也是微软公司招聘名额严重缩水的一年。

 

事实上，我选了一条我真正想走的，然而却更难走的路。在与微软亚洲研究院院长洪小文博士做最后一轮面试的时候，他问我，为什么首选工业界，而不是高校。我回答说，我有一个心愿，就是让自己的研究成果产生尽可能大的影响，而我当时觉得，在工业界完成这个心愿的可能更大。最近不断有人问我，会考虑离开微软亚洲研究院吗？只有当我觉得这里的平台对我完成心愿产生限制的时候，才会考虑。这也是我当年对洪小文博士的回答。

 

那么，在微软亚洲研究院工作，与在高校有什么不同呢？我通过六年的微软亚洲研究院的经历得出的答案是：如果你真的想出人头地，微软亚洲研究院对研究员的要求更高。这也是我选择她的一个主要原因。

 

在研究院留下自己的脚印

 

在读博期间，我的主要目标是发表国际顶级会议的论文。当我握着近十篇国际顶级会议论文并发觉自己发顶级会议论文已经不成问题的时候，当我怀揣着新的梦想进入微软亚洲研究院的时候，我需要重新勾画我的道路，与读博期间完全不同的道路。

 

张磊是我在研究院当实习生时候的导师，也是我工作后的经理。当我向他请教，对于研究院的职业发展规划要注意什么的时候，他跟我说，要在这里留下自己的脚印，要让别人一提到某个工作，便会想到你。是的，这就是我希望在研究院达到的第一个目标。

 

在微软亚洲研究院，或者说是在已经成立了十一年的微软亚洲研究院，发几篇顶级会议的论文已经不是对你业绩衡量的唯一标准。可以想象在建院之初，因为发表了顶级会议论文而激动自豪的研究院的大佬们，如今十年之后的论文已经数不胜数，而现在更突出体现工作业绩的要素是由你做的工作的影响力(impact)来决定。这也正符合我对自己工作的期望和要求。

 

或许在学术界有些阅历的人会知道，有的时候，一篇带有漂亮模型的顶级会议的论文可能影响力微乎其微，有的时候，一个没有复杂算法的实用系统可能让很多普通用户受益。在把影响力定为自己奋斗目标的时候，我曾经问过张磊，如果您或者您的经理认为我的研究能力已经得到证明，不再用发表顶级会议论文来要求我，那么我可以完全不关心是否发表论文，而全身心的为了工作的影响力而奋斗。张磊告诉我，论文仍然是必要的，因为这是我们和国际上相关领域的同事进行交流的重要方式。虽然我们身处工业界，作为一个基础研究院，我们还需要证明自己的工作成果在学术界处于领先地位，并得到学术界同事的反馈和建议。然而发表论文并不是做研究的最终目的，研究工作的水准和影响力始终是最重要的，不能够本末倒置。

 

这也是为什么我觉得，“如果你真的想出人头地，微软亚洲研究院对研究员的要求更高”。我对自己的要求是：自己能够拥有或者说领导一个具有重要影响力的、能够持续开发若干年的、能够很快向公司的同事们展示出效果的项目，并且，完成这个项目需要的研究题目是世界上较难的、超前的、需要持续研究若干年的，相关的论文能够陆续发表在各顶级国际会议上。用了这么长这么罗嗦的一段话才能描述出我对自己的要求，可以看出这个要求确实是蛮高的。

 

理想是远大的，然而，现实往往不那么乐观。刚刚入职，我便遇到了一个很普通，却可能影响你发展方向的问题。

 

从头开始

 

我在读博期间的主要方向是图像的自动标注，而我在微软亚洲研究院的同事王欣靖也是做这方面的研究。入职之后，当一位国外高校的教授到我们组访问，每个人向他介绍自己的工作的时候，我迷茫了，在欣靖介绍自己工作之后，我无法说出我也在做类似的工作，我只是说，我刚入职还在寻找方向。我发现，要想留下自己的脚印，我需要放弃我深入研究了近四年的研究课题。不仅如此，微软研究院有那么多研究员和研究工作，要找到一个能够创新而且又很有挑战的题目，本身就是一个对于每个刚刚毕业进入研究院的研究人员的挑战，也是对自己选题能力的锻炼。

 

或许其实本没有那么难，或许与别人做同样的方向协同研究也是很可行的方式。可我有我的期望，我想留下自己的脚印，让尽可能多的人从我的工作中受益。在入职后的这一年中，我尝试了多个不同的短期的工作，为微软亚洲研究院发布的TravelGuide（旅游指南）系统实现了一个重要的功能，对计算机视觉领域著名的Bag-of-Feature做了重要的改进，也实现了Photo2Trip系统，即提出了从互联网上海量的用户上传的带经纬度信息的图片中挖掘用户的旅游路线信息并帮助用户推荐旅行路线。当然，我也想到了并尝试建立了MindFinder系统，在微软亚洲研究院，或者说在我的职业生涯中，留下了第一个深深的脚印。

 

逆流而上

 

记得那是一天下午，一个偶然的机会，我在公司听了来自微软雷德蒙研究院的高级研究员Desney S. Tan博士的关于“用生理传感器创造新的人机交互”的报告。当时正是我寻找方向最迷茫的时候，Tan博士讲的内容虽然跟我所熟悉的方向并不一致，却引起了我极大的兴趣。我真的很喜欢这些能与用户进行交互的，并能帮助用户做很多事情的各种各样的传感设备。一下子，我的脑袋里便出现了MindFinder系统的第一个版本的雏形（与当前这个版本并不相同，没有用到图像中物体的轮廓信息）。当时真的很兴奋，于是直接闯进了张磊(以下简称磊)的办公室，跟他讨论起了这个想法。磊听了我的可行性分析后，也很兴奋，觉得可行，并提出了很多很好的意见。我又找到了同事李志伟博士，也得到了和磊一样的反应。于是我们马上决定开始进行研究并着手搭建这个系统。我和志伟很快把这个系统搭建了起来。

 

然而，由于最初的版本在检索图片时只用到了勾画的轮廓内部的色彩和纹理信息，并没有用到轮廓本身，所以效果并没有想象中的那样棒。于是我向磊提出了，允许用户随意地在面板上勾画物体轮廓，然后利用勾画的物体轮廓信息检索具有相似轮廓的图像。这个目标与互联网上的Retriever系统和我们公司的另外一个工作SearchByColor不同，这两个工作都是主要把图像上的色彩分布作为输入，来检索具有相似色彩分布的图像。而我的目标是让用户用精细的二值线条来勾画物体的轮廓，并检索相似轮廓的图像。 磊是图像检索领域的专家，他告诉我，这个课题是基于内容的图像检索领域的一个基本问题，在上个世纪九十年代末期已经被全世界的研究人员广泛研究过，并没有取得很大的突破，这也导致了近十年来在这个领域的研究非常少。磊并不是很相信我能把这条路走通，他告诉我，我选择了一条很困难的道路。

 

我选择了这条路，因为我真的很想在微软，在我的职业生涯中留下一个清晰的脚印。虽然志伟由于有其他的项目退出了新版本MindFinder的实现，他把他名下的实习生曹阳委托给我，在我的指导下和我一起啃这块骨头。我们也找到人机交互组的朱向未和她的实习生王海帮我们设计MindFinder系统的界面。

 

就像很多小说中的结局一样，至今为止，我看到的结局是美丽的。

 

勾画世界，勾画未来

 

每隔一段时间，我都会向磊展示MindFinder的进展，得到的是一次又一次的惊喜与有价值的反馈。如今，MindFinder已经达到了我们预期的第一个里程碑。我们已经在2010年国际互联网大会（简写为WWW，是国际互联网领域的顶级会议）展示了MindFinder系统，并将在2010年10月召开的国际多媒体大会（简写成ACM Multimedia，是国际多媒体领域的顶级会议）展示这个系统。我们已经将MindFinder系统展示给了很多微软内部和国外高校的研究员和教授们，给他们留下了非常深刻地印象。

 

在与我们组(互联网搜索与挖掘组)的经理，也是微软亚洲研究院常务副院长的马维英博士交流中，我告诉他，MindFinder系统当前只是研究成果，现在并无法让每一个普通用户满意，然而，我们有信心她能让绝大部分对这个领域熟悉的世界各地的研究员们感到惊讶和兴奋。十年前，基于轮廓的图像搜索技术的难度让这个领域冷清了十年，我希望MindFinder系统能让这个领域活跃起来。我们会陆续地对外发布这个系统的研究成果和技术细节，我也会继续攻坚这个系统，希望在半年后达到我们期望的第二个里程碑，以及未来不知多少年后的第三个第四个里程碑……

 

MindFinder的目标是允许用户方便地勾画出脑袋里想象的图画，并以此帮助用户从数据库中找到其所想象的图画，这便是MindFinder这个名字的由来。

 

尾声

 

感谢所有在MindFinder的研究中和系统实现中做出贡献的人，并希望这篇文章能对和我一样年轻、一样迷茫的研究人员有所启发。

--------------------------------------------------------------------------------------------------

作者介绍：

王长虎，微软亚洲研究院网络搜索与数据挖掘组研究员，2009年于中国科技大学取得博士学位，并于同年加入微软亚洲研究院。他还曾是2007年“微软学者”奖学金获得者。

 

欢迎关注微软亚洲研究院微博：http://t.sina.com.cn/msra