加载中…
个人资料
微软亚洲研究院
微软亚洲研究院 新浪机构认证
  • 博客等级:
  • 博客积分:0
  • 博客访问:5,506,385
  • 关注人气:10,912
  • 获赠金笔:0支
  • 赠出金笔:0支
  • 荣誉徽章:
正文 字体大小:

微软研究员当选全球杰出青年创新者

(2008-08-21 11:12:31)
标签:

微软亚洲研究院

麻省理工学院

技术评论

年度创新人物

华先胜

分类: 人才

    《麻省理工学院技术评论》杂志于8月19日揭晓了本年度全球35位35岁以下的杰出青年创新人物(简称MIT TR35),微软亚洲研究院的项目研究主管华先胜获得了此项殊荣。这一奖项是麻省理工学院为表彰青年创新人物而设立的固定评选制度,自1999年以来每年公布一次,对象是全球范围富有革新精神的、35岁以下的技术研究者和企业家。在微软亚洲研究院的历史上,曾经还有两位女性研究员张黔、郑海涛分别在2004、2005年获得过这一称号。

微软研究员当选全球杰出青年创新者

 

 

视频搜索上的创新

        华先胜及研究小组这些年来在基于内容的视频分析和搜索方面所做出的突破性贡献,使他赢得了评委会专家们的一致青睐和肯定:

 

      有效的基于内容的视频搜索仍然还有很多困难没有解决。微软研究员华先胜希望通过自动识别图像和视频中物体、场景、事件和其他语义特征来攻克这个壁垒。

 

    华先胜博士用机器学习的技术和标注的视频数据训练计算机来对新的视频进行分类。他和他带领的研究小组在近些年提出了很多学习方法来实现这一目标。他的最新的系统充分利用了多个语义词之间的相关性,并且不仅仅依赖于初始的训练数据,还充分利用互联网上用户主动或被动产生的标注和相关信息。这些用户信息可以通过在线游戏、付费标注、分析一般用户行为等方式获取。

 

    这个新的视频分析系统无缝地集成了在线学习、主动学习和多语义词(多标签)学习的技术。系统会利用随时收集的新的信息更新分类模型,以达到越来越准确的标注。这种“在线主动学习”不仅标注更为准确,而且速度比以前的系统快得多。而且,利用语义词之间的相关性使得系统能够处理新的语义词。华相信增加语义词能显著提高搜索的相关性,使得搜索结果更接近用户的意图。这些技术对图像搜索也适用。华先胜及其小组的一些相关技术已经或者正在转化到微软视频搜索引擎中。

 

在微软的研究成果        

         华先胜在微软亚洲研究院工作的七年中,主要从事视频内容分析,互联网和桌面视频搜索,多媒体管理、编辑、检索、共享和广告等方面的研究工作,共发表了130余篇国际期刊与会议论文,并拥有30多项专利。这些研究成果也有许多已经转化到微软产品中,其中包括:

 

AutoMovie 自动电影(AutoMovie)是Windows Movie Maker 的一个“五星级”功能。它是家庭录像编辑的“一键式”解决方案。自动电影从原始家庭录像中选择重要的和有代表性的片断,并将这些片断连成一段视频,而且使连成的视频与用户指定的伴奏音乐的节奏和节拍吻合。其中的关键技术是视频分割、视频摘要、音乐节拍和节奏检测,以及视频和音乐的匹配。自动电影能使对视频编缉知之甚少的用户能够快速编辑很吸引人的家庭录像。

 

智能视频缩略图:智能视频缩略图(包括静态缩略图和动态缩略图)是一种高度提升用户浏览视频效率和体验的视频呈现技术。它已经被广泛应用在微软视频搜索,Windows XP媒体中心,Windows Vista和MSN Video中。静态缩略图是一帧高视觉质量和有内容代表性的图像,使得用户通过一帧图像能大致知道视频的可能的主题。动态缩略图是一段视频摘要,由一组高质量和高代表性的视频片断组成。动态缩略图使得用户在很短的时间内能大致了解原始视频的主要内容。

 

         华先胜目前的主要研究课题是基于内容的视频搜索和多媒体广告,其中一些技术正在进行相关产品转化。其带领的小组因在这些领域的研究,在2007和2008年,分别有5篇长论文入选ACM世界多媒体大会,约占每年总论文数的9%。在2008年还有5篇论文发表在CVPR会议上。这些研究工作主要包括:

 

视频标注:视频标注是实现基于内容视频搜索的有效方案。与传统基于内容的视频检索不同,视频标注试图将视频视觉信息转换成文字,然后通过文字索引和排序的方法实现视频搜索。对每一个获得的视频,视频标注系统会对视频进行分类,针对每一个类别,定义一些常见的语义概念(关键词),例如人物,场景和事件。然后通过建立统计模型,自动对视频中的这些概念进行检测和识别。起初,华先胜和小组成员们从半监督学习和一般主动学习的角度解决问题,后来又引入多模式,多实例,多层次,多标签等思想,到最近的多语义词在线主动学习以及对互联网大规模数据和用户的利用,有望解决大规模数据和大规模语义词带来的计算和准确率方面的瓶颈。2007年,该小组一篇视频和图像标注方面的论文获ACM多媒体大会最佳该会议论文奖。

 

视频搜索排序:对与查询次相关的视频进行相关性排序是视频搜索的另一重要研究课题。基于内容的排序可以利用内容分析,例如质量评估,视频标注等与文本信息一起进行排序,也可以利用视觉信息对基于文本的视频搜索排序进行重排。

 

视频搜索结果呈现:因为视频是时间序列,用户需要持续观看一段时间才能了解视频的内容。视频搜索结果呈现可以帮助用户快速了解视频搜索结果的内容,包括静态缩略图,视频剪辑,列表呈现,可伸缩呈现,以及电影胶片式的视频播放器。近来,华先胜及小组研发的一种新的视频呈现方式,视频拼贴,获得了2007年ACM世界多媒体大会最佳演示奖。视频拼贴是一种紧凑描述视频的方法,它使用一幅自动合成的图像来摘要描述视频的主要内容。对于任一视频,视频拼贴算法选择最有内容代表性和高视觉质量的一组视频帧,并抽取这些帧图像中的重要区域,然后将这些区域无缝地拼接在一个指定的画板上。视频拼贴可以作为视频搜索引擎搜索结果的摘要描述,用户通过浏览搜索结果的拼贴图,可以快速了解搜索结果的内容,进而快速判断是否是用户想找的视频。

 

多媒体广告:基于内容的视频和图像广告技术利用视频和图像分析技术,寻找视频和图像中的最佳广告插入点,并插入最佳相关性的视频、图像或文字广告。这项技术使得视频和图像中的广告更容易被用户接受并更能获得用户的关注。

 

相关文章链接:

搜索视频的“内心”

奥格斯堡双奖神话(上)

奥格斯堡双奖神话(下)

最佳论文是怎样炼成的

 

 

0

阅读 收藏 喜欢 打印举报/Report
  

新浪BLOG意见反馈留言板 欢迎批评指正

新浪简介 | About Sina | 广告服务 | 联系我们 | 招聘信息 | 网站律师 | SINA English | 产品答疑

新浪公司 版权所有