微软研究员当选全球杰出青年创新者
(2008-08-21 11:12:31)
标签:
微软亚洲研究院麻省理工学院技术评论年度创新人物华先胜 |
分类: 人才 |
|
视频搜索上的创新
在微软的研究成果
AutoMovie:
智能视频缩略图:智能视频缩略图(包括静态缩略图和动态缩略图)是一种高度提升用户浏览视频效率和体验的视频呈现技术。它已经被广泛应用在微软视频搜索,Windows XP媒体中心,Windows Vista和MSN Video中。静态缩略图是一帧高视觉质量和有内容代表性的图像,使得用户通过一帧图像能大致知道视频的可能的主题。动态缩略图是一段视频摘要,由一组高质量和高代表性的视频片断组成。动态缩略图使得用户在很短的时间内能大致了解原始视频的主要内容。
视频标注:视频标注是实现基于内容视频搜索的有效方案。与传统基于内容的视频检索不同,视频标注试图将视频视觉信息转换成文字,然后通过文字索引和排序的方法实现视频搜索。对每一个获得的视频,视频标注系统会对视频进行分类,针对每一个类别,定义一些常见的语义概念(关键词),例如人物,场景和事件。然后通过建立统计模型,自动对视频中的这些概念进行检测和识别。起初,华先胜和小组成员们从半监督学习和一般主动学习的角度解决问题,后来又引入多模式,多实例,多层次,多标签等思想,到最近的多语义词在线主动学习以及对互联网大规模数据和用户的利用,有望解决大规模数据和大规模语义词带来的计算和准确率方面的瓶颈。2007年,该小组一篇视频和图像标注方面的论文获ACM多媒体大会最佳该会议论文奖。
视频搜索排序:对与查询次相关的视频进行相关性排序是视频搜索的另一重要研究课题。基于内容的排序可以利用内容分析,例如质量评估,视频标注等与文本信息一起进行排序,也可以利用视觉信息对基于文本的视频搜索排序进行重排。
视频搜索结果呈现:因为视频是时间序列,用户需要持续观看一段时间才能了解视频的内容。视频搜索结果呈现可以帮助用户快速了解视频搜索结果的内容,包括静态缩略图,视频剪辑,列表呈现,可伸缩呈现,以及电影胶片式的视频播放器。近来,华先胜及小组研发的一种新的视频呈现方式,视频拼贴,获得了2007年ACM世界多媒体大会最佳演示奖。视频拼贴是一种紧凑描述视频的方法,它使用一幅自动合成的图像来摘要描述视频的主要内容。对于任一视频,视频拼贴算法选择最有内容代表性和高视觉质量的一组视频帧,并抽取这些帧图像中的重要区域,然后将这些区域无缝地拼接在一个指定的画板上。视频拼贴可以作为视频搜索引擎搜索结果的摘要描述,用户通过浏览搜索结果的拼贴图,可以快速了解搜索结果的内容,进而快速判断是否是用户想找的视频。
多媒体广告:基于内容的视频和图像广告技术利用视频和图像分析技术,寻找视频和图像中的最佳广告插入点,并插入最佳相关性的视频、图像或文字广告。这项技术使得视频和图像中的广告更容易被用户接受并更能获得用户的关注。
相关文章链接: