加载中…

察“颜”观“色”的秘诀

 

察鈥溠这澒垅溕澋拿鼐

作者:华先胜  王井东   翻译:王言 

   今年6月3日,微软公司更新了必应(Bing)搜索引擎,融入了诸多新功能。其中,一种交互式搜索界面为互联网图片搜索带来了全新的体验。这个新特性来自于微软亚洲研究院多媒体计算组的研究成果,并在创新工程中心和必应搜索团队的共同努力下,将其转化到现实的搜索服务中,提供给千万用户使用。实际上去年在微软亚洲研究院的博客上,已经用大量的示意图介绍过这个技术的原型(请参见《察颜观色》),而如今每个人都可以在必应(Bing)图片搜索上体验这个有趣的功能。在必应(Bing)图片搜索中,这个新的功能命名为specificcolor”和“filter using sketch”。我们称它为“image search by colorsketch”。

下面我们将首先介绍如何使用这个新功能,然后提供一些使用技巧,最后我们将分析一下其中蕴含的科技背景。

 

如何使用——沿着这条路径,你可以很快遇见五颜六色的她

1.访问必应(Bing)“Images”进入图片搜索。当然也可以直接访问http://www.bing.com/imageshttp://image.bing.com进入。

2.确认页面右上角的地点在“UnitedStates”,如果不是的话需要手动切换至”UnitedStates”。因为这个功能目前只对美国开放。其他地方的用户如果想用的话,只需手动将位置切换至美国即可。

3.在搜索框中键入你喜欢的关键字并点击搜索按钮。下面我们用”flower”作为示例关键字。

4.单击页面左侧面版的”COLOR”(如果它没有被展开的话),你将会看到一个菜单项”Specificcolor”。这就是这个新功能的入口。

察鈥溠这澒垅溕澋拿鼐

(a)页面全景               

  

    察鈥溠这澒垅溕澋拿鼐

(b)页面局部:左下角

图1:新功能的入口

5.单击之后,你会看到在页面的左下方展开了一个新的面版(图1),在这里就可以体验第一个功能:用主要颜色来搜索!换言之,你可以在这里指定搜索结果的主要颜色。比如,如果你单击其中蓝色的小方块,搜索结果就会变成图2那样,几乎所有的花都是蓝色或者相近的颜色。

察鈥溠这澒垅溕澋拿鼐

图2:蓝色的花

6. 要体验更高级的功能,需要勾选color面板的”Filter usingsketch”来打开绘图面板。然后我们就可以选择不同的颜色并勾绘想要搜索的图像了(图3)。不过这里并不需要精确画出小猫,小狗或者其他物体的轮廓,只要大概给出图像的颜色分布就可以了。比如我们想要找绿叶映衬下的紫花,就可以像图3那样随意勾画出大概的样子,然后点击“Apply”,就可以看到新的搜索结果了!我们称这个功能为“searchby color sketch”。

察鈥溠这澒垅溕澋拿鼐

图3:绿叶映衬紫花

7. 第三个功能叫做“search by modifiedexample”。除了在空画板上涂鸦以外,我们还可以把一个搜索结果直接拖放到画板上,之后直接点击“Apply”按钮就可以搜索相似的图像(图4)。我们还可以对画板做一些修改后再搜索。比如用橡皮来擦除图中的绿叶,而用一些黄色代替。这样我们就可以搜到一些黄色的花,或者黄花在紫花下面的图片(图5)。

察鈥溠这澒垅溕澋拿鼐

图4:Search by example

察鈥溠这澒垅溕澋拿鼐
图5Search by modified example

不管我们怎样更改画板中的示例图像,搜索结果中的第一幅图总是它本身。通过这样的设计,用户始终能很方便的知道他们用来搜索的原图片是什么。

 

上文中的示例图片都内嵌了超链接因此是可以点击的(下文中的也是)。你可以通过单击它们来体验一下它们在真实的Bing图片搜索中是什么样的。当然,因为这篇文章写于2010年6月,随着时间的推移,实际的搜索结果可能会有所不同。如果这些链接失效了,你也可以手工用同样的关键字和涂鸦来体验,当然也可以随便画一些东西来尝试。

 

下图展示了面板中各个按钮的功用(图6)。

察鈥溠这澒垅溕澋拿鼐

图6:各个按钮的功用

更多的例子——你完全可以随心所欲地定义色彩斑斓的搜索图片

下面我们将会展示更多的例子,用来描述如何用color sketch来方便地表达搜索意图

Grass

在Bing颜色搜索中键入”grass”,我们将会看到图7所示的画面。

察鈥溠这澒垅溕澋拿鼐

图7:Bing图片搜索“grass”的原始搜索结果

如果你想要图片顶上的蓝天更大一些,而下面的草地少一些的话,只要像图8那样简单的画两笔来告诉Bing你想要什么就好了。

察鈥溠这澒垅溕澋拿鼐

图8:蓝天更多,草地更少的”Grass”的搜索结果

或者如果你想要蓝天小一些,草地大一些(图9):

察鈥溠这澒垅溕澋拿鼐

图9:蓝天少一些,草地多一些的”Grass”搜索结果

也许你会想搜索橘黄色的草地(图10),或者你觉得某一个橘黄色的草地更像你想要找的图片(只要把它拖到画板上即可)(图11)。

察鈥溠这澒垅溕澋拿鼐

图10:橘黄色的草地

 察鈥溠这澒垅溕澋拿鼐

图11:Search by example

有时你只是想得到一些背景简单的草地的图片,这就更简单了。我们只要把背景设置成白色,黑色或者其他任何颜色就好(图12)。

察鈥溠这澒垅溕澋拿鼐

图12:背景简洁(白色)的”Grass”图片搜索结果

另一个Search byexample的例子是:橙色的天空和草地(图13)。我们也可以search by modifiedexample(和示例图像类似的草地和蓝天)(图14)。

察鈥溠这澒垅溕澋拿鼐

图13:Search by example(橙色的天空和草地)

察鈥溠这澒垅溕澋拿鼐
图14:Search by modified example(与示例图像类似的草地和蓝色的天空)

如前所述,返回结果的第一个图片仍然是用户选择的示例图片。这是一项特意的设计,这样人们就可以知道他们最初选择的图像是什么样的。

Flower

在Bing图片搜索中搜索”flower”的原始结果(图15)。蓝色或类似颜色的花在图2,3,4,5中已经展示过了。这里是更多的例子:紫色的花(图16),黄色的花(图17),深色背景的黄色的花(图18),Searchby example (一个深色背景的黄色的花的图片)(图19),以及Search by modified example(一个绿色背景的黄色的花)(图20)。

察鈥溠这澒垅溕澋拿鼐

图15:Bing图片搜索中搜索”flower”的原始结果

察鈥溠这澒垅溕澋拿鼐

图16:紫色的花(通过选择主要颜色)

察鈥溠这澒垅溕澋拿鼐

图17:黄色的花(通过画板中心的黄色色块表达搜索意愿)

察鈥溠这澒垅溕澋拿鼐

图18:Search by drawing(深色背景的黄色的花,用画板中心的黄色色块和边沿的黑色色块来表达搜索意愿)

察鈥溠这澒垅溕澋拿鼐

图19:Search by example(深色背景的的黄色的花)

察鈥溠这澒垅溕澋拿鼐

图20:Search by modified example(将背景更改为绿色,可以与花旁的绿色或草地匹配)

Flag

当你在世界杯(或奥运会、世博会、亚运会)中看到某面国旗却不知道它属于哪个国家时,Bing图片搜索也可以派上用场。下面展示了几个相关的结果(从图21到图24)。只要粗略的勾勒出想要搜索的国旗的图案,你就能得到它实际的照片。在返回的结果中,只要用鼠标移过或者单击某一幅国旗,就能知道它属于哪个国家了。

察鈥溠这澒垅溕澋拿鼐

图21:印度国旗(有部分颜色相近的其他旗帜也在其中,比如迈阿密市的市旗和尼日尔的国旗)

察鈥溠这澒垅溕澋拿鼐

图22:尼日尔国旗(和部分相近的其他旗帜)

察鈥溠这澒垅溕澋拿鼐 

图23:加纳国旗

察鈥溠这澒垅溕澋拿鼐

图24:毛里求斯国旗(Search byexample)

搜索人物 (“LadyGaga”)

最近”LadyGaga”非常受欢迎。图25展示了以此为关键字在Bing中搜索得到的最初结果。图26-27展示的是LadyGaga穿着不同颜色的衣服走过红地毯的照片。

察鈥溠这澒垅溕澋拿鼐

图25:Bing图片搜索返回”Lady Gaga”的原始搜索结果

察鈥溠这澒垅溕澋拿鼐

图26:Lady Gaga走过红地毯的图片(通过在画板底部划一道红线来表达搜索意愿)

察鈥溠这澒垅溕澋拿鼐

图27:Lady Gaga穿着黑色衣服走过红地毯的图片(通过画板底部的红色和中间的黑色色块来表达搜索意愿)

察鈥溠这澒垅溕澋拿鼐

图28:深色背景,脸部区域大的图片

察鈥溠这澒垅溕澋拿鼐

图29:另一个深色背景的Search byexample

搜索汽车(“BMW”)

图30到图33演示了对不同颜色,不同背景的汽车的搜索。

察鈥溠这澒垅溕澋拿鼐

图30:Bing图片搜索对”BMW”的原始搜索结果

察鈥溠这澒垅溕澋拿鼐

图31:蓝色的BMW

察鈥溠这澒垅溕澋拿鼐

图32:草地上的红色的BMW

察鈥溠这澒垅溕澋拿鼐
图33:Search by modifiedexample

原始实例图像中的车身是黑色的(如搜索结果中的第一幅图像所示)。随后我们将它更改为红色,于是就得到了相似背景下的红色车的图片。

背后的技术

这个技术不是简单的重新排序(re-ranking),不是传统的”query bysketch”,也不仅仅是用户界面。它是第一个互联网规模这里。

欢迎关注软亚洲研究院微博http://t.sina.com.cn/msra 

 

 

       

    以上网友发言只代表其个人观点,不代表新浪网的观点或立场。

    作者文章

      

    新浪BLOG意见反馈留言板 不良信息反馈 电话:4006900000 提示音后按1键(按当地市话标准计费) 欢迎批评指正

    新浪简介 | About Sina | 广告服务 | 联系我们 | 招聘信息 | 网站律师 | SINA English | 会员注册 | 产品答疑

    新浪公司 版权所有