作者：华先胜  王井东    翻译：王言 

 

    今年6月3日，微软公司更新了必应(Bing)搜索引擎，融入了诸多新功能。其中，一种交互式搜索界面为互联网图片搜索带来了全新的体验。这个新特性来自于微软亚洲研究院多媒体计算组的研究成果，并在创新工程中心和必应搜索团队的共同努力下，将其转化到现实的搜索服务中，提供给千万用户使用。实际上去年在微软亚洲研究院的博客上，已经用大量的示意图介绍过这个技术的原型(请参见《察颜观色》)，而如今每个人都可以在必应(Bing)图片搜索上体验这个有趣的功能。在必应(Bing)图片搜索中，这个新的功能命名为“specific color”和“filter using sketch”。我们称它为“image search by color sketch”。

 

下面我们将首先介绍如何使用这个新功能，然后提供一些使用技巧，最后我们将分析一下其中蕴含的科技背景。

 

如何使用——沿着这条路径，你可以很快遇见五颜六色的她

1．访问必应(Bing)，点击“Images”进入图片搜索。当然也可以直接访问http://www.bing.com/images或http://image.bing.com进入。

2．确认页面右上角的地点在“United States”，如果不是的话需要手动切换至”United States”。因为这个功能目前只对美国开放。其他地方的用户如果想用的话，只需手动将位置切换至美国即可。

3．在搜索框中键入你喜欢的关键字并点击搜索按钮。下面我们用”flower”作为示例关键字。

4．单击页面左侧面版的”COLOR”（如果它没有被展开的话），你将会看到一个菜单项”Specific color”。这就是这个新功能的入口。

(a) 页面全景               

  

   

(b) 页面局部：左下角

图1: 新功能的入口

 

5. 单击之后，你会看到在页面的左下方展开了一个新的面版（图1），在这里就可以体验第一个功能：用主要颜色来搜索！换言之，你可以在这里指定搜索结果的主要颜色。比如，如果你单击其中蓝色的小方块，搜索结果就会变成图2那样，几乎所有的花都是蓝色或者相近的颜色。

图2：蓝色的花

 

6. 要体验更高级的功能，需要勾选color面板的”Filter using sketch”来打开绘图面板。然后我们就可以选择不同的颜色并勾绘想要搜索的图像了（图3）。不过这里并不需要精确画出小猫，小狗或者其他物体的轮廓，只要大概给出图像的颜色分布就可以了。比如我们想要找绿叶映衬下的紫花，就可以像图3那样随意勾画出大概的样子，然后点击“Apply”，就可以看到新的搜索结果了！我们称这个功能为“search by color sketch”。

图3：绿叶映衬紫花

 

7. 第三个功能叫做“search by modified example”。除了在空画板上涂鸦以外，我们还可以把一个搜索结果直接拖放到画板上，之后直接点击“Apply”按钮就可以搜索相似的图像（图4）。我们还可以对画板做一些修改后再搜索。比如用橡皮来擦除图中的绿叶，而用一些黄色代替。这样我们就可以搜到一些黄色的花，或者黄花在紫花下面的图片（图5）。

图4：Search by example

 

图5：Search by modified example

 

不管我们怎样更改画板中的示例图像，搜索结果中的第一幅图总是它本身。通过这样的设计，用户始终能很方便的知道他们用来搜索的原图片是什么。

 

上文中的示例图片都内嵌了超链接因此是可以点击的（下文中的也是）。你可以通过单击它们来体验一下它们在真实的Bing图片搜索中是什么样的。当然，因为这篇文章写于2010年6月，随着时间的推移，实际的搜索结果可能会有所不同。如果这些链接失效了，你也可以手工用同样的关键字和涂鸦来体验，当然也可以随便画一些东西来尝试。

 

下图展示了面板中各个按钮的功用（图6）。

图6：各个按钮的功用

 

更多的例子——你完全可以随心所欲地定义色彩斑斓的搜索图片

下面我们将会展示更多的例子，用来描述如何用color sketch来方便地表达搜索意图。

 

Grass

在Bing颜色搜索中键入”grass”，我们将会看到图7所示的画面。

图7：Bing图片搜索“grass”的原始搜索结果

 

如果你想要图片顶上的蓝天更大一些，而下面的草地少一些的话，只要像图8那样简单的画两笔来告诉Bing你想要什么就好了。

图8：蓝天更多，草地更少的”Grass”的搜索结果

 

或者如果你想要蓝天小一些，草地大一些（图9）：

图9：蓝天少一些，草地多一些的”Grass”搜索结果

 

也许你会想搜索橘黄色的草地（图10），或者你觉得某一个橘黄色的草地更像你想要找的图片（只要把它拖到画板上即可）（图11）。

图10：橘黄色的草地

 

 

图11：Search by example

 

有时你只是想得到一些背景简单的草地的图片，这就更简单了。我们只要把背景设置成白色，黑色或者其他任何颜色就好（图12）。

图12：背景简洁（白色）的”Grass”图片搜索结果

 

另一个Search by example的例子是：橙色的天空和草地(图13)。我们也可以search by modified example（和示例图像类似的草地和蓝天）（图14）。

图13：Search by example (橙色的天空和草地)

 

图14：Search by modified example (与示例图像类似的草地和蓝色的天空)

 

如前所述，返回结果的第一个图片仍然是用户选择的示例图片。这是一项特意的设计，这样人们就可以知道他们最初选择的图像是什么样的。

 

Flower

在Bing图片搜索中搜索”flower”的原始结果（图15）。蓝色或类似颜色的花在图2，3，4，5中已经展示过了。这里是更多的例子：紫色的花（图16），黄色的花（图17），深色背景的黄色的花（图18），Search by example (一个深色背景的黄色的花的图片)（图19），以及Search by modified example （一个绿色背景的黄色的花）（图20）。

图15：Bing图片搜索中搜索”flower”的原始结果

 

图16：紫色的花（通过选择主要颜色）

 

图17：黄色的花（通过画板中心的黄色色块表达搜索意愿）

 

图18：Search by drawing (深色背景的黄色的花，用画板中心的黄色色块和边沿的黑色色块来表达搜索意愿)

 

图19：Search by example (深色背景的的黄色的花)

 

图20：Search by modified example (将背景更改为绿色，可以与花旁的绿色或草地匹配)

 

Flag

当你在世界杯(或奥运会、世博会、亚运会)中看到某面国旗却不知道它属于哪个国家时，Bing图片搜索也可以派上用场。下面展示了几个相关的结果（从图21到图24）。只要粗略的勾勒出想要搜索的国旗的图案，你就能得到它实际的照片。在返回的结果中，只要用鼠标移过或者单击某一幅国旗，就能知道它属于哪个国家了。

图21：印度国旗（有部分颜色相近的其他旗帜也在其中，比如迈阿密市的市旗和尼日尔的国旗）

 

图22：尼日尔国旗（和部分相近的其他旗帜）

 

 

图23：加纳国旗

 

图24：毛里求斯国旗（Search by example）

 

搜索人物 (“Lady Gaga”)

最近”Lady Gaga”非常受欢迎。图25展示了以此为关键字在Bing中搜索得到的最初结果。图26-27展示的是Lady Gaga穿着不同颜色的衣服走过红地毯的照片。

图25：Bing图片搜索返回”Lady Gaga”的原始搜索结果

 

图26：Lady Gaga走过红地毯的图片（通过在画板底部划一道红线来表达搜索意愿）

 

图27：Lady Gaga穿着黑色衣服走过红地毯的图片（通过画板底部的红色和中间的黑色色块来表达搜索意愿）

 

图28：深色背景，脸部区域大的图片

 

图29：另一个深色背景的Search by example

 

搜索汽车 (“BMW”)

图30到图33演示了对不同颜色，不同背景的汽车的搜索。

图30：Bing图片搜索对”BMW”的原始搜索结果

 

图31：蓝色的BMW

 

图32：草地上的红色的BMW

 

图33：Search by modified example

原始实例图像中的车身是黑色的（如搜索结果中的第一幅图像所示）。随后我们将它更改为红色，于是就得到了相似背景下的红色车的图片。

 

背后的技术

这个技术不是简单的重新排序(re-ranking)，不是传统的”query by sketch”，也不仅仅是用户界面。它是第一个互联网规模的”image search by sketching”系统。当用户提供他们的涂鸦时，Bing搜索引擎将会结合输入的文本和涂鸦产生一个新的搜索请求，并以此在整个索引中得到新的搜索结果。

 

参考英文原文,请点击这里。

 

欢迎关注微软亚洲研究院微博：http://t.sina.com.cn/msra