加载中…
正文 字体大小:

给车糊上这种贴纸,就能躲过监控了吗?

(2018-01-13 20:10:17)
标签:

杂谈

编者按:最近,Google的研究人员发表了一篇论文,称他们用几张花花绿绿的小贴画,成功骗过了AI——面对一根香蕉,图像识别软件就像产生了幻觉,非要坚持这就是一台面包机。

让AI大脑当机的方法你也许早有耳闻,比如问一个逻辑悖论、将图片套上扰动滤镜,可这种贴纸却让普通人也可以直接打印,简单高效,而AI几乎次次中枪。

调戏人工智能变得越来越简单了吗?研究人员说,今日,这些我们试做玩笑的戏法,可能是危险的前奏,比如,你给你的爱车糊上这种贴纸上路......


威廉·吉布森2010年的小说《Zero History》中有这样一幕场景:一名角色准备进行一项高风险的行动,书中称其为“世界上最丑的T恤”——穿上这件衣服,他就能在监控摄像头前隐身。

无独有偶,尼尔·斯蒂芬孙的《雪崩》(Snow Crash)里也有向电脑发送光学位图,干扰目标大脑,进而通过神经系统捣毁对方的思维的情节。诸如此类的故事还有很多,他们都提到了科幻中一个常见的桥段:

简单的图像,可以让电脑崩溃。


 欺诈图像——AI:你是不是讹人?

今天,这个概念已经不是虚构了。去年,研究者们已经成功骗过了一套商业面部识别系统,仅仅戴上一副花边眼镜,就能让面部识别AI失去判断力。奥妙就在于眼镜框上的图案。

在我们看来,这些曲线和折线可能十分随机,还挺有艺术感,但是对于电脑来说,这些图形搅乱了机器识别人脸的重要特征。

这些眼镜还没达到吉布森“世界最丑T恤”的高度,还不能从监控中删去你的影像,但它能骗过AI。理论上,调整眼镜上的花纹,你可以让AI把你误认成任何人——教皇、明星、总统,谁都可以。

▲ 上面是戴着眼镜的测试者,下面是电脑识别出来的人脸(图源:MahmoodSharif, Sruti Bhagavatula, Lujo Bauer, and Michael K. Reiter) 

如果你在未来有志于调戏人工智能视觉系统,除了眼镜,贴纸也能派上用场。Google已经把欺诈图像做成了小贴画,免费下载,任君挑选。

上个月发布的一篇论文就提到了这种新发明,它的作用就是出现在摄像头前面,把AI的识图功能搅乱。你可以在单位,在家,在自己的秘密基地打印这些贴纸,不需要了解目标场景的光照条件,摄像机的角度,被攻击的AI类型等等。

有它在,AI连最简单的物品都分辨不出,比如把“香蕉”认成“烤面包机”。 它就像AI的LSD,迷幻剂,小小一张,就能把计算机骗得晕晕乎乎。

人们担心,这些图案用尽手段越过AI,会让未来的安防系统,工厂机器人和无人车变得岌岌可危。想象一下,只要在高速公路边放上一张贴纸,你的座驾就觉得该停车了;又或者在你的爱车上糊上贴纸,监控系统就成了瞎子。

要命的是,即使人类一眼就能看到这些伪装,但他们并不觉得这些贴纸用心险恶,还以为是行为艺术…… 

还有更严重的,“假如在军队里,你的系统能自己识别瞄准对象,”杰夫·科伦,2015年一篇欺诈图像论文的联合作者对Verge记者说,“敌人把一张欺诈图像放在医院上,你就向医院开火。或者你在用无人机追踪敌人,肯定不想费半天劲,却发现跟踪了错误的目标。”

目前,这些想象还只是杞人忧天,上面提到的Google贴纸,尚且需要研究人员倾注数不清的精力和时间。但是如果我们沿着现在的道路发展下去,这些场景是完全可能的。

随着时间飞逝,对抗AI的方法越来越灵活。我们今日视作玩物的贴纸,不过是一个开始。“这是大问题,”科伦说,“这是研究者们亟待解决的问题。”

来自研究论文中贴心奉上的贴纸图样,有兴趣可以试下


 为何会被骗——AI:防不胜防啊!

上述这些欺骗AI的例子都可被归类为泛AI网络安全攻击,学名“对抗机器学习”。科幻中常见的“令人隐身的丑陋T恤”和“令大脑当机的位图”都可被视为一种欺诈图像,而且它的形式多种多样,音频和文本都能成为载体。

早在2010年,很多研究团队就发现了这一现象。欺诈攻击通常以一种名为“分类程序”的系统为目标,这种系统能把数据分类,比如,在手机上用图像分析把照片分为“食品”“假日”和“宠物”。

对于人类来说,欺诈图片看起来和电视花屏差不多,但它却能让AI颇有自信地做出判断:“没错,这肯定是一只长臂猿!”或者“我天,这摩托车红得真耀眼!” 

遗憾的是,人们不知道AI通过哪些视觉特征来判断图像,也不清楚为什么特定的攻击会骗过AI。一种解释是,欺诈图像利用了一种叫做“决策边界”的东西,它是AI的常见特质,就像无形的规则一样,束缚了AI的手脚。 

如果有一个用于区分狮子和豹子的AI,随着时间的积累,它会创建出区分对象的特征数据库。想象一张XY轴平面图,右上角是它学到的所有豹子的样貌,左下角是他见过的全部狮子的样貌,划分两个领域的那条线,就被称为决策边界。

但决策边界在分类方式上存在致命问题,它过于绝对和极端。科伦说,“你干的事只不过是训练他们在数据簇之间划线,而不是在区别狮子和豹子的过程中深度建模。”

为了欺骗一个狮豹分析程序,你可以拿一张狮子的图片,把它拉伸成极其诡异的样子:爪子和挖土机那么大,鬃毛像太阳一样燃烧。人类绝对认不出来,但对于一个正在检查决策边界的AI来说,这仍是一只“特别狮子的狮子”。 

科伦指出,改善“决策边界”的方法之一,就是使AI更倾向于“我不能识别这张图”,而不是“我非要把这张图分个类”。

▲ 一些欺诈图像和AI眼里的图像(图源:JeffClune, Jason Yosinski, Anh Nguyen),从左上到右下分别是冲锋枪、听诊器、数字时钟、足球、船桨、真空吸尘器、手风琴、起子。别说,只要摘下近视眼镜看,还真有那么点意思……

 对抗欺诈的方法——AI:换个马甲我也认识你 

目前为止,欺诈图像还没有对现实世界造成过任何实质损害。但学界,尤其是谷歌,正在很严肃地对待这个问题。结论是,对于被骗得团团转的AI,现在没有特效药。

但是,为了帮助AI抵抗欺诈,工程师开始让它们接受“对抗性训练”。

在这种训练中,他们教AI识别并无视攻击性图像,就跟保镖学会把黑名单上的人轰出大门一样。不幸的是,一位写了很多对抗性攻击论文的宾大研究生解释道,即使这种训练,在面对 "计算密集型策略" (给系统识别足够多的图像,他总会失败)时,也是不堪一击。

抵御欺诈图像要面对双重压力: 

第一,我们不确定如何抵御现有攻击;

第二,新的变体攻击不断涌现。

看完这篇文章,你会很快认出用于欺诈的眼镜和贴纸,但还有更多更微妙的方法你根本看不见,比如“扰动(perturbation)”。

“扰动”是一种不改变人眼视觉的AI图像欺骗方式,它对图片的改动渗透于照片表面的像素中,像Instagram滤镜一样。最近一项名为“泛对抗性扰动(Universal Adversarial Perturbations)”的研究证明了这种“滤镜”的可行性,它成功扰动了一大批神经网络,让研究者们激动万分。

▲ 左边是原图,中间是“扰动滤镜”,在右边是最终的成品图像(图源:Goodfellow,Jonathon Shlens, and Christian Szegedy)AI一开始认为图片有57.7%的可能性是熊猫,经过扰动之后,它觉得这张图绝对是长臂猿(熊猫辣么萌和长臂猿哪点像了???)

不过,目前想用欺诈图像骗过AI还有所局限:

首先,攻击者需要很长时间来制作特定的扰乱图像,这个图像要让AI觉得这是特定图像,而非某个随机错误;

第二,攻击者经常需要访问目标系统的内部代码才能产生扰动;

第三,攻击并非次次有效。

“泛对抗性扰动”有90%的几率能成功欺诈神经网络,但换成另一种AI,可能只有50%-60%的成功率。虽然对于无人驾驶车来说,50%的错误率也是一场灾难。但令人欣慰的是,黑掉一辆无人车有很多方法,“扰动”的复杂度,可能麻烦到没人想去实践。

▲ 一些被“扰动”过的图像(图源:Seyed-MohsenMoosavi-Dezfooli, Alhussein Fawzi, Omar Fawzi, Pascal Frossard),下面是AI识别的结果:两张亚洲象、两张非洲灰鹦鹉、蝾螈、旋转木马(也不是……那么难以理解吧……硬要联想的话) 

同时,对AI的攻击也引发了更深层的思考。一样的欺诈图像可以骗过Google, Mobileye和Facebook的人工智能,这揭露了当代AI的整体弱点。 

“这就像一群AI齐聚一堂,批判愚蠢的人类为啥意识不到这团数据是一只海星。”科伦说,“所有人工智能网络都认为:这些癫狂而不自然的图像是同一类东西。这种趋同性让人震惊。”

我们碳基生物也别光顾着看热闹,关于欺诈图像的研究表明,AI和自然生物的智慧其实如出一辙。

科伦的同事杰森指出,AI犯下的决策边界分类错误同样存在于动物学界中。动物也会被人造的“超常刺激(supernormal stimuli)”所欺骗,甚至凌驾于自然本能: 

20世纪50年代,在一次实验中,研究者利用这一刺激让鸟儿无视自己产下的蛋,转而照顾颜色鲜艳的假蛋,或者让红腹棘鱼误以为垃圾是敌人,诱其发起攻击。只要垃圾上画着一个红肚皮,棘鱼就会攻击。

有人认为,我们人类自己的一些嗜好,比如快餐和色情,也属于超常刺激。

你可以说,今天这些AI犯的错误都很傻,但别忘了,我们自己也会被骗。而且,在通向未来的漫漫旅途中,我们需要它们做得更好。

🔍 | 关键词 | #AI##欺诈图像#

📃 | 责编 | 船长

🖋 | 编译 | 蒸汽黎明、小K

🖋 | 作者 | 詹姆斯·文森特,The Verge网站记者。​​

0

阅读 评论 收藏 转载 喜欢 打印举报
已投稿到:
  • 评论加载中,请稍候...
发评论

    发评论

    以上网友发言只代表其个人观点,不代表新浪网的观点或立场。

      

    新浪BLOG意见反馈留言板 不良信息反馈 电话:4006900000 提示音后按1键(按当地市话标准计费) 欢迎批评指正

    新浪简介 | About Sina | 广告服务 | 联系我们 | 招聘信息 | 网站律师 | SINA English | 会员注册 | 产品答疑

    新浪公司 版权所有