人工智能的安全问题不容忽视
现在有很多技术可以欺骗人工智能，也有很多人工智能技术被用来欺骗人。在人工智能（AI）时代，安全问题不容忽视。
近几年，人工智能技术在很多领域都取得了初步的成功，无论是图像分类、视频监控领域的目标跟踪，还是自动驾驶、人脸识别、围棋等方面，都取得了非常好的进展。那么，人工智能技术到底安全不安全?事实上，目前的人工智能技术还存在很多问题。
人工智能并不安全
现在有很多技术可以欺骗人工智能，如在图片上加入一些对抗干扰。所谓对抗干扰，就是针对智能判别式模型的缺陷，设计算法精心构造与正常样本差异极小、能使模型错误识别的样本。如图1所示，本来是一幅手枪的图片，如果加入一些对抗干扰，识别结果就会产生错误，模型会识别为不是枪。在人的前面挂一块具有特定图案的牌子，就能使人在视频监控系统中“隐身”(见图2)。在自动驾驶场景下，如果对限速标识牌加一些扰动，就可以误导自动驾驶系统识别成“Stop”(见图3)，显然这在交通上会引起很大的安全隐患。另一方面，人工智能的一些技术现在正在被滥用来欺骗人。例如，利用人工智能生成虚假内容，包括换脸视频、虚假新闻、虚假人脸、虚拟社交账户等。
图1被暴恐检测系统识别成正常图片
图2在智能监控下隐身
图3误导自动驾驶系统
不只在图片和视频领域，在语音识别领域也存在这样的安全隐患。例如，在语音中任意加入非常微小的干扰，语音识别系统也可能会把这段语音识别错。同样，在文本识别领域，只需要改变一个字母就可以使文本内容被错误分类。
除了对抗攻击这种攻击类型外，还有一种叫后门攻击的攻击类型。后门攻击是指向智能识别系统的训练数据安插后门，使其对特定信号敏感，并诱导其产生攻击者指定的错误行为。例如，我们在对机器进行训练时，在某一类的某些样本中插入一个后门模式，如给人的图像加上特定的眼镜作为后门，用一些训练上的技巧让机器人学习到眼镜与某个判断结果(如特定的一个名人)的关联。训练结束后，这个模型针对这样一个人还是能够做出正确的识别，但如果输入另一个人的图片，让他戴上特定的眼镜，他就会被识别成前面那个人。训练的时候，模型里留了一个后门，这同样也是安全隐患。
除了对抗样本、后门外，如果AI技术被滥用，还可能会形成一些新的安全隐患。例如，生成假的内容，但这不全都是人工智能生成的，也有人为生成的。此前，《深圳特区报》报道了深圳最美女孩给残疾乞丐喂饭，感动路人，人民网、新华社各大媒体都有报道。后来，人们深入挖掘，发现这个新闻是人为制造的。现在社交网络上有很多这样的例子，很多所谓的新闻其实是不真实的。一方面，人工智能可以发挥重要作用，可以检测新闻的真假;另一方面，人工智能也可以用来生成虚假内容，用智能算法生成一个根本不存在的人脸。
用人工智能技术生成虚假视频，尤其是使用视频换脸生成某个特定人的视频，有可能对社会稳定甚至国家安全造成威胁。例如，模仿领导人讲话可能就会欺骗社会大众。因此，生成技术是否需要一些鉴别手段或者相应的管理规范，这也是亟须探讨的。例如，生成虚假人脸，建立虚假的社交账户，让它与很多真实的人建立关联关系，甚至形成一些自动对话，看起来好像是一个真实人的账号，实际上完全是虚拟生成的。这样的情况该如何管理还需要我们进一步探索和研究。
人工智能安全隐患的技术剖析
针对AI的安全隐患，要找到防御的方法，首先要了解产生安全隐患的技术。以对抗样本生成为例，其主要分为2类：一类是白盒场景下对抗样本生成;另一类为黑盒场景下对抗样本生成。白盒场景的模型参数完全已知，可以访问模型中所有的参数，这个情况下攻击就会变得相对容易一些，只需要评估信息变化的方向对模型输出的影响，找到灵敏度最高的方向，相应地做出一些扰动干扰，就可以完成对模型的攻击。黑盒场景下攻击则相对较难，大部分实际情况下都是黑盒场景，我们依然可以对模型远程访问，输入样本，拿到检测结果，但无法获得模型里的参数。
现阶段的黑盒攻击可大致分为3类。第一类是基于迁移性的攻击方法，攻击者可以利用目标模型的输入信息和输出信息，训练出一个替换模型模拟目标模型的决策边界，并在替换模型中利用白盒攻击方法生成对抗样本，最后利用对抗样本的迁移性完成对目标模型的攻击。第二类是基于梯度估计的攻击方法，攻击者可以利用有限差分以及自然进化策略等方式来估计梯度信息，同时结合白盒攻击方法生成对抗样本。在自然进化策略中，攻击者可以以多个随机分布的单位向量作为搜索方向，并在这些搜索方向下最大化对抗目标的期望值。第三类是基于决策边界的攻击方法，通过启发式搜索策略搜索决策边界，再沿决策边界不断搜索距离原样本更近的对抗样本。
有攻击就有防御，针对对抗样本的检测，目前主要有3种手段。第一种，通过训练二分类器去分类样本是否受到干扰，但通用性会比较差。通常而言，训练一个分类器只能针对某一种特定的攻击算法，但在通常情况下并不知道别人使用哪一种攻击算法。第二种，训练去噪器。所谓的对抗干扰基本上都是样本中加入噪声，通过去噪对样本进行还原，从而实现防御。第三种，用对抗的手段提升模型的鲁棒性，在模型训练中加入对抗样本，模型面对对抗样本时会具有更强的鲁棒性，提高识别的成功率，但训练的复杂度较高。整体而言，这些方法都不很理想，我们亟须研究通用性强、效率高的对抗样本的防御方法。
针对换脸视频的生成，目前主流技术是基于自动编码器进行人脸图像重建。在模型训练阶段，所有的人脸图像使用同一个编码器，这个编码器的目标是学习捕捉人脸的关键特征。对于人脸重构，每个人的脸都有一个单独的解码器，这个解码器用于学习不同人的脸所具有的独特特征。利用训练后的编码器与解码器即可进行虚假人脸生成。
针对换脸视频的鉴别，目前主流技术是基于视觉瑕疵进行鉴别，这个假设是换脸视频具有不真实的情况。因此，可以对眨眼频率、头部姿态估计、光照估计、几何估计等提取特征，利用这些特征去判断人脸的图片或者视频的真假。
对抗攻防已取得一定研究成果
目前，我们在人工智能安全技术上加大了投入，围绕人工智能安全领域的问题开展了一些研究。
第一个工作是针对视频识别模型上的黑盒对抗攻击。在该工作中，我们利用对抗扰动的迁移性，将图像预训练模型中得到的扰动作为视频帧的初始扰动，并在此基础上利用自然进化策略对这些初始扰动噪声进行纠正。当我们得到针对视频域特殊纠正后的梯度信息后，采用投影梯度下降来对输入视频进行更新。该方法可以在黑盒场景下，对主流视频识别模型进行攻击，这也是全球在视频模型黑盒攻击上的第一个工作。我们实现的结果是在目标攻击情况下，需要3万至8万次查询就可以达到93%的攻击成功率，非目标攻击只需要数百个查询就可以完成对主流模型的攻击。目标攻击是指不仅让这个模型识别错，还要指定它把这个东西识别成什么，如把A的照片识别成B。非目标攻击是指只要识别错就可以了，识别成谁则不重要，如A的照片只要不识别成A就可以。
第二个工作是基于时空稀疏的视频对抗攻击。由于视频数据的维度很高，导致攻击算法的复杂度往往较高。对此，我们提出了基于时空稀疏的视频数据对抗攻击方法。时空稀疏是指在生成对抗扰动时，仅对特定帧的特定区域生成扰动，以此降低对抗扰动的搜索空间，提高攻击效率。在该工作中，为了实现时空稀疏，我们根据启发式规则衡量每个帧的重要性，选择视频帧的子集进行扰动;同时，在空间上我们选择指定帧的写入区域，如针对前景运动的人做一些干扰。以此实现高效的视频黑盒攻击。
第三个工作是针对视频识别模型进行后门攻击。针对后门攻击，之前的研究都集中于图像领域，且都是生成固定的棋盘格式的后门，这种方法在视频上的攻击成功率极低。对此，我们提出了一种针对视频数据的后门攻击方法。在该工作中，我们首先对视频数据进行后门生成，并将后门图案安插在视频中不显眼的角落，同时我们对原始视频其他内容施加一些对抗干扰，使得我们识别的模型更加侧重利用后门，以此得到污染数据，并用污染的数据替换原始数据集里对应的数据，实现后门攻击。该工作在公开数据集上取得了比较好的攻击结果，在很多类别上平均攻击成功率可以实现80%左右，远高于现有的基于图像数据的后门攻击方法。
技术对人工智能治理至关重要
未来，技术将在人工智能安全问题检测以及相应规则落实上发挥重要的作用。在保障模型安全方面，通过发展对抗攻防理论设计更加鲁棒的智能模型，确保智能系统在复杂环境下的安全运行，形成人工智能安全评估和管控能力。在隐私保护上，发展联邦学习及差分隐私等理论与技术，规范智能系统分析和使用数据的行为，保障数据所有者的隐私。针对智能系统决策的可解释性问题，发展机器学习可解释性理论与技术，提升智能算法决策流程的人类可理解性，建立可审查、可回溯、可推演的透明监管机制。在决策公平方面，可以利用统计学理论与技术，消除算法与数据中的歧视性偏差，构建无偏见的人工智能系统。最后，为了保证人工智能技术不被滥用，可以通过发展大数据计算与模式识别等理论与技术，预防、检测、监管智能技术被滥用的情况，创造有益于人类福祉的人工智能应用生态。
姜育刚，复旦大学教授、博士生导师，计算机科学技术学院院长、软件学院院长、上海视频技术与系统工程研究中心主任。
文/姜育刚
本文来自《张江科技评论》
2018人工智能十大“失败案例”盘点
Synced最近对全年的人工智能十大“失败案例”进行了首次总结
AI人脸识别闯红灯董明珠躺枪
董明珠在宁波“闯红灯”被抓？原来是在过马路时公交广告上董小姐的“大头照”太明显，一下子被闯红灯人脸识别系统捕捉到，竟然误以为是真人！董小姐人在家中，却在社交媒体上不幸躺枪成了“jaywalker”。
那辆巴士刚好被投放了印有董明珠头像的广告。当这辆巴士行驶在宁波中山东路，经过江夏桥东一带时，恰好从中间垂直方向穿过了一条亮着红灯的斑马线，而车身广告上董明珠的照片正脸刚好对准了一侧的红灯，如果是个真人的话，TA的确是在闯红灯。高大上的AI检测系统顿时变成“人工智障”，把照片当成了真人，直接把这辆公交车拍了下来，还锁定了车身上董明珠的照片，判定此人闯红灯。该系统还从数据库里搜索，把董明珠的车身广告照片和一行「＊＊＊，在江夏桥东违法闯红灯」曝光到了大屏幕上。宁波交警事后回应称，技术人员已经对该系统进行了全面升级。
Uber自动驾驶汽车杀死一名行人
在公共道路上第一个已知的与车辆相关的自动驾驶行人死亡事件中，优步的自动驾驶SUV于3月28日在亚利桑那州的Tempe市撞倒了一名女性行人，致其当场死亡。
Uber发现其自动驾驶软件决定在汽车传感器检测到行人后却没有采取任何行动。根据美国国家运输安全委员会关于事故的初步报告，这是因为Uber的自动模式禁用了沃尔沃工厂安装的自动紧急制动系统。
在悲剧发生之后，Uber在北美城市暂停了自驾驾驶测试，而Nvidia和丰田也在美国停止了自驾车道路测试。事故发生8个月后，Uber宣布计划在匹兹堡恢复自驾车路试，尽管该公司的自驾车未来仍然不明朗。
IBMWatson医疗保健出现重大漏洞
BM最初是一个问答机器，一直在广泛的应用程序和流程（包括医疗保健）中探索Watson的AI功能。2013年，IBM开发了Watson首个针对癌症治疗推荐的商业应用程序，该公司在过去五年中与医院和研究中心建立了许多重要的合作伙伴关系。但WatsonAIHealth并没有给医生留下深刻印象。一些人抱怨它对癌症治疗提出了错误的建议，可能会导致严重甚至致命的后果。
据报道，在没有显著进步的项目上花费数年后，IBM正在缩小WatsonHealth的规模并裁掉该部门员工的一半以上。
亚马逊AI招聘工具性别歧视
据报道，亚马逊人力资源部门在2014年至2017年期间使用了支持AI的招聘软件来帮助审核简历并提出建议。然而，该软件对男性申请人更有利，因为其模型是在过去十年中提交给亚马逊的简历上接受培训的，当时雇用了更多的男性候选人。
据报道，该软件降级了包含“女性”一词的简历，或暗示申请人是女性，例如因为他们曾就读过女子大学。亚马逊此后放弃了该软件。该公司并未否认使用该工具提出建议，但表示从未用于评估候选人。
DeepFakes将色情主角错认成《星战》DaisyRidley
去年12月，Reddit网上出现了一些国际顶级女星——25岁《星战》女星黛丝烈尼（DaisyRidley）的色情视频，原因竟然是是“DeepFakes”采用生成对抗网络，将明星的脸与色情视频中女性的脸进行了交换。
虽然面部交换技术已经开发多年，但DeepFakes的方法显示，任何拥有足够面部图像的人现在都可以制作他们自己非常有说服力的假视频。色请视频的创作者，就是将《星球大战》知名演员DaisyRidley的脸与上面的色情女星交换了。
2018年，逼真的名人假视频依旧充斥着互联网。虽然这种方法在技术上并非“失败”，但其潜在的危险是严重而深远的：如果视频证据不再可信，这可能会进一步鼓励流传假新闻。
GooglePhoto出现了bug
Google相册包含一个相对未知的AI功能，可以自动检测具有相同背景／场景的图像，并将它们合并为单个全景图片。1月份，Reddit用户“MalletsDarker”在滑雪场拍摄了三张照片：两张是风景照，另一张是他朋友的照片。当谷歌照片合并这三个时，发生了一件奇怪的事情，因为他的朋友的脑袋被渲染成一个从森林中窥视出来的尖峰巨人。尴尬作死瞬间如图：
这张照片使得r／funnysubreddit排名前十，并获得了202k的赞成票。社交媒体称赞谷歌算法巧妙地混合了图像，同时嘲笑它在构图基础方面的愚蠢。
LG机器人Cloi在揭幕仪式上“傻掉”
1月8日应该是LG的IoTAI助手Cloi在拉斯维加斯举行的2018年国际消费电子展上首次亮相的那一天。Cloi被呈现为一个简单而愉快的界面，能够识别控制家用电器的语音命令。然而，当可爱的机器人走上舞台进行现场演示时，观众正在观看和等待，一直等待……因为它未能回应LG市场营销主管的命令，只产生尴尬的沉默。
波士顿动力学机器人blooper
SoftBank拥有的机器人制造商波士顿动力公司今年不止一次为互联网赢得了惊喜：它的机器人SpotMini可以灵巧地用头戴式抓手臂打开门；它的人形机器人阿特拉斯现在可以做“跑酷”了——顺利跳过原木，跳跃一系列40厘米的步骤而不会停下步伐。
但即使是波士顿动力公司也有其不小心“哎呀”的时刻：在未来科学家和技术专家大会上首次亮相时，阿特拉斯在一个完美的演示中举起了盒子等。但正当表演结束准备离开时，这个可怜的机器人绊倒在窗帘上，笨拙地从舞台上摔下来。不过，它摔倒的样子倒也挺像人类的。
2018年AI对世界杯的预测几乎都错
2018年世界杯是一年中最重要的体育赛事，高盛、德国多特蒙德技术大学、ElectronicArts、彼尔姆国立研究大学和其他机构的人工智能研究人员运行了机器学习模型，来预测多阶段比赛的结果。然而大多数都是完全错误的，只有EA——使用其视频游戏FIFA18的新评级进行模拟——正确地支持了胜利者法国。EA游戏引擎以众多机器学习技术为后盾，旨在使玩家的表现尽可能逼真。
SQL服务数据科学家NickBurns提供了一个解释：“无论你的模型有多好，它们都只是和你的数据一样好……最近的足球数据还不足以预测世界杯的表现。缺少信息和未定义的影响太多了。”
Startup声称可以从面部扫描预测智商
以色列机器学习初创公司Faception提出了有争议的说法，即其人工智能技术可以分析面部图像和骨骼结构，以揭示人们的智商，个性，甚至是暴力倾向。数据科学家BenSnyder在Twitter上斥责该公司的技术：“那是颅相学。你只是把ML当作一个种族主义的背锅侠。“这条推文收到了超过6，500次转推送和近17，000个点赞。