当前人类社会面临的人工智能安全问题有哪些
在科技发展史上，科学技术的每一次进步和变革都会不可避免地带来“双刃剑”效应。
人工智能技术也是如此，它的提出到应用正在以惊人的速度改变着我们的生活方式，逐步渗透到了工业制造、家居、教育、医疗、物流等各行各业中。
虽然人工智能尚处于发展阶段，但这项技术可能带来的安全、伦理、隐私等一系列问题早已引起了人们的关注，这些问题直接影响着人们对人工智能技术的信任程度，随着智能革命的发展人们的生活也将迎来一场翻天覆地的变化。
当前人类社会面临的人工智能安全问题：鉴于人工智能算法与系统的特点，因人工智能技术的客观原因导致的安全问题主要源于以下三点。
（1）系统安全层面。集中表现为基础安全技术缺陷、智能硬件的系统漏洞，以及当前智能技术和产品供应链条的复杂性。
（2）算法透明度与可解释性层面。AI技术本身具有一定的不确定性，由于人类没有充分认识到人工智能算法的自主学习与决策过程，以深度学习为代表的人工智能算法经常被视作一个无人理解的黑箱。因此，人工智能算法可解释性和透明度的严重缺失，可能给人类社会带来巨大的影响。
（3）数据使用和隐私保护层面。人工智能的不断发展是建立在大量的个人数据的记录和分析之上的，所以如何在这个过程中保障个人隐私，合理地使用个人信息则是重中之重。
上述三个问题本身就是巨大的风险，同时由其引发的归责问题、监管问题乃至国家安全问题、社会安全问题等也都是人工智能发展面临的挑战。
安全是任何科技能够长足发展的前提，如何增加社会对科技的信任，如何让科技的发展遵循伦理道德要求都是需要考虑的问题。
好啦，这次的分享就到这里，我们下期再见！欢迎在评论区补充和留言。
人工智能应用中的安全、 隐私和伦理挑战及应对思考
隐私保护挑战
大数据驱动模式主导了近年来人工智能的发展，成为新一轮人工智能发展的重要特征。隐私问题是数据资源开发利用中的主要威胁之一，因此，在人工智能应用中必然也存在隐私侵犯风险。
数据采集中的隐私侵犯
随着各类数据采集设施的广泛使用，智能系统不仅能通过指纹、心跳等生理特征来辨别身份，还能根据不同人的行为喜好自动调节灯光、室内温度、播放音乐，甚至能通过睡眠时间、锻炼情况、饮食习惯以及体征变化等来判断身体是否健康。然而，这些智能技术的使用就意味着智能系统掌握了个人的大量信息，甚至比自己更了解自己。这些数据如果使用得当，可以提升人类的生活质量，但如果出于商业目的非法使用某些私人信息，就会造成隐私侵犯。
云计算中的隐私风险
因为云计算技术使用便捷、成本低廉，提供了基于共享池实现按需式资源使用的模式，许多公司和政府组织开始将数据存储至云上。将隐私信息存储至云端后，这些信息就容易遭到各种威胁和攻击。由于人工智能系统普遍对计算能力要求较高，目前在许多人工智能应用中，云计算已经被配置为主要架构，因此在开发该类智能应用时，云端隐私保护也是人们需要考虑的问题。
知识抽取中的隐私问题
由数据到知识的抽取是人工智能的重要能力，知识抽取工具正在变得越来越强大，无数个看似不相关的数据片段可能被整合在一起，识别出个人行为特征甚至性格特征。例如，只要将网站浏览记录、聊天内容、购物过程和其他各类别记录数据组合在一起，就可以勾勒出某人的行为轨迹，并可分析出个人偏好和行为习惯，从而进一步预测出消费者的潜在需求，商家可提前为消费者提供必要的信息、产品或服务。但是，这些个性化定制过程又伴随着对个人隐私的发现和曝光，如何规范隐私保护是需要与技术应用同步考虑的一个问题。
伦理规范挑战
伦理问题是人工智能技术可能带给人们的最为特殊的问题。人工智能的伦理问题范围很广，其中以下几个方面值得关注。
机器人的行为规则
人工智能正在替代人的很多决策行为，智能机器人在作出决策时，同样需要遵从人类社会的各项规则。比如，假设无人驾驶汽车前方人行道上出现3个行人而无法及时刹车，智能系统是应该选择撞向这3个行人，还是转而撞向路边的1个行人？人工智能技术的应用，正在将一些生活中的伦理性问题在系统中规则化。如果在系统的研发设计中未与社会伦理约束相结合，就有可能在决策中遵循与人类不同的逻辑，从而导致严重后果。
机器人的权力
目前在司法、医疗、指挥等重要领域，研究人员已经开始探索人工智能在审判分析、疾病诊断和对抗博弈方面的决策能力。但是，在对机器授予决策权后，人们要考虑的不仅是人工智能的安全风险，而且还要面临一个新的伦理问题，即机器是否有资格这样做。随着智能系统对特定领域的知识掌握，它的决策分析能力开始超越人类，人们可能会在越来越多的领域对机器决策形成依赖，这一类伦理问题也需要在人工智能进一步向前发展的过程中梳理清楚。
机器人的教育
有伦理学家认为，未来机器人不仅有感知、认知和决策能力，人工智能在不同环境中学习和演化，还会形成不同的个性。据新华网报道，国外研发的某聊天机器人在网上开始聊天后不到24个小时，竟然学会了说脏话和发表种族主义的言论，这引发了人们对机器人教育问题的思考。尽管人工智能未来未必会产生自主意识，但可能发展出不同的个性特点，而这是受其使用者影响的。机器人使用者需要承担类似监护人一样的道德责任甚至法律责任，以免对社会文明产生不良影响。
启示与建议
人类社会即将进入人机共存的时代，为确保机器人和人工智能系统运行受控，且与人类能和谐共处，在设计、研发、生产和使用过程中，需要采取一系列的应对措施，妥善应对人工智能的安全、隐私、伦理问题和其他风险。
加强理论攻关，研发透明性和可解释性更高的智能计算模型
在并行计算和海量数据的共同支撑下，以深度学习为代表的智能计算模型表现出了很强的能力。但当前的机器学习模型仍属于一种黑箱工作模式，对于AI系统运行中发生的异常情况，人们还很难对其中的原因作出解释，开发者也难以准确预测和把握智能系统运行的行为边界。未来人们需要研发更为透明、可解释性更高的智能计算模型，开发可解释、可理解、可预测的智能系统，降低系统行为的不可预知性和不确定性，这应成为人工智能基础理论研究的关注重点之一。
开展立法研究，建立适应智能化时代的法律法规体系
欧盟、日本等人工智能技术起步较早的地区和国家，已经意识到机器人和人工智能进入生活将给人类社会带来的安全与伦理问题，并已着手开展立法探索，如2016年5月，欧盟法律事务委员会发布《就机器人民事法律规则向欧盟委员会提出立法建议》的报告草案，探讨如何从立法角度避免机器人对人类的伤害。有效应对未来风险挑战需强化立法研究，明确重点领域人工智能应用中的法律主体以及相关权利、义务和责任，建立和完善适应智能时代的法律法规体系。
制定伦理准则，完善人工智能技术研发规范
当人工智能系统决策与采取行动时，人们希望其行为能够符合人类社会的各项道德和伦理规则，而这些规则应在系统设计和开发阶段，就需被考虑到并被嵌入人工智能系统。因此，需要建立起人工智能技术研发的伦理准则，指导机器人设计研究者和制造商如何对一个机器人做出道德风险评估，并形成完善的人工智能技术研发规范，以确保人工智能系统的行为符合社会伦理道德标准。
提高安全标准，推行人工智能产品安全认证
可靠的人工智能系统应具有强健的安全性能，能够适应不同的工况条件，并能有效应对各类蓄意攻击，避免因异常操作和恶意而导致安全事故。这一方面需要提高人工智能产品研发的安全标准，从技术上增强智能系统的安全性和强健性，比如完善芯片设计的安全标准等；另一方面要推行智能系统安全认证，对人工智能技术和产品进行严格测试，增强社会公众信任，保障人工智能产业健康发展。
建立监管体系，强化人工智能技术和产品的监督
由于智能系统在使用过程中会不断进行自行学习和探索，很多潜在风险难以在研发阶段或认证环节完全排除，因此加强监管对于应对人工智能的安全、隐私和伦理等问题至关重要。建议在国家层面建立一套公开透明的人工智能监管体系，实现对人工智能算法设计、产品开发、数据采集和产品应用的全流程监管，加强对违规行为的惩戒，督促人工智能行业和企业自律。
推动全球治理，共同应对风险挑战
人工智能的快速发展是全球各国共同面临的问题，应明确科学家共同体、政府与国际组织各自的职责，引导各国积极参与人工智能全球治理。加强机器人伦理和安全风险等人工智能国际共性问题研究，深化人工智能法律法规、行业监管等方面的交流合作，推进人工智能技术标准和安全标准的国际统一，使人工智能科技成就更好地服务于人类社会。
致谢：本研究受科技部改革发展专项“中国人工智能2.0规划编制”（2016GH010036）、科技部科技创新战略研究专项“重大科技项目和科技工程形成机制研究”（ZLY2015133）资助。
（责任编辑王丽娜）
作者简介：李修全，中国科学技术发展战略研究院，副研究员。注：本文发表在2017年第15期《科技导报》，欢迎关注。本文部分图片来自互联网，版权事宜未及落实，欢迎图片作者与我们联系稿酬事宜。
返回搜狐，查看更多
人工智能安全：挑战与机遇
【环球科技】
人工智能技术和应用飞速发展，推动经济社会创新发展的同时，也在重塑人类安全的未来。作为2018世界人工智能大会的重要组成部分，题为“人工智能安全：挑战与机遇”的安全高端对话9月18日在上海国际会议中心举办。此次对话活动由上海赛博网络安全产业创新研究院、中国信息通信研究院安全研究所联合承办，上海社会科学院互联网研究中心等协办。
对话围绕伦理问题、国家安全、网络安全三大主题展开，研判人工智能时代的安全挑战，探索人工智能安全发展的创新之道，促进人工智能产业的健康发展，确保人工智能发展造福人类未来。
本版邀请参与对话的两位嘉宾撰文，为读者深度解读人工智能与人类自身发展的现实与未来。
一、人工智能技术迅猛发展
军事历来是推动技术变革的主要力量之一，特别是在一些战略性领域，新技术与军事变革之间的互动，不仅推动了技术的发展，也影响了军事变革。算法上的突破、数据数量和质量的不断提升以及计算能力的增长为人工智能在军事领域的应用提供了无限的想象空间。
从现有的技术条件来看，人工智能至少可以在机器人、战场环境的分析和目标识别、后勤组织计划、情报分析、信息管理、信息行动等方面在一定程度上提升或改变原有对军事的认知。
人工智能的发展可以减少军人的伤亡程度、增强指挥决策、控制战争的杀伤范围方面改变未来的战争形态。
第一，当越来越多的无人驾驶飞机、坦克、汽车，以及自主决策武器开始走向战场，军人直接暴露在战场杀伤环境将会减少，军人的伤亡率较传统的战争也会下降。这会使得跟传统军人形象迥异，一群戴着眼镜，像在网吧中玩着网络游戏的新的职业军人和军事单元出现在战斗序列中。
第二，人工智能在辅助战场决策可以发挥重要作用，包括制定军事计划、后勤组织保障、战场环境实时信息获取、分析、目标的图像识别等方面可以大幅度提高战场的指挥决策能力。
第三，人工智能时代战争将更多是特种战争，而非全方位的战争。人工智能在网络战、信息战，以及类似的“斩首行动”“定点清除”等特种作战领域将会发挥重要的作用。这从很大程度上而言这也会改变战场的形态，人工智能领域的特种作战将会先与大规模冲突的爆发，改变人们传统上认为，战争就是工业化时代的大规模飞机、坦克、军舰等武器之间直接对抗的印象。
鉴于人工智能在军事领域的重要作用，各国的军队和政府都高度重视从国防角度来看待人工智能，越来越多的国家开始发展和使用人工智能武器，制定人工智能国防领域的发展战略。
2016年2月，时任美国情报总监詹姆斯·克莱伯在参议院武装力量委员会的听证会上认为，人工智能系统的欺骗性和破坏性难以预测和理解，将会对国家安全和关键信息基础设施带来巨大风险。特朗普政府开始加大对人工智能国家战略的制定和资源的投入，美国国防部门的国防创新咨询委员会和国防科学委员会不遗余力地推动美国军方向人工智能转型，并且成立了国防部联合人工智能中心；近期，美国国防高级研究计划局（DARPA）作为美军重要的技术创新部门宣布对人工智能的投资增加20亿美元，用以布局下一代人工智能。
俄罗斯也高度重视人工智能在国防领域的发展。俄罗斯国防力量积极的开发人工智能武器，包括超级坦克、无人蜂群、无人导航水下航行器等，根据媒体报道，俄罗斯已经开始在叙利亚战场中使用基于人工智能的武器系统。在美俄之外，包括中国、英国、澳大利亚、韩国、印度等越来越多的国家开始重视人工智能在军事领域的发展和应用。
二、安全领域挑战不容小觑
人工智能拥有巨大潜能，但事情往往具有两面性，为了获取战略竞争优势，各国人工智能在国防领域的竞争，也带来了安全方面的风险——包括为了获取竞争优势而忽视人工智能的伦理问题、人工智能技术扩散，以及过度强调人工智能的国家安全属性对正常的技术发展和商业所带来的威胁挑战。
首先，致命性自主武器的伦理问题。致命性系统是一种直接或间接地对人类造成伤害或死亡的系统。现有系统如装备了武器的无人机，就在某种程度上将自动化与致命性结合起来，但是这一系统需要人类的参与。完全自主的致命性自主武器系统还需要能够识别和选择目标，确定拟对目标施加的武力级别，并在特定范围的时间和空间内对目标实施规定的武力。半自主、全自主系统包括杀伤人员地雷、反舰雷达、各种精确制导导弹、鱼雷、巡航导弹、反卫星武器、空中和海上无人机、无人机群以及网络蠕虫。从不含情报的地雷到精确制导导弹以及依据地形的巡航导弹，这些系统中的情报数量差异巨大。
国际社会存在着很大的反对发展致命性自主武器的声音。如此众多的自主武器带来的问题是机器是否有权力去自主决定杀伤目标，以及由于算法黑箱或者自主武器失控而导致的误杀和误伤成为致命性自主武器发展必须要面临的伦理问题。虽然战争和伤亡是需要极力去避免的，但是由机器来决定伤亡则更加难以接受。不仅如此，人工智能的应用会在一定程度上降低战争的门槛，这会鼓励减少自我约束，采取进攻性的行动来达到相应的目的，但同时也会对国际安全形成新的不稳定因素。
其次，作为人工智能发展核心的算法和数据都存在着潜在的安全问题，这会导致人工智能决策的风险。从编程的角度来看，任何的代码都是由人编写，因此无法确保程序完全安全、可靠、可控、可信。从数据角度来看，人工智能依赖大数据，同时数据的质量也会影响算法的判断。军事数据质量获取、加工、存储和使用等环节都存在着一定的数据质量和安全风险，从而增加了军事领域使用人工智能的安全风险。
再次，人工智能技术扩散给全球安全带来的威胁。伴随着人工智能武器的开发，国际社会面临的另一大难题就是反扩散问题，恐怖主义组织以及不负责任的国家获取人工智能武器，并威胁国际安全和平。人工智能从某种意义上而言，也是一种程序和软件，因此，它面临的扩散风险要远远大于常规武器。类似于美国国家安全局的网络武器库被黑客攻击，并且在暗网交易，最后被黑客开发为勒索病毒的案例，也有可能在人工智能武器领域重现。
最后，人工智能的军备竞赛会对技术逻辑和商业逻辑产生破坏。人工智能具有军民两用性质，其发展最初的目的是为了发展经济，增加社会福利。过度的强调军事用途会对人工智能的全球研发体系和产业链造成严重威胁。近期，美国政府对《外国投资审查法案》进行修订，其中重点就是要阻止其他国家对美国人工智能初创企业的并购。法国政府也采取了相应做法提高外国企业对法国人工智能技术、人才的并购门槛。再加上，出口管制和人才交流限制。人工智能技术尚未发展成熟，各种鸿沟已经在各国之间开始构筑，会严重影响正常的技术研发，并且破坏全球化的商业逻辑。
三、治理机制构建刻不容缓
人工智能在军事领域的发展和应用已经成为很多国家的国家战略，相应的治理工作应当在现有的国际安全架构开展。今年9月在日内瓦召开的联合国常规武器公约的讨论中，各方并未就制定禁止人工智能驱动的致命性完全自主武器的条约达成共识。全球约有共26个国家支持全面禁止人工智能武器，而绝大多数国家还在观望。在规则不确定和大国战略竞争的背景下，人工智能在军事领域发展面临的风险和威胁在不断增加。加强人工智能的国际治理工作，降低军备竞赛风险则是当务之急。
经过2014年和2015年的两次非正式会议后，在2016年12月16日关于特定常规武器公约的联合国会议上成立了致命性自主武器系统（LAWS）政府专家组（GGE）。该小组的任务是研究致命性自主武器领域的新兴技术，评估其对国际和平与安全的影响，并为其国际治理提出建议。
人工智能引发的安全问题是专家组的一大重要分歧，技术强国与弱国之间存在截然不同的观点。技术弱国认为应当完全禁止致命性自主武器的开发使用，技术大国则持相反意见，认为开发致命性自主武器可以降低人员损伤，有利于打击恐怖主义和维护国家安全，并且很多系统已经在战场上进入实战。
军事是推动技术进步的重要因素，互联网就是由美国军方所发明，人工智能的技术发展背后也有军事因素的强力推动。但是，人工智能的科技竞赛也非技术之福，特别是致命性自主武器的扩散会造成更为严重的后果。因此，从联合国层面制定相应的规范，并且促成大国之间在发展致命性自主武器上达成一定的军控条约是当务之急。
联合国政府专家组应制定致命性自主武器系统和人工智能军事应用的目标。其中，最重要的一个目标是制定相应的国际法，在国际法不明确的情况下，各国应克制在军事领域使用人工智能武器。联合国政府专家组也应考虑对国际法此前未曾预见的情况追加法律限制，并以道德或伦理为由尽量减少对人和平民的伤害。更进一步的目标包括管理以下情况的操作风险，包括降低使用武力门槛、意外导致不应有的伤害、造成意外的升级螺旋式增长以及产生军备竞赛和扩散。
当然，从联合国角度来达成一项谈判可能需要十年甚至更长的时间，鉴于越来越多的风险，大国之间应当及早就人工智能在军事领域应用可能带来的潜在风险开展对话，及早启动相应的军控进程。短期内促成技术强国在谋求战略优势和国际安全体系稳定之间的妥协。
各国政府在制定人工智能在军事领域的战略时，还应当高度重视人工智能的治理工作。比如，无论是半自主和全自主的武器系统的设计，应允许指挥官和作战人员在使用武力方面作出适当的人为判断。为保证这一要求的实现，需要严格的设计、对设计的测试和评估、操作验证和测试，解决系统错误和故障的安全工程以及避免人为错误的认知工程。
在决定是否使用人工智能武器时，应当制定明确的规范和流程，避免造成不可预测的后果。同时，还应当加强对人工智能武器的安全性，避免安全泄露，或者是随意转让相关技术。无论是无意或者有意地扩散都会增加军备竞赛的风险，威胁国际安全体系。
（作者：鲁传颖，系上海国际问题研究院副研究员）
张小松团队：人工智能算法安全与安全应用
张小松，电子科技大学教授，博士生导师，主要研究方向为网络安全，2019国家科技进步一等奖和2012国家科技进步二等奖的第一完成人，2020第二届全国创新争先奖和2017网络安全优秀人才奖获得者，四次获得省部技术发明/科技进步一等奖，担任提升政府治理能力大数据应用技术国家工程实验室专家委员会副主任委员，中国电子学会区块链分会副主任委员，国家重点研发计划网络空间安全重点专项首席科学家，发表SCI/EI学术论文139篇，以第一作者出版专著2部，译著2部，以第一发明人获授权国家发明专利42项。
人工智能算法安全与安全应用的相关研究属于网络安全领域。网络安全则是一门内涵在不断发展的伴随学科，任何一项技术的快速发展都会衍生出相应的安全问题，像量子计算、人工智能技术的发展更是会改变传统安全的思维方式。因此，人工智能技术的井喷式发展给网络空间安全领域带来了巨大的挑战与希望。
人工智能带来的希望主要在于：人工智能高效、准确的特点，能显著提升现有网络空间安全的防护能力，能大幅改善防护的实时性，因此，人工智能早已被应用于网络空间安全领域，且在应对部分人类难以解决的问题时，具有巨大的潜力。其带来的挑战在于：人工智能自身也存在数据安全、算法安全、隐私保护等安全问题，另外人工智能算法同样能为攻击者利用。
结合学术界和产业界的总结，人工智能算法安全与安全应用的内涵包括两个方面：
一是从安全的角度审视人工智能算法，认识并应对人工智能算法存在的缺陷，为人工智能算法的应用加上保险；
二是将人工智能算法应用到传统安全领域，提高相关防护方式的实时性、准确性。
《人工智能算法安全与安全应用》（张小松，刘小垒，牛伟纳著.北京：科学出版社，2021.3）一书主要依据作者团队所完成的具体科研项目与科研成果，围绕人工智能网络安全应用以及对人工智能算法自身安全性分析而展开介绍。
本书主要内容共三部分。
▲本书框架
▋第一部分人工智能算法安全与安全应用概述。首先总结人工智能技术的发展近况以及人工智能技术对人类生产生活的重要影响；其次，讨论人工智能算法安全与安全应用的研究范畴，并简要介绍各国对人工智能安全相关研究的重视程度；最后，对全书的脉络进行梳理与归纳。
▋第二部分探讨人工智能算法安全。首先，从人工智能算法鲁棒性的角度介绍针对人工智能模型的攻击方法，包括作者团队提出的多种利用目前人工智能算法鲁棒性缺陷而设计的对抗攻击算法；其次，对人工智能算法的安全性增强方法进行介绍，并对人工智能对抗样本的性质进行探讨；最后，从数据安全的角度介绍数据安全对人工智能算法决策以及对人工智能安全的影响，进而从数据保护、隐私保护的角度介绍几种数据保护方法，并分析近期提出的数据投毒防御方法。
▋第三部分是对网络空间安全问题与人工智能技术结合的总结，分别对主流的漏洞攻击、恶意代码攻击、匿名网络技术和APT技术进行介绍与归纳总结，并结合作者团队的研究经验对近年来人工智能技术与上述网络安全领域结合后的研究现状进行总结和梳理。
2020年6月我出版了《人工智能安全》一书，书中详细描述了人工智能的赋能效应与伴生效应。这期间恰好张小松教授把刚刚写好的《人工智能算法安全与安全应用》书稿给我看，该书确实是让我眼睛一亮。我所主编的《人工智能安全》更多地是从宏观的层面论述人工智能安全的整体面貌，而张小松教授的《人工智能算法安全与安全应用》是对其中的人工智能内生安全和赋能防御两个具体方面进行了深化，从更为深入、更为详尽的角度具体探讨了人工智能内生安全中的算法安全问题，同时还详尽介绍了人工智能赋能防御中的几种应对网络安全的方法，从而深入系统地诠释了人工智能内生安全及人工智能赋能防御的内涵。
该书的精彩之处在于书中融入了张小松团队近年来在相关领域的研究成果，既有理论探讨，也有实验结果分析。书中所介绍的人工智能算法安全性以及人工智能在网络安全防御中的应用是以该团队多年来的相关研究为底蕴，也算是对团队前期工作的一次梳理。
该书能为广大学者在人工智能算法安全性与安全应用研究方面提供帮助，也会促进对人工智能安全性的研究，尤其能为突破内生安全与赋能防御提供新的思路和启迪。
中国工程院院士
2021年1月
本文摘编自《人工智能算法安全与安全应用》（张小松，刘小垒，牛伟纳著.北京：科学出版社，2021.3）一书“第一章绪论”“序”，有删减修改，标题为编者所加。
(前沿信息技术的安全与应用丛书)
ISBN978-7-03-066907-0
责任编辑：张海娜赵微微
相关著作
区块链安全技术与应用
张小松著
北京：科学出版社，2021.3
(前沿信息技术的安全与应用丛书)
ISBN978-7-03-066908-7
责任编辑：张海娜赵微微
本书是一部关于区块链安全与应用的技术专著，主要内容包括区块链简介、共识机制与智能合约、区块链隐私保护以及区块链技术应用四个部分。第一部分简要介绍区块链的定义、架构、相关技术、分类等；第二部分重点讨论区块链智能合约安全、优化、交易行为、以太坊虚拟机的安全问题；第三部分讨论数字签名在区块链安全与隐私保护中的应用与实例；第四部分介绍区块链技术的几个应用场景，对实现区块链监管的可编辑区块链技术进行讨论。
（本文编辑：刘四旦）
一起阅读科学!
科学出版社│微信ID：sciencepress-cspm
专业品质学术价值
原创好读科学品味
科学出版社视频号
硬核有料视听科学
传播科学，欢迎您点亮★星标，点赞、在看▼
人工智能时代的安全风险与应对之策
随着安防行业进入智能化时代，人工智能安全已经是行业目前必须面对的新挑战。数智时代的安全风险
在安防行业，谈起安全，人们自然会想到数据安全、传输安全、网络安全等话题，但其实随着安防行业进入智能化时代，人工智能安全已经是行业目前必须面对的新挑战。
近年来，在大算力和海量大数据的驱动下，以深度学习为代表的AI技术飞速发展，以计算机视觉技术为例，依托广阔的应用场景从理论研究走向大规模的应用落地，人脸识别、目标检测等技术被广泛应用于公共安全、城市交通等领域，推动城市治理的智能化升级。
但在数据驱动智能化发展的背后，安全隐患也不容忽视。瑞莱智慧副总裁唐家渝指出，数据驱动的深度学习算法存在不可靠、不可解释等局限性，即便是开发者也难以理解其内在的运行逻辑，这就导致系统可能遭受到难以被察觉的恶意攻击。
McAfee曾做过一个实验，针对护照的人脸识别系统进行攻击，结合禁飞人员与正常飞行人员的特征，生成对抗样本图案，禁飞人员可凭包含这张生成的虚假照片的护照，顺利通过人脸识别护照系统的检测，顺利登机。这种潜在漏洞在国内安防门禁、考勤系统和手机解锁应用中同样存在。
唐家渝表示，这是深度学习范式下AI应用存在的结构性缺陷，贯穿于AI全生命周期。除了在运行环节对输入数据添加“扰动”，在最开始的模型设计环节，通过在训练数据中添加“污染数据”进行“投毒”，导致模型被埋藏后门，再通过预先设定的触发器激发后门，模型也将输出事先设定的错误结果。
通过数据污染、恶意样本攻击等方式对算法进行深层次攻击已经成为趋势，随着AI技术尤其是计算机视觉技术的广泛应用，这一安全风险的真实威胁开始显现。例如，公共安全领域，视频监控、安检闸机等智能安防设备被不法分子攻击，用于躲避追踪、冒充他人等；交通领域，自动驾驶汽车被干扰“致盲”，引发安全事故等；在金融领域，线上银行的人脸认证被破解，用于非法转账等诈骗行为。
唐家渝介绍，除了算法漏洞，“数据驱动”衍生的安全风险还远不止于此。海量人脸数据被恶意采集、滥用，导致用户隐私泄漏；泄露的人脸照片在表情驱动算法下生成伪造视频，用于攻破人脸核验系统等……如何有效应对人工智能安全风险，保障人工智能安全可控的应用落地成为行业未来发展的一项重要课题。
图：AI版“隐身衣”演示
AI安全风险如何应对
随着智能化场景的深入，人工智能的风险问题将更加的严峻。目前围绕AI的核心要素与环节来看，算法的漏洞、数据的滥用、隐私的泄露，以及技术滥用等问题都日渐严峻。如此，围绕算法、数据、应用等环节的AI治理问题也亟待解决。
针对以上问题，瑞莱智慧围绕“算法可靠、数据安全、应用可控”三大方向展开布局，在算法方面，其推出了业内首个业务级人工智能安全平台“RealSafe”，提供模型安全性测评及防御加固的端到端解决方案；在数据方面，其基于安全多方计算、联邦学习、匿踪查询等技术打造了数据安全共享基础平台隐私保护计算平台“RealSecure”；在应用治理领域，针对“AI换脸”等深度伪造技术滥用现象，瑞莱智慧推出深度伪造内容检测平台“DeepReal”，目前，该公司商业化产品已在政务、金融、能源、互联网等领域落地。
唐家渝认为，人工智能应用是集业务、算法、数据于一体的有机整体，涉及训练、检验、运行等生命周期阶段，所以应面向所有关键流程，布局全面且有针对性地安全防御措施。同时他强调，人工智能安全攻防技术在快速演变过程中，新的攻击手段不断出现，除了要解决“近忧”，更要着眼于“远虑”，对于未知威胁进行研判和防范，因此需打造动态升级、科学前瞻的防御理论及技术体系。
基于此，瑞莱智慧提出了兼顾“被动”和“主动”的防御机制。唐家渝解释道，被动防御为AI应用部署静态的安全能力，防范已知安全风险，比如对外部访问、输入数据、行为决策等进行检测，为算法模型部署加固防护组件等，提升系统抵御攻击的能力。主动防御则是为补充被动式防御的局限，引入和强化人工智能安全团队力量，以动态防御对未知威胁进行风险预判，构建自适应、自生长的安全能力。
AI市场新赛道
AI安全是新兴领域，虽然Google、OpenAI、BAT等科技巨头都有布局人工智能安全领域技术研究，但实际聚焦并将其商业化落地的企业寥寥无几。
作为市场的先行者，唐家渝认为这个领域除了部署技术体系外，更需要框架指导、标准规范、法律合规等多个维度协同推进。据悉目前瑞莱智慧已经与国家工信安全中心、中国信通院、国家互联网应急中心、公安部第三研究所等单位开展合作，联合落地标准制定、测试评估等工作，推动AI安全从“试点示范”走向“推广应用”。
唐家渝表示，目前整个AI产业已经从之前粗放式的高速发展进入到高质量发展的阶段，随着公众对于AI安全性的关注度提升，以及监管政策的出台和引导，未来AI行业将是发展与治理协同的阶段，如何保证AI应用的安全性是一个重要命题。安全AI这一新兴领域，比如AI安全防火墙、基于隐私计算的人脸识别方案等会很快迎来爆发。
安博会期间，安防知识网等媒体与唐家渝进行了一次深度对话。本次访谈中，唐家渝谈到AI安全的落地以及对AI产业的思考。
Q：整个展会看下来，瑞莱智慧非常的特殊，能否为我们简单介绍下企业？
唐家渝：瑞莱智慧孵化自清华大学人工智能研究院，致力于提供基于第三代人工智能技术的AI基础设施，加速安全、可靠、可信的产业智能化升级。核心聚焦安全AI领域，比如数据安全治理、算法可靠性提升，以及保障AI技术应用的安全可控。
Q：人工智能安全的最大挑战是什么？
唐家渝：安全问题的本质是攻防较量，是对抗升级的过程，我们需要永远比对手“快一步”。例如我们的AI防火墙能够检测到现有的一些新型攻击，但是攻击方也在不断更新算法，一旦他们比我们更快找到了新的漏洞，如果不能及时防御，后果可能会比较严重。这个对抗博弈的过程非常艰辛，背后的技术投入与技术难度是非常大的，但也只有这样才能制衡住对方。
Q：用户如何评估瑞莱智慧安全解决方案的效果？
唐家渝：安全的评估难以完全量化，主要通过两类场景来体现：一是用户已经遭受攻击产生损失，利用我们的系统能够将漏洞具体检测出来，同时基于我们的方案避免类似的损失发生；二是如果有更加新型的攻击方式出现，已经部署我们系统的用户通常能够更早地发现风险以及抵御风险，降低损失。
Q：目前哪些用户比较关心人工智能安全？
唐家渝：主要有三类，一是行业属性对场景及业务安全性关注度较高的群体，例如银行等金融机构，与财产安全直接挂钩；二是国家重大基础设施服务群体，例如电网，一旦有被攻击的风险将造成国家重大财产损失和社会安全问题；最后是监管类国家政府机构，因为部门职能要求，需要利用相应的技术工具对市面上的人工智能产品的安全性进行监管与评测。这是目前比较典型的客户群体，我们觉得，类似于互联网时代网络安全的出现，未来人工智能会像互联网一样，普及是未来趋势，相应的人工智能安全应对也将成为必需。
Q：与互联网安全厂商如360、奇安信等会有合作吗，还是业务是各自分开的？
唐家渝：我们之间属于合作的关系，人工智能安全与网络安全相比，两者针对的目标对象和风险类型是完全不同的，网络安全主要是针对计算机网络系统的安全防护，人工智能安全主要关注的是人工智能系统模型、数据、框架等方面的安全，两者技术点与场景点是不一样的。因此通过开展合作，各自发挥所长，推动全方位的安全服务落地。
Q：安防行业强调的安全是数据存储与数据传输的安全，但瑞莱智慧强调的是用算法去推进安全的应用，对于传统用户而言，目前的接受程度如何？
唐家渝：现阶段看，市场仍需要一个培育的过程，但部分领域的客户已经有这方面的意识。比如我们与公安客户交流，他们对于人工智能安全必要性的认知还是非常高的。当前捕捉在逃嫌疑人的人脸识别系统、视频结构化系统的识别算法会被一些不法分子绕过，因此针对这些安全系统的升级也迫在眉睫。同样的，金融行业的用户接受度也更高，虽然针对AI系统的攻击仍是比较新的，但在利益的驱使下，已经有不少黑产分子在利用这些技术手段实施攻击，头部的银行客户也正在我们的帮助下加速建立完善的人工智能安全体系。另外，我们除了布局算法安全外，也涉及数据安全领域，比如基于隐私计算的数据治理方案，为用户提供全面的安全保障。
Q：瑞莱智慧这类型的企业出现，也意味着AI产业的野蛮生长已经结束，开始进入理性化的阶段，站在您的角度，如何看待AI企业未来的发展？
唐家渝：之前的安防展，AI企业展现的内容还大多聚焦在人脸识别与视频结构化等应用，企业拼到最后也是在数据收集以及场景深耕上竞争。但今年来看的话，AI安全治理开始受到重视，随着数据安全法、算法治理规范等相关条例的出台，以及公众舆论的讨论，使用人脸识别产品的企业对安全问题的关注度越来越高，业界开始出现探索安全可信的AI方案，比如后端治理上，数据采集后的脱敏存储、结合隐私计算的人脸识别方案等。从大环境来看，AI企业的算法效果的差异化已经没那么明显了，未来市场的趋势一定是在追求算法落地效果的基础上要保障算法与数据的安全可控，这有助于整个AI产业的健康发展，同时对我们而言也是个利好的趋势。
Q：除了公安，未来瑞莱智慧会切入其他安防场景，如交通、社区等场景吗？
唐家渝：这些场景我们都有在布局，因为AI安全性问题属于底层的通用问题，当前安全问题的产生源自于深度学习算法的结构性缺陷，我们首先切入公安的人脸识别场景是因为其应用最为广泛，面临的风险也最为严峻。但像智能交通的车牌识别、社区安防的人脸识别和ReID跟踪等场景，同样存在安全风险，我们也在跟这些领域的厂商与主管部门展开合作，共同推进相关场景的AI系统安全性升级。
Q：所有的智能化应用落地都会有困难，那么人工智能安全方案在落地之前会遇到挑战吗？
唐家渝：会的，核心是安全与效果之间的平衡，因为安全方案的引入，或多或少都会对系统的效果产生影响。举一个例子，一些视频结构化系统具有较好的识别效果，但同时容易被攻击误导，这种情况下，我们核心要突破的挑战便是如何最大程度降低被恶意攻击的概率，同时保证系统的识别效果尽可能不受影响，这需要我们对识别算法、攻防算法的技术理论以及实际的业务逻辑都要有深入的理解。