人工智能产业应用中的信息安全问题及措施人工智能的应用有哪些安全问题

发表时间：2023-07-05 01:35:45

人工智能产业应用中的信息安全问题及措施

一、人工智能产业应用中的信息安全

人工智能产业应用是信息化的集大成者，如果将人工智能在一个产业的应用比喻为一棵大树，某种程度上可以认为，这棵树是以信息为土壤，以信息为养分，乃至其枝叶和果实也是以信息的形式存在和发挥作用的。

有了信息，就有了信息安全。信息安全要求保持信息的秘密性、完整性和可用性，防止非授权的信息公开和使用，防止信息篡改和破坏，并保证授权用户和程序可以及时、正常使用信息。人工智能产业应用中的信息安全并没有发生内涵上的本质变化，但同时应该看到，人工智能在上述产业中的应用推广，必将导致信息的产生、传输和存储发生量的飞跃和特征的变化，信息安全也随之有新的特点。

1、连接数空前增大导致信息安全触点增多

人工智能的广泛应用，将导致摄像头、拾音器、定位设备、感温器、人体体征检测设备、感光器等无数个各式各样的传感器遍布于人们的工作和生活的各个角落。梅特卡夫定律认为，网络价值与网络中的用户数量的平方成正比。人工智能、万物互联将这一定律诠释得淋漓尽致。仅就物联网而言，IDC预测，2020年全球物联网连接数将达到281亿个，GSMA(GlobalSystemofMobileCommunicationAssociation)更预估将超300亿个。这些都将成为人工智能体系的一部分。

连接密集，节点增多，导致非法入侵的触点也大大增加，“后门”无处不在，信息安全风险因之增大。黑客不只是可以通过侵入网络系统中的计算机来获取数据，还可以将智能电表、智能手环、家庭婴儿监控镜头、智能冰箱等作为进攻目标。众多的节点同时还使得信息安全遭到破坏的隐蔽性进一步增强，破坏者利用某个环节非法获取信息或破坏信息后，系统的运作丝毫不受影响，而破坏者已经从其破坏行为中大受其益。

2、数据空前密集导致信息安全产生的影响更加显著

如同流淌于人体血管中的血液一样，智能体系产生的数据流淌于整个体系的每一寸肌肤。联入网络的人工智能设备，无时无刻不在产生、传输和存储个体数据和行业数据。而且，数据的范围大大延伸，包含文本、图像、视频等多种形态，信息量也大大增加。智能体系中的每一个人、每一个智能设备都成为信息化社会的信息单元，他们在接受信息的同时，也在产生信息，充当着信息的利用者和被利用者的双重角色。

数据密集导致信息量增大，随之而来的是，一旦发生信息安全问题，产生的后果也更为严重，从碎片化变为立体化，从局部影响变为综合影响。人工智能产业应用中的信息安全风险可以分为两大类型：一类是个体数据泄露和被盗用引发个人信息安全问题，使得隐私暴露于公众视线;另一类是智能系统的整体性安全遭到威胁。对前者而言，人工智能得以广泛应用后，个人隐私泄露不再局限于身份、账号、联系方式等数据，而是更为综合、立体的全方位“人物刻画”数据。从健康状况、经济状况到出行轨迹、交往圈、消费明细、个人活动等，心怀叵测的人或机构可以利用“合法”或不合法的途径获取这些数据，用于这些数据产生之初的原本意图之外的用途，“被刻画者”将毫无隐私。对后者而言，在人工智能体系中，大量智能设备摆脱人的直接控制，通过“云—管—端”的方式受控于智能系统，许多云端系统本身就是无人值守的智能系统，一旦停摆或遭到攻击，整个信息链上的设备、人、产业、社会都会受到严重影响，甚至使得公共秩序遭受破坏、个人财富蒙受损失。

3、云体系化增强了个体对信息的不可控性

人工智能产业应用的云体系化正在表现出不可逆转且加速的趋势。云体系包括云平台(云计算和云存储)、云网络、云终端、云服务等多个方面，通过云化，数据存储、计算服务等资源更具共享性，整体社会效益得以提升，但同时也增加了信息安全方面的风险。

这里不妨引用“信息孤岛”的概念来说明问题。信息孤岛通常被用来描述功能上缺乏互动、信息上缺乏共享及业务流程相互脱节的计算机应用系统。从更大范围来讲，信息孤岛不仅在企业内存在，也在企业间、产业间、政府间存在。云体系化将大幅改善信息孤岛现状，在科学规划和管控的前提下，企业间、产业间、政府间的信息得以充分流动和共享。然而，问题也正是在这里。信息孤岛一般是被当作负面概念来使用的，但不能否认的是，某种意义上信息孤岛对信息隔离和信息安全起着积极的作用。云体系化使得来自不同机构、不同产业的数据存储在少数几家提供云服务的“独角兽”企业，虽然减弱了“信息孤岛”效应，但数据高度集中使得系统一旦被入侵，产生的灾难性后果也是跨机构和跨行业的。而且，由于数据在云端存储，数据的产生者、所有者对其信息的不可控性也大大增加。

二、应对举措

人工智能的产业应用越是普及，人们将越是依赖人工智能，人工智能的信息安全问题就越容易对社会造成伤害和损失。着眼未来，必须未雨绸缪，在技术、机制、立法等方面强化跟进，做好人工智能产业应用中的信息安全应对。

重视技术保障。技术本来不是问题，但只有重视和强调，才会在必要的领域得以加强。人工智能信息依赖于承载它的信息技术系统而存在，因此需要特别重视在技术层面部署完善的基础设施和控制措施，杜绝技术层面的漏洞和风险。可喜的是，人工智能技术本身在信息安全领域大有用武之地，未来，利用人工智能技术，可以帮助人类开展侦测和清除僵尸智能设备、识别和阻止恶意软件和文件执行、提高安全运营中心运营效率、量化风险评估等信息安全保障行为。

强化机制保障。人工智能和云体系化等是信息安全的双刃剑，在利用的同时，我们要采用合理的机制最大程度抑制和避免其负面影响，包括在数据的集中与分散之间取得适度均衡、强化灾备系统和信息安全应急响应机制等。国务院2017年7月发布的《新一代人工智能发展规划》强调，要建立健全公开透明的人工智能监管体系，实行设计问责和应用监督并重的双层监管结构，实现对人工智能算法设计、产品开发和成果应用等的全流程监管，促进人工智能行业和企业自律，切实加强管理等，这些都是未来需要大力加强的方面。

人工智能产生于人，其行业应用服务于人，人工智能时代的信息安全的关键要素也仍然是人。一方面，信息安全问题的制造者仍将是人，而不是人工智能本身(现在担心人工智能产生意识，反过来与人类为敌，为时尚早)，务必采取多种手段在人工智能产业应用中可能产生信息安全问题的各个环节加强对人的约束和管控。另一方面，人工智能时代的信息安全问题的解决者也是人，说到底，信息安全的对抗，是人员的知识、技能和素质的对抗，这个对抗将伴随着信息安全的存在而始终存在。

（文章略有删减）

（来源：保密科学技术）

张小松团队：人工智能算法安全与安全应用

张小松，电子科技大学教授，博士生导师，主要研究方向为网络安全，2019国家科技进步一等奖和2012国家科技进步二等奖的第一完成人，2020第二届全国创新争先奖和2017网络安全优秀人才奖获得者，四次获得省部技术发明/科技进步一等奖，担任提升政府治理能力大数据应用技术国家工程实验室专家委员会副主任委员，中国电子学会区块链分会副主任委员，国家重点研发计划网络空间安全重点专项首席科学家，发表SCI/EI学术论文139篇，以第一作者出版专著2部，译著2部，以第一发明人获授权国家发明专利42项。

人工智能算法安全与安全应用的相关研究属于网络安全领域。网络安全则是一门内涵在不断发展的伴随学科，任何一项技术的快速发展都会衍生出相应的安全问题，像量子计算、人工智能技术的发展更是会改变传统安全的思维方式。因此，人工智能技术的井喷式发展给网络空间安全领域带来了巨大的挑战与希望。

人工智能带来的希望主要在于：人工智能高效、准确的特点，能显著提升现有网络空间安全的防护能力，能大幅改善防护的实时性，因此，人工智能早已被应用于网络空间安全领域，且在应对部分人类难以解决的问题时，具有巨大的潜力。其带来的挑战在于：人工智能自身也存在数据安全、算法安全、隐私保护等安全问题，另外人工智能算法同样能为攻击者利用。

结合学术界和产业界的总结，人工智能算法安全与安全应用的内涵包括两个方面：

一是从安全的角度审视人工智能算法，认识并应对人工智能算法存在的缺陷，为人工智能算法的应用加上保险；

二是将人工智能算法应用到传统安全领域，提高相关防护方式的实时性、准确性。

《人工智能算法安全与安全应用》（张小松，刘小垒，牛伟纳著.北京：科学出版社，2021.3）一书主要依据作者团队所完成的具体科研项目与科研成果，围绕人工智能网络安全应用以及对人工智能算法自身安全性分析而展开介绍。

本书主要内容共三部分。

▲本书框架

▋第一部分人工智能算法安全与安全应用概述。首先总结人工智能技术的发展近况以及人工智能技术对人类生产生活的重要影响；其次，讨论人工智能算法安全与安全应用的研究范畴，并简要介绍各国对人工智能安全相关研究的重视程度；最后，对全书的脉络进行梳理与归纳。

▋第二部分探讨人工智能算法安全。首先，从人工智能算法鲁棒性的角度介绍针对人工智能模型的攻击方法，包括作者团队提出的多种利用目前人工智能算法鲁棒性缺陷而设计的对抗攻击算法；其次，对人工智能算法的安全性增强方法进行介绍，并对人工智能对抗样本的性质进行探讨；最后，从数据安全的角度介绍数据安全对人工智能算法决策以及对人工智能安全的影响，进而从数据保护、隐私保护的角度介绍几种数据保护方法，并分析近期提出的数据投毒防御方法。

▋第三部分是对网络空间安全问题与人工智能技术结合的总结，分别对主流的漏洞攻击、恶意代码攻击、匿名网络技术和APT技术进行介绍与归纳总结，并结合作者团队的研究经验对近年来人工智能技术与上述网络安全领域结合后的研究现状进行总结和梳理。

2020年6月我出版了《人工智能安全》一书，书中详细描述了人工智能的赋能效应与伴生效应。这期间恰好张小松教授把刚刚写好的《人工智能算法安全与安全应用》书稿给我看，该书确实是让我眼睛一亮。我所主编的《人工智能安全》更多地是从宏观的层面论述人工智能安全的整体面貌，而张小松教授的《人工智能算法安全与安全应用》是对其中的人工智能内生安全和赋能防御两个具体方面进行了深化，从更为深入、更为详尽的角度具体探讨了人工智能内生安全中的算法安全问题，同时还详尽介绍了人工智能赋能防御中的几种应对网络安全的方法，从而深入系统地诠释了人工智能内生安全及人工智能赋能防御的内涵。

该书的精彩之处在于书中融入了张小松团队近年来在相关领域的研究成果，既有理论探讨，也有实验结果分析。书中所介绍的人工智能算法安全性以及人工智能在网络安全防御中的应用是以该团队多年来的相关研究为底蕴，也算是对团队前期工作的一次梳理。

该书能为广大学者在人工智能算法安全性与安全应用研究方面提供帮助，也会促进对人工智能安全性的研究，尤其能为突破内生安全与赋能防御提供新的思路和启迪。

中国工程院院士

2021年1月

本文摘编自《人工智能算法安全与安全应用》（张小松，刘小垒，牛伟纳著.北京：科学出版社，2021.3）一书“第一章绪论”“序”，有删减修改，标题为编者所加。

(前沿信息技术的安全与应用丛书)

ISBN978-7-03-066907-0

责任编辑：张海娜赵微微

人工智能发展应用中的安全风险及应对策略

（4）应用场景的影响。谷歌公司机器人阿尔法狗战胜韩国围棋九段棋手李世石和围棋世界冠军柯洁，唤醒了世人对人工智能的高度关注。百度指数数据显示，从2015年底开始，“人工智能”热度逐渐升温，且持续到现在。2015-2016年，其媒体关注度已经暴涨6倍。

2.发展现状

目前，人工智能蓬勃发展，技术进步迅速，其应用已经渗透到我们的日常生活中，如人脸识别、刷脸支付、语音助手、无人机、服务机器人、自动驾驶和智能系统等。与互联网、大数据、物联网、云服务融合的人工智能应用给我们带来了更多的便利。专家认为，人工智能的应用将使劳动生产率提高90%；至2035年，人工智能将使年度经济增长率提高一倍。

但是，业界普遍认为真正的人工智能尚处于发展的初级阶段（认知智能发展阶段），即弱人工智能阶段，有“技能”，但远远谈不上有“智能”，还没能出现像人一样思考和行动的真正的人工智能产品，离通过“图灵测试”这一衡量人工智能技术水平的标准为时尚远。有专家认为，人工智能目前处于婴儿期，其智商大抵相当于3岁的孩子，说不好、笑不真、想不清、行不稳，这四“不”客观地描写了人工智能目前的现状。

02安全风险

1.国家安全

国家安全包括国土安全、政权安全、制度安全和意识形态安全等。2017年7月，美国智库发表题为《人工智能与国家安全》的研究报告，认为人工智能将会是国家安全领域的颠覆性力量，其影响可与核、航空航天、信息和生物技术比肩，将深刻改变军事、信息和经济领域安全态势。该报告强调人工智能通过变革军事优势、信息优势和经济优势影响国家安全。其中，军事领域引入人工智能几乎是不可阻挡的，而人工智能技术与生俱来的军民两用特性则要求决策者必须调和商业与国家安全之间的利益。而且，利用“换脸”、“换声”等人工智能技术可以制作具有欺骗性的假时事新闻。已有案例说明，利用人工智能技术在社交平台大量制作散发虚假新闻可以在政府首脑选举中影响选民的抉择。

2.社会安全

传统犯罪借助人工智能，将会衍生出新型犯罪形态、犯罪行为、手段和方法，出现无法辨识是机器人犯罪还是真实人犯罪的尴尬场景。2018年3月，美国发生了两起涉及自动驾驶的车祸。3月19日，优步（Uber）一辆自主驾驶汽车在美国亚利桑那州坦佩市发生致命车祸，一名49岁的女子晚上推着自行车穿过马路时被汽车撞死。3月23日，一名工程师驾驶特斯拉ModelX型号汽车在加州101公路和85公路交接处发生致命车祸，车祸发生时汽车启用了自动驾驶（或自动辅助驾驶）功能。这些案例说明，人工智能产品如果没有彻底解决安全可靠性问题，将会危及社会公共安全和人身安全。

3.网络安全

网络和大数据的发展推动了人工智能的进步，网络攻击智能化趋势也给网络安全保护提出更高要求。有关人工智能与网络安全关系的研究表明，一旦人工智能运用到网络攻击活动，将使得网络攻击活动更加难以预警和防范，关键信息基础设施也将会面临新的安全风险威胁。如人工智能技术运用到木马病毒制作传播，将会出现难以防御的超级病毒木马，传统应对方法将不足以制止这些恶意程序传播扩散的速度。此外，人工智能的技术研发与应用也存在一些不确定性的安全风险。

03应对人工智能安全风险的对策建议

人工智能的安全风险取决于技术发展及其安全可控的程度，短期风险可以预见，长期风险受制于现有认知能力难以预测和判断。因此，一方面，人类社会要积极推动人工智能技术研发和应用；另一方面，要为人工智能的发展应用规划一条安全边界，防止其被恶意运用、滥用，给人类社会造成不可逆转的伤害。

1.加强人工智能安全风险的研究

树立正确的安全观，科学对待人工智能安全风险。研究掌握在人工智能技术研发和应用过程中会出现哪些风险，并从法律、政策、技术和监管等方面进行有效防控管控。

2.加强人工智能立法研究和法律规范

人工智能理论、方法、技术及其应用引发社会关系、社会结构和行为方式的变化，产生不可预知的安全风险和新的法律问题。建议运用法律手段，重点防控人工智能行为主体及其行为的异化。从现有情况看，人工智能法律研究应主要聚焦在人工智能产品主体，如智能机器人的法律地位、行为的法律属性以及法律责任如何确定等方面。在立法方面应加强对人工智能技术应用可能出现的法律问题的前瞻性研究探索。

3.加强人工智能安全防控体系建设

按照趋利避害原则，处理好人工智能发展应用与安全防控的关系，既要促进人工智能发展应用，又要推动其在安全、可靠和可控的轨道上前行。要加强对人工智能安全防控体系建设的战略规划部署，围绕人工智能安全风险点，借鉴已有经验，有步骤地推进人工智能安全综合防控体系建设。

4.加强人工智能产品服务的安全监管

要及时制定人工智能安全产品和服务技术标准规范，规范和引导产品研发推广。加强对人工智能安全产品和服务的市场监管执法和相关产品上市前的安全测试。对有安全缺陷的产品和服务要依法处理，对造成危害后果的要依法追究法律责任。要积极运用人工智能技术提高安全监管能力，善于运用人工智能技术改进和加强安全监管执法，提高安全监管执法的能力和效率。

5.加强人工智能技术研发的管控

人工智能的快速发展引起了国际社会对于道德伦理问题的关注和担心，应当为人工智能技术研发划出“红线”，设置禁区，禁止研究开发危害人类生存安全的人工智能技术和产品，防止人工智能技术的滥用。美国科幻小说家阿西莫夫在1950年出版的小说《我，机器人》中提出了著名的“机器人三大法则”，第一定律：机器人不得伤害人类个体，或者目睹人类个体将遭受危险时袖手不管；第二定律：机器人必须服从人类发出的命令，当该命令与第一定律冲突时例外；第三定律：机器人在不违反第一、第二定律的情况下要尽可能保护自己的生存。2017年1月，美国著名人工智能研究机构未来生命研究院（FLI）在加利福尼亚州召开主题为“有益的人工智能（BeneficialAI）”的阿西洛马会议，法律、伦理、哲学、经济、机器人和人工智能等众多学科和领域的专家，共同达成了23条人工智能原则（“阿西洛马人工智能原则”，被称为人工智能发展的“23条军规”），呼吁全世界在发展人工智能的时候严格遵守这些原则，共同保障人类未来的利益和安全。23条规则规定，人工智能研究的目标应该建立有益的智能，而不是无向的智能。应该设计高度自主的人工智能系统，以确保其目标和行为在整个运行过程中与人类价值观相一致。对于人工智能造成的风险，尤其是那些灾难性的和存在价值性的风险，必须付出与其所造成的影响相称的努力，以用于进行规划和缓解风险。同时，人工智能军事化问题也是国际法律界关注的热点。目前，国际上限制致命性人工智能武器的呼声不绝于耳，有上百家人工智能领先企业呼吁禁止发展致命性人工智能武器。国际社会应当共同努力，加强合作，反对人工智能军事化，共同应对人工智能安全风险。返回搜狐，查看更多

人工智能应用中的安全、隐私和伦理挑战及应对思考

隐私保护挑战

大数据驱动模式主导了近年来人工智能的发展，成为新一轮人工智能发展的重要特征。隐私问题是数据资源开发利用中的主要威胁之一，因此，在人工智能应用中必然也存在隐私侵犯风险。

数据采集中的隐私侵犯

随着各类数据采集设施的广泛使用，智能系统不仅能通过指纹、心跳等生理特征来辨别身份，还能根据不同人的行为喜好自动调节灯光、室内温度、播放音乐，甚至能通过睡眠时间、锻炼情况、饮食习惯以及体征变化等来判断身体是否健康。然而，这些智能技术的使用就意味着智能系统掌握了个人的大量信息，甚至比自己更了解自己。这些数据如果使用得当，可以提升人类的生活质量，但如果出于商业目的非法使用某些私人信息，就会造成隐私侵犯。

云计算中的隐私风险

因为云计算技术使用便捷、成本低廉，提供了基于共享池实现按需式资源使用的模式，许多公司和政府组织开始将数据存储至云上。将隐私信息存储至云端后，这些信息就容易遭到各种威胁和攻击。由于人工智能系统普遍对计算能力要求较高，目前在许多人工智能应用中，云计算已经被配置为主要架构，因此在开发该类智能应用时，云端隐私保护也是人们需要考虑的问题。

知识抽取中的隐私问题

由数据到知识的抽取是人工智能的重要能力，知识抽取工具正在变得越来越强大，无数个看似不相关的数据片段可能被整合在一起，识别出个人行为特征甚至性格特征。例如，只要将网站浏览记录、聊天内容、购物过程和其他各类别记录数据组合在一起，就可以勾勒出某人的行为轨迹，并可分析出个人偏好和行为习惯，从而进一步预测出消费者的潜在需求，商家可提前为消费者提供必要的信息、产品或服务。但是，这些个性化定制过程又伴随着对个人隐私的发现和曝光，如何规范隐私保护是需要与技术应用同步考虑的一个问题。

伦理规范挑战

伦理问题是人工智能技术可能带给人们的最为特殊的问题。人工智能的伦理问题范围很广，其中以下几个方面值得关注。

机器人的行为规则

人工智能正在替代人的很多决策行为，智能机器人在作出决策时，同样需要遵从人类社会的各项规则。比如，假设无人驾驶汽车前方人行道上出现3个行人而无法及时刹车，智能系统是应该选择撞向这3个行人，还是转而撞向路边的1个行人？人工智能技术的应用，正在将一些生活中的伦理性问题在系统中规则化。如果在系统的研发设计中未与社会伦理约束相结合，就有可能在决策中遵循与人类不同的逻辑，从而导致严重后果。

机器人的权力

目前在司法、医疗、指挥等重要领域，研究人员已经开始探索人工智能在审判分析、疾病诊断和对抗博弈方面的决策能力。但是，在对机器授予决策权后，人们要考虑的不仅是人工智能的安全风险，而且还要面临一个新的伦理问题，即机器是否有资格这样做。随着智能系统对特定领域的知识掌握，它的决策分析能力开始超越人类，人们可能会在越来越多的领域对机器决策形成依赖，这一类伦理问题也需要在人工智能进一步向前发展的过程中梳理清楚。

机器人的教育

有伦理学家认为，未来机器人不仅有感知、认知和决策能力，人工智能在不同环境中学习和演化，还会形成不同的个性。据新华网报道，国外研发的某聊天机器人在网上开始聊天后不到24个小时，竟然学会了说脏话和发表种族主义的言论，这引发了人们对机器人教育问题的思考。尽管人工智能未来未必会产生自主意识，但可能发展出不同的个性特点，而这是受其使用者影响的。机器人使用者需要承担类似监护人一样的道德责任甚至法律责任，以免对社会文明产生不良影响。

启示与建议

人类社会即将进入人机共存的时代，为确保机器人和人工智能系统运行受控，且与人类能和谐共处，在设计、研发、生产和使用过程中，需要采取一系列的应对措施，妥善应对人工智能的安全、隐私、伦理问题和其他风险。

加强理论攻关，研发透明性和可解释性更高的智能计算模型

在并行计算和海量数据的共同支撑下，以深度学习为代表的智能计算模型表现出了很强的能力。但当前的机器学习模型仍属于一种黑箱工作模式，对于AI系统运行中发生的异常情况，人们还很难对其中的原因作出解释，开发者也难以准确预测和把握智能系统运行的行为边界。未来人们需要研发更为透明、可解释性更高的智能计算模型，开发可解释、可理解、可预测的智能系统，降低系统行为的不可预知性和不确定性，这应成为人工智能基础理论研究的关注重点之一。

开展立法研究，建立适应智能化时代的法律法规体系

欧盟、日本等人工智能技术起步较早的地区和国家，已经意识到机器人和人工智能进入生活将给人类社会带来的安全与伦理问题，并已着手开展立法探索，如2016年5月，欧盟法律事务委员会发布《就机器人民事法律规则向欧盟委员会提出立法建议》的报告草案，探讨如何从立法角度避免机器人对人类的伤害。有效应对未来风险挑战需强化立法研究，明确重点领域人工智能应用中的法律主体以及相关权利、义务和责任，建立和完善适应智能时代的法律法规体系。

制定伦理准则，完善人工智能技术研发规范

当人工智能系统决策与采取行动时，人们希望其行为能够符合人类社会的各项道德和伦理规则，而这些规则应在系统设计和开发阶段，就需被考虑到并被嵌入人工智能系统。因此，需要建立起人工智能技术研发的伦理准则，指导机器人设计研究者和制造商如何对一个机器人做出道德风险评估，并形成完善的人工智能技术研发规范，以确保人工智能系统的行为符合社会伦理道德标准。

提高安全标准，推行人工智能产品安全认证

可靠的人工智能系统应具有强健的安全性能，能够适应不同的工况条件，并能有效应对各类蓄意攻击，避免因异常操作和恶意而导致安全事故。这一方面需要提高人工智能产品研发的安全标准，从技术上增强智能系统的安全性和强健性，比如完善芯片设计的安全标准等；另一方面要推行智能系统安全认证，对人工智能技术和产品进行严格测试，增强社会公众信任，保障人工智能产业健康发展。

建立监管体系，强化人工智能技术和产品的监督

由于智能系统在使用过程中会不断进行自行学习和探索，很多潜在风险难以在研发阶段或认证环节完全排除，因此加强监管对于应对人工智能的安全、隐私和伦理等问题至关重要。建议在国家层面建立一套公开透明的人工智能监管体系，实现对人工智能算法设计、产品开发、数据采集和产品应用的全流程监管，加强对违规行为的惩戒，督促人工智能行业和企业自律。

推动全球治理，共同应对风险挑战

人工智能的快速发展是全球各国共同面临的问题，应明确科学家共同体、政府与国际组织各自的职责，引导各国积极参与人工智能全球治理。加强机器人伦理和安全风险等人工智能国际共性问题研究，深化人工智能法律法规、行业监管等方面的交流合作，推进人工智能技术标准和安全标准的国际统一，使人工智能科技成就更好地服务于人类社会。

致谢：本研究受科技部改革发展专项“中国人工智能2.0规划编制”（2016GH010036）、科技部科技创新战略研究专项“重大科技项目和科技工程形成机制研究”（ZLY2015133）资助。

（责任编辑王丽娜）

作者简介：李修全，中国科学技术发展战略研究院，副研究员。

注：本文发表在2017年第15期《科技导报》，欢迎关注。本文部分图片来自互联网，版权事宜未及落实，欢迎图片作者与我们联系稿酬事宜。

返回搜狐，查看更多

人工智能发展应用中的安全风险及应对策略

人工智能(ArtificialIntelligence，AI)被称为21世纪三大尖端技术之一(基因工程、纳米科学、人工智能)，扩展延伸了人的智能，逐渐转变成渗透到人类生活和社会各个方面的通用技术，为人类认识世界、改造世界增添了新工具新手段新方法。

1、推动因素与发展现状

随着网络、超级计算、大数据、云服务及传感器等技术的发展进步，人工智能进入了重新崛起并迅猛发展的新阶段。

现状

从发展史来看，人工智能并不是最近才出现的新技术。1956年夏天，在美国新罕布什尔州汉诺威市举行的“达特茅斯会议”上，“人工智能”术语的提出，标志着它已成为一门新兴学科。此后，它逐渐为世人熟悉接受，其相关理论和技术也在起伏中得到逐步发展。进入21世纪，人工智能再度进入爆发式发展应用的新阶段，主要有四大推动因素：

(1)相关基础理论、技术和应用的积累进入新阶段。计算机、大数据、云计算以及物联网等技术的突破，特别是神经网络(模仿人脑思考结构)、机器学习(记忆与认知)、数据库和算法等研究取得的新成果，为人工智能产业化快速发展提供了重要技术基础。

(2)国家战略布局和相关政策的有力支持。美、欧、日等发达国家和地区将人工智能上升为国家战略，纷纷出台政策支持人工智能技术研发和产业发展，抢占发展先机。日本在2015年1月发布《机器人新战略》，未来十年将投入1000亿日元用于人工智能的研发;2017年3月，又出台《人工智能技术战略》，进一步规划部署人工智能的技术研发。2016年，美国白宫连续发布《为未来人工智能做好准备》《美国国家人工智能研究和发展战略计划》《人工智能、自动化和经济》等政策和研究报告，明确提出人工智能研发战略，构建人工智能研发实施框架，并于2018年5月设立相关组织机构，协调推进人工智能研发与政企协作。2018年9月，美国国防部决定未来五年投资20亿美元用于开发机器常识(MCS)项目。2018年6月，欧洲委员会提出一项数字欧洲计划，计划2021-2027年投入10.4亿美元推进人工智能技术研发与应用。2016年12月，英国发布《人工智能：未来决策制定的机遇与影响》，阐释了人工智能对现代社会的影响，不断提高政府对人工智能的认知，2017年4月英国皇家学会发布《机器学习：计算机通过案例学习的能力与潜力》研究报告，呼吁英国加大对机器学习技术的研发投入，2018年英国启动了《人工智能行业新政》，推动英国成为人工智能领域的领导者。2018年以来，德国、法国、韩国和印度等国也纷纷推出本国的人工智能战略进行规划布局。

(3)各大企业加大金融资本的支持。高科技企业将人工智能视为下一代产业革命的技术引爆点进行投资。2016年9月，谷歌、微软、亚马逊、脸谱和IBM五家企业宣布成立人工智能联盟，交流共享人工智能发展经验。由于人工智能产业化和商业前景看好，各种金融资本迅速介入。数据显示，2016年，全球科技巨头在人工智能领域投资就达300亿美元。资本市场的火热催生了一大批人工智能领域初创公司的诞生和快速发展。如以云知声、思必驰等为代表的语音识别和自然语言处理公司，以商汤科技、旷视科技、依图科技等为代表的计算机视觉公司，它们中有很多如今已发展成为新兴的独角兽企业。2018年4月9日，中国恒大与中国科学院签署合作协议，未来10年恒大将投资1000亿元人民币，布局量子科技、机器人等新科技领域。

(4)应用场景的影响。谷歌公司机器人阿尔法狗战胜韩国围棋九段棋手李世石和围棋世界冠军柯洁，唤醒了世人对人工智能的高度关注。百度指数数据显示，从2015年底开始，“人工智能”热度逐渐升温，且持续到现在。2015-2016年，其媒体关注度已经暴涨6倍。

发展现状

目前，人工智能蓬勃发展，技术进步迅速，其应用已经渗透到我们的日常生活中，如人脸识别、刷脸支付、语音助手、无人机、服务机器人、自动驾驶和智能系统等。与互联网、大数据、物联网、云服务融合的人工智能应用给我们带来了更多的便利。专家认为，人工智能的应用将使劳动生产率提高90%;至2035年，人工智能将使年度经济增长率提高一倍。

但是，业界普遍认为真正的人工智能尚处于发展的初级阶段(认知智能发展阶段)，即弱人工智能阶段，有“技能”，但远远谈不上有“智能”，还没能出现像人一样思考和行动的真正的人工智能产品，离通过“图灵测试”这一衡量人工智能技术水平的标准为时尚远。有专家认为，人工智能目前处于婴儿期，其智商大抵相当于3岁的孩子，说不好、笑不真、想不清、行不稳，这四“不”客观地描写了人工智能目前的现状。

2、安全风险

国家安全

社会安全

传统犯罪借助人工智能，将会衍生出新型犯罪形态、犯罪行为、手段和方法，出现无法辨识是机器人犯罪还是真实人犯罪的尴尬场景。2018年3月，美国发生了两起涉及自动驾驶的车祸。3月19日，优步(Uber)一辆自主驾驶汽车在美国亚利桑那州坦佩市发生致命车祸，一名49岁的女子晚上推着自行车穿过马路时被汽车撞死。3月23日，一名工程师驾驶特斯拉ModelX型号汽车在加州101公路和85公路交接处发生致命车祸，车祸发生时汽车启用了自动驾驶(或自动辅助驾驶)功能。这些案例说明，人工智能产品如果没有彻底解决安全可靠性问题，将会危及社会公共安全和人身安全。

网络安全

3、应对人工智能安全风险的对策建议

人工智能的安全风险取决于技术发展及其安全可控的程度，短期风险可以预见，长期风险受制于现有认知能力难以预测和判断。因此，一方面，人类社会要积极推动人工智能技术研发和应用;另一方面，要为人工智能的发展应用规划一条安全边界，防止其被恶意运用、滥用，给人类社会造成不可逆转的伤害。

加强人工智能安全风险的研究

加强人工智能立法研究和法律规范

加强人工智能安全防控体系建设

加强人工智能产品服务的安全监管

加强人工智能技术研发的管控

人工智能的快速发展引起了国际社会对于道德伦理问题的关注和担心，应当为人工智能技术研发划出“红线”，设置禁区，禁止研究开发危害人类生存安全的人工智能技术和产品，防止人工智能技术的滥用。美国科幻小说家阿西莫夫在1950年出版的小说《我，机器人》中提出了著名的“机器人三大法则”，第一定律：机器人不得伤害人类个体，或者目睹人类个体将遭受危险时袖手不管;第二定律：机器人必须服从人类发出的命令，当该命令与第一定律冲突时例外;第三定律：机器人在不违反第一、第二定律的情况下要尽可能保护自己的生存。2017年1月，美国著名人工智能研究机构未来生命研究院(FLI)在加利福尼亚州召开主题为“有益的人工智能(BeneficialAI)”的阿西洛马会议，法律、伦理、哲学、经济、机器人和人工智能等众多学科和领域的专家，共同达成了23条人工智能原则(“阿西洛马人工智能原则”，被称为人工智能发展的“23条军规”)，呼吁全世界在发展人工智能的时候严格遵守这些原则，共同保障人类未来的利益和安全。23条规则规定，人工智能研究的目标应该建立有益的智能，而不是无向的智能。应该设计高度自主的人工智能系统，以确保其目标和行为在整个运行过程中与人类价值观相一致。对于人工智能造成的风险，尤其是那些灾难性的和存在价值性的风险，必须付出与其所造成的影响相称的努力，以用于进行规划和缓解风险。同时，人工智能军事化问题也是国际法律界关注的热点。目前，国际上限制致命性人工智能武器的呼声不绝于耳，有上百家人工智能领先企业呼吁禁止发展致命性人工智能武器。国际社会应当共同努力，加强合作，反对人工智能军事化，共同应对人工智能安全风险。

大连妇科医院排名http://mobile.bohaifk.com/

人工智能产业应用中的信息安全问题及措施 人工智能的应用有哪些安全问题