强化人工智能安全治理（新论）人工智能时代给国家安全带来的挑战包括

发表时间：2023-07-05 18:47:42

强化人工智能安全治理（新论）

作为新一轮科技革命和产业变革的重要驱动力量，人工智能技术发展与应用拓展正在按下“快进键”。今年11月，习近平总书记主持召开的中央政治局会议强调，加快提升生物安全、网络安全、数据安全、人工智能安全等领域的治理能力。这为推动人工智能健康发展提供了重要指引。

在人机协同、跨界融合、共创分享的智能时代，人工智能的应用场景愈发广泛。人工智能为经济社会发展注入活力的同时，也给人类生活带来了新的风险挑战，比如对个人隐私权、知情权、选择权的侵犯，以及窃取、篡改、泄露等非法收集利用个人信息的行为，等等。为此，迫切需要加快提升人工智能安全治理能力，加强人工智能相关法律、伦理、社会问题等研究，建立健全保障人工智能健康发展的法律法规与伦理体系。

加快提升人工智能安全治理能力，需要完善相关的法律法规及行业标准。人工智能的安全秩序包含算法安全、数据安全、伦理安全、国家安全等维度。2019年以来，中国先后发布《新一代人工智能治理原则――发展负责任的人工智能》《全球数据安全倡议》等文件，明确了人工智能治理框架和行动指南。今年9月发布的《新一代人工智能伦理规范》强调，将伦理道德融入人工智能全生命周期，促进公平、公正、和谐、安全，避免偏见、歧视、隐私和信息泄露等问题，为从事人工智能相关活动的自然人、法人和其他相关机构等提供了伦理指引。

加快提升人工智能安全治理能力，要引导社会公众正确认识人工智能。人工智能监管者要提高站位，加强宏观战略研究与风险防范；人工智能研发者要坚持正确价值导向，避免可能存在的数据与算法偏见，努力实现人工智能系统的普惠性、公平性和非歧视性；人工智能的技术提供者要明确告知义务，加强应急保障；人工智能产品的使用者，应当保证这一技术不被误用、滥用或恶用。要对各类伦理道德风险保持高度警惕，坚持以人为本，落实科技向善理念，弘扬社会主义核心价值观。

加强人工智能发展的潜在风险研判和防范，确保人工智能安全、可靠、可控，也是摆在世界各国面前的重要课题。在推动完善人工智能全球治理方面，中国是积极倡导者，也是率先践行者。2020年9月，中国发布《全球数据安全倡议》，明确提出秉持共商共建共享理念，齐心协力促进数据安全；今年5月，中国担任联合国安理会轮值主席期间，主持召开“新兴科技对国际和平与安全的影响”阿里亚模式会议，推动安理会首次聚焦人工智能等新兴科技问题，为国际社会探讨新兴科技全球治理问题提供了重要平台，体现了大国责任担当。

数字化浪潮扑面而来，信息化、数字化、智能化趋势不断演进。主动加强对人工智能的伦理与法律规范，才能更好适应人工智能快速发展的新变化、新要求，在法治轨道上推动人工智能向善发展、造福人类。

（作者为北京理工大学法学院教授）

《人民日报》（2021年12月30日05版）(责编：袁勃、赵欣悦)

分享让更多人看到

人工智能与国家政治安全

人工智能技术的蓬勃发展和广泛应用，给人类生产生活带来了极大便利，同时，也对国家主权、意识形态、执政环境、社会关系、治国理念等带来冲击，深度影响国家政治安全。充分认清人工智能对国家政治安全的挑战，研究应对之策，对于有效维护国家政治安全，意义重大。

人工智能影响政治安全的机理

作为一种颠覆性技术，人工智能进入政治领域后，既具有技术影响政治安全的一般规律，又体现出其不同于以往技术的鲜明特点。

从技术影响政治安全的一般机理来看，主要体现在三个方面。第一，技术进步不可避免地直接或间接服务于政治安全。政治安全是国家安全的根本，经济、社会、网络、军事等领域安全的维系，最终都需要以政治安全为前提条件。因此，包括技术在内的一切社会条件，首要的任务是为政治安全提供服务和保证。综观人类历史上的技术进步，往往被首先考虑用于维护国家安全特别是政治安全，尽管这些技术研发的初衷并非如此。人工智能亦然。第二，政治安全与技术进步相生相克、相生相长。马克思认为，先进技术进入政治领域后，有效提高了“社会控制和权力再生产”。同时，政治安全对技术进步的需求，反过来成为技术不断进步的推动力。但技术并非完美的政治工具。一旦技术利用不当、发生技术失控，或者技术自身缺陷所蕴含的风险爆发，政治安全可能被技术进步反噬。第三，技术进步倒逼政治发展转型，给政治安全带来新课题新挑战。从历史上看，技术进步对社会结构、社会关系、社会文化等带来的变化和冲击，从来不以人的意志为转移。当火枪火炮成为主战兵器时，继续用木盾藤牌来保卫政权的行为无疑是愚蠢的，迫切需要当政者转变思想观念，寻求能够有效维护政治安全的新模式新方法。当计算机网络技术逐渐普及时，西方国家政党纷纷利用互联网进行政治宣传和选举拉票。人工智能较之以往的技术，拥有前所未有的机器“主观能动性”优势，必将对政治安全理念、安全机制、安全路径等带来更大的改变。

从人工智能影响政治安全的独特机理来看，主要体现在两个方面。第一，算法和大数据将左右智能机器“认知”“判断”，继而影响政治行为体的抉择。人工智能的核心“三大件”是算法、算力和大数据。一方面，算法是否公正不偏袒、大数据是否真实完整未被删减篡改伪造污染，直接决定机器的研判结果，并影响人的判断和行为。另一方面，与传统的人口学变量的定量分析不同，大数据、云计算、机器学习等可以将数以亿计的政治行为体抽象成社会的“节点”，人工智能通过分析信息中节点的度数、介数和接近度，来揭示权力集聚规律、赢得政治威望的秘诀，这为执政安全提供了新的技术支撑和智慧渠道。第二，人工智能技术对经济、军事、社会、网络、信息等领域的影响向政治领域传导，间接冲击政治安全。作为一项赋能性技术，人工智能正在逐渐“改写”各领域的秩序规则，给各领域带来机遇和挑战。尽管以往的技术进步也是如此，但其影响的深度和广度远远不及人工智能。而且，以往各领域安全问题“错综复杂、交织并存”的程度，也远远不及人工智能时代高。其他领域的安全问题一旦发酵，极有可能冲击政治安全。

人工智能给政治安全带来新挑战

技术变革具有两面性，人工智能既是维护政治安全的新机遇，也是新挑战。

挑战之一：人工智能技术的普及应用，导致政治权力呈现出“去中心化”趋势。在人工智能时代，数据即代表着权力。掌握数据的主体既有国家权力机构，也有个人、企业团体、社会组织等非国家行为体。“互联网数据”结构的“多节点、无中心”设计，决定着处于线上社会任何位置的主体，均不可能比其他位置的主体位势高。人人都有“麦克风”“摄像机”，处处都是“舆论中心”“事发现场”，这一显著特征，弱化了传统的线下科层制国家管理结构和单向治理模式，政治话语权由政府这个传统的权力中心逐渐向社会层面弥散，国家治理难度大大增加，政治安全风险也大大增加。目前，这种风险已初露端倪。2019年9月，因有人线上传播“老师辱骂原住民学生是‘猴子’”的种族歧视谣言，印尼巴布亚省爆发严重骚乱，导致26人死亡、70余人受伤。

挑战之二：随着人工智能技术和数据垄断持续扩张，资本权力的扩张将危及国家权力边界。生产力的发展变化必将带来生产关系包括政治权力结构的调整。作为“第一生产力”的科学技术，其发展进步势必引起国家权力结构的调整。当人工智能技术广泛应用于经济社会各领域并引起变革时，将会推动国家治理结构与权力分配模式做出相应调整。从当前种种迹象来看，资本的权力依托技术和数据垄断持续扩张，将成为新时代国家治理结构调整的重大课题。一方面，人工智能技术研发门槛很高，依赖于大量的、长期的资本投入和技术积累，这导致社会各产业、各阶层、各人才群体间的技术研发能力、资源占有程度、社会影响力等方面极不平衡，以互联网商业巨头为代表的技术资本将占据明显优势。另一方面，人工智能技术强大的赋能作用，以及良好的经济社会应用前景，导致资本趋之若鹜。商业巨头实际上掌握了目前人工智能领域的大部分话语权，并正在逐步形成行业垄断。人工智能时代，巨头企业以强大资本为后盾，逐步垄断技术、控制数据，或将不可避免地在一定程度上逐渐分享传统意义上由国家所掌控的金融、信息等重要权力，进而可能插手政治事务。因此，国家是否有能力为资本权力的扩张设定合理的边界，是未来政治安全面临的重大挑战。

挑战之三：人工智能技术及其背后的数据和算法潜移默化引导公众舆论，进而影响人的政治判断和政治选择，间接把控政治走向。在人工智能时代，数据和算法就是新的权力。近年来围绕国家大选而展开的种种政治运作显示：拥有数据和技术能够从一定程度上影响政治议程。据有关媒体报道，2020年美国总统大选期间，有人利用网络社交平台的大量机器人账号，发布海量虚假信息，力图影响选民的认知、判断与选择。类似的情况，也曾出现在2016年的美国大选、2017年的英国大选和法国大选中。这些案例非常清晰地显示：只要拥有足够丰富的数据和准确的算法，技术企业就能够为竞争性选举施加针对性影响。当某种特定政治结果发生时，人们很难判断这是民众正常的利益诉求，还是被有目的地引导的结果。

挑战之四：人工智能技术可能被政治敌对势力用于实施渗透、颠覆、破坏、分裂活动。利用先进技术威胁他国政治安全，这样的例子屡见不鲜。计算机网络技术出现后，被西方国家用来进行网络窃密、网络攻击、网络勾联、传播政治谣言、意识形态渗透和进攻。人工智能时代，攻击一国人工智能系统或利用人工智能实施渗透、颠覆、破坏、分裂活动，带来的后果将比以往更为严重。

挑战之五：人工智能技术进步对主权国家参与国际竞争带来严峻挑战。人工智能是当前最尖端最前沿的技术之一，其核心技术多被美欧等发达国家所掌握。这些国家利用它提升生产自动化水平，提高劳动生产率，加快制造业回迁，将冲击发展中国家的传统比较优势，使后者在国际政治经济竞争格局和全球分工中处于更加不利的地位。通过发展军事智能化，进一步扩大对发展中国家的军事优势。国家之间一旦形成技术“代差”，综合实力差距将被进一步拉大。在这种情况下，技术强国对发展中国家实施政治讹诈和技术突袭的可能性增大。

多措并举，维护我国政治安全

政治安全事关我党生死存亡和国家长治久安，我们必须高度重视人工智能带来的政治安全挑战，多措并举，综合施策。

人工智能技术具有高度专业性和复杂性，企业、科研机构常常处于技术创新前沿，而国家政府则往往远离技术前沿，对技术的感知相对滞后，对技术的安全风险准备不足。为此，要强化风险意识，密切跟踪人工智能技术和应用的发展，运用系统思维，定期研判人工智能可能带来的政治风险，提高风险识别、防范和处置能力。要创新技术治理模式，构建政府主导，企业、研究机构、技术专家、公众等多方参与的人工智能治理体系。“治理”不同于“管理”，管理是政府单向的行为过程，治理则是一种开放的、多个利益攸关方参与的互动过程。通过多方互动，政府既可以跟踪掌握技术和应用的前沿动态、发展趋势，掌控治理主动权，又有助于企业、研究机构、专家、民众更好地了解政府关切，共商制定风险管控机制，推进治理工作的科学化民主化。

当前，我国在人工智能技术领域面临的最重大的安全威胁，是关键核心技术受制于人。从现在起到2030年，是我国抢抓机遇的关键期。要举全国之力，集全民之智，打造一批国家级人工智能研发平台，加强基础性、原创性、前瞻性技术研发，从智能芯片、基础算法、关键部件、高精度传感器等入手，加快核心技术突破。

没有规矩，不成方圆。针对技术应用风险，严格人工智能标准制定和行业监管，确保人工智能良性发展。紧跟技术发展变化，动态修订完善相关技术标准。加紧完善人工智能相关法律法规和伦理道德框架，对相关的民事与刑事责任确认、隐私和产权保护、机器伦理等问题予以明确,理顺设计者、使用者、监管者之间的权责关系。要建立健全人工智能监管体系,形成设计问责和应用监督并重的双层监管结构,实现对算法设计、产品开发、成果应用的全过程监管。积极促进行业自律,加大对数据滥用、算法陷阱、侵犯隐私、违背道德伦理、擅越权力边界等不良行为的惩戒力度。要积极主动参与人工智能国际议题设置，共同应对安全、伦理、法律等诸多挑战。抓住人工智能国际准则和配套法规刚刚起步之机，积极参与规则制定，及时宣示我国主张，努力掌握规则制定话语权和国际交往主动权。

针对外部安全风险，加强军事能力建设，为维护国家政治安全提供力量保证。要积极研究探索智能化战争理论，加快推进现代武器装备体系和人才队伍建设，强化智能化条件下部队训练演练，不断提升我军新时代军事斗争准备水平。

（作者：许春雷，系军事科学院博士研究生，现任河北省石家庄市鹿泉区人武部副部长）

人工智能运用于国防领域是大势所趋

美军无人潜航器

俄罗斯“阿尔戈”战斗机器人

美军无人机蜂群作战示意图

作为新一轮科技革命的重要代表之一，人工智能是当今科技领域最前沿的课题。AlphaGoZero通过自我学习碾压“AI前辈”AlphaGo、百度无人汽车上路、苹果手机开启新的刷脸认证方式……近年来，人工智能的实际应用显示其技术巨大的驱动力。

在人工智能技术不断进步的背景下，人工智能在国防领域目前发展如何？人工智能在国防领域能发挥什么作用？未来应如何发展人工智能使其更好服务国防领域？围绕这些问题，记者采访了国防科技大学研究员朱启超。

人工智能成为国际竞争新焦点――

军事强国纷纷抢滩部署

“从世界局势来看，世界各国尤其是军事强国都在抢先布局人工智能，美、俄等国家政府部门均发布了人工智能相关战略或规划，彰显国家层面对人工智能的高度重视。”朱启超表示。

资料显示，俄罗斯始于2008年的“新面貌改革”将人工智能作为重点投资领域。此外，俄罗斯还发布《2025年前发展军事科学综合体构想》，强调人工智能系统将成为决定未来战争成败的关键要素。欧盟在2013年提出为期10年的“人脑计划”，拟斥资12亿欧元进行人类大脑研究。2016年10月，美国白宫发布《国家人工智能研究和发展战略规划》，构建美国人工智能发展的实施框架。

在朱启超看来，不少国家都在推进人工智能在国防领域的发展运用，从最初的无人机到智能化信息处理系统、仿生机器人等，人工智能逐步渗透到国防和军队各个领域。

近年来，美国曾在阿富汗战争、伊拉克战争中大量运用无人机和后勤作业机器人。2014年以来，美军已将智能化无人系统作为“第三次抵消战略”的颠覆性技术领域给予重点投资。去年4月，美国国防部宣布成立算法战跨职能小组，旨在将人工智能用于国防情报搜集和分析领域。据报道，日前美国国防部正式下令建立一个新的人工智能研究中心，整合国防部所有的人工智能相关工作。

其他国家也在这个领域加快步伐，推动军队智能化建设。俄罗斯军事工业委员会计划在2025年之前实现俄军装备30%的机器人化，其军队轮式和履带式地面作战机器人已经投入叙利亚战场。韩国和以色列开发和使用具有自动监视和自主决定开火能力的边境巡逻机器，以色列已在其境内部署自主性很高的“哈比”无人机，韩国国防部也在近期表示将在2020年之前投入75亿韩元用于推动人工智能在情报侦察、指挥控制等领域的运用。

“可以预见，各类智能化无人系统与作战平台将在地面、空中、水面、水下、太空、网络空间以及人的认知空间获得越来越多的应用，深刻改变着未来战争人工智能的技术比重。”朱启超说。

人工智能运用于国防领域是大势所趋――

国防运用需求前景广阔

从历史发展趋势和未来战争需求看，人工智能越来越成为推动新一轮军事革命的核心驱动力，未来战争需求也越来越呼唤人工智能的军事应用。新美国安全中心研究员格雷戈里・艾伦在其主笔的一份题为《人工智能与国家安全》的报告中强调：“人工智能对国家安全领域带来的影响将是革命性的，而不仅仅是与众不同的。世界各国政府将会考虑制定非凡的政策，可能会像核武器刚出现时一样彻底。”

纵观历史，世界历次军事变革经历了从冷兵器时代、热兵器时代、机械化时代到信息化时代的发展历程，从冶炼技术到火药技术、机械化技术、原子能技术，再到信息技术，四次军事革命的发生都贯穿着技术革命的核心作用。“人工智能逐步走向战场，势必会引起武器装备、作战样式、部队体制编制和战斗力生成模式显著更新，进而引发一场深刻的军事革命。”面对人工智能在国防领域的发展态势，朱启超表示。

在朱启超看来，人工智能的国防运用需求非常广阔。当下，战争形态由机械化、信息化向智能化转型的趋势愈发明显，夺取未来战争的胜利越来越取决于军队的信息优势、智力资源和决策速度。而人工智能在减少战场人员数量、获取和分析情报信息、快速决策和反应等方面具有巨大的潜力。2016年，美国辛辛那提大学研发的人工智能程序“阿尔法”在模拟空战中击败了美军资深飞行员，人工智能技术对于军事革命的颠覆性意义已初步显现。

“人工智能越来越成为推进国防和军队信息化建设的重要驱动力，不断提升国防领域的信息处理能力、指挥控制效率、精确打击能力和精准管理保障能力。”朱启超对人工智能提升国防领域智能化运用非常期待，他表示，随着军民融合发展战略的实施推进，人工智能技术、大数据技术、云计算技术等新一代信息技术将在国防领域发挥越来越重要的作用，推动国防和军事智能化水平不断提升。

警惕人工智能成为“战争毒药”――

人类是人机关系主导者

近年来，随着人工智能技术的发展，军事领域涌现出各种人工智能相关作战概念和装备技术项目，但朱启超认为，目前人工智能相关技术与应用还处于快速发展的初级阶段，不应忽视人工智能军事应用的局限性。

“首先，人工智能并不能取代人类智能。人工智能在解决可编程范围外的战争问题时，需要人类的理性分析能力、灵活应变能力、道德分辨能力等，因此，要在遵循战争制胜机理的前提下进行人工智能研究。”他分析道。

朱启超进一步说明，长期来看，还需要警惕人工智能可能带来的安全、法律、伦理等诸多问题。

安全方面，军事对抗环境下，人工智能系统或武器装备一旦被对手通过恶意代码、病毒植入、指令篡改等手段攻击，将带来战术失利甚至灾难性后果；人为错误、机器故障、环境扰动等因素也可能使得系统失去战斗效力。

法律方面，国际武装冲突法中的核心原则――必要性、区别性、相称性和人道性都将面临如何适用和调整的问题。比如，战场机器人无法区分军人与平民而造成滥杀无辜给区别性原则构成挑战。

伦理方面，由于智能化评估决策技术、无人机、机器人等的应用，人类奉为最高价值的生命和尊严可能受到漠视甚至践踏，而战争的指挥者却远离战场享受战争胜利的果实，战争或将成为搬上战场的“电子游戏”，这将冲击人类的道德底线。是否应该将人类的道德标准嵌入日益智能化的机器、嵌入什么样的道德标准以及如何嵌入？这些问题需要世界各国的广泛研究和探讨。

针对人工智能在国防领域运用过程中可能出现的安全、法律、伦理等问题，朱启超建议，应加强社会安全监督管控，形成适应人工智能时代的社会治理模式；积极参与人工智能国际军备控制讨论与谈判，为应对人工智能带来的安全、法律与伦理问题贡献中国智慧和中国方案；牢固确立人类是人机关系主导者的思想，实现对人工智能的安全有效控制，让其为人类的和平福祉服务，而不是使人工智能成为“恶魔的帮凶”。（潘娣）

人工智能给军事安全带来的机遇与挑战

1.2提升军事情报分析效率

随着信息技术的发展，人类正在迎来一个“数据爆炸”的时代。目前地球上两年所产生的数据比之前积累的所有数据都要多。瀚如烟海的数据给情报人员带来了极大的困难和挑战，仅凭增加人力不仅耗费大量钱财，问题也得不到根本解决。与此同时，伴随大数据技术和并行计算的发展，人工智能在情报领域日益展现出非凡能力。目前，美军已经敏锐地捕捉到了人工智能在军事情报领域的巨大应用潜力，成立了“算法战跨职能小组”。该小组的首要职能就是利用机器视觉、深度学习等人工智能技术在情报领域开展目标识别和数据分析，提取有效情报，将海量的数据转换为有价值的情报信息，为打击ISIS等恐怖组织提供有力的技术支撑。机器算法的快速、准确、无疲劳等特点使其在大数据分析领域大展身手，展现出远超人类的能力。因此，美国防部联合人工智能中心主任沙纳汉中将就直言不讳地表示，算法就是“世界上最优秀、训练最有素的数据分析师”。

1.3提升军事网络攻防能力

网络空间已经成为继陆、海、空、天之外的“第五维空间”，是国家利益拓展的新边疆、战略博弈的新领域、军事斗争的新战场。习近平主席在中央网络安全和信息化领导小组第一次会议上指出，“没有网络安全就没有国家安全”。网络攻防是军事安全领域中的重要一环，基于人工智能技术的自动漏洞挖掘可以显著提升军事系统的网络防御能力。目前，网络防御领域存在两大问题：一是网络技术人才短缺；二是当前的网络防御系统面对未知漏洞表现不佳。人工智能的新发展为提升网络防御水平提供了新途径，主要体现在网络系统漏洞自动化检测和自主监视系统等方面。以深度学习为代表的机器学习技术有望使得网络防御系统不仅能从以往的漏洞中学习，而且能在监视数据中不断提升对未知威胁的应对能力。有研究表明，人工智能可以从大量网络数据中筛选出可疑信息，以此增强网络防御能力。比如“蒸馏网络”公司（DistilNetworks）就利用机器学习算法来防御人类难以察觉的高级持续性威胁（APT）网络攻击。目前，美国亚利桑那州立大学的科学家已经研发出了一种能够识别“零日漏洞”的机器学习算法，并能够追踪其在黑客界的流动轨迹。麻省理工学院（MIT）“计算机科学和人工智能”实验室的研究人员也启动了PatternEx研究项目，意在构建一个机器学习系统，预期每天能检查36亿行日志文件，监测85%的网络攻击，并在投入使用时进行自动学习和采取防御措施。美国国防部高级研究计划局正计划将人工智能用于网络防御，重点发展的功能包括在投入使用之前自动检测软件代码漏洞以及通过机器学习探测网络活动中的异常情况等。

1.4为军事训练和培训提供新方式

人工智能为军事训练和培训也提供了新方式。在作战训练领域，人工智能技术与虚拟现实技术相结合能够极大提升模拟软件的逼真度和灵活性，为针对特定战场环境开展大规模仿真训练提供高效手段，真正实现“像训练一样战斗，像战斗一样训练”。首先，通过收集卫星图像、街景数据、甚至是无人机拍摄的三维图像，虚拟现实程序能够在人工智能的帮助下快速、准确地生成以全球任何一处场景为对象的综合训练环境（STE），帮助士兵进行更有针对性的预先演练，提升士兵执行特定任务的能力。其次，人工智能赋能军事训练模拟软件在不降低真实度的情况下快速生成训练环境、设计交战对手，摆脱了以往军事训练耗费大量人力物力布置训练场景的传统模式。再次，人工智能具备的自主性使得模拟军事训练不会以可预测模式进行，士兵必须使用各种设备和不同策略在复杂多样的环境中战斗，有利于提升士兵和指挥官在作战中的应变能力。最后，人工智能通过在模拟对战中与人类反复交手从而迭代学习，系统借助大量复盘模拟可以不断完善应对方法，为参谋人员提供参考借鉴。这一过程类似于与AlphaGo进行围棋对战。换言之，人工智能不仅可以扮演模拟军事训练中人类的强大对手，还可以在每次胜利时向人类传授一种针对这次战役或行动的新策略。除此之外，人工智能在军事训练的其他领域也有着广泛应用。目前，一个名为“神探夏洛克”（SHERLOCK）的智能辅导系统已经被用于美国空军的培训中。这个系统能够为美国空军技术人员提供如何操作电子系统对飞行器进行诊断的培训。同时，南加州大学的信息科学学院已经研制出了一个基于替身的训练程序，能够为派驻海外的军人提供跨文化交流训练。

1.5给军事理论和作战样式创新带来新的启发

诚如恩格斯所言：“一旦技术上的进步可以用于军事目的，他们便立刻几乎强制地，而且往往是违背指挥官的意志而引起作战方式上的改变甚至变革。”技术进步作用于军事领域必然引起作战方式的改变甚至变革，这是恩格斯100多年前就向人们揭示的军事技术发展规律，人工智能技术当然也不例外。总体来看，以人工智能技术为支撑的智能化武器装备较传统武器装备具有突防能力强、持续作战时间长、战术机动性好、训练周期短以及综合成本低等显著优势。智能化无人系统可采用小型化甚至微型化设计，使用复合材料和隐身技术，以隐蔽方式或集群方式接近目标，让敌人难以察觉或无法防范。无人武器系统还可以突破人类生理局限，装备的性能指标和运转时长只需考虑制造材料、各类机械电子设备的承受极限和动力能源的携带量，不但使得系统在机动、承压方面能力得到革命性提升，并且能够实现远距离侦察打击和在目标区域的长时间存在。同样重要的是，与传统武器系统操控训练周期一般长达数年不同，无人系统操控员仅需数月或一年左右的训练即可远程操控“捕食者”“死神”等无人武器参加实战，更多作战人员不必直接踏上战场，有望大大降低战死率和随之而来的社会舆论压力。基于人工智能技术军事化应用的上述特点，近年来美军提出了以算法较量为核心的算法战、无人武器系统蜂群式作战、具有高度自适应性的“马赛克战”等一系列新作战样式。可以预见的是，随着人工智能技术的进一步发展，智能化条件下的军事理论和作战样式创新不会停止。

总而言之，人工智能可以帮助军事力量更加精准高效地运转，同时降低人类面临的生命危险。人工智能在无人作战、情报搜集与处理、军事训练、网络攻防、智能化指挥控制决策等军事领域的广泛运用具有“改变游戏规则”的颠覆性潜力，有望重塑战争形态，改写战争规则，推动智能化战争的加速到来。中央军委科技委主任刘国治中将等专家认为，人工智能必将加速军事变革进程，对部队体制编制、作战样式、装备体系和战斗力生成模式等带来根本性变化，甚至会引发一场深刻的军事革命。

人工智能给军事安全带来的风险和挑战

人工智能作为一种科学技术，同样具备“双刃剑”属性。人工智能一方面为人类社会发展进步和维护军事安全提供了新的动力和机遇，另一方面也带来了一系列威胁与挑战。综而观之，人工智能给军事安全带来的威胁和挑战主要有以下几个方面。

2.1人工智能军事应用带来的非预期事故

人工智能的军事应用存在诸多不确定性，容易带来非预期事故的发生。这主要由以下两点原因所致：一是由于人工智能内部的脆弱性问题（internalvulnerbility）。当前，人工智能还停留在弱人工智能阶段，而弱人工智能系统的特点在于它们接受了非常专门的任务训练，例如下棋和识别图像。战争可以说是最复杂的人类活动之一，巨量且不规律的物体运动仿佛为战场环境蒙上了一层“迷雾”，难以看清和预测战争全貌。在这种情况下，系统的应用环境无时无刻都在发生变化，人工智能系统可能将难以适应。因此，当前弱人工智能存在的根本脆弱性（brittleness）很容易损害系统的可靠性。交战双方部署的人工智能系统交互产生复杂联系，这种复杂性远远超出一个或多个弱人工智能系统的分析能力，进一步加剧了系统的脆弱性，发生事故和出错的概率将大大增加。此外，人工智能算法目前还是一个“黑箱”，可解释性不足，人类很难预测它的最终结果，也容易带来很多非预期事故。二是外部的攻击利用问题（externalexploitation)。研究人员已证明，图像识别算法容易受到像素级“毒”数据的影响，从而导致分类问题。针对开源数据训练的算法尤其容易受到这一挑战，因为对手试图对训练数据进行“投毒”，而其他国家又可能将这些“中毒”数据用于军事领域的算法练。目前对抗性数据问题（adversarialdata）已经成为一个非常严峻的挑战。此外，黑客攻击还可能导致在安全网络上训练的算法被利用。当训练数据受到污染和“投毒”，就很可能产生与设计者意图不符的人工智能应用系统，导致算法偏见乃至更多非预期事故的发生。最后，人机协同也是一个很大的难题。无论是强化学习、深度学习，还是专家系统都不足以完全准确地反映人类的直觉、情感等认知能力。人工智能的军事运用是“人—机—环境”综合协同的过程，机器存在可解释性差、学习性弱、缺乏常识等短板，或将放大发生非预期事故乃至战争的风险。

2.2人工智能军备竞赛的风险

与核武器类似，由于人工智能可能对国家安全领域带来革命性影响，世界各国将会考虑制定非常规政策。目前，世界各国（尤其是中、美、俄等军事大国）都认识到人工智能是强化未来国防的关键技术，正在加大人工智能领域的研发力度，并竭力推进人工智能的军事应用，力图把握新一轮军事技术革命的主动权，全球人工智能军备竞赛态势初露端倪。具体而言，美国将人工智能视为第三次抵消战略的核心，建立“算法战跨职能小组”，筹划基于人工智能的算法战。2018年7月，美国防部设立专门的人工智能机构——联合人工智能中心（JAIC），大力推动军事人工智能应用。2019年2月12日，美国防部正式出台美军人工智能战略，并将联合人工智能中心作为推进该战略落地的核心机构。美国2021财年国防授权法案草案中也特别强调对人工智能、5G、高超声速等关键技术进行投资，建议对人工智能投资8.41亿美元，对“自主性”（autonomy)投资17亿美元。这些举措都体现出美国积极推动人工智能军事化、在人工智能领域谋求新式霸权的意图。俄罗斯在这一领域也不甘落后。2017年1月，普京要求建立“自主机器复合体”（AutonomousRoboticComplexs）为军队服务。中国政府则于2017年7月20日出台《新一代人工智能发展规划》，正式将发展人工智能上升到国家战略高度。军事领域也在通过“军民融合”战略加快“军事智能化发展”步伐，“促进人工智能技术军民双向转化，强化新一代人工智能技术对指挥决策、军事推演、国防装备等的有力支撑，推动各类人工智能技术快速嵌入国防创新领域”。

鉴于人工智能强大而泛在的技术本质以及军事领域对于强大技术的强烈需求，人工智能走向军事应用是难以阻挡的趋势，当前各国竞相推动人工智能军事化和发展人工智能武器便是其现实体现。大国间在人工智能领域的军备竞赛将会危及全球战略稳定，对国家安全带来严重威胁，埃隆·马斯克关于人工智能军备竞赛可能引发第三次世界大战的预言并非危言耸听。如同所有军备竞赛一样，人工智能领域的军备竞赛本质上都是无政府状态下安全困境的体现，如果缺乏信任和有效的军备控制措施，这将成为一场“危险的游戏”，直到一方把另一方拖垮或双方共同卷入战争，上演一场智能时代的“零和博弈”。

2.3扩展威胁军事安全的行为体范围和行为手段

传统上，威胁军事安全的主要行为体是主权国家的军队，但随着网络和人工智能技术的发展，这一行为体范围正在拓展。以网络攻击为例，根据攻防平衡理论，重大军事技术的出现将对攻防平衡产生重大影响，而有的军事技术天然偏向于进攻方。当前，人工智能技术的发展对提升网络攻击能力同样提供了极大机遇。可以预见，人工智能与深度学习的结合有望使得“高级持续威胁”系统成为现实。在这种设想下，网络攻击方能够利用APT系统24小时不间断地主动搜寻防御方的系统漏洞，“耐心”等待对方犯错的那一刻。随着人工智能逐步应用，将有越来越多的物理实体可以成为网络攻击的对象。例如，不法分子可经由网络侵入军用自动驾驶系统，通过篡改代码、植入病毒等方式使得军用无人车失去控制，最终车毁人亡。又比如通过入侵智能军用机器人，控制其攻击己方的人员或装备。同时，人工智能与网络技术结合可能进一步降低网络攻击的门槛。当智能化网络攻击系统研制成功，只要拥有足够多的资金便能有效提升自己的网络攻击能力，而不需要太高的技术要求。因此，未来恐怖分子利用人工智能进行网络攻击或攻击自主系统的算法、网络等，继而诱发军事系统产生故障（如军用无人车、无人机撞击己方人员），或者直接损坏军事物联网实体设备等，都会对军事安全产生很大威胁。

此外，人工智能的发展应用还将催生新的威胁军事安全的方式和手段。人工智能表现出诸多与以往技术不一样的特点，也自然会带来威胁军事安全的新手段，深度伪造（deepfakes）就是其中的典型代表，该技术为煽动敌对国家间的军事冲突提供了新途径。例如，A国雇佣代理黑客使用人工智能技术制作“深度伪造”视频或音频材料，虚构B国密谋针对C国采取先发制人打击，并将这段“深度伪造”材料故意向C国情报部门秘密透露，引发C国的战略误判，迫使其采取对抗手段。B国面对这种情况也将不得不采取措施予以应对，一场由A国借助人工智能技术策划的针对B、C两国的恶意情报欺诈就完成了。当前，“深度伪造”技术的发展速度远超相关的检测识别技术，“开发深度伪造技术的人要比检测它的人多100到1000倍”，这给各国安全部门抵御人工智能增强下的信息欺诈和舆论诱导制造了很多困难。此外，运用人工智能系统的军队也给自身带来了新的弱点，“算法投毒”、对抗性攻击、误导和诱骗机器算法目标等都给军事安全带来了全新挑战。

2.4人工智能产生的跨域安全风险

人工智能在核、网络、太空等领域的跨域军事应用也将给军事安全带来诸多风险。例如，人工智能运用于核武器系统将增加大国核战风险。一方面，人工智能应用于核武器系统可能会强化“先发制人”的核打击动机。核武器是大国战略威慑的基石，人工智能增强下的网络攻击将对核武器的可靠性构成新的威胁，在战时有可能极大削弱国家威慑力、破坏战略稳定。因此，尽管目前人工智能增强下的网络攻击能力的有效性并不确定，危机中仍将大大降低对手间的风险承受能力，增加双方“先发制人”的动机。信息对称是智能化条件下大国间进行良性竞争的基础和保障，但现实情况往往是，在竞争激烈的战略环境中，各国更倾向于以最坏设想来揣测他国意图并以此为假设进行斗争准备，尤其当面对人工智能赋能下的愈加强大的针对核武器系统的网络攻击能力，“先下手为强”确乎成为国家寻求自保的有效手段。另一方面，人工智能技术在核武器系统领域的应用还将压缩决策时间。人工智能增强下的网络攻击几乎发生在瞬间，一旦使核武器系统瘫痪，国家安全将失去重要屏障，给予决策者判断是否使用核武器的压力将激增。尤其在一个国家保持“基于预警发射”（lauch-on-warning)的情况下，核武器系统遭到人工智能增强下的网络攻击时几乎无法进行目标探测并且发出警报，更不可能在短时间内进行攻击溯源和判定责任归属，决策时间压缩和态势判断困难会使决策者承受巨大压力，极有可能造成战略误判，给世界带来灾难。

人工智能与网络的结合会极大提升国家行为体和非国家行为体的网络能力，同时也会催生出一系列新的问题。首先，人工智能技术的网络应用将提升国家行为体的网络攻击能力，可能会加剧网络领域的冲突。如前所述，基于人工智能的APT攻击可使得网络攻击变得更加便利，溯源问题也变得更加困难。与此同时，人工智能的网络应用可能会创造新的缺陷。目前人工智能的主要支撑技术是机器学习，而机器学习需要数据集来训练算法。一旦对方通过网络手段注入“毒数据”（如假数据），则会使得原先的人工智能系统非正常运行，可能带来灾难性后果。其次，由于人工智能算法的机器交互速度远超人类的反应速度，因此一旦将人工智能用于军事领域的网络作战，还有可能带来“闪战”风险，即人类还没来得及完全理解网络空间的战争就已经发生。此外，人工智能在太空领域的应用可能对全球战略稳定和军事安全带来破坏性影响。在人工智能的加持下，传统的反卫星手段将变得更加精准、更具破坏性、更难追溯，从而加大“先发制人”的动机，寻求先发优势。这容易破坏航天国家的军事安全和全球战略稳定，因为攻击卫星尤其是预警卫星往往被视为发动核打击的前兆。

结语

总体国家安全观强调，发展是安全的基础和目的，安全是发展的条件和保障，二者要同步推进，不可偏废。既要善于运用发展成果夯实国家安全的实力基础，又要善于塑造有利于经济社会发展的安全环境，以发展促安全、以安全保发展。因此，维护人工智能时代的军事安全并不代表放弃人工智能的发展，反而要大力推动其应用，使其成为维护军事安全的重要手段和支撑，并注重化解风险。如今，我国正处在由大向强发展的关键时期，人工智能有望成为驱动新一轮工业革命和军事革命的核心技术。因此，我们需要抢抓此次重大历史机遇，积极推动人工智能的研发和军事应用，推动军事智能化建设稳步发展，为建设世界一流军队增添科技支撑。

在当今时代，没有谁是一座孤岛，人工智能对于军事安全领域的影响是全球性的，因此推动人工智能领域的国际安全治理、构建人类命运共同体就显得尤为重要。由于人工智能的迅猛发展，目前对于智能武器尤其是致命性自主武器系统的相关法律法规还并不完善，各国在如何应对这些问题方面也没有明确的方法、举措和共识，但这些问题确关人类社会的未来前景和国际体系稳定。为了维护我国的军事安全以及整体的国家安全利益，应当推动人工智能技术治理尤其是安全领域的全球治理，在人工智能的军事应用边界（如是否应当将其用于核武器指挥系统）、致命性自主武器系统军备控制等领域开展共同磋商，在打击运用人工智能进行恐怖犯罪等领域进行合作，构建人工智能时代的安全共同体和人类命运共同体，维护国家军事安全和人类和平福祉。

免责声明：本文转自信息安全与通信保密杂志社，原作者文力浩,龙坤。文章内容系原作者个人观点，本公众号转载仅为分享、传达不同观点，如有任何异议，欢迎联系我们！

我国人工智能治理面临的机遇和挑战：基于科技公共治理视角

卢阳旭何光喜

[摘要]建立健全人工智能治理体系，是保障人工智能健康发展的必然要求。人工智能治理的核心议题是风险和收益的平衡，以及相关公共决策的知识合法性和参与合法性的协调。本文基于科技公共治理视角，分析了人工智能治理的两个面相，介绍了各国在人工智能治理方面的探索及面临的挑战。在梳理我国人工智能治理实践的基础上，从原则、制度建设和工具开发三个层面提出了改进我国人工智能治理体系建设的建议。

[关键词]人工智能；科技公共治理；风险；挑战

[中图分类号]D63 [文献标识码]A

一、人工智能治理问题的提出

人工智能是引领新一轮科技革命和产业变革的战略性技术，正在对全球经济社会发展产生重大而深远的影响，[1]是当前全球科技治理的焦点议题。形成一套能有效识别、促成社会意愿“最大公约数”的人工智能治理体系，有效支撑相关公共决策的制定和执行，是促进人工智能健康发展的重要保障。

（一）科技公共治理及其核心议题

作为一种特殊类型的公共治理，科技公共治理具备公共治理的一般特征：治理主体多元化、治理机制多样化。[2]同时，科技创新活动及其影响的不确定性高、知识门槛高，又使得科技公共治理有以下两个方面的核心议题。

1．科技收益与科技风险的权衡问题

科学技术的“双刃剑”效应使得人们对于科技发展一直有一种矛盾的态度，一方面担心发展太慢，让经济社会发展失速；另一方面又担心发展太快、失去控制，伤及人类。这一矛盾态度使得人们在对待科技发展特别是新兴技术的应用上，出现了“预防原则”（precautionaryprinciple）和“先占原则”（proactionaryprinciple）的持续争论。[3]“预防原则”主张，人们要更谨慎地对待科技发展蕴含的不确定性，以防其带来不可预料的危害。“先占原则”则认为科技创新自由至关重要，不应过分强调与科技发展相关的不确定性的负面影响，反倒是要在规制科技创新方面更加谨慎，以免失去科技发展带来的机会。简单说，前者更强调“安全的科学”，后者则更加强调“科学的安全”。[4]

2.“知识合法性”和“参与合法性”的张力问题

科技活动有很强的专业性，较之一般公众，科学家具有很强的知识优势，更有可能作出“知识上”的正确决策，科技相关决策应该主要听科学家的——这是很长时间以来，科学与政治、科学家与公众之间的默契。但是，随着科学的体制化和职业化，知识权力与各种经济和社会利益的深度纠缠，科学家的独立性和客观性不再毋庸置疑。同时，科技对社会的深度纠缠使得科技决策所需的科学知识之外的“社会知识”越来越多，而公民权利意识的增强则意味着公众会越来越不愿意只是被动地接受科学家们的决定。[5][6]换句话说，没有多主体参与的科技公共决策可能在知识上是不完备的，在程序上是“不合法的”。[7]

（二）人工智能治理的两个面相：“影响的治理”与“技术的治理”

1.影响的治理：人工智能的伦理、法律和社会影响

影响的治理是人工智能治理的核心面相，基本原则是以人为本，基本问题是风险和收益的权衡。20世纪90年代人类基因组计划设立专门的研究项目，关注与基因技术相关的伦理、法律和社会议题（Ethical,Legal,andSocialIssuesELSI）。这个框架同样适合于对人工智能影响的分析，目前人们对于人工智能影响的讨论基本上也是从这三个相互联系的层面来展开的。

人工智能伦理议题的核心，是人与人工智能系统的关系，表现在两个层面：一是人工智能持续发展给人类地位带来挑战，虽然目前人工智能还处于狭义人工智能阶段，但人们对通用人工智能和超级人工智能的预期加重了这方面的担忧。二是人工智能的误用和滥用给人与人、人与自然之间伦理关系带来挑战，比如隐私、歧视、尊严、安全、公平正义等。人工智能法律议题的核心，是何种法律规制能够帮助人类在人工智能发展过程中实现“趋利避害”。人工智能社会议题的内容相对宽泛，而且随着人工智能对工作和生活渗透广度和深度的增加，还会有各种新的议题出现。当前，人们关注的主要议题，包括就业、收入分配、深度造假、政治选举等等。[8][9]

需要指出的是，虽然人们对人工智能的潜在风险有很多担心，但总体判断还是好处要大于风险，而且人类社会有机会、有办法去争取实现收益最大化、风险最小化。比如，2018年12月欧盟委员会高级专家组发布的《可信赖的人工智能伦理准则（草案）》（DraftEthicsGuidelinesForTrustworthyAI）指出，总体而言人工智能所带来的收益要大于风险。同月，日本内阁府发布的《以人类为中心的人工智能社会原则（草案）》（SocialPrinciplesofHuman-centricAI(Draft)）也认为人工智能技术是其推进“社会5.0（society5.0）”建设的关键，要尽可能有效、安全地利用它并避免其带来的负面影响。

2.技术的治理：人工智能系统的治理

技术的治理是人工治理的从属面相，基本目标是保障技术系统安全、可控。具体要求主要包括：一是强调人工智能系统要可解释、透明、长期安全并符合社会价值观，要提高算法的透明性、完善数据共享标准和规范。二是要在人工智能系统的可靠性检验和安全性确认等方面寻找新的方法，以保证人工智能系统处于不间断的人类监管之中。比如，2016年美国政府发布的《国家人工智能研发战略规划》提出，在初始设计阶段就要从技术、标准、审查层面保证人工智能系统可控、安全、符合社会伦理。

但人工智能技术治理面临两个方面的挑战：一是人工智能内生偏差和不可理解问题。人工智能算法高度依赖于大数据，而在很多场景下，数据质量（比如样本的代表性）是很成问题的；不可理解性既包括开发者无法确切理解人工智能系统自我学习过程和决策结果，也包括算法对于使用者和监管者而言的不可理解性。[10]二是算法透明化的安全顾虑和法律争议。国家和公司层面的激烈竞争，以及算法、数据及其分析方法通常掌握在少数国家、少数公司手中这一客观事实，使得它们很容易从现行法律框架中搬出私人财产、商业机密、国家安全等作为拒绝公开的理由。

二、各国人工智能治理的探索和挑战

（一）各国人工智能治理的探索

1.影响的识别：共识和差异

近年来，随着研究的深入和实践的增多，全球人工智能治理的一般性议题越来越集中，主要包括人类的尊严和自主性、隐私和数据安全、就业和社会不平等、人工智能系统的可信赖性及恶意使用等。与此同时，人工智能向各领域的快速渗透也让人工智能治理的具体性议题持续增多。据不完全统计，仅在各项能从公开渠道获得的人工智能提案中，涉及的议题就已超过50个。[11]随着人工智能对各领域渗透程度的进一步加深，未来还会有更多利益点和风险点被触及和识别。

需要指出的是，各国在议题上的共识并不代表在认知、态度和政策举措方面取得共识。以隐私保护为例，虽然各国都认同应该保护隐私，但在不同的制度和文化背景中，人们对于隐私的理解，以及隐私的重要性排序存在明显差异。比如，有研究者将不同社会和群体对待隐私保护的态度划分为三种类型：“隐私优先”（High-Privacyposition）、“隐私平衡”（Balance-Privacyposition）和“隐私限制”（Limited-Privacyposition）。[12]“隐私优先”论赋予隐私更高的价值排序，认为应该赋予个人更大的“数据控制权”，同时它对于隐私的界定也相对比较宽泛。与之相反，“隐私限制”论则认为，虽然应该保护隐私，但当它与其他社会价值（比如公共安全、言论自由等）不一致的时候，应该让位于后者。“隐私平衡”论介于二者之间，在强调隐私保护的同时，也认为不应该对隐私有过于宽泛的定义和过强的保护，在隐私保护方面则强调发挥个人自主、机构和行业自律的作用。事实上，上述分歧明显地体现在美国和欧盟个人数据和隐私保护的立法和监管思路上。相对来说，欧盟在个人数据和隐私保护上更接近于“隐私优先论”，2018年5月正式生效的《一般数据保护条例》（GeneralDataProtectionRegulation，GDPR）确立了“数据可携带权”“被遗忘权”等个人数据控制权，并要建立统一的执法机构。与之相反，美国在强调个人数据和隐私保护的同时，在个人数据控制权立法保护方面要更加谨慎，更接近于“隐私平衡论”甚至“隐私限制论”。对美国、英国和德国等国企业的实证研究也发现了各国对于隐私的认知差异：美国与英国企业的隐私官员一般从避免损害消费者预期的风险管理角度看待隐私保护，而德国、法国和西班牙三国企业主要从人权角度看待隐私。[13]

2.机制的探索：参与和协同

人工智能发展迅速、渗透性强、议题多样复杂。政府、科研机构、大学、企业和社会组织等都有各自的利益诉求和信息优势，多元参与、充分沟通有利于提高人们对人工智能收益和风险的共同认知，并承担共同责任。虽然人工智能治理是个新议题，但从欧美各国的实践来看，它们基本延续了在转基因、纳米、合成生物学、信息技术等新技术治理方面的理念和架构。以一系列法律为核心的正式制度为人工智能治理提供了基本的制度框架和互动规则，例如欧美国家广泛存在的对重大科技公共议题的议会听证制度。对话会、民意调查以及政策制定者和专家之间的社会网络等非正式治理活动也有利于信息的及时传递和各方利益的表达。比如，在奥巴马政府时期，白宫科技政策办公室就人工智能主题举办了一系列旨在广泛征求社会各界意见的研讨会，在此基础上相继发布了《为人工智能的未来作准备》（PreparingForTheFutureOfArtificialIntelligence）《美国国家人工智能研究和发展战略计划》（TheNationalArtificialIntelligenceResearchandDevelopmentStrategicPlan）和《人工智能，自动化与经济》（ArtificialIntelligence,Automation,andtheEconomy）三份报告，较为系统地阐述美国人工智能发展战略、伦理规范和治理机制。2018年以来，美国国会就个人数据和隐私保护相关议题连续举行了多场听证会，Facebook、谷歌、亚马逊等企业巨头均被邀出席。2018年5月，美国政府又在白宫举办人工智能峰会，邀请谷歌、亚马逊、英特尔等企业巨头，以及顶级学术机构的专家等上百位代表参加，重点讨论AI研发、人才培养、制约AI创新发展的体制和特定部门的AI应用等4个议题。2017年6月，英国上议院成立了人工智能专门委员会，负责研究人工智能发展所带来的经济、伦理和社会问题。2018年4月，该委员会发布了《英国人工智能：准备、意愿与能力》（AIintheUK:ready,willingandable）的报告。

当然，人工智能治理过程中多方参与和协同的方式、效果受到特定国家利益集团的结构和制度环境的深刻影响。人工智能的快速发展必然会冲击现有的利益格局，不同利益集团之间的博弈直接决定了各方在相关决策中的话语权和影响力。以隐私保护为例，数据收集者、数据聚合者（主要指各类数据交易平台）、数据使用者和数据监管者这四类利益主体之间的博弈过程会深刻影响一个地区、国家甚至全球的隐私保护政策。[14]同时，人工智能治理过程中利益博弈、政策制定和执行活动都嵌入特定的政策网络当中，会受到其他领域法律法规和政策执行体制的推动和掣肘。总之，欧美国家在推动人工智能公共治理方面的基本经验，不是简单地让知识合法性或参与合法性占据绝对的优势地位，而是把二者间的张力纳入特定的制度框架内，并通过各种具体的活动程序和技术小心翼翼地保持它们之间的微妙平衡。

3.工具的建立：规范和倡导

工具的多元化和适应性是实现有效治理的重要条件。近年来，国际组织、各国政府和立法机构、研究机构等各类主体积极探索建立多样化的人工智能治理工具。法律的约束力强，是人工智能治理可依赖的重要工具，但由于其刚性强，各国在以法律来规制人工智能方面还是相对比较谨慎，尽量平衡风险规制和促进人工智能创新发展的双重需要。总体而言，以美国和欧盟为代表的一些国家和地区在人工智能相关立法方面采取的基本策略，是差别化和场景化——对人工智能不同应用领域进行专门立法。目前，美国和欧洲等国家和地区在自动驾驶方面已有比较成熟的立法，很多国家（地区）也试图加强对深度造假、智能投顾和智能医疗等人工智能应用重点领域的立法规制。[15]

行业技术标准、从业人员行为规范等也是人工智能治理的重要工具。2017年，电气电子工程师协会(IEEE)发布《人工智能设计的伦理准则(第2版)》，对人工智能伦理事项进行了扩充，而且目前还在持续更新和迭代。国际电信联盟（ITU）、国际标准化组织和国际电工委员会第一联合技术委员会（ISO/IECJTC1）等机构也在紧锣密鼓地进行相关标准的研究和制定工作。同时，一些知名科学家、企业家发起国际性的治理倡议，试图在观念和规范层面凝聚全球共识。比如，2017年1月，由未来生命研究所（FutureLifeInstitute）发起，霍金、马斯克领衔推动全球联署的“阿西洛马人工智能23条原则”（AsilomarA.I.Principles）已有超过1000名人工智能/机器人研究人员以及超过2000名其他领域专家签署。该原则从科研目标、科研经费和文化、科学和政策的互动、系统安全可控和透明性，到负责任、隐私、自主性、利益共享、符合人类价值观和不颠覆人类社会秩序等方面提出了23条人工智能研发和应用原则，呼吁全世界严格遵守，共同保障人类未来的利益和安全，在业界引起了很大反响。2018年12月，一项旨在推动人工智能治理全球合作，促进人工智能可持续发展的《负责任地发展人工智能蒙特利尔宣言》（MontrealDeclarationforaResponsibleDevelopmentofArtificialIntelligence）也开始了全球签署。这些国际性的、跨领域的努力为全球人工智能治理合作提供了重要帮助。

（二）全球人工智能治理面临的主要挑战

1.收益和风险的有效识别与公正分配

人工智能是一项正在快速发展且具有重大深远影响的新技术，对它的治理面临着巨大的技术和经济社会影响的“双重不确定性”。如何确保收益和风险的平衡，实现收益的公正分配、风险的合理分担是全球人工智能治理面临的巨大挑战。以就业为例，虽然人们知道人工智能将推动更大范围、更具“劳动替代性”的自动化进程，并重塑全球产业链和就业结构，但替代的规模和方式，影响的大小和结构却众说纷纭、难有定论。再有，人工智能如何加速推动资本替代劳动，是否会加剧“资本回报率高于经济增长率”的趋势，[16]造成劳动参与率和劳动收入占国民收入的比例进一步下降，高端就业岗位和普通就业岗位间的收入差距进一步扩大，让人工智能带来的生产效率提高、社会财富增长等好处主要由少数大企业、大资本和高端技术人员和管理者获得？2018年2月，剑桥大学生存风险研究中心（CentrefortheStudyofExistentialRisk，CSER）等机构联合发布《人工智能的恶意使用：预测、预防和缓解》（TheMaliciousUseofArtificialIntelligence:Forecasting,Prevention,andMitigation），认为滥用人工智能不仅会放大旧风险，还会产生新风险，让数字空间、物理空间和政治领域的风险类型更加复杂。总之，不同国家、群体和个人在人工智能相关风险面前的脆弱性是存在结构性差异的，如何降低风险并更合理分配风险是全球人工治理面临的关键挑战。

2.知识合法性与参与合法性的动态平衡

人工智能具有很高的技术门槛，相比于用户、监管者等主体，技术专家拥有很强的知识优势。但人工智能技术具有极强的渗透能力，将来会出现在工作和生活的各种场景当中，与每个人的利益密切相关。在这种情况下，与人工智能相关的公共决策所需的不仅仅是客观的技术知识，公众的利益诉求和价值判断同样非常重要。探索各种能够促进政府、企业、科学共同体和公众四类主体共同参与、协商共治的方式，不仅能够增加复杂决策所需的技术知识和社会知识，更能增加人工智能治理的参与合法性。但必须指出的是，在现实的人工智能治理活动中，四类主体内部并非“铁板一块”，而是普遍存在着各种观念和利益的分化与差异：政府内部存在不同级别和不同部门间的观点或利益差异；科学界内部存在不同学科间、不同技术路线的差异，而且很多所谓的“科学之争”还混杂着复杂的利益纠葛；产业界内部存在不同产业、不同厂商间的利益差异；公众内部的观念、利益分化则更加普遍。总之，纵横交错的利益关系、知识和政治的深度交织都增加了人工智能治理知识合法性和参与合法性之间的张力和平衡难度。

3.全球人工智能产业竞争和治理合作的良性互动

加强人工智能治理的全球合作是国际社会的共识，但各国、各大企业积极争取掌握更大话语权也是全球人工智能治理的客观事实。2019年2月，美国总统特朗普签署《美国人工智能倡议》，提出要应对来自战略竞争者和外国对手的挑战，并确保美国在人工智能领域的领先地位。2018年3月，欧洲科学与新技术伦理组织（EuropeanGrouponEthicsinScienceandNewTechnologies，EGE）发布的《关于人工智能、机器人与“自主”系统的声明》（StatementonArtificialIntelligence,Roboticsand‘Autonomous’Systems）提出，欧盟要启动相关流程，为机器人技术和自主系统的设计、生产、使用和治理制定一个共同的、国际公认的伦理和法律框架。2018年4月，英国议会发布的《英国人工智能：准备、意愿与能力》（AIintheUK:ready,willingandable）更是提出，英国要利用法律、研究、金融服务和民间机构方面的优势，通过在人工智能伦理与准则制定方面的领先来引领人工智能的发展。

三、我国人工智能治理的探索和挑战

（一）我国加强人工智能治理的主要探索

1.高度重视人工智能发展风险研判和防范

2017年7月，国务院发布《新一代人工智能发展规划》，要求必须高度重视人工智能可能带来的安全风险挑战，加强前瞻预防与约束引导，最大限度降低风险。2018年10月，习近平总书记指出，要加强人工智能发展的潜在风险研判和防范，维护人民利益和国家安全，确保人工智能安全、可靠、可控；要加强人工智能相关法律、伦理、社会问题研究，建立健全保障人工智能健康发展的法律法规、制度体系、伦理道德。

2.积极推进法律法规和政策体系建设

近年来，我国通过分散式立法的方式，修订和出台相关法律法规，重点加强了对个人数据、电子商务、智能金融、自动驾驶等与人工智能发展紧密相关领域的修法和立法工作，努力完善促进人工智能健康发展所需的法律框架。比如，2018年8月十三届全国人大常委会审议通过《中华人民共和国电子商务法》，努力在允许算法推荐和大数据画像等新技术发展和消费者合法权益保护之间寻求平衡。中国人大网公布的《十三届全国人大常委会立法规划》显示，个人信息保护法、数据安全法均被列为第一类项目，即条件比较成熟、任期内拟提请审议。一些政府行业监管部门也陆续出台了一系列部门规章，积极适应本领域人工智能应用的监管需要。比如，中国人民银行等部门联合出台的《关于规范金融机构资产管理业务的指导意见》规定，金融机构应当向金融监督管理部门报备人工智能模型的主要参数以及资产配置的主要逻辑，在促进算法透明和人工智能监管框架等方面做出重要尝试。

3.搭建人工智能治理多方参与平台

2017年11月，由科技部、发改委等15个部门共同构成的“新一代人工智能发展规划推进办公室”宣布成立，负责推进新一代人工智能发展规划和重大科技项目的组织实施。来自高校、科研院所和企业的27名专家组成的“新一代人工智能战略咨询委员会”也同期成立，负责为新一代人工智能发展规划和重大科技项目实施，以及国家人工智能发展的相关重大部署提供咨询。为进一步加强人工智能领域相关伦理、法律和社会问题研究和人工智能治理国际交流合作，2019年2月，新一代人工智能发展规划推进办公室决定成立“新一代人工智能治理专业委员会”。2019年4月，科技部发起“为了AI健康发展：新一代人工智能治理准则建议征集”活动，向政府部门、企业、高校、科研院所和各界人士公开征集建议。在人工智能标准化方面，2018年1月，国家标准化管理委员会宣布成立国家人工智能标准化总体组和专家咨询组，负责全面统筹规划和协调管理中国人工智能标准化工作。

（二）我国人工智能治理面临的主要挑战

1.从跟随者到领跑者的角色转换

长期以来，我国科技发展处于“跟跑”状态，科学研究和产业应用方面会遇到的伦理、法律和社会问题大部分都已由先发国家“蹚过”了，我们可以跟在后面学习借鉴国际经验，不走或少走弯路。当前，新一代人工智能对全世界来说都是一个新事物，在治理方面没有现成的经验。我国人工智能部分领域核心关键技术实现重大突破，市场应用深度和广度迅速增长，与之相关的伦理、法律和社会问题的研究和治理不可能再跟在后面学了——从“跟着学”到“带头做”是一个巨大的角色转变。

2.科技公共治理机制不健全

人工智能治理活动嵌入在特定的科技公共治理制度中，而后者是一个从理念到制度、程序再到具体技术的完整系统。虽然近年来我国在人工智能治理领域已经作出富有成效的探索，但我国科技公共治理体制机制方面的诸多不足还是会给人工智能治理带来诸多挑战，突出表现在以下几个方面：一是产业界、公众参与科技公共决策的依据、程序等仍然缺乏明确、详细的法律规定。二是以知识生产、共识达成和决策扩散等为目标的系列公共治理方法和工具开发不够。三是在开放创新和全球合作共治的大背景下，主动参与国际人工智能治理合作的理念、机制和专业人才准备不足。

四、结论和建议

探索形成一套有效的人工智能治理机制和平台、治理方法和工具，以实现治理结果的趋利避害、治理过程的科学民主，是保障人工智能持续健康发展的内在要求。鉴于全球人工智能治理现状以及我国的具体国情，本文提出以下建议：

一是原则层面，根据收益和风险结构进行分类、分级处理。一方面人工智能在不同领域中的应用所带来的收益和风险存在很大差异；另一方面在人工智能创新和产业化链条的不同阶段和环节，收益和风险的大小和结构也存在很大差异。没有必要，也很难用一个标准来简单地加总利害。从目前国际人工智能治理经验和我国治理实践来看，未来我国人工智能治理遵循的基本原则，是根据风险类型和大小，对不同场景下的人工智能系统开发和应用采用不同的监管模式和治理机制，努力实现创新和安全、知识合法性和参与合法性之间的动态平衡。

二是制度规范层面，人工智能公共治理法治化。首先应当在法律层面规范人工智能治理程序，将相关决策过程纳入法治轨道。其次要在科研经费投入、科研活动监管、公众参与方式和程度等方面，都明确相应的制度安排，在项目形成机制、各类利益相关方代表的产生方式和意见表达程序等内容作出可操作的程序设计。[17]

三是技术层面，开发多样化的人工智能治理技术工具箱。在充分借鉴国际人工智能治理方法和工具的基础上，围绕知识生产、共识形成和行动促进这三个人工智能治理的关键问题，开发适合我国制度环境和社会基础的系列工具。

[ 参考文献 ]

[1]习近平，推动我国新一代人工智能健康发展，2018-10-31.

[2]俞可平.国家治理评估：中国与世界[M].北京：中央编译局出版社,2009：3-8.

[3]翟晓梅,邱仁宗.合成生物学的伦理和管治[N].科学时报,2010-7-19.

[4]卢阳旭,龚旭.科学资助中的控制权分配——以科学基金机构职能变迁为例[J].科学学研究,2019(3).

[5]诺沃特尼,斯科特,吉本斯.反思科学：不确定性时代的知识与公众[M].冷民,等,译.上海：上海交通大学出版社,2011.

[6]马森,魏因加.专业知识的民主化：探寻科学咨询的新模式[M].姜江等译.上海：上海交通大学出版社,2010.

[7]王奋宇,卢阳旭,何光喜.对我国科技公共治理问题的若干思考[J].中国软科学,2015(1).

[8]国家人工智能标准化总体组.人工智能伦理风险分析报告[R].2019.http://www.cesi.ac.cn/201904/5036.html.

[9]贾开,蒋余浩.人工智能治理的三个基本问题：技术逻辑、风险挑战与公共政策选择[J].中国行政管理,2017(10).

[10]汝绪华.算法政治：风险、发生逻辑与治理[J].厦门大学学报（哲学社会科学版）,2018(6).

[11]曾毅.构建新一代人工智能准则[N].光明日报,2019-1-24(16).

[12]Margulis,ST.PrivacyAsaSocialIssueAndBehavioralConcept[J].JournalofSocialIssues,2003.59(2):243-261.

[13]Bamberger,KA,Muligan,DK.2015,Privacyontheground:drivingcorporatebehaviorintheunitedstatesandEurope[M],MITPress.

[14]克雷格,卢德洛芙.大数据与隐私：利益博弈者、监管者和利益相关者[M].赵亮、武青译.2016.长春：东北大学出版社.

[15]汪庆华.人工智能的法律规制路径：一个框架性讨论[J].现代法学,2019（2）.

[16]皮凯蒂.21世纪资本论[M].巴曙松,等,译.北京：中信出版社,2014.

[17]何哲.人工智能时代的政府适应与转型[J].行政管理改革,2016(8).

[作者简介]卢阳旭，中国科学技术发展战略研究院副研究员；何光喜，中国科学技术发展战略研究院研究员。

人工智能、网络空间对国家核安全的影响

来源：知远战略与防务研究所

人工智能技术是一把双刃剑，其在网络空间和核领域的应用，一方面能够为网络安全和核安全提供技术保障；另一方面，人工智能技术也可能为对手所用，通过网络空间对核武器体系进行渗透进攻，给国家安全带来严峻挑战。本文以人工智能技术的发展应用为主题，探讨了其与网络安全的相互结合及影响，分析了人工智能与网络应用对国家核安全带来的正面和负面影响，假想了两个威胁核安全的人工智能网络攻击案例，并进而对人工智能技术运用提出了思考与建议。

新技术给国家核安全带来威胁

核安全是国家安全中最具技术性的问题。随着社会进步和科学技术的发展，各种新技术竞相呈现，相互结合，给国家核安全带来了威胁。

一是人工智能技术给核安全带来了威胁。人工智能本身即代表着最先进的科技能力，如果对手或者第三方力量将它与网络技术结合，对国家核指挥、控制与通信系统（NC3）进行网络攻击，不但会导致核指挥、控制与通信系统遭到破坏，还可能增加国家间发生军事冲突的风险。

二是其它新技术给核安全带来了威胁。比如远程遥感技术、无人驾驶技术、常规精确弹药、以及高超声速武器等，都将给迄今为止隐藏而坚固的核设施带来挑战，从而可能逐渐削弱国家核力量的生存能力。

人工智能与网络结合产生强大的作战能力

随着人工智能迅猛发展和军事自动化程度的日益增强，未来网络空间领域攻防作战的速度、力量和规模将不断扩大，其能力将更加强大。但讽刺的是，人工智能技术是把双刃剑，在提升网络安全的同时，也可能让攻击者利用该技术捕捉更多系统漏洞，从而暗中操纵网络，或者干扰网络。

一是无人化和机器学习技术的发展，使更多物理系统容易遭受黑客入侵、数据欺骗和病毒等网络攻击。比如，2016年一名黑客让一辆吉普车停在交通繁忙的高速公路上，随后侵入该吉普车的动力系统并使其加速前进。再如，一支中国白帽黑客团队采取无线远程的方式，攻击了一辆特斯拉ModelX。此外，机器学习技术可以模拟并生成虚假的声音或者视频，可能导致系统发生错误计算、错误感知等现象，使意外风险增加，并对网络空间和现实社会产生影响。

二是以人工智能系统为目标的网络攻击，能够让攻击者获取对方武器系统的机器学习算法，破解对方的人脸识别体系，访问对方的情报搜集与分析数据库，获取对方国防与军事系统的重要信息。对国家和军队来说，这些系统权限和数据有的可以为精确打击提供支持，有的可以为情报、监视及侦察任务提供支撑，维护它们的安全非常重要。

三是人工智能系统与现有网络攻击工具相结合，将成为强大的力量倍增器，能够使复杂的网络攻击以更大的规模（既包括地理空间，也涵盖网络空间）、以更快的速度，同步在多个军事领域展开，同时拥有比以往更强的隐匿性。比如，攻击者运用人工智能机器学习技术，开发“武器化软件”，采取入侵、破坏、欺骗等方式，对国家的无人系统、预警系统和其他操作系统（像核指挥、控制和通信系统；情报、监视与侦察系统；预警与自动化控制网络等）进行攻击，可能导致这些武器系统发生不可预测的或者是无法检测的错误、故障或者非法操作行为。在目前和未来的物联网时代，各类数字系统与物理系统广泛连接，对手利用人工智能网络技术进行动态与非动态攻击的可能性逐渐增加。更致命的是，网络攻击行为引进人工智能技术，可能会生成一种先进的持续的网络威胁工具，能够主动寻找网络的薄弱环节，甚至可以帮助一名技术平平的攻击者突破国家的防御网络。

四是人工智能可以协助应对网络攻击。尤其人工智能机器学习创建了大量宝贵的数据和情报库，与网络结合形成强大的力量倍增器，能够应对日益增长的、复杂的、匿名的和可能的多域网络攻击行为。

人工智能与网络如何保护美国国家核安全

美国的一些国家安全官员相信，人工智能作为力量倍增器，应用于攻击性和防御性网络武器，将给网络安全带来变革性影响，确实能够提升改善核安全。

一是人工智能与网络技术得以快速发展。近年来，随着机器学习技术的发展，解决了人工智能领域的一些技术瓶颈问题，使广泛应用的无人武器系统和网络系统的性能得到显著提升，正通过许多种方式改变核安全，对国家的网络安全和战略稳定产生正面的影响。

二是人工智能可以提升军队应对网络攻击的能力。人工智能网络防御工具（或者称反人工智能工具），其目的在于识别网络行为模式的变化，检测网络异常和软件代码漏洞，查找重要的证据，追踪并确定攻击者的身份。而利用人工智能机器学习技术（如深度学习技术），可以及时发现正常网络活动出现的偏差，协助建立更加牢固的防线，抵御网络入侵，保护国家核安全。

三是利用人工智能技术开发主动性网络工具。在对美国核系统积极防御的同时，国家也可以运用人工智能技术，开发对抗性人工智能武器，以加强网络安全，比如枚举目标空间或者重新封装恶意软件，以规避对手对我方网络和系统进行侦测或者攻击，并且能主动对对手开展网络反制和攻击行动。此外，人们还认为，通过网络攻击（即欺骗、入侵、操纵与数字干扰）渗透对方的核武器系统，可以破坏其通信系统，并最终（且对方可能根本不知道）获取核与非核指挥控制系统的控制权。

四是美国军方着手研发人工智能网络防御工具。正是考虑到人工智能的强大力量，美国国防部国防创新组正在开发一款程序，利用人工智能技术破解高层级战略问题，绘制事件概率链条，制定备用战略，使国防部系统在遭受人工智能网络攻击时能够快速恢复，而且系统配置和故障修复的速度可以比人做的更快更好。

人工智能与网络相结合给美国国家核安全带来的威胁

将人工智能技术赋予网络中，会导致对手使用恶意软件，采取秘密行动、欺骗、计谋等手段，控制、操纵或欺骗核网络系统，从而威胁国家核安全。近期对两用预警系统成功实施网络攻击的报告也表明，核指挥、控制与通信系统（NC3）遭受网络入侵的猜测正在快速变为现实。

一是人工智能等新技术将威胁核安全。为增强信息能力而开发人工智能、5G网络、机器学习、大数据分析、量子计算等，可能会被对手利用，开发出自动的、先进的、持续性的威胁工具，破坏核信息系统安全。而且，随着人工智能和机器学习的不断发展，可能不需要过多的人力，也不需要很高的技术水平，就可以持续对核网络开展威胁行动。最近国际战略研究所举办的研讨会也证实，预警系统接收到的恶意操作数据，不仅会在特定的情况下破坏人工智能系统的输出结果，而且如果在程序执行阶段，还会破坏整个网络环境的可靠性。因此，人工智能机器学习技术通过操纵数字信息世界，做出使用核武器的错误决策，会加剧国家间爆发冲突的风险。考虑到当前美国与如中国、俄罗斯、朝鲜等有核国家之间的紧张关系，不难想象，如果一个第三方组织或代理国家充满恶意，使用人工智能深度伪装，融合数据中毒技术对一方国家核安全开展秘密网络攻击，可能引发这些有核国家局势紧张。此外，在竞争性战略的背景下，各个国家倾向于对他国的意图往坏处揣测。一个国家通过人工智能技术提高本国战略部队生存能力的举措，可能被其它国家视为对其核报复能力和核二次打击能力的威胁。

二是人工智能网络行动可能导致国家攻防战略模糊。早期阶段的人工智能网络行动，通常搞不清楚对手是打算搜集情报还是准备实施攻击。模糊的网络攻防策略，可能加剧对手对先发打击的恐惧，增加其先机制敌的打算，在极端情况下还可能促使对手产生使用核武器的考虑。如果在危机期间使用人工智能网络情报搜集工具（或者间谍行为），更容易让对手产生误解，认为这是对其核力量进行先发制人打击的前奏。此外，在危机条件下，攻击性人工智能网络工具成功破坏对手的核武器系统，导致出现“信息不对称”的局面，可能引起单方或者双方高估（或者低估）对方的报复能力，随之可能采取冒险行动。比如，公开研究表明，中国分析人士认为，中国的核指挥、控制、通信系统容易遭受网络渗透，哪怕攻击者的目的仅限于网络间谍活动，也会被视为高度升级的国家安全威胁问题。因此在危机或冲突期间，人工智能网络能力的作用存在一些不确定性，可能会降低双方对风险的承受能力，增加其先发制人的考虑。

三是人工智能技术使核攻击反应时间大为缩短。在对手核打击发起的短时间内，针对核武器系统的人工智能网络攻击几乎不可能被提前发现和识别，更不可能对攻击源、攻击性质进行判断。根据公开的信息来源，在预警系统发出即将遭受攻击的初步征兆后，北美航天航空防御司令部的操作人员只有不到三分钟时间进行评估和确认。这样紧迫的决策时间会使政治领导者承受巨大压力，不得不使用不完整甚至可能是错误的信息做出决策，容易导致危机再度升级。

四是人工智能与网络结合可能导致决策复杂化。人工智能、5G网络支持下的机器学习、大数据分析和传感技术，针对即将到来的威胁，能够以更快的速度和更高的精度向指挥官发出预警，减少在敏感的指挥控制环节发生事故。然而，技术结合也导致两种风险并存。其一，人工智能机器学习作为网络攻击行为的力量倍增器，使一些攻击行为更加难于发现，如数据中毒欺骗、深度伪装、数据控制、网络入侵、数字干扰等，尤其是网络攻击者在电磁频谱对抗环境中使用这些先进的持续性威胁工具。其二，在不能成功发现网络攻击行为的情况下，以机器速度确认威胁源（或者攻击属性）几乎是不可能的。因此，当危机发生时，如果一个国家没有能力判定攻击者的意图，可能会得出对方的攻击行动是计划破坏其核威慑的结论，从而影响决策。此外，如果不了解人工智能系统如何辅助系统做出决策，可能会导致操作人员对系统的性能或者信心过满，或者信心不足，也会导致决策复杂化。

五是人工智能的技术尚不成熟。由于人工智能机器学习系统需要通过高质量的数据集来训练验证他们的算法，因此随之产生一个问题，如果将“中毒”数据注入训练数据集，会导致这些人工智能机器学习系统以人们不希望的和可能无法检测的方式运行。除非终止系统的机器学习算法，否则在实际应用阶段，系统可能学习到一些人们不愿意让其学习的内容，甚至执行一些设计者不期望其去执行的工作或任务。因此，这就是为什么在武器系统方面，目前人们大多将人工智能机器学习限定在实验研究领域的主要原因之一。

虚拟案例剖析

为了剖析人工智能、网络、核安全三者之间的辩证关系，作者以人工智能深度伪造和欺骗技术为蓝本，构设虚拟环境，假想了第三方介入或非第三方介入两种状况，因人工智能网络攻击行动造成国家间危机局势无端升级的模拟案例。

虚构案例一：深度伪装攻击

为了煽动两个敌对国家发生冲突，A国通过代理黑客制造深度伪装的视频或音频材料，描绘B国高级军事指挥官正密谋对C国发动先发制人打击。然后，有意向C国人工智能情报搜集分析系统泄漏这些伪造的音视频材料，激怒C国不计战略后果将局势升级。B国在受到先发制人打击的威胁下，采取报复性攻击行动作为回应。

在这个虚拟案例中，虽然两国危机局势升级会经过深思熟虑，但是，由于人工智能技术的介入，再经过第三方力量刻意的和欺骗性运用，容易导致国家间产生冲突，增加安全风险。

虚构案例二：欺骗攻击

A国采取人工智能技术，对B国基于人工智能技术的无人传感器平台和自动识别目标系统开展恶意网络欺骗攻击。通过这种方式，B国目标自动识别武器系统错误地将民用对象（如商业飞机）识别为军事目标。由于信息的欺骗性以及管理人员的无能，B国没有及时察知这些假象并采取正确措施，意外地和非主观意愿地使两国局势升级。

这个非第三方介入的案例并非凭空想象。人工智能专家已经验证，由于技术、管理等多种原因，甚至当数据准确地在人工智能图像识别软件上呈现时，系统还经常认为这些有效目标并不存在。此外，如果数据集遭到蓄意破坏并产生错误后果（比如在作战期间攻击错误目标或者误导同盟国等），再加上对人工智能算法认识不足，不了解该技术在特定判断和决策中的地位、作用、运行机制，可能使指挥官很难定下任务决心。

对人工智能技术的有关思考及建议

一是人工智能技术具有重要意义。虽然目前人工智能技术仅处于初始阶段，但其对网络安全、核安全和国家安全非常重要。随着人工智能技术的快速发展，国家不仅要积极研究和使用这一日益强大的技术，同时还要利用这一技术保证公民安全。

二是客观认识人工智能技术面临的诸多挑战。这些挑战因素包括：日益增多的威胁国家核指挥、控制与通信系统安全的攻击工具；新一代极具破坏性的人工智能赋能网络攻击能力（深度伪装、欺骗行为、先进的自动持续威胁工具等）；人工智能网络攻击与防御的界限变得模糊；在提升人工智能技术的条件下，在竞争和对抗的地缘战略环境中，网络能力具有不确定性和战略模糊性。

三是推进人工智能由理论向实践转变。过去很长一段时间，人工智能对核安全的影响很大程度上停留在理论层面。但是随着技术发展和国家安全战略变化，目前需要采取积极的干预措施，减少并管理人工智能所带来的潜在不稳定因素和可能增加的风险。同时，随着技术日益成熟，积极开发运用人工智能技术，帮助国家先发制人地应对人工智能网络攻击，减少武器系统遭受攻击的风险，使人工智能为国家战略稳定提供支撑。

四是动用各方力量提升人工智能技术并实现相互融合。为了实现人工智能、网络技术、核指挥控制三者之间的有效结合，建议政府、国防机构、学术界和私营企业部门应该共同努力，促使人工智能技术深度融入网络空间与核安全领域，提升网络安全和核安全能力。

未来智能实验室的主要工作包括：建立AI智能系统智商评测体系，开展世界人工智能智商评测；开展互联网（城市）云脑研究计划，构建互联网（城市）云脑技术和企业图谱，为提升企业，行业与城市的智能水平服务。

如果您对实验室的研究感兴趣，欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”

强化人工智能安全治理（新论） 人工智能时代给国家安全带来的挑战包括