人工智能时代的国家安全：风险与治理人工智能与国家安全论文怎么写

发表时间：2023-07-11 22:56:49

人工智能时代的国家安全：风险与治理

人工智能正在成为影响未来社会最重要的技术领域，世界各国纷纷出台指导战略，助力人工智能的创新与发展。然而，人工智能作为一项具有颠覆性的技术，其发展过程本身也蕴含着很大的风险与威胁。人工智能技术发展不仅会导致法律、伦理等方面的问题，也会引发国家安全领域的风险与威胁。本文根据人工智能技术和应用的发展趋势，分析国家在不同领域所面对的安全风险，不仅有助于做好安全防范准备，也有助于处理好安全与发展之间的关系。加强对风险的有效应对，可以更好地保障人工智能技术的发展。在此基础上，国家可以从提升风险意识、完善治理体系、加强监管能力和探求国际合作等多方面来构建风险分析和应对框架，提升国家安全的韧性。

人工智能时代的来临

现代意义上的人工智能研究最早可以追溯到20世纪40年代。1950年，英国著名科学家图灵在《计算机器与智能》一文中首次提出了“机器能够思考吗?”这一具有划时代意义的理论问题，并同时提出了测试机器是否拥有智能的方法。

1956年，在达特茅斯夏季学术研讨会上，研究者们接受了计算机专家约翰•麦卡锡提出的人工智能(AI)概念，并将其作为这门新兴学科的正式标签。然而，在随后几十年的时间里，人工智能的发展却并非一帆风顺，虽然在不同时期出现了“专家系统”、“深蓝”等多项具有标志性意义的成果，但由于客观条件的限制，人工智能技术始终无法有效解决人们的现实需求，技术发展无法在产业层面落地，对于现实社会的影响非常有限。真正的突破出现在2009-2010年前后，硬件设备的进步使新一代计算机在运算速度和信息处理能力方面得到大幅提升。互联网产业的发展改变了人类的生活方式,使得网络成为人们获取日常生活数据最集中、最便捷的渠道。移动互联时代的到来，则使来自网络搜索、电子商务、社会媒体、科学研究等不同领域的海量数据迅速累积，为人工智能的飞跃提供了充足的养分。在已具备强大计算能力与大数据环境的情况下，早在60年代就已经被提出的多层神经网络工具焕发出巨大的生命力，重新成为技术发展的主流路径。本轮人工智能发展热潮以“深度学习”为核心，该算法以建立套嵌式的多层次模式识别系统组成的“神经”架构为基础，通过组合低层特征形成更加抽象的高层属性、类别或特征，借以发现数据的分布特点。深度学习的出现带来了人工智能算法的跨越，改变了传统符号主义学派以计算机模拟人类认知系统推进人工智能的艰难尝试，让人工智能拥有了从海量且复杂的信息源中提取、识别和构建体系的能力，在那些任务目标明确且相关数据丰富的领域，深度学习算法能够让机器学习新的技能，制定有效策略，从而在短时间内提出超过人类学习能力的问题解决方案。随着深度学习神经网络成为主流发展方向，人工智能技术很快在现实场景中得以应用。在很短的时间内，人工智能技术就在图像识别、语音识别、机器翻译、自动驾驶甚至棋类竞赛等复杂的应用场景中获得了飞速的进步，基本达到了满足人类日常需求的标准，具备了商业投资的价值，并很快成为资本市场追捧的新热点。迈过产业化的门槛意味着人工智能技术真正走出了实验室，能够对社会生产和人类生活产生直接影响。更重要的是，本轮人工智能技术的进步证明，机器学习算法能够在具有很多限定性条件的领域比人类做得更好，并且能够通过自我学习不断进步。这一结论事实上打开了人类对于人工智能发展的未来想象空间，人类社会已经能够清晰地听到未来社会匆匆而至的脚步声。

人工智能技术与四大领域的安全风险

诚如马克思所言，“科学是历史的有力杠杆，是最高意义上的革命力量”。作为一项具有时代意义的科学思想与技术，人工智能系统能够通过大数据分析和学习理解人类的内在需求，作为创造性的伙伴直接参与到人类改造世界的活动中。它表现出与人类理性思维方式相匹敌的思考能力，在一定程度上改变了人类与技术工具的关系。然而，一切革命性的技术变革都意味着不确定性和风险，人工智能革命也将对经济、政治、军事、社会等领域产生重大冲击。如何在潜在的动荡风险尚未发生时做到未雨绸缪，使技术革命不至于反噬人类本身，是社会科学研究者所肩负的重要责任。在此，本报告分析总结了人工智能技术进步对于社会生活中四大领域所带来的潜在风险，旨在较为全面地展示我们所需面对的挑战。

人工智能技术对于经济安全的影响

经济安全是国家安全的重要组成部分。特别是在冷战结束之后，随着国际体系的内在逻辑变迁，经济安全问题日益被各国政府和研究者所重视，将其视为国家安全的核心组成部分，并逐渐扩展为一个完整的理论体系。其中金融安全、产业安全、经济信息安全都被视为经济安全问题的重要组成部分。人工智能技术在发展过程中首先被视为一项具有明确经济目标的技术创新，其成果对于经济体系的影响也最为直接。因此，在尝试讨论人工智能技术所带来的安全风险时，最为基础的便是其对国家层面经济安全的影响。

结构性失业风险

从历史上看，任何围绕着自动化生产的科技创新都会造成劳动力需求的明显下降，人工智能技术的进步也同样意味着普遍的失业风险。

据美国国家科学技术委员会预测，在未来10~20年的时间内，9%~47%的现有工作岗位将受到威胁，平均每3个月就会有约6%的就业岗位消失。与传统基于生产规模下行所导致的周期性失业不同，由新的技术进步所导致的失业现象从本质上说是一种结构性失业，资本以全新的方式和手段替代了对于劳动力的需要。结构性失业的人们在短期内很难重新获得工作，因为他们之前所能够适应的岗位已经彻底消失，而适应新的岗位则需要较长的时间周期。可以预见的是，主要依赖重复性劳动的劳动密集型产业和依赖于信息不对称而存在的部分服务行业的工作岗位将首先被人工智能所取代。随着人工智能技术在各个垂直领域不断推进，受到威胁的工作岗位将越来越多，实际的失业规模将越来越大，失业的持续时间也将越来越长。这种趋势的演进，对于社会稳定的影响将是巨大的。

贫富分化与不平等

人工智能技术的进步所带来的另一大经济影响是进一步加剧了贫富分化与不平等现象。

一方面，作为资本挤压劳动力的重要进程，人工智能所带来的劳动生产率提升很难转化为工资收入的普遍增长。在就业人口被压缩的情况下，只有少数劳动人口能够参与分享自动化生产所创造的经济收益。新创造的社会财富将会以不成比例的方式向资本一方倾斜。另一方面，人工智能技术对于不同行业的参与和推进是不平衡的。部分拥有较好数据积累，且生产过程适宜人工智能技术介入的行业可能在相对较短的时间内获得较大发展。在这种情况下，少数行业会吸纳巨额资本注入与大量的人才集聚，迅速改变国内产业结构。行业发展不平衡的鸿沟与部分行业大量超额收益的存在将对国家经济发展产生复杂影响。

循环增强的垄断优势

作为一项有效的创新加速器，不断发展成熟的人工智能技术可以为技术领先国家带来经济竞争中的战略优势。人工智能技术的进步需要大量的前期投入，特别是在数据搜集和计算机技术方面的技术积累对于人工智能产业的发展至关重要。但各国在该领域的投入差距很大，不同国家在人工智能技术方面的发展严重不平衡。而人工智能技术自身潜在的创造力特性又能使率先使用该技术的国家有更大的机率出现新一轮技术创新。如果这种逻辑确实成立，那么少数大国就会利用人工智能技术实现有效的技术垄断，不仅能够使自己获得大量超额收益，使本已十分严重的全球财富分配两极分化的情况进一步加剧，而且将会随着时间的推移使差距进一步拉大。在这种状况下，处于弱势地位的大部分发展中国家应如何在不利的经济结构中维持自身的经济安全就将成为极具挑战性的课题。

小结

人工智能技术的发展已经深刻地改变着维系国民经济运行和社会生产经营活动的各项基本生产要素的意义。在人工智能技术的影响下，资本与技术在经济活动中的地位获得全面提升，而劳动力要素的价值则受到严重削弱。在传统工业化时代重要的人口红利很可能在新时代成为新型经济模式下的“不良资产”。新的经济体系的重构过程将会引导全球资本和人才进一步流向技术领导国，留给发展中国家走上现代化道路的机遇期将变得更加有限。人工智能技术带来的全球经济结构调整，将促使经济安全问题成为所有发展中国家所面对的共同挑战。

人工智能技术对于政治安全的影响

人工智能技术对于经济领域的深度影响会自然传导到政治领域，而人工智能技术的特性也容易对现有的政治安全环境产生影响。从议题层面来看，人工智能技术及其背后的大数据和算法能够潜移默化地影响人类行为，直接对国内政治行为产生干扰。从结构层面来看，人工智能所带来的社会经济结构调整，会使资本的权力在政治体系中呈现扩张态势，最终在政治权力分配中获得相应的反映。除此之外，人工智能技术的介入，还将影响国际竞争的内容与形态。因此，对于身处人工智能时代的国家主体而言，如何在变革的条件下有效维护本国的政治安全与秩序稳定，并且提高参与国际竞争的能力，将是所有国家都不得不面对的重要课题。

数据与算法的垄断对于政治议程的影响

技术对于各国国内的政治议程所产生的影响轨迹已经变得越来越清晰，在过去两年中，围绕着2016年美国大选而开展的种种政治运作已经越来越明显地展现出拥有数据和技术能够在怎样的程度上影响政治的结果。

剑桥分析公司事件的出现非常清晰地显示出，只要拥有足够丰富的数据和准确的算法，技术企业就能够为竞争性选举制造针对性影响。在人工智能技术的协助下，各种数据资源的积累，使每个接受互联网服务的用户都会被系统自动画像与分析，从而获得定制化的服务。然而，渐趋透明的个人信息本身也就意味着这些信息可以轻易服务于政治活动。正如英国第四频道针对剑桥分析事件所做的评论，“…一只看不见的手搜集了你的个人信息，挖掘出你的希望和恐惧，以此谋取最大的政治利益。”于是，伴随着技术的不断成熟，当某种特定政治结果发生时，你将难以确定这是民众正常的利益表达，还是被有目的地引导的结果。在人工智能时代，数据和算法就是权力，这也意味着新的政治风险。这种技术干涉国内政治的风险对于所有国家都普遍存在，但对于那些技术水平相对落后的广大发展中国家来说，这种挑战显然更加严酷。由于缺乏相应技术积累，发展中国家并没有充分有效的方式保护自己的数据安全，也没有足够的能力应对算法所带来的干涉。人工智能技术的进步将进一步凸显其在政治安全领域的脆弱性特征，传统的国家政治安全将面临严峻的考验。

技术进步与资本权力的持续扩张

国家权力的分配方式从根本上说是由社会经济生产方式的特点所决定的，不同时代的生产力水平决定了特定时段最为合理的政治组织模式。威斯特伐利亚体系中的民族国家体制出现，从根本上说正是目前人类所创造的最适宜工业化大生产经济模式的权力分配方式。因此，当人工智能技术所推动的社会经济结构变革逐步深入时，新的社会权力分配结构也会伴随着技术变革而兴起，推动国家治理结构与权力分配模式做出相应的调整。

从当前的各种迹象来看，资本权力依托技术和数据垄断的地位持续扩张将成为新时代国家治理结构调整的重要特征。人工智能技术的研究工作门槛很高，依赖于巨额且长期的资本投入。当前，人工智能研究中最具实际应用价值的科研成果多出自大型企业所支持的研究平台。超级互联网商业巨头实际上掌握了目前人工智能领域的大部分话语权。人工智能领域研究已经深深地打上了资本的烙印，大型企业对于数据资源以及人工智能技术的控制能力正在形成他们实际上的垄断地位。这种力量将渗入当前深嵌于网络的社会生活的方方面面，利用算法的黑箱为大众提供他们希望看到的内容，潜移默化地改变公共产品的提供方式。在人工智能时代，资本和技术力量的垄断地位有可能结合在一起，在一定程度上逐渐分享传统上由民族国家所掌控的金融、信息等重要的权力。资本的权力随着新技术在各个领域的推进而不断扩张，这将成为人工智能技术在进步过程中所带来的权力分配调整的重要特征。对于民族国家来说，资本权力的扩张本身并非不可接受，大型企业通过长期投资和技术研发，能够更加经济、更加有效地在很多领域承担提供相应公共产品的职能。然而，民族国家能否为资本权力的扩张设定合理的边界则是关系到传统治理模式能否继续存在的重要问题，这种不确定性将成为未来民族国家所面对的普遍性政治安全风险。

技术进步对主权国家参与国际竞争的挑战

人工智能技术进步所带来的另一项重要政治安全风险是使得技术落后的国家在国际战略博弈中长期处于不利地位。

战略博弈是国际竞争活动中最为普遍的形式，参与者通过判断博弈对手的能力、意图、利益和决心，结合特定的外部环境分析，制定出最为有利的博弈策略并加以实施。①由于国际关系领域的战略博弈涉及范围广，内容复杂，各项要素相互累加形成的系统效应（SystemEffects）实际上已经远远超出了人类思维所能够分析和掌控的范畴，传统意义上国家参与战略博弈的过程更多依赖政治家的直觉与判断。这种类似于“不完全信息博弈”的形态给人工智能技术的介入提供了条件。只要技术进步的大趋势不发生改变，人工智能所提供的战略决策辅助系统就将对博弈过程产生重大影响。首先，人工智能系统能够提供更加精确的风险评估和预警，使战略决策从一种事实上的主观判断转变为精确化的拣选过程，提升战略决策的科学性。其次，深度学习算法能够以更快的速度提供更多不同于人类常规思维方式的战略选项，并且随着博弈过程的持续，进一步根据对方策略的基本倾向对本方策略加以完善，提升实现战略决策的有效性。最后，在战略博弈进程中，人工智能系统能够最大限度排除人为因素的干扰，提高战略决策的可靠性。以人工智能技术为基础的决策辅助系统在国际战略博弈的进程中将发挥重要作用，技术的完善将使得国际行为体之间战略博弈能力的差距进一步扩大。缺少人工智能技术辅助的行为体将在风险判断、策略选择、决策确定、执行效率，以及决策可靠性等多个方面处于绝对劣势，整个战略博弈过程将会完全失衡。一旦这种情况出现，主权国家将不得不参与到技术竞争中来。而在资本和技术都处于落后一方的中小国家将在国际竞争中处于不利地位，也将面对严重的政治安全风险。

小结

人工智能技术的快速发展所带来的不确定性将直接影响国家的政治安全。它不仅能够直接作用于国内政治议程，通过技术手段对内部政治生态产生短时段的直接干扰，而且会通过国内社会经济结构的调整，在长时段内影响原有政治体系的稳定。在人工智能时代，国内治理格局需要根据经济基础的变化进行调整，作为大工业时代产物的科层制管理体系应该如何适应新时代的要求，将成为影响民族国家国内政治稳定的重要因素。另一方面，人工智能技术的介入和参与还会进一步拉大国家间的战略设计与战略执行能力的差距，技术的潜力一旦得到完全释放，将使得国际竞争格局进一步失衡，处于弱势一方的发展中国家维护自身利益的空间进一步缩减。国际关系行为体之间将呈现出在技术和制度上的系统性差距，发展中国家将面临更加严酷的国际竞争环境。

人工智能技术对于军事安全的影响

人工智能技术本身并不是军事武器，但它天然与军事安全领域的所有问题都存在千丝万缕的联系。从人工智能技术诞生之日起，如何将其有效应用于军事领域就已被纳入所有技术先进国家的考虑范围之内。这是因为国家的军事行为与公司等经济组织的商业行为拥有相似的逻辑，都要求建立一个有效的系统，以便在竞争性过程中获得胜利。整个过程中同样包含快速获取信息、快速处理信息、做出决策与执行决策等过程。而随着人工智能技术的成熟，它将会被越来越广泛地应用于军事领域，武器系统、军事策略、军事组织，甚至战争的意义可能会发生深刻改变，人类社会也有可能在进入人工智能时代之后迎来一个不同的军事安全环境。

完全自主性武器的广泛应用将带来巨大的军事伦理问题

人工智能技术不是武器，但能够成为武器性能提升的助推器。一方面，人工智能技术的介入，使大量无人作战武器参与作战成为可能。当前，无人机、无人地面车辆、无人潜航设备已经广泛应用于军事领域，而各国军事部门对于机器人作战系统的兴趣也是有增无减。利用深度学习算法，智能化武器可以在虚拟环境中得到武器操控的基本能力，随后在现实环境中广泛获取数据，并根据数据反馈不断提升战斗能力，学习执行各种战斗命令，最终实现有效应用于复杂的战场态势。

另一方面，随着人工智能技术的发展，算法的更新可以赋予智能武器新的角色与行动逻辑。以智能化无人机为例，利用人工智能技术，无人机已不仅是执行定点清除等特殊任务的执行者，更成为情报搜集、目标定位、策略制定和行动发起的协调平台，担负起前沿信息节点和策略制定等重要任务。此外，人工智能技术的成果同样可以应用于对于各种智能化武器的训练过程中。智能化武器的规模越大，其在战斗中相互协调的优势就越容易发挥出来。通过共同的算法进行“训练”的大批量智能化武器可以协调行动，有助于其最大限度地优化其作战策略，并且根据战场形势和作战目标进行灵活调整，最大限度地获得战场优势。然而，武器系统的快速进步也为国家的军事行为带来了严重的伦理问题。随着技术的进步，完全自主的致命性武器系统能够做到主动识别和选择目标，确定拟对目标施加的武力级别，并在特定的时间和空间范围内对目标实施规定的武力。但自主武器是否有权力在没有人为干涉的情况下自主决定对于目标的杀伤，仍然是人类伦理领域的一个尚无答案的问题。人类社会的运行要建立在很多具有共识性的伦理基础之上，即使是军事行为也有很多明确的国际法规范。然而，这些法律规范都立足于人类之间的战争行为，对于智能化武器的规范尚未形成。特别是处于弱势一方的军事组织，在无法通过消灭有生力量的方式制止对方战争行为的情况下，是否有权利对于对方城市平民发动袭击，迫使对方停止侵略行为？如果这种行为能够被接受，那么军事行动的合法性界限到底在哪里？在这些问题得到有效解决之前，一旦在现实战场上出现智能化武器自主决定对于人类的大规模杀伤，人类社会的伦理原则就将面临重大考验。

更加有效的作战体系的出现很可能触发新一轮的军备竞赛

人工智能技术的进步和智能化武器的发展，可以使人工智能时代的作战体系逐渐趋向去中心化的动态网络结构。由于智能化武器本身有承载作战关键节点的功能，且相互之间能够实现数据和策略共享，因此，在战争过程中能够做到相互取代，从而避免了因为关键节点被攻击而导致整个作战系统失效的结果。同时，人工智能具有更加全面高效搜集战场信息的能力，能够利用智能系统重新构筑战场形态，实现对战场真实情况最大限度的模拟。在人工智能技术的推动下，在军事安全领域能够出现更加有效的作战体系。

事实上，人工智能拥有两个人类无法比拟的优势，其一，人工智能系统可以快速处理战场信息，具有人类所不具备的快速反应能力。其二，人工智能系统具有多线程处理能力，可以同时处理军事行动中同时发生的多项行动，并且提出人类思维模式所无法理解的复杂策略。速度是现代战争中的重要优势，在现代战争信息超载的情况下，成熟的人工智能系统的反应速度和策略安排都将远远超过人类体能的极限。技术的影响将加剧常规军事力量对抗的不平衡状态，缺少人工智能技术辅助的武装力量将越来越难以通过战术与策略弥补战场上的劣势。常规对抗将不再是合理的战略选项，不对称战争将成为这两种力量对抗的主要方式。人类既有的历史经验多次验证了任何科技革命的出现都会使率先掌握新科技的国家与其他国家之间的力量差距进一步扩大。作为人类科技史上最新的力量放大器，人工智能在军事领域已经展现出明显超越人类的能力与持续发展的潜力。一旦技术发展成熟，这种差距已经很难用数量堆砌或策略战术加以弥补，应用人工智能的国际行为体在军事行动中很难被尚未使用人工智能技术的对手击败，国际主体间的力量鸿沟变得更加难以跨越。面对这样的技术变革浪潮，所有具有相应技术基础的大国必然会千方百计地获取相关技术，一场以人工智能技术为核心的新的军备竞赛恐怕很难避免。

人工智能技术会大大降低战争的门槛

在现代国际体系中，战争被普遍视为国际政治行为中的极端手段。巨大的经济成本与伤亡所造成的国内政治压力实际上给战争设置了较高的门槛。然而，随着人工智能技术的介入，战争行动的成本与风险都有明显下降的趋势。

一方面，人工智能技术的介入将能够有效节约军事行动的成本。智能化武器的使用可以有效节约训练过程的时间和人力成本。无人作战武器的训练多依赖于相对成熟的深度学习算法，在初始训练结束后，可以快速复制到所有同类型无人作战武器上，完成作战武器的快速培训过程。最大限度地节省了人类武器操控者需要对所有个体重复培训的人力和物力成本，而且可以从整体上做到所有武器操控的同步进步。从长时段效果来看，这更是一种更加经济、更加有效的作战训练方式。由于算法与数据的可复制性，部分武器的战损对于整体作战效能的影响将大大降低。即使在实际战斗中出现战损情况，其实际损失也要明显小于传统作战武器。另一方面，传统战争模式中最为残酷的一面是战争导致的人员伤亡，这也是现代社会战争行为最为严重的政治风险。而智能化武器的广泛应用实际上减少人类直接参与战斗的过程，人与武器实现实质性分离，将战争活动在很大程度上转变为利用无人武器系统的任务。从而有力地规避了大量伤亡所导致的政治风险。在传统的战争形态中，由于人类的深度参与，战争的双方都有较大的可能出现重大伤亡，这是战争的不确定性所决定的。在现代政治体系中，战争所导致的大量本国人员伤亡会在国内政治领域形成重要的社会压力，客观上增加了大国发动战争的顾虑，提升了战争的门槛。然而，随着智能化武器的广泛使用，人员伤亡能够大大减少，政治风险极大降低。这种情况实质上鼓励大国减少自我约束，更多采取进攻性的行动来达到相应的目的，也会对国际安全形成新的不稳定因素，客观上为大国之间的技术军备竞赛提供了额外的动力。

人工智能技术给网络安全问题带来的重大风险

网络安全本身就是具有颠覆性、杀手锏性质的领域，人工智能的应用将会进一步放大网络安全在进攻和防御方面的作用，从而使得强者愈强。同时，人工智能在网络攻击行动和网络武器开发中的应用也会带来很大的安全风险。这种风险主要表现在对自主选择目标的攻击是否会引起附带的伤害，是否会超出预设的目标从而导致冲突升级。在现有网络领域的冲突中，各方在选择目标和采取的破坏程度时都会非常谨慎，避免产生不必要的伤害以及防止冲突发生。但是人工智能网络武器的使用是否能够遵循这一谨慎，能否将更多在网络安全之外的因素纳入到攻击目标的选择和攻击程度的决策上，仍然存在疑问。因此，自主攻击的网络武器开发应当被严格限制在特定的环境之下，并且精确地开展测试。

另一方面，自主攻击网络武器的扩散将会对网络安全造成更加难以控制的危害。近年发生的网络武器泄露已经给国际安全造成了严重威胁，类似于WannaCry和NotPetya这样源自于美国国家安全局武器库中网络武器泄露再次开发而成的勒索病毒给国际社会带来了几百亿美元的经济损失和重大的公共安全危害。如果更具危害的自主性网络武器一旦泄露，其给网络安全带来的威胁将会更加严重。试想如果恐怖主义集团获得了可以自动对全球各个关键基础设施发动攻击的网络武器，那么将会对全球网络安全造成严重危害。因此，自主网络武器需要有严格加密和解密的规定，并且还应当具有在泄露后自我删除、取消激活等功能。

技术本身的安全问题与技术扩散对于全球安全的威胁

人工智能技术的介入能够使军事武器的作战效能提升，同时推动成本逐步下降，两方面优势的同时存在将使得对智能化武器的追求成为各大国的合理选择，但这并不意味着人工智能技术已经完全解决了可靠性的问题。从目前情况看，人工智能技术本身的安全问题与技术扩散风险仍然不可忽视。

一方面，技术本身仍存在潜在的安全问题。算法与数据是人工智能技术发展最重要的两项要素，但这两项要素本身都蕴含着潜在的安全风险。算法是由人编写的，因此，无法保证程序完全安全、可靠、可控、可信。而从数据角度来看，人工智能依赖大数据，同时数据的质量也会影响算法的判断。军事数据的获取、加工、存储和使用等环节都存在着一定的数据质量和安全风险问题。军队的运作建立在可靠性的基础之上，而人工智能技术本身存在的不确定性会为全球军事安全带来考验。另一方面，人工智能技术的扩散给全球安全带来了威胁。伴随着人工智能武器的开发，国际社会面临将面临严峻的反扩散问题的挑战。恐怖主义组织以及部分不负责任的国家有可能利用各种途径获得人工智能武器，并对国际安全和平产生威胁。人工智能从某种意义上而言，也是一种程序和软件，因此，它面临的扩散风险要远远大于常规武器。经验表明，类似于美国国家安全局的网络武器库被黑客攻击，并且在暗网进行交易，最后被黑客开发为勒索病毒的案例也有可能在人工智能武器领域重现。如何控制人工智能技术扩散所带来的风险将成为未来全球军事安全的重要议题。

小结

人工智能技术在军事领域的深度介入，是核武器发明以来全球军事领域所出现的最重要的技术变革之一。以深度学习为标志的人工智能技术可以增强信息化作战系统的能力，这是改变战争形态的基础。智能化武器的出现在理论上能够为国家提供低成本和低风险的军事系统，能够再次在短时间内放大主体间军事力量的差距，拥有人工智能技术的国家将具有全面超越传统军事力量的能力，使对方原本有效的伤害手段失效。新的不平衡状态可能会造成重大的伦理问题，而中小国家则不得不面对更加严酷的军事安全形势。如果这种状况不能得到有效管控，大国将陷入新一轮军备竞赛，而中小国家则必然会寻找相关军事技术的扩散或新的不对称作战方式，以便维持自己在国际体系中的影响能力。

人工智能技术对于社会安全的影响

作为新一轮产业革命的先声，人工智能技术所展现出来的颠覆传统社会生产方式的巨大潜力，以及可能随之而来的普遍性失业浪潮将持续推动着物质与制度层面的改变，也持续地冲击着人们的思想观念。面对剧烈的时代变革与动荡，世界各国都面临着法律与秩序深度调整、新的思想理念不断碰撞等问题。变革时期的社会安全问题也将成为各国不得不面对的重要挑战，新的思想与行动最终将汇集形成具有时代特征的社会思潮，对国家治理方式产生重要影响。

人工智能技术带来的法律体系调整

人工智能技术在社会领域的渗透逐渐深入，给当前社会的法律法规和基本的公共管理秩序带来了新的危机。新的社会现象的广泛出现，超出了原有的法律法规在设计时的理念边界，法律和制度产品的供给出现了严重的赤字。能否合理调整社会法律制度，对于维护人工智能时代的社会稳定具有重要意义。针对人工智能技术可能产生的社会影响，各国国内法律体系至少要在以下几个方面进行深入思考：

（1）如何界定人工智能产品的民事主体资格尽管目前的人工智能产品还具有明显的工具性特征，显然无法成为独立的民事主体，但法律界人士已经开始思考未来更高级的人工智能形式能否具有民事主体的资格。事实上，随着人工智能技术的完善，传统民法理论中的主体与客体的界限正在日益模糊，学术界正在逐步形成“工具”和“虚拟人”两种观点。所谓“工具”，即把人工智能视为人的创造物和权利客体；所谓“虚拟人”是法律给人工智能设定一部分“人”的属性，赋予其能够享有一些权利的法律主体资格。这场争论迄今为止尚未形成明确结论，但其最终的结论将会对人工智能时代的法律体系产生基础性的影响。（2）如何处理人工智能设备自主行动产生损害的法律责任当人工智能系统能够与机器工业制品紧密结合之后，往往就具有了根据算法目标形成的自主性行动能力。然而，在其执行任务的过程中，一旦出现对于其他人及其所有物产生损害的情况，应如何认定侵权责任就成了一个非常具有挑战性的问题。表面上看，这种侵权责任的主体应该是人工智能设备的所有者，但由于技术本身的特殊性，使得侵权责任中的因果关系变得非常复杂。由于人工智能的具体行为受算法控制，发生侵权时，到底是由设备所有者还是软件研发者担责，很值得商榷。（3）如何规范自动驾驶的法律问题智能驾驶是本轮人工智能技术的重点领域，借助人工智能系统，车辆可以通过导航系统、传感器系统、智能感知算法、车辆控制系统等智能技术实现无人操控的自动驾驶，从而在根本上改变人与车之间的关系。无人驾驶的出现意味着交通领域的一个重要的结构变化，即驾驶人的消失。智能系统取代了驾驶人成为交通法规的规制对象。那么一旦出现无人驾驶汽车对他人权益造成损害时，应如何认定责任，机动车所有者、汽车制造商与自动驾驶技术的开发者应如何进行责任分配。只有这些问题得以解决，才能搭建起自动驾驶行为的新型规范。归结起来，人工智能技术对于社会活动所带来的改变正在冲击着传统的法律体系。面对这些新问题和新挑战，研究者必须未雨绸缪，从基础理论入手，构建新时代的法律规范，从而为司法实践提供基础框架。而所有这些都关系到社会的安全与稳定。

思想理念的竞争性发展态势

随着人工智能技术的发展和进步，特别是“机器替人”风险的逐渐显现，人类社会逐渐针对人工智能技术也将逐渐展示出不同的认知与思想理念。不同思想理念之间的差异与竞争反映了社会对于人工智能技术的基本认知分歧。同时，不同思想理念所引申的不同策略与逻辑也将成为未来影响人类社会发展轨迹的重要方向。

（1）第一种可能广泛出现的思想理念是：保守主义事实上，在每一次工业革命发生时，人类社会都会出现对于技术的风险不可控问题的担忧，人工智能技术的进步也概莫能外。在深度学习算法释放出人工智能技术的发展潜力之后，在很多领域的人工智能应用系统都仅仅需要很短的学习时间，便能够超越人们多年所积累的知识与技术。人类突然意识到，自己曾经引以为傲的思维能力在纯粹的科学力量面前显得是那样微不足道。更严重的是，深度学习算法的“黑箱”效应，使人类无法理解神经网络的思维逻辑。人类对未来世界无法预知和自身力量有限而产生的无力感所形成的双重担忧，导致对技术的恐惧。这种观念在各种文艺作品都有充分的表达，而保守主义就是这种社会思想的集中反映。在他们看来，维持人工智能技术的可控性是技术发展不可逾越的界限。针对弱人工智能时代即将出现的失业问题，保守主义者建议利用一场可控的“新卢德运动”延缓失业浪潮，通过政治手段限制人工智能在劳动密集型行业的推进速度，使绝对失业人口始终保持在可控范围内，为新经济形态下新型就业岗位的出现赢得时间。这种思路的出发点在于尽可能长地维护原有体系的稳定，以牺牲技术进步的速度为代价，促使体系以微调的方式重构，使整个体系的动荡强度降低。然而，在科技快速发展的时代，任何国家选择放缓对新技术的研发和使用在国际竞争中都是非常危险的行为。人工智能技术的快速发展可以在很短的时间内使得国家间力量差距被不断放大。信奉保守主义理念的国家将在国际经济和政治竞争中因为技术落后陷入非常不利的局面，这也是保守主义思想的风险。（2）第二种可能广泛出现的思想理念是：进步主义这种观点的理论出发点在于相信科技进步会为人类社会带来积极的影响，主张利用技术红利所带来的生产效率提升获得更多的社会财富。进步主义体现了人类对于人工智能技术的向往，这一思想理念高度评价人工智能所引领的本轮工业革命的重要意义。他们解决问题的逻辑是要通过对于制度和社会基本原则的调整，充分释放人工智能技术发展的红利，在新的社会原则基础上构建一个更加适应技术发展特性的人类社会。在进步主义者看来，人工智能技术所导致的大规模失业是无法避免的历史规律，试图阻止这种状态的出现是徒劳的。维持弱人工智能时代社会稳定的方式不是人为干预不可逆转的失业问题，而是改变工业化时代的分配原则。利用技术进步创造的丰富社会财富，为全体公民提供能够保障其保持体面生活的收入。最终实现在新的分配方式的基础上重新构建社会文化认知，形成新时代的社会生活模式。进步主义思想的主要矛盾在于，它的理论基础建立在人工智能技术能够快速发展并能够持续创造足够丰富的社会财富的基础上，从而满足全球福利社会的需求。然而，人工智能技术的发展历史从来不是一帆风顺，从弱人工智能时代到强人工智能时代需要经历多久，至今难有定论。一旦科技进步的速度无法满足社会福利的财富需求，进步主义所倡导的新的社会体系的基础就将出现严重的动摇，甚至会出现难以预料的社会剧烈动荡。

小结

变革必然意味着风险，风险则会带来社会安全的挑战。人工智能技术的发展和进步能够直接作用于经济、政治等多个领域，也对于社会结构将产生深远影响。面对技术所带来的社会安全风险，我们既需要积极调整法律规制体系，努力维持社会稳定，又要在思想层面上对本轮社会变迁进行深层次的思考。虽然面对奔涌而来的人工智能浪潮，不同的思想理念展现的应对路径具有明显的分歧，但无论怎样，我们在思考人类与人工智能技术的关系时，应该始终坚信，人工智能是人类的造物，是人类知识与理性的伟大结晶。人工智能可能给世界带来的威胁远远不及那些人类自己可能创造的恶。我们应该以冷静而客观的态度理解和思考人工智能技术对于社会的影响，在处于变革中的并且更趋不平等的世界创造更加稳定、更加合理、更加体现人类文明与尊严的体系与制度。

人工智能在国家安全领域的风险应对

目前世界各国政府在人工智能领域的主要关注点是推动发展，对其所蕴含风险则准备不足。如上文所述，在人工智能时代，世界各国在国家安全领域面临的各项风险是相当严峻的。从全球层面来看，各国所具备的应对举措还存在较大的缺点。结合人工智能技术特点和应用发展趋势中可能引发的各项潜在风险，我们认为，国家可以从风险意识提升、治理体系建设、加强监管能力和国际合作等多个方面来构建风险分析和应对框架，以提升国家安全的韧性。

提升风险防范意识

提升风险防范意识是应对人工智能时代国家安全风险的重要起点。相对于其他领域的安全风险，人工智能在国家安全领域的风险具有系统性、不确定性、动态性等特点。此外，人工智能是一个新的风险领域，既有的安全治理经验很少，人们很难从过去的经验中吸取教训。因此，无论是风险的识别、预防和化解都是一项全新的挑战。建立相应的风险感知、识别、预防和化解能力框架是现阶段应对人工智能风险的当务之急。

感知风险意识

国家在发展和应用人工智能技术过程中，应当重视提高对技术以及应用的风险意识。由于人工智能技术的复杂性，企业常常处于技术创新和发展的前沿；而国家在某种程度上远离技术的前沿，对技术的感知存在一定的滞后，并且往往是在事件发生之后才被动地做出反应，这样就会错过最佳的干预时期。为了建立主动应对的能力，国家首先需要提高对于行业和领域的风险意识，避免由于风险意识不足导致的危机。

例如，在总体国家安全观以及其包含的政治安全、国土安全、军事安全、经济安全、文化安全、社会安全、科技安全、信息安全、生态安全、资源安全、核安全等在内的11个安全领域中高度重视人工智能发展可能带来的积极和消极影响。特别是在涉及到政治安全、军事安全、经济安全、信息安全、核安全等领域，人工智能所包含的风险已经开始显现，但相应的风险意识并没有跟上风险的威胁程度。在这些重点领域和行业，应当把提升风险意识作为制度性工作。

提升风险意识需要国家密切关注人工智能技术和应用的发展，通过系统思维对其可能在重要安全领域带来的风险进行深度思考。提升意识有助于后续的风险识别、预防和化解的过程，增加国家和社会对风险的重视程度，从而加大资源的投入与人才的培养。

识别风险能力

识别潜在的风险是加强危机应对的重要组成部分，但它又是具有挑战性的工作。人工智能距离广泛应用还有一段距离，相应的风险还在逐步地显现，在缺乏足够的案例的情况下，建立对风险的识别能力是一种具有前瞻性和挑战性的工作。人工智能是一项通用性的技术，有很多方向和突破点，这加大了风险识别的难度。总体而言，主要遵循着技术突破——应用创新——新的风险这样一个过程。识别风险的阶段越早，对于风险的控制就越容易。已有的案例和技术发展的趋势表明，人工智能所带来的风险程度高，往往还是具有一定系统性特征，对国家安全所造成的威胁程度较大。对于国家而言，识别人工智能的风险能力建设是一项长期的工作，需要建立跨学科的知识背景以及相应的跨部门协作机制，在政治安全、经济安全、军事安全、社会安全等领域建立相应的风险识别机制，加强相应的能力建设。

风险预防能力

风险预防是指对已经识别的风险和未能识别的风险进行预防。对已经能够识别的风险领域，应当根据自身的脆弱性，制定相应的预案，并且寻求风险降级的方法。对于未能识别的风险，则需要投入更多的精力，制定相应的规划，评估处置措施。在国家安全领域建立风险预防能力对于政府部门的动员能力有很高的要求。在很多风险的预防问题上，政府都缺乏足够的经验，缺乏成熟的应对机制，但是却需要政府部门能够快速地应对，及时的制定相应的风险预防计划。

风险化解能力

风险化解的能力，最终决定国家在人工智能时代应对国家安全风险的结果。风险意识提高、识别能力加强和建立预防能力都是增加风险化解能力的关键。但是，最终如何化解风险还取决于多方面的能力要素构建。人工智能所具有的跨领域特征，要求首先构建相应的跨部门协调机制。①人工智能所展现的跨国界特征，则要求建立起相应的国际合作机制。总体而言，如果化解人工智能的风险，就需要持续的关注和不断的加强能力建设，这对国家提出了更高的要求。

最后，风险化解一项系统性工程，它并非是要减少和限制人工智能的发展，相反，它是建立在对人工智能技术、应用、影响等多个维度的精确理解基础之上，在发展与安全之间取得平衡的一种能力。风险管控越有效，人工智能发展的空间越大，国家竞争力就越强。因此，提升国家安全领域的人工智能风险意识以及建立相应的管控机制，是保障其未来发展的关键。

构建安全治理体系

在提升风险意识和加强风险应对的同时，国家还应当主动加强人工智能安全治理体系的建设，将更多的利益攸关方纳入到治理体系当中，从技术、产业、政策、法律等多个方面建立安全保障体系。

人工智能是知识密集型和资本密集型的领域，人工智能技术的开发者，包括算法和数据领域的专家以及应用开发领域的人才大多分布在企业、研究机构当中。因此，构建多方参与的治理体系是推动人工智能治理的主要方式。其中，政府作为监管部门，加强与社群和私营部门之间的互动，一方面可以掌握技术和应用发展的趋势和方向，另一方面也可以帮助社群和私营部门更好地理解政府的关切，从而避免因为忽视和误判引起的不必要安全风险。治理不同于管理，很大程度上治理是一种开放、多方参与的过程。很多情况下，治理是自下而上的，强调技术导向的治理方式。它与传统的自上而下、只有政府参与的管理模式存在很大的不同。目前，以多利益攸关方为主要治理模式的机制正在人工智能领域出现。例如，在人工智能的安全与管理领域，正在形成新的以社群为中心的治理机制，IEEE《以伦理为基础的设计》《阿西洛马倡议》是其中的代表。而国际电信联盟这样的政府间组织也在通过多利益攸关方模式发起《向善的人工智能倡议》。政府应与其他的利益攸关方之间加强交流合作，通过相应的互动机制帮助各方更好地理解国家安全领域的风险，以及共同制定相应的风险管控机制；避免由于知识与政策之间的鸿沟影响技术社群、私营部门与政府之间的沟通障碍，导致风险出现以及相应的风险管控措施无法出台。

加强监管能力建设

从国家安全角度来看，政府是应对风险最主要的责任人，加强政府的监管能力是降低人工智能风险、保障技术与产业长足发展的关键。从政府角度而言，建立人工智能的技术标准体系、应用开发的规范体系以及建立与人工智能时代相适应的法律体系是保障监管能力的关键。

技术标准体系

人工智能的技术标准对于技术本身是否存在漏洞、符合相应的安全要求具有重要的作用。技术上的漏洞有可能导致人工智能的系统被黑客或其他不法分子利用，从而危害国家安全。例如很多智能音箱所暴露出来对个人隐私的侵犯，以及无人驾驶汽车由于图像识别能力不足导致的车祸等，都暴露出了人工智能还存着很多的不完善的地方，有可能会引发新的安全风险。对于这些缺陷，应当不断提高技术标准予以克服。

技术标准由技术社群主导建立，直接面向工程师和开发人员，对于提高人工智能应用的安全性具有重要作用。例如，作为主要的人工智能技术社群，IEEE设立了IEEEP7000标准工作组，设立了伦理、透明、算法、隐私等10大标准工作组，通过国际化的标准了影响整个技术社群。2018年1月，中国国家标准化管理委员会宣布成立国家人工智能标准化总体组、专家咨询组，负责全面统筹规划和协调管理我国人工智能标准化工作。标准虽然是面向开发者，但是它作为技术人员所应遵循的基本规范，对于国家安全而言具有重要作用。

程序规范体系

在标准之上，国家还应当在不同的部门制定相应的规范流程，确保对安全风险的控制。以军事领域为例，无论是半自主和全自主的武器系统，其设计应允许指挥官和作战人员在使用武力方面作出适当的人为判断。在决定是否使用人工智能武器时，应当制定明确的规范和流程，避免造成不可预测的后果。同时，还应当加强对人工智能武器的安全性，避免武器泄露或者随意转让相关技术。无论是无意或者有意的扩散都会增加军备竞赛的风险，威胁国际安全体系。

同时对于人工智能军事领域的使用，也应当有一套严格的流程，确保“合法使用”，即负责授权使用、指挥使用或操作自动化和半自主武器系统的人必须遵守战争法、其他国际条约、武器系统的安全规则以及适用的交战规则（ROE）。

法律法规体系

为应对人工智能时代的安全问题，国家应当建立相应的法律、法规体系。国际和国内法律界对此展开了激烈讨论。有学者认为，“智能革命的出现，对当下的伦理标准、法律规则、社会秩序及公共管理体制带来一场前所未有的危机和挑战。它不仅与已有法律秩序形成冲突，凸显现存法律制度产品供给的缺陷，甚至会颠覆我们业已构成的法律认知。”具体而言，人工智能已经在法律资格的主体、致人伤害的责任认定等多个方面提出了现实的问题。

从国家安全角度来看，人工智能的法律、法规所包含的内容更加丰富。从军事领域看，在应对人工智能武器攻击时，如何从国际法角度去认定攻击的性质和攻击的溯源，并应采取何种形式的反击和应对举措？在经济领域，如何去规范人工智能造成的金融系统安全问题？如何明确相应的责任，对相关的企业和人员进行处罚？在政治安全领域，对于类似“剑桥分析”的大数据公司和互联网社交媒体平台，应当如何制定相应的法律法规，禁止其通过人工智能对政治安全进行干扰和破坏？

提升国际合作水平

人工智能所带来的问题具有全球属性，它不是某一国家或者某一领域的治理问题。从技术本身来看，人工智能算法与安全问题是人类共同面临的挑战，具有普适性；从应用角度来看，各国在人工智能的发展和应用上对国家安全造成的威胁是跨国界的；从体系角度来看，人工智能对于地缘经济、地缘安全的颠覆性影响，冲击甚至重塑着现有的国际政治体系，从而影响体系中每一个行为体的国家安全。因此，加强人工智能领域的国际合作对于应对国家安全风险具有重要作用。

国际法

联合国高度关注人工智能对于国家安全的影响，经过2014年和2015年的两次非正式会议后，在2016年12月16日关于特定常规武器公约的联合国会议上成立了致命性自主武器系统（LAWS）政府专家组（GGE）。该小组的任务是研究致命性自主武器领域的新兴技术，评估其对国际和平与安全的影响，并为制定相应的国际法和国际治理提供建议。2018年9月在日内瓦召开的联合国常规武器公约的讨论中，各方就制定禁止人工智能驱动的致命性完全自主武器的条约开展讨论。全球约有26个国家支持全面禁止人工智能武器，而绝大多数国家还在观望，所以这次会议并未达成共识。但是，在规则缺失和大国战略竞争的背景下，军事领域人工智能的发展带来的风险和威胁在不断增加，出台国际法对于减小人工智能安全风险至关重要。

技术强国与弱国之间存在不同的观点是导致相应的国际法难以出台的重要原因。技术弱国认为应当完全禁止致命性自主武器的开发使用，技术强国则持相反意见，认为开发致命性自主武器可以降低人员损伤，有利于打击恐怖主义和维护国家安全，并且很多系统已经在战场上进入实战。军事是推动技术进步的重要因素，互联网就是由美国军方所发明，同样，人工智能的技术发展背后也有军事因素在强力推动。但是，人工智能的军备竞赛也非技术之福，特别是致命性自主武器的扩散会造成更为严重的后果。因此，从联合国层面制定相应的国际法，并且促成大国之间在发展致命性自主武器上达成一定的军控条约是当务之急。当前，在国际法不明确的情况下，各国应克制在军事领域使用人工智能武器。联合国政府专家组也应考虑对国际法此前未曾预见的情况追加法律限制，并以道德或伦理为由尽量减少对人和平民的伤害。更进一步的目标包括管理以下风险，如使用武力的门槛降低、意外导致的伤害、预期之外的矛盾升级以及军备竞赛和扩散。

双边及多边合作

从联合国角度来达成一项谈判可能需要十年甚至更长的时间，鉴于越来越多的风险，大国之间应当及早就人工智能在军事领域应用可能带来的潜在风险开展对话，及早启动相应的军控进程，短期内促成技术强国在谋求战略优势和国际安全体系稳定之间的妥协。同时，各国政府在面对人工智能时代的国家安全问题上面临着共同的威胁和挑战，加强彼此之间的合作是应对威胁的解决之道。

在军事领域，大国之间可以就人工智能的发展以及可能触发的军备竞赛问题开展对话，避免由于过度、过快的开发军事应用而引起的伦理问题，以及对国际安全体系的稳定造成冲击。可以预见，人工智能在军事领域的应用会加速发展，存在的问题也会越来越多。特别是各国之间对于如何看待人工智能武器，如何进行有效互动还存在很大的认知差距。这种差距的存在，导致各国在冲突发生时缺乏有效的应对手段。因此，各国之间应当就人工智能的军事安全问题开展对话，加强管控，增强政策透明度、建立信任措施，降低相应的军事冲突的风险，并且在冲突发生时能够采取有效的危机管控和冲突降级措施。在政治安全、经济安全、社会安全领域，许多国家也都在积极开展各种实践活动，相应的做法之间有很大的相互借鉴之处。各国可以就政策实践、信息共享、最佳实践、案例研究等问题开展有效对话。目前看来，主要的大国并未在双边层面开展相关的对话，由此带来的后果是相互之间的猜忌和不信任程度的增加。令人值得警惕的是，很多人把中国与美国在包括人工智能在内的高科技领域的竞争比作另一个“星球大战”，或者所谓的“科技冷战”，不仅导致了双方之间相互将对方视为敌手，甚至导致了对科学研究、供应链、产品的人为设限。因此，应通过相应的对话机制，通过有效的沟通来寻求更多的合作点，避免由于相互猜忌导致的恶性竞争。总体而言，国家安全风险是人工智能发展过程中各国必须直面的挑战，在面临共同的威胁时，最优的做法是携手应对，通过相应的国际合作机制来降低安全威胁，增加合作空间，让人工智能更好地服务于人类社会的发展，增进人类社会福祉。

作者

封帅，上海国际问题研究院助理研究员，主要研究方向为人工智能和大国关系。

鲁传颖，上海国际问题研究院副研究员，主要研究方向为网络安全与网络空间治理。

（本文选自《信息安全与通信保密》2018年第十期）

声明：本文来自信息安全与通信保密杂志社，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系anquanneican@163.com。

[当人工智能遇上安全] 1人工智能真的安全吗浙大团队外滩大会分享AI对抗样本技术

您或许知道，作者后续分享网络安全的文章会越来越少。但如果您想学习人工智能和安全结合的应用，您就有福利了，作者将重新打造一个《当人工智能遇上安全》系列博客，详细介绍人工智能与安全相关的论文、实践，并分享各种案例，涉及恶意代码检测、恶意请求识别、入侵检测、对抗样本等等。只想更好地帮助初学者，更加成体系的分享新知识。该系列文章会更加聚焦，更加学术，更加深入，也是作者的慢慢成长史。换专业确实挺难的，系统安全也是块硬骨头，但我也试试，看看自己未来四年究竟能将它学到什么程度，漫漫长征路，偏向虎山行。享受过程，一起加油~

第一篇文章将带领大家复习AI对抗样本技术，总结大佬们的分享。基础性入门文章，希望对您有所帮助。作者作为网络安全的小白，分享一些自学基础教程给大家，主要是在线笔记，希望您们喜欢。同时，更希望您能与我一起操作和进步，后续将深入学习AI安全和系统安全知识并分享相关实验。总之，希望该系列文章对博友有所帮助，写文不易，大神们不喜勿喷，谢谢！如果文章对您有帮助，将是我创作的最大动力，点赞、评论、私聊均可，一起加油喔！

外滩大会AI安全-智能时代的攻守道DeepLearningSecurity:FromtheNLPPerspective浙江大学

AI技术蓬勃发展，无论是金融服务、线下生活、还是医疗健康都有AI的影子，那保护好这些AI系统的安全是非常必要也是非常重要的。目前，AI安全是一个非常新的领域，是学界、业界都共同关注的热门话题，本论坛将邀请AI安全方面的专家，分享交流智能时代的功守道，推动和引领业界在AI安全领域的发展。

本次论坛的题目为“AI安全-智能时代的攻守道”，其中武汉大学王骞院长分享了语音系统的对抗性攻防，浙江大学纪守领研究员分享了NLP中的安全，浙江大学秦湛研究员分享了深度学习中的数据安全新型攻防，来自蚂蚁集团的宗志远老师分享了AI安全对抗防御体系，任奎院长分享了AI安全白皮书。本文主要讲解NLP中的AI安全和白皮书相关知识，希望对您有所帮助。这些大佬是真的值得我们去学习，献上小弟的膝盖~fighting！

PS：顺便问一句，你们喜欢这种会议讲座方式的分享吗？担心效果不好，如果不好我就不分享和总结类似的会议知识了，欢迎评论给我留言。

文章目录一.AI安全白皮书1.AI模型安全问题2.AI数据安全问题3.AI承载系统安全问题4.防御方法二.从NLP视角看机器学习模型安全三.对抗文本TextBugger1.论文贡献2.白盒攻击3.黑盒攻击4.实验评估四.中文对抗文本五.总结一.AI安全白皮书

随着人工智能日益发展，自动驾驶、人脸识别、语音识别等技术被广泛应用，同时带来的是严峻的AI安全问题。常见的安全问题包括：

自动驾驶系统错误识别路牌自然语言处理系统错误识别语义语音识别系统错误识别用户指令

当今的AI安全非常重视四种性能，包括：

保密性涉及的数据与模型信息不会泄露给没有授权的人完整性算法模型、数据、基础设施和产品不被恶意植入篡改替换伪造鲁棒性能同时抵御复杂的环境条件和非正常的恶意干扰隐私性AI模型在使用过程中能够保护数据主体的数据隐私

针对这四种性能的AI攻击层出不穷，比如推断攻击、对抗样本、投毒攻击、模型窃取等。

因此，任奎院长带来了《AI安全白皮书》的分享。

浙江大学和蚂蚁集团合作，他们调研了近年来发表在安全、人工智能等领域国际会议与期刊上的300余篇攻防技术研究成果，聚焦模型、数据、承载三个维度的安全威胁与挑战，梳理了AI安全的攻击与防御技术。根据真实场景中AI技术面临的安全问题，总结提出AI应用系统的一站式安全解决方案（AISDL），并共同推出了《AI安全白皮书》。整个框架如下图所示：

他们经过梳理，将AI技术面临的威胁归为三大类，分别是：

AI模型安全问题模型完整性威胁=>数据投毒攻击模型鲁棒性威胁=>对抗样本攻击AI数据安全问题模型参数泄露=>模型替代攻击数据隐私泄露=>模型逆向攻击AI承载系统安全问题硬件设备安全问题=>电路扰动攻击系统软件安全问题=>代码注入攻击

在介绍三种安全问题之前，作者首先给大家普及下什么是对抗样本？对抗样本指的是一个经过微小调整就可以让机器学习算法输出错误结果的输入样本。在图像识别中，可以理解为原来被一个卷积神经网络（CNN）分类为一个类（比如“熊猫”）的图片，经过非常细微甚至人眼无法察觉的改动后，突然被误分成另一个类（比如“长臂猿”）。再比如无人驾驶的模型如果被攻击，Stop标志可能被汽车识别为直行、转弯。

对抗样本的经典流程如下图所示——GU等人提出的BadNets。它通过恶意（poisoning）训练数据集来注入后门，具体如下：

首先攻击者选择一个目标标签和触发器图案，它是像素和相关色彩强度的集合。图案可能类似于任意形状，例如正方形。接下来，将训练图像的随机子集用触发器图案标记，并将它们的标签修改为目标标签。然后用修改后的训练数据对DNN进行训练，从而注入后门。

由于攻击者可以完全访问训练过程，所以攻击者可以改变训练的结构，例如，学习速率、修改图像的比率等，从而使被后门攻击的DNN在干净和对抗性的输入上都有良好的表现。BadNets显示了超过99%的攻击成功率（对抗性输入被错误分类的百分比），而且不影响MNIST中的模型性能。下图右下角的触发器（后门）导致了神经网络训练学习错误地类别，将Label5和Label7预测为Label4。

PS：在下一篇文章中我们会详细讲解AI数据安全和AI语音安全论文，这篇文章主要针对NLP文本的对抗样本分享，望您喜欢！

1.AI模型安全问题

(1)模型完整性威胁=>数据投毒攻击攻击者在正常训练集中加入少量的毒化数据，破坏模型完整性，操纵AI判断结果。模型偏移会使模型对好坏输入的分类发生偏移，降低模型的准确率。同时，后门攻击不影响模型的正常使用，只在攻击者设定的特殊场景使模型出现错误。

(2)模型鲁棒性威胁=>对抗性样本攻击攻击者在模型测试阶段，向输入样本加入对抗扰动，破坏模型鲁棒性，操纵AI判断结果。

不同限制条件扰动、对抗补丁、非限制性对抗攻击不同威胁模型白盒攻击、灰盒攻击、黑盒攻击不同应用场景图像识别、3D物体识别、音频识别、文本分类

深度学习模型通常都存在模型鲁棒性缺乏的问题，一方面由于环境因素多变，包括AI模型在真实使用过程中表现不够稳定，受光照强度、视角角度距离、图像仿射变换、图像分辨率等影响，从而导致训练数据难以覆盖现实场景的全部情况。另一方面模型的可解释性不足，深度学习模型是一个黑箱，模型参数数量巨大、结构复杂，没有恶意攻击的情况下，可能出现预期之外的安全隐患，阻碍AI技术在医疗、交通等安全敏感性高的场景下使用。

任老师他们团队的相关工作包括分布式对抗攻击和面向三维点云的对抗攻击等。

2.AI数据安全问题

AI数据安全简单来说就是通过构造特定数据集，结合模型预测的结果来获取深度学习模型的参数或数据。如下图所示，通过模型逆向攻击重建图像，深度学习模型泄露了训练数据中的敏感信息。

AI数据安全包括模型参数泄露和训练数据泄露，具体如下图所示。模型参数泄露攻击方法包括方程求解攻击、基于Meta-model的模型窃取、模型替代攻击；训练数据泄露包括输出向量泄露和梯度更新泄露，方法包括成员推断攻击、模型逆向攻击、分布式模型梯度攻击。

任老师他们做的相关工作包括：

基于梯度更新的数据泄露针对联邦学习框架，攻击者可以通过用户上传的梯度更新重构特定用户的隐私数据

模型逆向攻击首个对商用用户识别模型的逆向攻击（CCS’19）

3.AI承载系统安全问题

(1)硬件设备安全问题

攻击者直接接触硬件设备，添加电路层面扰动，伪造数据。导致模型误判、指令跳转、系统奔溃等严重后果，每次推导后被正确数据覆盖，攻击隐蔽且难以检测。攻击者测量硬件系统的电磁、功能泄露，获取模型粗粒度超参数，为模型窃取提供先验知识。模型不同层、激活函数等运行过程中的泄露信息存在固定模式，或者利用旁路分析方法恢复模型超参数。

(2)系统与软件安全问题

AI系统与软件安全漏洞导致关键数据篡改、模型误判、系统崩溃或被劫持控制流等严重后果。代码注入攻击、控制流劫持攻击、数据流攻击等多维度攻击层出不穷，并在新环境下不断演化。同时，AI系统模块众多、结构复杂、在可扩展性方面存在不足，复杂场景下的攻击检测和安全威胁发现存在较大难题。

4.防御方法

(1)模型安全性增强面向模型完整性威胁的防御

数据毒化：利用频谱特征比较、聚类算法等手段检测含有后门的输入数据模型毒化：使用剪枝、微调、检测与重训练等方法来消除模型的后门特征

面向模型鲁棒性威胁的防御

对抗训练：把良性样本和对抗样本同时纳入训练阶段对神经网络进行训练输入预处理：通过滤波、位深度减小、输入清理等处理操作，消除输入数据中的对抗性扰动特异性防御算法：使用蒸馏算法、特征剪枝、随机化等算法对深度学习模型进行优化

(2)模型安全性增强

模型结构防御降低模型的过拟合程度，从而实现对模型泄露和数据泄露的保护信息混淆防御对模型的预测结果做模糊操作，干扰输出结果中包含的有效信息，减少隐私信息的泄露查询控制防御根据用户的查询进行特征提取，分辨攻击者与一般用户，从而对攻击者的行为进行限制或拒绝服务

(3)系统安全性防御硬件安全保护

关键数据加密：保障系统内部关键数据安全，防止旁路攻击硬件故障检测：实时检测电路故障并作出相应，确保不会被攻击者破坏劫持

软件安全保护

权限分级管理：保证模型数据只能被可信任的程序访问调用操作行为可溯源：保留核心数据生命周期内的操作记录

最后他们和蚂蚁集团提出一种AI模型安全开发声生命周期——AISDL，分阶段引入安全和隐私保护原则，实现有安全保证的AI开发过程。

最后总结：

白皮书介绍了模型、数据与承载系统面临的安全威胁以及防御手段，给出了AI应用的一站式安全解决方案在攻防中迭代更新的安全技术，新的行业门口降低合规成本，减少业务损失，开辟新的业务

二.从NLP视角看机器学习模型安全

在图像领域和语音领域都存在很多对抗样本攻击（AdversarialAttack），比如一段“Howareyou”的语音增加噪声被识别成“Openthedoor”，再如智能音响中增加噪声发起语音攻击等等。

那么，在文本领域也存在对抗样本攻击吗？自然语言处理（NaturalLanguageProcessing，NLP）的机器学习服务（MLaaS）是否也容易受到对抗样本攻击呢？

首先，给大家普及下自然语言处理。常见的应用包括：

机器翻译信息检索情感分析自动问答自动文摘知识图谱…

本篇博客主要介绍针对情感分类的对抗文本，所以介绍下情感分类的基础。深度学习在处理文本时，NLP通常要将文本进行分词、数据清洗、词频计算，然后转换成对应的词向量或TF-IDF矩阵，再进行相似度计算或文本分类，当某种情感（积极消极）的特征词出现较多，则预测为该类情感。那么，能否让深度学习模型总是预测错误呢？

NLP的对抗样本攻击和图像或语音的对抗样本存在很大的差异性，具体区别如下：

图像(像素)连续vs文本离散像素微小改变扰动小vs文本改变扰动易觉察连续空间优化方法很多vs离散空间不方便优化文本语义问题、歧义问题

由于图片和文本数据内在的不同，用于图像的对抗攻击方法无法直接应用与文本数据上。首先，图像数据（例如像素值）是连续的，但文本数据是离散的。其次，仅仅对像素值进行微小的改变就可以造成图像数据的扰动，而且这种扰动是很难被人眼察觉的。但是对于文本的对抗攻击中，小的扰动很容易被察觉，但人类同样能「猜出」本来表达的意义。因此NLP模型需要对可辨识的特征鲁棒，而不像视觉只需要对「不太重要」的特征鲁棒。

DeepWordBug下图是DeepWordBug的深度网络攻击示例（选自arXiv：1902.07285），展示了文本对抗样本的基本流程。正常深度学习预测的情感为positive，但修改某些关键词后（placeheart），它的情感分类结果为negative。

代码下载：https://github.com/QData/deepWordBug

与图像领域一样，有进攻就会有防御，目前也有很多研究尝试构建更鲁棒的自然语言处理模型。推荐大家阅读CMU的一篇对抗性拼写错误论文（arXiv：1905.11268）中，研究者通过移除、添加或调序单词内部的字符，以构建更稳健的文本分类模型。这些增减或调序都是一种扰动，就像人类也很可能出现这些笔误一样。通过这些扰动，模型能学会如何处理错别字，从而不至于对分类结果产生影响。

参考文献：NLP中的对抗样本-山竹小果

下面开始介绍纪老师他们开展的工作。

三.对抗文本TextBugger

TextBugger:GeneratingAdversarialTextAgainstReal-worldApplications这篇论文发表在NDSS2019，主要提出了生成文本对抗样本的模型TextBugger，用于生成文本对抗样本。其优势如下：

有效(effective):攻击成功率超出之前的模型隐蔽(evasive):保留正常文本的特点高效(efficient:高效生成对抗性文本，运算速度是文本长度的次线性

原文地址：

https://arxiv.org/abs/1812.05271

1.论文贡献

文本对抗在应用中越来越重要，而图像对抗中的方法不能直接用于文本。之前的对抗样本生成模型有着下述的缺点：

在计算上不够高效在白盒环境攻击需要手动干预都是针对某一个模型，不具备泛化性

本文提出了一个新框架TextBugger，可生成黑箱和白箱场景下的保持样本原意的对抗样本。在白箱场景下，可以通过计算雅各比矩阵来找到句子中的关键词；在黑箱场景下，可以先找到最重要的句子，再使用一个评分函数来寻找句子中的关键词。在真实世界的分类器中使用了对抗样本，取得了不错的效果。具体贡献包括：

提出TextBugger框架，能够在黑箱和白箱场景下生成高效对抗样本对TextBugger框架进行了评测，证明了其的效率和有效性证明TextBugger对于人类理解只有轻微影响讨论了两种防御策略，以增强文本分类模型鲁棒性

具体实验环境如下图所示，数据集为IMDB和RottenTomatoesMovieReviews数据集，都是对影评数据进行情感分析的数据集。目标模型为：

白盒攻击：针对LR、CNN和LSTM模型黑盒攻击：真实线上模型，如GoogleCloudNLP、IBMWastonNaturalLanguageUnderstanding(IBMWatson)、MicrosoftAzureTextAnalytics(MicrosoftAzure)、AmazonAWSComprehend(AmazonAWS)、Facebookfast-Text(fastText)、ParallelDots、TheySaySentiment、AylienSentiment、TextProcessing、MashapeSentiment等参数未知的模型

基线算法为：

随机算法：每个句子，随机选择10%的单词来修改。FGSM+NNS：使用快速梯度符号法寻找单词嵌入层的最佳扰动，再在词典中通过最近邻搜索的方式寻找到最接近的单词。DeepFool+NNS：使用DeepFool方法寻找穿越多分类问题决策边界的方向，进而找到最佳扰动，再在词典中通过最近邻搜索的方法寻找最接近的单词。

PS：该部分参考“人帅也要多读书”老师的理解。

对抗攻击分类对抗攻击的分类有很多种，从攻击环境来说，可以分为黑盒攻击、白盒攻击或灰盒攻击.

黑盒攻击：攻击者对攻击模型的内部结构、训练参数、防御方法等一无所知，只能通过输出与模型进行交互。白盒攻击：与黑盒模型相反，攻击者对模型一切都可以掌握。目前大多数攻击算法都是白盒攻击。灰盒攻击：介于黑盒攻击和白盒攻击之间，仅仅了解模型的一部分。例如仅仅拿到模型的输出概率，或者只知道模型结构，但不知道参数。

从攻击的目的来说，可以分为有目标攻击和无目标攻击。

无目标攻击：以图片分类为例，攻击者只需要让目标模型对样本分类错误即可，但并不指定分类错成哪一类。有目标攻击：攻击者指定某一类，使得目标模型不仅对样本分类错误并且需要错成指定的类别。从难度上来说，有目标攻击的实现要难于无目标攻击。2.白盒攻击

白盒攻击：通过雅各比矩阵找到最重要的单词，再生成五种类型的bug，根据置信度找到最佳的那一个。TextBugger整个框架如下图所示。

白盒攻击通过雅可比矩阵找到最重要的单词，算法流程如下：

Step1:FindImportantWords(line2-5)找到最重要单词，通过雅各比矩阵来找Step2:BugsGeneration(line6-14)bug生成。为了保证生成的对抗样本在视觉上和语义上都和原样本一致，扰动要尽量小。考虑两种层次的扰动，字母级扰动和单词级扰动

作者发现在一些词嵌入模型中（如word2vec），“worst”和“better”等语义相反的词在文本中具有高度的句法相似性，因此“better”被认为是“worst”的最近邻。以上显然是不合理的，很容易被人察觉。因此使用了语义保留技术，即将该单词替换为上下文感知的单词向量空间中的top-k近邻。使用斯坦福提供的预先训练好的GloVe模型进行单词嵌入，并设置topk为5，从而保证邻居在语义上与原来的邻居相似。

TextBugger提出了五种对抗样本生成方法，如下图所示：

插入空格插入一个空格到单词中删除字符删除除第一个字符和最后一个字符外的任意字符替换字符交换单词中除了开头和结尾的两个字母视觉相似替换视觉上相似的字母（比如“o”和“0”、“l”和“1”）和在键盘上挨着比较近的字母（比如“m”和“n”）上下文感知词向量，最近邻替换(word2vec->GloVe)使用情境感知空间中距离最近的k个单词来进行替换

将使用候选词生成的对抗样本输入模型，得到对应类别的置信度，选取让置信度下降最大的词。如果替换掉单词后的对抗样本与原样本的语义相似度大于阈值，对抗样本生成成功。如果未大于阈值，则选取下一个单词进行修改。

3.黑盒攻击

在黑盒场景下，没有梯度的指示，所以首先找最重要的句子，然后通过打分函数找到最重要的单词。具体攻击分为三个步骤：

Step1:找到重要的句子第一步寻找重要句子。将文档分为多个句子，逐句作为输入，查看分类结果。这样可以过滤掉那些对于预测标签不重要的单句，剩下的句子也可根据置信度来排序了。Step2:根据分类结果，使用评分函数来确定每个单词的重要性，并根据得分对单词进行排序第二步寻找重要的词。考虑到所有可能的修改，应该首先发现句子中最重要的词，再轻微地进行修改以保证对抗样本与原样本的语义相似性。要想评估一个单词的重要性，可以使用去除之前的置信度与去除后的置信度的差来评估。Step3:使用bug选择算法改变选择的单词第三步bug生成。此步骤与白盒攻击中的步骤基本一致。

4.实验评估

主要使用编辑距离、杰卡德相似系数、欧氏距离和语义相似度进行评估。下表展示了论文中方法在白箱环境和黑箱环境下的表现，可以看出与之前的方法相比有很大的优势。

下图展示了对抗文本中的重要单词。根据算法攻击单词的频率，就可以知道对于某一类别影响最大的单词，比如“bad”,“awful”,“stupid”,“worst”,“terrible”这些词就是消极类别中的关键词。

下图是论文算法产生的对抗样本实例，通过简单的单词级别的攻击对分类关键词进行了处理，进而达到了攻击的效果，可以看到目标类别和攻击后的类别差别很大。具体修改比如：

awful=>awfulcliches=>clichsfoolish=>fo0ilshterrible=>terrib1e

实验数据表明，文档的长度对于攻击成功率影响不大，但更长的文本对于错误分类的置信度会下降。文档长度越长，攻击所需时长也就更长，这在直观上较好理解。

总结本论文算法的特点总结如下：首先，算法同时使用了字母级别和单词级别的扰动；其次，论文评估了算法的效率；最后，论文使用算法在众多在线平台上进行了实验，证明了算法的普适性和鲁棒性。同时，现存的防御方法只集中在的图像领域，而在文本领域比较少，对抗训练的方法也只应用于提高分类器的准确性而非防御对抗样本。

四.中文对抗文本

目前看到的很多论文都是介绍英文的对抗文本攻击，但是中文同样存在，并且由于中文语义和分词，其攻击和防御难度更大，接下来纪老师他们分享了正在开展的一个工作。但由于这部分介绍很快，这里仅放出当时拍摄的相关PPT，请大家下来进行研究，我感觉word2vec语义知识能做一些事情。

Query-efficientDecision-basedAttackAgainstChineseNLPSystems

随着对抗样本发展，火星文字越来越多，它们一定程度上能够绕过我们新闻平台、社交网络、情感模型，比如“微信”修改为“薇心”、“玥发叁仟”等词语。中文的对抗文本某种程度上难度更高，那么怎么解决呢？

纪老师他们团队提出了CTbugger（AdversarialChineseText），其框架如下图所示，通过对深度学习模型进行恶意文本攻击从而生成对应的中文对抗文本。

另一块工作是TextShield，其框架如下图所示：

五.总结

最后给出总结的相关文献，大家可以去了解学习。真的非常感谢所有老师的分享，学到很多知识，也意识到自己的不足。我自己也需要思考一些问题：

如何将对抗样本和深度学习与恶意代码分析结合如何结合AI技术完成二进制分析，并且实现特征的可解释性分析

学术或许是需要天赋的，这些大佬真值得我们学习，顶会论文要坚持看，科研实验不能间断。同时自己会继续努力，争取靠后天努力来弥补这些鸿沟，更重要的是享受这种奋斗的过程，加油！虽然自己的技术和科研都很菜，安全也非常难，但还是得苦心智，劳筋骨，饿体肤。感恩亲人的支持，也享受这个奋斗的过程。月是故乡圆，佳节倍思亲。

最后给出“山竹小果”老师归纳的对抗样本相关论文：(1)文本攻击与防御的论文概述

AnalysisMethodsinNeuralLanguageProcessing:ASurvey.YonatanBelinkov,JamesGlass.TACL2019.TowardsaRobustDeepNeuralNetworkinTextDomainASurvey.WenqiWang,LinaWang,BenxiaoTang,RunWang,AoshuangYe.2019.AdversarialAttacksonDeepLearningModelsinNaturalLanguageProcessing:ASurvey.WeiEmmaZhang,QuanZ.Sheng,AhoudAlhazmi,ChenliangLi.2019.

(2)黑盒攻击

PAWS:ParaphraseAdversariesfromWordScrambling.YuanZhang,JasonBaldridge,LuhengHe.NAACL-HLT2019.TextProcessingLikeHumansDo:VisuallyAttackingandShieldingNLPSystems.SteffenEger,GözdeGül¸Sahin,AndreasRücklé,Ji-UngLee,ClaudiaSchulz,MohsenMesgar,KrishnkantSwarnkar,EdwinSimpson,IrynaGurevych.NAACL-HLT2019.AdversarialOver-SensitivityandOver-StabilityStrategiesforDialogueModels.TongNiu,MohitBansal.CoNLL2018.GeneratingNaturalLanguageAdversarialExamples.MoustafaAlzantot,YashSharma,AhmedElgohary,Bo-JhangHo,ManiSrivastava,Kai-WeiChang.EMNLP2018.BreakingNLISystemswithSentencesthatRequireSimpleLexicalInferences.MaxGlockner,VeredShwartz,YoavGoldbergACL2018.AdvEntuRe:AdversarialTrainingforTextualEntailmentwithKnowledge-GuidedExamples.DongyeopKang,TusharKhot,AshishSabharwal,EduardHovy.ACL2018.SemanticallyEquivalentAdversarialRulesforDebuggingNLPModels.MarcoTulioRibeiro,SameerSingh,CarlosGuestrinACL2018.RobustMachineComprehensionModelsviaAdversarialTraining.YichengWang,MohitBansal.NAACL-HLT2018.AdversarialExampleGenerationwithSyntacticallyControlledParaphraseNetworks.MohitIyyer,JohnWieting,KevinGimpel,LukeZettlemoyer.NAACL-HLT2018.Black-boxGenerationofAdversarialTextSequencestoEvadeDeepLearningClassifiers.JiGao,JackLanchantin,MaryLouSoffa,YanjunQi.IEEESPW2018.SyntheticandNaturalNoiseBothBreakNeuralMachineTranslation.YonatanBelinkov,YonatanBisk.ICLR2018.GeneratingNaturalAdversarialExamples.ZhengliZhao,DheeruDua,SameerSingh.ICLR2018.AdversarialExamplesforEvaluatingReadingComprehensionSystems.RobinJia,andPercyLiang.EMNLP2017.

(3)白盒攻击

OnAdversarialExamplesforCharacter-LevelNeuralMachineTranslation.JavidEbrahimi,DanielLowd,DejingDou.COLING2018.HotFlip:White-BoxAdversarialExamplesforTextClassification.JavidEbrahimi,AnyiRao,DanielLowd,DejingDou.ACL2018.TowardsCraftingTextAdversarialSamples.SuranjanaSamanta,SameepMehta.ECIR2018.

(4)同时探讨黑盒和白盒攻击

TEXTBUGGER:GeneratingAdversarialTextAgainstReal-worldApplications.JinfengLi,ShoulingJi,TianyuDu,BoLi,TingWang.NDSS2019.ComparingAttention-basedConvolutionalandRecurrentNeuralNetworks:SuccessandLimitationsinMachineReadingComprehension.MatthiasBlohm,GloriannaJagfeld,EktaSood,XiangYu,NgocThangVu.CoNLL2018.DeepTextClassificationCanbeFooled.BinLiang,HongchengLi,MiaoqiangSu,PanBian,XirongLi,WenchangShi.IJCAI2018.

(5)对抗防御

CombatingAdversarialMisspellingswithRobustWordRecognition.DanishPruthi,BhuwanDhingra,ZacharyC.Lipton.ACL2019.评估

(6)对文本攻击和防御研究提出新的评价方法

OnEvaluationofAdversarialPerturbationsforSequence-to-SequenceModels.PaulMichel,XianLi,GrahamNeubig,JuanMiguelPino.NAACL-HLT2019

参考文献：感谢这些大佬和老师们的分享和总结，秀璋受益匪浅，再次感激。[1]AI安全-智能时代的攻守道[2]https://arxiv.org/abs/1812.05271[3](强烈推荐)NLP中的对抗样本-山竹小果[4]TextBugger：针对真实应用生成对抗文本-人帅也要多读书[5]论文阅读|TextBugger:GeneratingAdversarialTextAgainstReal-worldApplications[6]对抗攻击概念介绍-机器学习安全小白[7]LiJ,JiS,DuT,etal.TextBugger:GeneratingAdversarialTextAgainstReal-worldApplications[J].arXiv:CryptographyandSecurity,2018.

(By:Eastmount2021-09-07晚上10点http://blog.csdn.net/eastmount/)

如何应对人工智能给国家政治安全带来的挑战

人工智能将给政治安全带来哪些挑战

恩格斯曾警告道：“我们不要过分陶醉于我们人类对自然界的胜利。”技术变革具有两面性，人工智能既是政治安全新机遇，也是新挑战。

挑战之一：人工智能技术的普及应用，导致政治权力呈现出“去中心化”趋势，非国家行为体的权力扩大，给国家治理带来新难题。在传统的民族国家治理模式中，执政党或政府处于权力的中心。而在人工智能时代，数据即代表着权力。掌握数据的主体既有国家权力机构，也有个人、企业团体、社会组织等非国家行为体。“互联网数据”结构的“多节点、无中心”设计，决定着处于线上社会任何位置的主体，均不可能比其他位置的主体位势高。平等、民主的理念将成为时代主流，人人都有“麦克风”“摄像机”，处处都是“舆论中心”“事发现场”，“所有人面对所有人”，任何人在线上发布一张图片、一个视频、一段文字、或一条语音，都有可能引起连锁反应、酝酿政治事件。这一显著特征，弱化了传统的线下科层制国家管理结构和单向治理模式，个人、企业团体、社会组织等非国家行为体，在某种意义上都得以成为与政府平等的发声主体，政治话语权由政府这个传统的权力中心逐渐向社会层面弥散，呈现出明显的权力去中心化趋势，国家治理难度大大增加，政治安全风险也大大增加。

目前，这种风险已初露端倪。今年9月23日，因有人线上传播“老师辱骂原住民学生是‘猴子’”的种族歧视谣言，印尼巴布亚省爆发严重骚乱，导致26人死亡、70余人受伤。仅仅一句谣言，就引起如此轩然大波。不难想象，一旦有人围绕敏感政治议程，恶意歪曲、篡改、伪造“事实真相”，蓄意策划、组织、酝酿、推动“线上”政治运动，并混合利用大量人力和机器人进行策应，煽动不明真相的民众“线上”“线下”同时行动，将会造成多么严重的后果。更为严重的是，这也许只是未来众多错综复杂政治事件的场景之一。

挑战之二：资本的权力将随着人工智能技术和数据垄断持续扩张，进而染指国家传统权力。首先需要说明的是，这个问题实际上也是“非国家行为体权力扩大”的应有内容。但鉴于人工智能时代“资本的权力”的特殊地位作用，以及带来的挑战之重大性，有必要单列出来讨论。马克思主义认为，生产力决定生产关系，经济基础决定上层建筑。生产力的发展变化必将带来生产关系包括政治权力结构的调整。作为“第一生产力”的科学技术，其发展进步势必引起国家权力结构的调整。当人工智能技术广泛应用于经济社会各领域并引起变革时，将会推动国家治理结构与权力分配模式做出相应调整。从当前种种迹象来看，资本的权力依托技术和数据垄断持续扩张，将成为新时代国家治理结构调整的重要特征。人工智能技术研发门槛很高，依赖于大量的、长期的资本投入和技术积累，这导致社会各产业、各阶层、各人才群体间的技术研发能力、资源占有程度、社会影响力等方面极不平衡，以互联网商业巨头为代表的技术资本将占据明显优势。

另一方面，人工智能技术强大的赋能作用，以及良好的经济社会应用前景，导致资本趋之若鹜。目前，人工智能领域几乎所有重要的突破性成果都出自谷歌、微软、IBM、亚马逊等商业巨头或其投资的研究机构。而且，这些巨头企业本身就对全球核心技术、顶尖人才具有强大的虹吸效应。商业巨头实际上掌握了目前人工智能领域的大部分话语权，正在逐步形成行业垄断地位。人工智能时代，巨头企业以强大资本为后盾，逐步垄断技术、控制数据，或将不可避免地在一定程度上逐渐分享传统意义上由国家所掌控的金融、信息等重要权力，进而插手政治事务。2016年发生的“剑桥分析事件”即是例证。国家是否有能力为资本权力的扩张设定合理的边界，是未来政治安全面临的重大挑战。

挑战之三：人工智能技术及其背后的数据和算法潜移默化引导公众舆论，进而影响人的政治判断和政治选择，间接把控政治走向。在人工智能时代，数据和算法就是新的权力，这也意味着新的政治风险。近年来围绕国家大选而展开的种种政治运作显示：拥有数据和技术能够从一定程度上影响政治议程。2016年美国总统大选就是典型案例。布鲁金斯学会研究人员伊丽莎白·萨布里克称，大选期间，为影响选举结果，“俄罗斯投入的总成本仅为100万美元，却产生了高回报。俄罗斯‘互联网研究机构’仅在脸书上发布的内容，就影响了1.25亿美国人。”类似的情况，接连出现在2017年的英国大选和法国大选中。这些案例非常清晰地显示：只要拥有足够丰富的数据和准确的算法，技术企业就能够为竞争性选举施加针对性影响。当某种特定政治结果发生时，人们很难判断这是民众正常的利益诉求，还是被有目的地引导的结果。这种利用技术干涉政治的风险，在所有国家都可能出现。特别是技术水平相对落后的发展中国家，由于缺乏相应的技术积累，没有有效的方式保护数据安全，也没有足够的能力应对技术干涉，这种挑战更加严酷。

挑战之四：人工智能技术极有可能被政治敌对势力用于实施渗透、颠覆、破坏、分裂活动，危及国家政治安全。利用先进技术威胁他国政治安全，这样的例子屡见不鲜。无线电技术出现后，经常被用于窃取国家秘密，或者实施洗脑式政治宣传。比如美国之音广播电台，几十年如一日地对我实施反动宣传、进行意识形态渗透。计算机网络技术出现后，被西方国家用来进行网络窃密、网络攻击、网络勾联、传播政治谣言、意识形态渗透和进攻。人工智能时代，攻击一国人工智能系统或利用人工智能实施渗透、颠覆、破坏、分裂活动，带来的后果可能比以往的技术更为严重。2018年8月，委内瑞拉国内反对派势力勾结美国，利用无人机携带炸弹袭击该国总统马杜罗，即是牛刀小试。人工智能也正在成为恐怖势力实施暴恐活动的武器。美国学者迈克斯·泰格马克担忧，从人工智能“军备竞赛中获益最大的，并不是超级大国，而是一些较小的‘流氓国家’和非国家主体，比如恐怖分子……只要他们把目标的照片和地址上传到杀手无人机中，它就会飞到目的地，识别和杀死那个人，然后自毁，以确保没人知道谁是幕后黑手。”人工智能还可以通过自动化社会工程攻击来助长各种暴力破坏活动，比如国内外敌对势力可能会通过聊天机器人，在线上宣传极端思想、招募恐怖分子，怂恿诱导他们在线下实施暴恐暗杀活动，制造政治恐慌。

挑战之五：人工智能技术进步对主权国家参与国际竞争带来严峻挑战。人工智能是当前最尖端最前沿技术之一，其核心技术多被美欧等发达国家所掌握。这些国家利用它提升生产自动化水平，提高劳动生产率，加快制造业回迁，将冲击发展中国家的传统比较优势，使后者在国际政治经济竞争格局和全球分工中处于更加不利的地位。通过发展军事智能化，进一步扩大对发展中国家的军事优势。广大发展中国家受限于自身发展水平、技术实力、人才积累等因素，短期内难以同发达国家抗衡。国家之间一旦形成技术“代差”，综合实力差距将被进一步拉大，技术强国不断扩大竞争优势，提升其全球地位和政治影响力，甚至形成“强者愈强”“赢者通吃”的局面。在这种情况下，技术强国对发展中国家实施政治讹诈和技术突袭的可能性严重存在，后者在国际战略博弈中很难翻盘。正如法国国际问题专家高大伟（DavidGosset）所讲，“人工智能是人类制造分裂的数码鸿沟。一旦你有高科技，能力就会非常强；没有，你完全就没有什么机会。”

人工智能时代如何有效维护我国政治安全

政治安全事关我党生死存亡和国家长治久安，也与民族复兴和人民福祉休戚相关。必须高度重视人工智能带来的政治安全挑战，对症下药，多措并举，综合施策。

针对“权力去中心化”趋势，转变执政理念，探索国家治理新模式。人工智能技术具有高度专业性和复杂性，企业、科研机构常常处于技术创新前沿，而国家政府则往往远离技术前沿，对技术的感知相对滞后，对技术的安全风险准备不足。为此，要强化风险意识，成立人工智能安全咨询专家组，密切跟踪技术和应用的发展，运用系统思维，定期研判人工智能可能带来的政治风险，提高风险识别、防范和处置能力。要创新技术治理模式，积极适应“权力去中心化”趋势，构建政府主导，企业、研究机构、技术专家、公众等多方参与的人工智能治理体系。“治理”不同于“管理”，管理是政府单向的行为过程，治理则是一种开放的、多个利益攸关方参与的互动过程。通过多方互动，政府既可以掌握技术和应用的前沿动态和发展趋势，又有助于企业、研究机构、专家、民众更好地了解政府关切，共商制定风险管控机制，推进治理工作的科学化民主化。

针对技术短板弱项，实施重点突破，努力跻身世界一流，争取掌握未来国际竞争战略主动权。当前，我国在人工智能技术领域面临的最重大的安全威胁，是关键核心技术受制于人。从现在起到2030年，是我国抢抓机遇的关键十年。举全国之力，集全民之智，戮力建设自主创新体系。加强政策引导和资金支持，打造一批国家级人工智能研发平台。加强基础性、原创性、前瞻性技术研发，从智能芯片、基础算法、关键部件、高精度传感器入手，加快核心技术突破。技术创新的关键在人才，要在加强国内人才培养的同时，拿出具有吸引力的政策措施，全球招贤纳士，聚天下英才而用之。

针对技术应用风险，严格人工智能标准制定和行业监管，确保人工智能良性发展。没有规矩，不成方圆。要随着技术的发展变化，在《人工智能标准化白皮书》（2018版）的基础上，进一步修订完善相关技术标准。制定完善人工智能相关法律法规和伦理道德框架，对相关的民事与刑事责任确认、隐私和产权保护、机器伦理等问题予以明确，理顺设计者、使用者、监管者之间的权责关系。建立健全人工智能监管体系,形成设计问责和应用监督并重的双层监管结构，实现对算法设计、产品开发、成果应用的全过程监管，积极促进行业自律，加大对数据滥用、算法陷阱、侵犯隐私、违背道德伦理、越过权力边界等不良行为的惩戒力度。

针对外部安全风险，加强军事能力建设，为维护国家政治安全提供力量保证。要立足我军实际，统筹推进机械化、信息化、智能化复合发展，成体系加强战斗力建设。要保持战略定力和战略清醒，既高度重视、加快发展、加紧赶超，又要清醒地看到美国利用“星球大战计划”引诱拖垮前苏联的殷鉴不远，谨防掉入对手构设的“战略陷阱”。要保持强大战略自信，找准对手的“短板”和“死穴”，运用非对称战略制衡思维，坚持“你打你的，我打我的”，创新发展智能化条件人民战争的战略战术。要积极研究探索智能化战争理论，加快推进现代武器装备体系和人才队伍建设，强化智能化条件下部队训练演练，不断提升我军新时代军事斗争准备水平，为军事上决战决胜、政治上安全稳定提供坚强力量保证。

针对战略互疑，加强国际交流合作，共同制定人工智能技术国际行为准则。近年来，国内外学术界、产业界围绕人工智能主题的交流合作逐渐增多，然而主要大国尚未在双边或多边层面展开真诚、深入的对话。甚至有人把中美在人工智能等高科技领域的竞争比作另一场“星球大战”。某些大国无端猜忌别人，并且人为地对相关技术、产品、供应链等设置技术壁垒。

随着全球化的深入发展和技术突破传统的国家疆界，一国的安全早已与其他国家紧密相联，人工智能发展过程中出现的问题，只有各国共同携起手来才能解决。固步自封、相互掣肘从短期看尚可以找到掩耳盗铃、自我欣赏的快感，从长远看没有出路。我国要展现大国姿态，发挥自身优势，积极探索与技术强国开展务实交流合作的可行性路径，互相取长补短，努力增信释疑，避免恶性竞争，共同应对难题。要加大对国外优质创新企业的风险投资与合作并购，鼓励国内实体大力引进高级专业技术人才、合作创办研究机构。要积极主动参与人工智能国际议题设置，共同应对安全、伦理、法律等诸多挑战。抓住人工智能国际准则和配套法规刚刚起步之机，积极参与规则制定，及时宣示我国主张，努力掌握规则制定话语权和国际交往主动权。

转载请注明来源返回搜狐，查看更多

人工智能给军事安全带来的机遇与挑战

1.2提升军事情报分析效率

随着信息技术的发展，人类正在迎来一个“数据爆炸”的时代。目前地球上两年所产生的数据比之前积累的所有数据都要多。瀚如烟海的数据给情报人员带来了极大的困难和挑战，仅凭增加人力不仅耗费大量钱财，问题也得不到根本解决。与此同时，伴随大数据技术和并行计算的发展，人工智能在情报领域日益展现出非凡能力。目前，美军已经敏锐地捕捉到了人工智能在军事情报领域的巨大应用潜力，成立了“算法战跨职能小组”。该小组的首要职能就是利用机器视觉、深度学习等人工智能技术在情报领域开展目标识别和数据分析，提取有效情报，将海量的数据转换为有价值的情报信息，为打击ISIS等恐怖组织提供有力的技术支撑。机器算法的快速、准确、无疲劳等特点使其在大数据分析领域大展身手，展现出远超人类的能力。因此，美国防部联合人工智能中心主任沙纳汉中将就直言不讳地表示，算法就是“世界上最优秀、训练最有素的数据分析师”。

1.3提升军事网络攻防能力

网络空间已经成为继陆、海、空、天之外的“第五维空间”，是国家利益拓展的新边疆、战略博弈的新领域、军事斗争的新战场。习近平主席在中央网络安全和信息化领导小组第一次会议上指出，“没有网络安全就没有国家安全”。网络攻防是军事安全领域中的重要一环，基于人工智能技术的自动漏洞挖掘可以显著提升军事系统的网络防御能力。目前，网络防御领域存在两大问题：一是网络技术人才短缺；二是当前的网络防御系统面对未知漏洞表现不佳。人工智能的新发展为提升网络防御水平提供了新途径，主要体现在网络系统漏洞自动化检测和自主监视系统等方面。以深度学习为代表的机器学习技术有望使得网络防御系统不仅能从以往的漏洞中学习，而且能在监视数据中不断提升对未知威胁的应对能力。有研究表明，人工智能可以从大量网络数据中筛选出可疑信息，以此增强网络防御能力。比如“蒸馏网络”公司（DistilNetworks）就利用机器学习算法来防御人类难以察觉的高级持续性威胁（APT）网络攻击。目前，美国亚利桑那州立大学的科学家已经研发出了一种能够识别“零日漏洞”的机器学习算法，并能够追踪其在黑客界的流动轨迹。麻省理工学院（MIT）“计算机科学和人工智能”实验室的研究人员也启动了PatternEx研究项目，意在构建一个机器学习系统，预期每天能检查36亿行日志文件，监测85%的网络攻击，并在投入使用时进行自动学习和采取防御措施。美国国防部高级研究计划局正计划将人工智能用于网络防御，重点发展的功能包括在投入使用之前自动检测软件代码漏洞以及通过机器学习探测网络活动中的异常情况等。

1.4为军事训练和培训提供新方式

人工智能为军事训练和培训也提供了新方式。在作战训练领域，人工智能技术与虚拟现实技术相结合能够极大提升模拟软件的逼真度和灵活性，为针对特定战场环境开展大规模仿真训练提供高效手段，真正实现“像训练一样战斗，像战斗一样训练”。首先，通过收集卫星图像、街景数据、甚至是无人机拍摄的三维图像，虚拟现实程序能够在人工智能的帮助下快速、准确地生成以全球任何一处场景为对象的综合训练环境（STE），帮助士兵进行更有针对性的预先演练，提升士兵执行特定任务的能力。其次，人工智能赋能军事训练模拟软件在不降低真实度的情况下快速生成训练环境、设计交战对手，摆脱了以往军事训练耗费大量人力物力布置训练场景的传统模式。再次，人工智能具备的自主性使得模拟军事训练不会以可预测模式进行，士兵必须使用各种设备和不同策略在复杂多样的环境中战斗，有利于提升士兵和指挥官在作战中的应变能力。最后，人工智能通过在模拟对战中与人类反复交手从而迭代学习，系统借助大量复盘模拟可以不断完善应对方法，为参谋人员提供参考借鉴。这一过程类似于与AlphaGo进行围棋对战。换言之，人工智能不仅可以扮演模拟军事训练中人类的强大对手，还可以在每次胜利时向人类传授一种针对这次战役或行动的新策略。除此之外，人工智能在军事训练的其他领域也有着广泛应用。目前，一个名为“神探夏洛克”（SHERLOCK）的智能辅导系统已经被用于美国空军的培训中。这个系统能够为美国空军技术人员提供如何操作电子系统对飞行器进行诊断的培训。同时，南加州大学的信息科学学院已经研制出了一个基于替身的训练程序，能够为派驻海外的军人提供跨文化交流训练。

1.5给军事理论和作战样式创新带来新的启发

诚如恩格斯所言：“一旦技术上的进步可以用于军事目的，他们便立刻几乎强制地，而且往往是违背指挥官的意志而引起作战方式上的改变甚至变革。”技术进步作用于军事领域必然引起作战方式的改变甚至变革，这是恩格斯100多年前就向人们揭示的军事技术发展规律，人工智能技术当然也不例外。总体来看，以人工智能技术为支撑的智能化武器装备较传统武器装备具有突防能力强、持续作战时间长、战术机动性好、训练周期短以及综合成本低等显著优势。智能化无人系统可采用小型化甚至微型化设计，使用复合材料和隐身技术，以隐蔽方式或集群方式接近目标，让敌人难以察觉或无法防范。无人武器系统还可以突破人类生理局限，装备的性能指标和运转时长只需考虑制造材料、各类机械电子设备的承受极限和动力能源的携带量，不但使得系统在机动、承压方面能力得到革命性提升，并且能够实现远距离侦察打击和在目标区域的长时间存在。同样重要的是，与传统武器系统操控训练周期一般长达数年不同，无人系统操控员仅需数月或一年左右的训练即可远程操控“捕食者”“死神”等无人武器参加实战，更多作战人员不必直接踏上战场，有望大大降低战死率和随之而来的社会舆论压力。基于人工智能技术军事化应用的上述特点，近年来美军提出了以算法较量为核心的算法战、无人武器系统蜂群式作战、具有高度自适应性的“马赛克战”等一系列新作战样式。可以预见的是，随着人工智能技术的进一步发展，智能化条件下的军事理论和作战样式创新不会停止。

总而言之，人工智能可以帮助军事力量更加精准高效地运转，同时降低人类面临的生命危险。人工智能在无人作战、情报搜集与处理、军事训练、网络攻防、智能化指挥控制决策等军事领域的广泛运用具有“改变游戏规则”的颠覆性潜力，有望重塑战争形态，改写战争规则，推动智能化战争的加速到来。中央军委科技委主任刘国治中将等专家认为，人工智能必将加速军事变革进程，对部队体制编制、作战样式、装备体系和战斗力生成模式等带来根本性变化，甚至会引发一场深刻的军事革命。

人工智能给军事安全带来的风险和挑战

人工智能作为一种科学技术，同样具备“双刃剑”属性。人工智能一方面为人类社会发展进步和维护军事安全提供了新的动力和机遇，另一方面也带来了一系列威胁与挑战。综而观之，人工智能给军事安全带来的威胁和挑战主要有以下几个方面。

2.1人工智能军事应用带来的非预期事故

人工智能的军事应用存在诸多不确定性，容易带来非预期事故的发生。这主要由以下两点原因所致：一是由于人工智能内部的脆弱性问题（internalvulnerbility）。当前，人工智能还停留在弱人工智能阶段，而弱人工智能系统的特点在于它们接受了非常专门的任务训练，例如下棋和识别图像。战争可以说是最复杂的人类活动之一，巨量且不规律的物体运动仿佛为战场环境蒙上了一层“迷雾”，难以看清和预测战争全貌。在这种情况下，系统的应用环境无时无刻都在发生变化，人工智能系统可能将难以适应。因此，当前弱人工智能存在的根本脆弱性（brittleness）很容易损害系统的可靠性。交战双方部署的人工智能系统交互产生复杂联系，这种复杂性远远超出一个或多个弱人工智能系统的分析能力，进一步加剧了系统的脆弱性，发生事故和出错的概率将大大增加。此外，人工智能算法目前还是一个“黑箱”，可解释性不足，人类很难预测它的最终结果，也容易带来很多非预期事故。二是外部的攻击利用问题（externalexploitation)。研究人员已证明，图像识别算法容易受到像素级“毒”数据的影响，从而导致分类问题。针对开源数据训练的算法尤其容易受到这一挑战，因为对手试图对训练数据进行“投毒”，而其他国家又可能将这些“中毒”数据用于军事领域的算法练。目前对抗性数据问题（adversarialdata）已经成为一个非常严峻的挑战。此外，黑客攻击还可能导致在安全网络上训练的算法被利用。当训练数据受到污染和“投毒”，就很可能产生与设计者意图不符的人工智能应用系统，导致算法偏见乃至更多非预期事故的发生。最后，人机协同也是一个很大的难题。无论是强化学习、深度学习，还是专家系统都不足以完全准确地反映人类的直觉、情感等认知能力。人工智能的军事运用是“人—机—环境”综合协同的过程，机器存在可解释性差、学习性弱、缺乏常识等短板，或将放大发生非预期事故乃至战争的风险。

2.2人工智能军备竞赛的风险

与核武器类似，由于人工智能可能对国家安全领域带来革命性影响，世界各国将会考虑制定非常规政策。目前，世界各国（尤其是中、美、俄等军事大国）都认识到人工智能是强化未来国防的关键技术，正在加大人工智能领域的研发力度，并竭力推进人工智能的军事应用，力图把握新一轮军事技术革命的主动权，全球人工智能军备竞赛态势初露端倪。具体而言，美国将人工智能视为第三次抵消战略的核心，建立“算法战跨职能小组”，筹划基于人工智能的算法战。2018年7月，美国防部设立专门的人工智能机构——联合人工智能中心（JAIC），大力推动军事人工智能应用。2019年2月12日，美国防部正式出台美军人工智能战略，并将联合人工智能中心作为推进该战略落地的核心机构。美国2021财年国防授权法案草案中也特别强调对人工智能、5G、高超声速等关键技术进行投资，建议对人工智能投资8.41亿美元，对“自主性”（autonomy)投资17亿美元。这些举措都体现出美国积极推动人工智能军事化、在人工智能领域谋求新式霸权的意图。俄罗斯在这一领域也不甘落后。2017年1月，普京要求建立“自主机器复合体”（AutonomousRoboticComplexs）为军队服务。中国政府则于2017年7月20日出台《新一代人工智能发展规划》，正式将发展人工智能上升到国家战略高度。军事领域也在通过“军民融合”战略加快“军事智能化发展”步伐，“促进人工智能技术军民双向转化，强化新一代人工智能技术对指挥决策、军事推演、国防装备等的有力支撑，推动各类人工智能技术快速嵌入国防创新领域”。

鉴于人工智能强大而泛在的技术本质以及军事领域对于强大技术的强烈需求，人工智能走向军事应用是难以阻挡的趋势，当前各国竞相推动人工智能军事化和发展人工智能武器便是其现实体现。大国间在人工智能领域的军备竞赛将会危及全球战略稳定，对国家安全带来严重威胁，埃隆·马斯克关于人工智能军备竞赛可能引发第三次世界大战的预言并非危言耸听。如同所有军备竞赛一样，人工智能领域的军备竞赛本质上都是无政府状态下安全困境的体现，如果缺乏信任和有效的军备控制措施，这将成为一场“危险的游戏”，直到一方把另一方拖垮或双方共同卷入战争，上演一场智能时代的“零和博弈”。

2.3扩展威胁军事安全的行为体范围和行为手段

传统上，威胁军事安全的主要行为体是主权国家的军队，但随着网络和人工智能技术的发展，这一行为体范围正在拓展。以网络攻击为例，根据攻防平衡理论，重大军事技术的出现将对攻防平衡产生重大影响，而有的军事技术天然偏向于进攻方。当前，人工智能技术的发展对提升网络攻击能力同样提供了极大机遇。可以预见，人工智能与深度学习的结合有望使得“高级持续威胁”系统成为现实。在这种设想下，网络攻击方能够利用APT系统24小时不间断地主动搜寻防御方的系统漏洞，“耐心”等待对方犯错的那一刻。随着人工智能逐步应用，将有越来越多的物理实体可以成为网络攻击的对象。例如，不法分子可经由网络侵入军用自动驾驶系统，通过篡改代码、植入病毒等方式使得军用无人车失去控制，最终车毁人亡。又比如通过入侵智能军用机器人，控制其攻击己方的人员或装备。同时，人工智能与网络技术结合可能进一步降低网络攻击的门槛。当智能化网络攻击系统研制成功，只要拥有足够多的资金便能有效提升自己的网络攻击能力，而不需要太高的技术要求。因此，未来恐怖分子利用人工智能进行网络攻击或攻击自主系统的算法、网络等，继而诱发军事系统产生故障（如军用无人车、无人机撞击己方人员），或者直接损坏军事物联网实体设备等，都会对军事安全产生很大威胁。

此外，人工智能的发展应用还将催生新的威胁军事安全的方式和手段。人工智能表现出诸多与以往技术不一样的特点，也自然会带来威胁军事安全的新手段，深度伪造（deepfakes）就是其中的典型代表，该技术为煽动敌对国家间的军事冲突提供了新途径。例如，A国雇佣代理黑客使用人工智能技术制作“深度伪造”视频或音频材料，虚构B国密谋针对C国采取先发制人打击，并将这段“深度伪造”材料故意向C国情报部门秘密透露，引发C国的战略误判，迫使其采取对抗手段。B国面对这种情况也将不得不采取措施予以应对，一场由A国借助人工智能技术策划的针对B、C两国的恶意情报欺诈就完成了。当前，“深度伪造”技术的发展速度远超相关的检测识别技术，“开发深度伪造技术的人要比检测它的人多100到1000倍”，这给各国安全部门抵御人工智能增强下的信息欺诈和舆论诱导制造了很多困难。此外，运用人工智能系统的军队也给自身带来了新的弱点，“算法投毒”、对抗性攻击、误导和诱骗机器算法目标等都给军事安全带来了全新挑战。

2.4人工智能产生的跨域安全风险

人工智能在核、网络、太空等领域的跨域军事应用也将给军事安全带来诸多风险。例如，人工智能运用于核武器系统将增加大国核战风险。一方面，人工智能应用于核武器系统可能会强化“先发制人”的核打击动机。核武器是大国战略威慑的基石，人工智能增强下的网络攻击将对核武器的可靠性构成新的威胁，在战时有可能极大削弱国家威慑力、破坏战略稳定。因此，尽管目前人工智能增强下的网络攻击能力的有效性并不确定，危机中仍将大大降低对手间的风险承受能力，增加双方“先发制人”的动机。信息对称是智能化条件下大国间进行良性竞争的基础和保障，但现实情况往往是，在竞争激烈的战略环境中，各国更倾向于以最坏设想来揣测他国意图并以此为假设进行斗争准备，尤其当面对人工智能赋能下的愈加强大的针对核武器系统的网络攻击能力，“先下手为强”确乎成为国家寻求自保的有效手段。另一方面，人工智能技术在核武器系统领域的应用还将压缩决策时间。人工智能增强下的网络攻击几乎发生在瞬间，一旦使核武器系统瘫痪，国家安全将失去重要屏障，给予决策者判断是否使用核武器的压力将激增。尤其在一个国家保持“基于预警发射”（lauch-on-warning)的情况下，核武器系统遭到人工智能增强下的网络攻击时几乎无法进行目标探测并且发出警报，更不可能在短时间内进行攻击溯源和判定责任归属，决策时间压缩和态势判断困难会使决策者承受巨大压力，极有可能造成战略误判，给世界带来灾难。

人工智能与网络的结合会极大提升国家行为体和非国家行为体的网络能力，同时也会催生出一系列新的问题。首先，人工智能技术的网络应用将提升国家行为体的网络攻击能力，可能会加剧网络领域的冲突。如前所述，基于人工智能的APT攻击可使得网络攻击变得更加便利，溯源问题也变得更加困难。与此同时，人工智能的网络应用可能会创造新的缺陷。目前人工智能的主要支撑技术是机器学习，而机器学习需要数据集来训练算法。一旦对方通过网络手段注入“毒数据”（如假数据），则会使得原先的人工智能系统非正常运行，可能带来灾难性后果。其次，由于人工智能算法的机器交互速度远超人类的反应速度，因此一旦将人工智能用于军事领域的网络作战，还有可能带来“闪战”风险，即人类还没来得及完全理解网络空间的战争就已经发生。此外，人工智能在太空领域的应用可能对全球战略稳定和军事安全带来破坏性影响。在人工智能的加持下，传统的反卫星手段将变得更加精准、更具破坏性、更难追溯，从而加大“先发制人”的动机，寻求先发优势。这容易破坏航天国家的军事安全和全球战略稳定，因为攻击卫星尤其是预警卫星往往被视为发动核打击的前兆。

结语

总体国家安全观强调，发展是安全的基础和目的，安全是发展的条件和保障，二者要同步推进，不可偏废。既要善于运用发展成果夯实国家安全的实力基础，又要善于塑造有利于经济社会发展的安全环境，以发展促安全、以安全保发展。因此，维护人工智能时代的军事安全并不代表放弃人工智能的发展，反而要大力推动其应用，使其成为维护军事安全的重要手段和支撑，并注重化解风险。如今，我国正处在由大向强发展的关键时期，人工智能有望成为驱动新一轮工业革命和军事革命的核心技术。因此，我们需要抢抓此次重大历史机遇，积极推动人工智能的研发和军事应用，推动军事智能化建设稳步发展，为建设世界一流军队增添科技支撑。

在当今时代，没有谁是一座孤岛，人工智能对于军事安全领域的影响是全球性的，因此推动人工智能领域的国际安全治理、构建人类命运共同体就显得尤为重要。由于人工智能的迅猛发展，目前对于智能武器尤其是致命性自主武器系统的相关法律法规还并不完善，各国在如何应对这些问题方面也没有明确的方法、举措和共识，但这些问题确关人类社会的未来前景和国际体系稳定。为了维护我国的军事安全以及整体的国家安全利益，应当推动人工智能技术治理尤其是安全领域的全球治理，在人工智能的军事应用边界（如是否应当将其用于核武器指挥系统）、致命性自主武器系统军备控制等领域开展共同磋商，在打击运用人工智能进行恐怖犯罪等领域进行合作，构建人工智能时代的安全共同体和人类命运共同体，维护国家军事安全和人类和平福祉。

免责声明：本文转自信息安全与通信保密杂志社，原作者文力浩,龙坤。文章内容系原作者个人观点，本公众号转载仅为分享、传达不同观点，如有任何异议，欢迎联系我们！

数据安全关乎国家安全

中央纪委国家监委网站李云舒

来源：中央纪委国家监委网站浏览字号：大中小2021年07月07日09:30:05

图为6月27日至29日，2021网络安全博览会在上海成功举办。（图片来源：人民视觉）

7月6日，中共中央办公厅、国务院办公厅公开发布《关于依法从严打击证券违法活动的意见》。意见提出，完善数据安全、跨境数据流动、涉密信息管理等相关法律法规。抓紧修订关于加强在境外发行证券与上市相关保密和档案管理工作的规定，压实境外上市公司信息安全主体责任。

近日，国家网信办连续发布了对“滴滴出行”“运满满”“货车帮”“BOSS直聘”实施网络安全审查的公告。审查期间，以上APP均已停止新用户注册。

多家互联网企业接受网络安全审查，一时间，数据安全再次成为关注焦点。

接受网络安全审查的几家企业都掌握大量用户隐私数据，并且业务与关键信息基础设施有关

“滴滴一下，美好出行”。作为中国最大的出行平台，“滴滴出行”的下架整改，让这句广告词变了滋味。

7月4日，国家互联网信息办公室发布公告称，经检测核实，“滴滴出行”APP存在严重违法违规收集使用个人信息问题。“滴滴出行”随后回应称，将严格按照有关部门的要求下架整改，并积极配合网络安全审查。目前，“滴滴出行”APP已暂停新用户注册，并下架整改。

一天后，网络安全审查办公室发布关于对“运满满”“货车帮”“BOSS直聘”启动网络安全审查的公告。

对这几家企业启动网络安全审查，原因是什么？

记者查看“运满满”企业官网时发现，该公司成立于2013年，隶属于江苏满运软件科技有限公司，是国内基于云计算、大数据、移动互联网和人工智能技术开发的货运调度平台。官网称，“运满满已经成为全球出类拔萃的整车运力调度平台和智慧物流信息平台”。“货车帮”公司官网则介绍，“货车帮”是中国最大的公路物流互联网信息平台，建立了中国第一张覆盖全国的货源信息网，并为平台货车提供综合服务，致力于做中国公路物流基础设施。

相比于这两家公司，“BOSS直聘”或许更广为人知。招股书显示，2021年3月，“BOSS直聘”月活跃用户数达3060万，服务630万家认证企业，其中82.6%为中小企业。官网介绍称，该平台应用人工智能、大数据前沿技术，提高雇主与人才的匹配精准度，缩短求职招聘时间，从而提升求职招聘效率。

综合来看，这几家企业都掌握大量用户隐私数据，并且业务与关键信息基础设施有关联。

“上述几家被审查的企业，分别为日常出行、网络货运及大众求职领域的头部平台，至少掌握了所属行业领域80%以上的深度数据。这些数据可以直接或间接地反映我国各区域人口分布、商业热力、人口流动、货物流动、企业经营等情况。”江苏省大数据交易和流通工程实验室副主任李可顺表示。

被审查企业近期已赴美上市，将不可避免涉及数据出境问题

值得注意的是，这几家被审查的企业有着共同的特点：近期赴美上市。

记者查阅资料发现，2021年6月11日，“BOSS直聘”于美国上市；6月22日，拥有“运满满”和“货车帮”的满帮集团于美国上市；6月30日，国内最大的移动出行平台滴滴于美国上市。

滴滴接受网络安全审查的消息，迅速在网络上发酵。

汇业律师事务所高级合伙人李天航认为，滴滴作为一家主要在中国经营的企业，所有数据首先是存储在本地的。但是，在美国上市将不可避免地涉及数据出境问题。

去年6月份，美国参议院提出了《外国公司问责法案》，该法案规定，如果外国公司连续三年未能通过美国公众公司会计监督委员会的审计，将被禁止在美国任何交易所上市。而有关信息的披露，可能导致重要数据、个人信息的泄露。今年3月份，美国证券交易委员会表示，通过了《外国公司问责法案》最终修正案。

“美国证券市场对于上市公司有很高的信息披露要求，包括必须根据美国公认会计原则编报其财务报表、必须根据美国证券法律规定，对公司重大信息及时披露等，这势必涉及一些该公司在中国境内的经营情况数据是否能够出境的问题。”李天航说。

随着网络安全法、数据安全法等法律的施行，我国网络和数据相关的法律法规体系正在不断完善

“我国在网络安全和数据治理方面的立法体系不断构建完善，为开展网络安全和数据治理工作提供了充分的立法保障。”中国信息通信研究院互联网法律研究中心研究员赵淑钰告诉记者。

2017年6月1日，《中华人民共和国网络安全法》施行，填补了我国综合性网络信息安全基本大法、核心的网络信息安全法和专门法律的三大空白。

此次几家互联网企业接受审查的依据之一，是2020年6月1日正式实施的《网络安全审查办法》。该办法为开展网络安全审查提供了重要的制度保障和法律依据。

中国人民大学重阳金融研究院副研究员刘典告诉记者，网络安全审查重点评估关键信息基础设施运营者采购网络产品和服务可能带来的国家安全风险，包括：产品和服务使用后带来的关键信息基础设施被非法控制、遭受干扰或破坏，以及重要数据被窃取、泄露、毁损的风险；产品和服务供应中断对关键信息基础设施业务连续性的危害；产品和服务的安全性、开放性、透明性、来源的多样性，供应渠道的可靠性以及因为政治、外交、贸易等因素导致供应中断的风险；产品和服务提供者遵守中国法律、行政法规、部门规章情况；其他可能危害关键信息基础设施安全和国家安全的因素。

“通常情况下，网络安全审查在45个工作日内完成，情况复杂的会延长15个工作日。进入特别审查程序的审查项目，可能还需要45个工作日或者更长。”刘典说。

2021年3月，《中华人民共和国个人信息保护法（草案）》提请全国人大常委会审议。目前，该草案已处于审议阶段，业界普遍认为，该法距离面世并生效实施已经为期不远。

2021年6月，《中华人民共和国数据安全法》全文公布，并将于9月1日起正式实施。“数据安全法明确了由中央国家安全领导机构‘统筹协调国家数据安全的重大事项和重要工作，建立国家数据安全工作协调机制’，这是亮点之一。”刘典告诉记者。

“网络安全法、数据安全法和个人信息保护法这三部法律出台后，中国互联网领域基础性的法律法规框架体系就已完成，其他法律、法规、部门规章、地方性法规等等，都会在这三部法律组成的体系之下，继续细化具体的内容，逐步覆盖互联网、个人信息和数据活动的方方面面。”李天航说。

国家在互联网领域和数据安全领域的主导，符合推动高质量发展的内在要求

近几年，大数据、云计算、物联网等技术和应用高速发展，互联网企业在为人们生活带来便利的同时，跨境数据流动、用户数据泄露等问题，也受到广泛关注。

在赵淑钰看来，随着互联网企业的迅速兴起、发展，其在提升用户黏性、扩展业务生态方面不断强化，巨量数据在互联网企业生成、汇聚、融合，在释放数据价值的同时也带来了巨大的数据安全风险。

“一方面，造成侵犯用户个人信息的风险，目前过度收集、滥用用户个人信息的情形依然多发高发；另一方面，也会对国家安全产生影响，随着数据分析技术的飞跃发展，互联网企业在运营过程中产生的巨量数据通过大数据分析能够反映出我国整体经济运行情况等涉及国家秘密的信息，对总体国家安全构成重大安全威胁。”赵淑钰说。

“近两年，一些互联网企业在用户个人信息泄露方面发生的问题屡见不鲜，原因之一是我国数据安全保护机制的建设还不是特别完善。”刘典表示，这与互联网行业的高速变化不无关系。“新业态不断推陈出新，监管对象在不停变化，规模不断扩大，给治理带来了一定的难度。”

互联网企业的数据安全问题也可能从不同方面影响国家安全。类似地图数据、位置数据等重要数据，同样需要保护。

“从国家层面来说，监管互联网企业的数据安全问题需要平衡一个内在矛盾，即大型科技公司跨境数据流动的业务需求和跨境数据流动带来的安全风险的矛盾。”刘典表示。

在刘典看来，当前国家在互联网领域和数据安全领域的主导，符合推动高质量发展的内在要求。“过去一些互联网企业在野蛮高速增长的状态下，主要从商业利益的角度出发进行数据的开发利用，对数据合规的投入相对较小。随着数据保护问题成为一个社会焦点，国家开始不断加强对于数据监管和数据安全合规的监管。虽然从短期来看，会对互联网企业的发展模式带来一定冲击，但这也是由高速发展转向高质量发展的必由之路。”刘典说。

在李天航看来，将来所有企业的所有经营行为，都必须受到国家安全法、网络安全法、数据安全法和个人信息保护法这四部法律为纲的立体法律框架体系的规范。他建议，企业要有前瞻性，调整自己的经营、运维和治理理念，甚至重塑自身业务模式。“这不但能够预防很多行政甚至刑事处罚风险，而且某种程度上来说，合规能够成为企业的最大竞争力。”

数据安全已被提升至国家安全的层面，充分体现我国维护数据主权和国家安全的决心

“6月10日，十三届全国人大常委会第二十九次会议表决通过数据安全法，将数据安全提升到了国家安全的层面，同时对重要数据出境安全管理也提出了相应要求。”李可顺表示。

数据安全法第三十一条明确了重要数据出境安全管理制度，“关键信息基础设施的运营者在中华人民共和国境内运营中收集和产生的重要数据的出境安全管理，适用《中华人民共和国网络安全法》的规定；其他数据处理者在中华人民共和国境内运营中收集和产生的重要数据的出境安全管理办法，由国家网信部门会同国务院有关部门制定。”

此外，数据安全法还严格规制面向境外司法或者执法机构的数据出境活动。该法第三十六条规定，“非经中华人民共和国主管机关批准，境内的组织、个人不得向外国司法或者执法机构提供存储于中华人民共和国境内的数据。”

“这一条款制定的背景是近年来数据管辖权冲突日益激烈的国际环境。”中伦律师事务所顾问贾申刊文指出，在这一背景下，数据安全法的规定再度明确了我国对境内数据的管辖权，充分体现了我国维护数据主权和国家安全的决心。

“值得一提的是，数据安全法还特别明确了未经主管机关批准向境外的司法或者执法机构提供数据的法律责任，包括对企业和直接负责的主管人员的罚款，以及责令企业暂停相关业务、停业整顿、吊销相关业务许可证或者吊销营业执照等。这一明确的法律责任形式，不仅意味着第三十六条的规定是企业应严格履行的一项数据合规义务，也使得企业在对抗境外执法或司法机构可能的数据调取要求时，拥有了可援引的有力的法律规则。”贾申表示。

没有网络安全就没有国家安全，就没有经济社会稳定运行，广大人民群众利益也难以得到保障。要树立正确的网络安全观，加强信息基础设施网络安全防护，加强网络安全信息统筹机制、手段、平台建设，加强网络安全事件应急指挥能力建设，积极发展网络安全产业，做到关口前移，防患于未然。要落实关键信息基础设施防护责任，行业、企业作为关键信息基础设施运营者承担主体防护责任，主管部门履行好监管责任。

“目前来看，围绕这家企业（滴滴）的跨境数据流动问题，数据出境当中涉及的国家网络安全审查问题，以及APP对于个体用户隐私信息的过度搜集问题，中国网信的治理实践迎来了一个跃迁的契机。”复旦大学国际关系学院教授沈逸在专栏中写道。

沈逸还表示，个人在关注企业的跨境数据流动问题时，应该避免“走极端”，“要么就是认为它应该绝对地遵循技术市场的内生需求，要求最小化的监管，要么将它视作洪水猛兽，对它进行过度监管”。

“对最后的政策出台，目前从实践来看，大家可以抱有充分的信心。保障人民的福祉，最大限度地为人民服务，是我国网信部门在推动相应监管落实过程当中已经确立起来的坚定不移的目标。我们应该对网信部门保持坚定的信心。”沈逸说。

编辑：刘冬责编：于浩相关文章

人工智能时代的国家安全：风险与治理 人工智能与国家安全论文怎么写