人工智能在军事应用中的风险和漏洞人工智能在军事上的应用有哪些

发表时间：2023-07-26 08:06:07

人工智能在军事应用中的风险和漏洞

编者按语

鉴于人工智能和机器学习在战略竞争中的作用，必须了解这些系统带来的风险以及它们创造战略优势的能力。通过探索投毒、逃避、逆向工程和推理四类对抗性方法，为了解这些系统中的漏洞提供了一个窗口。作者以目标识别问题作为基础示例，探讨如何攻击AI系统的学习和思维。文章得出两个重要结论：首先，在任何使用人工智能的过程中，人类都必须参与其中。其次，人工智能在大国竞争时代可能无法为美国提供战略优势，但必须继续投资并鼓励人工智能在道德上的使用。

前言

人工智能在日常生活中无处不在，战争也不例外。有报道称，2020年1月对伊朗顶级核科学家的暗杀是由一种自主的、人工智能增强的步枪执行的，该步枪每分钟可发射600发子弹。俄罗斯和中国正在迅速发展，并在某些情况下部署支持人工智能的非正规战争能力，而为我们的日常生活提供动力的人工智能系统开始出现同样的裂痕、偏见和不良后果，这只是时间问题。这种不良企图用于发动战争并旨在杀戮的人工智能系统中，也不是什么天方夜谭。

鉴于人工智能和机器学习在战略竞争中的作用，我们必须了解这些系统带来的风险以及它们创造战略优势的能力。通过探索对抗性方法，可以开始建立这样的认知。对四类对抗性方法的考察，为了解这些系统中的漏洞提供了一个窗口。在本文中，我们将以目标识别问题作为基础示例，探讨如何攻击AI系统的学习和思维。该分析得出两个重要结论：首先，在任何使用人工智能的过程中，人类都必须参与其中。其次，人工智能在大国竞争时代可能无法为美国提供战略优势，但我们必须继续投资并鼓励人工智能在道德上的使用。

对抗性方法

与其他军事系统一样，人工智能系统经历了多个不同的生命周期阶段——开发（数据收集和训练）、测试、操作和维护。在这当中的每一个阶段都存在必须识别的独特漏洞，我们对此进行了很多解释。我们将继续开发一个假设的人工智能目标识别系统，该系统正在学习识别敌方装甲车辆。在每个阶段，我们都将探索相关类别的对抗方法——投毒、逃避、逆向工程和推理——以及我们如何保护系统免受每种方法的侵害。

1.1投毒

任何人工智能系统开发的第一步都是问题识别和数据收集。随着我们识别敌方装甲车的挑战，必须明确当前的问题。想识别所有敌方装甲车，还是只识别特定对手的某种类型？这个问题定义指明需要收集和准备一组相关数据，在这种情况下，这些数据将包括大量感兴趣的敌方装甲车辆的图像。我们不仅必须积累所有感兴趣的车辆的图像，而且还需要各种条件下的图像——例如，不同的光线、不同的角度、有限的曝光和备用通道（例如，红外线、日光）。然后由数据分析师准备数据，用于人工智能系统的训练。然而，开发人工智能系统所需的大量数据会造成漏洞。数据量意味着分析师没有能力验证每张收集的图像是否为真实的敌方装甲车，或者图像代表了装甲车的全部类型。

这个阶段是对手可以通过一种称为投毒的技术攻击人工智能系统的第一个阶段。中毒的目的是改变AI系统在训练中使用的数据，从而使AI学习到的数据存在缺陷。此过程会在系统投入运行之前攻击系统的完整性。

制作恶意原始数据以得出有缺陷的分析结果的基本方法与传统的军事欺骗相同。水银行动是二战期间盟军入侵诺曼底之前的一项欺骗行动，旨在攻击德国的防御分析模型。为了完成这次攻击，盟军创建了一支由乔治·巴顿中将领导的幽灵军队（中毒数据），以诱导德国人对他们应该将防御重点放在哪里（模型输出）的分析（模型）。

如此大规模的欺骗操作，在当今互联互通的社会中可能更难实现，但对数据投毒是可行的。对手知道我们正在追求支持人工智能的目标识别。知道这样的人工智能系统需要其当前装甲车辆的训练图像，对手可以通过操纵其车辆的外观来毒化这些训练图像。这可能就像在他们怀疑可能受到监视的车辆上添加一个独特的符号（如红星）一样简单。然后，AI系统将根据这些故意操纵车辆的有毒图像进行训练，并“学习”所有敌方装甲车辆都有红星。

虽然这种中毒攻击会在竞争状态下发生，但当对手部署没有红星的装甲车以避免被发现时，这种影响就会在冲突中体现出来。此外，对手可以在民用车辆上涂上红星，以诱导我们的人工智能系统错误地将民用车辆识别为军用车辆。

可以通过多种方式确保我们的系统正确学习。详细的数据管理可以帮助减轻风险，但会消耗宝贵的时间和资源。相反，可扩展的解决方案包括数据治理策略，以提高用于AI系统的数据的完整性和代表性。在AI生命周期的所有阶段，适当放置技术控制和训练有素的人员将进一步降低中毒攻击的风险。

1.2逃避

第二种攻击类型，规避，依赖于类似的基本攻击原理，但在AI系统运行时部署它们。逃避攻击不是毒化AI正在学习的内容，而是针对AI学习的应用方式。这听起来可能微不足道。但是，它对攻击者成功所需的资源以及防御者需要采取的行动具有重大影响。在中毒攻击中，攻击者需要控制或操纵用于训练模型的数据的能力。在规避攻击中，攻击者至少需要能够在操作期间控制AI系统的输入。

规避攻击非常适合计算机视觉应用，例如面部识别、对象检测和目标识别。一种常见的规避技术涉及稍微修改某些图像像素的颜色，以攻击AI系统如何应用它所学到的知识。在人眼看来，似乎什么都没有改变；然而，人工智能现在可能会对图像进行错误分类。研究人员展示了这种技术的效果，先前正确识别熊猫图像的人工智能系统，在面对整个图像中添加了人眼无法察觉的颜色（显示看起来是仍然是相同的图像）时，它被操纵了。人工智能不仅将熊猫误认为是长臂猿，而且非常自信。

对于那些可以访问AI系统输出或预测结果的攻击者，可以开发出更强大（所有熊猫图像都被错误识别）或有针对性（所有熊猫都被视为另一种特定动物）的逃避方法。

规避攻击原理也可以在物理世界中使用——例如，戴上特制的太阳镜来模糊或改变你在面部识别摄像头上的图像。这与伪装背后的原理相同。在这种情况下，对手的目标是模型的感知而不是人类的感知。在军事环境中，如果对手知道我们的AI瞄准系统是在带有沙漠伪装的坦克上训练的，那么对手的坦克可以简单地重新涂上林地伪装，以故意逃避A系统的检测。人工智能增强型自主侦察系统现在可能无法有效识别目标，也无法为指挥官提供及时准确的情报。

规避攻击是研究最广泛的对抗方法之一，因此防御所有可能的攻击媒介将被证明具有挑战性。然而，强化人工智能系统的步骤可以增加对它们按预期运行的整体信心。其中一个步骤是在部署之前应用工具进行评估。这些工具针对各种已知的对抗性方法测试AI系统，为我们提供对其稳健性的定量测量。在动作过程中尽可能保持人员参与也可以减轻规避攻击。

1.3逆向工程

前两类攻击在开发和运行期间针对AI系统具有相似的基本原理。这些攻击也与欺骗和伪装等传统军事概念有着天然的相似之处。然而，人工智能系统面临的风险并不那么简单，在开发和运营之外还存在潜在的漏洞。人工智能系统在维护或存储时存在哪些漏洞？如果对手通过网络入侵或在战场上捕获下一代支持人工智能的无人机获得对人工智能系统的访问权，会有哪些风险？

第三种情形，称为逆向工程的攻击中，攻击者攻击AI系统的目的是提取AI系统所学的内容，并最终使模型得以重建。要进行逆向工程攻击，对手需要能够将输入发送到模型并观察输出。这种攻击绕过了模型本身的任何加密或混淆。对于我们假设的目标识别AI，这种攻击可以由对手发出不同类型的车辆（输入）并观察哪些车辆引起AI的响应（输出）来进行。虽然这种攻击需要时间并冒着资源损失的风险，但最终对手将能够了解目标识别模型能够识别出哪些威胁。

有了这些信息，对手就可以开发出自己的人工智能系统版本。除了使其他对抗性攻击更容易开发之外，直接了解AI如何做出决策，会使对手能够预测我们的反应或完全避免反应措施。这种对人工智能增强决策过程的洞察力将对整个冲突过程中的运营安全构成重大威胁。

保护AI系统免受逆向工程可能会很困难，尤其是因为任务要求可能要求系统允许许多查询或加权输出，而不是简单的二元决策。这凸显了需要一系列量身定制的政策来管理与对抗性方法相关的风险。这些可能包括对支持人工智能的系统的严格问责，特别是那些部署在边缘的系统，如无人机或智能护目镜。此外，可以通过只允许授权用户查看系统输出来施加访问限制。

1.4推理攻击

最后一类攻击，称为推理攻击，与逆向工程有关。对手不是试图恢复AI系统学到的东西，而是试图提取AI系统在其学习过程中使用的数据。这是一个微妙但有意义的区别，对在敏感或分类数据上训练的模型具有重要意义。

为了进行推理攻击，与逆向工程一样，对手需要能够将输入发送到模型并观察输出。通过一组输入和输出，对手可以训练一个对抗性AI，该AI预测是否使用给定的数据点来训练我们的友好模型。

想象一下，目标识别AI是根据对手新武器系统的机密图像进行训练的。使用推理攻击，对手可以得知该武器系统的机密性已被泄露。换句话说，对人工智能系统的推理攻击可能会促进机密情报的泄露。如果在对峙期间这样做，可能会对危机和冲突产生重大影响。

与逆向工程非常相似，管理与推理攻击相关的风险将主要通过策略决策来处理。除了访问策略决策之外，在AI系统的训练中何时使用敏感或机密数据、使用什么类型的数据以及使用什么数量等问题，都将面临艰难的决策。这些决策需要平衡性能与风险，以开发仍能满足任务要求的人工智能系统。

对大国竞争的启示

当然，这显然不是对所有对抗方法的详尽解释。然而，这个框架应该提供一个充分的概述，领导者可以借此探索将人工智能系统整合到军事应用中，会有哪些积极和消极的全部影响。美国和其对手都在追求这项技术，以在未来的战略竞争中获得不对称优势，双方都无法赢得这样的优势。

2.1数据不对称

当考虑技术和不对称优势时，从第一原则开始并考虑对“原材料”的相对获取是有用的。在人工智能系统中，原材料是数据——大量的数据。美国是否可以获得与我们的对手相同质量和数量的数据？考虑到美国国家安全中围绕隐私和数据安全的法律因素和社会规范——它们本身就是关键话题——答案显然不是“是”。这表明美国在人工智能系统的开发和部署方面将处于固有劣势。

2.2开发能力

训练有素的人员是人工智能系统的另一个关键资源。正如陆军已确定其“以人为本”战略，拥有合适的人员对于美国在战略竞争中的成功至关重要。美国在工业、学术界和军队方面都有人才。能否招募、留住这些人员，并将其用于解决棘手的国家安全问题，这是一个值得深思的悬而未决的问题。在短期内，应该识别已经在军队中的有才华的人，并且应该同步各个组织在人工智能方面的不同进展和成果。

2.3人工智能只是一种工具

人工智能是一种工具。像任何其他工具一样，它具有固有的优势和劣势。通过对这些优势和劣势进行深思熟虑和现实的评估，美国可以在人工智能的风险和回报之间找到最佳平衡。虽然人工智能可能无法提供美国在战略竞争中寻求的最大不对称优势，但我们也不能将技术让给在该领域大量投资的对手.相反，美国可以而且应该支持人工智能的道德使用，促进对强大人工智能的研究，并为人工智能系统开发防御性最佳实践。在了解人工智能系统的脆弱性和局限性的基础上实施这些行动和其他行动，将引导美国更有效地将人工智能纳入大国竞争时代的战略。

作者简介

NickStarck上尉是美国陆军网络军官，目前在陆军网络研究所担任研究科学家。他的研究重点是信息战和数据隐私。

DavidBierbrauer上尉是美国陆军的一名信号官。他于2021年获得约翰霍普金斯大学应用数学和统计学工程学硕士学位。目前是陆军网络研究所的数据工程师和数据科学家。

PaulMaxwell博士于1992年被任命为装甲军官，并担任过XO/S-3营、S-4旅、连长、侦察排长、XO连和机械化步兵排长。在美国军事学院，先后担任电气工程与计算机科学系讲师、助理教授、副教授。他目前的职位是西点军校陆军网络研究所的副主任。

参考资源

1、https://mwi.usma.edu/artificial-intelligence-real-risks-understanding-and-mitigating-vulnerabilities-in-the-military-use-of-ai/

声明：本文来自网空闲话，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系anquanneican@163.com。

人工智能的十大应用

导读：人工智能已经逐渐走进我们的生活，并应用于各个领域，它不仅给许多行业带来了巨大的经济效益，也为我们的生活带来了许多改变和便利。下面，我们将分别介绍人工智能的一些主要应用场景。

作者：王健宗何安珣李泽远

来源：大数据DT（ID：hzdashuju）

01 无人驾驶汽车

无人驾驶汽车是智能汽车的一种，也称为轮式移动机器人，主要依靠车内以计算机系统为主的智能驾驶控制器来实现无人驾驶。无人驾驶中涉及的技术包含多个方面，例如计算机视觉、自动控制技术等。

美国、英国、德国等发达国家从20世纪70年代开始就投入到无人驾驶汽车的研究中，中国从20世纪80年代起也开始了无人驾驶汽车的研究。

2005年，一辆名为Stanley的无人驾驶汽车以平均40km/h的速度跑完了美国莫哈维沙漠中的野外地形赛道，用时6小时53分58秒，完成了约282千米的驾驶里程。

Stanley是由一辆大众途锐汽车经过改装而来的，由大众汽车技术研究部、大众汽车集团下属的电子研究工作实验室及斯坦福大学一起合作完成，其外部装有摄像头、雷达、激光测距仪等装置来感应周边环境，内部装有自动驾驶控制系统来完成指挥、导航、制动和加速等操作。

2006年，卡内基梅隆大学又研发了无人驾驶汽车Boss，Boss能够按照交通规则安全地驾驶通过附近有空军基地的街道，并且会避让其他车辆和行人。

近年来，伴随着人工智能浪潮的兴起，无人驾驶成为人们热议的话题，国内外许多公司都纷纷投入到自动驾驶和无人驾驶的研究中。例如，Google的GoogleX实验室正在积极研发无人驾驶汽车GoogleDriverlessCar，百度也已启动了“百度无人驾驶汽车”研发计划，其自主研发的无人驾驶汽车Apollo还曾亮相2018年央视春晚。

但是最近两年，发现无人驾驶的复杂程度远超几年前所预期的，要真正实现商业化还有很长的路要走。

02 人脸识别

人脸识别也称人像识别、面部识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术。人脸识别涉及的技术主要包括计算机视觉、图像处理等。

人脸识别系统的研究始于20世纪60年代，之后，随着计算机技术和光学成像技术的发展，人脸识别技术水平在20世纪80年代得到不断提高。在20世纪90年代后期，人脸识别技术进入初级应用阶段。目前，人脸识别技术已广泛应用于多个领域，如金融、司法、公安、边检、航天、电力、教育、医疗等。

有一个关于人脸识别技术应用的有趣案例：张学友获封“逃犯克星”，因为警方利用人脸识别技术在其演唱会上多次抓到了在逃人员。

2018年4月7日，张学友南昌演唱会开始后，看台上一名粉丝便被警方带离现场。实际上，他是一名逃犯，安保人员通过人像识别系统锁定了在看台上的他；

2018年5月20日，张学友嘉兴演唱会上，犯罪嫌疑人于某在通过安检门时被人脸识别系统识别出是逃犯，随后被警方抓获。随着人脸识别技术的进一步成熟和社会认同度的提高，其将应用在更多领域，给人们的生活带来更多改变。

03机器翻译

机器翻译是计算语言学的一个分支，是利用计算机将一种自然语言转换为另一种自然语言的过程。机器翻译用到的技术主要是神经机器翻译技术（NeuralMachineTranslation，NMT），该技术当前在很多语言上的表现已经超过人类。

随着经济全球化进程的加快及互联网的迅速发展，机器翻译技术在促进政治、经济、文化交流等方面的价值凸显，也给人们的生活带来了许多便利。例如我们在阅读英文文献时，可以方便地通过有道翻译、Google翻译等网站将英文转换为中文，免去了查字典的麻烦，提高了学习和工作的效率。

04声纹识别

生物特征识别技术包括很多种，除了人脸识别，目前用得比较多的有声纹识别。声纹识别是一种生物鉴权技术，也称为说话人识别，包括说话人辨认和说话人确认。

声纹识别的工作过程为，系统采集说话人的声纹信息并将其录入数据库，当说话人再次说话时，系统会采集这段声纹信息并自动与数据库中已有的声纹信息做对比，从而识别出说话人的身份。

相比于传统的身份识别方法（如钥匙、证件），声纹识别具有抗遗忘、可远程的鉴权特点，在现有算法优化和随机密码的技术手段下，声纹也能有效防录音、防合成，因此安全性高、响应迅速且识别精准。

同时，相较于人脸识别、虹膜识别等生物特征识别技术，声纹识别技术具有可通过电话信道、网络信道等方式采集用户的声纹特征的特点，因此其在远程身份确认上极具优势。

目前，声纹识别技术有声纹核身、声纹锁和黑名单声纹库等多项应用案例，可广泛应用于金融、安防、智能家居等领域，落地场景丰富。

05智能客服机器人

智能客服机器人是一种利用机器模拟人类行为的人工智能实体形态，它能够实现语音识别和自然语义理解，具有业务推理、话术应答等能力。

当用户访问网站并发出会话时，智能客服机器人会根据系统获取的访客地址、IP和访问路径等，快速分析用户意图，回复用户的真实需求。同时，智能客服机器人拥有海量的行业背景知识库，能对用户咨询的常规问题进行标准回复，提高应答准确率。

智能客服机器人广泛应用于商业服务与营销场景，为客户解决问题、提供决策依据。同时，智能客服机器人在应答过程中，可以结合丰富的对话语料进行自适应训练，因此，其在应答话术上将变得越来越精确。

随着智能客服机器人的垂直发展，它已经可以深入解决很多企业的细分场景下的问题。比如电商企业面临的售前咨询问题，对大多数电商企业来说，用户所咨询的售前问题普遍围绕价格、优惠、货品来源渠道等主题，传统的人工客服每天都会对这几类重复性的问题进行回答，导致无法及时为存在更多复杂问题的客户群体提供服务。

而智能客服机器人可以针对用户的各类简单、重复性高的问题进行解答，还能为用户提供全天候的咨询应答、解决问题的服务，它的广泛应用也大大降低了企业的人工客服成本。

06智能外呼机器人

智能外呼机器人是人工智能在语音识别方面的典型应用，它能够自动发起电话外呼，以语音合成的自然人声形式，主动向用户群体介绍产品。

在外呼期间，它可以利用语音识别和自然语言处理技术获取客户意图，而后采用针对性话术与用户进行多轮交互会话，最后对用户进行目标分类，并自动记录每通电话的关键点，以成功完成外呼工作。

从2018年年初开始，智能外呼机器人呈现出喷井式兴起状态，它能够在互动过程中不带有情绪波动，并且自动完成应答、分类、记录和追踪，助力企业完成一些烦琐、重复和耗时的操作，从而解放人工，减少大量的人力成本和重复劳动力，让员工着力于目标客群，进而创造更高的商业价值。当然智能外呼机器人也带来了另一面，即会对用户造成频繁的打扰。

基于维护用户的合法权益，促进语音呼叫服务端健康发展，2020年8月31日国家工信部下发了《通信短信息和语音呼叫服务管理规定（征求意见稿）》，意味着未来的外呼服务，无论人工还是人工智能，都需要持证上岗，而且还要在监管的监视下进行，这也对智能外呼机器人的用户体验和服务质量提出了更高的要求。

07智能音箱

智能音箱是语音识别、自然语言处理等人工智能技术的电子产品类应用与载体，随着智能音箱的迅猛发展，其也被视为智能家居的未来入口。究其本质，智能音箱就是能完成对话环节的拥有语音交互能力的机器。通过与它直接对话，家庭消费者能够完成自助点歌、控制家居设备和唤起生活服务等操作。

支撑智能音箱交互功能的前置基础主要包括将人声转换成文本的自动语音识别（AutomaticSpeechRecognition，ASR）技术，对文字进行词性、句法、语义等分析的自然语言处理（NaturalLanguageProcessing，NLP）技术，以及将文字转换成自然语音流的语音合成技术（TextToSpeech，TTS）技术。

在人工智能技术的加持下，智能音箱也逐渐以更自然的语音交互方式创造出更多家庭场景下的应用。

08个性化推荐

个性化推荐是一种基于聚类与协同过滤技术的人工智能应用，它建立在海量数据挖掘的基础上，通过分析用户的历史行为建立推荐模型，主动给用户提供匹配他们的需求与兴趣的信息，如商品推荐、新闻推荐等。

个性化推荐既可以为用户快速定位需求产品，弱化用户被动消费意识，提升用户兴致和留存黏性，又可以帮助商家快速引流，找准用户群体与定位，做好产品营销。

个性化推荐系统广泛存在于各类网站和App中，本质上，它会根据用户的浏览信息、用户基本信息和对物品或内容的偏好程度等多因素进行考量，依托推荐引擎算法进行指标分类，将与用户目标因素一致的信息内容进行聚类，经过协同过滤算法，实现精确的个性化推荐。

09医学图像处理

医学图像处理是目前人工智能在医疗领域的典型应用，它的处理对象是由各种不同成像机理，如在临床医学中广泛使用的核磁共振成像、超声成像等生成的医学影像。

传统的医学影像诊断，主要通过观察二维切片图去发现病变体，这往往需要依靠医生的经验来判断。而利用计算机图像处理技术，可以对医学影像进行图像分割、特征提取、定量分析和对比分析等工作，进而完成病灶识别与标注，针对肿瘤放疗环节的影像的靶区自动勾画，以及手术环节的三维影像重建。

该应用可以辅助医生对病变体及其他目标区域进行定性甚至定量分析，从而大大提高医疗诊断的准确性和可靠性。另外，医学图像处理在医疗教学、手术规划、手术仿真、各类医学研究、医学二维影像重建中也起到重要的辅助作用。

10 图像搜索

图像搜索是近几年用户需求日益旺盛的信息检索类应用，分为基于文本的和基于内容的两类搜索方式。传统的图像搜索只识别图像本身的颜色、纹理等要素，基于深度学习的图像搜索还会计入人脸、姿态、地理位置和字符等语义特征，针对海量数据进行多维度的分析与匹配。

该技术的应用与发展，不仅是为了满足当下用户利用图像匹配搜索以顺利查找到相同或相似目标物的需求，更是为了通过分析用户的需求与行为，如搜索同款、相似物比对等，确保企业的产品迭代和服务升级在后续工作中更加聚焦。

关于作者：王健宗，博士，某大型金融集团科技公司资深人工智能总监、高级工程师，中国计算机学会大数据专家委员会委员、高级会员，美国佛罗里达大学人工智能博士后，曾任美国莱斯大学电子与计算机工程系研究员、美国惠普公司高级云计算解决方案专家。

何安珣，某大型金融集团科技公司高级算法工程师，中国计算机学会会员，中国计算机学会青年计算机科技论坛（YOCSEF深圳）委员。拥有丰富的金融智能从业经验，主要研究金融智能系统框架搭建、算法研究和模型融合技术等，致力于推动金融智能的落地应用与价值创造。

李泽远，某大型金融集团科技公司高级人工智能产品经理，中国计算机学会会员，长期致力于金融智能的产品化工作，负责技术服务类的产品生态搭建与实施推进。

本文摘编自《金融智能：AI如何为银行、保险、证券业赋能》，经出版方授权发布。

人工智能在军事应用中的风险和漏洞 人工智能在军事上的应用有哪些