人工智能应用中的安全、隐私和伦理挑战及应对思考人工智能面临的安全风险有哪些方面的问题

发表时间：2023-06-24 07:35:22

人工智能应用中的安全、隐私和伦理挑战及应对思考

隐私保护挑战

大数据驱动模式主导了近年来人工智能的发展，成为新一轮人工智能发展的重要特征。隐私问题是数据资源开发利用中的主要威胁之一，因此，在人工智能应用中必然也存在隐私侵犯风险。

数据采集中的隐私侵犯

随着各类数据采集设施的广泛使用，智能系统不仅能通过指纹、心跳等生理特征来辨别身份，还能根据不同人的行为喜好自动调节灯光、室内温度、播放音乐，甚至能通过睡眠时间、锻炼情况、饮食习惯以及体征变化等来判断身体是否健康。然而，这些智能技术的使用就意味着智能系统掌握了个人的大量信息，甚至比自己更了解自己。这些数据如果使用得当，可以提升人类的生活质量，但如果出于商业目的非法使用某些私人信息，就会造成隐私侵犯。

云计算中的隐私风险

因为云计算技术使用便捷、成本低廉，提供了基于共享池实现按需式资源使用的模式，许多公司和政府组织开始将数据存储至云上。将隐私信息存储至云端后，这些信息就容易遭到各种威胁和攻击。由于人工智能系统普遍对计算能力要求较高，目前在许多人工智能应用中，云计算已经被配置为主要架构，因此在开发该类智能应用时，云端隐私保护也是人们需要考虑的问题。

知识抽取中的隐私问题

由数据到知识的抽取是人工智能的重要能力，知识抽取工具正在变得越来越强大，无数个看似不相关的数据片段可能被整合在一起，识别出个人行为特征甚至性格特征。例如，只要将网站浏览记录、聊天内容、购物过程和其他各类别记录数据组合在一起，就可以勾勒出某人的行为轨迹，并可分析出个人偏好和行为习惯，从而进一步预测出消费者的潜在需求，商家可提前为消费者提供必要的信息、产品或服务。但是，这些个性化定制过程又伴随着对个人隐私的发现和曝光，如何规范隐私保护是需要与技术应用同步考虑的一个问题。

伦理规范挑战

伦理问题是人工智能技术可能带给人们的最为特殊的问题。人工智能的伦理问题范围很广，其中以下几个方面值得关注。

机器人的行为规则

人工智能正在替代人的很多决策行为，智能机器人在作出决策时，同样需要遵从人类社会的各项规则。比如，假设无人驾驶汽车前方人行道上出现3个行人而无法及时刹车，智能系统是应该选择撞向这3个行人，还是转而撞向路边的1个行人？人工智能技术的应用，正在将一些生活中的伦理性问题在系统中规则化。如果在系统的研发设计中未与社会伦理约束相结合，就有可能在决策中遵循与人类不同的逻辑，从而导致严重后果。

机器人的权力

目前在司法、医疗、指挥等重要领域，研究人员已经开始探索人工智能在审判分析、疾病诊断和对抗博弈方面的决策能力。但是，在对机器授予决策权后，人们要考虑的不仅是人工智能的安全风险，而且还要面临一个新的伦理问题，即机器是否有资格这样做。随着智能系统对特定领域的知识掌握，它的决策分析能力开始超越人类，人们可能会在越来越多的领域对机器决策形成依赖，这一类伦理问题也需要在人工智能进一步向前发展的过程中梳理清楚。

机器人的教育

有伦理学家认为，未来机器人不仅有感知、认知和决策能力，人工智能在不同环境中学习和演化，还会形成不同的个性。据新华网报道，国外研发的某聊天机器人在网上开始聊天后不到24个小时，竟然学会了说脏话和发表种族主义的言论，这引发了人们对机器人教育问题的思考。尽管人工智能未来未必会产生自主意识，但可能发展出不同的个性特点，而这是受其使用者影响的。机器人使用者需要承担类似监护人一样的道德责任甚至法律责任，以免对社会文明产生不良影响。

启示与建议

人类社会即将进入人机共存的时代，为确保机器人和人工智能系统运行受控，且与人类能和谐共处，在设计、研发、生产和使用过程中，需要采取一系列的应对措施，妥善应对人工智能的安全、隐私、伦理问题和其他风险。

加强理论攻关，研发透明性和可解释性更高的智能计算模型

在并行计算和海量数据的共同支撑下，以深度学习为代表的智能计算模型表现出了很强的能力。但当前的机器学习模型仍属于一种黑箱工作模式，对于AI系统运行中发生的异常情况，人们还很难对其中的原因作出解释，开发者也难以准确预测和把握智能系统运行的行为边界。未来人们需要研发更为透明、可解释性更高的智能计算模型，开发可解释、可理解、可预测的智能系统，降低系统行为的不可预知性和不确定性，这应成为人工智能基础理论研究的关注重点之一。

开展立法研究，建立适应智能化时代的法律法规体系

欧盟、日本等人工智能技术起步较早的地区和国家，已经意识到机器人和人工智能进入生活将给人类社会带来的安全与伦理问题，并已着手开展立法探索，如2016年5月，欧盟法律事务委员会发布《就机器人民事法律规则向欧盟委员会提出立法建议》的报告草案，探讨如何从立法角度避免机器人对人类的伤害。有效应对未来风险挑战需强化立法研究，明确重点领域人工智能应用中的法律主体以及相关权利、义务和责任，建立和完善适应智能时代的法律法规体系。

制定伦理准则，完善人工智能技术研发规范

当人工智能系统决策与采取行动时，人们希望其行为能够符合人类社会的各项道德和伦理规则，而这些规则应在系统设计和开发阶段，就需被考虑到并被嵌入人工智能系统。因此，需要建立起人工智能技术研发的伦理准则，指导机器人设计研究者和制造商如何对一个机器人做出道德风险评估，并形成完善的人工智能技术研发规范，以确保人工智能系统的行为符合社会伦理道德标准。

提高安全标准，推行人工智能产品安全认证

可靠的人工智能系统应具有强健的安全性能，能够适应不同的工况条件，并能有效应对各类蓄意攻击，避免因异常操作和恶意而导致安全事故。这一方面需要提高人工智能产品研发的安全标准，从技术上增强智能系统的安全性和强健性，比如完善芯片设计的安全标准等；另一方面要推行智能系统安全认证，对人工智能技术和产品进行严格测试，增强社会公众信任，保障人工智能产业健康发展。

建立监管体系，强化人工智能技术和产品的监督

由于智能系统在使用过程中会不断进行自行学习和探索，很多潜在风险难以在研发阶段或认证环节完全排除，因此加强监管对于应对人工智能的安全、隐私和伦理等问题至关重要。建议在国家层面建立一套公开透明的人工智能监管体系，实现对人工智能算法设计、产品开发、数据采集和产品应用的全流程监管，加强对违规行为的惩戒，督促人工智能行业和企业自律。

推动全球治理，共同应对风险挑战

人工智能的快速发展是全球各国共同面临的问题，应明确科学家共同体、政府与国际组织各自的职责，引导各国积极参与人工智能全球治理。加强机器人伦理和安全风险等人工智能国际共性问题研究，深化人工智能法律法规、行业监管等方面的交流合作，推进人工智能技术标准和安全标准的国际统一，使人工智能科技成就更好地服务于人类社会。

致谢：本研究受科技部改革发展专项“中国人工智能2.0规划编制”（2016GH010036）、科技部科技创新战略研究专项“重大科技项目和科技工程形成机制研究”（ZLY2015133）资助。

（责任编辑王丽娜）

作者简介：李修全，中国科学技术发展战略研究院，副研究员。

注：本文发表在2017年第15期《科技导报》，欢迎关注。本文部分图片来自互联网，版权事宜未及落实，欢迎图片作者与我们联系稿酬事宜。

返回搜狐，查看更多

人工智能在网络安全中的 4 大优势和挑战

在本文中，我们将讨论网络安全中的机器学习和人工智能。我们将研究人工智能的好处和挑战、它们在网络安全中的作用以及犯罪分子如何滥用这项技术。

几年来，网络攻击的频率和规模一直在上升。自臭名昭著的大流行开始以来，我们看到了急剧的增长。随着数据安全比以往任何时候都更加危险，越来越多的公司转向人工智能，希望从黑客、网络钓鱼者和其他网络犯罪分子那里获得更强大的数字保护也就不足为奇了。

人工智能不仅仅是增强网络安全的能力，在此处需了解有关AI的一些有趣事实。但首先，人工智能的主要好处是什么？

一、人工智能的应用

顾名思义，人工智能是由机器而非生物展示的智能。

机器学习是人工智能的一个子类别，可识别模式并将其应用于解决问题。目前，AI和ML都在多个领域成功实施，包括：

银行和金融

卫生保健

房地产

零售和电子商务

物流运输

监视

制造业

娱乐和游戏

教育

数字营销

软件开发

最后，人工智能和机器学习在网络安全中不可或缺。

二、人工智能在网络安全中的作用

人工智能可以更准确地预测和抵御网络攻击，因为它可以快速处理大量数据。

人工智能使现代企业能够用更有效的解决方案取代传统工具，从而提高生产力。因此，据报道人工智能在安全意识培训中非常有效。

考虑到特定网络安全需求而开发的AI解决方案可以部署更具创造性和节省时间的技术，从而加快入职、在职培训和指导过程。

AI驱动的导师可能会成功地扮演导师的角色，自动将一些任务分配给初级网络安全专家并密切关注他们的进展。

因此，人工智能解决方案将有经验的从业者从监督和指导职责中解放出来，并允许专注于其他更复杂或更重要的任务。

机器学习可以非常有效地对抗恶意软件。它可以扫描大量现有恶意软件的数据库，并在出现新的、修改过的版本时阻止攻击。

AI也擅长网络监控。机器学习可以决定用户行为，当发生意外情况时，将其标记为潜在威胁。

您可能知道，人工智能在打击网络恐怖主义方面也显示出很大的潜力。如今，政府、公司和大公司将希望寄托在人工智能上。

人工智能技术被认为有助于改善国土安全和各州保护公民隐私权的能力。更重要的是，人工智能使专门机构能够分析广泛人群的活动并更迅速地识别潜在危害。

人工智能和机器学习的最新发展扩大了进行网络监控的能力，而无需花费大量资源。AI技术现在被广泛用于通过IP网络进行在线监控、接收、传输和处理数据。

好消息是，人工智能可以在不侵犯隐私和数据保护人权的情况下进行监控。

AI允许加密视频数据并防止数据滥用。

人工智能在生物识别身份验证中也发挥着重要作用，这有助于消除对密码的需求。这可能是个好消息，因为惊人的80%的数据泄露与弱密码和不可靠密码有关。

最重要的是，人工智能驱动的解决方案可以在威胁出现时立即发现和解决它们。因此，人工智能使网络安全专家能够积极主动并采用可用的最佳方法来消除威胁。

此外，当需要更快地处理关键漏洞时，人工智能技术可以派上用场。在检测应用程序、数据库等中的弱点时，人工智能的效率提高了40%。

而且它们不仅仅是一些可能偶尔会破坏用户体验并妨碍安装新功能更新的普通错误。我们谈论的是黑客可能用来访问用户私人信息的可利用漏洞。

尽管如此，通过机器学习，教系统如何有效地发现危险、逐行筛选恶意代码并提出可以及时修补系统的可行解决方案变得更加容易。

三、人工智能的主要挑战

尽管AI为网络安全行业带来了所有无可争议的好处，但它绝不应被视为灵丹妙药。人工智能不一定是终结网络攻击的全能解决方案。事实上，它也带来了挑战。

首先，重要的是要记住人工智能技术并非无敌。如果黑客设法访问它们，则可以操纵Ai执行的某些任务。例如，一个支持AI的程序可能会被欺骗，将恶意软件或危险的用户行为标记为安全或正常，或者相反。

在用户中非常流行的生物特征认证也可能被证明是危险的。落入坏人之手的生物识别信息可用于监视或其他侵犯用户隐私的行为。

与密码不同的是，您无法对生物识别数据进行任何更改。这给用户带来了另一个问题。人工智能技术使我们能够收集和处理比以往更多的数据。因此，它可能会导致数字隐私和安全性进一步恶化。

AI带来的另一个挑战是它的实际实施成本。由于大量人工智能仍处于其发展的初级阶段并且处于试验阶段，因此与它相关的成本对于许多企业来说可能太高了。

如果犯罪分子利用人工智能解决方案的力量会怎样？这将使黑客能够非常快速地进行更大、更复杂的攻击。与网络监控和学习用户行为模式一样，犯罪分子也可以应用机器学习来确定某些网络攻击为何以失败告终，并设计出更强大、更有效的攻击模型。

AI还可用于创建类似于受信任软件的恶意软件。它可用于了解有关目标网络模式的更多信息，并在不被检测到的情况下执行危险攻击。

黑客还可以使用人工智能通过深度学习进行更强大的攻击。当研究人员向AI提供数百万泄露的密码并委托它生成新密码时，该程序的成功率达到了惊人的24%。

四、改进安全措施的方法

那些旨在增强其基于人工智能的网络安全系统的公司应该投入足够的时间和精力来配置强大的网络安全政策。建立高效的网络拓扑以更有效地管理所有用户的网络也很重要。

这也将帮助网络安全专家更快地定位和解决问题。人工智能本身可用于设计有效的网络安全策略、政策和记录网络流量模式。

最后，为了充分利用AI驱动的系统和解决方案，公司应特别注意只雇用信誉良好且经验丰富的软件开发人员。有大量公司和个人开发商声称在开发人工智能网络安全解决方案方面具有高素质和经验，这使得选择合适的服务变得更加困难。

除非您拥有一支成熟的专业团队，否则请务必仔细研究所有可用选项，切勿让您的网络安全程序开发靠运气。

最后但并非最不重要的是，那些使用人工智能和机器学习技术的公司和机构应该注意不断改进和更新他们现有的解决方案。

与任何技术一样，人工智能驱动的解决方案往往比您想象的更快过时。因此，及时了解网络安全领域发生的任何变化并及时实施修复和更新至关重要。

那么，人工智能会接管网络安全吗？未来几年，它肯定会在数字安全行业中发挥更突出的作用。到2026年，人工智能市场有望达到350亿美元以上。而且由于它既强大又充满希望，人工智能正在成为网络安全行业不可或缺的一部分。

人工智能为网络安全部门提供了在尽可能短的时间内自动检测威胁和数据泄露、预测和抵御恶意攻击所需的工具。人工智能和机器学习的发展也有助于为初学者网络安全专家提供及时和更有效的培训，并使资深从业者能够专注于更重要的任务。

虽然相对年轻，但人工智能在增强网络安全方面已经走了很长一段路。在这项有前途的技术最终能够充分发挥其潜力之前，还有更多的挑战需要克服并达到新的高度。

系列回顾

⊙秦安：阿富汗陷入内战危机，美国罪不可赦，需警惕其针对中国的网络战争

⊙牟林：中国如何突破西方媒体的封锁？三个路径和三个根本值得重视

⊙牟林：中国支持去殖民化，既要解气，更要有实效，共同迎来新世界

——END——

人工智能给军事安全带来的机遇与挑战

1.2提升军事情报分析效率

随着信息技术的发展，人类正在迎来一个“数据爆炸”的时代。目前地球上两年所产生的数据比之前积累的所有数据都要多。瀚如烟海的数据给情报人员带来了极大的困难和挑战，仅凭增加人力不仅耗费大量钱财，问题也得不到根本解决。与此同时，伴随大数据技术和并行计算的发展，人工智能在情报领域日益展现出非凡能力。目前，美军已经敏锐地捕捉到了人工智能在军事情报领域的巨大应用潜力，成立了“算法战跨职能小组”。该小组的首要职能就是利用机器视觉、深度学习等人工智能技术在情报领域开展目标识别和数据分析，提取有效情报，将海量的数据转换为有价值的情报信息，为打击ISIS等恐怖组织提供有力的技术支撑。机器算法的快速、准确、无疲劳等特点使其在大数据分析领域大展身手，展现出远超人类的能力。因此，美国防部联合人工智能中心主任沙纳汉中将就直言不讳地表示，算法就是“世界上最优秀、训练最有素的数据分析师”。

1.3提升军事网络攻防能力

网络空间已经成为继陆、海、空、天之外的“第五维空间”，是国家利益拓展的新边疆、战略博弈的新领域、军事斗争的新战场。习近平主席在中央网络安全和信息化领导小组第一次会议上指出，“没有网络安全就没有国家安全”。网络攻防是军事安全领域中的重要一环，基于人工智能技术的自动漏洞挖掘可以显著提升军事系统的网络防御能力。目前，网络防御领域存在两大问题：一是网络技术人才短缺；二是当前的网络防御系统面对未知漏洞表现不佳。人工智能的新发展为提升网络防御水平提供了新途径，主要体现在网络系统漏洞自动化检测和自主监视系统等方面。以深度学习为代表的机器学习技术有望使得网络防御系统不仅能从以往的漏洞中学习，而且能在监视数据中不断提升对未知威胁的应对能力。有研究表明，人工智能可以从大量网络数据中筛选出可疑信息，以此增强网络防御能力。比如“蒸馏网络”公司（DistilNetworks）就利用机器学习算法来防御人类难以察觉的高级持续性威胁（APT）网络攻击。目前，美国亚利桑那州立大学的科学家已经研发出了一种能够识别“零日漏洞”的机器学习算法，并能够追踪其在黑客界的流动轨迹。麻省理工学院（MIT）“计算机科学和人工智能”实验室的研究人员也启动了PatternEx研究项目，意在构建一个机器学习系统，预期每天能检查36亿行日志文件，监测85%的网络攻击，并在投入使用时进行自动学习和采取防御措施。美国国防部高级研究计划局正计划将人工智能用于网络防御，重点发展的功能包括在投入使用之前自动检测软件代码漏洞以及通过机器学习探测网络活动中的异常情况等。

1.4为军事训练和培训提供新方式

人工智能为军事训练和培训也提供了新方式。在作战训练领域，人工智能技术与虚拟现实技术相结合能够极大提升模拟软件的逼真度和灵活性，为针对特定战场环境开展大规模仿真训练提供高效手段，真正实现“像训练一样战斗，像战斗一样训练”。首先，通过收集卫星图像、街景数据、甚至是无人机拍摄的三维图像，虚拟现实程序能够在人工智能的帮助下快速、准确地生成以全球任何一处场景为对象的综合训练环境（STE），帮助士兵进行更有针对性的预先演练，提升士兵执行特定任务的能力。其次，人工智能赋能军事训练模拟软件在不降低真实度的情况下快速生成训练环境、设计交战对手，摆脱了以往军事训练耗费大量人力物力布置训练场景的传统模式。再次，人工智能具备的自主性使得模拟军事训练不会以可预测模式进行，士兵必须使用各种设备和不同策略在复杂多样的环境中战斗，有利于提升士兵和指挥官在作战中的应变能力。最后，人工智能通过在模拟对战中与人类反复交手从而迭代学习，系统借助大量复盘模拟可以不断完善应对方法，为参谋人员提供参考借鉴。这一过程类似于与AlphaGo进行围棋对战。换言之，人工智能不仅可以扮演模拟军事训练中人类的强大对手，还可以在每次胜利时向人类传授一种针对这次战役或行动的新策略。除此之外，人工智能在军事训练的其他领域也有着广泛应用。目前，一个名为“神探夏洛克”（SHERLOCK）的智能辅导系统已经被用于美国空军的培训中。这个系统能够为美国空军技术人员提供如何操作电子系统对飞行器进行诊断的培训。同时，南加州大学的信息科学学院已经研制出了一个基于替身的训练程序，能够为派驻海外的军人提供跨文化交流训练。

1.5给军事理论和作战样式创新带来新的启发

诚如恩格斯所言：“一旦技术上的进步可以用于军事目的，他们便立刻几乎强制地，而且往往是违背指挥官的意志而引起作战方式上的改变甚至变革。”技术进步作用于军事领域必然引起作战方式的改变甚至变革，这是恩格斯100多年前就向人们揭示的军事技术发展规律，人工智能技术当然也不例外。总体来看，以人工智能技术为支撑的智能化武器装备较传统武器装备具有突防能力强、持续作战时间长、战术机动性好、训练周期短以及综合成本低等显著优势。智能化无人系统可采用小型化甚至微型化设计，使用复合材料和隐身技术，以隐蔽方式或集群方式接近目标，让敌人难以察觉或无法防范。无人武器系统还可以突破人类生理局限，装备的性能指标和运转时长只需考虑制造材料、各类机械电子设备的承受极限和动力能源的携带量，不但使得系统在机动、承压方面能力得到革命性提升，并且能够实现远距离侦察打击和在目标区域的长时间存在。同样重要的是，与传统武器系统操控训练周期一般长达数年不同，无人系统操控员仅需数月或一年左右的训练即可远程操控“捕食者”“死神”等无人武器参加实战，更多作战人员不必直接踏上战场，有望大大降低战死率和随之而来的社会舆论压力。基于人工智能技术军事化应用的上述特点，近年来美军提出了以算法较量为核心的算法战、无人武器系统蜂群式作战、具有高度自适应性的“马赛克战”等一系列新作战样式。可以预见的是，随着人工智能技术的进一步发展，智能化条件下的军事理论和作战样式创新不会停止。

总而言之，人工智能可以帮助军事力量更加精准高效地运转，同时降低人类面临的生命危险。人工智能在无人作战、情报搜集与处理、军事训练、网络攻防、智能化指挥控制决策等军事领域的广泛运用具有“改变游戏规则”的颠覆性潜力，有望重塑战争形态，改写战争规则，推动智能化战争的加速到来。中央军委科技委主任刘国治中将等专家认为，人工智能必将加速军事变革进程，对部队体制编制、作战样式、装备体系和战斗力生成模式等带来根本性变化，甚至会引发一场深刻的军事革命。

人工智能给军事安全带来的风险和挑战

人工智能作为一种科学技术，同样具备“双刃剑”属性。人工智能一方面为人类社会发展进步和维护军事安全提供了新的动力和机遇，另一方面也带来了一系列威胁与挑战。综而观之，人工智能给军事安全带来的威胁和挑战主要有以下几个方面。

2.1人工智能军事应用带来的非预期事故

人工智能的军事应用存在诸多不确定性，容易带来非预期事故的发生。这主要由以下两点原因所致：一是由于人工智能内部的脆弱性问题（internalvulnerbility）。当前，人工智能还停留在弱人工智能阶段，而弱人工智能系统的特点在于它们接受了非常专门的任务训练，例如下棋和识别图像。战争可以说是最复杂的人类活动之一，巨量且不规律的物体运动仿佛为战场环境蒙上了一层“迷雾”，难以看清和预测战争全貌。在这种情况下，系统的应用环境无时无刻都在发生变化，人工智能系统可能将难以适应。因此，当前弱人工智能存在的根本脆弱性（brittleness）很容易损害系统的可靠性。交战双方部署的人工智能系统交互产生复杂联系，这种复杂性远远超出一个或多个弱人工智能系统的分析能力，进一步加剧了系统的脆弱性，发生事故和出错的概率将大大增加。此外，人工智能算法目前还是一个“黑箱”，可解释性不足，人类很难预测它的最终结果，也容易带来很多非预期事故。二是外部的攻击利用问题（externalexploitation)。研究人员已证明，图像识别算法容易受到像素级“毒”数据的影响，从而导致分类问题。针对开源数据训练的算法尤其容易受到这一挑战，因为对手试图对训练数据进行“投毒”，而其他国家又可能将这些“中毒”数据用于军事领域的算法练。目前对抗性数据问题（adversarialdata）已经成为一个非常严峻的挑战。此外，黑客攻击还可能导致在安全网络上训练的算法被利用。当训练数据受到污染和“投毒”，就很可能产生与设计者意图不符的人工智能应用系统，导致算法偏见乃至更多非预期事故的发生。最后，人机协同也是一个很大的难题。无论是强化学习、深度学习，还是专家系统都不足以完全准确地反映人类的直觉、情感等认知能力。人工智能的军事运用是“人—机—环境”综合协同的过程，机器存在可解释性差、学习性弱、缺乏常识等短板，或将放大发生非预期事故乃至战争的风险。

2.2人工智能军备竞赛的风险

与核武器类似，由于人工智能可能对国家安全领域带来革命性影响，世界各国将会考虑制定非常规政策。目前，世界各国（尤其是中、美、俄等军事大国）都认识到人工智能是强化未来国防的关键技术，正在加大人工智能领域的研发力度，并竭力推进人工智能的军事应用，力图把握新一轮军事技术革命的主动权，全球人工智能军备竞赛态势初露端倪。具体而言，美国将人工智能视为第三次抵消战略的核心，建立“算法战跨职能小组”，筹划基于人工智能的算法战。2018年7月，美国防部设立专门的人工智能机构——联合人工智能中心（JAIC），大力推动军事人工智能应用。2019年2月12日，美国防部正式出台美军人工智能战略，并将联合人工智能中心作为推进该战略落地的核心机构。美国2021财年国防授权法案草案中也特别强调对人工智能、5G、高超声速等关键技术进行投资，建议对人工智能投资8.41亿美元，对“自主性”（autonomy)投资17亿美元。这些举措都体现出美国积极推动人工智能军事化、在人工智能领域谋求新式霸权的意图。俄罗斯在这一领域也不甘落后。2017年1月，普京要求建立“自主机器复合体”（AutonomousRoboticComplexs）为军队服务。中国政府则于2017年7月20日出台《新一代人工智能发展规划》，正式将发展人工智能上升到国家战略高度。军事领域也在通过“军民融合”战略加快“军事智能化发展”步伐，“促进人工智能技术军民双向转化，强化新一代人工智能技术对指挥决策、军事推演、国防装备等的有力支撑，推动各类人工智能技术快速嵌入国防创新领域”。

鉴于人工智能强大而泛在的技术本质以及军事领域对于强大技术的强烈需求，人工智能走向军事应用是难以阻挡的趋势，当前各国竞相推动人工智能军事化和发展人工智能武器便是其现实体现。大国间在人工智能领域的军备竞赛将会危及全球战略稳定，对国家安全带来严重威胁，埃隆·马斯克关于人工智能军备竞赛可能引发第三次世界大战的预言并非危言耸听。如同所有军备竞赛一样，人工智能领域的军备竞赛本质上都是无政府状态下安全困境的体现，如果缺乏信任和有效的军备控制措施，这将成为一场“危险的游戏”，直到一方把另一方拖垮或双方共同卷入战争，上演一场智能时代的“零和博弈”。

2.3扩展威胁军事安全的行为体范围和行为手段

传统上，威胁军事安全的主要行为体是主权国家的军队，但随着网络和人工智能技术的发展，这一行为体范围正在拓展。以网络攻击为例，根据攻防平衡理论，重大军事技术的出现将对攻防平衡产生重大影响，而有的军事技术天然偏向于进攻方。当前，人工智能技术的发展对提升网络攻击能力同样提供了极大机遇。可以预见，人工智能与深度学习的结合有望使得“高级持续威胁”系统成为现实。在这种设想下，网络攻击方能够利用APT系统24小时不间断地主动搜寻防御方的系统漏洞，“耐心”等待对方犯错的那一刻。随着人工智能逐步应用，将有越来越多的物理实体可以成为网络攻击的对象。例如，不法分子可经由网络侵入军用自动驾驶系统，通过篡改代码、植入病毒等方式使得军用无人车失去控制，最终车毁人亡。又比如通过入侵智能军用机器人，控制其攻击己方的人员或装备。同时，人工智能与网络技术结合可能进一步降低网络攻击的门槛。当智能化网络攻击系统研制成功，只要拥有足够多的资金便能有效提升自己的网络攻击能力，而不需要太高的技术要求。因此，未来恐怖分子利用人工智能进行网络攻击或攻击自主系统的算法、网络等，继而诱发军事系统产生故障（如军用无人车、无人机撞击己方人员），或者直接损坏军事物联网实体设备等，都会对军事安全产生很大威胁。

此外，人工智能的发展应用还将催生新的威胁军事安全的方式和手段。人工智能表现出诸多与以往技术不一样的特点，也自然会带来威胁军事安全的新手段，深度伪造（deepfakes）就是其中的典型代表，该技术为煽动敌对国家间的军事冲突提供了新途径。例如，A国雇佣代理黑客使用人工智能技术制作“深度伪造”视频或音频材料，虚构B国密谋针对C国采取先发制人打击，并将这段“深度伪造”材料故意向C国情报部门秘密透露，引发C国的战略误判，迫使其采取对抗手段。B国面对这种情况也将不得不采取措施予以应对，一场由A国借助人工智能技术策划的针对B、C两国的恶意情报欺诈就完成了。当前，“深度伪造”技术的发展速度远超相关的检测识别技术，“开发深度伪造技术的人要比检测它的人多100到1000倍”，这给各国安全部门抵御人工智能增强下的信息欺诈和舆论诱导制造了很多困难。此外，运用人工智能系统的军队也给自身带来了新的弱点，“算法投毒”、对抗性攻击、误导和诱骗机器算法目标等都给军事安全带来了全新挑战。

2.4人工智能产生的跨域安全风险

人工智能在核、网络、太空等领域的跨域军事应用也将给军事安全带来诸多风险。例如，人工智能运用于核武器系统将增加大国核战风险。一方面，人工智能应用于核武器系统可能会强化“先发制人”的核打击动机。核武器是大国战略威慑的基石，人工智能增强下的网络攻击将对核武器的可靠性构成新的威胁，在战时有可能极大削弱国家威慑力、破坏战略稳定。因此，尽管目前人工智能增强下的网络攻击能力的有效性并不确定，危机中仍将大大降低对手间的风险承受能力，增加双方“先发制人”的动机。信息对称是智能化条件下大国间进行良性竞争的基础和保障，但现实情况往往是，在竞争激烈的战略环境中，各国更倾向于以最坏设想来揣测他国意图并以此为假设进行斗争准备，尤其当面对人工智能赋能下的愈加强大的针对核武器系统的网络攻击能力，“先下手为强”确乎成为国家寻求自保的有效手段。另一方面，人工智能技术在核武器系统领域的应用还将压缩决策时间。人工智能增强下的网络攻击几乎发生在瞬间，一旦使核武器系统瘫痪，国家安全将失去重要屏障，给予决策者判断是否使用核武器的压力将激增。尤其在一个国家保持“基于预警发射”（lauch-on-warning)的情况下，核武器系统遭到人工智能增强下的网络攻击时几乎无法进行目标探测并且发出警报，更不可能在短时间内进行攻击溯源和判定责任归属，决策时间压缩和态势判断困难会使决策者承受巨大压力，极有可能造成战略误判，给世界带来灾难。

人工智能与网络的结合会极大提升国家行为体和非国家行为体的网络能力，同时也会催生出一系列新的问题。首先，人工智能技术的网络应用将提升国家行为体的网络攻击能力，可能会加剧网络领域的冲突。如前所述，基于人工智能的APT攻击可使得网络攻击变得更加便利，溯源问题也变得更加困难。与此同时，人工智能的网络应用可能会创造新的缺陷。目前人工智能的主要支撑技术是机器学习，而机器学习需要数据集来训练算法。一旦对方通过网络手段注入“毒数据”（如假数据），则会使得原先的人工智能系统非正常运行，可能带来灾难性后果。其次，由于人工智能算法的机器交互速度远超人类的反应速度，因此一旦将人工智能用于军事领域的网络作战，还有可能带来“闪战”风险，即人类还没来得及完全理解网络空间的战争就已经发生。此外，人工智能在太空领域的应用可能对全球战略稳定和军事安全带来破坏性影响。在人工智能的加持下，传统的反卫星手段将变得更加精准、更具破坏性、更难追溯，从而加大“先发制人”的动机，寻求先发优势。这容易破坏航天国家的军事安全和全球战略稳定，因为攻击卫星尤其是预警卫星往往被视为发动核打击的前兆。

结语

总体国家安全观强调，发展是安全的基础和目的，安全是发展的条件和保障，二者要同步推进，不可偏废。既要善于运用发展成果夯实国家安全的实力基础，又要善于塑造有利于经济社会发展的安全环境，以发展促安全、以安全保发展。因此，维护人工智能时代的军事安全并不代表放弃人工智能的发展，反而要大力推动其应用，使其成为维护军事安全的重要手段和支撑，并注重化解风险。如今，我国正处在由大向强发展的关键时期，人工智能有望成为驱动新一轮工业革命和军事革命的核心技术。因此，我们需要抢抓此次重大历史机遇，积极推动人工智能的研发和军事应用，推动军事智能化建设稳步发展，为建设世界一流军队增添科技支撑。

在当今时代，没有谁是一座孤岛，人工智能对于军事安全领域的影响是全球性的，因此推动人工智能领域的国际安全治理、构建人类命运共同体就显得尤为重要。由于人工智能的迅猛发展，目前对于智能武器尤其是致命性自主武器系统的相关法律法规还并不完善，各国在如何应对这些问题方面也没有明确的方法、举措和共识，但这些问题确关人类社会的未来前景和国际体系稳定。为了维护我国的军事安全以及整体的国家安全利益，应当推动人工智能技术治理尤其是安全领域的全球治理，在人工智能的军事应用边界（如是否应当将其用于核武器指挥系统）、致命性自主武器系统军备控制等领域开展共同磋商，在打击运用人工智能进行恐怖犯罪等领域进行合作，构建人工智能时代的安全共同体和人类命运共同体，维护国家军事安全和人类和平福祉。

免责声明：本文转自信息安全与通信保密杂志社，原作者文力浩,龙坤。文章内容系原作者个人观点，本公众号转载仅为分享、传达不同观点，如有任何异议，欢迎联系我们！

人工智能应用中的安全、 隐私和伦理挑战及应对思考 人工智能面临的安全风险有哪些方面的问题