史上首次！安理会将讨论人工智能潜在威胁
参考消息网7月4日报道据美联社7月3日报道，联合国安理会将就人工智能对国际和平与安全的潜在威胁召开有史以来首次会议。这次会议将由英国组织，该国看到人工智能可能在自动武器或控制核武器方面的使用既存在巨大潜力，也存在重大风险。
报道称，英国常驻联合国代表芭芭拉·伍德沃德3日宣布，将于7月18日举行的此次会议是英国担任安理会本月轮值主席国的中心议题。会议将包括国际人工智能专家和联合国秘书长安东尼奥·古特雷斯的简报会。古特雷斯上月称，关于最先进人工智能形式的警钟“震耳欲聋”，最大的声音来自其研发者。
古特雷斯说：“这些科学家和专家呼吁全世界采取行动，宣称人工智能是对人类的生存威胁，等同于核战争的风险。”
古特雷斯宣布，计划于9月任命一个人工智能顾问委员会，为联合国可能采取的行动做准备。他还说，他将对联合国成立一个新的人工智能机构作出积极回应，并建议以国际原子能机构为模板，因为该机构以知识为基础、拥有一定的监管权。
报道还称，伍德沃德说，英国希望鼓励“采取多边方式来应对人工智能给我们所有人带来的巨大机遇和风险”，“这将需要全球努力”。
她强调，好处是巨大的，理由是人工智能有潜力帮助联合国发展项目、改善人道主义援助行动、协助维和行动和支持冲突预防。她还说：“这可能有助于我们缩小发展中国家与发达国家之间的差距。”
但伍德沃德说，人工智能也存在必须解决的严重安全问题。（编译/卢荻）
这才是人工智能真正的威胁
研究员叶夫根尼·莫佐罗夫探讨了人工智能及其对人类构成的真正威胁，他表示，人们对它越来越多的关注并不是因为它的技术乏味，而是因为所谓的通用人工智能（AGI）的兴起，这才是专家们担心的。
出生于白俄罗斯的莫佐罗夫一位著名的美国思想家，主要研究技术对政治和社会的影响，他在《纽约时报》发表的一篇长文中解释称，通用人工智能尚不存在，但一些人认为ChatGPT快速增长的能力表明它的出现已经不远了。
通常比人类更聪明作者援引OpenAILab联合创始人、ChatGPT机器人所有者山姆·阿尔特曼的话称，通用人工智能是“通常比人类更聪明的系统”。构建这样的系统仍然是一项艰巨的任务，有些人说这是不可能实现的，但好处确实很诱人，它可以学习人类或动物可以执行的任何智力任务。
为了进一步解释关于通用人工智能的想法，作者称：“想象一下，智能扫地机器人（Roombas）不再仅仅用于清洁地板，而是已经进化为多用途机器人，例如早上煮咖啡或叠衣服，无需编程即可完成这些事情。”
他评论道，这似乎很有吸引力，但如果这些智能扫地机器人变得过于强大，那么在完成创造一个干净的乌托邦的幻想使命上，它们可能会对制造尘土的人类主人带来严重伤害。
对生存威胁的担忧蔓延为了强调许多圈子越来越意识到人工智能对人类的生存危险，作者提到，2022年5月，超过350名技术高管、研究人员和学者签署了一份声明，警告人工智能的存在风险。他们呼吁把减轻人类灭绝风险作为全球优先事项，就像流行病和核战争等其他社会风险一样。
同时，他补充道，特斯拉所有者埃隆·马斯克、苹果公司创始人之一史蒂夫·沃兹尼亚克等人签署的信函呼吁停止先进人工智能系统的开发六个月。
许多圈子越来越意识到人工智能对人类的生存危险他还提到，美国政府敦促人工智能负责人进行负责任的创新。他指出，“为了抓住它提供的机遇”，“我们必须首先管理它的风险”。
人工智能的意识形态然而，莫佐罗夫表示，一个由学者、投资者和商人组成的新压力团体正在回应这些担忧，他们称：一旦通用人工智能的安全得到保证，将是文明的福音，可能会振兴经济、增强科学知识、“丰富人类”。
他表示，有争议的通用人工智能技术的支持者采用了所谓的“人工智能意识形态”，这是一种错误的意识形态。他补充道，人工智能的真正危险是政治性的，并且无法通过驯服反叛机器人来解决。此外，最安全的人工智能形式并不能实现其支持者所承诺的渐进治愈，并且他们通过宣称这是不可避免的情况来分散人们对寻找提高人类智力的更好方法的注意力。
市场意识形态的附属在此背景下，莫佐罗夫引用了已故英国首相玛格丽特·撒切尔的言论：“市场别无选择”。他继续说道，通用人工智能只是一个更大的意识形态，即市场意识形态的私生子。
他解释称，通用人工智能可能不会打破资本主义，而是可能为资本主义最具破坏性的意识形态创造一个强大的（而且更强大的）盟友，这里指的是痴迷于私有化、竞争、自由贸易、自由市场和放松管制的新自由主义。
他表示，新自由主义通过强化人工智能并复制其关键偏见，在人工智能领域找到了盟友，即私人参与者的表现优于公共参与者（市场偏见），对现实的调整胜过改变（适应偏见），以及效率胜过社会关注（效率偏见）。
虚假的黎明这些偏见颠覆了通用人工智能的诱人前景。寻求建设世界而不是拯救世界只会让事情变得更糟。
通用人工智能可以学习人类或动物可以执行的任何智力任务(半岛电视台)他补充道，通用人工智能将根据营利性技术解决方案重新构建社会问题。因此，属于公共领域的问题将被重新构想为市场领先的机会。
他指出，新自由主义善于利用技术让社会的苦难变得可以忍受。这种天赋根植于对适应的追求中，正是这种愿望，通过使用科技魔杖，使我们对自己的困境变得麻木不仁。它是新自由主义孜孜不倦地鼓励人们自力更生、具有韧性的产物。
莫佐罗夫继续说道，可以肯定的是，硅谷的许多用于跟踪支出、卡路里和锻炼方案的应用程序有时很有用，但他们常常忽视贫困或肥胖的根本原因。他还指出，如果不解决根源，人们就会陷入适应而非改变的境地。
政治生活扁平化他问道：机构是否应该只是适应？难道它不能推进提高人类智力的议程吗？或者人们会利用这些机构来减轻硅谷技术的风险吗？
他表示，对新自由主义的一个常见批评是，它通过围绕效率重新安排政治生活，从而使政治生活变得扁平化。他还指出，政客们目前通过关注效率来“解决”气候变化问题，让最严重的罪犯继续存在，就像以前一样。
他补充道，在效率文化中，市场衡量事物的价值并取代正义，不可避免地会侵蚀公民美德。这种文化造成的问题随处可见，例如，学者们担心，在新自由主义下，研究和教学已经成为一种商品。医生们哀叹医院正在优先考虑更有利可图的服务，例如择期手术，而不是紧急护理。
他强调，如果我们在这些机构中滥用通用人工智能，那么它们的任务对人工智能来说不是可视化的。
联合国安理会将就人工智能对世界和平的潜在威胁举行首次会议
联合国安理会将于7月18日在英国举行首次关于人工智能对国际和平与安全的潜在威胁的会议。安理会认为，如在自主武器或控制核武器的应用上，人工智能的巨大潜力和重大风险并存。
据美联社7月4日报道，英国常驻联合国代表芭芭拉·伍德沃德（BarbaraWoodward）于7月3日宣布，该会议将是英国担任7月安理会轮值主席国的核心内容。会议将包含国际人工智能专家和联合国秘书长安东尼奥·古特雷斯(AntonioGuterres)的简报。
古特雷斯表示：“这些科学家和专家呼吁世界采取行动，告知大众人工智能对人类的生存威胁与核战争的风险相当”。他计划于今年9月在联合国设立人工智能咨询委员会，为联合国提出可采取的措施。他还表示，他将积极响应会议，设立一个新的联合国人工智能机构，模式与国际原子能机构相同，以知识为基础并具有一些监管权。
伍德沃德表示，英国希望“以多边方式管控人工智能给所有人带来的巨大机遇和风险”，并强调“这需要全球的努力”。她还强调了人工智能的巨大优势，包括协助联合国的发展计划、改善人道主义援助行动以及为维和行动和冲突预防行动提供支持。伍德沃德还补充道，人工智能可能帮助缩小发展中国家和发达国家之间的差距。
但伍德沃德也表示，人工智能的风险也引发了严重的安全问题，这必须加以解决。随着像聊天机器人ChatGPT这样具备生成类似人类创作的文本、图像、视频和音频能力的新一代人工智能的兴起，对人工智能的监管变得更加紧迫。6月14日，随着欧盟通过了全球首个全面监管人工智能的法规，各地纷纷加紧对人工智能的监管。
2023年5月，在美国参议院听证会上，ChatGPT的开发公司——OpenAI首席执行官山姆·阿尔特曼（SamAltman）表示，政府干预对于降低人工智能风险至关重要。山姆·阿尔特曼提议组建一个全球机构，负责授权最前沿的人工智能，并有权“撤销其许可证，确保其符合安全标准”。
伍德沃德表示，本次会议将为与会人员提供聆听专家对人工智能的意见的机会，并在安理会的15个成员国之间讨论人工智能带来的影响。此外，英国首相里希·苏纳克（RishiSunak）宣布，英国还将于今年举办人工智能峰会，展开对于多边管理的讨论。
人工智能赋能网络攻击的安全威胁及应对策略
本文选自中国工程院院刊《中国工程科学》2021年第2期
作者：方滨兴，时金桥，王忠儒，余伟强
来源：人工智能赋能网络攻击的安全威胁及应对策略[J].中国工程科学,2021,23(3):60-66.
编者按
近年来，网络空间安全重大事件持续爆发，网络安全威胁全面泛化。网络空间安全威胁覆盖了从物理基础设施、网络信息系统到社交媒体信息，对虚拟世界、物理世界的诸多方面构成威胁。人工智能在为社会进步带来显著推动效应的同时，也在促进网络空间安全领域的重大变革，研究人工智能和网络空间安全结合带来的安全问题具有迫切意义。
近期，中国工程院方滨兴院士科研团队在中国工程院院刊《中国工程科学》2021年第3期撰文，系统分析人工智能在网络空间安全领域应用带来的安全问题，重点研究人工智能在网络攻击细分方向的赋能效应，总结提炼人工智能赋能网络攻击的新兴威胁场景、技术发展现状、未来发展趋势，以期为相关领域发展提供理论参考。文章建议，为有效应对人工智能赋能网络攻击的安全威胁，应从防范安全威胁、构建对等能力角度加强智能化网络攻防体系建设和能力升级；加强人工智能安全数据资产的共享利用，采取以数据为中心的人工智能网络攻防技术发展路径；加强对抗评估和测试验证，促进人工智能网络攻防技术尽快具备实用性。
一、前言
近年来，网络空间安全重大事件持续爆发，网络安全威胁全面泛化。斯诺登事件、乌克兰电网攻击事件、美国大选干预事件等表明，网络空间安全威胁覆盖了从物理基础设施、网络信息系统到社交媒体信息，对虚拟世界、物理世界的诸多方面构成威胁。网络空间安全已经成为非传统安全的重要组成部分。随着人工智能（AI）第三次浪潮的兴起，人工智能向诸多行业、领域不断渗透并交叉融合的趋势已经显现。人工智能因其智能化与自动化的识别及处理能力、强大的数据分析能力、可与网络空间安全技术及应用进行深度协同的特性，对网络空间安全的理论、技术、方法、应用产生重要影响，促进变革性进步。
人工智能与网络空间安全的交互融合，表现了“伴生”“赋能”两种效应。
①网络空间安全在本质上是一种伴生学科，每一种新技术的出现都会引发伴生的安全问题；人工智能的伴生安全问题主要是内生安全问题、衍生安全问题，即由于人工智能自身在脆弱性、可预测性、可解释性等方面存在的安全隐患或问题，将自身安全问题转移或嫁接到人工智能应用上，使得人工智能系统自身或者应用人工智能技术的系统产生新的安全威胁；攻击者可利用对抗样本或数据投毒技术，自动化构造攻击样本，针对现有智能安全系统开展攻击，造成人脸识别、车牌识别等系统功能降级，甚至引导实施网络攻击、物理攻击。
②人工智能在自身发展带来新网络空间安全威胁的同时，也从攻击、防御方面给传统网络空间安全提供了显著的赋能效应，如基于机器学习、深度搜索的人工智能方法能够提升网络攻击能力、自动检测网络安全防御方法、制定智能化的攻击策略；同样，人工智能可辅助网络空间安全从被动防御趋向主动防御，从而更快更好地识别威胁、缩短响应时间；网络空间的时空动态变化复杂，人工智能技术可关联分析日志、流量等不同渠道的数据，构造多维数据关联与智能分析模型的资产库、漏洞库、威胁库，实现对有效网络攻击的全面、准确、实时检测。
人工智能在攻防两方面的赋能效应，极大地推动了网络空间攻防对抗的发展，引发新的安全威胁，催生新的对抗手段。对于网络安全而言，人工智能是一把“双刃剑”；人工智能与网络空间安全深度结合，给经济、政治、社会、国防等领域带来新威胁、新问题的同时，也为各国网络空间安全发展提供了新机遇。
本文系统分析人工智能在网络空间安全领域应用带来的安全问题，重点研究人工智能在网络攻击细分方向的赋能效应，总结提炼人工智能赋能网络攻击的新兴威胁场景、技术发展现状、未来发展趋势，以期为相关领域发展提供理论参考。
二、人工智能和网络空间安全深度结合带来的国家安全问题
（一）涉及的国家安全问题与威胁
1.政治安全方面
随着网络技术的迅猛发展及广泛运用，网络政治作为一种新的政治形态呈现出来。公众可以借助多元化网络通道和途径，较为自由地进行政治表达和参与，影响政治过程，实现政治权利，但也可能引发各种政治安全问题。人工智能显著加剧了政治安全领域中的现实威胁。例如，在2018年3月曝光的“剑桥分析”事件中，商业智能公司利用脸书用户数据进行人物画像，自动推送信息以影响选民在美国大选、英国脱欧等政治事件中的投票倾向；该事件标志着数据智能从商业领域扩散至政治领域，使得单纯的网络数据安全问题上升为现实的政治安全隐患。
人工智能技术应用可引发使用数字自动化塑造政治影响等新兴安全威胁。例如，应用深度伪造技术生成逼真的捏造视频、音频，编造领导人丑闻，伪造新闻进行煽动；利用人工智能的自然语言生成技术，自动化构造信息并进行定制化的虚假宣传活动。这类具有数字自动化特征的深度伪造威胁，借助各类媒体传播虚假信息，具有极强的传播势能，可实现大规模、潜伏性的政治操纵和控制，将显著加剧网络空间政治安全威胁的影响力和对抗复杂性。
2.经济社会安全方面
人工智能与网络安全深度结合将威胁和影响经济社会安全。随着相关行业、企业、公众对网络技术与应用依赖性的增加，与网络犯罪相关的经济社会风险也随之增长。《2018年全球风险报告》认为，网络攻击问题已经成为仅次于极端天气、自然灾害之外的世界第三大威胁。利用人工智能、大数据技术，攻击者可以根据出生年月、电话、亲属、位置等关键个人信息，“量身定制”个性化的诱饵攻击，实现高度逼真的自动化社会工程攻击。
借助自动化、智能化工具，网络罪犯可以针对大规模目标开展高效、隐蔽的漏洞探测扫描，完成自动利用和攻击。人工智能技术驱动的智能化、自动化、规模化攻击，可为网络犯罪提供威胁更大、传统防御系统更难防范的技术手段与方法，所产生的破坏力也更强，严重威胁和影响了经济社会安全。
3.国防安全方面
人工智能与网络攻防结合程度的不断加深，将极大改变传统信息作战的方式与手段。通过智能化的态势感知、情报分析、网络攻击与瘫痪，可形成军事先发优势并引发新型军备竞赛。在网络武器方面，人工智能为国家级高级可持续威胁攻击（APT）组织提供了新的工具与手段，针对关键信息基础设施实施渗透性、隐蔽性更强的网络攻击，严重影响其安全稳定运行。
2013年，美国国防高级研究计划局（DARPA）发起的网络安全挑战赛（CGC）极大推动了自动化网络攻防技术的发展；基于人工智能的新型网络战武器将明显改变网络空间军事对抗格局，加速塑造不对称竞争优势。2017年，美国成立算法战跨职能小组，加速将大数据、人工智能、机器学习整合到国防部项目，重点推动战场空间态势感知、自动化网络响应等技术研发。算法层面的突破、数据数量与质量的提升、计算能力的增长，为人工智能在国防领域的应用提供了巨大的想象空间，将构建新的战略威胁。
（二）主要国家的应对态势
1.美国
美国凭借传统技术优势，积极谋求在人工智能技术方向的主导地位；将网络安全视为重要方面，高度重视人工智能在网络安全领域的研究与应用，争取建立网络攻防领域的战略优势。
2016年，美国《为人工智能的未来做好准备》报告提出，相关机构的计划和战略应考虑人工智能、网络安全之间的相互影响；人工智能研究机构应确保人工智能技术自身及生态系统具备应对智能对手挑战、保持安全性和恢复力的优势；参与网络安全工作的机构应采用美国自有的人工智能技术来高效实现网络安全。同年发布的《人工智能、自动化与经济》报告认为，为有效应对人工智能自动化对经济的不利影响，应从网络防御、欺诈侦察的角度发展人工智能技术；典型应用有基于人工智能的机器学习系统辅助人类迅速回应网络攻击，人工智能高效解读数据并预防网络攻击。
2017年，哈佛大学《人工智能与国家安全》报告指出，网络武器将更频繁地用于虚拟作战；机器学习在军事系统中应用，将带来新型漏洞并催生新型网络攻击手段；人工智能网络武器一旦被盗或者非法复制，将被恶意使用；不断进步的自动化将使失业问题、网络攻击问题更为严峻，进而影响政治稳定和国家安全。
2018年，美国国际战略研究中心发布《人工智能与国家安全，人工智能生态系统的重要性》，报告认为，在网络安全或防御等领域，人类可能无法迅速作出反应，首先掌握人工智能应用的国家会有显著优势；在网络安全方面，人工智能技术可与僵尸网络配合，实施攻击并打垮防御。
2019年，美国发布新版《国家人工智能研究与发展战略规划》，列出了算法对抗、数据中毒、模型反转等威胁人工智能安全的问题；要求在人工智能系统全生命周期考虑安全性问题，涵盖初始设计，数据/模型的构建、评估、验证、部署、操作、监视等环节。
2021年3月，美国人工智能国家安全委员会发布建议报告，认为美国尚未做好防御人工智能赋能新兴威胁的准备；提出2025年实现军事人工智能战备状态的发展目标，建议成立技术竞争力委员会等组织机构，确保赢得竞争并增强防御能力。
2.其他国家
2018年，俄罗斯发布《人工智能在军事领域的发展现状以及应用前景》，明确将人工智能视为战略竞争的重要领域，推动人工智能元素与无人集群、无人自主系统反制、雷达预警系统的整合，支持国家军事能力提升。
2016年，日本防卫省发布《中长期技术规划》，推动发展可快速处理海量情报数据的人工智能技术、能够应对网络攻击的广域分散情报通信系统技术，由此提升态势感知、情报共享、电子攻防、指挥控制能力。
2018年，印度发布《人工智能国家战略》，注重利用人工智能技术促进经济增长并提升社会包容性，寻求适合国情的人工智能规划部署。印度将利用人工智能技术开发武器、防御、监视系统，制定人工智能发展路线图；研究机器学习在军兵种、网络安全、核、生物资源等领域应用，以自主化武器、无人监视系统为代表。
三、人工智能赋能网络攻击的安全威胁场景与典型技术
（一）人工智能赋能网络攻击带来的新型威胁场景
1.自主化、规模化的拒绝服务攻击威胁
近年来，随着物联网（IoT）的逐步普及、工控系统的广泛互联，直接暴露在网络空间的联网设备数量大幅增加。MiraiIoT僵尸网络分布式拒绝服务攻击（DDoS）事件（2016年）表明，攻击者正在利用多种手段控制海量IoT设备，将这些受感染的IoT设备组成僵尸网络，发动大规模DDoS攻击并可造成网络阻塞和瘫痪。除了呈现大规模攻击的典型特点之外，网络攻击者越发注重将人工智能技术应用于僵尸网络攻击，据此进化出智能化、自主化特征。
2018年全球威胁态势预测表明，人工智能技术未来将大量应用在类似的蜂群网络中，可使用数百万个互连的设备集群来同步识别并应对不同的攻击媒介，进而利用自我学习能力，以前所未有的规模对脆弱系统实施自主攻击。这种蜂巢僵尸集群可进行智能协同，根据群体情报自主决策采取行动，无需僵尸网络的控制端来发出命令；无中心的自主智能协同技术，使得僵尸网络规模可突破命令控制通道的限制而成倍增长，显著扩大了同时攻击多个目标的能力。人工智能赋能的规模化、自主化主动攻击，向传统的僵尸网络对抗提出了全新挑战，催生了新型网络空间安全威胁。
2.智能化、高仿真的社会工程学攻击威胁
社会工程学利用人性弱点来获取有价值信息，作为攻击方法是一种欺骗的艺术。社会工程学网络攻击虽出现已久，但始终是较为有效的攻击手段；特别是鱼叉式网络钓鱼，因成效显著、传统安全性防御机制难以阻止而成为研究关注重点。随着人工智能应用的拓展，社会工程学攻击日益呈现智能化、高仿真特征。攻击者利用社交媒体等开放获取的个人隐私数据，自动学习并构造虚假信息，让受攻击目标不引起怀疑而自愿上钩。
在2016年美国黑帽大会上，网络安全公司ZeroFOX的安全研究员展示了一种带有侦察功能的社交网络自动钓鱼攻击方法；利用机器学习算法，通过网络大数据挖掘个人的出生年月、电话、亲属关系、位置等关键信息，自动生成定制化、高仿真的恶意网站/电子邮件/链接；模仿相关联系人的通信内容风格并骗取信任，从模仿真实联系人的地址发送出来，有效提升钓鱼攻击的有效率。利用人工智能技术，攻击者还可创建逼真的低成本伪造音频和视频，将网络钓鱼攻击空间从电子邮件扩展到其他通信域（如电话会议、视频会议），加剧了社会工程学攻击威胁。
3.智能化、精准化的恶意代码威胁
随着人工智能技术的发展，攻击者倾向于针对恶意代码攻击链的各个攻击环节进行赋能，增强攻击的精准性，提升攻击的效率与成功率，有效突破网络安全防护体系，对防御方造成重大损失。在恶意代码生成构建方面，深度学习赋能恶意代码生成相较传统的恶意代码生成具有明显优势，可大幅提升恶意代码的免杀和生存能力。在恶意代码攻击释放过程中，攻击者可将深度学习模型作为实施攻击的核心组件之一，利用深度学习中神经网络分类器的分类功能，对攻击目标进行精准识别与打击。
在2018年美国黑帽大会上，国际商业机器公司（IBM）研究院展示了一种人工智能赋能的恶意代码DeepLocker，借助卷积神经网络（CNN）模型实现了对特定目标的精准定位与打击，验证了精准释放恶意代码威胁的技术可行性。目前，这类攻击手法已被攻击者应用于实际的高级持续性威胁攻击，一旦继续拓宽应用范围，将难以实现对抗防范；如果将之与网络攻击武器结合，有可能提升战斗力并造成严重威胁和破坏。
（二）人工智能赋能网络攻击的典型技术
1.网络资产自动探测识别技术
网络资产探测识别指追踪、掌握网络资产情况的过程。从安全攻击的角度看，网络资产探测识别可用于渗透（或攻击）前的信息收集，了解目标网络内主机的操作系统类型、开放端口以及所运行的应用程序类型与版本信息。准确掌握目标网络的安全状况，有助于选取高效的攻击方法。
在网络资产探测识别的人工智能应用方面，当前最具代表性的技术应用是基于机器学习的操作系统指纹识别技术。引入机器学习、深度学习等方法，进行操作系统指纹识别，可以较短的建模时间、较高的准确率，实现基于协议栈指纹被动操作系统的识别，提高未精确匹配指纹的识别率。
2.智能社会工程学攻击技术
自动化社会工程学攻击技术指利用机器学习、神经网络等方法，实现钓鱼式攻击、电脑蠕虫传播、垃圾邮件散发等的完整攻击过程自动化。基于自然语言生成（NLG）的自动化网络钓鱼是一种典型攻击方法，攻击者利用深度学习分析文本内容，识别目标感兴趣的主题，生成目标可能响应的文本内容；常用于以电子邮件、社交网站作为攻击代码传输载体的新型网络钓鱼攻击。
在2016年第七届新西兰黑客大会上，意大利安全专家发布了一种自动化网络钓鱼工具，在在对澳大利亚公务员的调查测试中，成功欺骗了40%的参与人员。2019年，有研究基于NLG技术构建了高级电子邮件伪装攻击生成引擎，评估实验表明，生成的伪装电子邮件具有更好的连贯性、更少的语法错误，是效果更优的网络钓鱼电子邮件攻击手段。
3.智能恶意代码攻击技术
机器学习算法已经普遍应用于网络安全检测领域，然而相关检测系统容易受到对抗性攻击；攻击者可以构造“良性”样本，成功绕过机器学习分类器的识别。对抗机器学习在恶意代码中插入一部分对抗性样本，可绕过安全产品的检测；甚至根据安全产品的检测逻辑，自动化地在每次迭代中自发更改代码和签名形式，确保自动修改代码逃避反病毒产品检测且功能不受影响。2018年，有研究利用深度强化学习网络提出了一种基于对抗样本生成的黑盒攻击方法，用于攻击静态的可执行文件（PE）杀毒引擎。这是第一个可以产生对抗性PE恶意代码的研究工作，模拟真实攻击的成功率达到90%。随着人工智能在对抗机器学习领域的拓宽应用与进化，可以预见，基于生成对抗网络的逃逸攻击会成为对抗机器学习方面的重要方向和技术趋势。
此外，在传统恶意代码被发布后，攻击目标和意图往往是确定的，可通过逆向工程、网络监听等方法分析得知。在人工智能技术的助力下，恶意代码通过内嵌深度神经网络模型，可在代码开源的前提下依然确保攻击目标、攻击意图、高价值载荷的高度机密性，由此显著提升攻击的隐蔽性。此类攻击的代表性成果是IBM研究院的DeepLocker恶意代码。
4.自动化漏洞挖掘与利用技术
自动化漏洞挖掘与利用指在无人工干预的基础上，自动化挖掘软件内部缺陷并利用该缺陷使软件实现非预期功能。2013年，DARPA发起了CGC项目，旨在实现漏洞挖掘、分析、利用、修复等环节的完全自动化，进而建立具备自动化攻击与防御能力的高性能网络推理系统。2014—2016年，CGC比赛在漏洞自动攻防方向进行了尝试，引起广泛关注。参赛团队建立自动攻击防御系统，实现无人干预条件下的自动寻找程序漏洞、自动生成漏洞利用程序攻击敌方、自动部署补丁程序抵御对手攻击的基本能力。国内自2017年起组织开展了类似的自动攻防比赛，促进了相关技术发展和新型网络安全系统构建。
四、人工智能赋能网络攻击的技术发展趋势
随着人工智能与网络安全的深度结合，人工智能赋能网络攻击与传统网络攻击在技术与手法上相比，将使过去劳动密集型、成本高昂的攻击手法开始彻底转型，朝着分布式、智能化、自动化方向发展，从而形成更为精准和快速的自动化攻击手法。
相关技术发展趋势有以下三点。
一是利用人工智能学习环境特征，增强攻击的适应性与隐蔽性。在攻击目标的网络环境中，数据、行为等均具有一定的本地化特征。攻击者利用人工智能对目标网络中的数据、行为等特征等进行收集和建模，学习目标网络环境中正常的数据内容、传输频率、传递方法等环境特征；参考环境特征来选择合适的攻击手段，将攻击数据伪装成目标网络中具有正常特征的普通数据，将攻击行为伪装成目标网络中正常用户的网络行为；实现环境自适应的攻击行为、数据隐藏，提升攻击的隐蔽性，增强攻击的适应性。
二是利用人工智能增强分布式协作效果，提高攻击的鲁棒性。攻击者引入分布式智能协同算法，将传统的由智能中心统一调度分布式攻击实体开展协作攻击，演化为无中心的分布式多智能攻击实体的自主协同和群体决策，从而提高多个分布式攻击节点之间的协作效率，降低对中心化协同调度的依赖性，减少攻击反制的风险，提升攻击的鲁棒性。
三是利用人工智能实现攻击方式的自我进化，提升攻击的有效性。攻击者利用人工智能分析不同攻击方式下的攻击效果及防御方的可能应对措施，进而针对防御方的弱点自动选择新的攻击机制，据此实现攻击方式的智能进化。例如，攻击者可将防御方入侵检测系统的结果作为反馈，采用人工智能技术对反馈数据进行收集和建模分析，建立攻击效果模型，动态调整合适攻击方式，规避入侵检测系统。
五、人工智能赋能网络攻击威胁的应对建议
（一）强化研究与应用，推动智能化网络攻防体系建设和能力升级
着眼人工智能赋能网络攻击的威胁和影响，从防范安全威胁、构建对等能力的视角着手，尽快开展重大关键技术研究。推动“产学研”机构以有效应对人工智能赋能攻击新型威胁场景为首要需求，从攻防两方面进行联合攻关，开展智能化威胁态势感知、自动化漏洞挖掘与利用、智能恶意代码等技术研究。加快人工智能技术在国家、重要行业关键信息基础设施安全防护方面的体系化应用，整体性完成智能化升级换代，大幅提升关键信息基础设施安全保障、网络安全态势感知、网络安全防御、网络威慑的能力水平。为管控人工智能带来的新型网络安全威胁，应加强相关法律法规建设，规范人工智能网络安全健康发展，延缓并阻止与特定威胁相关的活动。
（二）加强共享和利用，破解人工智能网络攻防技术体系建设的数据难题
人工智能训练数据集既是人工智能安全研究中最有价值的数字资产，又是关乎人工智能安全能力建设成功与否的战略资产。然而，目前人工智能安全训练数据缺乏安全、可控、可追溯的手段进行共享利用，这成为限制人工智能攻防技术快速发展的重要因素之一。建议以国家实验室等权威机构为依托，利用区块链等新型技术构建人工智能数据靶场，形成安全可信、激励机制合理的共享利用框架，促进人工智能数据资产的有效利用，落实以数据为中心的人工智能网络攻防技术发展路径。
（三）加强对抗和评估，促进人工智能网络攻防技术实用性发展
人工智能攻防属于持续对抗升级的技术，实际应用效果依赖对抗环境的全面性和真实性。然而由于科研条件尚不充分，现有人工智能攻防技术研究难以复现实际的攻防对抗环境，对人工智能自动化攻防技术从理论走向实际构成明显制约。建议以国家实验室等权威机构为依托，构建人工智能攻防对抗靶场，通过权威评估、技术挑战赛、测试验证等形式，有效推动人工智能网络攻击、自动化漏洞发现与利用的效能评估和对抗分析，促进人工智能攻防技术加速朝着实用方向发展。
六、结语
网络空间安全威胁全面渗透虚拟世界和物理世界，给各国的政治、经济、社会和国防带来了巨大的安全风险和挑战。人工智能与网络空间安全威胁的深度结合，则进一步加剧现实安全威胁，催生新型安全威胁，给国家安全带来了更加严峻的挑战。人工智能赋能网络攻击，在大数据等关联技术的辅助下，使网络攻击愈发呈现出大规模、自动化、智能化等新的特点，必将带动和促进网络空间防御技术、手段、能力的进化与发展。
当前，在人工智能赋能网络攻防的发端之际，谁抢先找到人工智能与网络攻防在技术、数据、模型等层面的最佳结合点，抢先形成网络攻防领域的“技术差”“应用差”，谁就可能抢占网络空间对抗的技术制高点，从而形成对抗博弈优势，掌握网络空间主动权和威慑力。我国应加强人工智能在网络空间安全领域的战略应用，从防范新型威胁、积极应对挑战两个方面开展工作，着力解决人工智能在网络攻防领域应用中面临的数据、对抗、评估等实际问题，推动人工智能攻防尽快从理论研究走向实际应用。识别人工智能带来的新型网络空间安全威胁，提升智能威胁感知应对能力，确保在人工智能变革的背景下有效维护国家网络空间主权，保障网络空间核心利益，为国家安全和发展保驾护航。
注：本文内容呈现略有调整，若需可查看原文。
作者介绍
方滨兴，网络空间安全专家，中国工程院院士。
长期从事网络与信息安全技术研究工作，1989年开始研究计算机病毒防御技术，90年代末从事计算机安全事件入侵检测方面的研究工作，1999年提出建设国家信息安全基础设施的理念，并组织建设了相关系统，为保障国家信息安全工作奠定了坚实的技术基础。
声明：本文来自中国工程院院刊，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系anquanneican@163.com。
联合国安理会将就人工智能对世界和平的潜在威胁举行首次会议
联合国安理会将就人工智能对世界和平的潜在威胁举行首次会议2023-07-0413:51:51
每经AI快讯，联合国安理会将于7月18日在英国举行首次关于人工智能对国际和平与安全的潜在威胁的会议。安理会认为，如在自主武器或控制核武器的应用上，人工智能的巨大潜力和重大风险并存。据美联社7月4日报道，英国常驻联合国代表芭芭拉·伍德沃德（BarbaraWoodward）于7月3日宣布，该会议将是英国担任7月安理会轮值主席国的核心内容。会议将包含国际人工智能专家和联合国秘书长安东尼奥·古特雷斯(AntonioGuterres)的简报。古特雷斯表示：“这些科学家和专家呼吁世界采取行动，告知大众人工智能对人类的生存威胁与核战争的风险相当”。他计划于今年9月在联合国设立人工智能咨询委员会，为联合国提出可采取的措施。他还表示，他将积极响应会议，设立一个新的联合国人工智能机构，模式与国际原子能机构相同，以知识为基础并具有一些监管权。（澎湃新闻）
人工智能集成到威胁检测系统中的好处
由于网络威胁的复杂性和普遍性，企业必须保持警惕。在2022年，就有49333万起攻击报告。企业总是在寻找改进安全措施的新方法，这并不奇怪。
加强安全措施的最有希望的方法之一是人工智能(AI)集成到威胁检测系统中，因为其采用了一种前瞻性的方法来检测威胁，并提供了以前无法实现的复杂程度和准确性。
让我们来看看如何将人工智能集成系统，以提高安全性和识别非常复杂的威胁的能力。
人工智能与实体行为分析的集成安全分析的用户和实体行为分析(UEBA)是识别威胁的强大工具。UEBA擅长利用机器学习技术发现任何网络中的异常或不规则行为,为防御可能的威胁添加了额外的安全层。
其创建了基线用户和实体行为模式,使系统能够检测可能显示潜在安全漏洞的规范的变化。其通过仔细分析各种数据来源,提醒用户注意异常或可疑活动。
人工智能与机器学习的集成传统的签名技术经常需要识别新的或正在发展的威胁。另一方面,机器学习算法可以检查大量的数据，并发现可能指向威胁的模式。
通过将机器学习算法的分析能力与人工智能的适应性和智能特性相结合，组织可以更准确、更快速地识别可能存在的危险。
机器学习算法可以从人工智能的背景和洞察力中受益，这有助于做出更好的决策，并发现表明恶意活动的模式。
人工智能与自然语言处理的集成社会工程仍然是当今最严重的网络安全威胁，平均每起事件给企业造成410万美元的损失。攻击者已经改进了其计划,并采用了更复杂的技术,而不仅仅是使用短信或电子邮件等传统通信手段来避免被发现。
好在,通过将人工智能的认知技能和NLP的自然语言处理能力相结合,企业可以获得相对于网络犯罪分子的巨大优势。
这些设备的结合，使企业在快速分析大量文本数据以检测潜在威胁方面具有强大的力量。这有助于企业立即识别通信中的可疑变化或异常，这些变化或异常可能表明黑客正在进行攻击。
人工智能与深度学习的集成深度学习算法扩展了经典机器学习和自然语言处理(NLP)技术的能力，可以快速分析威胁检测研究中的大型数据集。
卷积神经网络(CNN)和循环神经网络(RNN)是两种类型的深度学习模型，特别擅长分析复杂的、非结构化的数据,包括文本、视频和照片。
通过将这些尖端策略与人工智能算法相结合,企业可以更快地识别网络中潜在的风险活动。
人工智能与SIEM的集成
具有人工智能功能的安全信息和事件管理(SIEM)平台，可以识别当代企业可能经常遇到的潜在网络安全危险。
在高级分析和基于机器学习的算法的帮助下，无缝集成成为可能，从而形成集中的监控框架，可以利用大量数据有效地检测各种网络攻击。
由于通过分析收集到的相关见解，组织将受益于快速识别能力,从而产生非常精确的有效反应。
这些特性将显著减少严重危及组织安全态势的安全事件的影响。
人工智能威胁情报平台利用人工智能威胁情报系统的潜力是许多现代企业使用的一种策略。
在通过机器学习算法利用大数据分析，可以在重大损害发生之前准确发现攻击媒介或恶意软件等多方面的系统威胁，并进行预防。
创建这些高级结构是为了改进现有组织过程之间的交互，简化安全框架。它们为威胁分析提供关键信息，并经常更新知识库，以保持与不断变化的网络安全环境的兼容性。
由于人工智能解决方案的出现，威胁检测领域发生了变化。得益于机器学习、自然语言处理和深度学习算法，企业可以以前所未有的速度和精度识别危险并采取行动。通过使用威胁情报平台，将人工智能与SIEM系统集成，进一步完善组织安全系统。