2023年人工智能在网络安全方面的发展趋势
研究表明，人工智能技术在阻止网络安全威胁和数据泄露方面至关重要。而人工智能处于数字革命的最前沿，人工智能改变人们工作和生活的重要方式之一是网络安全。人工智能可以加强网络安全，但也带来了挑战，因为道德黑客和黑帽黑客都在采用人工智能技术。
人们需要了解网络安全在2021年的发展趋势，以及企业如何保护其关键数据免受黑客和其他网络攻击者的网络攻击。人工智能在打击数据泄露和恶意软件分发方面发挥着越来越重要的作用。
疫情蔓延、出行封锁、企业破产、公司裁员以及网络攻击是今年爆发的一些危机。不幸的是，人们在2020年目睹了许多悲剧。由于发生疫情危机，越来越多的员工在家远程工作，这导致了许多问题。他们开始认识到人工智能对于解决这些挑战将变得更加重要。
随着越来越多的人转向远程工作，并且黑客使用人工智能技术进行网络攻击，他们比以往任何时候都更容易受到网络威胁的攻击。2021年即将到来，而网络安全问题的数量将在未来一年继续增长。
2020年及未来一年人工智能在网络安全方面的趋势
以下将讨论一些重要的网络安全趋势，在2021年，不同行业的组织都不应忽视这些趋势。网络安全专家已经开始使用人工智能来应对日益增长的数据泄露威胁。根据一项民意调查，在大多数行业中，60%以上的企业使用人工智能来应对这些风险。
然而，网络安全领域还有其他人工智能趋势值得讨论。这些人工智能网络安全趋势包括以下内容：
1.远程工作将成为一种新常态，新的人工智能工具可以产生漏洞
在疫情发生之前，很多企业关注和采用了使远程工作更可行的人工智能工具。这些工具提供了许多简化工作的机会，但是它们也带来了一些安全风险。
不可否认的是，一些企业已经开始实施在家工作的政策，以确保其在全球范围内的业务正常运营。随着人们不再使用企业防火墙和其他安全系统来保护其关键数据，在网络安全方面的挑战也有所增加。
在这种情况下，企业应该寻求增强的网络安全工具，以帮助保护所有业务通信，其中包括远程访问时的敏感企业数据。
因此，他们将需要使用虚拟专用网来保护其远程工作人员免受不同的网络攻击，例如黑客攻击、数据盗窃、网络钓鱼等。虚拟专用网在公共互联网上创建安全且端对端的加密连接。
此外，它通过用户选择的备用IP地址(如英国、美国、澳大利亚、德国和其他国家)隐藏用户实际的IP地址。因此，他们可以从任何地方伪造自己的在线位置，并保护他们的在线任务和商业数据免受黑客和其他网络犯罪分子的攻击。
因此，企业可以选择nord虚拟专用网(一个可能性能最高的虚拟专用网服务)来确保远程员工的安全。如果他们不知道如何免费获得nord虚拟专用网，则可以尝试其免费试用功能。
这样，企业可以保持其网络安全，并保护其远程工作者免受各种网络风险的影响。
2.随着越来越多的黑客使用人工智能武器攻击目标，数据泄露事件持续上升
令人惊讶的是，数据泄露是企业关注的另一个领域，因为每个数据泄露事件将导致企业造成的平均损失为386万美元。不幸的是，这种危险的趋势预计将在2021年持续。与向员工提供有限数据访问的企业相比，不允许对其重要数据进行有限访问的企业将更容易遭遇数据泄露事件。
而网络攻击变得越来越普遍的原因之一是，黑客正在使用更复杂的人工智能工具进行编排。网络安全专家需要意识到这些风险，并采用更有效的人工智能工具来阻止它们。
3.端点管理
端点管理是企业执行详细的过程，这些过程允许他们检测、部署、故障排除和更新其端点设备。从企业的角度来看，管理端点至关重要，因为网络犯罪分子可以利用这些端点访问企业的网络。
当企业开始执行端点管理过程时，他们可以保护其远程员工。而且，它们可以在一定程度上实现供应和法规遵从的自动化。
4.网络钓鱼攻击将在2021年增加
电子邮件钓鱼攻击会极大地损害远程工作员工的隐私。因此，企业需要为其员工提供基本的网络安全培训，以防止他们点击可疑的电子邮件链接。如果他们不了解网络钓鱼攻击的严重性，则很有可能最终会破坏其重要数据。除了网络钓鱼攻击之外，远程工作的员工还应执行其他步骤，以确保其在线完成任务。
这些步骤可能是使用强密码或复杂密码、实施两因素身份验证，在其工作设备上安装防病毒软件等等。
人工智能的发展
人工智能(AI)的概念将在2021年发展。就人工智能的概念而言，它将机器学习和人类创造力结合起来，为企业提供实用的解决方案。
与其相反，人工智能确实具有企业需要意识到的负面影响。需要考虑这种后果，例如隐私信息泄露，以及对自动化系统和机器人缺乏控制等。
在这种情况下，负责任的人工智能(AI)的作用就派上了用场。这是因为它确保了与组织价值观、用户需求、社会规范相关联的人工智能技术的透明和实际使用。
除此之外，负责任的人工智能(AI)可帮助企业根据基本原理和批判性思维做出决策。此外，它还可以防止企业使用具有偏见的数据来影响用户的信任和隐私。
如果企业能够理解负责任的人工智能(AI)的真正潜力，则他们就能全面克服各种安全风险，如隐私丢失、对机器人控制不足等。
人工智能在未来一年的网络安全趋势中扮演着重要角色
人工智能对于网络安全来说是一把双刃剑。综上所述，企业需要开发强大的IT基础设施和人工智能防御系统，以应对2021年即将到来的网络安全挑战。除了IT基础设施之外，企业应该对远程员工进行在线安全教育，其中包括保护其重要数据。
同样，他们应该知道在远程工作时如何保护企业的数字资产。预计以上所述的网络安全攻击数量都将上升。因此，只有那些遵循或应用有效的网络安全措施以应对互联网上的各种网络安全问题的企业才能更好地生存。
人工智能在网络攻防领域的应用及问题分析
网络攻防对抗不断演化升级，人工智能因其具备自学习和自适应能力，可为自动化网络攻防提供助力，已成为网络攻防的核心关键技术之一。
[[415725]]
一、人工智能在网络攻防领域的应用为了更好地理解人工智能在网络攻防领域的应用，现从攻防视角及攻防主体采用人工智能意图这两个维度共四个方面展开(如下图所示)。
人工智能在网络攻防领域的应用
(一)人工智能助力网络攻击人工智能使得网络攻击更加强大，一方面，可将参与网络攻击的任务自动化和规模化，用较低成本获取高收益;另一方面，可以自动分析攻击目标的安全防御机制，针对薄弱环节定制攻击从而绕过安全机制，提高攻击的成功率。调研近几年人工智能在网络攻击方面的应用研究显示，利用人工智能开展的网络攻击方式包括但不限于：定制绕过杀毒软件的恶意代码或者通信流量;智能口令猜解;攻破验证码技术实现未经授权访问;鱼叉式网络钓鱼;对攻击目标的精准定位与打击;自动化渗透测试等。
1.恶意代码免杀。利用深度强化学习网络提出一种攻击静态PE(移植文件)反杀毒引擎的黑盒攻击方法，这是当前第一个可以产生对抗性PE恶意代码的工作，在模拟现实的攻击中达到90%的成功率。
2.基于生成对抗网络框架IDSGAN生成恶意流量。基于生成对抗网络的框架IDSGAN利用生成器将原始恶意流量转换为对抗性恶意流量，可以欺骗和逃避入侵检测系统。实验证明，多数对抗流量可以欺骗并绕过现有的入侵检测系统的检测，规避率达到99.0%以上。
3.智能口令猜解。基于多数据集的密码生成模型GENPass，借用PCFG(概率上下文无关文法)和GAN(生成式对抗网络)的思想，通过长短时记忆神经网络训练，提高了单数据集的命中率和多数据集的泛化性。
4.新型文本验证码求解器。提出一种基于GAN的通用有效的文本验证码求解器。通过将验证码所用的字符、字符旋转角度等参数化，自动生成验证码训练数据，并使用迁移学习技术调优模型，提高了验证码识别模型的泛化能力和识别精度。该方法可以攻破全球排名前50网站使用的所有文本验证码(截至2018年4月)，包括谷歌、eBay、微软、维基百科、淘宝、百度、腾讯、搜狐和京东等网站。
5.自动化高级鱼叉式钓鱼。基于Twitter的端到端鱼叉式网络钓鱼方法，采用马尔可夫模型和递归神经网络(LSTM)构造更接近于人类撰写的推文内容。经测试发现，该钓鱼框架成功率为30%~60%，一度超过手动鱼叉式网络钓鱼的成功率(45%)。
6.网络钓鱼电子邮件生成。基于RNN(循环神经网络)的自然语言生成技术NLG，自动生成针对目标的虚假电子邮件(带有恶意意图)，并通过个人真实邮件数据和钓鱼邮件数据进行训练。实验证明，RNN生成的电子邮件具有更好的连贯性和更少的语法错误，能更好地进行网络钓鱼电子邮件攻击。
7.DeepLocker新型恶意软件。该恶意软件具有高度的针对性及躲避性，可以隐藏恶意意图直到感染特定目标。一旦人工智能模型(深度神经网络DNN)通过面部识别、地理定位、语音识别等方式识别到攻击目标，就会释放出恶意行为。人工智能的使用使得解锁攻击的触发条件几乎不可能进行逆向工程。
8.DeepExploit全自动渗透测试工具。利用A3C分布式训练的强化学习高级版算法实现自动化渗透测试，可以自动完成情报收集、威胁建模、漏洞分析、漏洞利用、后渗透并生成报告。
9.基于深度学习的DeepDGA算法。采用Alexa网站上收录的知名域名作为训练数据，利用LSTM算法和GAN构建模型，生成的域名与正常网站域名非常相似，很难被检测出。
10.基于人工智能的漏洞扫描工具。从2019年8月开始，instagram的用户发现账户信息被黑客更改，无法登录账户;2019年11月，instagram代码中的bug导致数据泄露，在用户浏览器的网页地址中可以显示用户的密码。据推测，在两次攻击中，攻击者采用了基于人工智能的工具扫描的服务器漏洞。
以洛克希德-马丁公司于2011年提出的网络杀伤链(CyberKillChain)模型(将攻击过程划分为侦查跟踪、武器构建、载荷投递、漏洞利用、安装植入、命令与控制、目标达成共七个阶段)作为参考，描述人工智能在网络攻击中的应用研究情况(如下表所示)，可以看到黑客在网络杀伤链模型的各个攻击阶段都尝试使用人工智能技术进行优化以期获得最大收益。
人工智能在网络攻击中的应用研究
(二)人工智能助力网络防御网络安全威胁层出不穷且呈现智能化、隐匿性、规模化的特点，网络安全防御面临着极大的挑战。人工智能驱动的网络防御拥有强大的自主学习和数据分析能力，大幅缩短威胁发现与响应的间隔，实现了自动化快速识别、检测和处置安全威胁，在应对各类安全威胁发挥着重要作用。尤其是，人工智能在发现未知威胁及APT等高级威胁方面有很大优势。
人工智能为人们应对日趋复杂的网络安全问题不断提供新的思路。目前，人工智能已经应用于恶意软件/流量检测、恶意域名/URL检测、钓鱼邮件检测、网络攻击检测、软件漏洞挖掘、威胁情报收集等方面。具体应用研究包括：
1.恶意软件检测。将恶意软件样本转换为二维图像，将二维图像输入到经过训练的深度神经网络DNN，二维图像会被分类为“干净”或“已感染”。该检测方法达到了99.07%的准确性，误报率为2.58%。
2.未知加密恶意流量检测。在无法通过对有效传输载荷提取特征的情况下，基于LSTM的加密恶意流量检测模型经过为期两个月的训练之后，可以识别许多不同的恶意软件家族的未知加密恶意流量。
3.恶意(僵尸)网络流量检测。利用深度学习且独立于底层僵尸网络体系结构的恶意网络流量检测器BoTShark，采用堆叠式自动编码器Autoencoder和卷积神经网络CNN两种深度学习检测模型，以消除检测系统对网络流量主要特征的依赖性。该检测器实现了91%的分类准确率和13%的召回率。
4.基于人工智能检测恶意域名的方法。针对威胁情报误报/漏报多且不可控的特点，将威胁情报作为训练集，采用支持向量机SVM学习威胁情报背后的数据特征，通过人工智能强大的泛化能力，减少漏报并让安全系统变得可控。
5.运用机器学习检测恶意URL。结合域生成算法DGA检测的机器学习聚类算法可以获得较高的恶意URL检出率，不仅可以检测已知的恶意URL，并且也能检测到从未暴露的新变种。
6.新型网络钓鱼电子邮件检测。利用深度神经网络DNN对网络钓鱼电子邮件进行检测，并且通过实验证明DNN在钓鱼邮件的检测上可以实现94.27%的检测性能，进一步证明了深度学习技术在自动化网络钓鱼识别中的可行性。
7.基于人工智能的网络安全平台AI2。该平台结合无监督机器学习和有监督学习的方法，首先用无监督机器学习自主扫描日志文件，分析人员确认扫描结果，并将确认结果纳入AI2系统，用于对新日志的分析。该平台能检测出约85%的网络攻击。
8.基于机器学习的通用漏洞检测方法。这是第一个基于漏洞不一致性的通用漏洞检测方法。区别于已有漏洞检测方法，该方法使用两步聚类来检测功能相似但不一致的代码片段，无需花费大量时间进行样本收集、清理及打标签。同时，该方法采用手工分析聚类结果，以更快定位真正的漏洞。该方法发现了开源软件中未知的22个漏洞。
9.基于深度学习的威胁情报知识图谱构建技术。利用深度置信网络DBN训练的模型，对威胁情报的实体和实体关系进行自动化抽取。该方法较浅层神经网络的识别准确率有较大提高，比人工抽取的速率也有很大提高，可为自动化构建威胁情报知识图谱提供有力的保障。
10.基于混合词向量深度学习模型的DGA域名检测方法。首次结合了DGA域名的字符级词向量和双字母组词向量，以提高域名字符串的信息利用度，并设计了基于混合词向量方法的深度学习模型，模型由卷积神经网络CNN和LSTM组成。实验证明该方法有着较好的特征提取能力与分类效果，并在一定程度上缓解了数据不平衡带来的负面影响。
从上述应用研究可以看出，目前人工智能应用研究主要以恶意行为检测为主，在检测成果基础上不断提升响应处置、积极防御和威胁预测的能力。
(三)针对人工智能自身安全问题的攻击随着人工智能的广泛应用，由于技术不成熟及恶意应用导致的安全风险逐渐暴露，包括深度学习框架中的软件实现漏洞、恶意对抗样本生成、训练数据投毒及数据强依赖等。黑客可通过找到人工智能系统弱点以绕过防御进行攻击，导致人工智能所驱动的系统出现混乱，形成漏判或者误判，甚至导致系统崩溃或被劫持。人工智能的自身安全问题，主要体现在训练数据、开发框架、算法、模型及承载人工智能系统的软硬件设备等方面，具体如下。
1.数据安全。数据集的质量(如数据的规模、均衡性及准确性等)对人工智能算法的应用至关重要，影响着人工智能算法的执行结果。不好的数据集会使得人工智能算法模型无效或者出现不安全的结果。较为常见的安全问题为数据投毒攻击，通过训练数据污染导致人工智能决策错误。例如，垃圾邮件发送者通过在垃圾邮件中插入“好话”，实现简单的“回避攻击”以绕过垃圾邮件过滤器中的分类器，从而使得恶意邮件逃避垃圾邮件的分类检测(最早研究)。
2.框架安全。深度学习框架及其依赖的第三方库存在较多安全隐患，导致基于框架实现的人工智能算法运行时出错。来自360安全实验室等单位的研究人员，对Caffe、TensorFlow和Torch三个主流的深度学习框架实现中存在的安全威胁进行了研究，发现框架中存在堆溢出、数字溢出等许多漏洞，其中15个漏洞拥有CVE编号。
3.算法安全。深度神经网络虽然在很多领域取得很好的效果，但是其取得好效果的原因及其算法中隐藏层的含义、神经元参数的含义等尚不清楚，缺乏可解释性容易造成算法运行错误，产生对抗性样本攻击、植入算法后门等攻击行为。有研究人员介绍了针对GmailPDF过滤的逃逸攻击，利用遗传编程随机修改恶意软件的方法，实现了对基于PDF结构特征的机器学习恶意软件分类器的逃逸。该方法不仅成功攻击了两个准确率极高的恶意PDF文件分类器，而且可对Gmail内嵌的恶意软件分类器进行攻击，只需4行代码修改已知恶意PDF样本就可以达到近50%的逃逸率，10亿Gmail用户都受到了影响。
4.模型安全。模型作为人工智能应用的核心，成为攻击者关注的重点目标。攻击者向目标模型发送大量预测查询，利用模型输出窃取模型结构、参数、训练及测试数据等隐私敏感数据，进一步训练与目标模型相同或类似模型;采用逆向等传统安全技术把模型文件直接还原;攻击者利用开源模型向其注入恶意行为后再次对外发布分享等。2017年，Papernot等人提出一种黑盒模型窃取攻击，通过收集目标分类器的输入和输出构建综合数据集，用于训练目标模型的替代品(本地构建的相似模型)，实现对目标模型的攻击。除了最新的深度神经网络外，该方法也适用于不同的机器学习分类器类型。
5.软硬件安全。除上述安全问题外，承载人工智能应用的(数据采集存储、应用运行等相关)软硬件设备面临着传统安全风险，存在的漏洞容易被攻击者利用。在BlackHat2018大会上，腾讯科恩实验室介绍了在避免物理直接接触的远程攻击场景下，针对特斯拉Autopolit自动辅助驾驶系统的攻击测试情况。整个的攻击过程从利用Webkit浏览器漏洞实现浏览器任意代码执行开始，最终获得了Autopilot的控制权。
攻击者可以针对上述人工智能自身存在安全问题发起攻击，其中较为常见的攻击为对抗样本攻击，攻击者在输入数据上添加少量精心构造的人类无法识别的“扰动”，就可以干扰人工智能的推理过程，使得模型输出错误的预测结果，达到逃避检测的攻击效果。此外，对抗样本攻击具有很强的迁移能力，针对特定模型攻击的对抗样本对其他不同模型的攻击也同样有效。
(四)针对人工智能自身安全问题的防护随着数据量及算力不断提升，未来人工智能应用场景不断增多，人工智能自身安全问题成为其发展的瓶颈，人工智能自身安全的重要性不言而喻。针对人工智能自身在训练数据、开发框架、算法、模型及软硬件设备等方面的安全问题，目前较为常用的防护手段有：
1.数据安全。分析异常数据与正常数据的差异，过滤异常数据;基于统计学方法检测训练数据集中的异常值;采用多个独立模型集成分析，不同模型使用不同的数据集进行训练，降低数据投毒攻击的影响等。
2.框架安全。通过代码审计、模糊测试等技术挖掘开发框架中存在的安全漏洞并进行修复;借助白帽子、安全研究团队等社区力量发现安全问题，降低框架平台的安全风险。
3.算法安全。在数据收集阶段，对输入数据进行预处理，消除对抗样本中存在的对抗性扰动。在模型训练阶段，使用对抗样本和良性样本对神经网络进行对抗训练，以防御对抗样本攻击;增强算法的可解释性，明确算法的决策逻辑、内部工作机制、决策过程及依据等。在模型使用阶段，通过数据特征层差异或模型预测结果差异进行对抗样本检测;对输入数据进行变形转化等重构处理，在保留语义前提下破坏攻击者的对抗扰动等。
4.模型安全。在数据收集阶段，加强数据收集粒度来增强训练数据中环境因素的多样性，增强模型对多变环境的适应性。在模型训练阶段，使模型学习到不易被扰动的特征或者降低对该类特征的依赖程度，提高模型鲁棒性;将训练数据划分为多个集合分别训练独立模型，多个模型投票共同训练使用的模型，防止训练数据泄露;对数据/模型训练步骤加噪或对模型结构进行有目的性的调整，降低模型输出结果对训练数据或模型的敏感性，保护模型数据隐私;将水印嵌入到模型文件，避免模型被窃取;通过模型剪枝删除模型中与正常分类无关的神经元，减少后门神经元起作用的可能性，或通过使用干净数据集对模型进行微调消除模型中的后门。在模型使用阶段，对输入数据进行预处理，降低后门攻击可能性;在模型运行过程中引入随机性(输入/参数/输出)，使得攻击者无法获得模型的准确信息;混淆模型输出和模型参数更新等交互数据中包含的有效信息，减少模型信息可读性;采用访问控制策略(身份验证、访问次数等)限定对模型系统的访问，防止模型信息泄露;对模型文件进行校验或验证，发现其中存在的安全问题。
5.软硬件安全。对模型相关数据在通信过程或者存储时进行加密，确保敏感数据不泄露;对软硬件设备进行安全检测，及时发现恶意行为;记录模型运行过程中的输入输出数据及核心数据的操作记录等，支撑系统决策并在出现问题时回溯查证。
近几年，也出现了一些针对算法模型评估的工具或产品。瑞莱智慧和阿里于2020年分别发布了针对算法模型自身安全的检测平台，除了可对算法模型进行安全评估，还针对模型给出防御增强建议;今年5月，微软开源了内部使用的AI安全风险评估工具Counterfit，该工具可被用于进行红队演练、渗透测试及漏洞扫描，同时在遭受攻击时可以记录攻击事件。
在具体到人工智能业务应用时，还需要结合具体应用场景制定安全机制，确保业务应用的安全性。
二、人工智能应用情况及问题分析综上所述，人工智能在网络攻防领域已经有较多的应用研究，应用潜力巨大。国内外也在积极探索自动化网络攻防的可能性，但是网络攻防的独特属性及人工智能技术的特点给人工智能在网络攻防领域的应用带来一定的局限性。
(一)网络攻击人工智能在网络攻击方面的应用已经有了较多的尝试，而且取得了较好的效果。但是，人工智能的作用仍旧受限。在漏洞挖掘方面，目前相关挑战赛及赛题主要考察二进制程序的漏洞挖掘。虽然自动化工具已经显示出了较强的漏洞发现利用能力，但是对有较强的逻辑分析能力的漏洞，还无法完全靠自动化工具去挖掘。
此外，由于人工智能模型所需的计算力、人力等成本较高，现实中采用人工智能技术方法的网络攻击较少。目前，尚未有利用人工智能方法进行大范围网络攻击的真实案例。
(二)网络防御人工智能的应用大大提升了网络安全的防御水平，但是也存在一些问题。以深度学习为代表的人工智能技术虽然能自动提取特征，但面临数据饥饿、可解释性等问题。数据量越多，人工智能模型的准确性就会越高。但是，在恶意代码检测、软件漏洞挖掘等领域，仍缺乏较好的数据集，导致基于人工智能方法的检测率和准确率较低。使用深度学习等人工智能算法，虽然可以较好识别出未知威胁，却往往知其然不知其所以然，算法模型缺乏可解释性，无法确定威胁来源。
此外，由于人工智能在网络安全领域的应用比较特殊，误报的代价较高，人工智能在网络防御方面的应用多采用人工智能和人相结合的方式。2020年RSA大会针对102名网络安全行业专业人士的调查结果显示，有近60%的受访者认为，相比于人工智能的自动化处理，通过人工验证的网络安全威胁更让人信服。
三、总结展望人工智能有着独特的价值和优势。攻击者以人工智能为武器，使恶意攻击行为可以自我学习，并根据目标防御体系的差异自适应地“随机应变”，通过寻找潜在的漏洞达到攻击的目的。同时，采用人工智能技术可以改善网络安全现状，能更快地识别已知或未知威胁并及时响应，可以更好地应对复杂的网络攻击。目前，科研机构与产业界已达成共识，融入人工智能技术将成为网络攻防的新常态。人工智能在网络攻防领域的应用还处在初期阶段，人工智能只是辅助手段，距离实现真正的自动化攻防，还有很长的路要走。
人工智能在网络安全中的作用及6种可能的产品选择
在现代IT环境中，网络威胁日益突出。人们需要探索人工智能在网络安全中的六个最常见的角色及其产品。
越来越多的企业采用人工智能技术，为他们在现代IT环境中的安全工作提供帮助。数据、设备、处理能力、算法和网络系统的指数级增长(对于21世纪的任何企业而言都是宝贵的资产)也伴随着新的风险和漏洞。调研机构Gartner公司在2018年12月发布的一份报告中称，数据安全、基础设施保护和云安全是安全支出增长最快的领域，预计全球企业2019年将在网络安全风险管理方面支出约1370亿美元。
[[284962]]
面对这一现实，很多企业已经意识到，仅仅采取被动措施是不够的;它们不仅必须扩展和自动化威胁应对计划，还必须制定积极的措施。
人工智能的功能是由一系列的技术支持的，比如机器学习、深度学习、计算机视觉和自然语言处理，以检测模式并作出推论。在网络安全领域，人工智能在网络安全中的作用是识别用户、数据、设备、系统和网络行为模式，并区分异常和正常。它还帮助管理员分析大量数据，调查新类型威胁，以及更快地响应和应对威胁。
根据KaleidoInsights公司对网络安全市场和供应商的研究和分析，以下是六个常见的使用案例，其中一些供应商为下一代网络安全产品铺平了道路。
1.安全分析师和加强安全运营中心(SOC)
人工智能在网络安全中最常见的用例之一是对分析师的支持。毕竟，人工智能不太可能取代有经验的安全分析师。在机器擅长的领域，例如，分析大数据、消除人员疲劳并使其摆脱繁琐的任务，这样他们就可以利用更加复杂的技能(例如创造力、细微差别和专业知识)来增强人们的能力。在某些情况下，分析人员扩充涉及将预测分析合并到安全运营中心(SOC)工作流中，以进行分类或查询大数据集。
Darktrace公司的CyberAIAnalyst是一个软件程序，通过只显示高优先级事件来支持分析师。同时，它查询海量数据并在整个网络中枢收集调查背景，进行调查并整理低优先级案件。通过分析Darktrace的分析师如何调查警报来训练在数千个部署中开发的数据集，CyberAIAnalyst使用多种机器学习、深度学习和数学技术来处理n维数据，以机器速度生成数千个查询，并进行调查所有并行威胁。
2.新的攻击识别
尽管恶意软件或其他类型的威胁检测已经存在了很多年，通常是将可疑代码与基于签名的系统相匹配，但人工智能现在正在将技术转向推断，以预测新的攻击类型。通过分析大量的数据、事件类型、来源和结果，人工智能技术能够识别新的攻击形式和类型。这一点非常关键，因为攻击技术会随着其他技术的进步而不断发展。
FireEye公司在其MalwareGuard产品中提供了一种新的攻击识别示例。它使用机器学习算法来发现新的、变形的或高级的攻击，其中签名尚未被创建或尚未存在。其引擎利用了私人和公共数据源，其中包括大约1700万个部署的端点安全代理、基于超过100万个攻击响应小时的攻击分析，以及通过全球和多语种安全分析网络收集的情报。
3.行为分析和风险评分
行为分析技术已经在一些不那么关键的领域(比如广告领域)中率先出现，现在正朝着身份认证和反欺诈的关键用例发展。在这里，人工智能算法挖掘大量的用户和设备行为模式、地理位置、登录参数、传感器数据以及大量数据集，以获得用户真实身份。
万事达卡公司的NuDataSecurity是一个利用多因素大数据分析来评估风险，并为端点和用户安全性开发每个事件的动态配置文件的平台。该公司使用机器和深度学习来分析四个领域：
行为数据：浏览器类型、流量变化、浏览速度和页面停留时间。被动生物识别技术：用户的键入速度、设备角度、击键和压力。设备智能：特定设备的已知连接与新连接、位置和网络交互。行为信任联盟：万事达卡(Mastercard)的大数据存储库，可在人口级别分析数十亿个数据点。4.基于用户的威胁检测
从内部威胁到特权滥用和管理滥用再到黑客，人类是网络风险的重要而多样的载体。因此，人工智能技术应运而生，以检测用户在IT环境中的交互方式的变化，并描述他们在攻击环境中的行为特征。
LogRhythm公司正在使用其下一代SIEM平台CloudAI来进行基于用户的威胁检测。具体来说，该公司将不同的用户帐户(VPN、工作电子邮件、个人云存储)以及相关的标识符(例如用户名和电子邮件地址)映射到实际用户的身份，以建立全面的行为基准和用户配置文件。此外，CloudAI旨在随着时间的推移而发展，以用于当前和将来的威胁检测。分析师在正常的调查过程中对系统进行培训，并从整个平台的扩展客户群中收集数据以进行威胁培训。CloudAI还可以配置模型以通过连续调整进行自我修复，而无需人工干预。
VectraAI公司通过分析攻击生命周期对这种用例采用了差异化的方法。使用大约60种机器学习模型来分析攻击者在攻击生命周期中可能执行的所有行为，其中包括远程访问工具、隐藏通道、后门、侦察工具，凭证滥用和过滤。该公司声称，其Cognito平台颠覆了传统的基于用户的威胁检测方法，为防御者提供了多种机会来检测攻击者。
5.跨端点终止链的设备上检测
移动设备在企业中的兴起，开启了网络安全威胁的新时代，改变了端点安全的本质。企业通常管理传统的端点，比如笔记本电脑，而现在的移动“系统管理员”是最终用户。无论是员工、消费者还是黑客，都会采用下载、应用程序、通信渠道和网络交互等服务。此外，应用程序通常都在自己的容器中，这限制了传统的补丁管理。这种根本不同的配置意味着，攻击者的目标是通过提供根访问漏洞来持久化，从而危害整个设备，同时有效地避开企业网络。因此，移动端点保护必须保护整个杀伤链——从仿冒应用程序或网络的钓鱼尝试到各种不同的恶意攻击类型。在这里，管理员将机器学习应用于每个攻击向量，而不是为每个攻击向量部署不同的检测系统，以便预测任何给定点交互威胁系统接管的可能性。
Zimperium公司是一家专门从事移动终端安全的公司，它使用机器学习在整个移动杀伤链中提供设备上检测，监控所有恶意软件、网络钓鱼、设备、应用程序和网络交互。虽然目前没有在设备上运行机器学习模型，但Zimperium在通过基于云计算的深度学习技术派生的设备上部署了基于机器学习的检测技术，在7000万多台设备上使用，它监控来自所有恶意软件、网络钓鱼、设备、应用程序、网络交互的所有矢量的匿名数据，使用云计算技术分析特定的攻击路径，识别来自信号的噪声，运行测试场景，并部署分类器以改进逻辑和算法，然后应用于设备上检测。这个循环对于在当前和新的威胁类型(贯穿整个杀伤链)攻击或实现持久接管之前进行检测至关重要。
6.断开连接的环境中的主动安全性
随着数据和设备渗透到物理世界，保护和减少平均检测和响应时间的能力成为连接和计算能力的问题。越来越复杂的技术基础设施意味着对其运营的安全性和效率的更大需求，这些基础设施可以在航空、能源、国防和海事等关键任务环境中实现数据价值。在这些环境中，计算密集度更高的人工智能应用程序仍处于萌芽状态，但新技术不断涌现，可以通过本地支持促进基于机器学习的脚本、文件、文档和恶意软件分析的安全性。
SparkCognition公司自称是一家人工智能公司，而不是一家安全公司，该公司支持在断开连接的环境中使用的应用程序。当地911调度中心采用其应用程序管理其托管的敏感信息。SparkCognition公司的DeepArmor通过现场管理控制台运行。具体来说，DeepArmor使用机器学习对大约20,000个独特文件功能进行静态文件分析，以确定在几秒钟内恶意活动的可能性。尽管管理人员必须在这些环境中人工执行模型更新，但DeepArmor没有签名要求，这意味着它不需要每日签名扫描。
人工智能在网络安全中的作用正在扩大
当然，还有其他一些规模较小的用例可用于将机器学习和深度学习应用于网络安全需求，其中包括以下内容：
大数据查询的生成和分析威胁扩散和扩散检测自主响应代理合并和跨其他安全工具的部署威胁阻止自动化恶意软件分类攻击分类(未知、内部、持续)假阳性减少产品自我修复机器数据理解(超过800种不同的设备类型)加密的流量分析政策合规性分析网络风险保险增强网络风险尽职调查(合并和收购前)尽管机器学习具有很大的潜力，但它并不是灵丹妙药，它只是一种工具。人工智能取决于数据的质量，而在安全性方面，这不仅仅意味着大数据，还意味着多语言的实时数据，最重要的是良好的数据。它的成功需要安全专家和数据科学家之间的合作。
尽管有很高的营销要求，但现实情况是，企业安全环境是巨大的、动态的网络，管理人员必须根据持续的、不可预测的、内部和外部的威胁向量不断地监视、审计和更新。人工智能在检测、调查和应对威胁的能力方面引入了各种增强功能，但它是人员与技术的结合，能够在不断发展的安全环境中真正管理全方位的威胁。
人工智能与国家政治安全
【讲武堂】
作者：许春雷（军事科学院博士研究生，现任河北省石家庄市鹿泉区人武部副部长）
人工智能技术的蓬勃发展和广泛应用，给人类生产生活带来了极大便利，同时，也对国家主权、意识形态、执政环境、社会关系、治国理念等带来冲击，深度影响国家政治安全。充分认清人工智能对国家政治安全的挑战，研究应对之策，对于有效维护国家政治安全，意义重大。
国家大数据（贵州）综合试验区展示中心的LED显示屏。新华社发
人工智能影响政治安全的机理
作为一种颠覆性技术，人工智能进入政治领域后，既具有技术影响政治安全的一般规律，又体现出其不同于以往技术的鲜明特点。
从技术影响政治安全的一般机理来看，主要体现在三个方面。第一，技术进步不可避免地直接或间接服务于政治安全。政治安全是国家安全的根本，经济、社会、网络、军事等领域安全的维系，最终都需要以政治安全为前提条件。因此，包括技术在内的一切社会条件，首要的任务是为政治安全提供服务和保证。综观人类历史上的技术进步，往往被首先考虑用于维护国家安全特别是政治安全，尽管这些技术研发的初衷并非如此。人工智能亦然。第二，政治安全与技术进步相生相克、相生相长。马克思认为，先进技术进入政治领域后，有效提高了“社会控制和权力再生产”。同时，政治安全对技术进步的需求，反过来成为技术不断进步的推动力。但技术并非完美的政治工具。一旦技术利用不当、发生技术失控，或者技术自身缺陷所蕴含的风险爆发，政治安全可能被技术进步反噬。第三，技术进步倒逼政治发展转型，给政治安全带来新课题新挑战。从历史上看，技术进步对社会结构、社会关系、社会文化等带来的变化和冲击，从来不以人的意志为转移。当火枪火炮成为主战兵器时，继续用木盾藤牌来保卫政权的行为无疑是愚蠢的，迫切需要当政者转变思想观念，寻求能够有效维护政治安全的新模式新方法。当计算机网络技术逐渐普及时，西方国家政党纷纷利用互联网进行政治宣传和选举拉票。人工智能较之以往的技术，拥有前所未有的机器“主观能动性”优势，必将对政治安全理念、安全机制、安全路径等带来更大的改变。
从人工智能影响政治安全的独特机理来看，主要体现在两个方面。第一，算法和大数据将左右智能机器“认知”“判断”，继而影响政治行为体的抉择。人工智能的核心“三大件”是算法、算力和大数据。一方面，算法是否公正不偏袒、大数据是否真实完整未被删减篡改伪造污染，直接决定机器的研判结果，并影响人的判断和行为。另一方面，与传统的人口学变量的定量分析不同，大数据、云计算、机器学习等可以将数以亿计的政治行为体抽象成社会的“节点”，人工智能通过分析信息中节点的度数、介数和接近度，来揭示权力集聚规律、赢得政治威望的秘诀，这为执政安全提供了新的技术支撑和智慧渠道。第二，人工智能技术对经济、军事、社会、网络、信息等领域的影响向政治领域传导，间接冲击政治安全。作为一项赋能性技术，人工智能正在逐渐“改写”各领域的秩序规则，给各领域带来机遇和挑战。尽管以往的技术进步也是如此，但其影响的深度和广度远远不及人工智能。而且，以往各领域安全问题“错综复杂、交织并存”的程度，也远远不及人工智能时代高。其他领域的安全问题一旦发酵，极有可能冲击政治安全。
人工智能给政治安全带来新挑战
技术变革具有两面性，人工智能既是维护政治安全的新机遇，也是新挑战。
挑战之一：人工智能技术的普及应用，导致政治权力呈现出“去中心化”趋势。在人工智能时代，数据即代表着权力。掌握数据的主体既有国家权力机构，也有个人、企业团体、社会组织等非国家行为体。“互联网数据”结构的“多节点、无中心”设计，决定着处于线上社会任何位置的主体，均不可能比其他位置的主体位势高。人人都有“麦克风”“摄像机”，处处都是“舆论中心”“事发现场”，这一显著特征，弱化了传统的线下科层制国家管理结构和单向治理模式，政治话语权由政府这个传统的权力中心逐渐向社会层面弥散，国家治理难度大大增加，政治安全风险也大大增加。目前，这种风险已初露端倪。2019年9月，因有人线上传播“老师辱骂原住民学生是‘猴子’”的种族歧视谣言，印尼巴布亚省爆发严重骚乱，导致26人死亡、70余人受伤。
挑战之二：随着人工智能技术和数据垄断持续扩张，资本权力的扩张将危及国家权力边界。生产力的发展变化必将带来生产关系包括政治权力结构的调整。作为“第一生产力”的科学技术，其发展进步势必引起国家权力结构的调整。当人工智能技术广泛应用于经济社会各领域并引起变革时，将会推动国家治理结构与权力分配模式做出相应调整。从当前种种迹象来看，资本的权力依托技术和数据垄断持续扩张，将成为新时代国家治理结构调整的重大课题。一方面，人工智能技术研发门槛很高，依赖于大量的、长期的资本投入和技术积累，这导致社会各产业、各阶层、各人才群体间的技术研发能力、资源占有程度、社会影响力等方面极不平衡，以互联网商业巨头为代表的技术资本将占据明显优势。另一方面，人工智能技术强大的赋能作用，以及良好的经济社会应用前景，导致资本趋之若鹜。商业巨头实际上掌握了目前人工智能领域的大部分话语权，并正在逐步形成行业垄断。人工智能时代，巨头企业以强大资本为后盾，逐步垄断技术、控制数据，或将不可避免地在一定程度上逐渐分享传统意义上由国家所掌控的金融、信息等重要权力，进而可能插手政治事务。因此，国家是否有能力为资本权力的扩张设定合理的边界，是未来政治安全面临的重大挑战。
挑战之三：人工智能技术及其背后的数据和算法潜移默化引导公众舆论，进而影响人的政治判断和政治选择，间接把控政治走向。在人工智能时代，数据和算法就是新的权力。近年来围绕国家大选而展开的种种政治运作显示：拥有数据和技术能够从一定程度上影响政治议程。据有关媒体报道，2020年美国总统大选期间，有人利用网络社交平台的大量机器人账号，发布海量虚假信息，力图影响选民的认知、判断与选择。类似的情况，也曾出现在2016年的美国大选、2017年的英国大选和法国大选中。这些案例非常清晰地显示：只要拥有足够丰富的数据和准确的算法，技术企业就能够为竞争性选举施加针对性影响。当某种特定政治结果发生时，人们很难判断这是民众正常的利益诉求，还是被有目的地引导的结果。
挑战之四：人工智能技术可能被政治敌对势力用于实施渗透、颠覆、破坏、分裂活动。利用先进技术威胁他国政治安全，这样的例子屡见不鲜。计算机网络技术出现后，被西方国家用来进行网络窃密、网络攻击、网络勾联、传播政治谣言、意识形态渗透和进攻。人工智能时代，攻击一国人工智能系统或利用人工智能实施渗透、颠覆、破坏、分裂活动，带来的后果将比以往更为严重。
挑战之五：人工智能技术进步对主权国家参与国际竞争带来严峻挑战。人工智能是当前最尖端最前沿的技术之一，其核心技术多被美欧等发达国家所掌握。这些国家利用它提升生产自动化水平，提高劳动生产率，加快制造业回迁，将冲击发展中国家的传统比较优势，使后者在国际政治经济竞争格局和全球分工中处于更加不利的地位。通过发展军事智能化，进一步扩大对发展中国家的军事优势。国家之间一旦形成技术“代差”，综合实力差距将被进一步拉大。在这种情况下，技术强国对发展中国家实施政治讹诈和技术突袭的可能性增大。
多措并举，维护我国政治安全
政治安全事关我党生死存亡和国家长治久安，我们必须高度重视人工智能带来的政治安全挑战，多措并举，综合施策。
人工智能技术具有高度专业性和复杂性，企业、科研机构常常处于技术创新前沿，而国家政府则往往远离技术前沿，对技术的感知相对滞后，对技术的安全风险准备不足。为此，要强化风险意识，密切跟踪人工智能技术和应用的发展，运用系统思维，定期研判人工智能可能带来的政治风险，提高风险识别、防范和处置能力。要创新技术治理模式，构建政府主导，企业、研究机构、技术专家、公众等多方参与的人工智能治理体系。“治理”不同于“管理”，管理是政府单向的行为过程，治理则是一种开放的、多个利益攸关方参与的互动过程。通过多方互动，政府既可以跟踪掌握技术和应用的前沿动态、发展趋势，掌控治理主动权，又有助于企业、研究机构、专家、民众更好地了解政府关切，共商制定风险管控机制，推进治理工作的科学化民主化。
当前，我国在人工智能技术领域面临的最重大的安全威胁，是关键核心技术受制于人。从现在起到2030年，是我国抢抓机遇的关键期。要举全国之力，集全民之智，打造一批国家级人工智能研发平台，加强基础性、原创性、前瞻性技术研发，从智能芯片、基础算法、关键部件、高精度传感器等入手，加快核心技术突破。
没有规矩，不成方圆。针对技术应用风险，严格人工智能标准制定和行业监管，确保人工智能良性发展。紧跟技术发展变化，动态修订完善相关技术标准。加紧完善人工智能相关法律法规和伦理道德框架，对相关的民事与刑事责任确认、隐私和产权保护、机器伦理等问题予以明确,理顺设计者、使用者、监管者之间的权责关系。要建立健全人工智能监管体系,形成设计问责和应用监督并重的双层监管结构,实现对算法设计、产品开发、成果应用的全过程监管。积极促进行业自律,加大对数据滥用、算法陷阱、侵犯隐私、违背道德伦理、擅越权力边界等不良行为的惩戒力度。要积极主动参与人工智能国际议题设置，共同应对安全、伦理、法律等诸多挑战。抓住人工智能国际准则和配套法规刚刚起步之机，积极参与规则制定，及时宣示我国主张，努力掌握规则制定话语权和国际交往主动权。
针对外部安全风险，加强军事能力建设，为维护国家政治安全提供力量保证。要积极研究探索智能化战争理论，加快推进现代武器装备体系和人才队伍建设，强化智能化条件下部队训练演练，不断提升我军新时代军事斗争准备水平。
《光明日报》（2022年06月26日 07版）
[责编：孙宗鹤]人工智能在网络安全领域应用的挑战
0分享至人工智能并不是近年来的新概念，自上世纪50年代起就已有人工智能的相关研究了。随着相关技术的不断突破，人工智能在数十年的发展历程中也出现了数次高峰波谷，而近年来深度学习应用大获成功，开始推动人工智能在很多行业的前进。当前在某些领域，如图像识别、棋类竞技，人工智能已经演进到第三代，有了超越大部分人类的智能水平，甚至学术界已经开始讨论“强人工智能”，也就是能自我推理和决策的智能了。人工智能是否能应用在网络安全领域？这是一个非常值得探讨的问题。事实上，网络安全的本质在于攻防双方之间的对抗，而棋类竞技本质也是棋手之间的博弈，两者在某些方面存在共通之处。众所周知，以AlphaGo/AlphaGoZero为代表的对抗学习技术，已经能成功挑战人类顶尖棋手。此外，三星、脸书（Facebook）以及中科院自动化所分别以95.91%、90.86%、87.11%的胜率在2018年“星际争霸AI挑战赛”中荣获前三名。将人工智能技术应用在博弈对抗的领域似乎非常有前景，人工智能在网络安全领域的成功应用似乎也指日可待。攻击者绕开检测特征，产生漏报世界上的主要科技强国，包括中美两国，都将网络空间安全纳入到国家安全的范畴，也成立了相应的网络安全部队，换言之，网络空间对抗的最高形态，已无异于战争。孙子曰：“兵者，诡道也。”军事虽有理论支撑，但兵法运用之妙，存乎一心。真实战争不存在定式，无论是物理形态的战争还是网络空间对抗，攻击者不会遵从对方的防守体系，或者按照防守方的思路去层层突破，从古到今以弱胜强的经典战役均是出其不意、攻其不备，找到对方的弱点和漏洞，重点突破。更何况，如今国家支持的威胁（state-sponsoredthreat），已经超越了地理或物理的限制，攻击方将未知漏洞纳入武器库，持续潜伏，伺机一击必杀。越是对抗高的场景，检测引擎越容易被攻击者绕过。本质上人工智能将模型特征替换了规则，但如果攻击者的恶意行为模式在当前的人工智能算法选择的特征集之外，就有可能绕过这些算法引擎，形成“降维打击”。举一个简单的例子。企业中普遍使用网络侧的安全检测和防护机制，但现在攻击者通常会使用加密技术使恶意软件与主控端（C&C）通信以实现持久化，因而即便使用网络侧人工智能能够识别一些规则无法覆盖的新型攻击载荷，但对于加密流量则难以生效。又如，为了躲避各类网络和终端的安全探针，在近年的各类大型攻防演练中，攻击者倾向于采用前期钓鱼、社会工程（库）等方式获得内部员工的合法身份，进而在业务层窃取数据或横向移动，导致在后期，所有网络层面或终端层面的人工智能检测引擎无能为力（因为没有网络或操作系统层面的恶意攻击行为）。事实上，每年攻防演练的情势都不同，被动地补齐上一年场景中的检测能力，效果不会尽如人意。正所谓“道高一尺，魔高一丈”，攻防永远是技术、思路的对抗博弈，期望人工智能在某个细分领域获得成功以解决所有问题的思路是不切实际的，这也是当前体系化安全大脑尚不成熟的重要原因。
概念漂移，多场景检测率低深度学习在工业界的很多应用（例如图像识别）中性能优异，得益于海量样本的训练。在学术界，从事人工智能的研究者通常可以根据某个特定场景，设计一种有针对性的算法和模型，然后针对某个公开数据集或私有场景获得的数据集调整模型，以获得良好的性能。然而，对于网络安全中的样本学习，最大的挑战在于缺乏标记的样本，因为缺乏有经验的安全人员，内部环境中的攻击事件也很少。我们可以针对某次对抗演练，人工地将探针数据划分为训练集和测试集，然后在这个数据基础上训练得到模型参数，最终验证得到很好的检测准确率和召回率。但是，该场景黑白样本的绝对数量还是太少，原因是当前安全专家太少，无法对网络、终端和应用行为进行大规模标记，而一般水平的安全运营者缺乏标记能力，这与人类具有普遍认知能力的图像识别场景截然不同。这种情况导致该场景的模型参数可能在其他演练场景下性能非常糟糕，也就是概念漂移，其原因也很直观：1.攻击者会时常调整攻击手法，即便方法类似，具体攻击载荷可能与前一次存在很大差异，现有模型可能会有漏报。
2.不同机构的业务差异很大，训练环境中的白样本与测试环境的白样本不同，导致黑白样本的分界线产生偏移。
溯源图依赖爆炸，还原攻击路径困难在网络空间战场中，攻击者的行为是复杂多变的。在确定攻击事件后溯源攻击者的攻击路径，对安全运营人员来说是十分必要的。溯源如同大海捞针，困难重重，其中最大的挑战在于溯源图过于庞大，难以找到攻击者关键的攻击路径。例如在靶场环境中，攻击者先通过文件漏洞上传到服务器；然后，利用漏洞连接靶机虚拟终端采集信息并提权（提高自己在服务器中的权限以便控制全局）；接着，实现对靶机的持久化控制，并以该靶机为出发点进行内网横向移动。针对这种攻击模式，结合网络侧与终端侧数据构建有效的溯源图是进行攻击溯源的关键。溯源图主要是挖掘进程、文件、IP、注册表、服务等实体之间的依赖关系。这种依赖关系在正常用户行为中也存在。与正常用户行为相比，攻击者的攻击路径只占整个溯源图的极小部分。以前述场景为例，溯源图包含了1000多个顶点与200多万条边，而安全运营人员关注的仅仅是图1中简单的攻击路径。因此，攻击溯源首先要解决的问题就是从复杂的大规模溯源图中找到攻击者的攻击路径，也就是通常所说的依赖爆炸问题，这给溯源带来了很大的挑战。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice:Thecontentabove(includingthepicturesandvideosifany)isuploadedandpostedbyauserofNetEaseHao,whichisasocialmediaplatformandonlyprovidesinformationstorageservices.
/阅读下一篇/返回网易首页下载网易新闻客户端