人工智能的安全问题不容忽视
现在有很多技术可以欺骗人工智能，也有很多人工智能技术被用来欺骗人。在人工智能（AI）时代，安全问题不容忽视。
近几年，人工智能技术在很多领域都取得了初步的成功，无论是图像分类、视频监控领域的目标跟踪，还是自动驾驶、人脸识别、围棋等方面，都取得了非常好的进展。那么，人工智能技术到底安全不安全?事实上，目前的人工智能技术还存在很多问题。
人工智能并不安全
现在有很多技术可以欺骗人工智能，如在图片上加入一些对抗干扰。所谓对抗干扰，就是针对智能判别式模型的缺陷，设计算法精心构造与正常样本差异极小、能使模型错误识别的样本。如图1所示，本来是一幅手枪的图片，如果加入一些对抗干扰，识别结果就会产生错误，模型会识别为不是枪。在人的前面挂一块具有特定图案的牌子，就能使人在视频监控系统中“隐身”(见图2)。在自动驾驶场景下，如果对限速标识牌加一些扰动，就可以误导自动驾驶系统识别成“Stop”(见图3)，显然这在交通上会引起很大的安全隐患。另一方面，人工智能的一些技术现在正在被滥用来欺骗人。例如，利用人工智能生成虚假内容，包括换脸视频、虚假新闻、虚假人脸、虚拟社交账户等。
图1被暴恐检测系统识别成正常图片
图2在智能监控下隐身
图3误导自动驾驶系统
不只在图片和视频领域，在语音识别领域也存在这样的安全隐患。例如，在语音中任意加入非常微小的干扰，语音识别系统也可能会把这段语音识别错。同样，在文本识别领域，只需要改变一个字母就可以使文本内容被错误分类。
除了对抗攻击这种攻击类型外，还有一种叫后门攻击的攻击类型。后门攻击是指向智能识别系统的训练数据安插后门，使其对特定信号敏感，并诱导其产生攻击者指定的错误行为。例如，我们在对机器进行训练时，在某一类的某些样本中插入一个后门模式，如给人的图像加上特定的眼镜作为后门，用一些训练上的技巧让机器人学习到眼镜与某个判断结果(如特定的一个名人)的关联。训练结束后，这个模型针对这样一个人还是能够做出正确的识别，但如果输入另一个人的图片，让他戴上特定的眼镜，他就会被识别成前面那个人。训练的时候，模型里留了一个后门，这同样也是安全隐患。
除了对抗样本、后门外，如果AI技术被滥用，还可能会形成一些新的安全隐患。例如，生成假的内容，但这不全都是人工智能生成的，也有人为生成的。此前，《深圳特区报》报道了深圳最美女孩给残疾乞丐喂饭，感动路人，人民网、新华社各大媒体都有报道。后来，人们深入挖掘，发现这个新闻是人为制造的。现在社交网络上有很多这样的例子，很多所谓的新闻其实是不真实的。一方面，人工智能可以发挥重要作用，可以检测新闻的真假;另一方面，人工智能也可以用来生成虚假内容，用智能算法生成一个根本不存在的人脸。
用人工智能技术生成虚假视频，尤其是使用视频换脸生成某个特定人的视频，有可能对社会稳定甚至国家安全造成威胁。例如，模仿领导人讲话可能就会欺骗社会大众。因此，生成技术是否需要一些鉴别手段或者相应的管理规范，这也是亟须探讨的。例如，生成虚假人脸，建立虚假的社交账户，让它与很多真实的人建立关联关系，甚至形成一些自动对话，看起来好像是一个真实人的账号，实际上完全是虚拟生成的。这样的情况该如何管理还需要我们进一步探索和研究。
人工智能安全隐患的技术剖析
针对AI的安全隐患，要找到防御的方法，首先要了解产生安全隐患的技术。以对抗样本生成为例，其主要分为2类：一类是白盒场景下对抗样本生成;另一类为黑盒场景下对抗样本生成。白盒场景的模型参数完全已知，可以访问模型中所有的参数，这个情况下攻击就会变得相对容易一些，只需要评估信息变化的方向对模型输出的影响，找到灵敏度最高的方向，相应地做出一些扰动干扰，就可以完成对模型的攻击。黑盒场景下攻击则相对较难，大部分实际情况下都是黑盒场景，我们依然可以对模型远程访问，输入样本，拿到检测结果，但无法获得模型里的参数。
现阶段的黑盒攻击可大致分为3类。第一类是基于迁移性的攻击方法，攻击者可以利用目标模型的输入信息和输出信息，训练出一个替换模型模拟目标模型的决策边界，并在替换模型中利用白盒攻击方法生成对抗样本，最后利用对抗样本的迁移性完成对目标模型的攻击。第二类是基于梯度估计的攻击方法，攻击者可以利用有限差分以及自然进化策略等方式来估计梯度信息，同时结合白盒攻击方法生成对抗样本。在自然进化策略中，攻击者可以以多个随机分布的单位向量作为搜索方向，并在这些搜索方向下最大化对抗目标的期望值。第三类是基于决策边界的攻击方法，通过启发式搜索策略搜索决策边界，再沿决策边界不断搜索距离原样本更近的对抗样本。
有攻击就有防御，针对对抗样本的检测，目前主要有3种手段。第一种，通过训练二分类器去分类样本是否受到干扰，但通用性会比较差。通常而言，训练一个分类器只能针对某一种特定的攻击算法，但在通常情况下并不知道别人使用哪一种攻击算法。第二种，训练去噪器。所谓的对抗干扰基本上都是样本中加入噪声，通过去噪对样本进行还原，从而实现防御。第三种，用对抗的手段提升模型的鲁棒性，在模型训练中加入对抗样本，模型面对对抗样本时会具有更强的鲁棒性，提高识别的成功率，但训练的复杂度较高。整体而言，这些方法都不很理想，我们亟须研究通用性强、效率高的对抗样本的防御方法。
针对换脸视频的生成，目前主流技术是基于自动编码器进行人脸图像重建。在模型训练阶段，所有的人脸图像使用同一个编码器，这个编码器的目标是学习捕捉人脸的关键特征。对于人脸重构，每个人的脸都有一个单独的解码器，这个解码器用于学习不同人的脸所具有的独特特征。利用训练后的编码器与解码器即可进行虚假人脸生成。
针对换脸视频的鉴别，目前主流技术是基于视觉瑕疵进行鉴别，这个假设是换脸视频具有不真实的情况。因此，可以对眨眼频率、头部姿态估计、光照估计、几何估计等提取特征，利用这些特征去判断人脸的图片或者视频的真假。
对抗攻防已取得一定研究成果
目前，我们在人工智能安全技术上加大了投入，围绕人工智能安全领域的问题开展了一些研究。
第一个工作是针对视频识别模型上的黑盒对抗攻击。在该工作中，我们利用对抗扰动的迁移性，将图像预训练模型中得到的扰动作为视频帧的初始扰动，并在此基础上利用自然进化策略对这些初始扰动噪声进行纠正。当我们得到针对视频域特殊纠正后的梯度信息后，采用投影梯度下降来对输入视频进行更新。该方法可以在黑盒场景下，对主流视频识别模型进行攻击，这也是全球在视频模型黑盒攻击上的第一个工作。我们实现的结果是在目标攻击情况下，需要3万至8万次查询就可以达到93%的攻击成功率，非目标攻击只需要数百个查询就可以完成对主流模型的攻击。目标攻击是指不仅让这个模型识别错，还要指定它把这个东西识别成什么，如把A的照片识别成B。非目标攻击是指只要识别错就可以了，识别成谁则不重要，如A的照片只要不识别成A就可以。
第二个工作是基于时空稀疏的视频对抗攻击。由于视频数据的维度很高，导致攻击算法的复杂度往往较高。对此，我们提出了基于时空稀疏的视频数据对抗攻击方法。时空稀疏是指在生成对抗扰动时，仅对特定帧的特定区域生成扰动，以此降低对抗扰动的搜索空间，提高攻击效率。在该工作中，为了实现时空稀疏，我们根据启发式规则衡量每个帧的重要性，选择视频帧的子集进行扰动;同时，在空间上我们选择指定帧的写入区域，如针对前景运动的人做一些干扰。以此实现高效的视频黑盒攻击。
第三个工作是针对视频识别模型进行后门攻击。针对后门攻击，之前的研究都集中于图像领域，且都是生成固定的棋盘格式的后门，这种方法在视频上的攻击成功率极低。对此，我们提出了一种针对视频数据的后门攻击方法。在该工作中，我们首先对视频数据进行后门生成，并将后门图案安插在视频中不显眼的角落，同时我们对原始视频其他内容施加一些对抗干扰，使得我们识别的模型更加侧重利用后门，以此得到污染数据，并用污染的数据替换原始数据集里对应的数据，实现后门攻击。该工作在公开数据集上取得了比较好的攻击结果，在很多类别上平均攻击成功率可以实现80%左右，远高于现有的基于图像数据的后门攻击方法。
技术对人工智能治理至关重要
未来，技术将在人工智能安全问题检测以及相应规则落实上发挥重要的作用。在保障模型安全方面，通过发展对抗攻防理论设计更加鲁棒的智能模型，确保智能系统在复杂环境下的安全运行，形成人工智能安全评估和管控能力。在隐私保护上，发展联邦学习及差分隐私等理论与技术，规范智能系统分析和使用数据的行为，保障数据所有者的隐私。针对智能系统决策的可解释性问题，发展机器学习可解释性理论与技术，提升智能算法决策流程的人类可理解性，建立可审查、可回溯、可推演的透明监管机制。在决策公平方面，可以利用统计学理论与技术，消除算法与数据中的歧视性偏差，构建无偏见的人工智能系统。最后，为了保证人工智能技术不被滥用，可以通过发展大数据计算与模式识别等理论与技术，预防、检测、监管智能技术被滥用的情况，创造有益于人类福祉的人工智能应用生态。
姜育刚，复旦大学教授、博士生导师，计算机科学技术学院院长、软件学院院长、上海视频技术与系统工程研究中心主任。
文/姜育刚
本文来自《张江科技评论》
利用人工智能 (AI) 守护网络安全
面对越来越频繁、越来越复杂的网络攻击，人工智能(AI)能够帮助资源不足的安全运营分析师提前预知和防范威胁。机器学习和自然语言处理等人工智能技术，从数以百万计的研究论文、博客和新闻报道中收集威胁情报，提供快速洞察分析，以消除日常警报的干扰，大大缩短响应时间。观看视频，了解AI如何帮助分析师整合存在于不同威胁之间的线索。
《人工智能技术在网络安全方向的应用》学习笔记
人工智能技术在网络安全方向的应用摘要：网络安全态势感知模型由态势要素提取、态势理解和态势预测组成，安全态势预测是整个安全态势感知模型中最高层次的技术，对网络安全的防御有着重要的作用。该技术与实现人工智能的基础条件相吻合，通过不同种类的安全设备、网络设备以及他们的运行日志，积累了大量的数据可供机器深度学习，对构建好的安全模型进行模拟训练，依靠分布式计算的强大数据处理能力,及时判别当前安全态势,提供在线处置方案并予以实施。同样，人工智能技术也是网络安全态势感知与在线处置的最佳选择,没有人工智能技术的支持,网络安全态势感知很难得到飞跃性质的发展，在线处置的效果也会因处置不及时而大打折扣。
关键词：人工智能网络安全网络安全态势一，引言——当前网络安全时代背景：由于移动设备和物联网设备的几何式增长，伴随着互联网的普及和网络应用的不断深入,网络的范围从广度和深度上都有了极大的扩充，涵盖了国家、社会和个人的方方面面，网络边界也由过去的清晰发展到现在的模糊，甚至到无边界。而互联网本身的开放性、国际性和自由性在增加其使用的便捷性，导致社会和经济活动越来越多地依托在网络之上,目前人们已经习惯使用网络提供的各种服务,参与各种网络活动,如电子政务、电子商务等。但安全却成为影响网络效能的重要问题，网络的普及、应用的暴增和不同网络的交织及应用人员安全意识的薄弱，因此不法人员越来越容易利用在网络上无意识泄露的个人隐私，造成网络安全威胁形势越来越严峻。
二，网络安全的内涵和主要问题网络面临的威胁大体可分为对网络中数据信息的危害和对网络设备的危害，在这里对前者进行分析。（一）广义上网络存在的威胁网络存在的威胁主要表现在以下几个方面：（1）利用网络传播病毒：通过网络传播计算机病毒，由于其强力的传播性使其破坏性大大高于单机系统，而且用户很难防范。计算机病毒具有较强的隐蔽性,在互联网不断发展的今天,各种新型病毒层出不穷,传播速度快,破坏力强,危害大。如前几年发生的WannaCry蠕虫勒索病毒事件,严重影响社会运行的正常秩序,致使英国一些医院不一些医院不能给病人做手术,而俄罗斯一些ATM取款机也受到了该病毒的感染无法取款,造成严重的危机管理问题。（2）非授权访问：没有预先经过同意，就使用网络或计算机资源被看作非授权访问，如有意避开系统访问控制机制，对网络设备及资源进行非正常使用，或擅自扩大权限，越权访问信息。它主要有以下几种形式：假冒、身份攻击、非法用户进入网络系统进行违法操作、合法用户以未授权方式进行操作等。（3）冒充合法用户造成的信息泄漏或丢失：指核心数据在有意或无意中被泄漏，例如信息在传输中丢失或泄漏（不法分子们利用搭线窃听等方式可截获机密信息，或通过对信息流向、流量、通信频度和长度等参数的分析，推出账号密码等重要信息。）。（4）破坏数据完整性：以非法手段窃得对数据的使用权，删除、修改、插入或重发某些重要信息，以取得有益于攻击者的响应；恶意添加，修改数据，以干扰用户的正常使用。（5）拒绝服务攻击，干扰系统正常运行：它不断对网络服务系统进行干扰，改变其正常的作业流程，执行无关程序使系统响应减慢。除此之外，Internet非法内容也形成了对网络的另一大威胁。有关部门统计显示，有30%-40%的Internet访问是与工作无关的，甚至有的是去访问色情、暴力、反动等站点。在这样的情况下，Internet资源被严重浪费。对互联网来说，面对形形色色、良莠不分的网络信息，如不具备识别和过滤作用，不但会造成大量非法内容出入，占用大量信道资源，造成传输堵塞等问题，而且某些含有暴力、色情、反动消息等内容的不良网站，将极大地危害青少年的身心健康，甚至危害社会和谐稳定。（二）近年来的网络安全威胁变化近年来随着互联网技术的快速发展，网络安全威胁也发生了三大重要变化：（1）攻击动机发生改变。早期的网络攻击多出于个人的好奇心，近乎一种无目的性的行为，而近年来的网络攻击或为由资金充足、训练有素的军队发起、以支持网络战，或是由复杂的犯罪组织发动，动机极具目的性与恶意性。（2）攻击的范围扩大、速度提高。史上第一起网络攻击利用了手动发现的软件漏洞，感染了单个计算机。而如今的网络攻击则利用自动识别的漏洞，可由黑客新手打包好之后在互联网上自动传播，可影响全球的计算机、平板电脑、智能手机和其他设备，其攻击范围之大不言而喻。（3）入侵的潜在影响急剧扩大。全球设备和人员联网意味着网络攻击不仅会影响数字世界，还会通过物联网和无处不在的社交媒体平台影响到现实世界，瘫痪网络会影响正常用户的使用，使合法用户被排斥而不能进入计算机网络系统或不能得到相应的服务。因此，互联网飞速发展的新时代对安全提出了更高的要求。但要实现网络安全，需借助于特征库的及时更新，然而特征值的获取必然落后于安全事件的发生，若无法第一时间给以在线处置方案则无任何作用，而且会使特征库越来越庞大，进而导致防护检测效率越来越低下，最终基于特征库的安全事件漏报、误报越来越严重严重，形成恶性循环。所以，找到帮助网络安全突破这一瓶颈的新技术就显得越发亟待。为了解决这些问题，基于人工智能的网络安全态势感知与在线处置新技术应运而生。
三、基于人工智能的信息网络安全态势感知技术介绍（一）预测态势算法预测态势主要是指利用感知系统对当前信息的收集调查,对于所预测内容的主要有关因素进行分析,并结合一定的历史资料、预测经验模型以及科学的理论方法对未来一段时期内可能出现的安全态势变化进行预测。目前，人工智能展开的安全态势预测方法主要分为以下两种:第一是专家系统预测方法，是指一种利用人工智能模仿特定领域内的人类专家的思维来对安全态势进行预测，此种预测方法需要一个具备丰富专业知识与人类预测经验的智能专家系统，能够求解较为复杂的问题，此预测方法具有易于理解、避免过于繁复的计算、逐渐丰富自身预测经验使预测精准度不断提升等优势;第二是人工神经网络的预测方法，目前所应用的人工神经网络模型包括BP网络、RBF网络、Hopfield网络等，人工神经网络虽然在近年来与小波分析、粗糙/模糊集、灰色理论以及遗传、进化、免疫等算法工具相结合取得了比较好的应用效果,但是仍旧存在局部最优解的问题，即在面对优化问题时，由于问题过于复杂,所需考虑因素较多,难以在短时间内完成全局最优解，导致优化结果倾向于局部最优解的现象。（二）表征态势指标体系在对信息网络安全态势进行预测时，需要制定出一鯇整的指标体系，以此指标体系为基础为人工智能进行态势预判时提供参考标准，并得出合理预测结果，所以此指标体系其实是人工智能工作的依托。目前所应用的指标体系中主要包括以下三类指标:第一是基础运行指标，是表征当前网络性能、传输设备负载、物流环境的一系列指标，代表着当前企业所具备的基础设施的基本情况。第二是网络威胁指标，该指标能够直接反映出网络中所潜在或已经出现的威胁,如病毒、垃圾邮件、钓鱼网站等，同时还能反映出网络被恶意攻击的程度和次数,如攻击强度、挂马密度等指数，人工智能可依据此指标。第三是网络脆弱性指标，表征的是网络整体上漏洞和脆弱性的情况，通过检测DNS服务器、核心路由器等关键设备的健康指数为安全态势预测提供基础数据。人工智能系统可依据此三项指标的检测结果为安全态势感知提供大量数据参考，既能够使系统识别危险难度减小，又能够使企业的信息网络问题反映更加直接，提醒技术人员及时对企业信息网络短板进行完善，使问题处理更加高效，令人工智能在安全态势感知方面的作用更加突出。（三）人工智能在该技术中的实现由于此感知技术基于人工智能所发展，所以能够运用大数据对所采集信息进行预处理，降低数据的后续处理难度。此技术主要运用了大数据技术中的Stream框架,此框架具备数据处理速度较快、扩展性与并发处理能力较强的优势。在具体的预处理活动中，将涉及以下几点内容:第一是数据归一,在Stream流中，系统将所收集的包括日志信息、数据流量等内容在内的数据进行统一处理，通过将其进行转化的方式使其适应系统应用方式，并作为系统进行后续分析的数据元。第二是情报知识库的关联，通过将情报库与知识库相关联的方式使企业获取到自身进行安全态势分析所需的支持信息，目的同样是为系统后续分析提供数据基础;第三是数据归并，系统通过计算分析引擎按照预置的事件流程框架将数据进行归并，在此活动中将所有事件处理完成后归纳进引擎入口并结合历史数据中的内容分析出此数据流中是否存在异常,从而触发警报。网络安全态势感知抛弃传统的特征库比对的预测方式，采用对行为特征的研判，利用获取的大量网络安全数据，采用大数据分析的方法，对网络安全给以分析、理解，建立网络安全算法模型，使用人工智能的深度学习技术，训练网络安全人工智能模型，主动发现安全威胁。对于网络安全态势感知检测到的威胁行为，在线处置系统与路由器、交换机、防火墙等网络设备和安全设备联动，限制网络连接,阻断攻击行为，隔离攻击源和攻击目的设备。对被攻击的设备进行安全态势评估,针对存在的安全隐患，采取防病毒处理、补丁安装、杩清扫、恶意软件清理等措施,待符合网络安全要求之后，恢复网络连接,开展相应服务,仍不能满足网络安全要求的设备，通知管理员进一步处理。对被动攻击源设备(被其他设备远程控制的被动充当攻击源的设备)采取与被攻击设备相同的策略进行安全加固，对主动攻击源设备(主动发起攻击的设备)除采取与被攻击设备相同的策略进行安全加固之外，检查使用人员的信息，分析是否为有意识的攻击行为,通知安全管理员进行相应处理，对于有意识的攻击行为者实行全网重点监视排查。对于各类攻击行为,在分析研判的基础上改进策略,采用人工智能深度学习技术，在实际运行处理安全故障过程中，自动修正网络安全态势感知和在线处置系统模型，提升在线处置能力，真正实现智慧安全地提升，降低人为的干预。值得注意的是，网络安全态势感知与在线处置收集的数据必须是无污染的有效数据，因为人工智能是依赖于数据的，大量的数据错误，训练出的模型必然是不正确的，故此数据的安全有效在机器学习领域至关重要。
四、人工智能在网络安全方面的技术优势人工智能是研究人类智能活动的规律，构造具有一定智能的人工系统，研究如何应用计算机模拟人类智能行为的基本理论、方法和技术。人工智能以庞大的有效数据为学习基础，培养、优化计算模型，在强大运算能力的加持下，模拟人类的智能行为。在语言处理、智能搜索、机器学习、知识获取、感知问题、神经网络等领域取得了较好的发展。人工智能在网络安全防范中可以实现以下功能：自动检测：人工智能(机器学习)可以帮助公司快速识别威胁并找到潜在风险之间的联系，从而消除流程中的人为错误。人工智能(机器学习)可以适应和学习经验和模式，而不是因果关系。今天，机器学习使机器自学成为可能。这意味着他们可以创建用于模式识别的模型，而不必等待人类开发它们。在开始采取适当的补救措施之前，训练过的AI可以利用推理来确定各种风险，例如可疑地址，奇怪文件等。异常检测：人工智能大大提高了识别网站可疑问题所需的时间。开发人员也在利用人工智能来识别那些在网站上有不良意图的人。这一过程被称为异常检测，有多种用途，其中网络安全位居榜首。根据人工智能技术，程序可以在短短几秒钟内分析大量访客，并根据他们的威胁级别和行为对其进行分类。更好的监视，搜索和分析：人工智能使公司和组织在其安全环境中拥有更大的可见性，并使它们能够提前应对威胁。由AI驱动的狩猎技术可以确定组织是否受到攻击，以便组织可以做好准备。安全认证：如果你的网站需要访客登录，需要输入表单，或者需要在网站后端提供另一层安全保障，人工智能可以更好地以很大的安全性进行认证。确保安全身份验证的一种方法是通过物理身份验证，其中人工智能使用不同的特征来识别一个人。例如，智能手机可以使用指纹扫描仪和面部识别来让你登录。这背后的过程需要程序分析关于你的脸和手指的主要数据点，以辨别登录是否真实。除此之外，人工智能还可以研究其他因素，以确定某个特定用户是否被授权登录某个技术设备。这项技术会检查你输入按键的方式、打字速度和拼写时的错误率。更快的响应时间：人工智能可以处理大量非结构化信息，从而以更高的效率提供见解。更重要的是，机器学习、人工智能可以更快地学习模式，从而加快响应时间，使其更快、更容易地在威胁造成问题之前阻止它们。一些领先的公司(例如IBM)正在网络安全中使用认知技术和AI，以使它们能够快速识别威胁并做出相应的响应。无差错的网络安全：与人类不同，人工智能在执行重复的任务时不会感到疲倦或无聊。因此，人为错误的风险大大降低。但是，人类需要与人工智能合作才能获得更好的结果。毫无疑问，人类提供了机器缺乏的常识和理性。但是，在非标准情况下，由AI设计的应用程序是更好的决策者。
五、人工智能在网络安全方面的发展前景及问题（一）积极利用人工智能赋能网络安全近年来，Agent系统、神经网络、顾问系统、机器学习等人工智能技术在网络安全防御中涌现出很多研究成果。总体而言，目前人工智能重点应用在网络安全入侵检测、恶意软件检测、态势分析等领域。
1.入侵检测技术入侵检测技术是利用各种手段方式，对异常网络流量等数据进行收集、筛选、处理，自动生成安全报告提供给用户，如DDoS检测、僵尸网络检测。目前神经网络、分布式Agent系统、顾问系统等都是重要的人工智能入侵检测技术。这也是当前网络安全领域使用最普遍的人工智能技术。传统的入侵检测技术在检测速度、检测范围和体系结构等方面均存在短板。为了弥补这些短板，智能入侵检测系统借助人工智能中的模糊信息识别、规则产生式专家系统、数据挖掘和人工神经网络等技术，提升入侵检测效率，并且可以最大程度地抵御来自于各方病毒入侵所带来的潜在威胁。
2.垃圾邮件阻止系统现如今计算机网络快速发展，电子邮件被广泛应用，为人们的工作以及商务活动的开展提供便利。对于一些不法分子，利用这一特点在其注入病毒，当邮件传递时，病毒就会导入网络中，打开邮件或链接时，病毒就会注入到计算机中，影响计算机的运行，导致信息的丢失或损坏。针对这一情况，人工智能应用在反垃圾邮件系统中，除了可以保护用户数据的安全外，最主要的是可以检测扫描用户邮件并进行智能识别，及时发现其中的敏感信息，同时采取有效防范措施阻止恶意邮件，使用户免受垃圾邮件骚扰之忧。
3.智能防火墙系统防火墙作为网络安全设备已被普遍应用。防火墙圈定一个保护的范围，并假定防火墙是唯一的出口，然后防火墙来决定是放行还是封锁进出的包。传统的防火墙有一个重大的理论假设―如果防火墙拒绝某些数据包的通过，则一定是安全的，因为这些包已经被丢弃。但实际上防火墙并不保证准许通过的数据包是安全的，防火墙无法判断一个正常的数据包和一个恶意的数据包有什么不同，而是要求管理员来保证该包是安全的。而智能防火墙引用的识别技术，可以很好地自行分析和处理相应的数据，同时又能巧妙地融合代理技术和过滤技术，不但可以降低计算机对数据的运算量，还能拓宽监控范围，有效地拦截对网络有害的数据流，从而更好地保障网络环境的安全。
4.恶意软件防御预测性恶意软件防御技术通过使用机器学习和统计模型，寻找恶意软件家族特征，预测进化方向，提前进行防御。当前，在病毒恶意软件持续增加和勒索软件突发涌现的情况下，企业对于恶意软件的防护需求非常迫切，市场上涌现一批应用人工智能技术的相关产品系统。2016年9月，安全公司SparkCognition打造人工智能AI驱动的“认知”防病毒系统DeepArmor，可准确发现和删除恶意文件，保护网络免受未知网络安全威胁。（二）人工智能网络安全风险引发现实危害2019年，在被普遍视为解决安全问题的灵丹妙药的同时，人工智能带来的网络安全危害亦持续引发全球广泛关注。一方面，人工智能自身带来的网络安全风险不断。2019年3月，网络安全业内发现全球应用最为广泛的开源机器学习框架谷歌Tensorflow存在多处漏洞，有被安插后门等风险；同期，IBM被曝未经用户许可擅自使用图片分享网站Flickr上的100万张照片进行人脸识别算法训练，人工智能训练数据的获取方法和途径侵犯用户隐私问题再次被推上舆论风口浪尖；另一方面，人工智能的恶意利用导致网络攻防全面升级。随着人工智能技术依托的算法、大数据等以很低的成本进行复制和扩散，人工智能在有效赋能网络安全防御的同时，也为黑客实施网络攻击创造了有利条件。2019年，人工智能驱动的物联网网络攻击、语音模拟钓鱼欺诈、深度伪造（Deepfake）虚假视频等已在全球造成现实危害，基于人工智能的网络攻防正发展成为一场对抗节奏呈指数级递增的猫鼠游戏。六、总结大数据和5G时代下面临的安全威胁日益加剧。人工智能技术的飞速发展,给网络安全态势预测提供了强有力的技术支持。将机器学习、深度学习等人工智能算法应用于网络安全态势预测中，通过分析历史态势信息，得到准确的预测结果，具有广阔的研究与应用前景。但当前基于人工智能的网络安全态势预测仍存在着亟待解决的问题:在提高预测准确率的同时也需要提高数据的有效性，构建多样的预测模型，以及模型稳定性不强、训练时间过长、预测周期短等问题，未来的研究除了要继续提高模型的态势预测能力外，如何让人工智能技术更好的为对应问题提供解决方案，也是研究方向的重中之重,只有及时预测与及时处置高度结合，才能真正地让人工智能技术为网络空间安全保驾护航。然而在被普遍视为解决安全问题的灵丹妙药的同时，人工智能带来的网络安全危害持续引发全球广泛关注。随着人工智能自身带来的网络安全风险不断，如何确保人工智能在网络安全领域健康发展这一议题，引起了越来越多人的重点关注。
人工智能安全学习笔记
任何一项新技术的发展与应用都存在相互促进又相互制约两个方面：一方面，技术的发展能带来社会的进步与变革；另一方面，技术的应用要以安全为前提，要受到安全保障机制的制约。
人工智能安全人工智能安全分为三个子方向：
人工智能助力安全（AIforSecurity）人工智能内生安全（AISecurity）人工智能衍生安全（AISafety）其中，助力安全体现的是人工智能技术的赋能效应；内生安全和衍生安全体现的是人工智能技术的伴生效应。人工智能系统并不是单纯依托技术而构建，还需要与外部多重约束条件共同作用，以形成完备合规的系统。
人工智能安全的体系架构及外部关联如图1所示。人工智能助力安全
主要表现为助力防御和助力攻击两个方面。
在助力防御方面，防御者正在利用人工智能技术提升和扩展其原有防御方法。人工智能机器学习模型为积极主动的网络防御带来了新途径。智能模型采用积极主动的方式，而不是传统的被动应对方式；同时，利用人工智能的预测能力和机器学习的进化能力，可以为我们提供抵御复杂网络威胁的手段。本质上来讲，最重要的变化是在网络攻击发生之前就进行预警并采取阻断措施。
麻省理工学院研发的基于人工智能的网络安全平台AI2，用人工智能方法来分析网络攻击情况，帮助网络安全分析师做那些类似“大海捞针”的工作。AI2系统首先利用机器学习技术自主扫描数据和活动，把发现的结果反馈给网络安全分析师。网络安全分析师将会标注哪些是真正的网络攻击活动，并将工程师的反馈纳入AI2系统，从而用于对新日志的自动分析。在测试中，研究小组发现AI2的准确性约为现今所使用的自动分析工具的3倍，大大减少误报的概率。另外，AI2在分析过程中可以不断产生新模型，这意味着它可以快速地改善自己的预测率。系统检测越多的攻击活动，收到来自分析师的反馈越多，相对地可以不断提高未来预测的准确性。据报道，AI2通过超过3.6亿行日志文件的训练，使其可以分析出85%的攻击行为，以便告警可疑行为。
在助力攻击方面，攻击者正在利用人工智能技术突破其原有能力边界。人工智能可以赋能网络攻击，业内称之为自动化或智能化网络攻击。通过机器人在人完全不干预的情况下，自动化地进行计算机的攻击。近年来连续发生的重大黑客事件，包括核心数据库泄密、数以亿计的账户遭入侵、WannaCry勒索病毒等都具有自动化攻击的特点。通过借助自动化工具，攻击者可以在短时间内，以更高效、更隐蔽的方式对大量不同网站进行漏洞扫描和探测，尤其对于0day/Nday漏洞的全网探测，将会更为频繁和高效。人工智能强大的数据挖掘和分析能力，以及由此带来的智能化服务，经常被黑客组织加以利用，借助于人工智能技术，形成更为拟人化和精密化的自动化攻击趋势，这类机器人模拟真人的行为会更聪明、更大胆，也更难以追踪和溯源。当前，自动化、智能化的网络攻击正在不断让网络安全防线频频失守，而这显然需要引起网络安全行业的足够重视，需要从了解自动化网络攻击行为特点入手，及时采取措施。
人工智能内生安全
人工智能内生安全指的是人工智能系统自身存在脆弱性。脆弱性的成因包含诸多因素，人工智能框架/组件、数据、算法、模型等任一环节都可能给系统引入脆弱性。
在框架/组件方面，难以保证框架和组件实现的正确性和透明性是人工智能的内生安全问题。框架（如TensorFlow、Caffe）是开发人工智能系统的基础环境，相当于人们熟悉的VisualC++的SDK库或Python的基础依赖库，重要性不言而喻。
在数据方面，缺乏对数据正确性的甄别能力是人工智能的内生安全问题。例如，数据的丢失和变形、噪声数据的输入，都会对人工智能系统形成严重的干扰。
在算法方面，难以保证算法的正确性是人工智能的内生安全问题。智能算法存在的安全缺陷一直是人工智能安全中的严重问题。例如，对抗样本就是一种利用算法缺陷实施攻击的技术，自动驾驶汽车的许多安全事故也可归结为由于算法不成熟而导致的。
在模型方面，难以保证模型不被窃取或污染是人工智能的内生安全问题。模型是一个可拷贝、可修改的实体文件，就存在被窃取和被植入后门的安全风险，这就是人工智能模型安全需要研究的问题。
人工智能自身存在着脆弱性，例如对抗样本就是人工智能的内生安全问题。对抗样本是机器学习模型的一个有趣现象，反映出了人工智能算法的弱点。攻击者通过在源数据上增加人类难以通过感官辨识到的细微改变，但是却可以让机器学习模型接受并做出错误的分类决定。一个典型的场景就是图像分类模型的对抗样本，通过在图片上叠加精心构造的变化量，在肉眼难以察觉的情况下，让分类模型产生误判。对抗样本除在图像识别领域存在，也在其他领域存在，如语音、文本等。从网络安全领域看，同样存在类似于对抗样本的攻击问题，攻击者通过对恶意代码插入扰动操作就有可能对人工智能模型产生欺骗。例如，有人就设计了一个恶意样本，让分类器将一个存有恶意行为的软件认定为良性的变体，从而可以构造能自动逃逸PDF恶意软件分类器的攻击方法，以此来对抗机器学习在安全中的应用。上述安全问题都可能会导致同样后果，就是导致人工智能系统发生错误的决策、判断，以及系统被控制等问题。
人工智能衍生安全
人工智能衍生安全指的是人工智能系统因自身脆弱性而导致危及其他领域安全。衍生安全问题主要包括四类：
人工智能系统因存在脆弱性而可被攻击人工智能系统因自身失误引发安全事故人工智能武器研发可能引发国际军备竞赛AIA一旦失控将危及人类安全人工智能的失误可能会给人类带来灾难，从而会形成衍生安全问题。2016年5月7日，在佛罗里达州公路上一辆处于“自动驾驶”模式的特斯拉ModelS以74英里的时速，撞上了拐弯中的白色拖挂式大货车。ModelS从货车车底穿过，车顶被完全掀飞，40岁的驾驶员JoshuaBrown不幸死亡。出事路段限制时速为65英里/时。由于“自动驾驶”模式车前的高清摄像头为长焦镜头，当白色拖挂卡车进入视觉区域内时，摄像头只能看到悬浮在地面上的卡车中部，而无法看见整个车辆；此外，当时阳光强烈(蓝天白云)，使得自动驾驶系统无法识别出障碍物是一辆卡车，而更像是飘在天上的云，导致自动刹车未生效。这次事故引发了外界对自动驾驶汽车安全性的争议。这种自动驾驶的缺陷导致人类伤亡的事情，是典型的人工智能衍生安全的案例。
《人工智能安全论述》方滨兴1,2,3崔翔2,3顾钊铨2,3方滨兴院士：人工智能安全之我见人工智能安全方滨兴
人工智能安全风险分析与内涵1、新的攻击威胁：
攻击方法：对抗样本的攻击、数据投毒、模型窃取、人工智能系统攻击
攻击影响：模型的训练、测试和推断过程中均可能遭受攻击；危害数据和模型的机密性、完整性和可用性。
2、人工智能安全隐患
①算法模型安全隐患：算法是人写的，模型也是人写的，都可能有缺陷，有歧视，有黑箱操作的可能。
②数据安全与隐私保护隐患：采集数据、使用数据、存储数据都不同程度的滥用泄露。
③基础设施安全隐患：简单理解，人工智能也得依赖数据库、操作系统、代码。这些就是基础设施，一旦这些基础被黑客控制了，数据就被泄露了。
④应用安全隐患：自动驾驶（黑客远程入侵控制导致撞车）、生物特征识别（小学生用照片成功忽悠人脸识别）、智能音箱等等。
⑤人工智能滥用：利用语音合成技术假扮受害人亲属实施诈骗、人工智能技术破解登录验证码的效果越来越好、且难以防范、利用人工智能技术模仿人类，如换脸、手写伪造、人声伪造、聊天机器人。
3、安全影响：
国家安全影响：人工智能可用于构建新型军事打击力量，对国防安全造成威胁。
社会伦理挑战：智能人工机器人替代人，造成大量失业；人们不去恋爱了，就和机器人恋爱。
人身安全风险：抽象
人工智能安全标准化白皮书（2019版）
网络空间安全基于计算的学科，涉及技术，人员，信息和流程，可确保在对手的上下文中进行有保证的操作。它涉及安全计算机系统的创建，操作，分析和测试。这是一门跨学科的学习课程，包括法律，政策，人为因素，道德和风险管理等方面。
网络空间安全不仅关注传统信息安全所研究的信息的保密性、完整性和可用性，同时还关注构成网络空间的基础设施的安全和可信，以及网络对现实社会安全的影响。
专业解析：国际上习惯用机密性，完整性和可用性这三个属性（简称CIA）称为安全性的三个要素。凡是在网络空间中，涉及到CIA三个要素之一的内容，都纳入网络空间安全范畴。包括：防止信息被泄密、防止未授权的访问与篡改、防止系统不可用。
网络空间
网络空间是信息环境中一个整体域，它由独立且相互依存的信息基础设施和网络组成。包括了互联网、电信网、计算机系统、嵌入式处理器和控制器系统。
专业解析：专业上通常把遵循ISO/OSI7层协议框架（有时用TCP/IP协议框架）的设备统称为IT(InformationTechnology)设备或系统，例如路由器、服务器、PC，各类应用软件等。如果把整个范围扩大到所有可以连接到网络上的非IT设备系统：包括工业设备系统（OperationTechnology，简称OT设备）如核电站；物联网设备系统（InternetofThings，简称IoT设备）如蓝牙音箱、自动驾驶汽车。这就是网络空间的范围。特点是：海量+万物。
网络安全NetworkSecurity
为防止，检测和监视计算机网络和网络可访问资源的未经授权的访问、滥用、修改或拒绝而采取的策略、过程和做法组成。包含网络设备安全、网络信息安全、网络软件安全。
专业解析：网络安全通常是指遵循ISO7层协议框架（或TCP/IP）的IT设备之间如何保障机密性、完整性和可用性的问题。如：系统被攻击，设备通信时被黑客嗅探获取密码。特点：IT设备。
信息安全
严谨定义：ISO27001定义：保护组织有价值的信息资产机密性、完整性和可用性，而建立的组织、策略与流程。专业解析：企业内部有价值的信息资产包括硬件、软件、服务、人员、数据、无形资产等。如何保护这些资产的机密性、完整性和可用性。例如：防止公司重要数据库服务器被破坏。可能是外部黑客，也可能是内部人员破坏。
数据安全
严谨定义：维基百科：保护数字数据免受破坏力和未经授权用户的有害行为的侵害，例如网络攻击或数据泄露。
专业解析：结构化数据、半结构化数据及非结构化数据在其整个生命周期中的机密性、完整性和可用性的保护。
重要性
进入21世纪，随着信息化建设和IT技术的快速发展，各种网络技术的应用更加广泛深入，同时出现很多网络安全问题，致使网络安全技术的重要性更加突出，网络安全已经成为各国关注的焦点，不仅关系到机构和个人用户的信息资源和资产风险，也关系到国家安全和社会稳定，已成为热门研究和人才需求的新领域。必须在法律、管理、技术、道德各方面采取切实可行的有效措施，才能确保网络建设与应用“又好又快”地稳定发展。
网络空间已经逐步发展成为继陆、海、空、天之后的第五大战略空间，是影响国家安全、社会稳定、经济发展和文化传播的核心、关键和基础。网络空间具有开放性、异构性、移动性、动态性、安全性等特性，不断演化出下一代互联网、5G移动通信网络、移动互联网、物联网等新型网络形式，以及云计算、大数据、社交网络等众多新型的服务模式。
网络安全已经成为世界热门研究课题之一，并引起社会广泛关注。网络安全是个系统工程，已经成为信息化建设和应用的首要任务。网络安全技术涉及法律法规、政策、策略、规范、标准、机制、措施、管理和技术等方面，是网络安全的重要保障。
信息、物资、能源已经成为人类社会赖以生存与发展的三大支柱和重要保障，信息技术的快速发展为人类社会带来了深刻的变革。随着计算机网络技术的快速发展，我国在网络化建设方面取得了令人瞩目的成就，电子银行、电子商务和电子政务的广泛应用，使计算机网络已经深入到国家的政治、经济、文化和国防建设的各个领域，遍布现代信息化社会的工作和生活每个层面，“数字化经济”和全球电子交易一体化正在形成。网络安全不仅关系到国计民生，还与国家安全密切相关，不仅涉及到国家政治、军事和经济各个方面，而且影响到国家的安全和主权。随着信息化和网络技术的广泛应用，网络安全的重要性尤为突出。因此，网络技术中最关键也最容易被忽视的安全问题,正在危及网络的健康发展和应用，网络安全技术及应用越来越受到世界的关注。
jtj2008知道合伙人教育行家https://blog.csdn.net/agiogo/article/details/115861564