人工智能对网络安全造成了什么影响
近期，北京天地和兴科技有限公司发布了一篇《请问人工智能，你对网络安全造成了什么影响？》的文章，以下是观点全文：
当前网络安全领域攻击与防御的协同进化如火如荼。像人工智能（AI）和机器学习（ML）这种先进的技术同时为恶意的攻击者也带来了攻击技术演进的机会。简单来看，对网络安全的需求比以往任何时候都更加重要。AI/ML工具在帮助抗击网络犯罪方面可能走了很长一段路，但是这些技术并非无所不能，也会被恶意黑客利用。人工智能将致力于极大地提高网络安全性，但黑客也可将其用于网络犯罪活动，这是对网络安全的真正威胁。AI可以有效地分析用户行为，推导模式并识别网络中的各种异常或不正常情况。有了这些数据，可以快速轻松地识别网络漏洞。反之，现在依赖于人类智能的职责将易于受到模仿合法的基于AI算法的恶意程序的攻击。天地和兴认为，一些企业正在热衷于将其基于AI/ML的概念或产品推向市场。但AI/ML的局限性，导致他们可能会忽略算法正在产生错误或虚假的安全感。
一、网络安全行业AI应用火热
技术和业务领导者已将网络安全行业作为当今企业中人工智能（AI）和机器学习（ML）的顶级高级用例之一。根据最新研究，在未来五年里，网络安全中的AI技术有望以每年23%的速度增长。到2026年，网络安全AI市场将从去年的88亿美元增长到382亿美元。
2020年，网络安全领域的AI将显著增长。根据Capgemini去年的《用人工智能重塑网络安全》报告研究结果显示，在2019年之前，只有五分之一的网络安全组织在其技术栈中使用了AI。但是Capgemini的研究人员表示，AI采用率将直线上升，大约有63%的组织计划在2020年底之前部署AI。最具有潜力的用例是在运营技术（OT）和物联网（IoT）。
二、AI在网络安全行业的优势
人工智能可能会是网络安全的救星。根据Capgemini研究结果显示，80%的公司都依靠AI来帮助识别威胁和阻止攻击。这是一个很大的要求，因为实际上，很少有非专家真正了解AI对安全的价值，或者该技术是否可以有效解决信息安全的许多潜在用例。
发现新型恶意软件并不是部署机器学习以提高网络安全性的唯一方法：基于AI的网络监视工具还可以跟踪用户的日常行为，从而了解其典型行为。通过分析此信息，AI可以检测异常并做出相应的反应。
领先的网络安全公司Darktrace使用机器学习来检测威胁，该公司联合首席执行官PoppyGustafsson表示，“人工智能使我们能够以一种智能的方式做出反应，了解违规行为或行为改变的相关性和后果，并实时制定相应的反应。”
Darktrace的工业免疫系统是一项尖端创新，可为运营技术实施实时的“免疫系统”，并实现传统网络防御方法的根本转变。该系统以贝叶斯数学和无监督机器学习为基础，对复杂的网络环境进行分析，以了解每个网络，设备和用户的“生活模式”。该技术不依赖于过去的攻击知识，而是像人类免疫系统一样运作，并且可以通过检测预期行为的细微变化来发现以前未知的威胁。
网络安全主管越来越相信AI对于增加响应时间和降低预防漏洞的成本至关重要。根据Capgemini的《用人工智能重塑网络安全》研究，四分之三的高管表示，网络安全领域的AI可以加快对漏洞的响应速度，无论是在检测还是补救方面。约有64%的人表示，这也降低了检测和响应的成本。
尽管人们对过度依赖AI存有疑虑，但人们似乎正在为一种中庸之道建立共识，AI并不是魔杖，而是一种有助于增强SOC和整个安全组织的人类智能（HI）的有用方法。根据WhiteHat的《人工智能与人类要素安全情感研究》，大约70%的安全专业人员同意AI通过消除多达55%的手动任务来提高团队效率。这有助于他们专注于更重要的任务并减轻压力水平。
三、AI在网络安全行业的局限
经验丰富的网络安全专家们现在正在研究的问题是：“人工智能到底能在多大程度上帮助改善安全状况和安全运营？”AI在网络安全中的成熟度到底如何？它能取代安全团队吗？网络安全行业在2020年的发展很大一部分将是如何有效平衡人工智能（AI）和人类智能（HI）。
网络安全是否会信任AI？尽管AI驱动的网络安全不断向前发展，许多安全专业人员仍认为，人类智能（HI）仍将根据具体情况提供最佳结果。白帽安全公司（WhiteHatSecurity）在RSA大会上进行的一项最新《人工智能与人类要素安全情感研究》表明，60%的安全专业人员仍然对由人类验证的网络威胁结果比人工智能生成的结果更有信心。大约三分之一的受访者表示，直觉是推动人类分析的最重要的人为因素，21%的人认为创造力是人的优势，20%的人认为以前的经验和参考框架是使人们对安全操作流程至关重要的因素。
网络安全AI真的准备就绪？OstermanResearch的《网络安全中人工智能现状》研究表明，在部署的早期阶段，部分问题是人们强烈认为AI尚未准备就绪。一些常见的投诉包括结果不准确的问题、在端点上放置某些类型的AI平台的性能权衡、使用困难以及对误报的担忧。
无法训练AI达到专家级水平？网络安全专家认为，他们对人工智能的过度依赖也令人担忧，因为他们认为他们所做的工作过于复杂，无法被机器复制。去年Ponemon的《自动化时代IT安全功能的人员配置》报告调查结果显示，超过一半的安全专家表示，他们将无法训练AI来完成其团队执行的任务，并且他们更有资格实时捕获威胁。几乎一半的人还报告说，人为干预是网络保护的必要条件。
AI可否取代专业的安全人员？但是，尽管AI和ML确实为网络安全提供了好处，但对于组织而言，重要的是要认识到这些工具并不能代替人类安全人员。因此，关于AI将解决网络技能危机的任何想法都具有广泛意义。实际上，这些解决方案通常需要安全团队花费更多的时间，这一事实经常被忽略。
例如，基于机器学习的安全性工具可能会被错误地编程，从而导致算法遗漏意外甚至明显的事情。如果该工具由于没有经过编码以考虑某些参数而错过了特定类型的网络攻击，那将会导致问题。确实，AI和ML可能会产生其他问题，因为尽管这些工具有助于防御黑客，但网络犯罪分子自己很有可能会使用相同的技术来使攻击更加有效。
例如，可以使用ML自动发送网络钓鱼电子邮件，并学习在活动中使用哪种语言，生成点击的原因以及应如何针对不同目标进行攻击。
例如，以异常检测为例。对于安全运营中心分析人员而言，能够发现网络中的任何“坏东西”确实很有价值，并且机器学习可以很好地解决此问题。但是，找到比以前更多“坏东西”的算法可能并不像听起来那样好。所有ML算法都有一个误报率（当事件是良性事件时将其标识为“不良”），其值是各种所需行为之间权衡的一部分。因此，仍然需要人工来分类这些结果，而且算法发现的“错误”越多，团队成员需要评估的事件就越多。
这并不是说这对于熟悉ML的人来说是一个特别令人惊讶的结果，只是对于那些希望采用这些解决方案的团队来说，这并不一定是常识，这可能导致人们对ML可以为他们节省多少时间的期望过高。
尽管上面的示例是关于如何将ML算法直接用于完成安全团队的某些工作的示例，但是算法也可以用于帮助用户避免犯可能带来风险的错误，从而间接地为他们提供帮助。这种方法之所以令人兴奋，是因为它开始着眼于减少进入渠道的可能事件的数量，而不是试图在事件最终导致安全事件时识别并减轻它们。不仅仅是解决最明显的问题，从长远来看，这些问题可能会带来预期的结果。
考虑ML时，另一个容易忽略的问题是数据问题。任何ML算法只有在有足够的数据可供学习时才能工作。学习需要时间。试想，在识别猫之前，您需要显示多少张互联网猫图片？模型开始运行之前，算法需要运行多长时间？学习过程所花费的时间可能比预期的长得多，因此安全团队需要考虑这一点。此外，对于某些用例而言最佳的标记数据在安全性方面供不应求。这是另一个需要“人员参与”来对安全事件进行分类并协助算法训练的领域。
（来源：美通社）
人工智能安全学习笔记
任何一项新技术的发展与应用都存在相互促进又相互制约两个方面：一方面，技术的发展能带来社会的进步与变革；另一方面，技术的应用要以安全为前提，要受到安全保障机制的制约。
人工智能安全人工智能安全分为三个子方向：
人工智能助力安全（AIforSecurity）人工智能内生安全（AISecurity）人工智能衍生安全（AISafety）其中，助力安全体现的是人工智能技术的赋能效应；内生安全和衍生安全体现的是人工智能技术的伴生效应。人工智能系统并不是单纯依托技术而构建，还需要与外部多重约束条件共同作用，以形成完备合规的系统。
人工智能安全的体系架构及外部关联如图1所示。人工智能助力安全
主要表现为助力防御和助力攻击两个方面。
在助力防御方面，防御者正在利用人工智能技术提升和扩展其原有防御方法。人工智能机器学习模型为积极主动的网络防御带来了新途径。智能模型采用积极主动的方式，而不是传统的被动应对方式；同时，利用人工智能的预测能力和机器学习的进化能力，可以为我们提供抵御复杂网络威胁的手段。本质上来讲，最重要的变化是在网络攻击发生之前就进行预警并采取阻断措施。
麻省理工学院研发的基于人工智能的网络安全平台AI2，用人工智能方法来分析网络攻击情况，帮助网络安全分析师做那些类似“大海捞针”的工作。AI2系统首先利用机器学习技术自主扫描数据和活动，把发现的结果反馈给网络安全分析师。网络安全分析师将会标注哪些是真正的网络攻击活动，并将工程师的反馈纳入AI2系统，从而用于对新日志的自动分析。在测试中，研究小组发现AI2的准确性约为现今所使用的自动分析工具的3倍，大大减少误报的概率。另外，AI2在分析过程中可以不断产生新模型，这意味着它可以快速地改善自己的预测率。系统检测越多的攻击活动，收到来自分析师的反馈越多，相对地可以不断提高未来预测的准确性。据报道，AI2通过超过3.6亿行日志文件的训练，使其可以分析出85%的攻击行为，以便告警可疑行为。
在助力攻击方面，攻击者正在利用人工智能技术突破其原有能力边界。人工智能可以赋能网络攻击，业内称之为自动化或智能化网络攻击。通过机器人在人完全不干预的情况下，自动化地进行计算机的攻击。近年来连续发生的重大黑客事件，包括核心数据库泄密、数以亿计的账户遭入侵、WannaCry勒索病毒等都具有自动化攻击的特点。通过借助自动化工具，攻击者可以在短时间内，以更高效、更隐蔽的方式对大量不同网站进行漏洞扫描和探测，尤其对于0day/Nday漏洞的全网探测，将会更为频繁和高效。人工智能强大的数据挖掘和分析能力，以及由此带来的智能化服务，经常被黑客组织加以利用，借助于人工智能技术，形成更为拟人化和精密化的自动化攻击趋势，这类机器人模拟真人的行为会更聪明、更大胆，也更难以追踪和溯源。当前，自动化、智能化的网络攻击正在不断让网络安全防线频频失守，而这显然需要引起网络安全行业的足够重视，需要从了解自动化网络攻击行为特点入手，及时采取措施。
人工智能内生安全
人工智能内生安全指的是人工智能系统自身存在脆弱性。脆弱性的成因包含诸多因素，人工智能框架/组件、数据、算法、模型等任一环节都可能给系统引入脆弱性。
在框架/组件方面，难以保证框架和组件实现的正确性和透明性是人工智能的内生安全问题。框架（如TensorFlow、Caffe）是开发人工智能系统的基础环境，相当于人们熟悉的VisualC++的SDK库或Python的基础依赖库，重要性不言而喻。
在数据方面，缺乏对数据正确性的甄别能力是人工智能的内生安全问题。例如，数据的丢失和变形、噪声数据的输入，都会对人工智能系统形成严重的干扰。
在算法方面，难以保证算法的正确性是人工智能的内生安全问题。智能算法存在的安全缺陷一直是人工智能安全中的严重问题。例如，对抗样本就是一种利用算法缺陷实施攻击的技术，自动驾驶汽车的许多安全事故也可归结为由于算法不成熟而导致的。
在模型方面，难以保证模型不被窃取或污染是人工智能的内生安全问题。模型是一个可拷贝、可修改的实体文件，就存在被窃取和被植入后门的安全风险，这就是人工智能模型安全需要研究的问题。
人工智能自身存在着脆弱性，例如对抗样本就是人工智能的内生安全问题。对抗样本是机器学习模型的一个有趣现象，反映出了人工智能算法的弱点。攻击者通过在源数据上增加人类难以通过感官辨识到的细微改变，但是却可以让机器学习模型接受并做出错误的分类决定。一个典型的场景就是图像分类模型的对抗样本，通过在图片上叠加精心构造的变化量，在肉眼难以察觉的情况下，让分类模型产生误判。对抗样本除在图像识别领域存在，也在其他领域存在，如语音、文本等。从网络安全领域看，同样存在类似于对抗样本的攻击问题，攻击者通过对恶意代码插入扰动操作就有可能对人工智能模型产生欺骗。例如，有人就设计了一个恶意样本，让分类器将一个存有恶意行为的软件认定为良性的变体，从而可以构造能自动逃逸PDF恶意软件分类器的攻击方法，以此来对抗机器学习在安全中的应用。上述安全问题都可能会导致同样后果，就是导致人工智能系统发生错误的决策、判断，以及系统被控制等问题。
人工智能衍生安全
人工智能衍生安全指的是人工智能系统因自身脆弱性而导致危及其他领域安全。衍生安全问题主要包括四类：
人工智能系统因存在脆弱性而可被攻击人工智能系统因自身失误引发安全事故人工智能武器研发可能引发国际军备竞赛AIA一旦失控将危及人类安全人工智能的失误可能会给人类带来灾难，从而会形成衍生安全问题。2016年5月7日，在佛罗里达州公路上一辆处于“自动驾驶”模式的特斯拉ModelS以74英里的时速，撞上了拐弯中的白色拖挂式大货车。ModelS从货车车底穿过，车顶被完全掀飞，40岁的驾驶员JoshuaBrown不幸死亡。出事路段限制时速为65英里/时。由于“自动驾驶”模式车前的高清摄像头为长焦镜头，当白色拖挂卡车进入视觉区域内时，摄像头只能看到悬浮在地面上的卡车中部，而无法看见整个车辆；此外，当时阳光强烈(蓝天白云)，使得自动驾驶系统无法识别出障碍物是一辆卡车，而更像是飘在天上的云，导致自动刹车未生效。这次事故引发了外界对自动驾驶汽车安全性的争议。这种自动驾驶的缺陷导致人类伤亡的事情，是典型的人工智能衍生安全的案例。
《人工智能安全论述》方滨兴1,2,3崔翔2,3顾钊铨2,3方滨兴院士：人工智能安全之我见人工智能安全方滨兴
人工智能安全风险分析与内涵1、新的攻击威胁：
攻击方法：对抗样本的攻击、数据投毒、模型窃取、人工智能系统攻击
攻击影响：模型的训练、测试和推断过程中均可能遭受攻击；危害数据和模型的机密性、完整性和可用性。
2、人工智能安全隐患
①算法模型安全隐患：算法是人写的，模型也是人写的，都可能有缺陷，有歧视，有黑箱操作的可能。
②数据安全与隐私保护隐患：采集数据、使用数据、存储数据都不同程度的滥用泄露。
③基础设施安全隐患：简单理解，人工智能也得依赖数据库、操作系统、代码。这些就是基础设施，一旦这些基础被黑客控制了，数据就被泄露了。
④应用安全隐患：自动驾驶（黑客远程入侵控制导致撞车）、生物特征识别（小学生用照片成功忽悠人脸识别）、智能音箱等等。
⑤人工智能滥用：利用语音合成技术假扮受害人亲属实施诈骗、人工智能技术破解登录验证码的效果越来越好、且难以防范、利用人工智能技术模仿人类，如换脸、手写伪造、人声伪造、聊天机器人。
3、安全影响：
国家安全影响：人工智能可用于构建新型军事打击力量，对国防安全造成威胁。
社会伦理挑战：智能人工机器人替代人，造成大量失业；人们不去恋爱了，就和机器人恋爱。
人身安全风险：抽象
人工智能安全标准化白皮书（2019版）
网络空间安全基于计算的学科，涉及技术，人员，信息和流程，可确保在对手的上下文中进行有保证的操作。它涉及安全计算机系统的创建，操作，分析和测试。这是一门跨学科的学习课程，包括法律，政策，人为因素，道德和风险管理等方面。
网络空间安全不仅关注传统信息安全所研究的信息的保密性、完整性和可用性，同时还关注构成网络空间的基础设施的安全和可信，以及网络对现实社会安全的影响。
专业解析：国际上习惯用机密性，完整性和可用性这三个属性（简称CIA）称为安全性的三个要素。凡是在网络空间中，涉及到CIA三个要素之一的内容，都纳入网络空间安全范畴。包括：防止信息被泄密、防止未授权的访问与篡改、防止系统不可用。
网络空间
网络空间是信息环境中一个整体域，它由独立且相互依存的信息基础设施和网络组成。包括了互联网、电信网、计算机系统、嵌入式处理器和控制器系统。
专业解析：专业上通常把遵循ISO/OSI7层协议框架（有时用TCP/IP协议框架）的设备统称为IT(InformationTechnology)设备或系统，例如路由器、服务器、PC，各类应用软件等。如果把整个范围扩大到所有可以连接到网络上的非IT设备系统：包括工业设备系统（OperationTechnology，简称OT设备）如核电站；物联网设备系统（InternetofThings，简称IoT设备）如蓝牙音箱、自动驾驶汽车。这就是网络空间的范围。特点是：海量+万物。
网络安全NetworkSecurity
为防止，检测和监视计算机网络和网络可访问资源的未经授权的访问、滥用、修改或拒绝而采取的策略、过程和做法组成。包含网络设备安全、网络信息安全、网络软件安全。
专业解析：网络安全通常是指遵循ISO7层协议框架（或TCP/IP）的IT设备之间如何保障机密性、完整性和可用性的问题。如：系统被攻击，设备通信时被黑客嗅探获取密码。特点：IT设备。
信息安全
严谨定义：ISO27001定义：保护组织有价值的信息资产机密性、完整性和可用性，而建立的组织、策略与流程。专业解析：企业内部有价值的信息资产包括硬件、软件、服务、人员、数据、无形资产等。如何保护这些资产的机密性、完整性和可用性。例如：防止公司重要数据库服务器被破坏。可能是外部黑客，也可能是内部人员破坏。
数据安全
严谨定义：维基百科：保护数字数据免受破坏力和未经授权用户的有害行为的侵害，例如网络攻击或数据泄露。
专业解析：结构化数据、半结构化数据及非结构化数据在其整个生命周期中的机密性、完整性和可用性的保护。
重要性
进入21世纪，随着信息化建设和IT技术的快速发展，各种网络技术的应用更加广泛深入，同时出现很多网络安全问题，致使网络安全技术的重要性更加突出，网络安全已经成为各国关注的焦点，不仅关系到机构和个人用户的信息资源和资产风险，也关系到国家安全和社会稳定，已成为热门研究和人才需求的新领域。必须在法律、管理、技术、道德各方面采取切实可行的有效措施，才能确保网络建设与应用“又好又快”地稳定发展。
网络空间已经逐步发展成为继陆、海、空、天之后的第五大战略空间，是影响国家安全、社会稳定、经济发展和文化传播的核心、关键和基础。网络空间具有开放性、异构性、移动性、动态性、安全性等特性，不断演化出下一代互联网、5G移动通信网络、移动互联网、物联网等新型网络形式，以及云计算、大数据、社交网络等众多新型的服务模式。
网络安全已经成为世界热门研究课题之一，并引起社会广泛关注。网络安全是个系统工程，已经成为信息化建设和应用的首要任务。网络安全技术涉及法律法规、政策、策略、规范、标准、机制、措施、管理和技术等方面，是网络安全的重要保障。
信息、物资、能源已经成为人类社会赖以生存与发展的三大支柱和重要保障，信息技术的快速发展为人类社会带来了深刻的变革。随着计算机网络技术的快速发展，我国在网络化建设方面取得了令人瞩目的成就，电子银行、电子商务和电子政务的广泛应用，使计算机网络已经深入到国家的政治、经济、文化和国防建设的各个领域，遍布现代信息化社会的工作和生活每个层面，“数字化经济”和全球电子交易一体化正在形成。网络安全不仅关系到国计民生，还与国家安全密切相关，不仅涉及到国家政治、军事和经济各个方面，而且影响到国家的安全和主权。随着信息化和网络技术的广泛应用，网络安全的重要性尤为突出。因此，网络技术中最关键也最容易被忽视的安全问题,正在危及网络的健康发展和应用，网络安全技术及应用越来越受到世界的关注。
jtj2008知道合伙人教育行家https://blog.csdn.net/agiogo/article/details/115861564