人工智能亟待构筑“主动免疫”安全防线
近年来，全球人工智能（AI）产业蓬勃发展，今年ChatGPT更是引爆了新一轮投资和竞争浪潮，人工智能已成为新一轮科技革命和产业变革的重要驱动力量。《经济参考报》记者在调研中发现，人工智能正显露出对网络安全行业的巨大影响力和应用潜力，如何应对人工智能可能带来的安全问题成为各界关注点，也成为网络安全工作的下一个着力点。
人工智能产业发展迅速
近年来，人工智能产业加速发展。据中国信通院测算，2022年我国人工智能核心产业规模达5080亿元，同比增长18%，企业数量超过4000家，中国人工智能产业已进入全球第一梯队。另据预测，2030年我国人工智能核心产业规模将超过1万亿元人民币，全球人工智能市场规模将达到16万亿美元。美国商会今年3月的报告指出，在未来20年里，“几乎所有企业和政府机构”都将使用人工智能，人工智能将对社会、经济和国家安全产生深远影响。
中国科学技术部部长王志刚近日在第七届世界智能大会上表示，当前全球人工智能发展进入新一轮跃升期，超大规模预训练模型的重大突破实现了人工智能的一次历史性跨越，探索出通往通用人工智能的可能路径，潜在创新发展空间巨大。
当前，主要发达国家均十分重视发展人工智能，美国、英国、法国、德国、加拿大、日本、印度、新加坡等国均已陆续发布了人工智能战略。我国也十分重视这一领域的发展，2017年就印发了新一代人工智能发展规划，提出要抢抓发展的重大战略机遇，构筑我国人工智能发展的先发优势。
今年，ChatGPT引发新一波人工智能投资和竞争浪潮。谷歌、Meta等美欧企业和我国的百度、阿里、华为、科大讯飞等都在加紧对人工智能的研究。
业界人士预计，未来5至10年将是人工智能发展的关键期。仅就生成式人工智能而言，Gartner预计其将在2至5年内进入成熟期，并将带来大量的应用机会和商业潜力，是未来的重要技术趋势。
潜藏安全风险引担忧
人工智能在网络行为异常分析、网络安全漏洞识别、人脸检测、自动威胁检测、反欺诈等很多方面都发挥了重要作用，但人工智能快速发展可能带来的潜藏风险引发广泛担忧，关于人工智能发展监管的呼声越来越高。
中国信息协会信息安全专业委员会主任叶红指出，全球范围内人工智能引发的数据泄露、网络攻击、模式误导、学习反噬等安全风险日益凸显，已成为影响和制约人工智能高质量发展的障碍。下一阶段，人工智能安全将是网络安全发力的一个重点。
国家信息中心党委专职副书记、纪委书记吴文化日前在2023西湖论剑・数字安全大会上表示，人工智能给网络安全引入了三方面风险：一是网络攻击风险，人工智能在一定程度上降低了网络犯罪的门槛，提高了攻击的有效性；二是数据泄露风险，容易造成敏感数据或个人信息泄露；三是模型误导风险，一旦遭受数据投毒或模型攻击，容易引发负面舆情扩散或重要决策偏差。
人工智能发展所呈现的新特征带来了安全挑战。中国电信股份有限公司研究院副院长/云网基础设施安全国家工程研究中心常务副主任李安民认为，人工智能安全不同于以往，其具有doublesecurity（双重安全）特征。以往的安全主要是确保系统、对象的安全，而人工智能对象特殊，目前已进入模型驱动时代，其本身具有学习、演进、变化的能力。尤其到元宇宙时代，多元、多维、全息、全能的特征和以往狭义的网络空间和网络信息安全相比，人工智能涉及的安全问题范畴无论从内涵还是外延都有极大的突破。
中国电信集团有限公司科技创新部总经理/云网基础设施安全国家工程研究中心主任王桂荣认为，由于AI技术应用渗透到方方面面，因此有可能带来社会生活和社会治理安全的问题。一些技术，如歧视性的算法、换脸技术等，如果应用不当则会带来伦理安全等风险。
国家信息技术安全研究中心原总工程师李京春认为，由于目前人工智能还不具备创新或联想的特性，尚不足以对人类安全构成威胁。但随着技术的不断演进，仍可能对国家安全、数据安全、网络安全具有影响。
安恒信息董事长范渊日前接受媒体采访时也从技术层面分析解释了AI将带来的两个挑战：一是一些自动化生成工具会带来病毒、木马、后门等出现几率的大幅提升，甚至可能是几百倍的提升，怎样来对抗、来快速发现和快速进行智能化的防护是重要挑战；二是如ChatGPT这样的应用大模型会伴随大量的数据应用，从而产生相关的安全漏洞风险。
业界人士还指出，人工智能应用不当或滥用会增加网络安全、信息安全的监管成本，引发监管滞后。中国电科首席专家董贵山对此表示，ChatGPT作为辅助工具后可能出现过度采集使用者信息的情况，如果ChatGPT本身的源代码上游系统有漏洞，也会导致不同用户的交互隐私遭泄露。
中国工程院院士沈昌祥警告，人工智能自身失误可能会给人类带来灾难；智能硬件可能被恶意用于恐怖袭击；智能工具可能被用于干预和引导政治走向；智能化武器与军备竞赛引发国际新的担忧。
未雨绸缪筑牢安全防护墙
业界人士认为，在人工智能发展过程中，要坚持安全可靠和创新发展并重，筑牢安全防护墙，应对人工智能带来的安全风险亟须未雨绸缪，从而真正拥抱人工智能发展带来的机遇。
中国科学技术协会主席万钢近日表示，要进一步推动科技、伦理、规范、标准和技术的融合，为智能体构建与科技向善的人类共同理念相契合的学习、理解和行为模式，以及更有效的安全性、可靠性、有效性的行为边界。
在沈昌祥看来，人工智能发展是趋势，但安全是发展前提，要避免产业盲目发展，需要构建主动免疫人工智能安全产业的空间。他提出，构建起业务信息、资源和管理的安全可信的三重防护框架，并设置基础软件安全可信、应用软件可信、电信安全可信和实时态势感知四个保护等级。
我国对人工智能安全高度重视，近年来，关于网络安全的法律法规、标准规范，包括各种团体标准、地方政策不断出台。
业界人士认为，从制度、标准、防范技术等方面来看，在制定了相应的框架后，仍需进一步细化深化。与产业的蓬勃发展相比，安全制度仍显得滞后，给人工智能风险防范和安全监管带来了严峻挑战。
叶红建议，要健全人工智能安全制度的体系建设。在推动产业发展时，应深刻认识到其发展可能面临的风险，健全和完善人工智能算法安全、模型安全、数据安全以及安全评估等政策和制度；要在强化人工智能安全行业治理方面加大力度，需要多元主体共同参与治理。积极鼓励相关科研院所持续开展人工智能相关重点问题研究，鼓励相关行业组织制定相关人工智能标准；鼓励第三方开展相关安全评估和检测认证。
李京春指出，人工智能安全问题需要全球共同治理，守住道德底线。要重视软件和软件供应链的安全管控，加大数据安全保护力度，要开展识别、封控等对抗AI技术研究，打击人工智能犯罪。要加强网络安全审查、数据安全审查等国家安全审查。
针对人工智能隐藏风险的新特征，方正证券5月的研报指出，在本轮人工智能产业浪潮下，网络安全产业在攻击侧、防守侧及监管侧的逻辑将发生重大变化。
记者在调研中发现，网络安全企业和技术应用企业已经在积极把握时机，主动应对人工智能的新模式、新应用带来的安全需求。
作为深耕网络安全的企业，安恒信息对人工智能安全防护有着积极看法。“‘AI+安全’，这个大幕才刚刚拉开，未来还有更大的可能性。”范渊认为。据介绍，安恒信息积极利用“AI+安全”的智能化应用给智能防护和响应产业带来的机遇。过去几年，安恒信息已经在云端数据大脑、云端AI模型生成及应用领域进行了积极布局，对类似于大语言模型带来的安全挑战已积累了一定实战经验。
中国电信也在积极构建完备的人工智能应用安全处理体系。在让人工智能更安全方面，中国电信加大相关技术研发，攻关人工智能纵深防御技术、密码技术和数据产业链化技术。目前，其自主研发的威胁检测系统、隐私计算的数据共享平台，以及数据安全流通与监管系统、数据安全的智能化关键技术等，已经在内部和客户场景得到了广泛应用。
业界专家指出，随着人工智能科技和产业的快速发展，有必要根据最新形势变化，制定实施新的人工智能发展国家战略，包括加快研发人工智能大模型、集中力量攻克人工智能关键核心技术、超前规划布局人工智能产业、培养和引进世界一流的人工智能创新人才、及时研究制定有关规则和标准等。针对一些核心技术方面的难题，特别是在基础理论、底层框架和算法核心领域，要强化和深入人工智能核心技术攻关，聚集产学研用各方力量，开展人工智能技术的联合攻关，深化人工智能的技术和产业融合创新。
【金陵读书】人工智能：AI时代的网络安全（2023618）
人工智能与信息安全：新的革命与挑战
人工智能的应用
在自然语言处理领域，基于人工智能技术的语言模型更深层次加深了计算机对语言处理的理解。例如谷歌于2019年推出的Transformer模型[5]，其在推荐系统，用户行为分析，机器翻译等语言文本任务领域被广泛应用。
在游戏对抗领域，主流的人工智能技术是强化学习[6,7]，由于游戏有明确的规则，利用强化学习算法可以使智能体(计算机)在自我对弈中找到最优解。近年来，强化学习技术开始“出圈”，逐渐被应用到各种行业中，如机器人控制、自动驾驶等领域。
人工智能自身的安全性
以深度神经网络为代表的人工智能技术由于其算法复杂，参数众多，需海量数据驱动等特性使得其自身具有众多安全缺陷，这些缺陷主要发生在两个阶段：AI模型的训练阶段以及应用阶段。其中训练阶段攻击者主要利用AI模型的数据驱动特性，针对训练数据以及训练所使用的算法发起攻击[10]，使AI模型偏离原本的训练目的。在应用阶段，攻击者主要利用AI模型本身特性来诱导模型作出错误推断。我们分别从攻击手段和防御手段两个角度来阐述在两个阶段中人工智能自身的安全性问题。
▶防御手段
使用可信任的数据集以及云托管平台。训练前应用检测机制，检查数据集是否被污染。设置准确度阈值，在每个训练周期后使用该阈值测试模型，若测试结果发生巨大变化，则极有可能存在数据污染。尽量使用离线训练，一方面攻击者无法从离线训练中得到即时反馈，另一方面也提供了审查数据的机会。
▶防御手段
可在AI模型的训练集中增添一些被干扰过的数据，使模型对含有噪声的样本更加具有鲁棒性。或使用网络蒸馏技术，在同一个训练集上训练多个不同的AI模型，最后使用这些模型的平均值作为输出，此种方法需要大量的资源，但也有更高的精确度与较高的鲁棒性。在模型成型之后，亦可对输入的数据进行一定的去除噪声预处理(如使用高斯平滑滤波器等)来达到防御对抗样本的目的。
▶定制化网络钓鱼：
网络钓鱼是—种网络攻击手段，指具有恶意动机的攻击者对自己进行伪装，利用欺诈性的电子邮件诱使用户在伪造的网站上输入敏感信息。
对于攻击者来说，社交网络是寻找受害者的重要资源。但是一般在社交媒体上的大多数网络钓鱼尝试成功率都非常的低。在2016年BlackHatUSA上，研究人员发布了一种基于递归神经网络的“定制化”钓鱼工具—SNAP-R[20]，该模型可以针对社交网络上特定用户群体发送其感兴趣的钓鱼推文。SNAP-R首先会获取一个来自Twitter用户名的列表，之后会收集已知的用户行为使用AI技术对用户进行分类，如果用户较为容易受到蛊惑且具有较高的价值，SNAP-R会使用递归神经网络技术对用户发表的历史推文，用户的回复等信息生成虚假的推文内容，并在其中植入钓鱼链接。相较于传统技术，采用递归神经网络技术生成的推文更为逼真，逻辑自洽。且SNAP-R还可以根据用户的历史上线时间对用户的活跃时间规律进行建模，使之能够在用户活跃的时候向其发送相关信息。针对SNAP-R的测试也证实，借助递归神经网络将钓鱼成功率提升了30%-35%。
c.使用生成对抗网络技术对漏洞数据集代码进行增强，生成对抗网络技术可以对数据核心特征进行建模并找到其编码空间，从编码空间中抽取的样本可能会发现之前没有见过的全新漏洞，这为漏洞发掘提供了全新的思路与方向。
▶自动化渗透测试
渗透测试是对系统进行受控攻击，进而评估其安全性，是提高网络防御能力的关键方法之一。但是，网络渗透测试需要专业的人员以及大量的时间。高效解决此问题的一种方式是将人工智能技术应用于渗透领域，以使渗透测试过程自动化。
已有研究证明了强化学习(RL)在自动渗透测试中的应用[25]。RL是一种AI优化技术，其主要优势在于它不需要环境模型即可生成攻击策略，而是通过与环境交互来学习最佳策略。强化学习将网络的已知配置作为状态，将可用的扫描作为操作，由网络上的“主机价值”来确定奖励，并使用非确定性操作对机器的扫描结果建模。模型根据获得的奖励以及过去的经验来不断调整自身的行为。以获取最大化的奖励。研究发现，只要了解网络拓扑以及可用的扫描和漏洞利用的知识，强化学习算法能够找到针对各种不同网络拓扑的最佳攻击路径。
(图5：结合深度学习的强化学习，代理使用神经网络评估更新自身的策略)
▶流量数据包自动分类
众所周知，计算机网络的保护与维护的成本日益居高不下，并且大多数保护措施无法针对0day漏洞作出高效响应，若对流量包进行深度分析又会引起侵犯用户隐私等法律问题。综上，结合机器学习的流量探测算法可以只从拦截的流量中提取元数据，并使用这些数据建立数据分类模型，无需对流量包进行深度分析，从而在一定程度上避免了侵犯用户隐私等问题，并且这种流量检测算法理论上拥有检测0day漏洞的能力。
总结
人工智能作为第四次工业革命的核心应用技术之一，正以高度自动化和自主性的特性，创造出更为巨大的利益。与此同时，伴随着“AI-as-a-Service”的普及，AI应用所需专业技能与知识门槛的降低，一定程度上增加了AI被恶意使用和滥用的可能性，进一步扩大了以人工智能为载体的安全威胁攻击面。简言之，人工智能在塑造一个更广阔前景的同时，也因攻击者的日趋深入，而成为诱发新数字、社会和政治威胁的额外动力。
归根结底，对安全从业人员和安全公司而言，人工智能对信息安全来说无疑是一把双刃剑：其带来巨大技术革新的同时，亦带来了前所未有的全新挑战。一方面，由于人工智能是一门包含了计算机科学、数学、生物等方面的综合性学科，如何掌握并使用人工智能，并将其应用在安全相关领域应成为传统信息安全从业人员以及公司的关注重点。同时，针对数据的采集以及数据隐私问题更应该被严格对待，将网络安全和数据保护放在首位，这要求相关部门、企业、研究人员进行协作，在保证数据的安全及隐私的同时，促进相关创新、法规建设、提高认识和开展研发活动，共同创建人工智能安全发展的健康环境。
引用文献：
[1]MasteringthegameofGowithdeepneuralnetworksandtreesearch.
[3]Krizhevsky,Alex,IlyaSutskever,andGeoffreyE.Hinton."Imagenetclassificationwithdeepconvolutionalneuralnetworks."Advancesinneuralinformationprocessingsystems25(2012):1097-1105.
[4]He,Kaiming,etal."Deepresiduallearningforimagerecognition."ProceedingsoftheIEEEconferenceoncomputervisionandpatternrecognition.2016.
[5]Vaswani,Ashish,etal."Attentionisallyouneed."arXivpreprintarXiv:1706.03762(2017).
[6]Mnih,Volodymyr,etal."Playingatariwithdeepreinforcementlearning."arXivpreprintarXiv:1312.5602(2013).
[7]Brown,Noam,etal."Combiningdeepreinforcementlearningandsearchforimperfect-informationgames."arXivpreprintarXiv:2007.13544(2020).
[8]Brown,TomB.,etal."Languagemodelsarefew-shotlearners."arXivpreprintarXiv:2005.14165(2020).
[9]CLIP:ConnectingTextandImages
[10]LearningtoConfuse:GeneratingTrainingTimeAdversarialDatawithAuto-Encoder.JiFeng,QizhiCai.ZhiHuaZhou.
[11]McMahan,Brendan,etal."Communication-efficientlearningofdeepnetworksfromdecentralizeddata."ArtificialIntelligenceandStatistics.PMLR,2017.
[12]Yang,Qiang,etal."Federatedmachinelearning:Conceptandapplications."ACMTransactionsonIntelligentSystemsandTechnology(TIST)10.2(2019):1-19.
[13]Goodfellow,IanJ.,JonathonShlens,andChristianSzegedy."Explainingandharnessingadversarialexamples."arXivpreprintarXiv:1412.6572(2014).
[14]Madry,Aleksander,etal."Towardsdeeplearningmodelsresistanttoadversarialattacks."arXivpreprintarXiv:1706.06083(2017).
[15]Carlini,Nicholas,andDavidWagner."Towardsevaluatingtherobustnessofneuralnetworks."2017ieeesymposiumonsecurityandprivacy(sp).IEEE,2017.
[16]Moosavi-Dezfooli,Seyed-Mohsen,AlhusseinFawzi,andPascalFrossard."Deepfool:asimpleandaccuratemethodtofooldeepneuralnetworks."ProceedingsoftheIEEEconferenceoncomputervisionandpatternrecognition.2016.
[17]Ma,Chen,LiChen,andJunhaiYong."MetaSimulator:SimulatingUnknownTargetModelsforQuery-EfficientBlack-boxAttacks."arXivpreprintarXiv:2009.00960(2020).
[18]Yin,Hongxu,etal."SeethroughGradients:ImageBatchRecoveryviaGradInversion."arXivpreprintarXiv:2104.07586(2021).
[19]GenerativeAdversarialNetworks.IanJ.Goodfellow,JeanPouget-Abadie∗,MehdiMirza,BingXu,DavidWarde.SherjilOzair,AaronCourville,YoshuaBengio.
[20]Weaponizingdatascienceforsocialengineering:AutomatedE2EspearphishingonTwitter.
[21]DeepLearningforCyberVulnerabilityDiscovery:NGTFProjectScopingStudy.deVelO,HubczenkoD,KimJ,MontagueP,XiangY,PhungD,ZhangJ,MurrayT,LeT,WenS,LiuS,NguyenV,LinG,NguyenK,LeT,NguyenT,NockR,QuL.
[22]NeuralNetwork-basedGraphEmbeddingforCross-PlatformBinaryCodeSimilarityDetection.XiaojunXu,ChangLiu,QianFeng,HengYin,LeSong,DawnSong.
[23]NeuralReverseEngineeringofStrippedBinaries.YanivDavid.UriAlon.EranYahav.
[24]WEDL-NIDS:improvingnetworkintrusiondetectionusingwordembedding-baseddeeplearningmethod.Cui,J.,Long,J.,Min,E.,Mao,Y.
[25]AutonomousPenetrationTestingusingReinforcementLearning.JonathonSchwartz.
[26]NetworkTrafficAnomalyDetectionUsingShallowPacketInspectionandParallelK-meansDataClustering.RaduVelea.CasianCiobanu.LaurentiuMargarit.IonBica.
【金陵读书】梁惠王下：《孟子》讲读之三（2022.6.15）返回搜狐，查看更多
聚焦十大领域，《人工智能赋能网络安全白皮书2023》发布
人工智能正在成为全面推进城市数字化转型的重要驱动力，其在打造智能经济、创造智享生活、塑造智慧治理上发挥重要作用，对社会进步和经济发展带来深远影响。而随着人类社会迈入万物智能互联时代，网络安全成为重要挑战之一。得益于人工智能技术领域的持续创新，人工智能不仅将变革制造、金融、医疗、商业等各个行业，也将成为网络安全产业创新和发展的强大助推器。
7月9日，在2021世界人工智能安全高端对话上，观安信息联合赛博研究院共同发布《人工智能赋能网络安全白皮书2021》，深入研究人工智能如何为网络安全带来变革，全面呈现人工智能在各个网络安全领域的应用模式与实践，共同展望人工智能赋能网络安全的未来趋势。
报告指出，随着全球进入数字化时代，网络风险呈指数级增长，网络安全威胁趋向智能，网络安全人才缺口大，现有网络安全工具存在局限性。而人工智能可从六大方面为网络安全带来变革：一是人工智能可以检测和预测新兴的未知威胁；二是人工智能使组织能够更快地对网络威胁做出响应；三是人工智能可大幅降低检测和应对网络威胁的成本；四是人工智能显著提高安全分析师的工作效率；五是人工智能能以高重复性减少人为错误；六是人工智能可降低专业技能要求。
报告分十个重点领域详细介绍了人工智能赋能网络安全的模式与实践，包括网络安全、终端安全、身份与访问安全、应用安全、数据安全、物联网安全、移动安全、工业互联网安全、业务安全和网络内容安全。报告具体分析了每个网络安全领域当前面临的挑战、问题与痛点，详细阐述了人工智能如何赋能各个具体领域，并分别通过具体场景案例介绍了人工智能在网络安全中的应用。例如，观安信息基于文本和行为分析的DGA域名检测技术可排查网络中的木马扩散、挖矿、勒索、被恶意监视等威胁，其基于知识图谱与机器学习的互联网业务风控防护系统可高效率、高准确性的识别高风险平台操作与交易行为，在各个阶段及时实行针对性的业务防范措施；BlackBerry的基于人工智能的EDR解决方案可为企业提供完全集成的自动化事件响应能力；Mobilelron基于机器学习的移动威胁检测技术可为用户提供威胁检测和高级别的威胁响应。
报告认为，虽然利用人工智能技术可为网络安全防御带来多方面的能力，但目前人工智能不能解决所有的网络安全问题，其也存在自身的局限性，并且在人工智能的应用过程中，存在亟需克服的障碍和问题，例如预测准确性、数据完整性等问题。但在未来，人工智能技术的飞速发展将推动预测算法的精度持续提高，技术投入的成本不断下降，数据源的可用性不断增加，具有更强的技术可解释性。这都将驱动人工智能更好地赋能网络安全，助力城市数字化转型时代网络安全防御体系的构筑。
上海赛博网络安全产业创新研究院是在上海市经信委和上海市社团局共同指导下的民办非企业，是国内专业从事网络空间政策和产业研究的重要智库观安信息是一家提供大数据+泛安全产品与服务的高新技术企业。公司聚焦数据安全、网络空间安全、5G安全、人工智能安全、工业互联网安全及公共安全等核心方向，为运营商、政府、金融、电力、公安、医疗等行业用户提供全面的信息安全解决方案。