人工智能对抗的场景探究
1
计算机视觉
Szegedy首次发现深度神经网络存在对抗样本是在图像分类的背景下，对原始图片添加微小的像素扰动，就能导致图像分类器误分类，且该微小扰动对人眼是不可察觉的。目前对抗攻击在图像分类领域已较为成熟，不仅提出了针对单一图像的攻击算法，还提出针对任意图像的通用扰动方法，并且针对攻击的防御方法也大量涌现。
L-BFGS：2013年，Szegedy等人[1]提出了L-BFGS简单有界约束算法，寻找一个与原始样本扰动距离最小又能够使分类器误分类的对抗样本。
FGSM（FastGradientSignMethod）[2]：该算法是由Goodfellow等人提出的，一种经典的对抗样本生成方法，在预知模型本身参数的前提下，在原始图片的梯度下降方向添加扰动以生成对抗样本。
JSMA（Jacobian-basedsaliencymapattack）[3]：该算法是由Papernot等人提出的，建立在攻击者已知模型相关信息的前提下，根据分类器的结果反馈只修改输入图片中对输出影响最大的关键像素，以欺骗神经网络。
OnePixelAttack[4]：该方法于2017年被提出，只需要修改输入图像的一个像素点就能够成功欺骗深度神经网络，OnePixel攻击不仅简单，而且不需要访问模型的参数和梯度信息。
C&W算法[5]：是一种基于优化的攻击方法，生成的对抗样本和原始样本之间的距离最短，且攻击强度最大。算法在迭代过程中，将原始样本和对抗样本之间的可区分性相结合作为新的优化目标。
其他的攻击算法包括DeepFool、UAP、BIM、PGD等，如表1所示。
表1图像攻击算法
（3）图像语义分割
图像语义分割是建立在图像目标分类的基础上，对目标区域或者像素进行分类。语义分割的对抗攻击考虑是否能够在一组像素的基础上优化损失函数，从而生成对抗样本。Xie等人[11]基于每个目标都需要经历一个单独的分类过程而提出了一种密度对抗生成网络DAG，是一种经典的语义分割和目标检测的攻击方法。该方法同时考虑所有目标并优化整体损失函数，只需要为每个目标指定一个对抗性标签，并迭代执行梯度反向传播获取累积扰动。
（4）目标检测
目标检测作为计算机视觉的核心任务也受到了对抗攻击[7]-[10]。目前,目标检测模型主要分为两类：基于提议的和基于回归的模型，这种机制使目标检测的对抗攻击相比于图像分类更复杂。文献[7]提出了一种针对两种模型可迁移且高效的目标检测的对抗样本生成方法UEA（图4），该方法利用条件GAN来生成对抗样本，并在其上多加几个损失函数来监督生成器的生成效果。
图4UEA对抗攻击训练框架
（5）自动驾驶
图5路标对抗样本
2
自然语言处理
自然语言处理是除计算机视觉外人工智能应用最为广泛的领域之一，因此人工智能本身的脆弱性也将导致自然语言处理任务出现安全隐患。但又不同于计算机视觉中对图像的攻击方式，自然语言处理领域操作的是文本序列数据，主要难点在于：①图像是连续数据，通过扰动一些像素仍然能够维持图片的完整性，而文本数据是离散的，任意添加字符或单词将导致句子缺失语义信息；②图像像素的微小扰动对人眼是不可察觉的，而文本的细微变化很容易引起察觉。目前，自然语言处理在情感分类、垃圾邮件分类、机器翻译等领域都发现了对抗样本的攻击[12]-[15]，攻击方法除了改进计算机视觉中的攻击算法，还有一部分针对文本领域新提出的攻击算法。
（1）文本分类
在情感分析任务中，分类模型根据每条影评中的词判别语句是积极或消极。但若在消极语句中扰动某些词将会使情感分类模型误分类为积极情感。Papernot等人[13]将计算机视觉领域的JSMA算法迁移到文本领域，利用计算图展开技术来评估与单词序列的嵌入输入有关的前向导数，构建雅可比矩阵，并借鉴FGSM的思想计算对抗扰动。
图6情感分析任务中的对抗样本
在垃圾邮件分类任务中，如果模型受到对抗样本的攻击，垃圾邮件发布者就可以绕过模型的拦截。文献[16]提出了一种基于GAN式的对抗样本生成方法，为了解决GAN不能直接应用到离散的文本数据上的问题，提出采用增强学习任务（REINFORCE）奖励能够同时满足使目标判别器误分类和具有相似语义的对抗样本。
图7基于增强学习的GAN
（2）机器翻译/文本摘要
不同于文本分类任务输出空间是有限的类别结果，机器翻译任务的输出空间是无限的。Cheng等人[15]提出了一种针对seq2seq模型的对抗样本生成方法，对于离散输入空间带来的问题，提出使用一种结合grouplasso和梯度正则化的投影梯度法，针对输出空间是序列数据的问题，设计了新颖的损失函数来实现无重叠和目标关键词攻击。
3
网络安全
网络安全领域已广泛使用深度学习模型自动检测威胁情报，如果将对抗攻击转移到对安全更加敏感的应用，如恶意软件探测方面，这可能在样本生成上提出重大的挑战。同时，失败可能给网络遗留严重漏洞。目前，对抗攻击在恶意软件检测、入侵检测等方向已展开对抗研究[16]-[18]。
（1）恶意软件检测
（2）恶意域名检测
图8DeepDGA生成的恶意域名
（3）DDoS攻击
在DDoS攻击领域，Peng等人[18]提出了改进的边界攻击方法生成DDoS攻击的对抗样本，通过迭代地修改输入样本来逼近目标模型的决策边界。
4
5
推荐系统
在推荐系统领域，如果推荐模型被攻击，下一个推荐的item将是人为设定的广告。基于协同过滤（CF）的潜在因素模型，由于其良好的性能和推荐因素，在现代推荐系统中得到了广泛的应用。但事实表明，这些方法易受到对抗攻击的影响，从而导致不可预测的危害推荐结果。目前，推荐系统常用的攻击方法是基于计算机视觉的攻击算法FGSM、C&W、GAN等[20]。目前该领域的对抗攻击仍存在挑战：①由于推荐系统的预测是依赖一组实例而非单个实例，导致对抗攻击可能出现瀑布效应，对某个单一用户的攻击可能影响到相邻用户；②相比于图像的连续数据，推荐系统的原始数据是离散的用户/项目ID和等级，直接扰动离散的实体将导致输入数据的语义信息发生改变。并且如何保持推荐系统对抗样本的视觉不可见性依然有待解决。
小结
目前该领域的研究方向和攻击算法众多，一种攻击算法被提出后就会出现一种应对的防御方法，接着针对该防御方法再提出新的攻击方法，但在类似的攻防循环中还缺乏评判攻击是否有效的评估方法，此外有一些领域存在对抗攻击的情况但目前仍未被研究和发现。
参考文献…
[1]SzegedyC,ZarembaW,SutskeverI,etal.Intriguingpropertiesofneuralnetworks[J].arXivpreprintarXiv:1312.6199,2013.
[2]I.Goodfellow,J.Shlens,C.Szegedy.ExplainingandHarnessingAdversarialExamples[C].ICLR,2015.
[3]N.Papernot,P.McDaniel,S.Jha,M.Fredrikson,Z.B.Celik,A.Swami.TheLimitationsofDeepLearninginAdversarialSettings[C]//ProceedingsofIEEEEuropeanSymposiumonSecurityandPrivacy.IEEE,2016.
[4]J.Su,D.V.Vargas,S.Kouichi.Onepixelattackforfoolingdeepneuralnetworks[J].IEEETransactionsonEvolutionaryComputation,2017.
[5]N.Carlini,D.Wagner.TowardsEvaluatingtheRobustnessofNeuralNetworks[C]//ProceedingsofIEEESymposiumonSecurityandPrivacy(SP).IEEE,2017:39-57.
[6]RozsaA,GüntherM,RuddEM,etal.Facialattributes:Accuracyandadversarialrobustness[J].PatternRecognitionLetters,2019,124:100-108.
[7]WeiX,LiangS,ChenN,etal.Transferableadversarialattacksforimageandvideoobjectdetection[J].arXivpreprintarXiv:1811.12641,2018.
[8]CihangXie,JianyuWang,ZhishuaiZhang,YuyinZhou,LingxiXie,andAlanYuille.Adversarialexamplesforsemanticsegmentationandobjectdetection.
[9]Shang-TseChen,CoryCornelius,JasonMartin,andDuenHorngChau.Robustphysicaladversarialattackonfasterr-cnnobjectdetector.arXivpreprintarXiv:1804.05810,2018.
[10]YuezunLi,DanielTian,XiaoBian,SiweiLyu,etal.Robustadversarialperturbationondeepproposal-basedmodels.arXivpreprintarXiv:1809.05962,2018.
[11]XieC,WangJ,ZhangZ,etal.Adversarialexamplesforsemanticsegmentationandobjectdetection[C]//ProceedingsoftheIEEEInternationalConferenceonComputerVision.2017:1369-1378.
[12]J.Li,S.Ji,T.Du,B.Li,andT.Wang,“Textbugger:Generatingadversarialtextagainstreal-worldapplications,”intheNetworkandDistributedSystemSecuritySymposium,2019.
[13]NicolasPapernot,PatrickMcDaniel,AnanthramSwami,andRichardHarang.2016.CraftingAdversarialInputSequencesforRecurrentNeuralNetworks.InMilitaryCommunicationsConference(MILCOM).IEEE,2016:49–54
[14]WongC.Dancinseq2seq:Foolingtextclassifierswithadversarialtextexamplegeneration[J].arXivpreprintarXiv:1712.05419,2017.
[16]GrosseK,PapernotN,ManoharanP,etal.Adversarialperturbationsagainstdeepneuralnetworksformalwareclassification[J].arXivpreprintarXiv:1606.04435,2016.
[17]AndersonHS,WoodbridgeJ,FilarB.DeepDGA:Adversarially-tuneddomaingenerationanddetection[C]//Proceedingsofthe2016ACMWorkshoponArtificialIntelligenceandSecurity.2016:13-21.
[18]PengX,HuangW,ShiZ.AdversarialAttackAgainstDoSIntrusionDetection:AnImprovedBoundary-BasedMethod[C]//2019IEEE31stInternationalConferenceonToolswithArtificialIntelligence(ICTAI).IEEE,2019:1288-1295.
[19]CarliniN,WagnerD.Audioadversarialexamples:Targetedattacksonspeech-to-text[C]//2018IEEESecurityandPrivacyWorkshops(SPW).IEEE,2018:1-7.
[20]DeldjooY,DiNoiaT,MerraFA.AdversarialMachineLearninginRecommenderSystems:StateoftheartandChallenges[J].arXivpreprintarXiv:2005.10322,2020.
[21]EykholtK,EvtimovI,FernandesE,etal.Robustphysical-worldattacksondeeplearningvisualclassification[C]//ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition.2018:1625-1634.
作者：于晓妍大象无形
责编：丁昶
TOP5回顾返回搜狐，查看更多
生成对抗网络：人工智能创新的催化剂
生成对抗网络(GAN)已经成为人工智能领域的一个强大工具,引发了一波创新和研究浪潮。GAN由IanGoodfellow和其同事在2014年开发，通过训练两个神经网络互相竞争,能够生成逼真的图像、视频和其他形式的媒体，因此获得了极大的关注。因此,GAN有可能彻底改变从娱乐和广告到医疗保健和科学研究的各个行业。
GAN的核心是两个神经网络:生成器和鉴别器。生成器创建新的数据实例,而鉴别器评估其真实性。生成器的目标是生成与真实数据无法区分的数据，而鉴别器的目标是正确识别数据是真实的还是生成的。这种对抗过程会一直持续下去，直到生成器能够非常熟练地创造真实的数据，从而有效地“愚弄”鉴别器。
GAN最显著的应用之一是在计算机图形学和图像合成领域。通过在大型图像数据集上训练GAN,研究人员已经能够生成高质量的物体、场景甚至人脸的高质量、逼真的图像。这对娱乐行业具有重要意义，因为GAN生成的图像和视频可以用于电影、视频游戏和虚拟现实体验，从而减少了对昂贵且耗时的手动内容创建的需求。
此外,GAN在广告领域显示出前景,可以利用其为个人用户生成个性化内容。通过分析用户的浏览历史和偏好,GAN可以创建更有可能与用户产生共鸣的定制广告，增加参与度和转化率的可能性。这种级别的个性化可以帮助企业更好地定位营销目标，并优化广告预算。
除了在娱乐和广告中的应用,GAN还有可能在医疗保健行业产生重大影响。一个很有前途的应用是在医学成像领域,在这一领域,GAN可用于生成高质量的合成医学图像,供训练和研究之用。这有助于解决目前缺乏带注释的医学图像的问题,而这些图像是训练机器学习算法以检测和诊断各种疾病所必需的。此外,GAN还可用于生成逼真的人体器官和组织的三维模型,可用于手术计划和模拟，以及药物测试和开发。
科学研究也可以从GAN的能力中获益。例如,在气候科学领域,GAN可用于生成天气模式和气候变化情景的真实模拟,帮助研究人员努力了解和预测全球变暖的影响。同样,在天文学领域,可以利用GAN生成天体的高分辨率图像,使科学家能够更详细地研究遥远的星系和其他天文现象。
总之,生成性对抗网络已经成为人工智能创新的催化剂,有可能彻底改变各个行业并推动研究的进步。随着GAN的不断完善和改进,其应用将只会继续扩大,为人工智能驱动的解决方案和进步开辟新的可能性。因此,企业、研究人员和决策者必须认识到GAN的潜力,并投资于其开发和集成，以确保这项突破性技术的好处得到充分实现。