人工智能安全（下）
对抗攻击原理与威胁模型
对抗攻击的基本原理就是对正常的样本添加一定的
扰动从而使得模型出现误判。以最基本的图像分类任务为例，攻击者拥有若干数据{xi,yi}Ni=1，其中xi代表数据集中的一个样本也就是一张图像，yi则是其对应的正确类别，N为数据集的样本数量。将用于分类的目标模型表示为f(.)，则f(x)表示样本x输入模型得到的分类结果。攻击者应用对抗攻击的方法对正常样本x进行修改得到对应的对抗样本x′，该对抗样本可以造成模型出现误判，同时其与原样本的应该较为接近具有同样的语义信息，一般性定义如下：
其中∥.∥D代表着对抗样本与原样本之间的某种距离度量，为了使修改的样本能够保持语义信息不造成人类的察觉，两者之间的距离应该足够小，同时造成最后模型判断出现错误，分类结果不同于正确类别，而ϵ就是对抗样本与原样本之间设定的最大距离，其取值往往和具体的应用场景有关。
根据攻击意图，对抗攻击可以分为有目标攻击和无目标攻击。以上的一般定义属于无目标攻击，即经过修改的样本只要造成错误使得分类标签与原标签不同即可；有目标攻击是指攻击者根据需要对样本进行修改，使得模型的分类结果变为指定的类别t，定义如下：
根据攻击者所能获取的信息，对抗攻击可以分为黑盒攻击和白盒攻击。黑盒攻击是指攻击者在不知道目标模型的结构或者参数的情况下进行攻击，但是攻击者可以向模型查询特定的输入并获取预测结果；白盒攻击是指攻击者可以获取目标模型fθ(.)的全部信息，其中θ代表模型的具体参数，用于实施有针对性的攻击算法。一般情况下，由于白盒攻击能够获取更多与模型有关的信息，其攻击性能要明显强于对应的黑盒攻击。以上我们对攻击的主要目标与攻击设置进行了简要的介绍，在不同设置下各种攻击具有不同的特点，主流的攻击技术可以分为基于扰动的对抗攻击和非限制对抗攻击。
基于扰动的对抗攻击
最初的对抗攻击算法主要是基于扰动的对抗攻击，这类攻击在图像分类任务上被广泛研究，也是最主要的攻击类型。这类攻击的主要思想就是在输入样本中加入微小的扰动，从而导致AI模型输出误判。以图像分类任务为例，攻击者可以对输入图像的像素添加轻微扰动，使对抗样本在人类看来是一幅带有噪声的图像。考虑到攻击的隐蔽性，攻击者会对这些扰动的大小进行限制从而避免人类的察觉。已有的研究通常基于扰动的范数大小ℓp度量样本之间距离
其中xi、x′i分别指正常样本和对抗样本在第i处的特征，在图像任务中为对应位置的像素值。目前对抗攻击算法的主要思想是将生成对抗样本的过程看做一个优化问题的求解。接下来我们首先介绍几种白盒对抗攻击算法，之后介绍一些针对防御技术的攻击增强算法，最后给出几种针对黑盒模型的攻击方法。
伪造攻击
伪造攻击是向生物识别系统提交伪造信息以通过身份验证的一种攻击方式[32]，是一种AI测试完整性威胁。生物验证技术包括指纹核身、面容核身、声纹核身、眼纹核身、掌纹核身等等。以声纹核身为例，攻击者有很多种方法来进行伪造攻击声纹识别系统、声纹支付系统、声纹解锁系统等。例如：攻击者对声纹解锁系统播放一段事先录制或者人工合成的解锁音频通过验证。在这类音频伪造攻击中，攻击者可以通过手机等数码设备直接录制目标人物的解锁音频，也可以通过社交网络检索目标账号获取解锁音频。甚至，攻击者可以从目标人物的多个音频中裁剪合成解锁音频，或者通过深度语音合成技术来合成目标人物的解锁音频。
3.2AI数据与隐私安全性问题由于AI技术使用过程中产生的模型梯度更新、输出特征向量以及预测结果与输入数据、模型结构息息相关，因此AI模型产生的计算信息面临着潜在的隐私数据泄露、模型参数泄露风险。
3.2.1 基于模型输出的数据泄露
在AI模型测试阶段，AI模型参数被固定住，测试数据输入模型并输出特征向量、预测结果等信息。例如：在图像分类任务中，模型的输出包含卷积层输出的特征向量、Softmax层输出的预测概率向量等。近些年来研究结果表明，模型的输出结果会隐含一定的数据信息。攻击者可以利用模型输出在一定程度上窃取相关数据，主要可以窃取两类数据信息：1）模型自身的参数数据；2）训练/测试数据。
模型窃取
模型窃取攻击(ModelExtractionAttack)是一类隐私数据窃取攻击，攻击者通过向黑盒模型进行查询获取相应结果，窃取黑盒模型的参数或者对应功能。被窃取的模型往往是拥有者花费大量的金钱时间构建而成的，对拥有者来说具有巨大的商业价值。一旦模型的信息遭到泄露，攻击者就能逃避付费或者开辟第三方服务，从而获取商业利益，使模型拥有者的权益受到损害。如果模型遭到窃取，攻击者可以进一步部署白盒对抗攻击来欺骗在线模型，这时模型的泄露会大大增加攻击的成功率，造成严重的安全风险。
目前，大多数AI技术供应商将AI应用部署于云端服务器，通过API来为客户端提供付费查询服务。客户仅能通过定义好的API向模型输入查询样本，并获取模型对样本的预测结果。然而即使攻击者仅能通过API接口输入请求数据，获取输出的预测结果，也能在一定情况下通过查询接口来窃取服务端的模型结构和参数。模型窃取攻击主要可以分为三类：1)Equation-solvingAttack；2)基于Meta-model的模型窃取；3)基于替代模型的模型窃取。
Equation-solvingAttack是一类主要针对支持向量机(SVM)等传统的机器学习方法的模型窃取攻击。攻击者可以先获取模型的算法、结构等相关信息，然后构建公式方程来根据查询返回结果求解模型参数[7]。在此基础之上还可以窃取传统算法中的超参数，例如：损失函数中loss项和regularization项的权重参数[73]、KNN中的K值等。Equation-solvingAttack需要攻击者了解目标算法的类型、结构、训练数据集等信息，无法应用于复杂的神经网络模型。
基于Meta-model模型窃取的主要思想是通过训练一个额外的MetaModelΦ(·)来预测目标模型的指定属性信息。MetaModel的输入样本是所预测模型在任务数据x上的输出结果f(x)，输出的内容Φ(f(x))则是预测目标模型的相关属性，例如网络层数、激活函数类型等。因此为了训练MetaModel，攻击者需要自行收集与目标模型具有相同功能的多种模型fi(·)，获取它们在相应数据集上的输出，构建MetaModel的训练集。然而构建MetaModel的训练集需要多样的任务相关模型，对计算资源的要求过高，因此该类攻击并不是非常实用，而作者也仅在MNIST数字识别任务上做了实验[34]。
基于替代模型训练的是目前比较实用的一类模型窃取攻击。攻击者在未知目标模型结构的情况下向目标模型查询样本，得到目标模型的预测结果，并以这些预测结果对查询数据进行标注构建训练数据集，在本地训练一个与目标模型任务相同的替代模型，当经过大量训练之后，该模型就具有和目标模型相近的性质。一般来说，攻击者会选取VGG、ResNet等具有较强的拟合性的深度学习模型作为替代模型结构[35]。基于替代模型的窃取攻击与Equation-solvingAttack的区别在于，攻击者对于目标模型的具体结构并不了解，训练替代模型也不是为了获取目标模型的具体参数，而只是利用替代模型去拟合目标模型的功能。为了拟合目标模型的功能，替代模型需要向目标模型查询大量的样本来构建训练数据集，然而攻击者往往缺少充足的相关数据，并且异常的大量查询不仅会增加窃取成本，更有可能会被模型拥有者检测出来。为了解决上述问题，避免过多地向目标模型查询，使训练过程更为高效，研究者提出对查询的数据集进行数据增强，使得这些数据样本能够更好地捕捉目标模型的特点[8]，例如：利用替代模型生成相应的对抗样本以扩充训练集，研究认为对抗样本往往会位于模型的决策边界上，这使得替代模型能够更好地模拟目标模型的决策行为[54,74]。除了进行数据增强，还有研究表明使用与目标模型任务无关的其它数据构建数据集也可以取得可观的攻击效果，这些工作同时给出了任务相关数据与无关数据的选取组合策略[75,35]。
隐私泄露
机器学习模型的预测结果往往包含了模型对于该样本的诸多推理信息。在不同的学习任务中，这些预测结果往往包含了不同的含义。例如：图像分类任务中，模型输出的是一个向量，其中每一个向量分量表示测试样本为该种类的概率。最近的研究结果证明，这些黑盒的输出结果可以用来窃取模型训练数据的信息。例如：Fredrikson等人提出的模型逆向攻击（ModelInversionAttack）[6]可以利用黑盒模型输出中的置信度向量等信息将训练集中的数据恢复出来。他们针对常用的面部识别模型，包括Softmax回归，多层感知机和自编码器网络实施模型逆向攻击。他们认为模型输出的置信度向量包含了输入数据的信息，也可以作为输入数据恢复攻击的衡量标准。他们将模型逆向攻击问题转变为一个优化问题，优化目标为使得逆向数据的输出向量与目标输出向量差异尽可能地小，也就是说，假如攻击者获得了属于某一类别的输出向量，那么他可以利用梯度下降的方法使得逆向的数据经过目标模型的推断后，仍然能得到同样的输出向量。
成员推断攻击(Membership-InferenceAttack)是一种更加容易实现的攻击类型，它是指攻击者将试图推断某个待测样本是否存在于目标模型的训练数据集中，从而获得待测样本的成员关系信息。比如攻击者希望知道某个人的数据是否存在于某个公司的医疗诊断模型的训练数据集中，如果存在，那么我们可以推断出该个体的隐私信息。我们将目标模型训练集中的数据称为成员数据(MemberData)，而不在训练集中的数据称为非成员数据(Non-memberData)。同时由于攻击者往往不可能掌握目标模型，因此攻击者只能实施黑盒场景下的成员推断攻击。成员推断攻击是近两年来新兴的一个研究课题，这种攻击可以用于医疗诊断、基因测试等应用场景，对用户的隐私数据提出了挑战，同时关于这种攻击技术的深入发展及其相关防御技术的探讨也成为了一个新的研究热点。
3.2.2基于梯度更新的数据泄露
梯度更新是指模型对参数进行优化时，模型参数会根据计算产生的梯度来进行更新，也就是训练中不断产生的梯度信息。梯度更新的交换往往只出现在分布式模型训练中，拥有不同私有数据的多方主体每一轮仅使用自己的数据来更新模型，随后对模型参数的更新进行聚合，分布式地完成统一模型的训练，在这个过程中，中心服务器和每个参与主体都不会获得其它主体的数据信息。然而即便是在原始数据获得良好保护的情况下，参与主体的私有数据仍存在泄漏的可能性。
模型梯度更新会导致隐私泄露.尽管模型在训练的过程中已经使用了很多方法在防止原始数据泄露，在多方分布式的AI模型训练中，个体往往会使用自己的数据对当前的模型进行训练，并将模型的参数更新传递给其它个体或者中心服务器。在最近机器学习和信息安全的国际会议上，研究人员提出了一些利用模型参数更新来获取他人训练数据信息的攻击研究。Melis等人[36]利用训练过程中其它用户更新的模型参数作为输入特征，训练攻击模型，用于推测其它用户数据集的相关属性；[37,38]等人利用对抗生成网络生成恢复其它用户的训练数据，在多方协作训练过程中，利用公共模型作为判别器，将模型参数更新作为输入数据训练生成器，最终可以获取受害者特定类别的训练数据。在最近的一项工作中[39]，研究人员并未使用GAN等生成模型，而是基于优化算法对模拟图片的像素进行调整，使得其在公共模型上反向传播得到的梯度和真实梯度相近，经过多轮的优化模拟图片会慢慢接近真实的训练数据。
3.3AI系统安全性问题AI系统安全性问题与传统计算机安全领域中的安全问题相似，威胁着AI技术的保密性、完整性和可用性。AI系统安全问题主要分为两类：1)硬件设备安全问题，主要指数据采集存储、信息处理、应用运行相关的计算机硬件设备被攻击者攻击破解，例如芯片、存储媒介等；2)系统与软件安全问题，主要指承载AI技术的各类计算机软件中存在的漏洞和缺陷，例如：承载技术的操作系统、软件框架和第三方库等。
3.3.1 硬件设备安全问题
硬件设备安全问题指AI技术当中使用的基础物理设备被恶意攻击导致的安全问题。物理设备是AI技术构建的基础，包含了中心计算设备、数据采集设备等基础设施。攻击者一旦能够直接接触相应的硬件设备，就能够伪造和窃取数据，破坏整个系统的完整性。例如：劫持数据采集设备，攻击者可以通过root等方式取得手机摄像头的控制权限，当手机应用调用摄像头的时候，攻击者可以直接将虚假的图片或视频注入相关应用，此时手机应用采集到的并不是真实的画面，使人工智能系统被欺骗；侧信道攻击，指的是针对加密电子设备在运行过程中的时间消耗、功率消耗或电磁辐射之类的侧信道信息泄露而对加密设备进行攻击的方法，这种攻击可以被用来窃取运行在服务器上的AI模型信息[54]。
3.3.2 系统与软件安全问题
系统与软件安全问题是指承载AI应用的各类系统软件漏洞导致的安全问题。AI技术从算法到实现是存在距离的，在算法层面上开发人员更关注如何提升模型本身性能和鲁棒性。然而强健的算法不代表着AI应用安全无虞，在AI应用过程中同样会面临软件层面的安全漏洞威胁，如果忽略了这些漏洞，则可能会导致关键数据篡改、模型误判、系统崩溃或被劫持控制流等严重后果。
以机器学习框架为例，开发人员可以通过Tensorflow、PyTorch等机器学习软件框架直接构建AI模型，并使用相应的接口对模型进行各种操作，无需关心AI模型的实现细节。然而不能忽略的是，机器学习框架掩盖了AI技术实现的底层复杂结构，机器学习框架是建立在众多的基础库和组件之上的，例如Tensorflow、Caffe、PyTorch等框需要依赖Numpy、libopencv、librosa等数十个第三方动态库或Python模块。这些组件之间存在着复杂的依赖关系。框架中任意一个依赖组件存在的安全漏洞，都会威胁到整个框架以及其所支撑的应用系统。
研究表明在这些深度学习框架及其依赖库中存在的软件漏洞几乎包含了所有常见的类型，如堆溢出、释放对象后引用、内存访问越界、整数溢出、除零异常等漏洞，这些潜在的危害会导致深度学习应用受到拒绝服务、控制流劫持、数据篡改等恶意攻击的影响[15]。例如：360TeamSeriOus团队曾发现由于Numpy库中某个模块没有对输入进行严格检查，特定的输入样本会导致程序对空列表的使用，最后令程序陷入无限循环，引起拒绝服务的问题。而在使用Caffe依赖的libjasper视觉库进行图像识别处理时，某些畸形的图片输入可能会引起内存越界，并导致程序崩溃或者关键数据（如参数、标签等）篡改等问题[82]。另外，由于GPU设备缺乏安全保护措施，拷贝数据到显存和GPU上的运算均不做越界检查，使用的显存在运行结束后仍然存在，这都需要用户手动处理，如果程序中缺乏相关处理的措施，则可能存在内存溢出的风险[83]。
AI威胁常用防御技术系统性地总结了AI模型、AI数据以及AI承载系统面临的威胁。AI模型面临的威胁包括：训练阶段的投毒与后门攻击、测试阶段的对抗攻击以及AI模型本身存在的鲁棒性缺失问题；AI数据面临的威胁包括：利用模型查询结果的模型逆向攻击、成员推断攻击和模型窃取攻击，以及在训练阶段利用模型参数更新进行的训练数据窃取攻击；AI承载系统面临的威胁包括：软件漏洞威胁和硬件设备安全问题等。
AI模型训练阶段主要存在的威胁是数据投毒攻击，它可以非常隐蔽地破坏模型的完整性。近些年来，研究者们提出了多种针对数据投毒攻击的防御方法。由于传统意义上的有目标的数据投毒攻击可以看作是后门攻击的一种特殊情况，因此后续章节将主要阐述针对后门攻击的防御方法。根据防御技术的部署场景，这些方法可以分为两类，分别是面向训练数据的防御和面向模型的防御。面向训练数据的防御部署在模型训练数据集上，适用于训练数据的来源不被信任的场景；面向模型的防御主要应用于检测预训练模型是否被毒化，若被毒化则尝试修复模型中被毒化的部分，这适用于模型中可能已经存在投毒攻击的场景。
AI模型在预测阶段主要存在的威胁为对抗样本攻击。近些年来，研究者们提出了多种对抗样本防御技术，这些技术被称为对抗防御(AdversarialDefense)。对抗防御可以分为启发式防御和可证明式防御两类。启发式防御算法对一些特定的对抗攻击具有良好的防御性能，但其防御性能没有理论性的保障，意味着启发式防御技术在未来很有可能被击破。可证明式防御通过理论证明，计算出特定对抗攻击下模型的最低准确度，即在理论上保证模型面对攻击时性能的下界。但目前的可证明式防御方法很难在大规模数据集上应用，我们将其作为模型安全性测试的一部分放在之后的章节阐述。本节主要阐述部分具有代表性的启发式防御技术，根据防御算法的作用目标不同分为三类：分别是对抗训练、输入预处理以及特异性防御算法。对抗训练通过将对抗样本纳入训练阶段来提高深度学习网络主动防御对抗样本的能力；输入预处理技术通过对输入数据进行恰当的预处理，消除输入数据中可能的对抗性扰动，从而达到净化输入数据的功能；其他特异性防御算法通过修改现有的网络结构或算法来达到防御对抗攻击的目的。
除了训练与预测阶段存在的威胁，AI模型还存在鲁棒性缺乏风险。鲁棒性缺乏是指模型在面对多变的真实场景时泛化能力有限，导致模型产生不可预测的误判行为。为了增强AI模型的鲁棒性，提高模型的泛化能力，增强现实场景下模型应对多变环境因素时模型的稳定性，研究人员提出了数据增强和可解释性增强技术：数据增强技术的目标是加强数据的收集力度并增强训练数据中环境因素的多样性，使模型能够尽可能多地学习到各种真实场景下的样本特征，进而增强模型对多变环境的适应性；可解释性增强技术的目标是解释模型是如何进行决策的以及为何模型能够拥有较好的性能。若能较好地解答上述问题，将有助于在AI模型构建过程中依据可解释性的指导，有针对性地对模型进行调整，从而增强其泛化能力。
表4.1:防御方法概括
AI 应用系统一站式安全解决方案AI技术已经是许多业务系统的核心驱动力，如苹果Siri、微软小冰都依赖智能语音识别模型，谷歌照片利用图像识别技术快速识别图像中的人、动物、风景和地点。然而正如《人工智能安全》[149]一书中提到，新技术必然会带来新的安全问题，一方面是其自身的脆弱性会导致新技术系统不稳定或者不安全的情况，这是新技术的内在安全问题，一方面是新技术会给其他领域带来新的问题，导致其他领域不安全，这是新技术的衍生安全问题。近年来学术界和工业界针对AI应用系统的攻击案例此起彼伏，例如腾讯攻破了特斯拉的自动驾驶系统、百度攻破了公有云上的图像识别系统、Facebook和Google掀起了反DeepFake浪潮。
本文第3章介绍了AI系统是可能面临的包括对抗样本攻击、投毒攻击和供应链攻击等各类威胁，同时本文第4章也给出了面向各类AI威胁的防御技术。但在实际场景中，AI系统遇到的威胁往往十分复杂，仅靠单一的防御技术无法有效抵御实际威胁。因此在本章节，我们先回顾国内外大厂采用的AI安全解决方案，然后再从这些方案中提炼出一套涵盖面更广泛的AI安全解决方案。
5.1行业介绍•百度.百度是国内最早研究AI模型安全性问题的公司之一。当前百度建立了一套可衡量深度神经网络在物理世界中鲁棒性的标准化框架。事实上，物理世界中使用的模型往往与人们的衣食住行相关（如无人自动驾驶、医疗自动诊断等），这些模型一旦出现问题，后果将非常严重。因此，该框架首先基于现实世界的正常扰动定义了可能出现威胁的五大安全属性，分别是光照、空间变换、模糊、噪声和天气变化；然后，针对不同的模型任务场景，制定不同的评估标准，如非定向分类错误、目标类别错误分类到评估者设定的类别等标准；最后，对于不同安全属性扰动带来的威胁，该框架采用了图像领域中广为接受的最小扰动的Lp范数来量化威胁严重性以及模型鲁棒性。
•腾讯.腾讯公司针对AI落地过程中面临的各类安全问题进行了细致的划分，具体分为AI软硬件安全、AI算法安全、模型安全、AI数据安全和数据隐私等部分。软硬件安全主要是考虑到部署AI模型的软件和硬件层面可能存在的安全漏洞，如内存溢出、摄像头劫持等问题；AI算法安全主要考虑深度学习存在对抗样本的问题，容易出现错误的预测结果；模型本身的安全则涉及到模型窃取，这一问题目前实现方式比较多，常见的方法是直接物理接触下载模型并逆向获取模型参数，以及通过多次查询来拟合“影子”模型实现等价窃取；此外，模型的训练数据也会被污染，开源的预训练模型可能被恶意埋入后门，这些问题都被划分为AI模型的数据安全问题；当然，模型训练使用的数据集也会涉及用户的隐私，因此攻击者可能也会通过查询获取用户隐私。为了缓解这些问题，腾讯安全团队借助AI能力，针对性地构建了多种攻击检测技术。
•华为.华为公司同样对AI安全问题展开了深入的研究，其将AI系统面临的挑战分为5个部分，包括软硬件的安全、数据完整性、模型保密性、模型鲁棒性和数据隐私。其中，软硬件的安全涉及应用、模型、平台、芯片和编码中可能存在的漏洞或后门；数据完整性主要涉及各类数据投毒攻击；模型保密性则主要涉及到模型的窃取问题；模型鲁棒性考虑训练模型时的样本往往覆盖性不足，使得模型鲁棒性不强，同时模型面对恶意对抗样本攻击时，无法给出正确的判断结果等问题；数据隐私考虑在用户提供训练数据的场景下，攻击者能够通过反复查询训练好的模型获得用户的隐私信息。
为了应对这些挑战，华为主要考虑三个层次的防御手段：攻防安全、模型安全和架构安全。其中，攻防安全考虑针对已知的攻击手段，设计针对性的防御机制来保护AI系统，经典的防御技术包括对抗训练、知识蒸馏、对抗样本检测、训练数据过滤、集成模型、模型剪枝等。而针对模型本身存在的安全问题，考虑包括模型可检测性、可验证性和可解释性等技术，以提升模型应对未知攻击的能力。在业务中实际使用AI模型，需要结合业务自身特点，分析判断AI模型架构安全，综合利用隔离、检测、熔断和冗余等安全机制设计AI安全架构与部署方案，增强业务产品、业务流程与业务功能的健壮性。
•RealAI.RealAI是一家专注于从根本上增强AI的可靠性、可信性以及安全性的创业公司。该公司通过黑盒和白盒方式，对目标模型进行对抗样本攻击，并通过检测器和去噪器等方式构建模型的AI防火墙；此外，它们也考虑了模型窃取和后门检测等问题。
5.2多维对抗与AISDLAI系统的防御与攻击者的攻击是一个不断演变的攻防对抗过程，攻击者会不断更新攻击手法来突破AI系统的防御。例如以黑产为代表的攻击者，会不断探测AI系统的漏洞，开发新的攻击工具，降低攻击成本来突破AI系统，获得高额的经济收益。
在实际场景中，我们需要从多个视角切入来应对与攻击者之间日益焦灼的对抗战役。一个非常有效的战略就是知己知彼，知彼就是从防御的视角切入，时时刻刻跟踪对手的动向，部署策略模型对各类攻击行为进行监测，对于这类技术我们称之为多维对抗技术，知己就是从评测的视角切入，实时检测AI系统中的漏洞并进行修补，降低攻击面、风险面，对于这类技术我们称之为AI模型安全开发生命周（AISDL），这也是借鉴应用安全领域的SDL理念。
多维对抗
多维对抗的核心理念就是把攻防链路进行切面（深度数据化），再充分融合机器智能和专家智能，结合威胁情报，化被动防御为主动攻防，在对手还在尝试阶段就能够发现异常行为，再通过置信度排序和团伙挖掘等进行审理定性、处置，是一个系统化的防御体系。
AI模型安全开发生命周期(AISDL)
AISDL是从安全角度指导AI模型开发过程的管理模式。AISDL是一个安全保证的过程，它在AI模型开发的所有阶段都引入了安全和隐私的原则。具体来说，AI模型的生命周期包括模型设计、数据与预训练模型准备、模型开发与训练、模型验证与测试、模型部署与上线、模型性能监控、模型下线这七个流程。AISDL通过安全指导这7个模型开发流程，保障模型在其全生命周期中的安全性。
总结与展望人工智能技术已广泛应用于生物核身、自动驾驶、语音识别、自然语言处理和博弈等多种场景。人工智能技术在加速传统行业的智能化变革的同时，其安全性问题也越来越被人们关注。聚焦于人工智能安全问题，本文从AI模型、AI数据和AI承载系统三个角度系统地总结了人工智能技术所面临的威胁，介绍了面对这些威胁的防御手段，并面向工业界给出了安全的人工智能应用一站式解决方案。
人工智能应用在实际部署时面临对抗攻击、数据投毒攻击和模型窃取攻击等多种潜在威胁。在实际应用场景中，多种AI攻击同时存在，我们很难用单一的防御技术来应对现实场景中复杂的威胁。此外，在人工智能的攻防对抗过程中防御是更困难的一方，攻击者可以不断更新攻击技术来突破目前最有效的防御系统，然而新的防御系统却需要考虑现存的所有攻击技术。为了应对实际场景中复杂的威胁以及不断变化的威胁手段，AI安全研究人员更应从人工智能模型的可解释性等理论角度出发，从根本上解决人工智能模型所面临的安全问题。一方面，研究人员在模型的训练阶段可以通过选取或设计本身具有可解释性的模型，为模型增强泛化能力和鲁棒性；另一方面，研究人员要尝试解释模型的工作原理，即在不改变模型本身的情况下探索模型是如何根据输入样本进行决策的。
基于人工智能的内容安全发展战略
2019年3月，中国工程院启动了“新一代人工智能安全与自主可控发展战略研究”重大咨询项目，本论文作为其中“基于人工智能的内容安全与攻防战略研究”课题研究成果的学术性展示，从基于人工智能的内容安全重大战略需求出发，梳理了相关关键技术及应用，总结了国内外的研究现状与发展趋势，提出了我国基于人工智能的内容安全发展战略建议。
二、基于人工智能的内容安全关键技术及应用
（一）基于人工智能的内容安全关键技术
1.基于人工智能的内容伪造与保护
人工智能特别是深度学习的发展给内容伪造提供了极大的便利。深度伪造技术是一种利用人工智能程序和深度学习算法实现视频、音频模拟和伪造的技术。深度伪造涉及的技术主要有自编码器及生成式对抗网络等。目前，深度伪造技术不仅能伪造人脸，更可以模拟真人声音及创造出实际不存在的人物图像。结合基于人工智能的自然语言生成技术及社交网络传播，深度伪造大幅度促进了虚假新闻的发展。这种具有数字自动化特征的深度伪造技术，借助各类媒体传播虚假信息，具有极强的传播势能，可实现大规模、潜伏性的政治操纵和控制，因而大大加剧网络空间带来的政治安全威胁的影响力和对抗复杂性。
与内容伪造技术相对应，近期涌现出大量虚假内容检测技术。在基于人工智能的深度伪造内容检测方面，特征提取主要有生成式对抗网络流水线（GAN-Pipeline）、深度学习、隐藏分析（Steganalysis）等技术，分类器主要有支持向量机（SVM）、卷积神经网络（CNN）等。在基于人工智能的虚假新闻检测方面，有基于知识库、写作风格、传播特性、发源地等多种方法，涉及深度学习、知识库、图数据挖掘等多项技术。当前在新类型虚假新闻检测、虚假新闻早期检测、跨域检测及可解释检测等方面还存在很大挑战。
2.面向内容分析的人工智能模型与算法安全
基于人工智能的内容分析涉及文本、图像、视音频处理的各类机器学习模型和算法，这些模型和算法本身的安全性对内容安全有至关重要的影响。机器学习模型和算法安全主要涉及以下几个方面。
（1）投毒攻击及防御。投毒攻击的方法是在训练模型时有意污染训练数据，从而破坏模型的可用性和完整性。训练数据的污染一般通过注入一些精心伪造的恶意数据样本来实现。
（2）后门攻击及防御。后门攻击以数据和模型两种方式在神经网络模型中植入后门，当模型得到特定输入时被触发，然后导致神经网络产生错误输出，因此非常隐蔽不容易被发现。
（3）对抗攻击及防御。机器学习模型和神经网络模型很容易受到对抗样本的影响。通过对原始样本添加特定的扰动，可以使分类模型对新构造的样本产生错误的分类判断。
（4）模型窃取及防御。模型窃取技术是指通过黑盒探测来窃取模型或者恢复训练数据成员，比如窃取股票市场预测模型和垃圾邮件过滤模型。
目前每年都有大量新的机器学习算法出现，这些算法的安全已经成为普遍关注的问题。模型与算法安全问题可以看作防御和攻击方在信息缺失情况下对对方进行建模的技术之间的博弈。在新型鲁棒性模型及训练算法、多学习器安全问题、信息缺失下的系统建模和推理问题等方面还有待深入研究。
3.面向内容分析的可解释人工智能
以深度学习为代表的人工智能技术面临可解释性难题，将其应用于敏感领域内容分析时，缺乏透明度和可理解性的“黑盒”算法很难获得人们的安全感和信任感。
人工智能模型的可解释性研究主要有三个方向：
①深度解释，即采用新的深度学习模型去学习可用于解释的特征。很多相关工作与可视化技术相结合，提供更直观的解释。
②可解释模型。传统的贝叶斯、决策树等模型具有很好的可解释性。当前也有很多研究者针对深度学习模型进行改进，使其具备更好的可解释性。
③模型推理。这种方法把机器学习模型看作一个黑盒，通过大量实验在外部建立一个新的可解释模型。一种新型的研究方法是构建一套机器学习技术，该技术能够自动生成可解释模型，并且保持较高的学习效率。
尽管模型可解释性研究已取得一些瞩目的研究成果，但其研究还处于初级阶段，依然面临着许多挑战且存在许多的关键问题尚待解决。其中，可解释性研究当前面临的一个挑战是如何设计更精确、更友好的解释方法，消除解释结果与模型真实行为之间的不一致；另一个挑战是如何设计更科学、更统一的可解释性评估指标，以评估可解释方法的解释性能和安全性。
（二）基于人工智能的内容安全重要应用
1.网络舆情分析与监管
舆论是“社会的皮肤”，是反映社会形势的晴雨表。大数据及人工智能技术为舆情分析和研判提供了全新的资源、方法与范式。网络舆论的内容复杂，且对舆情分析实时性的要求也比较高。人工智能技术能够使网络舆情分析更高效和准确，可大幅减少人工工作的成本。
近年来基于人工智能的网络舆情分析与监管获得广泛应用。百度公司的媒体舆情分析工具面向传统媒体和新媒体行业，针对内容生产、观点及传播分析、运营数据展示等业务场景，提供舆情分析能力。其政务舆情分析工具依托网页内容挖掘能力与中文语义分析技术支持国内外风险情报的深度挖掘及城市公众舆情态势的实时感知。腾讯计算机系统有限公司的WeTest舆情监控工具，通过分布式爬虫7×24h抓取主流应用市场（应用宝等）评论评星和主流论坛（百度贴吧等）的用户发帖讨论，并智能汇总用户评论，进行智能分类。通过情感分析加情感维度提取技术，智能分析并定位到具体问题。2020年中国信息通信研究院等单位发起的人工智能产业发展联盟发布了《人工智能助力新冠疫情防控调研报告》，报告中指出人工智能和大数据在新冠舆情分析中发挥了重要作用。
2.多媒体内容分析与审核
即使是挪威、日本、意大利等标榜自由的国家，互联网内容审查也在加强力度。密歇根大学的一个团队使用其开发的“审查星球”（CensoredPlanet）工具（2018年启动的自动审查跟踪系统），在过去的20个月中，从221个国家收集了超过210亿次内容审查的测量数据。近期多媒体数据特别是视频数据得到前所未有的增长并将持续这种增长趋势。海量的多媒体数据远远超出了人类的处理能力，基于人工智能的内容分析和审核获得了广泛应用。
基于人工智能的多媒体内容分析主要包括智能审核、内容理解、版权保护、智能编辑等。其中内容审核功能包括鉴黄、暴恐涉政识别、广告二维码识别、无意义直播识别等，利用识别能力对网络上没意义和不健康的内容进行排查和处理。内容理解功能包括内容分类、标签，人物识别、语音识别，同时也包括对图像和视频中的文字进行识别。版权保护功能包括内容相似性、同源内容检索和音视频指纹等功能。内容编辑层面可以实现视频首图、视频摘要、视频亮点的生成，同时支持新闻拆条。
目前短视频、图片等成为多媒体审核的主要内容。基于海量标注数据和深度学习算法，可以从多维度精准识别多媒体内容中的违禁内容，如色情、暴恐等。2019年阿里巴巴集团推出“人工智能谣言粉碎机”支持对新闻内容可信度的智能判别，在特定场景中的准确率已达到81%。中国信息通信研究院初步实现基于人工智能技术的不良信息检测能力，支持对淫秽色情、涉恐涉暴等违法信息的识别，识别准确率比传统方式提升了17%，达到97%以上，识别速度达到传统方式的110倍。2021年2月百度发布了《2020年信息安全综合治理年报》。百度内容安全中心在2020年利用人工智能技术挖掘各类有害信息共515.4亿余条，通过人工自主巡查打击各类相关有害信息8000万余条。大幅提升审核速度，并制定了暴恐、政治敏感、水印、标签、公众人物、恶意图像等6个审核维度。
三、基于人工智能的内容安全国内外发展现状
（一）国外发展现状及最新进展
1.美国发展现状分析
作为内容产业最为发达的国家，美国在内容安全与攻防战略方面主要有以下几个特点：第一，针对日益严峻的国际形势以及国内意识形态安全需要，对互联网内容产业加大监管力度，尤其是关于歧视，偏见等内容；第二，高度重视人工智能算法在内容安全方面的应用，Google等公司与政府合作密切，政府对算法的安全性提出相关的审查要求；第三，美国国会参众两院高度重视利用人工智能算法进行内容造假问题，并通过召开听证会或提出相关法案的方式，将内容造假问题纳入立法程序。
2019年，美国政府发布了《美国人工智能倡议》，其中强调人工智能对传统安全领域的重要意义，通过人工智能来确保美国的领先地位以应对来自“战略竞争者和外国对手”的挑战。2021年3月，美国人工智能国家安全委员会（NSCAI）发布最终报告：积极维持美国在人工智能领域的统治地位，报告系统论述了美国如何在人工智能激烈竞争的时代赢得主动，维持全球领导地位，并详细阐述了联邦各机构今后改革的行动路线。美国国防部高级研究计划局（DARPA）于2017年启动了“算法战跨部门小组计划”（即“Maven计划”），将机器学习算法集成到情报收集中。DARPA还推动了其他和人工智能内容安全相关的研究，包括媒体取证、可解释人工智能等。在基于人工智能的内容安全技术方面，美国也处于全球绝对领先的位置。美国人工智能论文引文影响力、专利数量、企业数量和融资规模等指标都居全球第一。
2.欧洲国家发展现状分析
欧洲国家在人工智能安全方面更注重伦理。欧盟委员会于2019年4月发布了人工智能道德准则《可信赖AI的伦理准则》，提出了实现可信赖人工智能全生命周期的框架。框架提出了实现可信赖AI的七个关键要素：人的能动性和监督，技术鲁棒性和安全性，隐私和数据管理，透明性，多样性非歧视性和公平性，社会和环境福祉，问责。
准则中特别强调了隐私和数据管理，要求隐私和数据保护必须贯穿人工智能系统的整个生命周期。人工智能系统使用的算法和数据应该更具透明性且可追溯。在AI系统对人类造成重大影响时，人工智能系统能够对决策过程进行合理解释，同时避免不公平的歧视。英国、法国、德国、俄罗斯等欧洲国家都出台了人工智能安全的纲领性文件，都涉及到了人工智能内容安全的策略和发展规划。
3.日本发展现状分析
在日本的互联网内容产业中，最为发达的是游戏、动漫、音乐等产业，因此，在人工智能时代下，日本的内容安全战略主要针对人工智能生产内容的知识产权归属问题，并推进相关具体法案的推出。2018年12月，日本内阁府发布《以人类为中心的人工智能社会原则》的报告，是迄今为止日本为推进人工智能发展发布的最高级别的政策文件，从宏观和伦理角度表明了日本政府发展人工智能的立场。
在报告中和人工智能内容安全相关的部分，主要强调了保护隐私和保障安全两部分内容。在保护隐私原则中，人工智能能够依据个人行动等数据高精度推断其政治立场、经济状况、兴趣爱好等。在保障安全原则中，报告强调人工智能系统需要把握利益与风险之间的平衡。报告建议深入研究人工智能风险及降低风险的方法，重视人工智能使用的可持续性。
4.其他国家发展现状分析
除了美国、欧洲、日本、中国等人工智能发达国家和地区，很多其他国家也纷纷推出了人工智能安全的国家战略，而内容安全是其中的一部分。2018年6月，印度发布了《人工智能国家战略》，其中提出利用人工智能促进经济增长和提升社会包容性，并试图寻求一个适用于发展中国家的人工智能发展战略。2019年11月，以色列透露其国家级人工智能计划，对人工智能的发展、如何满足政府军方的需求及安全性等进行了规划，主要目标是确定教育系统和学术机构能够提供足够的人工智能工程师，以满足政府、国防军事和产业界的人力需求。加拿大政府近年来在人工智能研究和开发方面加大了投入，致力于形成一个极其丰富的人工智能生态系统，包括多个专门研究机构和数千名人工智能研究人员。研究人员对面向内容安全的多媒体分析、可解释人工智能等技术进行了广泛研究。
（二）国内现状及最新进展
1.国家战略与技术研究
我国高度重视人工智能产业的发展，2017年，国务院发布《新一代人工智能发展规划》，作为新一轮产业变革的核心驱动力和引领未来发展的战略技术，对人工智能产业进行战略部署。《中国新一代人工智能发展报告2019》显示，中国人工智能论文发文量居全球首位，企业数量、融资规模居全球第二。2018年1月，我国成立了国家人工智能标准化总体组和专家咨询组，并发布了《人工智能标准化白皮书（2018版）》，提出建立统一完善的标准体系。2019年，我国成立了中国人工智能学会人工智能与安全专委会，为解决网络空间安全面临的挑战性问题提供了新的途径。2020年3月国家正式施行《网络信息内容生态治理规定》，以网络信息内容为主要治理对象，以建立健全网络综合治理体系、营造清朗的网络空间、建设良好的网络生态为目标，抵制和处置违法和不良信息。中国科学院专门成立了信息内容安全技术国家工程实验室，围绕国家网络信息安全的重大需求，开展基础理论和网络信息获取、分析及挖掘等核心关键技术研究。
2.新兴产业的创新发展
目前，我国各地政府紧跟国家步伐，分别根据当地经济发展状况，结合国家内容安全与人工智能相关政策，提出相关的人工智能发展行动计划，加强人工智能监管力度，并推动人工智能在内容安全方面的深度应用。
商汤科技开发有限公司自主研发的原创深度学习平台SenseParrots，已经在人脸识别、图像识别、视频分析、无人驾驶、医疗影像识别等应用层技术落地，为基于人工智能的内容安全提供了技术支撑。腾讯科技有限公司注重网络安全能力建设，设立了七大网络安全实验室，专注安全技术研究以及安全攻防体系搭建。利用腾讯优图的DeepEye识别技术引擎，对内容进行置信度分析，依托腾讯社交的海量样本优势进行深度识别训练，并基于多模型匹配技术进行文本识别，助力内容安全。阿里云平台采用自然语言理解算法识别文本垃圾和恶意行为，采用深度学习算法结合独有的情报、舆情、预警和分析体系及实时更新的样本图库，快速定位敏感信息。华为技术有限公司在机器学习算法安全方面做了大量研究工作，对数据投毒、模型窃取、后门攻击等模型和算法攻击给出了解决方案，为基于人工智能的内容分析模型和算法提供安全保障。此外，我国还有一些人工智能创新企业，在将人工智能应用到内容安全方面做了大量的研究工作。
3.人工智能2.0时代的新发展
潘云鹤院士提出人工智能2.0，其主要特征是通过大数据和群体智能，拓展、管理和重组人类的知识，为经济和社会的发展提供建议，在越来越多专门领域的博弈、识别、控制和预测中达到甚至超过人类的能力。在人工智能2.0时代，首先是和人机交互紧密结合；其次是和大数据云计算的结合，大数据和云计算是人工智能发展的重要推动力；再次是人工智能和智能监控的紧密结合；最后是人工智能和先进制造的结合。
人工智能2.0时代的大数据智能、跨媒体智能等将对内容安全产生重要影响。基于多模态数据的深度融合、知识库、跨媒体分析与推理，结合类脑计算、群体智能等技术，能够实现更智能、更精准的内容分析。我国以阿里巴巴集团、腾讯科技有限公司、百度集团、华为技术有限公司等为代表的科技企业，已经开始积极探索人工智能2.0的相关技术及在内容安全治理方面的应用。如百度内容安全中心的“网络生态治理2019”专项行动，综合运用了自然语言甄别、音视频智能识别、内容智能挖掘等多种人工智能技术。
四、我国基于人工智能的内容安全发展建议
（一）总体发展战略
总体上采取“三步走”的发展战略：到2025年基于人工智能的内容安全发展初见成效，到2035年实现世界一流水平，到2050年达到世界领先水平。
到2025年，人工智能内容安全的发展环境和基础设施基本完善，基于内容安全的重点前沿理论和应用技术进步明显，在内容安全人工智能模型与算法研究方面取得初步成效，人工智能内容攻防关键技术研究取得关键性突破，人工智能内容安全领域涌现一批优秀企业，集聚一批安全领域的领军人才和专家，面向个人、企业和国家的三级人工智能内容安全体系基本建成。
到2035年，人工智能内容安全的发展环境优势明显，国家大力投入基础设施建设，规模和水平并肩世界第一梯队，基于内容安全的理论研究，学术水平进入世界一流行列，在人工智能安全领域提出创新理论和方法，人工智能内容安全审核机制成型完善，人工智能内容安全应用技术广泛应用，在内容安全人工智能模型与算法研究和内容攻防关键技术研究上达到世界一流水平。
到2050年，在人工智能内容安全领域实现基础层、技术层和应用层的全面世界领先，总体创新能力和理论体系达到国际领先水平，拥有一批主导人工智能内容安全发展潮流的国际顶级专家，在网络空间内容安全领域拥有一批专业的，稳定的具备世界领先水平人才队伍和创新创业团队。人工智能内容安全法规伦理规范和政策体系完整完善，人工智能安全评估和管控能力均居于世界领先水平。
（二）内容安全发展政策保障
1.政府主导人工智能发展路线
国家在维护网络信息安全方面所处的高度和发挥的作用是无可比拟的，在规范互联网行为、打击网络犯罪等模式治理方面有着先天的优势。政府要主导人工智能安全的发展战略，将人工智能安全上升到国家高度，作为国家未来发展的核心竞争力，同时把内容安全作为人工智能安全的一个重要部分。在人工智能应用中深入分析内容安全需求，强化顶层设计，提出基于国家网络空间安全的总体规划，建立内容安全治理的实施细则，建立安全准入制度和检测评估方法、机制。以企业为主体推进人工智能内容安全发展，政府在法律法规、安全风险、政策指导、资源配置、行业准则等方面提供保障，制定分阶段发展战略，目标清晰，从科研立项、智能经济到智能社会全面布局，加强指导性和执行力。
2.建立健全合法有效的监管机制
制定人工智能内容安全风险管控制度，从系统安全、算法安全、应用安全多层次制定安全防护措施。保障用户的数据安全，避免算法设计对公众产生的危害，明晰算法动机和可解释性，克服算法设计和数据收集引发的不公正影响。内容安全风险管控制度中针对社交网络、短视频、线上直播等重点应用的内容安全进行详细规定。通过建立可审查、可回溯、可推演的监管机制，确保目标功能和技术实现的安全统一。建立人工智能数据安全监督机制。依照国家法律法规，政府部门针对数据过度采集、数据偏见歧视、数据资源滥用等人工智能数据安全风险，通过线上线下多种方式实施监督检查，及时发现和防范安全隐患。
3.构建人工智能内容安全标准体系
优化我国人工智能内容安全标准化组织建设，促进国家、行业和团体标准化组织联合有序推进人工智能内容安全标准出台。在人工智能产品、应用和服务等多个环节，制定内容安全检测评估方法和指标体系，通过检测评估强化内容安全与隐私保护。按照内容安全承载模式分类，建立图形/图像内容、文本内容、视频内容、音频内容安全指标体系，按照内容安全行为模式分类，建立智能鉴黄、暴恐涉政识别、敏感人脸识别、不良场景识别、广告识别过滤、Logo识别、反垃圾等安全指标体系。
（三）开展面向内容安全的人工智能技术创新
新形势下的内容安全面临巨大挑战，需要在技术层面进行创新突破，主要包括以下方面。
1.人机协同的混合增强智能
在内容安全方面，很多时候当前的人工智能还无法独立完成任务，如在视频直播中识别非法活动。因此需要在人机协同、脑机协作、认知计算等技术上进行创新突破，充分融合人类智能和机器智能，实现人工智能的增强，同时基于人类的指导和反馈实现人工智能的持续改进。
2.知识驱动的内容安全
基于人工智能的内容安全复杂应用需要知识的辅助，因此需要大力推进知识驱动的内容安全创新。技术方向包括跨媒体知识获取、内容安全知识库构建、大规模知识库的管理及知识演化、面向内容安全的知识推理等。
3.高性能内容安全分析
有害内容一旦传播出去，可能会造成国家和社会的重大损失，因此很多内容监管应用要强调实时性。需要研究高性能的内容分析算法，特别是在视频直播这样的场景下，需要处理海量视频数据流，同时需要关联多通道的历史数据和知识。
4.对抗性机器学习
对抗性机器学习直接影响到人工智能的模型和算法安全，从而直接威胁到内容安全。需要在数据投毒的防御、决策时攻击的防御、深度学习模型和算法的鲁棒性等方面进行技术创新。
5.可解释人工智能
人工智能模型和算法的可解释性直接影响内容安全分析和监管应用的可信度。需要在可解释机器学习模型、基于深度学习和可视化的模型解释、基于推理的模型解释等方面进行技术创新。
（四）完善内容安全基础设施
以技术创新促进基于人工智能的内容安全发展，需要建立和完善一批国家重大基础设施来满足新技术实验需要，以及监管政策和策略评估的需要。
1.面向内容攻防演练与研究的网络靶场
构建大规模、开放式、共享式、增长式的国家级内容安全网络靶场，为用户提供内容安全攻防体系验证、应用系统及安全产品安全性检测、风险评估及应急响应等高端服务，创新突破复杂网络属性、行为、交互式动态等高度仿真，复杂业务模拟和节点重构等大规模仿真，全景捕获复现和应激反制等对抗性仿真，多层次多维度攻击效能效果的仿真评估等重难点技术，构建大规模、高逼真、对抗性网络靶场。并在技术验证、战略预判、内容检验、情报分析，舆情预警等方面构建攻防演练模型，通过靶场的系统性、基础性、开拓性工作，使国家内容安全能力得到实质性提升。
2.面向舆情攻防演练与研究的大规模社会系统模拟装置
模拟装置以虚实结合的方式进行建设，用真实数据驱动虚拟模型，对虚实数据进行一体化分析。基于最新人工智能技术，建立智能拟合模型，实现大规模舆情攻防模拟推演交互式可视化分析。支持多用户在模拟推演平台开展实验分析，支持对模拟系统运行进行实时干预，并提供可视化数据展示验证效果。支持政府对舆情信息了解得更加全面、对舆论动态认识得更加深刻、对敏感变化捕捉得更加及时，增加理政治国的主动性、施政为民的科学性。
中国工程院院刊授权转载
往期文章
开放获取|测控技术2020年第39卷第8期机器视觉技术专刊
开放获取|测控技术2020年第39卷第12期人工智能与测试保障专刊
论文推荐|《测控技术》4月网络首发论文
论文推荐|《测控技术》2020年航空航天领域优秀论文集锦
论文推荐|《测控技术》2020年计算机、自动化技术领域优秀论文集锦
论文推荐|《测控技术》2021年5月网络首发论文集锦
【大家论坛】高金吉院士：航空发动机振动故障监控智能化
谭久彬院士：核心关键是解决超精密测量能力问题
王海峰：航空装备保障智能化发展认识与探讨
【大家论坛】航空装备测试保障体系建设的思考
【大家论坛】大型飞机电力系统测控技术需求探讨
文章推荐|一种智能化卫星供配电测试系统设计文章推荐|一种直升机旋翼振动测试方法文章推荐|航空发动机数控系统导叶容错控制研究文章推荐|数字锁相放大器在大气透射仪中的应用研究文章推荐|防冰总压/静压探针结构及控制系统设计与应用文章推荐|孙志岩：航空发动机控制系统发展概述返回搜狐，查看更多