基于机器学习的物联网安全技术：物联网设备如何使用人工智能来增强安全性?
基于机器学习的物联网安全机器学习与物联网安全的关联物联网攻击模式基于机器学习的安全技术基于认证的学习基于恶意软件探测的学习基于访问控制的学习物联网安全卸载和学习物联网安全中机器学习的注意事项机器学习与物联网安全的关联物联网促进了物理世界和计算机通信网络之间的集成，基础设施管理和环境监控等应用程序使隐私和安全技术对未来至关重要。物联网系统由射频识别(RFID)、无线传感器网络(WSNs)和云计算组成。物联网必须保护数据隐私并解决安全问题，如欺骗攻击、入侵、DoS攻击、分布式DoS(DDoS)攻击、干扰、窃听和恶意软件等。例如，收集用户健康数据并将其发送到连接的智能手机的可穿戴设备必须避免隐私信息泄露。对于计算、内存、无线电带宽和电池资源有限的物联网设备来说，通常不允许执行计算密集型和延迟敏感的安全任务，尤其是在大量数据流下。然而，大多数现有的安全解决方案对物联网设备产生了沉重的计算和通信负载，户外物联网设备(如具有轻量级安全保护的廉价传感器)通常比计算机系统更容易受到攻击。如图1所示，我们进行了关于物联网认证、访问控制、安全卸载和恶意软件检测的调查。
认证可以帮助物联网设备区分欺骗、Sybil等基于身份的源节点和地址攻击访问控制防止未经授权的用户访问物联网资源安全卸载技术使物联网设备能够使用服务器和边缘设备的计算和存储资源来完成计算密集型和延迟敏感的任务恶意软件检测保护物联网设备免受病毒、蠕虫和木马等恶意软件的隐私泄露、功耗损耗和网络性能下降随着ML攻击和智能攻击的发展，物联网设备必须在异构动态网络中选择防御策略并确定安全协议中的关键参数以进行权衡。由于资源有限的物联网设备通常难以及时准确地估计当前网络和攻击状态，因此这项任务具有挑战性。例如，[L.Xiao,Y.Li,G.Han,G.Liu,andW.Zhuang,“PHY-layerspoofingdetectionwithreinforcementlearninginwirelessnetworks,”IEEETrans.Veh.Technol.,vol.65,no.12,pp.10037–10047,Dec.2016.]方案的认证性能对假设测试中的测试阈值很敏感，而假设测试的阈值既依赖于无线电传播模型，也依赖于欺骗模型。这些信息对于大多数室外传感器来说是不可用的，导致在欺骗检测中出现高频率假警报或误检率。ML技术包括有监督学习(supervisedlearning)、无监督学习(unsupervisedlearning)、RL(RL)等，已经广泛应用于提高网络安全性，如表1所示，如认证、访问控制、抗干扰卸载、恶意软件检测等。监督学习技术，如支持向量机(svm)，朴素贝叶斯，k-近邻(K-NN)、神经网络(nn)、深度神经网络(DNNs)和随机森林可以用来标记物联网设备的网络流量或应用痕迹，构建分类或回归模型。例如，物联网设备可以利用支持向量机检测网络入侵和欺骗攻击，利用K-NN检测网络入侵和恶意软件，利用NN检测网络入侵和DoS攻击。物联网设备可以使用朴素贝叶斯进行入侵检测，使用随机森林分类器检测恶意软件。具有足够计算和内存资源的物联网设备可以利用DNN检测欺骗攻击。无监督学习在有监督学习中不需要有标签的数据，并调查无标签数据之间的相似性，将它们聚到不同的组。例如，物联网设备可以使用多元相关分析来检测DoS攻击，并在物理层(PHY)认证中应用无限高斯混合模型(IGMM)进行隐私保护。RL技术，如Q学习、Dyna-Q、决策后状态(PDS)和深度Q-网络(DQN)，使物联网设备能够通过试错[8]选择安全协议和关键参数来对抗各种攻击。例如，Q-learning作为一种无模型RL技术已经被用于提高认证、抗干扰卸载和恶意软件检测的性能。物联网设备可以使用Dyna-Q进行认证和恶意软件检测，使用PDS检测恶意软件，使用DQN进行抗干扰传输。
物联网攻击模式物联网系统由物、服务和网络组成，容易受到网络、物理和软件攻击以及隐私泄露。如图1所示，我们将重点关注以下物联网安全威胁：
DOSattackers：攻击者向目标服务器发送大量的请求，阻止物联网设备获取服务。DoS攻击最危险的类型之一是DDoS攻击者使用数千个Internet协议地址请求物联网服务，使服务器难以区分合法的物联网设备和攻击者。分散型轻量级物安全协议尤其容易受到DDoS攻击Jamming：攻击者发送假信号来中断物联网设备正在进行的无线电传输，并进一步耗尽带宽、能量和中央处理单元(cpu)、物联网设备或传感器的内存资源Spoofing：欺骗节点通过其身份(如媒介访问控制(MAC)地址和RFID标签)模拟合法的物联网设备，以获得对物联网系统的非法访问，并可以进一步发起诸如DoS和中间人攻击等攻击MIMA：中间人攻击者发送干扰和欺骗信号，目的是秘密监视、窃听和改变物联网设备之间的私人通信Softwareattacks：移动恶意软件如木马、蠕虫和病毒可能导致物联网系统隐私泄露、经济损失、电力消耗和网络性能下降Privacyleakage：物联网系统必须在数据缓存和交换期间保护用户隐私。一些缓存所有者对存储在他们设备上的数据内容感到好奇，并分析和出售这类物联网隐私信息。可穿戴设备收集用户的位置、健康等个人信息，个人隐私泄露的风险越来越大。基于机器学习的安全技术基于认证的学习传统的认证方案并不总是适用于计算、电池和内存资源有限的物联网设备，无法检测欺骗、Sybil等基于身份的攻击。物理层认证技术，利用无线电信道和发射机的物理层特征的空间去相关，如接收信号强度指示器(RSSIs)、接收信号强度(RSS)、无线电信道的信道脉冲响应(CIRs)、信道状态信息(CSI)、MAC地址可以在不泄露用户隐私信息的情况下为物联网设备提供轻量级的安全保护。物理层身份验证方法(如[PHY-layerspoofingdetectionwithreinforcementlearninginwirelessnetworks])构建假设测试，以将被测消息的物理层特征与声明发送器的记录进行比较。它们的验证精度取决于假设检验中的检验阈值。然而，对于物联网设备来说，由于无线电环境和未知的欺骗模型，物联网设备选择合适的认证的测试阈值是一项挑战。物联网设备在最后一个时隙估计欺骗干扰检测的虚警率和误检率，学习状态由虚警率和误检率组成。如果已知当前状态和测试阈值，那么物联网设备观察到的未来状态独立于以前的状态和动作。因此，在对抗欺骗攻击的重复博弈中，物联网认证的测试阈值选择可以看作是一个具有有限状态的马尔可夫决策过程。
马尔可夫性：所谓马尔可夫性是指系统的下一个状态st+1仅与当前状态st有关，而与以前的状态无关。定义：状态st是马尔可夫的，当且仅当p(st+1|st)=p(st+1|st,st−1,⋯,s1)。从定义中可以看到，当前状态st其实蕴含了所有相关的历史信息s1,⋯,st。马尔可夫性描述的是每个状态的性质，但真正有用的是如何描述一个状态序列。数学中用来描述随机变量序列的学科叫随机过程。所谓随机过程就是指随机变量序列。如果随机变量序列中的每个状态都满足马尔可夫性，那么该随机过程称为马尔可夫随机过程。强化学习的目标是给定一个马尔可夫决策过程，寻找最优策略。
分布式FrankWolfe(dFW)和增量聚合梯度(IAG)等监督学习技术也可以应用于物联网系统，以提高抗欺骗能力。接下来介绍一个模型，参考文献如下。参考文献：L.Xiao,X.Wan,andZ.Han,“PHY-layerauthenticationwithmultiplelandmarkswithreducedoverhead,”IEEETrans.WirelessCommun.,vol.17,no.3,pp.1676–1687,Mar.2018.
上文中的身份验证方案利用多个地标接收到的RSSIs，并使用逻辑回归来避免被限制到一个已知的无线电信道模型。该认证方案通过采用dFW和IAG算法估计logistic回归模型的参数，节省了通信开销，提高了欺骗检测的准确性。如图2所示，在6个地标，每个地标配备6根天线的仿真中，基于dFW的认证方案和基于IAG的认证方案的平均错误率分别为6%和小于10-4。在这种情况下，基于dFW的认证减少了37.4%的通信开销，而IAG与基于FrankWolfe的方案相比，减少了71.3%的计算开销。
IGMM等无监督学习技术可以应用于基于近距离的认证中，在不泄露设备定位信息的情况下，对靠近的物联网设备进行认证。例如，在[Proximity-basedsecuritytechniquesformobileusersinwirelessnetworks]中提出的认证方案使用IGMM，一种非参数贝叶斯方法，以避免过拟合问题，从而调整模型的复杂性，评估RSSIs和包到达时间间隔的环境无线电信号，以检测接近范围以外的欺骗。该方案在室内欺骗检测实验中，与基于欧氏距离的认证相比，检测错误率降低了20%~5%如图3所示，该方案请求被测物联网设备发送特定时间段内所接收到的环境信号的RSSIs、MAC地址和包到达时间间隔等环境信号特征。物联网设备提取环境信号特征并发送给合法的接收方。接收端接收到验证消息后，应用IGMM将上报的信号特征与基于邻近度测试中观察到的环境信号特征进行比较。接收端为通过认证的物联网设备提供对物联网资源的访问权。最后，将DNN等深度学习技术应用于具有足够计算和内存资源的物联网设备，进一步提高认证精度。[SmartuserauthenticationthroughactuationofdailyactivitiesleveragingWiFi-enabledIoT]中介绍的基于DNN的用户认证提取Wi-Fi信号的CSI特征，并应用DNN检测欺骗攻击者。该方案的欺骗检测准确率约为95%，用户识别准确率为92.34%。
基于恶意软件探测的学习物联网设备可以应用监督学习技术来评估应用程序在恶意软件检测中的运行行为。在[Evaluationofmachinelearningclassifiersformobilemalwaredetection]中开发的恶意软件检测方案中，物联网设备使用k-nn和随机森林分类器来构建恶意软件检测模型。如图5所示，物联网设备过滤TCP数据包，并在各种网络特征(包括帧号和长度)中选择特征，对它们进行标记，并将这些特征存储在数据库中。基于k-nn的恶意软件检测将网络流量分配给其k-nn中对象数量最多的类。随机森林分类器利用标记的网络流量构建决策树来区分恶意软件。根据[Evaluationofmachinelearningclassifiersformobilemalwaredetection]中的实验，基于k-nn的恶意软件检测方案和基于MalGenome数据集的随机森林方案的真阳性率分别为99.7%和99.9%。
物联网设备可以将应用程序跟踪转移到云或边缘设备上的安全服务器，以检测具有更大的恶意软件数据库、更快的计算速度、更大的内存和更强大的安全服务的恶意软件。要卸载的应用跟踪的最佳比例取决于每个边缘设备的无线信道状态和生成的应用跟踪的数量。RL技术可以应用于物联网设备，在不知道恶意软件和应用程序生成模型的情况下，实现动态恶意软件检测游戏中的最佳卸载策略。在[Cloud-basedmalwaredetectiongameformobiledeviceswithoffloading]开发的恶意软件检测方案中，物联网设备可以应用q学习来实现最佳的卸载率，而不需要知道邻近物联网设备的跟踪生成和无线电带宽模型。如图6所示，物联网设备将实时应用跟踪划分为若干部分，并观察用户密度和无线电信道带宽来制定当前状态。物联网设备评估检测精度增益、检测延迟和能耗，以评估在该时间间隔内接收到的效用。在由100台移动设备组成的网络中，与[Cloud-basedmalwaredetectiongameformobiledeviceswithoffloading]中的基准卸载策略相比，该方案提高了40%的检测精度，减少了15%的检测延迟，提高了47%的移动设备利用率。
[Cloud-basedmalwaredetectiongameformobiledeviceswithoffloading]中介绍的基于Dyna-q的恶意软件检测方案利用Dyna架构从假设的经验中学习，并找到最佳的卸载策略。该方案利用Dyna架构生成的真实防御和虚拟体验，提高了学习性能。例如，该方案与Q-learning检测方法相比，检测延迟减少了30%，准确率提高了18%。为了解决Dyna-Q的虚假虚拟体验，特别是在学习过程的开始，[Cloud-basedmalwaredetectiongameformobiledeviceswithoffloading]中开发的基于pds的恶意软件检测方案利用已知的无线电信道模型来加快学习速度。该方案利用网络模型、攻击模型和信道模型的已知信息来提高探测效率，并利用q学习来研究剩余的未知状态空间。在由200个移动设备组成的网络中，该方案与基于动态q的方案相比，检测精度提高了25%。
基于访问控制的学习室外传感器等物联网设备通常具有严格的资源和计算约束，这给异常入侵检测技术带来了挑战，降低了物联网系统的入侵检测性能。ML技术有助于构建轻量级的访问控制协议，以节省能源并延长物联网系统的生命周期。例如，在[In-networkoutlierdetectioninwirelesssensornetworks]中开发的离群点检测方案应用k-nn来解决无线传感器网络中的无监督离群点检测问题，并提供了在降低能耗的情况下定义离群点的灵活性。与平均能耗相近的集中式方案相比，该方案可最大节约能源61.4%。[Neuralnetworkbasedsecuremediaaccesscontrolprotocolforwirelesssensornetworks]中提出的基于多层感知器(MLP)的访问控制利用隐含层中有两个神经元的NN来训练MLP的连接权值，并计算表明物联网设备是否是DoS攻击的受害者的怀疑因子。该方案利用反向传播(backpropagation,BP)，将正向计算和误差BP结合起来，并将粒子群优化(particleswarmoptimization,PSO)作为一种进化计算技术，利用速度可调的粒子更新MLP的连接权值。当MLP的输出超过阈值时，被测试物联网设备会关闭MAC层和物理层功能，以节省能量并延长网络寿命。有监督学习技术(如支持向量机)用于检测针对互联网流量和智能电网的多种攻击类型。例如，[TrafficfloodingattackdetectionwithSNMPMIBusingSVM]中提出的轻量级攻击检测机制使用基于SVM的层次结构来检测流量泛滥攻击。在攻击实验中，数据集采集系统通过SNMP查询消息从受害系统收集到SNMP管理信息库数据。实验结果表明，该方案能够达到99.40%以上的攻击检测率和99.53%以上的分类准确率。
物联网安全卸载和学习物联网卸载必须解决由PHY或MAC层攻击发起的攻击，如干扰、非法边缘设备、非法物联网设备、窃听、中间人攻击和智能攻击。作为未来国家物联网设备独立观察到以前的状态和动作对于一个给定的状态和卸载策略在当前时间段,移动卸载策略选择的物联网设备的重复博弈与干扰器和干扰源与有限的国家可以被视为一个MDP。RL技术可用于优化动态无线电环境下的卸载策略。q学习是一种无模型的RL技术，其实现方便，计算复杂度低。例如，物联网设备可以利用[Amobileoffloadinggameagainstsmartattacks]中提出的基于q学习的卸载来选择它们的卸载数据速率来对抗干扰和欺骗攻击。如图4所示，物联网设备根据任务重要性、接收干扰功率、信道带宽和信道增益来制定其当前状态，这是根据q函数选择卸载策略的依据。q函数是每个动作状态对的预期贴现长期奖励和表示从之前的抗干扰卸载中获得的知识。根据当前卸载策略、网络状态和物联网设备接收到的抗干扰效用，在每个时隙中通过迭代Bellman方程更新q值。物联网设备评估接收信号的信噪比(SINR)、保密能力、卸载延迟和卸载过程的能量消耗，并估计该时间段的效用。物联网设备在卸载策略选择中应用了e-greedy算法，该算法以高概率选择q值最大的卸载策略，以小概率选择其他策略。因此，物联网设备在探索(即避免陷入局部最优策略)和利用(即提高长期回报)之间做出权衡。与[Amobileoffloadinggameagainstsmartattacks]中提出的基准策略相比，该方案降低了50%的欺骗干扰率和8%的干扰率。
根据[Competingmobilenetworkgame:Embracinganti-jammingandjammingstrategieswithreinforcementlearning]中提出的基于q学习的抗干扰传输，物联网设备可以应用q学习选择无线信道来访问云或边缘设备，而不需要意识到物联网系统中的干扰和干扰模型。如图4所示，物联网设备通过观察各通道的中心频率和无线电带宽来制定状态，并根据当前状态和q函数选择最优的卸载通道。在收到计算报告后，物联网设备评估实用程序并更新Q值。仿真结果表明，与基准随机信道选择策略相比，该方案的平均累积奖励提高了53.8%。q学习还可以帮助物联网设备从无线电频谱波段获得最佳子带，从而抵御来自其他无线电设备的干扰和干扰。如图4所示，物联网设备通过观察频谱占用情况来制定状态并据此选择频谱频段。在一个扫频干扰器的实验中，在两个带十个子带的宽带自主认知无线电存在的情况下，该方案的干扰成本比[Multi-agentreinforcementlearningbasedcognitiveanti-jamming]中的基准子带选择策略提高了44.3%。在[Two-dimensionalanti-jammingcommunicationbasedondeepreinforcementlearning]中开发的基于DQN的抗干扰传输加快了物联网设备的学习速度，具有足够的计算和内存资源来选择射频信道。该方案采用卷积神经网络(convolutionalNN,CNN)对包含大量物联网设备的大规模网络和动态物联网系统中的干扰策略进行状态空间压缩，从而提高接收信号的信噪比。更具体地说，CNN由两个卷积层和两个全连接层组成。CNN的权值是根据之前在内存池中的经验，基于随机梯度下降算法更新的。CNN的输出用于估计各个抗干扰传输策略的q函数值。与q学习方案相比，该方案使接收信号的信噪比提高了8.3%，在抗干扰攻击方面节省了66.7%的学习时间。
物联网安全中机器学习的注意事项部分状态观察:现有基于RLL的安全方案假设每个学习代理都知道准确的状态，并及时评估每个行为的即时奖励。此外，Agent必须容忍糟糕的策略，尤其是在学习过程的开始阶段。然而，物联网设备通常在学习之初就准确估计网络和攻击状态有困难，避免因错误的策略而造成的安全灾难。一个可能的解决方案是迁移学习，通过数据挖掘来探索现有的防御经验，以减少随机探索，加快学习速度，并减少在学习过程的一开始就选择糟糕的防御策略的风险。此外，在学习过程中，从探索阶段就需要提供备份安全机制来保护物联网系统。计算和通信开销:许多现有的基于ML的安全方案具有密集的计算和通信开销，需要大量的训练数据和复杂的特征提取过程。因此，必须研究具有低计算和通信开销(如dFW)的ML新技术，以增强物联网系统的安全性，特别是在没有云服务器和边缘计算的场景下。备份安全解决方案:为了实现最优策略，基于RL的安全方法必须在学习之初就探索可能导致物联网系统网络灾难的糟糕安全策略。基于无监督学习技术的入侵检测方案有时具有不可忽略的误检率。有监督学习和无监督学习有时由于采样过多、训练数据不足和特征提取不良而无法检测到攻击。因此，需要设计备份安全解决方案，并与基于ML的安全方案相结合，提供可靠、安全的物联网服务。基于人工智能的网络告警关联分析处理的应用
2019/4/214:49基于人工智能的网络告警关联分析处理的应用邮电设计技术 陆斌华楠郑小平陈文军1 概述
随着通信网络近些年的快速发展，其规模已经相当庞大，在网络中每天都会产生告警信息，并且这些信息数据量庞大、突发故障多，当网络设备出现故障并引发告警时，与它关联的设备也会引发相应的故障，并在短时间内产生大量告警信息［1-2］。由于一个故障的产生往往会引发多个告警事件，与故障相关的设备以及业务过程都会发出相关的告警信息，同时多个故障引发的告警信息会叠加到一起，把真正的告警信息淹没在里面，导致故障识别十分困难。当前网络告警的监控和管理主要依靠人工完成，网络运营维护成本高昂，处理过程十分耗时，在发生大量故障告警时基本不能满足告警处理的实时性要求。
告警相关性分析是网络故障诊断的重要方法之一，告警相关性分析采用的方法有很多，例如基于规则的告警相关性分析、基于事例的告警相关性分析、基于因果模型的相关性分析、基于神经网络的相关性分析等。但是这些方法都存在一定的缺点，例如基于事例的方法对于网络变化处理反映不敏感，这是因为它由特定应用领域决定，而不存在一个各个领域通用的事例，基于规则的方法难以适应大规模和技术复杂的通信网络模型，这是因为它需要人工来维护大量告警规则。目前我国的综合网络管理市场上，大部分相关产品，都提出了告警相关性分析的支持功能，也有部分公司表明其产品实现了告警相关性的分析，但其实只是实现了一些比较基础的告警过滤、告警规避等功能，规则的生成有待进一步实验研究［3-7］。
本文提出一种使用规则挖掘及基于规则的关联方法［8］，主要是将当前告警系统领域的告警知识包含在一组规则集合中，通过对检测到的告警进行判定，并使用相应的推理规则来分类一个或者多个告警的发生是否符合某一个规则，进而确定具体的故障类型［9］。其工作原理主要是依赖于规则库和推理引擎。在规则库中将很多实践中获取的知识通过适当编码形成IF-THEN式的规则，递归向下匹配规则，定位最终的故障源。当发生新的告警时，系统将启用推理引擎来对告警进行处理。这种方法表现形式单一、直观，所以不需要长时间的培训学习，也不需要了解网络的底层架构，就可以定位网络中发生的故障。
2 网络告警分析处理系统设计
告警分析处理分为2个阶段：告警规则挖掘阶段、告警分析处理阶段。告警规则挖掘阶段是为了实现基于历史告警数据的大数据分析，从历史数据中获得告警之间的关联规则，形成规则数据库；告警分析处理阶段目的是基于所获得的规则数据库中的关联规则，对网络中的当前告警进行分析和处理，获得当前告警中的根源告警及衍生告警。
告警规则挖掘阶段采用离线处理的方式，对历史数据进行分析和挖掘，不要求实时性。初次部署时，获取大量网络历史告警，进行规则挖掘初始化，形成规则数据库，在网络中部署后，采用定期挖掘规则的形式，对规则数据库进行增量更新和补充。
告警分析处理阶段采用在线处理的方式，对当前告警进行处理，要求实时性。在软件部署后，便通过网管后台接口与网管进行通信，实时对网络告警进行处理。
图1给出了告警分析处理系统总体架构。
2.1 告警数据统计分析
本文对网络告警类型出现频次做了初步统计，如图2所示。从分布图可以看出，告警信息集中在少数几种类型中，例如PK_LOS，RCONTEXT_PACKET_LOS，VP_RDI，RCONTEXT_PACKET_LOS，E1_AIS等告警类型占据了约90%以上的信息，而M_BCFGRDIF，VP_MMG，MANUAL_SWITCH等告警类型所占比例远远小于1%，告警类型不均匀分布给后期的分析处理带来了极大的挑战。
图2告警类型频次分布图
2.2 告警规则挖掘阶段
告警规则挖掘阶段的示意图如图3所示。
图3告警规则挖掘
a）由IPRAN的网管系统导出历史告警数据文件，作为规则挖掘所学习的数据。
b）数据预处理，读取历史告警数据后，检测所有数据的有效性，筛除其中无效数据，并对告警数据进行编码，导入到告警数据库中；告警数据库中同时导入网络拓扑、业务信息、告警层次信息等。
c）数据聚类，从告警数据库中提取出聚类所需数据关键字段，进一步实现对告警数据的聚类，将数据在时域和地理位置进行划分。
d）规则挖掘，获取聚类结果，同时从告警数据库中提取告警数据，对每一簇告警数据进行关联分析，实现规则挖掘。
e）将挖掘出的规则导入到告警数据库中，经过专家的人工干预，实现有效规则的筛选。
2.3 告警分析处理阶段
图4给出了告警分析处理。
a）由IPRAN的网管系统经过后台接口，将数据传入数据接口中。
b）数据接口读取到当前告警数据后，经相应处理导入到告警数据库中；告警数据库中同时导入网络拓扑、业务信息、告警层次信息等。
c）数据聚类从告警数据库中提取出带分析告警数据的关键字段，进一步实现对当前告警数据的聚类，将数据在时域和地理位置进行划分。
d）告警处理分析，获取聚类结果，同时从告警数据库中提取告警数据。从规则数据库中遍历所有告警规则，对每一簇告警数据进行分析，得到根源告警，实现告警压缩。
3 网络告警关联分析处理方法
3.1 数据聚类
聚类属于无监督的机器学习方式。聚类根据未知标签样本的数据集内部的数据特征，将数据集划分成多个不同的类，使得同一类的数据样本尽可能地相似，不同类的数据样本之间相似度尽可能地小。传统的关联规则分析在统计告警信息时，往往是用时间硬滑窗之后再进行统计，但是时间硬滑窗不能充分利用信息，有可能把过多的告警放入一个类，或者把本来属于同一个故障的告警切成了不同的类，这样就会把不同根源告警及其衍生告警混淆到一起，统计结果精确度不够，所以提出先对告警信息聚类，根据告警信息的数据属性把不同的根源告警及其衍生告警区分开来，即每一类代表一个根源告警及其衍生告警，然后再做关联规则分析，精确度能提高。实验中主要做了聚类方案，基于地点和时间的信息聚类（见图5）。
图5聚类示意图
基于地点和时间信息聚类：利用准确的地点信息（例如网元），对告警数据进行“硬划分”；利用告警的开始时间及结束时间，使用DBSCAN算法［10-11］在时间维度进行聚类。
3.2 规则挖掘
规则挖掘的方案设计如图6所示。
告警规则挖掘主要分为3个过程，首先是由聚类结果生成告警关联矩阵（ACM——AlarmCorrelationMatrix）［13-15］，然后从告警关联矩阵中挖掘出潜在规则，通过设置阈值过滤或者人工干预的手段，得到有效的告警规则。下面针对上述3个过程进行详细描述。
3.2.1 聚类结果生成告警关联矩阵
对海量告警信息进行聚类之后，在聚类结果中挖掘告警信息之间的关系。挖掘2个告警之间的关系时，使用2个评价指标：支持度和置信度。支持度指的是有序告警对（a→b）在聚类结果中出现的次数，即关联频次。置信度指的是在告警a出现的前提下，告警b接着出现的条件概率。同时，还定义了后件置信度，后件置信度的提出是为了解决置信度忽略规则后件中项集的支持度，前件置信度a→b统计结果100%，则说明有a就一定有b，后件置信度为100%，就说明b前面一定有a，当前件置信度很低，但是后件置信度很高时，认为规则a→b也是有效的。所以引入了后件置信度［12］，即在告警b被发现的前提下，告警b由告警a导致的条件概率。支持度可以用来衡量有序告警对（a→b）出现是否频繁，而置信度和后件置信度则用来说明有序告警对（a→b）之间的关联强度。置信度和后件置信度越高，说明有序告警对（a→b）之间的关联强度越大。
得到了聚类结果之后，在聚类结果中分别统计支持度、置信度、后件置信度。统计完成之后，可以得到3个告警关联矩阵，在这个方阵中，元素的行代号代表在前的告警，元素的列代号代表在后的告警。如表1红色数字所示，代表的是04告警→02告警的支持度。
表1告警关联矩阵示意图
3.2.2 告警关联矩阵挖掘潜在规则
告警关联矩阵中信息较多，为了筛选出潜在的规则，定义2个参数：衍生强度derive和后件衍生强度bderive，用来衡量有序告警对（a→b）的衍生强度。衍生强度和后件衍生强度的公式如下。
衍生强度和后件衍生强度基于的假设是：告警之间不能两两互推，如果存在（a→b），就不存在（b→a）。如果衍生强度或者后件衍生强度大于1，则a→b要比b→a更加可信，更加符合统计规则。
从式（1）和（2）中可以看出，告警之间的自推是没有的，因为derivea→b和bderivea→b都会等于1，会被过滤掉。根据上述的原则，可以得到潜在的告警关联规则。置信度包括后件置信度说明的是a→b的关联强度，值越大说明关联强度越大。但并不能完全说明a能推导出b，因为在这种情况下b→a的置信度包括后件置信度也有可能很高。为了避免一部分有效的规则被过滤掉，在由告警关联矩阵挖掘潜在高级规则时，算法当中的一些阈值可以设定得低一些，那么得到的潜在规则就会相应地多一些。
3.2.3 设置阈值过滤及人工干预得到有效规则
在得到潜在规则之后，通过进一步设置阈值过滤或者人工干预得到有效的规则。通过人工检查可以将一部分错误的告警规则剔除，进一步提高告警规则的准确度。
在实际应用中，潜在的告警规则规模可能会比较大，人工的检查工作量很大。为了降低人工检查的工作量，可以将阈值提高，进一步缩小潜在的告警规则规模。但是阈值提高越多，被剔除的有效规则也就越多，需要对两者进行权衡。
3.3 告警处理分析
告警处理分析采用先聚类后过滤的处理方法，具体的处理分析步骤分为：
a）根据有效的关联规则，形成告警关系层级和根源衍生告警关系。
b）根据聚类后的告警数据，对每一条告警判断其是否与其根源告警并存，若有则该告警被排除，若不是则该告警保留，直至遍历所有告警数据后得到根源告警数据集。
c）将被排除的衍生告警添加标记，将根源告警添加标记后上报网管实现进一步过滤。
得到了一系列的有效规则之后，按照有序的顺序把这些告警标出来，就会得到一个有向图。
3.4 告警处理分析示例
告警分析处理，输入是一系列的告警，这些告警经过了聚类的处理，将同一个故障引起的告警尽可能地放在一个聚类中。在仿真过程中使用的样本数据如表2所示。
表2告警数据样本
根据告警信息的时间属性进行聚类，得到如表3所示结果。
表3聚类结果
然后根据规则树对不同类中的告警信息判断根源告警和衍生告警，规则树是在告警规则挖掘阶段根据正确规则产生的，每个节点表示告警类型，例如VP_LOC，VC_LOC等，节点之间的有向线段VP_LOC[→]VC_LOC表示告警VP_LOC可以导致告警VC_LOC产生，如图7所示。
图7根据正确规则描绘的规则树
根据规则树挖掘的最终结果如表4所示。
4 结束语
告警信息体量已经达到了大数据规模，处理方法也应该与时俱进。本文提出的聚类方法进行规则挖掘，基于规则的关联分析对网络告警信息的分析处理适应了告警信息体量剧增的现象。网络告警信息处理的问题已经无法单纯依靠人工来解决，必须结合人工智能的方法来处理，这也提出了更高要求。
参考文献：
［1］ 邓歆，孟洛明.智能分布式通信网告警相关性模型及实现［J］.电子与信息学报，2006，28（10）：1902-1905
［2］ 朱秋艳.基于关联规则挖掘的网络告警关联［D］.北京：北京邮电大学，2008.
［3］ 于漫.电信网络智能化告警系统研究与实现［D］.长春：长春工业大学，2010.
［4］ 黄宇.关联规则分析在电信告警系统中的研究与应用［D］.成都：电子科学技术大学，2007.
［5］ 王仲佳.具有动态加权特性的关联规则算法及其在电信故障告警序列模式发掘中的应用［D］.长春：吉林大学，2005.
［6］ 杨一兵.移动通信网络告警及其关联分析［D］.哈尔滨：哈尔滨工程大学，2008.
［7］ 刘斌.移动通信网络故障告警关联分析方法与系统实现［D］.长沙：中南大学，2009.
［8］ HARRISONKA.EventCorrelationinTelecommunicationNetworkManagement［Z］.INCLHPLabs，1994.
［9］ STERRITTR，BUSTARDD，MCCREAA.Autonomiccomputingcorrelationforfaultmanagementsystemevolution［C］//IEEEInternationalConferenceonIndustrialInformatics.IEEE，2003.
［10］ ESTERM，KRIEGELHP，XUX.Adensity-basedalgorithmfordiscoveringclustersadensity-basedalgorithmfordiscoveringclustersinlargespatialdatabaseswithnoise［C］//InternationalConferenceonKnowledgeDiscoveryandDataMining.AAAIPress，1996：226-231.
［11］ OLIVEIRADPD，JRJHG，SOIBELMANL.Adensity-basedspatialclusteringapproachfordefininglocalindicatorsofdrinkingwaterdistributionpipebreakage［J］.AdvancedEngineeringInformatics，2011，25（2）：380-389.
［12］ ZHUB，GHORBANIAA.AlertCorrelationforExtractingAttackStrategies［J］.InternationalJournalofNetworkSecurity，2006，3（3）：244-258.
［13］ SKINNERK，VALDESA.ProbabilisticAlertCorrelation［J］.ProceedingsofRecentAdvancesinIntrusionDetection，4thInternationalSymposium，（RAID2001），LNCS2212：54-68.
［14］AToolkitforIntrusionAlertAnalysis［EB/OL］.［2018-08-11］.http：//discovery.csc.ncsu.edu/software/correlator/ver0.4/index.html.
［15］ NINGP，CUIY.AnIntrusionAlertCorrelatorBasedonPrerequisitesofIntrusions［M］.NorthCarolinaStateUniversityatRaleigh，2002.
作者简介：
陆斌，清华大学硕士在读，主要从事光网络方面的研究；华楠，毕业清华大学，副研究员，硕士生导师，主要从事智能光网络管控及交换方面的研究；郑小平，毕业于清华大学，教授，博士生导师，面向国家宽带信息网络发展的重大需求，长期致力全光通信网络与微波光子学的研究；陈文军，工程师，研究领域为IPRAN设备4G、5G业务承载方案，对于IPRAN网络业务部署、告警产生机制、设备业务告警关联分析有深入了解
给作者点赞0VS0写得不太好基于人工智能的网络告警关联分析处理的应用
免责声明：本文仅代表作者个人观点，与C114通信网无关。其原创性以及文中陈述文字和内容未经本站证实，对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺，请读者仅作参考，并请自行核实相关内容。