电力架空线路巡检可见光图像智能处理研究综述
0引言架空线路巡检作为保障输配电网正常运行的重要手段之一,一直以来都面临着网线分布广、设施布置复杂,巡线作业强度大、周期长,部分区域自然环境复杂恶劣等问题。为了解决这一问题,近几年,电网逐渐引入无人机巡检[1]、机器人巡检[2]、在线监测[3]等新技术,这些技术通常是通过一定的载体(无人机、机器人或杆塔固定安装位等),使用装载的检测装置(如可见光/红外/紫外影像采集设备、测距仪、激光传感器等)对线路上的关键对象进行检测。虽然上述技术改进很大程度上降低了工作人员的野外工作强度,提升巡线效率,但在数据处理方式上,特别是占大比重的可见光影像数据的处理上,仍然是传统的人工肉眼观察拍摄影像,检查并标注缺陷信息的工作方式[4]。这一工作方式不仅效率低下,且准确率受制于检查人员的视觉观察技能水平,同时还存在视觉疲劳导致漏检率上升的隐患。为此,近年来国内外有不少研究尝试使用图像处理技术对巡检影像进行分析,自动检测其中可能存在的缺陷。这些研究虽然取得了一定的进展,但离实际应用还有较大差距。
人工智能作为近年的技术热点,在诸多领域,如图像检测[5]、语音识别[6]、数据分析[7]等,取得了令人瞩目的成果,特别是深度学习技术,更是在当前影像处理领域上占据统治地位[8],其不需要人工设计提取特征的优势,使得它可以较好地应对背景复杂场景多变目标特征多样化的电力巡检可见光图像,高度契合电力巡检中海量可见光图像智能化处理的需求。
本文介绍电力巡检可见光图像来源及分类,总结分析可见光巡检的内容及缺陷特点;将可见光巡检图像智能处理分解为图像目标检测和图像测距分别进行综述,结合实验数据分析可见光巡检图像智能处理技术的发展趋势,探讨深度学习技术在该领域的应用前景;在此基础上,阐述进一步推进巡检图像智能处理所面临的挑战及可能的解决方案。
1可见光巡检应用现状1.1可见光巡检工作模式可见光巡检,在电力线路巡检中指应用稳像仪、照相机、摄像机等可见光设备对线路本体、辅助设施及线路走廊进行巡视并记录相关信息[9]。由于可见光巡检设备要求简单,且在单次巡检中可以覆盖大部分的器件缺陷与电力线缺陷,因此在线路巡检中,可见光巡检依然占据主要地位[10]。在当前飞行器协同立体巡检工作模式下,大部分的缺陷检测是通过人工观测巡检可见光影像完成的。
目前,可见光影像的产生主要有以下几个途径：1）架空线路图像/视频监控装置采集;2）传统线路巡检人工拍摄采集;3）直升机巡检人工拍摄采集;4）无人机巡检自动或人为采集;5）巡检机器人采集。
其中,架空线路图像/视频监控装置通常安装在杆塔上,检测的对象为输电线路本体,包括杆塔、导线、绝缘子、金具等的运行情况,以及线路周边通道环境情况,如施工、树木生长等情况[11]。
直升机巡检和无人机巡检均是对传统人工巡检的技术提升,前者由巡检人员乘坐直升机使用各种传感设备对线路进行巡查,后者可分为多旋翼无人机巡检和固定翼无人机巡检。其中,多旋翼无人机通常由飞手在巡查地点附近升空,利用无人机吊装的摄像头进行巡查,其重点监测对象与直升机巡检类似,检查架空线路本体,包括导地线、绝缘子、金具、杆塔等,以及线路通道的异常情况和缺陷隐患[12-13];固定翼一般沿线路飞行,采用连续拍照或视频录像的方式采集影像,对于连续拍摄的图像一般进行拼接处理,形成通道全景图,由于无悬停功能,其重点监测对象为线路通道、周边环境、沿线交叉跨越等宏观情况,兼顾较为明显的设备缺陷(如杆塔倒伏、断线等)[14]。
架空线路巡检机器人一般由移动载体、通讯设备及检测设备组成,在杆塔、绝缘子或地线上移动,自主或遥控下利用搭载的检测传感器进行缺陷检测。其检测对象通常为线路设备和通道环境[15]。根据巡检路线的不同,其移动载体有多种形式,以应对不同巡检任务的线路越障、爬坡能力、续航能力、与导线的安全距离等要求。
在几种工作模式中,图像/视频监控装置通常作为线路巡检工作的补充措施,用于24h监控重点监测对象,虽然检测方式较为呆板,但可以及时对微气象、线路外力破坏等做出响应。其研究热点为提高监控装置的智能检测能力,减轻人工观测的工作量,减少影像传输成本。直升机、无人机和线路巡检机器人均是对传统人工巡检的改进。其中,线路巡检机器人的研究已经有30多年历史,但一直未能大规模推广应用,目前以小范围试用为主。一方面,线路巡检机器人的巡检效率较低[2],上下线步骤较为繁琐[15];另一方面,电力线路通常装有各类金具或附属设备,要求机器人具备一定的越障能力,不仅增加巡检自动化难度,有时还需对线路路径进行改造[15];同时,存在机器人对线路造成损伤的隐患[1]。但线路巡检机器人可以在导线上近距离对部件进行检测,在检测精度及小尺度缺陷检测上具有无可比拟的优势。直升机和无人机的空中巡检对巡检效率提升非常显著,并可以发现杆塔平口及以上位置的人工巡检难以发现的缺陷,对巡检质量有很大提升。直升机由于其载荷能力远远大于无人机,能装载种类更多且更为精密的检测设备,其检测质量要高于无人机巡检,但巡检成本也远高于无人机,因此直升机的常规巡检通常每年仅安排3~4次。相比之下,无人机巡检更容易与传统人工巡检相融合,成为日常巡检手段。根据国家电网公司公布的数据,无人机巡检的通道巡检效率是人工巡检的8~10倍,但受制于飞手数量,目前人工巡检与无人机巡检各占日常巡检工作的50%。
在当前工作模式下,并非所有的缺陷都是在巡检现场发现的。一方面,便携显示设备(如无人机遥控器显示屏)尺寸较小,分辨率不佳;另一方面,固定翼飞机巡航速度较快,直升机和旋翼无人机巡检时通常只在同一地点悬停2~5min。巡检员只能对较为明显的缺陷点进行重点观察和拍摄,更多细小的缺陷通常是将巡检影像带回地面站后再进行详细检查。
1.2可见光巡检缺陷分析根据《国家电网公司架空输电线路运维管理规定(国网(运检/4)305—2014)》,国家电网的架空线路设备缺陷管理系统规定了878种缺陷,分为基础、杆塔、导地线、绝缘子、金具、接地装置、通道环境、附属设施8大类。其中,有部分缺陷的缺陷内容相同,但根据程度不同被分为3种不同危害等级的缺陷(如绝缘子自爆缺陷根据损坏程度不同被分为一般、严重、危急3种性质的缺陷),对这类缺陷进行整合,共统计出499种不同缺陷内容的缺陷类型,分布如表1所示。
表1线路巡检常见缺陷统计Tab.1Statisticsoftransmissionlineinspectioncommonfault
从缺陷类型分布来看,杆塔、绝缘子、金具3个大类缺陷类型较多,主要原因在于这3大类涉及的设备种类多,以数量最多的杆塔类缺陷为例,涉及角钢塔、钢管塔、钢管杆、砼杆和大跨越塔5种类型的杆塔,每种杆塔有5~8个部件(如塔身、横担、拉线等),每个部件又有多种类型缺陷。
根据缺陷产生的特点,可将缺陷划分为4种类型：部件本体缺陷、部件连接缺陷、部件缺失缺陷和距离类缺陷。
部件本体缺陷即由电力部件本体损坏产生的缺陷,如绝缘子自爆、导线断股、金具损坏等,这类缺陷通常在部件本体上发生了明显的形变或纹理/颜色的改变,可以通过图像目标检测算法检测缺陷,此类缺陷约有280种,占缺陷类型数一半以上;有部分部件本体缺陷在部件外观上没有明显变化,只是某些性能下降或丧失,如绝缘子憎水性丧失、在线监测装置功能丧失、跨越塔电梯故障等,这类缺陷无法单纯通过可见光巡检图像进行检测。
部件连接缺陷指部件间连接不正确或不完善引发的缺陷,该类缺陷亦可分为2种：一种是可见光明显可见的外观改变,如金具的滑移/歪斜/脱落、金具反装等,这种类型的缺陷通常利用目标检测算法或再配合特定的约束条件可以实现缺陷检测;另一种则是如金具发热等由于部件接触不良引发的可见光不可视的缺陷,这类缺陷也无法单纯通过可见光巡检图像进行检测。
部件缺失缺陷指由电力部件缺失引发的缺陷,这类缺陷较为典型的案例为螺栓缺帽和杆号牌缺失等,对于前者可以直接使用目标检测算法检测缺陷,后者则需要在目标检测的基础上结合先验知识进行诊断。
距离类缺陷指由于电力部件与周遭物体小于安全距离,或电力部件自身悬垂度、间隙距离等不满足要求引发的缺陷。全部的通道环境类缺陷都属于前者,典型代表为树障缺陷和导线与建筑物距离不足,这种缺陷可以在目标检测和轮廓提取的基础上配合图像测距进行检测;异物缺陷,如导线附着异物等,也可以划分为此类缺陷,可以直接使用目标检测算法进行缺陷检测。对于部件自身悬垂度不足的缺陷,典型案例如导线弧垂偏差,目前已有的研究是在目标检测和轮廓提取的基础上进行曲线拟合,最后几何求解偏差。
综上,使用图像处理方法进行架空线路可见光巡检缺陷检测的基础和技术关键在图像目标检测和图像测距,二者可以覆盖约90%的可见光巡检缺陷检测,仅有30余种缺陷难以根据可见光影像确定。
2图像目标检测2.1图像目标检测在可见光巡检中的研究现状图像目标检测技术是图像处理技术中的一种,其目的是从图像中分离出感兴趣的目标,并给出目标的属性描述(如类别、位置等),它是许多高级别视觉任务(如目标跟踪、动作识别及行为理解等)的实现基础。目标检测所面临的挑战通常来自于视点多变、目标物遮挡、背景杂波以及光照、阴影等引起的物体视觉外观的多变性,而电力巡检作为目标检测近10年的新兴应用领域,除了传统的挑战外,还面临目标外观多样化及目标尺度差异的问题：根据国家电网在2018年EPTC第6届输电年会工作汇报公布的数据,目前电网在役金具模型超过1900种,同种部件存在多种型号且型号间外观存在差异;多种电力部件同种缺陷所表现出的视觉外观具有多变性;同一张图像中需要被检测的目标物大小尺度存在较大差异。
在过去的几十年里,人们开发了大量的方法来实现图像目标检测,大致上可以分为4大类：基于模板匹配的方法、基于知识的方法、基于对象影像分析的方法和基于机器学习的方法,4种方法并非严格独立的,在进行复杂任务时一套检测算法可能会糅合多种方法[16]。
基于模板匹配的方法是最早也是最为简单的目标检测方法,其原理是建立一个刚性的,或具有一定程度可变形的模板,通过相似性度量在图像中寻找与模板最佳匹配的位置。这种方法需要大量的手工设计模板工作,依赖几何图形的先验知识和参数,对各种因素引起的被检对象外观变化较为敏感,因此在电力巡检目标检测中具有较大的应用局限,少有单独使用。
基于知识的检测方法的核心思想是利用被检目标的先验知识(如几何信息、上下文信息等)建立知识库,辅助目标检测或将检测问题转化为假设检验问题。这一方法在辅助检测一些具有特定规律的电力缺陷时非常有效,但目前该类研究较少。Zhong等人[17]使用在线监测影像估计覆冰输电线冰层厚度,利用导线结冰的位置和颜色先验知识优化导线边缘检测,将当前图像中的导线轮廓与事先输入的该导线未结冰状态的导线轮廓对比,结合相机标定参数估算冰层厚度,误差1.9%以内。该方法需要事先人为选定监控画面中的感兴趣区域(ROI),虽然有ROI跟踪功能,但仅能接受一定范围内的传输线或相机移动。
基于对象影像分析的方法是另一种常用的目标检测方法,典型应用场景为土地利用、森林管理监控等,目前在电力巡检目标检测领域亦有相当研究。这一方法从源图像中进行对象分割,以对象作为影像分析的基础单元[18],通过计算、提取对象特征完成目标检测。Zhai等人[19]使用基于颜色特征和梯度特征的显著性检测定位绝缘子,再以自适应形态学方法检测自爆缺陷,是目前绝缘子自爆缺陷检测中非机器学习方法所取得的最好效果,准确率达92.4%。文献[20]使用基于颜色和结构特征的F-PISA聚类定位绝缘子,利用闪络绝缘子受损区域颜色特征建立颜色模型识别受损区域,实现陶瓷绝缘子闪络缺陷检测,检测成功率78.8%,是目前绝缘子闪络缺陷检测的最好成绩。Hao等人[21]使用GrabCut分割算法提取绝缘子轮廓,以绝缘子轮廓凸缺陷计算绝缘子串伞帽间隙和悬垂的变化,定量分析绝缘子覆冰情况。王银立[22]使用灰度阈值分割和连通域特点进行导线粗定位,再使用Canny边缘检测和霍夫直线检测去除提取导线周围的条状干扰,以及模板匹配的方式滤除导线中的间隔棒,完成导线精分割,在此基础上计算导线离散度检测导线断股缺陷,该研究所用导线提取方法在复杂情况下需要人工干预才能完成干扰滤除。万迪明等人[23]使用线段区域生长和凸包算法定位图像中导线周围区域,并在该区域中使用像素平均色填充导线颜色,使得具有高灰度值的导线与背景色接近,最后使用视觉显著图分析导线异物缺陷。
基于机器学习的方法是目前目标检测的主流方法,也是当前电力巡检目标检测最为常用的检测方法。其一般流程是预先准备具有一定数量规模的训练数据,从训练数据中提取特征,再以这些特征训练具备学习能力的分类器,从而得到具有特定目标检测能力的检测模型。其特征提取方法大致上可分为人工设计特征提取算法和使用深度网络的自学习特征提取算法,前者使用人工设计的算法提取图像中选定的特征,如方向梯度直方图、尺度不变特征变换等;后者即所谓的深度学习技术,利用具备学习能力的深度网络模型自主提取图像特征,因此这类算法不仅需要对分类器进行训练,还需要训练作为特征提取器的深度网络。
在基于人工特征提取的机器学习方面,Liu等人[24]使用多层感知机进行输电线及绝缘子、防震锤检测,利用被检测对象的位置关联特征及局部轮廓特征建立目标识别的语义知识模型,其绝缘子正确检测率达到90.06%。Prasad等人[25]使用LBP-HF特征训练SVM分类器检测绝缘子破损缺陷,准确率93.33%;李储欣[26]结合广义Hough特征和不变矩特征训练Adaboost分类器进行绝缘子定位,再检测绝缘子表面灰度变化率检测绝缘子污秽缺陷,检测成功率88%。王森[27]分别使用Haar特征结合Adaboost分类器的人工设计特征提取机器学习方法和SSD深度学习检测框架对防震锤进行检测,准确率分别为93.03%和98.53%。作者所在团队使用LSD直线检测和Harris角点检测算法结合极限学习机进行铁塔检测,检测准确率93%。邹栋[28]提出了一种鸟巢缺陷检测方法,首先基于LSD直线检测和Harris角点检测进行杆塔粗定位,随后提取HOG特征训练SVM分类器完成杆塔精定位,在此基础上利用鸟巢颜色和结构特征实现鸟巢缺陷检测,检测率91.9%。
在电力巡检目标检测领域,深度学习技术的引入时间较晚,目前已发表的研究成果相对较少,检测对象大多为绝缘子、防震锤等具有较为显著几何特征的金具。文献[29]使用Faster-RCNN检测绝缘子,再将绝缘子区域切割出来后使用U-net网络检测绝缘子自爆缺陷,其召回率和准确率分别为95.5%和95.1%。Pan等人[30]提出了一种基于卷积神经网络(CNN)和霍夫变换的输电线提取方法,准确率达91.14%,该方法首先使用边缘特征检测器生成候选目标集,使用CNN对候选目标集中的背景噪声进行抑制,最后使用基于霍夫变换的线段检测完成输电线提取。Nordeng等人[31]使用Fast-RCNN检测框架,以VGG16网络作为特征提取,对耐张线夹进行检测,准确率97.8%。王万国等人[32]分别使用Faster-RCNN、SPPnet和DPM3种方法对间隔棒、均压环和防震锤3类金具进行多类检测,其中Faster-RCNN效果最好,检测准确率92.7%。笔者所在团队亦使用Faster-RCNN检测框架进行绝缘子及其自爆缺陷检测,其平均准确率均值(meanaverageprecision,MAP)分别达到95.7%和95.6%;使用Faster-RCNN检测铁塔倒伏缺陷,目前MAP91.9%;使用YOLOV3检测算法进行砼杆检测,MAP90.45%,并实现在视频中对砼杆进行计数。
上述引用均是该领域已发表的具有代表性的研究成果或是由本团队在实验中所取得的成果,一般为近10年来针对各检测对象在可比条件下所取得的最好检测成绩。表2按被检对象对上述成果重新进行了分类,表中未标注引用的数据均来自作者所在研究团队前期实验结果。
表2线路巡检图像智能处理研究成果统计Tab.2Researchstatisticsoftransmissionlineinspectionimageprocessing
近10年可见光巡检图像目标检测研究的检测对象主要为绝缘子、导线、杆塔和金具4大类。其中,绝缘子类占论文总数的一半,包括检测绝缘子本体及自爆、破损、闪络和覆冰缺陷。输电线是目标检测的另一个重点研究对象,约占该领域论文总数的1/4,主要为输电线的提取以及输电线断股、异物、覆冰等缺陷的检测。杆塔类检测的研究一般为检测杆塔本体和杆塔上的鸟巢缺陷,少量研究检测杆塔倒伏缺陷,其中,单纯检测杆塔本体的研究大多年限较早。金具类检测主要以防震锤为主,少部分检测线夹、间隔棒等。
从结果统计来看,当前在实验室环境下各主要被检对象的检测准确率可达90%左右,机器学习方法占主要地位。其中,绝缘子和金具类研究同时涉及基于人工设计特征提取的机器学习方法和基于深度学习技术的机器学习方法,对比两类结果可以看出,目前使用深度学习技术所取得的成果要优于使用人工设计特征的较为传统的机器学习方法。同时,目前大部分的目标检测方法,包括基于人工设计特征的机器学习方法,大多需要根据特定的检测类别进行针对性设计,仅能检测单一或少量特定目标,不具备可扩展性,泛化能力也较差。这也是当前大多数电力巡检目标检测研究的所面临的最大挑战：过去的目标检测研究多侧重于一种或少数几种检测对象,不具备扩展性,针对电力巡检中的8大类499种架空线路缺陷,所涉及的电力部件及电力缺陷还存在视觉外观多样性,若一个检测算法仅能检测单一或少量特定目标显然缺乏工程应用价值。而文献[32]使用深度学习检测方法检测多类目标的研究证实了深度学习检测方法在检测目标上的可扩展性,即可以使用单个检测框架实现多种电力部件或缺陷类型的检测,为这一问题提供了一个极具潜力的解决方案。
2.2深度学习检测方法在可见光巡检中的探索近期,国家电网先后开展了2次架空线路巡检图像人工智能处理技术验证工作。验证工作挑选了部分电力巡检典型缺陷,将其分成数类,使用基于深度学习的目标检测方法进行缺陷检测。参加验证工作的团队均采用一套检测模型对应一类缺陷的检测方案。表3以平均准确率(averageprecision,AP)为主要评价指标,对2次技术验证结果进行了统计。
表3技术验证结果统计Tab.3Statisticsoftechnicalverifications
2次技术验证分别采用了不同的数据源,其中,验证1为无人机巡检航拍图像,验证2为直升机巡检航拍图像。由于2种巡检手段的区别,造成2次验证工作的数据集存在一定的差异性,如验证1的图像采集角度更多变,背景更多样化;而验证2的图像中部件分布方式相对一致,场景也相对较少。在缺陷分类上,验证1中大尺寸金具在验证2中被拆成了防震锤和均压环与线夹2类;验证1中的杆塔类缺陷被取消,分散在各缺陷类中的异物缺陷在验证2中被单独归类;验证2中不包含通道环境缺陷数据。
由于从单一对象检测变为多类目标检测,2次技术验证的检测结果要远低于过去研究所取得的成绩。针对绝缘子、大尺寸金具这类目标相对明显、图像几何特征相对显著的缺陷,检测效果较好;小尺寸金具几何缺陷特征较为明显,其检测准确率较高;而通道环境、接地装置、异物类缺陷检测效果不佳,主要因样本数量较少,且缺陷的特征多样化,相互之间缺乏关联造成的。但从结果来看,深度学习技术在电力巡检目标检测中已经展现出巨大的潜力。
3图像测距3.1图像测距研究现状图像测距指通过分析图像测算图像中物体的距离,属于机器视觉测距技术的一种。
图像测距可以分为主动式测距和被动式测距2种。主动式测距依赖结构光技术的主动深度感知设备,如微软的Kinect[33],将特定图案的结构光(通常是红外光)投射到物体表面,再接收经过物体表面反射后发生形变的结构光图案,通过分析图案形变来计算物体的位置信息。该技术的缺点在于结构光射程有限(Kinect有效距离仅5m),且容易受阳光等其他光源干扰,因此并不适用于电力巡检。
被动式测距通常是通过分析可见光图像来测量图像的景深或目标物的位置。根据图像采集的方式,常见的有单目测距和双目测距2种。双目测距模仿人眼视觉深度感知的原理,使用2个平行布置的同型摄像机分别采集同一目标物的图像,通过分析2幅图像的视差,利用相似三角形原理求取目标物的三维坐标信息。但对于单张图片而言,每个像素点在三维空间对应的是一条射线,仅依靠图像求解深度会有无穷解。因此,单目测距的实现方案有2种：一是利用其他的先验信息,如特定的人工标志或目标的几何特性进行求解;另一种是结合多张图像及相机位姿信息来构建三维坐标。
不论是单目还是双目测距,被动式测距的实现思路有2种。一种是依赖大量的先验信息直接在单幅图像上求解目标深度信息,对于此类求解方式,由于空间几何信息大多具有确切的表达式,可以直接求解,因此这类技术的研究多为工程应用型。但在电力巡检领域,通常只有固定机位及固定角度的在线监测摄像机才有足够丰富的先验信息进行深度信息求解,因此这种方法在应用中局限性较大。另一种方式则是利用多副图像进行匹配,通过计算视差或目标物形变来构建图像的三维坐标系。目前大多数实际应用中的图像测距方案都是基于后一种方法实现[34],该方式的关键在于多副图像的立体匹配,其精度对最终测距精度有极大影响。
传统的匹配方式大致上可分为基于局部、基于全局和半全局3种立体匹配算法[35]。基于局部的匹配算法以对应点本身及邻近区域的约束信息进行匹配计算,在另一幅图像中寻找与此区域相似度最大的区域建立匹配关系,该类方法时效高,但无匹配率较高,且对遮挡区域及视差不连续区域匹配效果较差;基于全局的匹配算法提取图像中的特征信息,构建具有全局最优的视差函数,将匹配问题转化为寻找能量函数全局最优问题,该类方法以牺牲时效性来获取高精度,对于视差不连续、弱纹理特征等场合具有较好的的鲁棒性;半全局匹配算法实质上是全局匹配算法的改进,它在获取致密视差图的同时依然保留有较高的时效性,但对弱纹理的处理存在不足。
为了进一步提高匹配性能,有部分研究尝试将深度学习应用到立体匹配中。在图像处理领域,深度学习相较于传统方法在特征提取上有较大优势,一个训练良好的深度网络通常比传统算法能提取到更多的特征点[36],这也意味着匹配时有更多的选择,且更容易获得更高的精度。
Žbontar等[37]提出了匹配代价卷积神经网络matchingcostCNN,MC-CNN)架构,从校正后的双目图像中提取深度信息,该方法的核心在于训练一个CNN来预测2个图像小区域块的相似度,并使用它计算立体匹配代价,该方法在KITTI2012、KITTI2015和Middlebury3个立体数据集的评估中均取得了优于其他算法的结果(2015年);Park等人[38]提出了一种新的CNN模块用于学习大尺寸窗口的立体匹配代价,在弱纹理、景深不连续、光照和曝光差的情况下具有较强的鲁棒性;Chang等[39]提出了PSMNet网络,一种由空间金字塔池化和3DCNN组成的金字塔立体匹配网络,该网络在KITTI2012和KITTI2015数据集的评估排名第一(2018年3月)。
在无监督学习领域,Garg等[40]提出了一个无监督的CNN框架用于预测单视图深度信息;Zhou等[41]提出了一个无监督的深度网络框架,该框架由一个单视图景深预测CNN和一个相机姿态估计CNN构成,仅使用一段单目视觉录像进行训练,其景深预测与监督学习框架性能相当,姿态估计在可比较的配置下性能优于已建立的同步定位与建图系统。
目前KITTI和Middlebury数据集的立体匹配评估排行榜上,排名前列的算法基本都是使用了深度学习技术。
3.2图像测距在可见光巡检中的应用传统巡检中通常使用目测、绝缘工具或电子经纬仪进行测距[42],但这些方法要么精度不高,要么对环境条件有要求,或者存在测量盲区。随着无人机技术的应用,当前较为热门的测距方法是利用机载LiDAR点云数据重建电力走廊三维模型,检测走廊通道环境[43],但LiDAR无人机设备昂贵,扫描成本高,数据更新周期较长,因此这种方式只能结合导线工况或树木生长预测模型用于缺陷预警,当触发预警时依然需要其他手段实地核实。
图像测距的优势在于其不需要额外的设备与巡检计划,可以直接利用无人机搭载的摄像机,在日常机巡工作中就能完成距离类缺陷检测,但目前该领域研究较少,且所用方法都比较传统。
Ahmad等[44]使用单目摄像机监控输电线,根据摄像机的先验信息结合图像测量线树距离,但先验信息中包含了摄像机的高度及角度等数据,只能用于固定安装的摄像机,对电力通道可视化监控有一定的参考价值。文献[45]通过分析多光谱卫星于2个不同角度拍摄的图像估算树木高度和线树距离,当前国家电网电力科学研究院也在进行这方面的尝试,取得了一定的进展。Araar等[46]从目标铁塔提取一个二维几何图形,在视频的不同帧上进行跟踪,基于几何图像的变化率计算相机与塔的距离,但只能测量铁塔等这类目标显著且能提取到相对规则几何图形的目标物。
南方电网目前尝试在无人机进行LiDAR扫描的同时配合倾斜摄影技术,结合LiDAR点云数据与图像测距检测距离类缺陷,LiDAR无人机的工作高度为200m,该方案的测距精度可达50cm以内,但单纯的图像测距误差在10m左右。笔者所在团队采用基于局部立体匹配的双目视觉测距方法检测导线与树障距离,10m外检测误差小于30cm,在符合电网规定的小型无人机10m安全距离的前提下,基本满足日常巡检测距精度要求。但在弱纹理和曝光差的情况下精度较差,甚至会出现匹配失败的极端情况,还需进行下一步研究。
总体来说,图像测距技术在可见光巡检中尚未有实际应用,且目前该领域研究较少,这与图像测距技术的发展有关。主动式图像测距精度高易于实现,但受限于结构光特性,难以应用于户外环境,且检测距离较短;而被动式测距高度依赖算法且算法复杂度高,对被测物体的视觉特征和光照条件敏感,测距精度随测量距离的增加急剧下降,要实现完全可靠的商业化应用难度高。因此图像测距技术的研究与应用多集中于近距离场景,市面上较为成熟的深度相机也多以室内10m内检测为主。近几年随着硬件和算法的进步,图像测距技术,尤其是被动式测距技术发展迅速,应用领域不断拓展,测量精度逐步上升,市面上也逐渐出现可靠的户外中短距离图像测距相机,标志着图像测距技术在户外测量领域的逐步成熟。但在当前,相比其他测距手段,如全站仪、激光雷达等,图像测距在户外远距离检测上依然全面落后。因此当前电力线路通道环境保护以LiDAR测绘建立通道环境三维模型为主导,但通道建模只能从较大尺度上刻画通道环境,还面临数据滞后、更新周期长的问题,并不能代替日常巡检的测距工作,而LiDAR方案的高成本、数据处理的高专业性,使其难以融入日常巡检工作模式。图像测距具备轻量化、低成本、即时性的优点,非常适用于小型无人机巡检平台,契合日常巡检小型无人机推广应用的趋势,有望成为常规巡检的中近距离测量手段。
4面临的挑战及其解决方案图像目标检测与图像测距技术为可见光巡检图像智能处理提供了一条切实可行的技术路线。但二者都必须应对来自电力巡检图像的特殊挑战。
对于目标检测而言,电力巡检图像场景多变背景复杂拍摄视角多样化且容易相互遮挡;涉及电力部件种类、型号繁多,同种类不同型号的部件外观上也存在差异,此外,同种缺陷也存在多种外观表现,即被检目标外观多变。
对于图像测距而言,架空线路巡检图像采集于户外环境,存在大量的景深不连续、光照和曝光差问题,同时,飞行平台的成像稳定性、电力设施最小安全距离规定等,都对测距产生了巨大的挑战。
国家电网的2次技术验证工作及图像测距领域的研究成果都向我们展示了深度学习技术在应对上述问题所表现出的巨大潜力,电力部门也将其作为电力巡检图像智能化处理的重点考虑方案。当前,进一步推动可见光巡检图像处理发展所面临的挑战主要可以分为3个大类：目标检测的挑战、图像测距的挑战与检测局限性。
4.1目标检测的挑战4.1.1数据集问题2009年,LiFeifei等人建立了ImageNet数据库,该数据库由1400万张包含2.2万种物品的图片构成,并在此数据库的基础上每年举行一次大规模图像识别挑战赛。在7年的时间内,该赛事优胜者的识别率从71.8%提升至97.3%,极大推动了人工智能技术和图像识别领域的发展。
而在电力领域,目前还没有可用的巡检图像数据库来推动深度学习的应用。建立巡检图像数据集的主要难点在庞大的标注工作量上,挪威Nguyen的团队以手动的方式为30000张电力巡检图像进行标注,有54个类,每幅图像平均8个物体,共耗时约750个工作小时[10],而这仅是一个小型数据集的规模。为了减轻机械繁琐的标注工作,作者尝试使用图像检测技术进行辅助。我们设计了一套电力巡检可见光影像智能标注系统,该系统使用少量人工标注的巡检图像对深度学习检测模型进行前期训练,利用初步训练后的模型对巡检影像进行规范化处理,包括按照国家电网标准进行分类、命名、标注、缺陷预警等,对处理结果由人工进行审核和纠错,以达到减轻人员工作量的目的,并将纠错的样本作为新的训练数据对检测模型进行训练,在日常工作中逐步提高系统的准确率。目前该系统正处于试运行阶段,系统运行情况良好,准确率较系统建立初期已有较大提升。
电力巡检图像数据库的建立还应从两个方面进行考虑。一方面,从整体规划上来说,电力巡检图像数据库归属电力巡检平台,是泛在电力物联网的组成部分,连接底层终端硬件感知与前端生产业务、物资管理等应用,是建设坚强智能电网的底层支撑。其建设应充分考虑到与各平台、数据库、人工智能应用等多方的互联互通,做好数据接口的规范化设计与预留,为多源信息融合,突破可见光巡检局限性,提升数据利用价值夯实基础。另一方面,从数据库建设的角度来说,电力巡检图像数据库既要满足电力巡检的生产管理需要,又肩负推动电力可见光巡检人工智能技术发展的重任,适应人工智能技术发展规划及推广应用的趋势。可以从以下4点进行考虑：
1）电力巡检常见缺陷的统计分析及分类整理。
当前电力缺陷分类主要以生产管理为导向,并不完全契合人工智能技术的开发及应用需求,对电力缺陷进行统计分析,制定标准化的、兼顾日常生产与人工智能技术的电力缺陷描述及分类方法,有助于推动智能化技术发展及数据库建设的规范化。
2）巡检图像系列标准的制定。
在当前工作模式下,巡检图像质量直接关系到巡检质量的好坏;而图像处理的质量对人工智能技术的开发应用有直接影响。在数据库建立的同时应制定一系列的图像处理及图像质量评价标准,这一措施不仅可以提升数据的可用性和易用性,亦有助于现今巡检工作的精益化及未来的数据库的维护。
3）兼顾区域性特征。
电力设备、电力缺陷种类、电力缺陷的表现形式及巡检图像背景通常具有一定的地域性特征,如台风造成的杆塔倒伏等缺陷多集中在东南沿海,覆冰缺陷及严重覆冰造成的杆塔倒伏多集中于中北部地区及山区,同一种金具北方地区出于抗冰等考虑可能会采用与南方不同的改进型号,各地区不同的地理及气候亦会形成不同的图像背景。过分强调普适性及通用性会降低人工智能的检测精度,增加智能巡检系统的研发难度,在图像数据库的建立之初就应将电力巡检的区域性特征因素纳入考虑。
4）将数据库的建设工作融入日常巡检工作。
电力巡检图像数据库的数据处理工作量大,数据处理需具备一定的专业知识,数据敏感有一定的涉密性质。因此难以采用其他大型公开数据库常用的劳务众包形式,在数据库建设初期,可以在电力缺陷管理及图像处理相关标准的指导下,在日常巡检工作中进行图像数据处理与入库,完成数据库的初期建设工作。同时以初期数据库为支撑,加速人工智能图像处理技术的研发,以初步可用的图像智能处理技术辅助巡检工作及数据库的中期建设,再以中期数据库的大量数据反哺人工智能技术的发展。最后构建图像智能处理系统,逐渐减少巡检工作和数据库建设中图像处理的人工工作量,定期以新数据新技术对图像智能处理系统进行更新完善,以适应不断进步的电力网络建设和自然环境变化,即为数据库的后期建设工作。
数据集的另一个问题是数据的类不平衡问题[47]。根据图像处理领域的经验,理想的深度网络训练集应各分类都具有均衡的数量分布[48]。但根据目前我们处理的图像数据统计来看,巡检图像中各类缺陷的数量分布极度不平衡。
类不平衡问题的应对方案与训练数据集缺乏问题相似。一种是通过数据增强技术(如翻转、剪裁、色彩抖动、平移变换等)扩充数据,在这一领域,图像样式转换的研究新进展也为数据增强提供了更多的可能性,如使用算法转换图片背景的季节和天气等[49-51]。另一种方法是通过图像合成来扩充数据集,但从作者试验结果来看,直接将合成图像与真实图像混合训练效果并不理想,文献[52]对这一问题进行了探讨。此外,文献[53-55]尝试只使用合成图像和/或相关任务的图像训练模型,也是一个潜在的解决方案。
4.1.2检测策略问题根据国家电网在EPTC第6届输电年会上公布的统计数据,直升机巡检发现的缺陷中细小金具占50.65%,无人机巡检发现的缺陷中金具类占49.9%。即在电力巡检中,小部件缺陷占据了绝大多数,这类目标部件在原图中所占比例非常小,肉眼需要放大后才能判别。同时,即便是绝缘子串这类大尺寸部件,其缺陷点通常也是非常小的一部分。这一特点对目标检测来说很不利,目前大多数基于CNN的目标检测器,如YOLO、Faster-RCNN等,在小物体检测上的表现远不如大物体检测那样有效[56]。
针对这一问题,一个可行的方案是采用多级检测策略,即先对显著的目标物进行检测和分割,再使用检测更详细组件的模型或缺陷检测模型对分割后的区域进行检测。作者以绝缘子自爆缺陷检测为对象加以实验,结果显示先检测绝缘子串再检测自爆缺陷能将检测准确率从59.9%提升至95.6%。
多级检测方案需要合适的缺陷分类方法作为支撑,现有技术验证所采用的缺陷分类方法都是基于部件归属关系,这一分类方式适用于生产管理,但并不完全适用于机器视觉。以螺栓检测为例,金具螺栓和杆塔塔身螺栓的缺陷非常相似,在当前的缺陷分类中,前者属于金具缺陷,后者属于杆塔缺陷。因此按照2次技术验证的检测方案,需分别采用金具缺陷和杆塔缺陷检测模型进行检测。但实际上,若采用“金具/杆塔检测-螺栓检测-螺栓缺陷检测”的分类多级检测方案,则检测效率更高。一方面,这一分类方法能更有效的利用螺栓缺陷数据;另一方面,螺栓是典型的小部件,在原图中所占比例较小,图像分割后检测比直接检测效果更好。
多级检测需要考虑的另一个问题在于误差的传递,由于每一级的检测都需要建立在上一级的检测结果上,随着分级的增多,每一级检测存在的错误都会被累加,影响最终结果。
4.1.3检测算法问题与传统的图像检测相比,巡检图像场景多变、背景杂乱;被检测的目标尺度差异大,且经常相互遮挡;同时,电力部件型号众多,外型上存在较大差异。如果只是简单地套用现有检测模型,可能无法发挥深度学习的最大效能。技术验证1中有2支队伍根据目标任务的特点对网络架构和策略进行了优化,其中一支队伍取得了5个大类的最好检测结果。目前针对电力巡检图像对检测算法进行优化的研究很少,文献[57]根据绝缘子图像特征,提出了一种适用于绝缘子检测的候选窗口生成方法,提高了候选窗口的生成精度和计算效率。
另一方面,巡检图像检测目标的形态多样还体现在缺陷表现形态的多样上,训练集难以覆盖到所有的缺陷形态,这也是基于深度学习的缺陷检测所面临的一个巨大挑战。
针对这一问题,一个潜在的方法是迁移学习,如零次学习(zero-shotlearning)[58]或一次学习(one-shotlearning)[59]。后者仅使用少量的训练数据,对一个已经完成相关任务训练的模型进行再训练,使其适应新的任务;前者则是完全不需要新任务的样本,只通过相关任务的训练,让网络可以处理从未见过但具有相似特征的类。近期,生成对抗网络(GANs)[60]的研究进展也为解决这一问题提供了一种新的思路：GANs学习没有缺陷的正常样本,以缺陷目标与正常目标的差异性度量为指标检测目标缺陷。这种方法的优势在于只需要用到没有缺陷的巡检图像作为训练集,从而降低了数据集收集难度。
4.2图像测距的挑战4.2.1检测精度问题在可见光巡检的测距应用中,有两个非常重要的条件：10m距离、户外日间光照。按照当前施行的无人机巡检规范,小型无人机与线路的安全距离为10m,也就意味着测距方案必须在10~25m内保持一定的精度与分辨率。目前主流的图像测距技术中,双目视觉测距是最符合该应用场景需求的方案,一方面,充足的光照为图像提供了良好的成像环境,且电力设备通常具有相对清晰的轮廓及明显的纹理特征,有利于测距的可靠性;另一方面,在理想情况下,双目测距可以获得检测距离内每个像素的三维信息,检测分辨率高,能实现小尺寸部件的检测。但双目测距的测距精度会随着相机与被测对象距离的增加呈指数式下降,从双目视觉测距的原理来看,图像的深度信息由基线(即2个摄像头的分布距离)、有效焦距和视差共同描述,基线距离越大、有效焦距越大,测距的精度越高,双目视觉形成的视差也越大[61]。但基线距离、有效焦距通常受成像系统的空间、体积、重量、成本等因素的影响,这两者与被测对象离镜头的距离也决定了对象在双目视觉中的视差。一般地,双目视觉测距在10~15m检测距离时检测精度约为2%~6%,检测误差为分米级,而当检测距离超过18m或更远时,其检测误差可能达到m级[62]。这一精度仅能满足部分电力距离类缺陷的检测预警需求,为了进一步提高精度,增加检测缺陷的种类,通常来说可以从以下几个方面考虑。
1）增加立体匹配精度。
图像像素是描述双目成像视觉差异的最小单位,在视差固定的情况下,更高的图像分辨率能更精细地描述视差,提升立体匹配精度,提高测距的精度,但也意味着更高的硬件成本。因此一个潜在的方案是增加立体匹配的精度,采用亚像素级匹配方法,在硬件结构不变的情况下增加测距精度[63]。
2）采用单目多帧匹配。
在能够精确获取相机位姿信息的前提下,可以使用单个摄像头在不同位置对同一物体进行拍摄,在不同帧间匹配获取视差,求解被测对象的三维信息。这一方法等于增加了双目视觉的基线距离与视差,但也有一系列的问题,如相机的2次拍摄一般要为正直摄影,即镜头只能在一个平面内移动,不能有旋转变量,且移动量不能过大,否则视差过大无法实现立体匹配等[61]。
除此之外,另一种思路是更换巡检载体。图像测距有其精度上限,在一些小尺寸精细检测,如架空地线绝缘子放电间隙,其间隙距离一般为10~30mm,安装误差要求±2mm内[64],对于这类检测需求,10m外双目视觉在当前是难以达到的,但在0.5m距离内,双目视觉测距误差可以控制在1mm以下[65]。沿地线行走的线路巡检机器人为其提供了一个良好的检测平台。
4.2.2成像质量问题成像质量对视觉信息的获取至关重要,更是对图像测距精度有着直接影响。无人机作为小型飞行平台,抗扰性相对较差,飞行过程中容易受外界干扰产生姿态变化;同时,无人机运行过程中自身机械结构存在震动;遥控屏幕分辨率低,不利于镜头对焦;后期图像传输的编解码误差、信道干扰等,使得无人机航拍图像容易产生运动模糊、漂移失真、颜色丢失、镜头离焦、块状效应、噪声等问题,其失真通常呈现典型的多失真混杂的特点[66]。
针对这一问题,一方面可以引入图像质量评价体系,在图像测距之前对成像质量进行评估,确定图像是否需要重新采集。图像质量评价通常可分为主观评价和客观评价,前者受评估人员技能水平影响大、工作量大、耗时长、无法在便携式低分辨率屏幕上使用,缺乏实时性,因此不适用于电力巡检;后者通常由算法实现,按是否需要参考图像又可分为全参考、半参考和无参考3种方式[67]。以目前电力巡检的工作模式,获取无失真的原始图像或相似图像有一定难度,应重点考虑后2种评价方式。目前针对无人机航拍图像质量评价的研究取得了一些进展[66,68-69]。另一方面,对于轻微失真或降质的图像,可以尝试使用图像复原技术进行修复[70-71],该技术也可用于雾霾等不利气候下的可见光巡检[72]。此外,航拍平台高稳定性研究及稳像技术亦对此有所帮助[73-74]。
4.3检测局限性问题可见光图像适用于检测视觉可见的缺陷,但无法覆盖可见光视觉难以察觉的状态变化(如设备连接不良引发的连接点温度上升),或一些恶劣条件下的检测任务(如覆冰线路与雪原背景导致输电线无法分辨)。在巡检常见缺陷中,尚有30余种缺陷无法单纯依靠可见光图像进行检测。
针对这一问题,多源数据融合应用是一个潜在的解决方案。在电力巡检中,除可见光外还有红外、紫外、激光雷达等巡检手段,不同数据源的图像适用于检测不同的缺陷,多源数据融合应用可以有效扩展检测系统的缺陷检测范围。其融合方式不仅包括多源数据的直接融合,还包括数据提取的特征属性或中间处理结果的融合[75-76]。
多源数据的融合可以从2个层级展开：系统级和传感器级。系统级的数据融合即将巡检图像数据与其他数据库数据相结合,深化应用。如将巡检缺陷图像、巡检航迹数据与气象监测数据融合,统计分析自然灾害对架空输电线路的影响,构建灾损模型,改进线路设计等;宋海华等[77]以电力线路红外全景图进行电力线故障检测,可见光全景图对故障作进一步的可视化辅助检测,融合GPS信息,实现电力巡检缺陷的可视化精确定位。传感器级的数据融合是目前研究应用最多的领域,其核心是通过多传感器组合,利用多源信息的互补性为系统提供更多信息。自动导航避障是多传感器融合最典型的应用,常见的有立体视觉与激光雷达[78]、单目视觉与惯性/磁力传感器[79]、以及双目视觉与毫米波雷达、RTK的多传感组合[80]等,可预见的,多传感融合是实现无人机自主巡检的必要手段。在缺陷检测方面,Wang等人[81]将图像与LiDAR测距数据相结合,计算输电线悬垂度,在不需要进行摄像机标定的情况下,使用单张照片进行测量,误差低至0.38%,且没有拍摄距离和角度的限制;金立军等[82]融合红外与可见光图像进行绝缘子污秽等级识别。
此外,多源数据融合的信息互补性有助于提高深度学习模型检测性能[83]。近年来,深度学习在视觉任务的多源数据学习上已经取得了一些成果[83-85]。
5结论在过去的十几年里,可见光巡检图像处理的研究多是集中在特定对象或特定缺陷的检测上,这些特定于任务的方法在一定程度上适用于它们设计的任务,但在适应相关任务的能力方面具有很大的局限性,无法全面应用于电力巡检中。
近几年由于深度学习技术在图像处理领域的崛起,有部分研究尝试将这一技术应用到可见光巡检图像处理上,虽然这方面的研究仍处于起步阶段,但从目前的结果来看,深度学习技术在这一领域极具潜力,其优秀的图像特征挖掘能力和泛化能力使它有望覆盖大部分可见光巡检的缺陷检测。针对深度学习技术特点及可见光巡检图像处理面临的挑战,提出以下几点建议和设想：
1）深度学习需要大数据的支撑,建设电力巡检可见光影像数据库可以极大促进深度学习技术落地。在这一过程中,标准体系的完善不仅是巡检规范化的要求,还是深化多系统、多源信息数据融合应用的前提。
2）可见光巡检图像目标检测和传统的目标检测存在差异,对于检测算法和检测策略不能只是简单的迁移应用,必须进行针对性的深入研究。
3）可见光巡检具有局限性,可将可见光数据与红外/紫外图像、卫星遥感、激光扫描、巡检航迹等数据进行交互,深化多系统、多源信息数据融合应用,扩大系统的缺陷检测范围,推动电力巡检模式由人工巡检向协同立体化多源式智能巡检转变。
4）深度学习技术的应用是一个循序渐进的过程,其研究应面向需求,与一线生产相结合,在应用中利用反馈推动研究,以研究进展扩大应用层面,迭代递进形成良性循环。
参考文献[1]ZhouG,YuanJ,YenIL,etal.Robustreal-timeUAVbasedpowerlinedetectionandtracking[C]//IEEEInternationalConferenceonImageProcessing.Phoenix,AZ,USA:IEEE,2016:744-748.[2]彭向阳,钱金菊,吴功平,等.架空输电线路机器人全自主巡检系统及示范应用[J].高电压技术,2017,43(8):2582-2591.PengXiangyang,QianJinju,WuGongping,etal.Fullautomaticinspectionsystemanditsdemonstrationapplicationbasedonrobotforoverheadtransmissionlines[J].HighVoltageEngineering,2017,43(8):2582-2591(inChinese).[3]蒋涛,蔡富东,杨学杰,等.输电线路通道可视化远程巡检探讨与实践[J].中国电力,2016,49(11):42-45.JiangTao,CaiFudong,YangXuejie,etal.Discussionandpracticeofvisualremoteinspectionoftransmissionline[J].ElectricPower,2016,49(11):42-45(inChinese).[4]河南送变电建设公司.1000kV交流输电线路运行维护技术[M].北京:中国电力出版社,2011.[5]SzegedyC,LiuW,JiaY,etal.Goingdeeperwithconvolutions[C]//IEEEConferenceonComputerVisionandPatternRecognition.Boston,MA,USA:IEEE,2015:1-9.[6]HintonG,DengL,YuD,etal.Deepneuralnetworksforacousticmodelinginspeechrecognition:Thesharedviewsoffourresearchgroups[J].IEEESignalProcessingMagazine,2012,29(6):82-97.[7]OngBT,SugiuraK,ZettsuK.Dynamicallypre-traineddeeprecurrentneuralnetworksusingenvironmentalmonitoringdataforpredictingPM2.5[J].NeuralComputingandApplications,2016,27(6):1553-1566.[8]孟丹.基于深度学习的图像分类方法研究[D].上海:华东师范大学,2017.[9]国家电网公司运维检修部.架空输电线路直升机巡检作业规范:Q/GDW11387—2015[S].北京:中国电力出版社,2015:1.[10]NguyenVN,JenssenR,RoversoD.Automaticautonomousvision-basedpowerlineinspection:Areviewofcurrentstatusandthepotentialroleofdeeplearning[J].InternationalJournalofElectricalPowerandEnergySystems,2018,99:107-120.[11]国家电网公司生产技术部.输电线路图像/视频监控装置技术规范:Q/GDW560—2010[S].北京:中国电力出版社,2011:2.[12]国家电网公司运维检修部.直升机巡检技术规范:Q/GDW1909—2013[S].北京:中国电力出版社,2014:3-4.[13]国家电网公司运维检修部.架空输电线路无人直升机巡检技术规程:Q/GDW11367—2014[S].北京:中国电力出版社,2015:2-3.[14]国家电网公司运维检修部.架空输电线路固定翼无人机巡检技术规程:Q/GDW11386—2015[S].北京:中国电力出版社,2015:2.[15]国家能源局.架空输电线路机器人巡检技术导则:DL/T1722—2017[S].北京:中国电力出版社,2017:2-6.[16]ChengG,HanJ.Asurveyonobjectdetectioninopticalremotesensingimages[J].ISPRSJournalofPhotogrammetryandRemoteSensing,2016,(117):11-28.[17]ZhongY,ZuoQ,ZhouY,etal.Anewimage-basedalgorithmforicingdetectionandicingthicknessestimationfortransmissionlines[C]//IEEEInternationalConferenceonMultimediaandExpoWorkshops.SanJose,CA,USA:IEEE,2013:1-6.[18]BenzUC.Multi-resolution,object-orientedfuzzyanalysisofremotesensingdataforGIS-readyinformation[J].ISPRSJournalofPhotogrammetryRemoteSensing,2004,58(3):239-258.[19]ZhaiY,WangD,ZhangM,etal.Faultdetectionofinsulatorbasedonsaliencyandadaptivemorphology[J].MultimediaToolsandApplications,2017,76(9):12051-12064.[20]ZhaiY,ChengH,ChenR,etal.Multi-saliencyaggregation-basedapproachforinsulatorflashoverfaultdetectionusingaerialimages[J].Energies,2018,11(2):1-12.[21]HaoY,WeiJ,JiangX,etal.Icingconditionassessmentofin-serviceglassinsulatorsbasedongraphicalshedspacingandgraphicalshedoverhang[J].Energies,2018,11(2):318.[22]王银立.输电线路导线断股及绝缘子自爆的图像识别算法研究[D].成都:电子科技大学,2014.[23]万迪明,张杰,郭祥富.一种基于视觉显著性分析的输电线路异物检测方法[J].电视技术,2018,42(1):106-110.WanDiming,ZhangJie,GuoXiangfu.Amethodofinvasiondetectionontransmissionlinesbasedonsaliencydetection[J].VideoEngineering,2018,42(1):106-110(inChinese).[24]LiuY,LiJ,XuW,etal.Amethodonrecognizingtransmissionlinestructurebasedonmulti-levelperception[C]//InternationalConferenceonImageandGraphics.Springer,Cham,2017:512-522.[25]PrasadPS,RaoBP.LBP-HFfeaturesandmachinelearningappliedforautomatedmonitoringofinsulatorsforoverheadpowerdistributionlines[C]//InternationalConferenceonWirelessCommunications,SignalProcessingandNetworking.Chennai,India:IEEE,2016:808-812.[26]李储欣.基于航拍图像的输电线路绝缘子缺陷检测方法研究[D].沈阳:沈阳理工大学,2017.[27]王森.输电线路图像上防震锤检测算法研究[D].北京:北京交通大学,2017.[28]邹栋.输电线路中关键部件图像识别及异常检测方法研究[D].保定:华北电力大学,2017.[29]LingZ,QiuRC,JinZ,etal.Anaccurateandreal-timeself-blastglassinsulatorlocationmethodbasedonFasterR-CNNandU-netwithaerialimages[J/OL].(2018-01-16)[2018-08-12].org/abs/1801.05143.[30]PanC,CaoX,WuD.Powerlinedetectionviabackgroundnoiseremoval[C]//IEEEGlobalConferenceonSignalandInformationProcessing.Washington,DC,USA:IEEE,2017:871-875.[31]NordengIE,HasanA,OlsenD,etal.DEBCdetectionwithdeeplearning[C]//20thScandinavianConferenceonImageAnalysis(SCIA).Cham,Springer,2017:248-259.[32]王万国,田兵,刘越,等.基于RCNN的无人机巡检图像电力小部件识别研究[J].地球信息科学学报,2017,19(2):256-263.WangWanguo,TianBing,LiuYue,etal.StudyontheelectricaldevicesdetectioninUAVimagesbasedonregionbasedconvolutionalneuralnetworks[J].JournalofGeo-InformationScience,2017,19(2):256-263(inChinese).[33]ShiboL,QingZ.AnewapproachtocalibraterangeimageandcolorimagefromKinect[C]//InternationalConferenceonIntelligentHuman-MachineSystemsandCybernetics.IEEEComputerSociety,2012:252-255.[34]项荣,应义斌,蒋焕煜,等.基于双目立体视觉的番茄定位[J].农业工程学报,2012,28(5):161-167.XiangRong,YingYibin,JiangHuanyu,etal.Localizationoftomatoesbasedonbinocularstereovision[J].TransactionsoftheChineseSocietyofAgriculturalEngineering,2012,28(5):161-167(inChinese).[35]林森,殷新勇,唐延东.双目视觉立体匹配技术研究现状和展望[J].科学技术与工程,2017,17(30):135-147.LinSen,YinXinyong,TangYandong.Researchstatusandprospectofbinocularstereomatchingtechnology[J].ScienceTechnologyandEngineering,2017,17(30):135-147(inChinese).[36]YiKM,TrullsE,LepetitV,etal.LIFT:Learnedinvariantfeaturetransform[C]//EuropeanConferenceonComputerVision.Springer,Cham,2016:467-483.[37]ŽbontarJ,LeCunY.Stereomatchingbytrainingaconvolutionalneuralnetworktocompareimagepatches[J].JournalofMachineLearningResearch,2016(17):1-32.[38]ParkH,LeeKM.Lookwidertomatchimagepatcheswithconvolutionalneuralnetworks[J].IEEESignalProcessingLetters,2017,24(12):1788-1792.[39]ChangJ,ChenY.Pyramidstereomatchingnetwork[J/OL].(2018-03-23)[2018-09-02].org/abs/1803.08669.[40]GargR,VijayKBG,CarneiroG,etal.UnsupervisedCNNforsingleviewdepthestimation:Geometrytotherescue[C]//EuropeanConferenceonComputerVision.Springer,Cham,2016:740-756.[41]ZhouT,BrownM,SnavelyN,etal.Unsupervisedlearningofdepthandego-motionfromvideo[C]//IEEEConferenceonComputerVisionandPatternRecognition,Honolulu,HI,USA:IEEE,2017:6612-6619.[42]蒋涛.超高压输电线路树障测量方法探讨[J].价值工程,2016,35(17):205-208.JiangTao.Discussiononthemeasurementmethodofthetreebarrierofultrahighvoltage[J].ValueEngineering,2016,35(17):205-208(inChinese).[43]ZhangW,ZhangJ,WangB,etal.Theresearchonearly-warningmethodsoftreebarriersoftransmissionlinesbasedonLiDARdata[C]//4thInternationalConferenceonAppliedRoboticsforthePowerIndustry(CAPRI).Jinan,China:IEEE,2016:1-4.[44]AhmadJ,MalikAS,AbdullahMF,etal.Anovelmethodforvegetationencroachmentmonitoringoftransmissionlinesusingasingle2Dcamera[J].PatternAnalysisandApplications,2015,18(2):419-440.[45]KobayashiY,KaradyGG,HeydtGT,etal.Theutilizationofsatelliteimagestoidentifytreesendangeringtransmissionlines[J].IEEETransactionsonPowerDelivery,2009,24(3):1703-1709.[46]AraarO,AoufN,DietzJLV.PowerpylondetectionandmonoculardepthestimationfrominspectionUAVs[J].IndustrialRobot,2015,42(3):200-213.[47]KrawczykB.Learningfromimbalanceddata:openchallengesandfuturedirections[J].ProgressinArtificialIntelligence,2016,5(4):1-12.[48]OuyangW,WangX,ZhangC,etal.Factorsinfinetuningdeepmodelforobjectdetectionwithlong-taildistribution[C]//ComputerVisionandPatternRecognition.LasVegas,NV,USA:IEEE,2016:864-873.[49]LuanF,ParisS,ShechtmanE,etal.Deepphotostyletransfer[J/OL].(2017-04-11)[2018-08-21]..[50]GatysLA,EckerAS,BethgeM.Imagestyletransferusingconvolutionalneuralnetworks[C]//ComputerVisionandPatternRecognition.LasVegas,NV,USA:IEEE,2016:2414-2423.[51]ZhuJ,ParkT,IsolaP,etal.Unpairedimage-to-imagetranslationusingcycle-consistentadversarialnetworks[C]//IEEEInternationalConferenceonComputerVision.Venice,Italy:IEEE,2017:2242-2251.[52]CsurkaG.Domainadaptationforvisualapplications:Acomprehensivesurvey[J/OL].(2017-03-30)[2018-08-25]..[53]GaninY,LempitskyV.Unsuperviseddomainadaptationbybackpropagation[J/OL].[2015-02-27][2018-08-25]..[54]LongM,ZhuH,WangJ.Unsuperviseddomainadaptationwithresidualtransfernetworks[C]//30thAnnualConferenceonNeuralInformationProcessingSystems.Barcelona,Spain:Neuralinformationprocessingsystemsfoundation,2016:136-144.[55]SenerO,SongHO,SaxenaA,etal.Learningtransferrablerepresentationsforunsuperviseddomainadaptation[C]//30thAnnualConferenceonNeuralInformationProcessingSystems.Barcelona,Spain:Neuralinformationprocessingsystemsfoundation,2016:2118-2126.[56]HuangJ,GuadarramaS,MurphyK,etal.Speed/accuracytrade-offsformodernconvolutionalobjectdetectors[C]//IEEEConferenceonComputerVisionandPatternRecognition.Honolulu,Hawaii,USA:IEEE:2017:3296-3297.[57]ZhaoZ,ZhangL,QiY,etal.Agenerationmethodofinsulatorregionproposalsbasedonedgeboxes[C]//2ndChineseConferenceonComputerVision.Tianjin,China:Springer,2017:231-241.[58]FuY,XiangT,JiangY,etal.Recentadvancesinzero-shotrecognition:towarddata-efficientunderstandingofvisualcontent[J].IEEESignalProcessingMagazine,2018,35(1):112-125.[59]VinyalsO,BlundellC,LillicrapT,etal.Matchingnetworksforoneshotlearning[C]//30thAnnualConferenceonNeuralInformationProcessingSystems.Barcelona,Spain:Neuralinformationprocessingsystemsfoundation,2016:3637-3645.[60]SchleglT,SeebockP,WaldsteinSM,etal.Unsupervisedanomalydetectionwithgenerativeadversarialnetworkstoguidemarkerdiscovery[C]//InternationalConferenceonInformationProcessinginMedicalImaging.Springer,Cham,2017:146-157.[61]迟健男.视觉测量技术[M].北京:机械工业出版社,2011:225-231.[62]张琦,胡广地,李雨生,等.改进Fast-RCNN的双目视觉车辆检测方法[J].应用光学,2018,39(6):832-838.ZhangQi,HuGuangdi,LiYusheng,etal.BinocularvisionvehicledetectionmethodbasedonimprovedFast-RCNN[J].JournalofAppliedOptics,2018,39(6):832-838(inChinese).[63]任继昌,杨晓东.基于互信息的高精度双目视觉测距方法研究[J].控制工程,2015,22(1):199-204.RenJichang,YangXiaodong.Improvingrange-measuringaccuracyofstereovisionbasedonmutualinformationregistration[J].ControlEngineeringofChina,2015,22(1):199-204(inChinese).[64]国家质检总局.110~500kV架空送电线路施工及验收规范:GB50233—2005[S].[65]吴保烁,赵立宏.双目立体视觉的测距技术研究[J].电视技术,2018,42(7):100-103.WuBaoshuo,ZhaoLihong.Researchondistancemeasurementtechnologyofbinocularstereovision[J].VideoEngineering,2018,42(7):100-103(inChinese).[66]李从利,薛松,陆文骏.多失真混杂的无人机图像质量盲评价[J].中国图像图形学报,2017,22(1):115-125.LiCongli,XueSong,LuWenjun.Blindqualityassessmentforunmannedaerialvehicleimageswithmulti-distortion[J].JournalofImageandGraphics,2017,22(1):115-125(inChinese).[67]王志明.无参考图像质量评价综述[J].自动化学报,2015,41(6):1062-1079.WangZhiming.Reviewofno-referenceimagequalityassessment[J].ActaAutomaticaSinica,2015,41(6):1062-1079(inChinese).[68]丁文锐,佟雨兵,张其善.一种无人机侦察图像质量评价模型[J].无线电工程,2007,37(3):19-21.DingWenrui,TongYubing,ZhangQishan.AUAVreconnaissanceimagequalityassessingmethod[J].RadioEngineeringofChina,2007,37(3):19-21(inChinese).[69]郑恩.基于无人机航拍输电线路杆塔的三维重建[D].南宁:广西大学,2017.[70]王莉莉.低空航拍图像校正与增强方法的研究[D].成都:电子科技大学,2014.[71]杨亚威,李俊山,张士杰,等.基于视觉对比敏感度与恰可察觉失真感知的图像复原[J].光学精密工程,2014,(2):459-466.YangYawei,LiJunshan,ZhangShijie,etal.Imagerestorationbasedonvisualcontrastsensitivityandjustnoticeabledistortionperception[J].OpticsandPrecisionEngineering,2014,(2):459-466(inChinese).[72]王万国,王滨海,张晶晶,等.基于直方图规定化的图像去雾算法[J].计算机技术与发展,2014,24(9):241-244.WangWanguo,WangBinhai,ZhangJingjing,etal.Imagehazeremovalalgorithmbasedonhistogramspecification[J].ComputerTechnologyandDevelopment,2014,24(9):241-244(inChinese).[73]魏闪闪,谢巍,贺志强.数字视频稳像技术综述[J].计算机研究与发展,2017,54(9):2044-2058.WeiShanshan,XieWei,HeZhiqiang.Digitalstabilizationtechniques:asurvey[J].JournalofComputerResearchandDevelopment,2017,54(9):2044-2058(inChinese).[74]王亚运.航拍影像的数字稳定算法研究[D].南京:东南大学,2016.[75]袁雅薇.基于激光与视觉信息融合的运动目标检测与场景重建方法研究[D].合肥:中国科学技术大学,2017.[76]祝振媛,李广建.“数据-信息-知识”整体视角下的知识融合初探—数据融合、信息融合、知识融合的关联与比较[J].情报理论与实践,2017,40(2):12-18.ZhuZhenyuan,LiGuangjian.Apreliminarystudyofknowledgefusionintheperspectiveof‘Data-Information-Knowledge’[J].InformationStudies:TheoryApplication,2017,40(2):12-18(inChinese).[77]宋海华,韩军,邵志一.基于地理信息的电力线全景图像信息融合方法[J].电网技术,2008,32(7):92-95.SongHaihua,HanJun,ShaoZhiyi.Applicationandrealizationofpowerlinepanoramabasedonthegeographicinformation[J].PowerSystemTechnology,2008,32(7):92-95(inChinese).[78]SyedGhafoorShah.基于立体视觉和三维激光扫描仪的无人机自主避障和导航技术研究[D].南京:南京航空航天大学,2012.[79]王泽华,梁冬泰,梁丹,等.基于惯性/磁力传感器与单目视觉融合的SLAM方法[J].机器人,2018,40(6):933-941.WangZehua,LiangDongtai,LiangDan,etal.ASLAMmethodbasedoninertial/magneticsensorsandmonocularvisionfusion[J].Robot,2018,40(6):933-941(inChinese).[80]杨磊,陈凤翔,陈科羽,等.基于多传感器的无人机避障方法研究及应用[J].计算机测量与控制,2019,27(1):280-283.YangLei,ChenFengxiang,ChenKeyu,etal.Researchandapplicationofobstacleavoidancemethodbasedonmulti-sensorforUAV[J].ComputerMeasurementControl,2019,27(1):280-283(inChinese).[81]WangH,HanS,LvL,etal.Transmissionlinesagmeasurementbasedonsingleaerialimage[C]//24thInternationalConferenceonMechatronicsandMachineVisioninPractice.Auckland,NewZealand:IEEE,2017:1-5.[82]金立军,田治仁,高凯,等.基于红外与可见光图像信息融合的绝缘子污秽等级识别[J].中国电机工程学报,2016,36(13):3682-3691.JinLijun,TianZhiren,GaoKai,etal.Discriminationofinsulatorcontaminationgradesusinginformationfusionofinfraredandvisibleimages[J].ProceedingsoftheCSEE,2016,36(13):3682-3691(inChinese).[83]LiuJ,ZhangS,WangS,etal.Multispectraldeepneuralnetworksforpedestriandetection[C]//27thBritishMachineVisionConference.York,UK:BritishMachineVisionConference,2016:73.1-73.13.[84]KonigD,AdamM,JarversC,etal.Fullyconvolutionalregionproposalnetworksformultispectralpersondetection[C]//ComputerVisionandPatternRecognitionWorkshops.Honolulu,HI,USA:IEEE,2017:243-250.[85]SorensenS,TreibleW,HsuL,etal.Deeplearningforpolarbeardetection[C]//20thScandinavianConferenceonImageAnalysis.Tromsø,Norway:SpringerVerlag,2017:457-467.