深度学习在遥感图像目标检测中的应用综述
深度学习在遥感图像目标检测中的应用综述1人工智能发展1.1发展历程1.2深度学习的应用2深度学习2.1机器学习概述2.2神经网络模型2.3深度学习2.4深度学习主要模型2.4.1CNN-卷积神经网络2.4.2FCN-全卷积神经网络2.4.3RNN-循环神经网络2.5深度学习具体实例2.5.1CNN-卷积神经网络2.5.2FCN-全卷积神经网络2.5.3RNN-循环神经网络2.6深度学习原理2.6.1CNN-卷积神经网络CNN典型结构-1：AlexNetCNN典型结构-2：VGGCNN典型结构-3：GoogLeNetCNN典型结构-4：ResNet2.6.2FCN-全卷积神经网络WhyFCN？FCN典型结构-1：FCN-xsFCN典型结构-2：U-NetFCN典型结构-3：SegNet与DeconvNet2.6.3RNN-循环神经网络2.7深度学习---迁移学习迁移学习是未来5年的重要研究方向。---吴恩达2.7.1什么是迁移学习？2.7.2迁移学习的可能性2.7.3迁移学习的性能3遥感图像目标检测3.1应用案例---建筑物检测3.1.1项目背景1研究意义2存在问题3.1.2检测方法3.2应用案例---电力塔检测3.2.1需求分析1研究意义2存在问题3.2.2检测方法3.2.3构建样本数据库1人工智能发展1.1发展历程人工智能提出（1950s）：人工智能AI、图灵测试机器学习（1970s）：机器学习、数据建模人工神经网络（1980s）：神经网络模型深度学习（2006~）：深度神经网络1.2深度学习的应用AlphaGo：打败围棋世界冠军Objectrecognition：目标识别ImageCaption：看图说话Speechrecognition：语音识别Automaticdriving：自动驾驶2深度学习2.1机器学习概述机器学习:研究如何从观测数据中学习规律，利用学习到的规律对未知的数据进行预测。分类（离散值）聚类（无监督学习）回归（连续值）降维（既可以保留数据特征，又可以降低数据量，PCA,LDA）2.2神经网络模型神经网络:以数学模型模拟神经元活动，是模仿大脑神经网络结构和功能，而建立的一种信息处理系统。单层感知机神经网络2.3深度学习深度学习：通过构建具有很多隐藏层的神经网络模型，利用海量数据自主学习数据特征，提升预测准确性。浅层学习：①传统的神经网络，比如BP网络；②通常只包含1-2个隐藏层深度学习：①多隐层的神经网络具有优异的特征学习能力，学习得到的特征对数据有更本质的刻画。②大数据时代的到来，高性能计算的发展都为深度学习的成熟提供了土壤。2.4深度学习主要模型2.4.1CNN-卷积神经网络ConvolutionalNeuralNetwork，卷积神经网络，解决图像识别问题；遥感影像分类：LULC（土地利用和土地覆盖），植被、水体、裸土等。目标识别：舰船、飞机、机场2.4.2FCN-全卷积神经网络FullyConvolutionalNetwork，全卷积神经网络，解决图像分割等问题遥感影像分割：道路、建筑、植被等。目标识别：舰船、飞机、机场2.4.3RNN-循环神经网络RecurrentNeuralNetwork，循环神经网络，解决时序数据处理等问题。变化检测的问题。多时相遥感影像分类问题，包括农作物分类、林地分类2.5深度学习具体实例每一类深度学习模型都有具体的实例
2.5.1CNN-卷积神经网络LeNetAlexNetVGGGoogLeNetInceptionResNetSqueezeNetSiamese2.5.2FCN-全卷积神经网络FCN-8sFCN-16sFCN-32sU-NetSegNetDeconvNet2.5.3RNN-循环神经网络LSTMGRU2.6深度学习原理2.6.1CNN-卷积神经网络卷积核Kernel相当于传统BP神经网络的权值空间化权值共享机制可以减少参数数量池化可以减少特征参数的数量，减少计算量Dropout可以有效避免过拟合CNN典型结构-1：AlexNetAlexNet2012年图像识别大赛冠军，错误率为15.4%，重新引发了人们对神经网络的热情，现代CNN的奠基之作（8层）。
数据增强Dropout策略重叠池化策略ReLU激活函数LRN（局部响应归一化层），提高泛化能力基于CUDA的多GPU并行计算网络结构
CNN典型结构-2：VGGVGG2014年图像识别大赛的第二名，错误率降低到7.3%。
拓展了AlexNet结构，网络变得更深（16-19层）反复堆叠33的小型卷积核和22的最大池化层通过不断加深网络结构来提升性能错误率大幅下降VGG-16结构
卷积层：13池化层：5全连接：3CNN典型结构-3：GoogLeNetGoogLeNet2014年图像识别大赛冠军，错误率6.7%
没有最深，只有更深（22层）提出来Inception结构，网中网（NetworkinNetwork）去除了最后的全连接层，用全局平均池化层，减少参数量，降低过拟合Inception
CNN典型结构-4：ResNetResNet2015年的图像识别大赛冠军，错误率仅3.6%。
深度继续增加（152层）创新在残差网络传统的卷积层或全连接层在信息传递时，或多或少存在信息丢失、损耗等问题。ResNet网络结构
常规网络单元结构
残差网络单元结构
2.6.2FCN-全卷积神经网络FCN对图像进行像素级的分类，从而解决了语义级别的图像分割（semanticsegmentation）问题。FCN可以接受任意尺寸的输入图像采用反卷积层对最后一个卷积层的featuremap进行上采样，使它恢复到输入图像相同的尺寸。CNN卷积神经网络（Encoder，编码）+上采样Upsampling（Decoder，解码）-->FCN全卷积神经网络WhyFCN？CNN冗余由于每个像素点都需要取一个patch，那么相邻两个像素点的patch相似度是非常高的，这就导致了非常多的冗余，导致网络训练很慢。感受野和定位精度不可兼得，当感受野选取比较大的时候，后面对应的pooling层的降维倍数就会增大，这样就会导致定位精度降低。FCN可以把定位和分类这两个问题结合起来，语义分割是进行逐个像素点的分类。CNN分类原理
FCN分类原理
FCN典型结构-1：FCN-xsFCN-8s、FCN-16s、FCN-32s：反卷积实现上采样End-to-end端到端的训练输出图像大小与输入保持一致FCN-8s将特征图上采样8倍FCN-16s将特征图上采样16倍FCN-32s将特征图上采样32倍FCN-8s均优于FCN-16s、FCN-32sFCN原理
FCN典型结构-2：U-NetU-Net（U型卷积神经网络）最初广泛应用于医学图像的分割领域输入输出都是图像，没有全连接层较浅的高分辨率层用来解决像素定位的问题较深的层用来解决像素分类的问题U型结构可以保证像素定位和像素分类的精度U-Net网络结构
视网膜分割
将U-Net的思想引入遥感图像分割中实现高精度的地物提取：建筑、道路等地物提取结果带路提取结果
FCN典型结构-3：SegNet与DeconvNetSegNet
encoder+decoderencoder：采用VGG-16结构decoder：与VGG-16相对称的结构详解：https://blog.csdn.net/zhuzemin45/article/details/79709874DeconvNet
与SegNet类似encoder采用的也是VGG-16的结构decoder增加了两个全连接层详解：https://www.jianshu.com/p/fa43fb059d602.6.3RNN-循环神经网络循环神经网络（RecurrentNeuralNetwork，RNN）RNN已经在众多自然语言处理（NLP）取得了重大成功及广泛应用。与CNN不同，RNN隐藏层之间的结点不再是无连接的而是有连接的，并且隐藏层的输入不仅包括输入层的输出，还包括上一时刻隐藏层的输出，可以对任何长度的序列数据进行处理。RNN基本结构
LSTM长短时记忆单元，为了解决时间上的梯度弥散问题2.7深度学习—迁移学习迁移学习是未来5年的重要研究方向。—吴恩达2.7.1什么是迁移学习？在面对某一领域的具体问题时，通常无法得到构建模型所需规模的数据集，尤其在遥感图像处理领域。将一个已经利用海量数据训练好的深度学习模型，应用于同一领域的不同问题，这就是迁移学习。迁移学习主要用于解决以下三个问题：训练样本不足，导致深度神经网络的欠拟合计算资源不足，导致无法进行基于深度学习的敏捷开发缩短实验周期，可以直接利用计算机视觉领域的经典模型，进行模型迁移2.7.2迁移学习的可能性卷积神经网络学习到的图像底层特征具有普遍性因此可以用ImageNet等预训练好的模型对遥感影像进行分类。2.7.3迁移学习的性能高的起始性能高的性能提升高的极限性能3遥感图像目标检测建筑物检测电力塔检测飞机场检测飞机检测船只检测操场检测3.1应用案例—建筑物检测3.1.1项目背景1研究意义从高分辨率遥感影像上提取单体建筑信息，可以极大减少人工矢量化的工作，为住建、统计等领域提供基础数据。
2存在问题材质、色彩差异，植被遮挡，阴影效应建筑的组成成分差异较大，光谱信息较复杂，与道路、裸地存在交叉，造成了提取的困难。实际中建筑与周围的植被、建筑等存在相互遮挡。高大建筑的阴影效应很明显，影响阴影中其他建筑的提取效果。样本不足。3.1.2检测方法利用美国建筑样本库，进行U-Net模型训练，在利用worldview-3数据对网络进行迁移学习。（1）一定程度上缓解了建筑样本数量不足的问题。（2）充分利用了U-Net分割精度高的优点。3.2应用案例—电力塔检测3.2.1需求分析1研究意义从高分辨遥感影像上提取电力塔，可以极大减少人工目视解译的工作，提高工作效率。
2存在问题电力塔与周围环境的混叠较为严重，造成了提取困难。电力塔对影像分辨率的要求很高。3.2.2检测方法利用GoogleEarth的影像进行样本的制作，选用YOLO深度学习模型，进行电力塔检测模型的训练。
YOLO具有端到端学习的优势，计算效率高可以实现目标定位、检测、识别的一体化3.2.3构建样本数据库利用labelImg工具，制作PascalVOC格式的样本数据https://cloud.tencent.com/developer/news/325876
人工智能技术在航天工程领域的应用体系研究
图1航天领域人工智能技术发展
Fig.1Developmentofartificialintelligencetechnologyinspacefield
人工智能在航天领域应用主要集中在星上数据处理与解译、自主任务规划、自主故障检测、多星协同以及空间机器人等方向，其中以美国的研究最具代表性，开展了一系列智能航天系统试验和计划：①战术卫星-3(TacSat-3)的运载管理试验中对自动推理系统的行为问题进行了研究，自动推理系统主要用于故障检测和诊断[6]；②2006年发射的技术卫星-21(TechSat-21)用于演示编队飞行及在轨自主技术，以提高快速响应能力和改进操作效率，其自动科学与航天器(ASE)软件被安装在卫星上用于实现在轨任务规划、调度与执行，以及在轨观测规划分配[7]；③美国天基监视系统具有全天时持续工作能力，可以快速扫描、发现、识别、跟踪低轨至高轨目标，支持卫星在轨性能升级，如探测更小的目标、自动跟踪感兴趣目标以及提高系统使用效率等[8]；④NASA的深空探测计划中[9-10]，深空1号(DS-1)验证了部分自主技术，包括自主导航技术、自主远程代理技术、自主软件测试技术和自动代码生成技术，实现了一定程度的自主规划、诊断和恢复能力；2017年，NASA宣布用开普勒探测器发现了第二个“太阳系”，采用了Google提供的AI模型对探测器拍摄的天文图像进行分析；全新一代火星漫游车“火星2020”，能够自主避障，自主选择兴趣目标、探测条件和最佳探测方案。NASA未来的深空无人探测器，欧罗巴快帆计划和彗星漫游项目等都将全面具备AI能力。
经过近40年的发展，国外航天领域的智能化具备了初步自主任务规划能力、一定水平的自主识别分类能力以及空间机器人初步具备了“弱”智能。我国在航天器故障分析、任务设计和规划、自主决策、智能机器人、集群智能等领域积累了一定的研究基础[11-16]，总的来说，人工智能技术应用还非常有限，研究方向较为零散，对人工智能在航天领域的应用还缺乏整体认识与系统规划。
2航天领域人工智能分级标准及定义
目前，学术界和产业界均未对航天领域人工智能应用提出相应的划分标准。本文从体系、系统、分系统等层次提出了初步的分级标准，如表1所示，主要划分为4个等级，分别为无人工智能、分系统程控化、单星系统智能化和体系智能化，具体定义如下：
(1)无人工智能。按照任务目标，设计、研发和构建卫星系统，由人工按照既定清单和任务指令完成系统任务。
(2)分系统程控化。按照任务目标，设计、研发和构建卫星系统，在部分模块、产品、分系统层面使用程控化、自动化等技术，完成一些规律性、重复性的工作，减少人工参与造成的失误。
(3)单星系统智能化。单星系统能够根据需要对卫星系统的功能、性能进行有条件的调整和优化，地面实现全程无人参与，天地自主协同。
(4)体系智能化。航天体系具备从任务给定到结果输出全程无人参与，能够实现天地智能协同、天基资源智能调配，适应突发情形自主判断、决策，最终达到优于人工参与或不亚于人工参与的能力。
表1航天领域人工智能应用分级标准
Table1Classificationstandardofartificialintelligenceapplicationinspacefield
3智能航天体系概念内涵3.1概念
以功能、性能的弹性可重构的思路完成航天器的设计、研发，按照空间组网、功能齐备、统筹优化方式完成空间航天体系建设，具备智能感知、主动认知、自动控制、自主管理、互联互通和重构升级等一系列智能化基础能力，实现在给定任务目标后，能够适应未曾预料情形，在无人参与条件下，自主调配天地系统软硬件资源，自主完成使命任务，包括任务解析、联合任务规划、评估、信息快速精确获取与传递、与其他应用系统全方位自主铰链服务等，最终达到实现的航天任务目标优于人工参与或不亚于人工参与的能力。
3.2内涵和特征
(1)完备性。具备全域到达能力、全要素保障能力、全手段感知能力、全链路通信能力、全方位铰链服务、全流程智能化能力。
(2)智能化。从给定任务目标到任务目标的实现，全程无人工参与，全部依托体系内资源自行判断、决策。
(3)适应性。能够适应未曾预料情形，自主完成任务目标。
(4)准确性。能够确保目标和结果的准确性。
3.3体系要素
智能航天体系主要包括五大要素：
(1)智能航天制造。包括卫星智能研制、运载智能研制，地面系统智能化。
(2)智能体系构建。包括智能卫星发射、智能空间组网、智能在轨处理、智能状态监测、智能维修重置等。
(3)智能目标规划。包括智能目标理解、智能任务清单生成等。
(4)智能任务实施。包括智能任务规划、智能资源调度、智能环境感知、智能信息支援、智能服务铰链等。
(5)智能效能评估。包括智能数据处理、智能效果评估、智能结果反馈等。
图2智能航天体系要素
Fig.2Elementsofintelligentspacesystem
4智能航天体系架构设想4.1需求分析
(1)天基信息自动化保障需求。航天地面处理与应用系统均有不同程度的人为参与，人工环节多，机器对机器的闭环控制回路尚未打通。影响天基信息保障的自动化、时效性、客观性。
(2)自主星上处理、星间协同、在轨服务能力需求。天基计算存储共享环境尚未构建，实现自主星上处理、星间协同、在轨数据直接服务到用户的设想还存在差距。
(3)自适应、自组织、自学习、自提升等智能化应用能力需求。目前航天自动化还停留在低级智能阶段，知识库、样本库、规则库、特性库、算法库建设和天基大数据积累有待加强。
(4)航天体系效能最优化需求。对体系布局、协同配合、流程优化、软环境建设、软潜能挖掘不够，影响总体性能、体系效能发挥。
4.2设计原则
(1)性能优异。实现体系能力弹性设计、天基资源配置合理优化、地基资源高度集成智能。
(2)安全性强。实现高级别的安全体系架构和高安全保护等级。
(3)可用性好。确保系统在一个或部分节点出现不可预期问题时，整体依然可用。
(4)可扩展性。当增加功能时，实现可持续扩展或能力提升，确保对体系更改或变动影响最小。
(5)智能性高。系统具备深度学习、自我进化的能力，不断提高完成任务目标的能力。
4.3体系架构初步设想
面向智能航天发展需求，从基础设施、算法、体系和应用4个层次构建智能航天体系，如图3所示，各层次具体内容包括：
(1)基础设施层。包括底层基础和物理形态。底层基础包括长期累积空间大数据，包括产生目标库、特征库、算法库、规则库、样本库、知识库等数据库，以及天基计算存储共享环境等；物理形态包括天地一体化综合平台，如通信网络、时空基准、环境感知、与其他资源铰链平台和一体化地面支持系统等。
(2)算法层。包括基于机器学习、深度学习的智能航天应用基础算法。机器学习通过利用底层基础的大数据统计，分析导出规则或流程用于解释数据或预测未来数据；深度学习通过建立类似于人脑的分层模型结构，对输入数据逐级提取从底层到高层的特征，从而建立从底层信号到高层语义的映射。
图3智能航天体系架构设想
Fig.3Preliminaryconceptionofintelligentspacearchitecture
(3)系统层。包括智能弹性空间系统和智能任务规划、实施和评估系统。智能弹性空间系统需要完成大型空间节点与星群节点综合配置，星间物联系统构建；智能任务规划、实施和评估系统运用智能处理技术，依托地面处理中心或天基信息港进行联合任务规划与评估，构建智能航天应用，缩短任务目标到实施评估的决策响应时间。
(4)应用层。提供天基网络能力、云导航能力、智能环境感知能力和智能应用与服务等能力。
5结束语
当前，各航天强国为抢占航天制高点都在推出人工智能在航天领域应用的强有力政策，政策机遇和技术挑战并存。针对我国当前航天领域人工智能研究较为零散，系统性不够，对智能航天体系认识不充分等问题，本文从顶层设计出发，研究提出智能航天体系框架，构建“AI+航天系统”综合体系，全面系统梳理了智能航天发展的能力需求与重点方向，可为提前布局智能航天基础设施、算法、体系和应用等各层次的研究，推动智能航天发展提供参考。
参考文献（References）
[1]李修全，蒋鸿玲.美日欧政府发展人工智能的新举措及对我国的启示[J].全球科技经济瞭望,2016,31(10):73-76
LiXiuquan,JiangHongling.RecentactionsofforeigngovernmentsforAIfutureandenlightenmenttoChina[J].GlobalScience,TechnologyandEconomyOutlook,2016,31(10):73-76(inChinese)
[2]HoldrenJP,BruceA,FeltenE,etal.Thenationalartificialintelligenceresearchanddevelopmentstrategicplan[R].WashingtonD.C.:NationalScienceandTechnologyCouncil,2016
[3]UweH.￡2.8billiontostrengthenEUleadinrobotics[DB/OL].[20-03-20].http://www.eu-robotics.net/cms/upload/PPP/28_05_2014_SPARC_Press_Release_English.pdf
[4]中华人民共和国国务院.新一代人工智能发展规划[M].北京:人民出版社,2017
StateCouncilofthePeople’sRepublicofChina.Newgenerationartificialintelligenceresearchanddevelopmentplan[M].Beijing:People’sPublishingHouse,2017(inChinese)
[5]冯健翔.人工智能及其航天应用概论[M].北京:宇航出版社,1999:21-22
FengJianxiang.Artificialintelligenceandit’sspaceapplication[M].Beijing:ChinaAstronauticsPress,1999:21-22(inChinese)
[6]庞之浩.美国战术卫星系列试验卫星[J].国际航空,2007(3):2-3
PangZhihao.TestSatelliteofTacticalSatelliteSeries[J].InternationalAviation,2007(3):2-3.(inChinese)
[7]MauriceMartin,SteveKilberg.TechSat-21andrevolutionizingspacemissionsusingmicrosatellites[C]//TheProceedingoftheAIAASmallSatelliteConference,WashingtonD.C.:AIAA,2001:1-3
[8]汤泽滢,黄贤锋,蔡宗宝.国外天基空间目标监视系统发展现状与启示[J].航天电子对抗,2015,31(2):24-30
TangZeying，HuangXianfeng，CaiZongbao.Developmentstatusandenlightenmentofforeignspace-basedspacesurveillancesystems[J].AerospaceElectronicWarfare,2015，31(2)24-30(inChinese)
[9]李虹琳.美国的载人小行星和火星探测[J].中国航天,2014(8):45-50
LiHonglin.MannedasteroidsandMarsexplorationintheUnitedState[J].AerospaceChina.2014(8):45-50(inChinese)
[10]尹怀勤.美国出台新的探测木卫二计划[J].太空探索,2017(6):22-25
YinHuaiqin.NewEuropadetectionprogramintheUnitedState[J].SpaceExploration，2017(6):22-25(inChinese)
[11]张威,魏炳翌,闻新.国内航天器故障诊断技术应用状况分析与展望[J].航空兵器,2017(4):67-75
ZhangWei,WeiBingyi,WenXin.ApplicationstatusanalysisandprospectonspacecraftfaultdiagnosistechnologyinChina[J].AeroWeaponry,2017(4):67-75(inChinese)
[12]吕红,苏云,陈晓丽，等.一种基于人工智能技术的卫星遥感载荷系统方案[J].航天返回与遥感,2014,35(3):43-49
LyuHong,SuYun,ChenXiaoli,etal.Aschemeofsatelliteremotesensingpayloadsbasedonartificialintelligence[J].SpacecraftRecovery&RemoteSensing,2014,35(3):43-49(inChinese)
[13]张兵.智能遥感卫星系统[J].遥感学报,2011,15(3):1-3
ZhangBing.Intelligentremotesensingsatellitesystem[J].JournalofRemoteSensing,2011,15(3):1-3(inChinese)
[14]胡绍林,李晔,陈晓红.航天器在轨服务技术体系解析[J].载人航天,2016,22(4):452-458
HuShaolin,LiYe,ChenXiaohong.Analysisofon-orbitservicingtechnologysystem[J].MannedSpaceflight,2016,22(4):452-458(inChinese)
[15]席政.人工智能在航天飞行任务规划中的应用研究[J].航空学报,2007,28(4):791-795
XiZheng.Studyonmissionplanningofspaceapplyingartificialintelligence[J].ActaAeronauticaetAstronauticaSinica,2007,28(4):791-795(inChinese)
[16]李伯虎,柴旭东,张霖，等.面向新型人工智能系统的建模与仿真技术初步研究[J].系统仿真学报,2018,30(2):349-362
LiBohu,ChaiXudong,ZhangLin,etal.Preliminarystudyofmodelingandsimulationtechnologyorientedtoneo-typeartificialintelligentsystems[J].JournalofSystemSimulation,2018,30(2):349-362(inChinese)
ResearchonApplicationFrameworkofArtificialIntelligenceinSpaceSystem
HAOXiaolong1BAIHefeng1XIONGChunhui2ZHANGYongqiang1LIUNian1
(1BeijingInstituteofTrackingandTelecommunicationsTechnology，Beijing100094,China)(2CollegeofInformationandCommunication,NationalUniversityofDefenseTechnology,Wuhan430010,China)
Abstract：Basedonthesystematicanalysisandsummaryoftheapplicationresearchstatusofartificialintelligenceinthefieldofspace,theoveralldesignofintelligentspacesystemiscarriedout,theapplicationclassificationstandardofartificialintelligenceinspacefieldisstudiedfromtheperspectivesofsubsystem,singlesatelliteandsystem,theconceptofintelligentspacesystemisproposed,themulti-levelintelligentspacearchitectureincludingtheinfrastructure,intelligentalgorithmlayer,systemlayerandapplicationlayerisproposedbasedontheconstraintsofsecurity,availabilityandscalability,andthemainstructure,supportingtechnology,interrelationandinteractionmodeofeachlevelaregiven,whichprovidesareferenceforacceleratingtheapplicationofthenewgenerationofartificialintelligencetechnologyinthespacesystem.
Keywords：artificialintelligence；spacesystem；systemframework
中图分类号：P128.4;P145.6
文献标志码：A
doi：10.3969/j.issn.1673-8748.2020.05.004
收稿日期：2020-04-28；修回日期：2020-08-31
作者简介：郝晓龙，男，硕士，助理研究员，从事航天总体技术研究。Email:haoxl@beidou.gov.cn。
(编辑：张小琳)返回搜狐，查看更多