机器人感知系统构成
感知系统主要靠具有感知不同信息的传感器构成,属于硬件部分,包括视觉、听觉、触觉以及味觉、嗅觉等传感器。如在视觉方面,目前多是利用摄像机作为视觉传感器,它与计算机相结合,并采用电视技术,使机器人具有视觉功能,可以“看到”外界的景物,经过计算机对图像的处理,就可对机器人下达如何动作的命令。
感知系统可细分为内部传感器模块和外部传感器模块。
内部传感器
用来检测机器人本身状态(如手臂间的角度)的传感器,多为检测位置和角度的传感器。具体有:位置传感器、位置传感器、角度传感器等。
外部传感器
用来检测机器人所处环境(如检测物体,距离物体的距离)及状况(如检测抓取的物体是否滑落)的传感器。具体有距离传感器、视觉传感器、力觉传感器等。
机器人环境感知研究现状简述
[文末提供原文PDF免费下载(期刊论文版式)]
摘要:环境感知是移动机器人自主导航系统中的重要模块之一,相关算法研究成果层出不同穷,本文主要沿算法研究时间、分算法类型、从机器人自主运动角度对部分经典研究成果进行分析概述,最后从地图重构效率、环境内容完整性及碰撞检测效率等方面对比多种感知算法生成的不同类型的地图。
01引言
移动机器人运动行为是由自主导航系统决定的,自主导航系统主要包含感知、规划、控制与定位四个模块,感知模块是连接机器人与环境的桥梁,其作用是“阅读、提取”环境内容,思路是使用各种环境感知传感器获取机器人周围环境原始数据,通过感知算法提取目标特征,最终目的就是让机器人知道自己在环境中的位置,知道自己周围环境情况是怎么样的,以及环境中的内容是什么含义,这些内容之间是什么联系;规划模块是连接感知与控制的桥梁,其作用是“分析、理解”环境内容,并输出可执行控制命令,因此感知、规划模块是决定导航系统智能程度的关键。
环境感知一直是非常经典的研究热点之一,诸多学者和研究机构针对环境感知中的科学问题进行了深入研究。环境感知算法针对不同的应用场景有着不同的研究侧重点,比如测绘、AR/VR等领域,就需要将实际环境的几何、色彩等特征细节尽可能详细得展示出来,对实时性要求可以不用太高,而对于轮式机器人运动规划而言,环境感知会更侧重地图占用内存应尽可能小、地图重建效率及定位精度应尽可能高,地图中的移动障碍物应该标记出来,并测量移动障碍物的运动速度及其运动轨迹等。
为提升机器人在不同场景下的自主运动能力,适用于不同环境运动规划的轮式机器人环境感知算法层出不穷,本文将根据算法原理分类、研究时间排序,有侧重地概述了该研究领域的进展及成果。
02感知算法研究分析
环境感知与自主定位是运动规划的前端,机器人通过传感器(激光雷达、视觉传感器等)获取周围环境信息,构建临时局部环境地图,并同时求取机器人在该环境地图中的位姿,即SLAM算法所解决的问题。如图2.1所示,SLAM算法相关研究于1986展开并延续至今,按照问题研究热点趋势,可分为三个阶段:经典阶段、算法分析阶段及鲁棒感知阶段[1],诸多研究成果被发表,SLAM系统相关研究日趋成熟,接下来依次概述不同阶段的算法研究情况。
(请横屏看图)
图2.1SLAM算法发展路线概况
2.1经典阶段(1986-2004)
Leonard和Montemerlo等人针对SLAM问题,提出基于概率方法的解决思路,主要以EKF、PF和最大似然估计等概率方法解决,如EKFSLAM[2]、FastSLAM1.0[3]和FastSLAM2.0[4]。然而,后来的学者指出了SLAM的系统效率及鲁棒性方面有待提升,从而对SLAM算法的研究进入了下一阶段。
2.2算法分析阶段(2004-2015)
该阶段主要研究SLAM系统的基本性质,包括可观测性、收敛性和一致性,SLAM框架逐渐得到完善,系统性能显著提升。
在这阶段,首先Grisetti和Steux等人提出了改进滤波算法,如基于RBPF方法的Gmapping[5],改进了提议分布和选择性重采样以提升性能,效果如图2.2(a)。而CoreSLAM[6]将过程精简化为距离计算和地图更新两步,HectorSLAM[7]使用高斯牛顿法解决scan-matching问题,缺少回环检测,这两种算法简化SLAM系统,极提高了系统效率,但“牺牲”了鲁棒性。但基于滤波算法SLAM技术在处理信息时,总会丢失部分观测信息,并随着地图扩展而存在计算内存消耗大、累积误差扩大等问题。
为此,Konolige、Carlone和Hess等人将机器人运动姿态及约束关系采用稀疏有向图来表达,如KartoSLAM[8]、LagoSLAM[9]及cartographer[10]均采用(线性近似)图优化方法从全局优化机器人姿态序列,兼顾了系统效率及鲁棒性,进一步提高SLAM系统性能。
上述方法多属于激光SLAM,而随着传感器硬件发展迅猛,视觉传感器比激光传感器能获取更多的信息(如色彩),研究热点逐渐过渡到视觉SLAM。与激光SLAM相似,视觉SLAM框架由前端、后端、闭环检测及构图四部分组成,且按照前端特征点类别可分为稀疏法、半稠密法及稠密法,具体如下:
稀疏法:Klein、Davison和Mur-Artal等人分别使用不同的特征算子识别图像中的关键特征,如PTAM[11]使用FAST特征、MonoSLAM[12]使用Shi-Tomasi特征、ORB-SLAM[13]使用ORB特征等方法构建稀疏地图,降低数据量以提高系统效率,效果如图2.2(e),相比于直接法有更好的容错性,但也损失了较多环境信息,主要用于跟踪相机(机器人)位姿。
稠密法:Newcombe和Whelan等人分别提出了DTAM[14]和ElasticFusion[15]方法,直接处理(近似)原始图像数据以构建稠密地图,效果如图2.2(c),可提供场景细节,常用于三维重建、三维反求等领域。
半稠密法:Engel和Forster等人分别提的LSD-SLAM[16]和SVO[17]等方法,可构建半稠密地图,既包含部分环境特征信息,又实现自主定位,且地图内存消耗较稠密地图小,适合于机器人运动规划。
上述SLAM算法在系统效率、鲁棒性及环境表达等方面已经取得非常大的突破,且已成功应用于部分实际场景。然而,单纯的几何环境模型严重限制了机器人的交互能力,缺乏对环境内容的解读能力是限制机器人智能化的发展瓶颈之一。故追求高可靠稳定性的感知环境成了研究的焦点,由此进入鲁棒感知阶段。
图2.2常见环境地图
2.3鲁棒感知阶段(2016至今)
这一阶段要求SLAM系统具备更稳健的性能、更高阶的理解能力等多智能特征[1]。要求语义SLAM将“环境语义信息”与“传统SLAM几何地图”有效结合,丰富环境模型表达内容,更利于机器人理解环境。
Runz和Tateno等人提出在稠密地图上实现语义分割的算法,如基于稠密点云目标识别、跟踪与重构多运动刚性对象的MaskFusion[18],同时还为精准分割的对象分配语义标签。类似的,CNN-SLAM[19]将SLAM与CNN相结合,生成语义地图,这类语义地图可帮助机器人更准确认知环境场景,但对于运动规划中的自主避障却帮助不大。
Salas-Moreno等人提出侧重于精准建模的算法——SLAM++[20],将先验物体CAD模型数据库与SLAM系统相结合,能更真实还原场景模型,且极大压缩稠密点云地图,利于机器人运动碰撞检测,但由于物体的CAD模型种类繁多而无法通用化推广。
Nicholson等人提出基于对偶二次曲面理论的QuadricSLAM[21],使用带有语义标签的椭球体描述不同物体的姿态(大小、位置、姿态等),如图2.2(g)所示。相似的,Yang等人提出使用长方体描述的CubeSLAM[22],是一种适用于动静态场景下单图像3D立方体目标检测和无先验模型的多视角目标SLAM方法。
从便于机器人运动规划的角度来分析,使用椭球体或立方体等特殊几何体描述物体比稠密语义地图或CAD模型更有实际意义,不仅提高碰撞检测计算效率,同时也减少环境模型噪声,有助于运动规划系统稳定。
03环境地图类型讨论
不同算法构建的环境地图类型不相同,其应用的场景也不同。
地图包含的信息是运动规划模块的输入,因此从利于运动规划的角度分析,表31从地图重构效率、环境内容完整性及碰撞检测效率等方面对比了多种类型的地图。
栅格地图及特征地图是传统激光SLAM算法中常用的地图类型,常被应用于室内导航系统,能够较准确描述环境几何信息,但缺乏语义信息限制了机器人智能化水平。
几何语义地图可提供目标物体类型、空间形态及位置,以及机器人在地图中的位置,但目前仅能使用单一几何体,同时受到深度学习的计算需求与硬件计算能力制约。
因此,构建、存储、运用一个可用、普适、简洁的语义地图,解决传统地图存在的冗余性、时效性问题,以提高机器人与不同环境的交互能力,是当前研究趋势之一。
表3-1常见地图类型对比(向左滑动)
地图类型地图重构效率环境内容完整性碰撞检测效率典型算法栅格地图★★★★★★★★★★★Gmapping[5]特征地图★★★★★★★★★★★★★EKFSLAM[2]稠密地图★★★★★★★ElasticFusion[15]半稠密地图★★★★★★★★★SVO[17]稀疏地图★★★★★★★——ORB-SLAM[13]稠密语义地图★★★★★★★MaskFusion[18]几何语义地图★★★★★★★★★★CubeSLAM[22]备注:★表示等级,——表示无法使用
04结论与展望
本文沿时间先后顺序,主要从适用于移动机器人运动规划的角度,对比、分析了环境感知算法从经典阶段、算法分析阶段到鲁棒感知阶段的发展及演化过程,最后从地图重构效率、环境内容完整性及碰撞检测效率等方面对比了多种感知算法生成的不同类型的地图。
环境感知算法种类繁多,应用场景各不相同,而本文仅从机器人运动这一角度对部分经典的环境感知算法进行了分析概述,只能算是窥探环境感知这一领域的冰山一角。后续会逐渐深入讨论分析一些经典的算法。
(文章仅笔者个人分析,有误请指正,谢谢!)
参考资料
[1]CADENAC,CARLONEL,CARRILLOH,etal.Past,present,andfutureofsimultaneouslocalizationandmapping:Towardtherobust-perceptionage[J].IEEETransactionsonrobotics,2016,32(6):1309-32.
[2]LEONARDJJ,DURRANT-WHYTEHF.Mobilerobotlocalizationbytrackinggeometricbeacons[J].IEEETransactionsonroboticsandAutomation,1991,7(3):376-82.
[3]MONTEMERLOM,THRUNS,KOLLERD,etal.FastSLAM:Afactoredsolutiontothesimultaneouslocalizationandmappingproblem[J].Aaai/iaai,2002,593598
[4]MONTEMERLOM,THRUNS,KOLLERD,etal.FastSLAM2.0:Animprovedparticlefilteringalgorithmforsimultaneouslocalizationandmappingthatprovablyconverges;proceedingsoftheIJCAI,F,2003[C].
[5]GRISETTIG,STACHNISSC,BURGARDW.Improvedtechniquesforgridmappingwithrao-blackwellizedparticlefilters[J].IEEEtransactionsonRobotics,2007,23(1):34-46.
[6]STEUXB,ELHAMZAOUIO.tinySLAM:ASLAMalgorithminlessthan200linesC-languageprogram;proceedingsofthe201011thInternationalConferenceonControlAutomationRobotics&Vision,F,2010[C].IEEE.
[7]KOHLBRECHERS,VONSTRYKO,MEYERJ,etal.Aflexibleandscalableslamsystemwithfull3dmotionestimation;proceedingsofthe2011IEEEInternationalSymposiumonSafety,Security,andRescueRobotics,F,2011[C].IEEE.
[8]KONOLIGEK,GRISETTIG,KüMMERLER,etal.Efficientsparseposeadjustmentfor2Dmapping;proceedingsofthe2010IEEE/RSJInternationalConferenceonIntelligentRobotsandSystems,F,2010[C].IEEE.
[9]CARLONEL,ARAGUESR,CASTELLANOSJA,etal.Alinearapproximationforgraph-basedsimultaneouslocalizationandmapping[J].Robotics:ScienceandSystemsVII,2012,41-8.
[10]HESSW,KOHLERD,RAPPH,etal.Real-timeloopclosurein2DLIDARSLAM;proceedingsofthe2016IEEEInternationalConferenceonRoboticsandAutomation(ICRA),F,2016[C].IEEE.
[11]KLEING,MURRAYD.ParalleltrackingandmappingforsmallARworkspaces;proceedingsofthe20076thIEEEandACMinternationalsymposiumonmixedandaugmentedreality,F,2007[C].IEEE.
[12]DAVISONAJ,REIDID,MOLTONND,etal.MonoSLAM:Real-timesinglecameraSLAM[J].IEEEtransactionsonpatternanalysisandmachineintelligence,2007,29(6):1052-67.
[13]MUR-ARTALR,MONTIELJMM,TARDOSJD.ORB-SLAM:aversatileandaccuratemonocularSLAMsystem[J].IEEEtransactionsonrobotics,2015,31(5):1147-63.
[14]NEWCOMBERA,LOVEGROVESJ,DAVISONAJ.DTAM:Densetrackingandmappinginreal-time;proceedingsofthe2011internationalconferenceoncomputervision,F,2011[C].IEEE.
[15]WHELANT,LEUTENEGGERS,SALAS-MORENOR,etal.ElasticFusion:DenseSLAMwithoutaposegraph,F,2015[C].Robotics:ScienceandSystems.
[16]ENGELJ,SCHöPST,CREMERSD.LSD-SLAM:Large-scaledirectmonocularSLAM;proceedingsoftheEuropeanconferenceoncomputervision,F,2014[C].Springer.
[17]FORSTERC,PIZZOLIM,SCARAMUZZAD.SVO:Fastsemi-directmonocularvisualodometry;proceedingsofthe2014IEEEinternationalconferenceonroboticsandautomation(ICRA),F,2014[C].IEEE.
[18]RUNZM,BUFFIERM,AGAPITOL.Maskfusion:Real-timerecognition,trackingandreconstructionofmultiplemovingobjects;proceedingsofthe2018IEEEInternationalSymposiumonMixedandAugmentedReality(ISMAR),F,2018[C].IEEE.
[19]TATENOK,TOMBARIF,LAINAI,etal.Cnn-slam:Real-timedensemonocularslamwithlearneddepthprediction;proceedingsoftheProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition,F,2017[C].
[20]SALAS-MORENORF,NEWCOMBERA,STRASDATH,etal.Slam++:Simultaneouslocalisationandmappingatthelevelofobjects;proceedingsoftheProceedingsoftheIEEEconferenceoncomputervisionandpatternrecognition,F,2013[C].
[21]NICHOLSONL,MILFORDM,SüNDERHAUFN.QuadricSLAM:Dualquadricsfromobjectdetectionsaslandmarksinobject-orientedSLAM[J].IEEERoboticsandAutomationLetters,2018,4(1):1-8.
[22]YANGS,SCHERERS.Cubeslam:Monocular3-dobjectslam[J].IEEETransactionsonRobotics,2019,35(4):925-38.
福利放送
笔者为小伙伴们整理了期刊论文版式原文PDF,方便收藏和回味
链接:https://pan.baidu.com/s/1fxJmegcXFFu3JYgqYd6gcA
提取码:fv96
若链接失效,可在后台联系作者或发送邮件:Zippen-Huang@outlook.com
延伸阅读
常见移动机器人运动学模型总结
常见移动机器人多角度对比分析
Car-likerobot运动参数校准
差速驱动机器人轮间距校准
常见移动机器人轮直径校准
全向移动机器人运动参数校准
-----------------------------------------------------------------------------
相关声明
1.如果转载本文,文末务必注明:“转自微信公众号:混沌无形”
2.若有侵权,请联系作者
全文完,感谢阅读!!如果觉得写的不错,那就点个赞或者“在看”吧。
混沌无形
混沌系统是世界本质,无形之中存在规律。机器人智能化发展从线性过渡到混沌,本号将分享机器人全栈技术(感知、规划、控制;软件、机械、硬件等)。
41篇原创内容
公众号