基于 V2I/V2N 的感知融合系统技术及应用研究
来源：智能汽车开发者平台
摘要
随着智能驾驶技术的研究与发展，单车智能感知的局限性逐渐显现出来，基于V2X的感知技术解决了单车感知在遮挡等场景下的局限性。介绍一种基于V2I／V2N的感知融合系统技术方案，阐述其在智能驾驶系统中发挥的作用。重点讨论路侧感知与车载感知融合技术的算法架构及功能，研究利用V2I／V2N技术搭建智能网联汽车感知系统的可行性，研究基于V2I／V2N的感知融合系统在前车跟车行驶场景、车辆穿越交叉路口场景、高速路匝道车辆汇入场景三种典型场景下的应用。可以为车路协同感知技术应用研究提供参考。
感知系统是智能驾驶汽车的核心组成部分，为决策与规划单元提供周围环境信息，为智能车辆的控制执行动作提供依据。感知融合系统集合多个异构传感器的检测信息，克服了单个传感器的感知局限性，实现智能驾驶系统的强鲁棒性，基于多源异构传感器融合的感知技术已成为智能驾驶的研究热点。对于L4以上的高级别自动驾驶系统，单车感知实现的技术难度呈指数级上升，成本显著增加，单车智能的高级别自动驾驶技术发展陷入瓶颈。车用无线通信技术V2X(VehicletoEvery-thing)的提出，为智能驾驶车辆适应复杂路况带来了技术解决途径，成为智能驾驶重要的技术发展方向。V2X主要包括车与基础设施V2I(VehicletoInfrastructure)、车与车V2V(VehicletoVehicle)、车与人V2P(VehicletoPeople)、车与网(VehicletoNetwork)等，车辆通过V2X技术与周围设施、车、人及网络等进行通信，搜集周围环境信息，增加车辆感知信息量，为车辆的决策与规划提供可靠支撑。
当前交通场景中，红绿灯、交通指示牌、路侧传感器等路侧基础设施进行通信可以通过V2I技术与智能车辆通信。在重要的道路节点布设应用，可降低事故概率、减少拥堵，提高道路通行效率。路侧传感器可以“上帝视角”的超视距感知能力弥补车载感知系统的盲区，实时获取附近区域交通信息。车载计算单元的计算资源有限，高级别智能车辆无法处理海量的感知信息，可通过V2I技术，利用布设在道路旁的分布式计算资源，提升智能汽车感知信息处理能力。V2N主要是车与云平台通信，云平台可以提供道路管控、路网规划等信息，为智能驾驶车辆提供全局规划和决策依据。
本文内容为基于V2I／V2N技术开发智能驾驶感知融合系统，融合路侧感知与车端感知信息，利用路侧分布式计算资源，增强智能汽车感知系统的鲁棒性，力求提出适应于智能汽车与非智能车辆混合交通场景的感知融合系统架构。
1基于V2I/V2N的
感知融合系统架构
1.1系统架构设计
基于V2I／VWN的感知融合系统架构如图1所示。基于V2I／V2N的感知融合系统，利用V2I通信技术将路侧感知与车载感知连接在一起，采用在路端布设毫米波雷达、激光雷达及摄像头，组成路侧感知子系统，利用毫米波雷达、摄像头、激光雷达、组合导航等感知设备构建车载感知子系统，系统感知中心单元放置于车端，为智能汽车的决策与控制部分提供有效的目标信息。云平台为智能汽车、路侧设备、交通管理者等提供定制化服务，
图1基于V2I／V2N的感知融合系统架构
如区域地图、天气预告、前方拥堵、交通管理及区域规划等。边缘计算是指在靠近用户终端设备的网络边缘处理和存储数据，就近为用户提供可靠稳定的服务的一种计算模式。可以通过V2N技术实现智能车辆、路侧设备、交通地图、交通服务商等连接起来，通过局域优化方式规划智能汽车的行车路线，实现智能汽车的节能控速、绿波通行等功能。在车端与路端布设5G通信终端和OBU(车载单元)和RSU(路端单元)，组成V2I／V2N通信单元，实现低延迟、大带宽的通信能力，以支持多种场景的应用需求。不同的交通场景对感知的需求存在差异，感知融合系统的信息接入方式应采用模块化方式设计，在不同的场景需求条件下可以灵活配置感知模块。
1.2感知融合算法架构
当前主流的车载和路侧传感器工作方式不相同，不同的传感器输出的信息量存在差异。毫米波雷达输出目标列表信息，摄像头输出原始图像，激光雷达输出原始点云，云平台APP等这类虚拟传感器输出的是决策级信息。为兼容接入不同传感器的数据，搭建一个灵活的多传感融合算法框架尤为重要。在路端，将多个摄像头的数据进行数据融合，以获取更大区域的图像信息，并提取感兴趣区域(RegionofInterest，ROI)，通过灰度化和阈值分割等处理提取ROI目标特征。对于激光雷达点云数据，分割地面点云与目标点云，并对ROI的点云滤波与聚类。在融合阶段，将经提取后的图像数据与激光雷达ROI点云数据融合。毫米波雷达数据经滤波去干扰后接入路侧感知融合单元，最终输出路侧的感知目标信息。车端感知部分，摄像头与激光雷达采用特征融合方式融合，分别提取两个传感器数据的ROI目标特征，采用投影处理的方式将ROI点云与图像融合在一起，利用深度学习网络算法完成融合数据的目标检测与识别。车载毫米波雷达输出目标信息，滤除噪点后直接与摄像头及激光雷达的检测结果融合。车载组合导航提供本车定位信息接入融合单元，提供高精度位置及时间信息。智能网联汽车的总的感知融合单元布置与车辆中央计算单元端。云平台的服务APP作为虚拟传感器，提供的决策级信息通过V2N接入车载感知融合单元。路侧感知融合单元输出的目标信息，通过V2I接入车载感知融合单元。基于V2I／V2N的感知融合算法架构如图2所示：
图2基于V2I／V2N的感知融合算法架构
2基于V2I／V2N的感知
融合系统典型场景应用
2.1前车跟车行驶场景
本车(SubjectVehicle，SV)跟随前方车辆(TargetVehicle2，TV2)行驶，而前方车辆(TV2)跟随其前方车辆(TargetVehi-cle1，TV1)行驶。此类场景下，如果TV1车辆因紧急状况而采取紧急制动，SV车辆因受TV2车辆遮挡，而无法提前预知TV1紧急制动的状况。如图3所示：
图3前车跟车行驶场景
利用V2I、V2N等技术，合理布局感知设备，可以使SV车辆获得透视感知能力。在路侧布设毫米波交通雷达、高清摄像头，交通雷达可以检测过往目标动态信息、逆行事件等，摄像头可以识别道路行驶车辆、行人横穿马路、路面事故等，两种传感器融合可以高效地检测TV1状态信息、TV2前方(SV的遮挡区域)的交通动态场景，路侧感知融合在MEC中完成，并将路侧感知信息通过V2I实时发送给SV，实现SV感知遮挡区域目标信息的功能。在车端布设前视摄像头、前视长距毫米波雷达，实时检测前方车辆TV2的运动状态，车载组合导航系统提供本车运动状态信息。云平台通过V2N向SV提供前方事故、前方临时交通管制等信息。车载感知融合单元汇总车载感知信息、路侧感知信息及云平台，实现SV跟车行驶、保持车距，并提前获取前方道路状况而做出预判，避免碰撞危险。如图4所示：
图4前车跟车行驶场景下的感知融合架构
基于V2I／V2N的感知系统，SV通过路侧传感器和云平台获取被遮挡车辆TV1的加减速度信息和其前方路况，若探测到TV1的制动减速度大于一定的阈值或者TV1前方存在紧急事故，可预测TV1将紧急制动，SV可根据前车的距离、速度信息及相邻车道环境，采取适当的减速或者变换车道策略，避免紧急制动或者碰撞，这类结果对于保障大型客车或者货车的安全是非常必要的。
2.2车辆穿越交叉路口场景
在繁忙的十字路口，多个道路的交通量汇入，交通参与者运动轨迹灵活多样，尤其是行人闯红灯穿越马路、非机动车辆不按规则行驶、遮挡区域运动的行人及车辆等难以检测，造成十字路口较容易发生交通事故。SV车辆经过十字路口时，需要提前获取红绿灯状态信息、路口行车标识线、盲区行人及车辆信息、冲突方向车辆行驶状态，以达到及时决策避免碰撞的目的。如图5所示。
图5车辆穿越交叉路口场景
针对交通环境复杂的十字路口，应采用检测区域全面覆盖各个路口的传感器布局方案，以达到全方位检测行进区域冲突目标的目的，确保车辆安全通过路口。在路口各道路方向布设交通雷达，获取道路车辆排队长度、路口车辆速度、重点车辆轨迹等。同时各入口布设摄像头，识别斑马线的行人、道路标识、盲区目标分类。在路口布设可覆盖各方向的激光雷达，检测与识别进入路口的行人、车辆等目标。路侧传感器数据在MEC中完成数据融合，获取路口区域目标融合信息，通过V2I发送到车端，实现路口无盲区覆盖检测。交通灯、道路指示牌等通过V2I向车辆提供红绿灯状态信息、限速信息等，实现准确获取道路指示信息。云平台的高精地图通过V2N向车辆提供路口的车道线、斑马线、停车线及路口道路结构信息，帮助车辆实现精确定位、正确遵守道路指示等功能；区域规划服务，可为车辆提供区域规划的行驶路线和车速，实现节能控速、绿波通行等功能。
在车端，布设前视摄像头、前向毫米波雷达及激光雷达，两个传感器融合用于检测与识别前方车辆、行人目标，实现跟车行驶、前向碰撞预警等功能。角向雷达、侧向摄像头及激光雷达融合，协助车辆感知前方切入车辆、横穿马路的行人以及变道行驶。组合导航，提供本车的精确位置、速度、航向角等信息，实现高精度定位。车载传感器融合后的信息与路侧感知信息、道路设施信息、云平台信息汇总于车载系统感知融合单元，实现路口交通场景的全方位感知，为车辆决策规划提供可靠依据，确保车辆安全穿过十字路口。如图6所示：
图6车辆穿越交叉路口场景下的感知融合架构
在穿过十字路口时，通过基于V2I／V2N的感知系统，SV车辆提前获取红绿灯状态计时信息和路口限速信息，提前规划车辆速度和路线，保证平稳行驶。通过路侧传感器获取遮挡区域行人、车辆信息、闯红灯车辆，提前规划行车路径以避开遮挡区域障碍。通过云平台获取区域规划及高精地图信息，与本车感知信息融合保障SV车辆无违章、按照既定行驶路线通过路口。
2.3高速路匝道车辆汇入场景
高速路的匝道入口，引导车流汇入，收取车辆通行费用，限制车辆行驶速度，一般路面宽度较窄，短时间内汇聚多辆汽车，易发生拥堵与事故。匝道与高速路之间存在遮挡等，造成匝道车辆受遮挡而无法判断并入车道是否有车辆高速行驶，易造成碰撞。为避免此类冲突事件发生，匝道汇入车辆SV应具备感知受遮挡区域的主路车辆信息，根据主路车辆及时调整并道时机，安全稳定地进入主路。SV与路侧ETC实时通信，实现不停车缴费，提高匝道通行效率。同时，SV应及时感知前车运动状态的能力，保持安全距离，安全跟车行驶，在变换车道时感知相邻车道前后车辆运动状态信息，为SV汇入主路提供决策依据。如图7所示：
图7高速路匝道车辆汇入场景
在路侧，布设交通雷达实时检测主路冲突车道车辆运动信息，并跟踪潜在冲突车辆的运动轨迹。布设路侧高清摄像头，实时监控及识别应急车道特殊车辆、冲突区域车辆类型、车道标识等。交通雷达与路侧高清相机实时融合，实时检测主路交通信息，通过V2I下发到车端。路侧限速标识、ETC等设施，通过V2I与车辆实时交互，提供道路限速预警及高速收费信息；在车端，布设前视摄像头和前视毫米波雷达，实时监控前车运动状态，确保SV安全跟车。安装角向雷达、后视摄像头及侧视摄像头，检测主路汇入车道车辆运行信息，协助SV变道进入主路。组合导航设备提供本车的速度、航向、时间同步等信息，为传感器融合中的时空同步提供基准信息。路侧感知信息、道路基数设施交互信息及车辆感知信息，在车端完成信息融合，实现SV车辆透过障碍物感知主路车辆信息，实时监视周围环境，并具备不停车缴费的功能。如图8所示：
图8高速路匝道车辆汇入场景下的感知融合框架
基于V2I／V2N的感知框架，SV行驶在匝道欲汇入高速主路时，通过路侧ETC完成不停车计费，提高匝道通行效率；提前获取匝道限速、弯道曲率，规划行车速度和行车方向控制，保证车辆平稳行驶；本车传感器获取前车运动信息，保持安全行车间距和速度；利用路侧感知信息，提前感知主路冲突车道的车辆运动信息，规划好切入主路时机，保障车辆安全汇入主路。
3结束语
本文研究了智能汽车感知融合系统技术，并基于V2I／V2N技术，提出了一种通用性强的模块化感知融合系统架构。研究表明，基于V2I／V2N的感知融合系统可适用于多种交通场景，可满足车辆感知遮挡区域、实时与路侧基础设施交互、实时检测车辆周围环境及实时获取区域路网服务信息的需求，为车辆安全行驶、高效通行提供保障。本文提出的基于V2I／V2N的感知融合系统技术，将用于ADAS＋感知融合项目，应用成果将在后续论文发布。
欢迎加入智能交通技术群！
联系方式：微信号18515441838
智能无线感知如何在复杂场景中应用落地
YEF2022将于2022年6月9-11日举行，其中6月10日下午的专题论坛“智能无线感知如何在复杂场景中应用落地？”将邀请一线学者、产业专家，针对智能无线感知当前的发展水平和产业化进程进行深入探讨，为无线感知、尤其产业发展建言献策。
本届大会免费线上参会，届时将通过百度、知乎、量子位、腾讯Wiz、蔻享、快手、B站、爱奇艺、视频号等多家网络平台直播，点击获取大会直播日程及直播间入口信息。
无线感知技术经过约10年的发展，各类基础性、验证性的工作已经完成，在部分智能家居场景（例如入侵检测、跌倒检测等）、水下感知、医疗领域取得了应用效果。但是，相比于视觉感知，无线感知领域普及程度较低，需要其他领域的研究人员共同推进技术进步与产业化。为此，中国计算机学会青年计算机科技论坛（CCFYOCSEF）兰州分论坛组织了本次主题论坛，邀请智能无线感知科研一线学者、专家等嘉宾发表观点，围绕无线感知当前发展现状和产业化进程进行深入思辨讨论。
本论坛立足产业前景、技术瓶颈等几个方面，就无线感知应用的高鲁棒性，无线感知的基本原理、关键技术，水下传感应用和创新应用场景的落地等问题进行研讨交流。力求为学术界、产业界和大众之间搭建一座有效交流的桥梁，藉此厘清困惑，达成共识，为新型无线通信中的无线感知技术及算法带来新启示，对无线智能感知技术在人机交互、智能驾驶、健康医疗、动作行为识别等领域的应用产生积极的推动作用。下面我们来提前了解一下讲者与报告主题。
论坛举办及直播时间：6月10日13:30~17:30
在线直播间：（请提前关注和收藏）
嘉宾介绍
何源
报告主题：网络化感知技术与应用
报告摘要：感知技术是物联网技术体系的基石。将感知数据通过网络采集、分发和共享利用，则是物联网价值体现的主要途径。网络化感知系统因而成为物联网技术和应用的主要形式，在工业互联网、智慧城市、交通物流、智慧医疗、智慧家居等重要领域中发挥着日益重要的作用。近年来，物联网创新应用场景不断涌现，为网络化感知技术带来了新的挑战和发展机遇。本报告分享我们近年来在无线感知和无源感知网络等方向的研究成果，探讨未来的研究空间。
嘉宾介绍：何源，清华大学软件学院长聘副教授、博导，ACMSIGBEDChina常委，中国计算机学会物联网专委会委员。研究领域涉及物联网、无线网络、移动和普适计算等。担任ACMTIOT、JCST等期刊编委，SECON2022、EWSN2019等国际会议程序委员会主席/副主席。
谢磊
报告主题：从“识别”到“感知”：基于RFID的可标记无源感知技术
报告摘要：RFID作为当前无线情境感知的一项重要技术，具有基于反向散射通信对传输环境非常敏感的特性，可实现由“识别”到“感知”的蜕变。在此基础上，RFID的可标识特性能够有效区分反向散射信号的来源，这为实现“可标记”的无源感知提供了新的机遇。在本次报告中，报告人将会介绍RFID可标记无源感知的基本原理、关键技术和相关应用，具体阐述报告人团队近年来在智慧医疗、健康养老、人机交互等应用领域的代表性成果及其应用示范。
嘉宾介绍：谢磊，CCF杰出会员、杰出演讲者、普适计算专委秘书长，南京大学教授、博士生导师，教育部青年长江学者，南京大学首届“仲英青年学者”。CCF，南京大学-南方电网深研院工业互联网联合实验室主任。获江苏省科学技术奖一等奖2次，在国际一流学术会议和学术期刊发表论文100余篇。主要研究领域为智能感知计算与边缘智能。
韩光洁
报告主题：水声传感器网络中多维度动态信任管理机制
报告摘要：水声传感器网络是实现“智慧海洋”的核心模块。目前，水声传感器网络在复杂水环境下还未能充分发挥作用，根本原因在于缺乏有效的方法保证网络安全和可靠数据传输。本报告主要介绍报告人团队在水声传感器网络信任管理机制方面的研究工作。主要研究内容包括：1）基于能耗预测模型的入侵检测算法；2）基于模糊理论的多维度信任计算算法；3）基于云理论的信任评估算法；4）基于AUV的信任云迁移机制；5）基于强化学习的信任更新机制；6）基于孤立森林的异常容忍信任模型。研究的成果对探索水声传感器网络安全技术及应用具有重要的理论价值和实际意义。
嘉宾介绍：韩光洁，博士、河海大学教授、博导，IETFellow，EAIFellow。主要研究方向为工业物联网、智慧海洋、人工智能、移动计算等。近年来在高水平SCI国际期刊发表论文300+篇（其中IEEE/ACMTrans.系列70+篇），到目前为止GoogleScholar引用次数10600+次，H-index为54。授权国家发明专利106件，PCT国际授权专利5件。连续3年（2019-2021）入选全球排名前2%科学家。
周安福
报告主题：毫米波感知：从物理环境重构到人员行为识别
报告摘要：作为一种非接触感知技术，毫米波感知通过分析毫米波无线信号在空间传播的信号特征，间接推测目标信息，部署方便且成本较低。报告人将介绍其在毫米波物理环境重构、毫米波人员行为和身份识别等方面的系列研究工作，并讨论毫米波感知在物联网、人机交互、智能健康等领域的应用。
嘉宾介绍：周安福，北京邮电大学计算机学院教授、博士生导师，CCF-Intel青年学者，获ACM中国新星奖。代表研究成果发表在ACMSIGCOMM、ACMMobiCom、USENIXNSDI、ACMMobiHoc、ACMUbiComp、IEEEINFOCOM、IEEE/ACMTrans等一流国际会议和期刊上，授权专利三十余项。研究方向为物联网与5G交叉方向，包括毫米波感知、毫米波传输、AI-driven低延迟视频传输等。
论坛议程
论坛时间：6月10日下午13:30-17:30
时间议程
13:00-13:30签到
13:30-13:35CCFYOCSEF论坛背景介绍
13:35-16:00嘉宾引导发言
16:00-17:30讨论交流、思辨环节
执行主席
郝占军
个人简介：郝占军，CCF高级会员，CCFYOCSEF兰州现任主席，CCF物联网专委执委，西北师范大学教授、科学研究院副院长，入选中组部和中科院“西部之光”西部青年学者人才项目。目前主要研究方向为智能物联网、机器学习与移动计算。
林强
个人简介：林强，CCF高级会员，CCFYOCSEF兰州候任主席、普适计算专委执委，西北民族大学教授、博士生导师、数学与计算机科学学院副院长，2014年博士毕业于西北工业大学。目前主要从事医学图像计算、机器学习和智能信息处理方法的研究工作。
YEF2022各地线下会场将严格遵守当地防疫政策，并将采取严格的防疫管理措施，确保参会安全，敬请现场参会者理解配合。
关于YEF2022大会围绕“计算+行业”的蓝图，以“大计算、大融合”为主题，邀请国内外来自高校、科研单位、大型IT企业的著名专家作高水平的学术、技术报告，同时还组织畅想未来的“思想秀”，展现计算机界青年创业者风采的“科技创业秀”，为大学生提供展示舞台的“大学生学术秀”。除此之外，本次YEF更推出“我国软件供应链安全问题及解决之道”、“探寻当代科技Heroine（女性英雄）的成长模型”、“安全可靠人工智能算法”、“大规模强化学习的未来之路”、“人工智能如何助力科学发现与计算？”等22个值得期待的观点论坛和技术论坛。另有“青科看未来——人工智能的发展困境和突破机遇”大会论坛和““计算+”的成功经验与所面临的挑战”大会论坛。