人在回路的混合增强智能在Sawyer的研究与验证人在回路的混合增强智能理论与方法经费

发表时间：2023-07-16 01:15:13

人在回路的混合增强智能在Sawyer的研究与验证

本文旨在实现人与协作机器人的融合，尝试引入人的认知机制，构建人在回路的混合增强智能机制，推动协作机器人朝着实用化方向前进。本文搭建了人在回路的机器人实验平台，设计模块化的移动底盘，解决Sawyer无法自主移动的问题，使之可完成更多任务；在平台之上，重点针对抓取这一挑战性问题，实现人在回路的增强智能实验设计，引入人的智能实现机器人智能增强，并通过自主搬卸货物实验加以验证。实验表明，人在回路的混合增强智能可以提高机器人的抓取能力，实验取得初步成效。但目前机器人只能多次学习才能实现智能增强；学习较长一段时间后才能发挥学习的效果，增强智能部分并没有表现出像人类那样“举一反三”的能力，几乎是按照人的策略予以执行，甚至还会失败。本文简化了知识库的设计，而知识库构建直接决定了机器增强智能的速度和准确性，设计一个合理的构建机制是研究的重点，尤其是知识推理部分。值得肯定的是，人机融合将是未来的一大主流，人在回路的混合增强智能将会加速融合，进一步推动协作机器人的快速发展。

基于人在回路的混合增强智能交通系统设计

基于人在回路的混合增强智能交通系统设计DesignofHybridEnhancedIntelligentTransportationSystemBasedonHumaninLoopDOI: 10.12677/OJTT.2019.85039,PDF,HTML,XML, 被引量下载:876 浏览:3,600 国家自然科学基金支持作者:钱光宏,张立东*,陈翠娇：山东交通学院，山东济南关键词:智能交通；人在回路；混合增强智能；ZigBee无线通信；交通安全；IntelligentTransportation；ManintheLoop；HybridEnhancedIntelligence；ZigBeeWirelessCommunication；TheTrafficSafety摘要:随着5G时代的即将到来，智能交通技术也进入了相对快速的发展阶段，同时我们要清楚地认识到智能交通的本质并不是用各类传感器“取代人类”，相反的是加深了“人与车辆、道路的合作”，形成了混合增强智能。人在回路的混合增强智能就是基于将人的感知、经验引入到智能交通系统的控制回路中，产生一种新的“人–车一体”系统，以便于提高整个系统在处理复杂路况时的可信度。通过采用ZigBee无线通信和人在回路控制的方式可分别实现车–车、车–控制中心的信息交互以及危险状况下驾驶模式切换等功能。Abstract:Withthecomingof5Gera,intelligenttransportationtechnologyhasalsoenteredarelativelyrapiddevelopmentstage.Meanwhile,weshouldclearlyrealizethattheessenceofintelligenttransportationisnotto“replacehumanbeings”withvarioussensors,buttodeepenthe“cooperationbetweenpeople,vehiclesandroads”,formingahybridtoenhanceintelligence.Thehybridenhancedintelligenceofhuman-in-loopisbasedontheintroductionofhumanperceptionandexperienceintothecontrolloopoftheintelligenttrafficsystemtoproduceanew“human-vehicleintegratedsystem”,soastoimprovethereliabilityofthewholesystemindealingwithcomplexroadconditions.ThroughZigBeewirelesscommunicationandhumancontrolintheloop,informationinteractionofvehicle-vehicle,vehicle-controlcenteranddrivingmodeswitchingunderdangerousconditionscanberealizedrespectively.文章引用：钱光宏,张立东,陈翠娇.基于人在回路的混合增强智能交通系统设计[J].交通技术,2019,8(5):321-329.https://doi.org/10.12677/OJTT.2019.85039

1.引言

近年来，伴随着社会经济的稳步发展，汽车产业也步入了快速发展的新阶段。另外，由于人们对交通出行提出了更高的要求，所以导致了汽车保有量的迅速增加。汽车在改善人们出行质量的同时也带来了相应的负面问题，那就是庞大的汽车使用量已经成为妨碍我国目前道路交通安全的主要原因之一。在我国汽车保有量呈持续快速增长的趋势下，对许多大、中城市来说，其道路承载能力已接近或达到饱和状态，这不仅给人们的日常交通出行带来了不便，而且由此产生的交通安全事故数量也呈现出逐年上升的态势。在此大背景下，就要求在充分利用现有道路交通资源的基础上，综合考虑人–车–路三者之间的内在关系，通过利用人的经验及决策能力、计算机、传感器、无线通信等技术手段来解决当前的交通问题。

2.国内外研究现状及意义

道路交通问题已经成为困扰世界各国已久的通病，为了改善道路交通环境使其更好的促进经济的发展，国内外都相继开展了基于智能交通系统的相关研究。例如，美国的PATH(PartnersforAdvancedTransitandHighways)计划[1]和IVHS(IntelligentVehicleHighwaySystem)计划[2]；欧盟实行的CHAUFFEUR计划[3]；日本实施的VICS(VehicleInformationandCommunicationSystem)计划[4]等，其目标都在于利用先进的智能交通技术，在现有道路交通资源的基础上，通过建立车–车、车–路之间的信息交互来增加现有道路的交通容量以及提高车辆在道路行驶过程中的安全性。虽然国内基于智能交通系统的研究起步比较晚，但也取得了相对不错的成绩。例如，上海交通大学开展了基于CyberC3智能车的路口协作、列队跟随及超车协作的实验研究[5]；西安交通大学则搭建了Springrobot智能车实验平台以及基于自主研制的“发现号”智能车在2017年“中国智能车未来挑战赛”中获得冠军[6]。

由上述国内外研究现状可以看出，现阶段对于智能交通系统的研究主要还是停留在基于通过提高车辆与道路的智能化水平来缓解交通问题这一层面上。但是，在计算机、无线通信和车联网等技术飞速发展的当今社会背景下，往往容易忽视一个最基本的因素—车辆的操控者，将驾驶人员排除于智能交通系统之外，从一定意义上来看是将驾驶员从传统的驾驶模式中解放了出来，但是由于缺少车辆操控者的参与决策作用，使得系统整体的可靠度、安全水平不高，从而导致在面对复杂的道路状况时反应不佳。因此，通过把人的参与决策作用引入整个系统的控制回路中，形成人在回路的混合增强智能交通系统。

设计的混合增强智能交通系统，其优势在于：能够实现人与车的智能互融。整个系统的“逻辑思维”是由车辆操控人员的思维能力与智能车辆的“执行思维能力”两者有机结合而形成的，二者相辅相成，共同组成一个整体。正是由于系统中采用了人–车一体化的模式，从而能够保证整个系统具有较快的反应速度，通过将人的智能引入系统中来弥补智能车辆在自主运行时控制方面的不足，从而提高了整个智能交通系统在控制方面的性能，同时也相应的提高了智能交通系统的可靠性、灵活性和安全性。

3.混合增强智能交通系统的整体结构设计

随着智能交通技术的日益发展，路测实验已经成为不可或缺的环节。然而在采用智能实车进行路测实验时，不仅浪费大量的财力、物力而且还具有一定的风险性。在此种情况下，设计了一种基于人在回路的混合增强智能交通系统，该系统可以有效提升车辆在行驶时的主动安全性。

人在回路的混合增强智能交通系统的原理图见图1：该系统由两大模块、三大系统组成。两大模块分别为：ZigBee无线通信模块、STM32控制中心模块；三大系统为：智能小车联网系统、数据处理系统以及人在回路控制系统。当系统中的智能小车上电运行后，由ZigBee无线通信模块负责将各传感器节点所采集的数据信息以无线的形式发送给数据处理系统，经过处理后的数据进而反馈给人在回路控制系统，当人在回路控制单元判定不存在行驶隐患时，STM32控制中心系统对数据信息进行进一步的分析处理，并及时给出相应的行驶策略；相反，当判定存在安全风险时，启动预警信息提示，继而由车辆操控者进行接替继续完成行驶的任务，人–车协同工作，保证车辆安全平稳运行。

Figure1.Schematicdiagramofhuman-in-loophybridenhancedintelligenttransportationsystem

图1.人在回路的混合增强智能交通系统原理图

4.混合增强智能交通系统的硬件组成

系统的设计初衷是面向目前迫切需要解决的车辆联网环境下的道路交通安全问题，在智能小车联网平台的基础上引入了人的智能——即加强了人在控制回路中的参与决策作用，形成了在车联网大环境下的人在回路的混合增强智能交通系统，以此来提升车辆的运行安全性。

设计的混合增强智能交通系统中硬件主要包括：ZigBee无线通信模块和STM32中心控制模块。

4.1.ZigBee无线通信模块

通过分析比较ZigBee、Bluetooth、WiFi这三种无线通信技术的优势与不足之处，并结合系统中的实际需要，选择ZigBee作为车联网平台中的无线通信设备。ZigBee是一种低功耗、低成本、网络容量大、低时延、传输可靠、安全的双向无线组网通信技术，可为平台中智能小车所运用的各类无线传感器的互联通讯提供所需的网络基础[7]。

ZigBee无线通信模块基于IEEE802.15.4无线通信标准，由一个协调器和多个路由、终端设备组成。终端节点负责信息的采集并且传递给协调器；路由器负责数据包的路由选择，即可以利用其来建立信息的双向传递；协调器则负责网络的组建、维护以及将信息通过串口发送给控制中心[8]。ZigBee无线组网通信技术可以在有效范围内实现小车与小车间之间、小车与其他设备单元之间的信息交互功能，并且可以进一步将车身上搭载的各类传感器所采集到的数据信息经汇聚处理后传递给智能小车的“大脑”—STM32控制中心。

根据系统需要实现的目标需求，在设计系统时利用了CC2530芯片和Z-Stack协议栈来构建了基于ZigBee无线通信的智能车联网平台。该平台的主要功能是实现系统控制中心与小车间的双向无线互通，小车经由各类传感器及终端节点、协调器，将自身的数据信息通过ZigBee无线通信模块输送至控制中心，经分析、处理后，控制中心借助于ZigBee模块的无线形式发送相应的指令，见图2。

Figure2.StructureblockdiagrambasedonZigBeewirelesscommunication

图2.基于ZigBee无线通信架构图

4.2.STM32中心控制模块

系统设计中采用STM32F103ZET6开发板作为整个系统的核心控制器，STM32是意法半导体公司推出的一款基于ARMCortex-M3内核的32位微控制器，该控制主板的板载资源十分丰富，可满足嵌入式系统的开发需求，见图3。其主要功能为：收集数据信息、分析与处理数据处理系统所送达的数据信息，从而以此来判断小车当前的运行环境及状态并且能够发送实时的指令来控制小车的前进、加减速、左右转向、停车等状态，其在整个系统中发挥了总控与协调各个模块之间协同工作的作用。

5.混合增强智能交通系统的软件设计

设计的人在回路的混合增强智能交通系统中所涉及软件部分主要包括有：数据处理系统和人在回路控制系统。在本次设计中采用模块化的设计思路，一方面便于系统的调试；另一方面，增加了系统的可移植性。

Figure3.STM32F103controlboard

图3.STM32F103控制主板

5.1.数据处理系统设计

整个系统在运行时会涉及到各类传感器来对系统所需要的数据信息进行采集，其中就包括例如红外线、超声波、速度与加速度传感器等。系统中所搭载的传感器种类繁多，可能会导致所收集到的数据具有异构性，所以需要对异构数据进行预处理；另一方面，由于各传感器的测量精度不是十分的精确，可能会造成在数据传输过程中产生误差以及系统运行环境的改变等，都会产生噪声数据，需要对所产生的噪声数据进行平滑处理；最后，由于系统中应用的大量传感器导致产生了数目众多的传感器节点，并且都以集群的形式存在，因此当处理完数据信息后，进行大量的数据信息融合时会发生过拟合现象[9]，从而会导致数据的不准确，影响系统的稳定运行。因此，为了保证系统的计算效率、运行的可靠性以及节省存储空间，需要将冗余及异常的数据信息剔除出去。

对于采集到的数据信息可以通过采用模糊推理融合的方法进行处理。该种方法的基本思想就是将得到的海量数据信息进行模糊化与概率化[10]。其基本原理图见图4：

Figure4.Fuzzyinferencefusionmethod

图4.模糊推理融合方法

整个混合增强智能交通系统中对于某个传感器组合C来说，其数据融合值由函数组：

G(c)={F(c),R(c),M(c)}(1)

确定。式中：F(c)为融合函数；R(c)为容许度函数，定义了数据间的相似程度，取值范围为0~1；M(c)为模糊测度函数，表示数据的可靠度。

假设系统的传感器网络中共有N个节点，则可形成的传感器组合数量为：2n−1；根据模糊推理融合算法，进行数据融合后的输出为：

T=OR(F(ci),R(ci)ANDM(ci))(2)

上式中：i取值范围为1~2n−1，OR运算为取最大值，AND运算为取最小值。

通过对系统中的数据进行模糊推理和深度融合处理后可以有效避免数据过拟合现象的发生，从而能够为人在回路的混合增强智能交通系统提供精确的数据基础，其融合流程见图5。

Figure5.Dataprocessingandfusionframework

图5.数据处理与融合框架图

5.2.人在控制回路系统设计

由于在实际道路中，交通环境的实时性和复杂性以及车联网技术对环境要求的特殊性，仅依赖于计算机控制层面的车辆联网技术已经不能很好的满足当前道路交通的状况需求，同时也无法保证车辆在运行过程中的安全性；此外，通过对车辆联网环境下交通仿真的对比研究，发现原有的仿真模型均是基于实验环境为智能车辆这一假设，而在现实生活中的实际交通状况是在未来很长一段时间内，是智能车辆与非智能车辆混合行驶的现象，当智能车辆与非智能车辆混合行驶时势必会引发冲突，为了保障驾乘人员的生命财产安全，因此有必要把人的认知、经验及决策作用引入智能交通系统的控制回路中[11]。

联网环境下的车辆只能根据程序指令逐步运行，还未达到能够真正的进行独立思考及取舍的层面。当真正面对行驶隐患时，无法像人类那样做出相应的驾驶决策，使危害降到最低。而人在回路的混合增强智能交通系统，是将车辆的操控者作为智能小车控制回路中的一个决策因素，使其参与到小车的运行过程当中，当存在驾驶安全隐患时能够及时的切换驾驶模式，以保障车辆运行安全[12]。其系统结构图见图6。

其主要设计原理如下：当车辆开始运行时，由人在回路控制单元中的状态检测模块来检测当前道路的前方有无障碍物及车辆，同时驾乘人员基于自身的认知作用及驾驶经验来判断当前行驶道路的状况。当在良好的路况上以及无智能车与非智能车混合行驶时，以STM32控制中心发送的行驶指令为主，沿着当前道路继续行驶以减轻驾乘人员的负担；而在面对较为复杂的路况时，即当车辆自身无法保持稳定、安全的行驶状态时，系统主动给出预警信息后由操控者主动介入，同时可以以手动的方式向运行中的小车发送相应的控制指令，以规避风险且能够提高系统在应对复杂交通状况时的可信度，同时也提高了整个系统的行驶主动安全性，为车联网技术的健康发展提供了理论途径。

Figure6.Humancontrolloopsystemstructurediagram

图6.人在控制回路系统结构图

具体控制流程见图7：

Figure7.Flowchartofhumaninvolvementanddecision-makinginthecontrolloop

图7.人在控制回路的参与决策流程图

由上图可以看出，人在回路控制单元在整个控制回路系统中发挥着关键的作用，其主要用来决定是否需用发布预警信息，从而最终确定是否要进行驾驶模式的切换，其主要控制原理见图8：

Figure8.Humanincontrolloopcontrolunitschematicdiagram

图8.人在控制回路控制单元原理图

6.结语

设计的基于人在回路的混合增强智能交通系统，具有一定的实用性和应用价值，同时采用了低功耗的ZigBee无线双向组网通信模块及STM32核心控制器，使得系统的能耗得到了大幅度的降低，在系统中构成了数据信息的双向交互与控制，从而使得人在回路的控制作用成为可能，同时也形成了“1+1>2”的混合增强智能系统。在简单的道路环境下小车能够很好地完成自主运行；当小车行驶的路况较为复杂时，即无法保证继续安全行驶，系统中的预警模块能够快速的给出反应，在操控人员的参与下，可以改变当前的行驶状态，保障车辆的安全运行。此系统基本实现了期望的功能，在实际运用中可有效地提升智能车辆在行驶过程中的安全性。在目前车联网与人工智能技术还不是十分成熟的情况下，该系统可以有效的提升联网环境下车辆行驶的安全性。相信随着人工智能与5G技术的日臻完善，在智能交通方面会有更大的突破。

基金项目

国家自然科学基金资助项目(批准号：61773243)。

NOTES

*通讯作者。

参考文献

[1]Shladover,S.E.(2007)PATHat20-HistoryandMajorMilestone.IEEETransactiononIntelligentTransportationSystems,8,584-592.https://doi.org/10.1109/TITS.2007.903052[2]Chee,W.andTomizuka,M.(1994)LaneChangeManeuverofAutomobilesfortheIntelligentVehicleandHighwaySystem(IVHS).Proceedingsof1994AmericanControlConference,Baltimore,MD,29June-1July1994,3586-3587.[3]Parent,M.(2007)AdvancedUrbanTransport:AutomationIsontheWay.IEEEIntelligentSystems,22,9-11.https://doi.org/10.1109/MIS.2007.20[4]Nagaoka,K.(1999)TravelTimeSystembyUsingVehicleInformationandCommunicationSystem(VICS).Proceedings199IEEE/IEEJ/JSAIInternationalConferenceonIntelligentTransportationSystems,Tokyo,5-8October1999,816-819.[5]甯油江,赵津,石晴,等.基于ZigBee的多车协作控制研究[J].现代电子技术,2017,40(6):114-117+121.[6]董芳.弯道驾驶行为研究及无人驾驶车辆智能行为评价[D]:[硕士学位论文].北京:北京理工大学,2016.[7]杨述斌,邱倩文,张陔.一种ZigBee无线遥控小车的设计[J].武汉工程大学学报,2015,37(12):53-59.[8]王建.基于ZigBee的无线网络技术及其应用[J].黑龙江科学,2018,9(1):136-137.[9]郭建文.无线通信技术在车联网中的应用探讨[J].交通科技,2012(4):124-126.[10]晏然.物联网环境下基于模糊理论的数据融合算法研究[J].中国信息化,2019(7):48-51.[11]Zheng,N.N.,Liu,Z.Y.,Ren,P.J.,etal.(2017)Hybrid-AugmentedIntelligence:CollaborationandCognition.FrontiersofInformationTechnology&ElectronicEngineering,18,153-179.https://doi.org/10.1631/FITEE.1700053[12]杨泽原.基于人在回路中控制的助力机器人研究[D]:[硕士学位论文].淄博:山东理工大学,2017.

科技创新2030新一代人工智能重大项目 “人在回路的混合增强智能理论与方法”项目中期检查会召开

科技创新2030新一代人工智能重大项目“人在回路的混合增强智能理论与方法”项目中期检查会召开来源：交大新闻网编辑：科研院时间：2021-12-06导读：10月20日，科技部高技术研究发展中心在北京对科技创新2030新一代人工智能重大项目“人在回路的混合增强智能理论与方法”项目进行中期检查。专家组由军事科学院国防科技创新研究院院长戴斌研究员、华东师范大学贺教授、之江实验室张汝云研究员、中国科学院大...

10月20日，科技部高技术研究发展中心在北京对科技创新2030新一代人工智能重大项目“人在回路的混合增强智能理论与方法”项目进行中期检查。专家组由军事科学院国防科技创新研究院院长戴斌研究员、华东师范大学贺教授、之江实验室张汝云研究员、中国科学院大学黄庆明教授、北京交通大学裴丽教授组成。会议采用线上线下结合的方式进行，科技部高技术研究发展中心信息处丁莹副处长、张晨阳项目主管，西安交通大学科研院李小虎副处长，项目负责人、课题负责人、项目骨干和项目参与人员共30余人参加会议。

丁莹宣布了专家组名单及专家组组长名单，并详细介绍了中期检查的具体流程和要求。李小虎代表牵头单位对科技部高技术研究发展中心及专家组对西安交通大学科研工作的支持和关切表示感谢，并勉励项目组勇担重任、攻坚克难，保质保量完成项目任务。

项目负责人孙长银教授从项目背景与研究内容、主要进展与研究亮点、任务与目标完成情况、人才培养与组织管理下一步工作计划五个方面详细汇报项目中期进展与执行情况。同时，各课题负责人也针对课题完成情况进行了补充汇报。

专家组听取了汇报，审阅了项目中期执行报告及相关支撑材料。经认真审查、质询、讨论，认为项目总体完成了中期研发任务，并就项目下一步执行提出了意见和建议，为项目顺利组织实施奠定了基础。

戴斌做会议总结。他指出要进一步围绕项目总体目标，深化理论和技术研究，凝练各课题对项目总体目标的贡献，同时要进一步加强课题间的协作，再接再厉做好后续工作。

“人在回路的混合增强智能理论与方法”项目由西安交通大学牵头，联合西安电子科技大学、浙江大学、东南大学、北京航空航天大学、中国科学院自动化研究所、清华大学、中国科学技术大学七个单位共同承担。项目围绕国家《新一代人工智能发展规划》五大方向中的“混合增强智能”开展研究工作，以期突破不确定性、脆弱性和开放性条件下的新一代人工智能发展所面临的重大问题，推动和丰富混合智能研究方向的基础理论与关键技术的发展。

责任编辑：科研院【扫描二维码・分享本页面】上一篇：西安交大参加中国希腊高等教育合作研讨会与亚里士多德大学线上签署合作协议下一篇：学生通讯社三区联合举行团日活动

人在回路的混合增强智能在Sawyer的研究与验证 人在回路的混合增强智能理论与方法 经费