人工智能研究院朱松纯、朱毅鑫团队在机器人场景重建、使用动作信息助力机器人自主规划方向取得重要进展
近日，人工智能研究院朱松纯、朱毅鑫教授团队在IJCV2022发表论文《SceneReconstructionwithFunctionalObjectsforRobotAutonomy》，提出了一个全新的场景重建问题和场景图表征，为机器人自主规划提供必要的信息，并为其仿真测试提供了与现实场景功能相近的可交互的虚拟场景。同时，这一工作也开发了一个完整的机器视觉系统，以实现所提出的场景重建问题。实验证明了所提出的场景重建方法的有效性，以及场景图表征在机器人自主规划方面的潜力。
感知三维环境并理解其中包含的信息是人类智能的重要体现，也是人类与环境随心交互的前提。在环境的几何特征与物体的语义信息之外，我们还能“感知”到与环境的潜在交互方式，我们称之为环境中动作信息（actionableinformation）。例如，当我们看到图1(a)中的门把手时，我们脑海里会自然地出现转动门把手并拉开门的潜在动作，而在图1(b)的场景里，我们能够轻松地观测到堆叠的茶杯和碗碟的约束关系（相互支撑），以及不同的动作对它们状态的影响（直接抽取下面的碗碟会打翻上面碗碟和茶杯，而逐一移走最上面的物体后则可以安全地拿取下面的碗碟）。理解潜在动作对场景的影响，构成了我们在场景中执行任务并与之交互的基础。相应地，智能机器人也需要类似的感知能力，才能使其在环境中自主地完成复杂的长时程（long-horizon）规划。
图1(a)门把手，(b)堆叠的茶杯和碗碟（图片来源于网络，版权归原作者所有）
随着三维场景重建（3Dscenereconstruction）与语义建图（semanticmapping）技术渐趋成熟，机器人已经能够有效地建立包含几何与语义信息的三维地图，例如包括物体与房间结构的语义全景地图（panopticmap），如图2(b)。然而这些传统场景重建的场景表征（scenerepresentation）与实现机器人自主规划之间，仍然有难以逾越的鸿沟。那么问题来了，我们如何能构造一种通用于机器人感知（perception）和规划（planning）的场景表征，以提高机器人的自主规划能力呢？机器人如何能利用自身传感器输入（例如RGB-D相机）在真实场景中建立这样的场景表征？
在这篇论文[1]中，研究人员提出了一个全新的研究问题：重建与现实场景功能相同的（functionally-equivalent）、可交互的（interactive）虚拟场景，以保留原场景的潜在动作信息。重建后的虚拟场景可以被用于机器人自主规划的仿真训练与测试。为实现这一重建任务，研究人员提出了一种基于物理支撑（supportingrelation）与紧邻（proximalrelation）关系的场景图表征，如图2(a)；它的每个节点代表场景中的一个物体或者一种房间结构（墙/地面/房顶）。这一场景图表征将重建后的场景以及其中包含的物理约束有机组织起来，以保证得到的虚拟场景是符合物理常识的。同时，它可以直接被转换成环境的树状运动链（kinematictree），完整地描述了环境的运动学关系状态，并支持前向预测机器人动作对环境的影响，可被直接用于机器人规划任务中。这篇论文也提出了一个完整的机器视觉系统来实现这一重建任务，并为重建后的场景设计了输出接口，使其能够被无缝接入机器人仿真器（例如Gazebo）和VR环境中。这一论文的部分前期工作[2]曾发表在ICRA2021上。
图2(a)基于支撑与紧邻关系的场景图，(b)体积式语义全景建图，(c)与现实场景功能相同的、可交互的虚拟场景，可用于机器人自主规划的仿真测试
在虚拟环境中重建真实场景以支持机器人仿真并非一个简单的问题。主要的难点有三：一是如何在杂乱的真实场景中准确重建并分割出每个物体与结构的几何，并估计物体间的物理约束（比如支撑关系等）；二是如何将重建出的不完整的几何形状替换成完整的、可交互的物体（例如CAD模型）；三是如何将所有的这些信息有机融入某种通用的场景表达，同时帮助场景重建和机器人自主规划。
这项工作提出利用一种特殊的场景图作为连接场景重建与机器人交互的桥梁，在帮助重建出符合物理常识的虚拟场景的同时，为机器人自主规划提供必要的信息。一方面，这一场景图将场景中感知到的物体、房间结构以及它们之间的关系组织起来，如图3(a)所示。它的每个节点代表识别并重建出的真实场景中的物体或者房间结构，包括了它的几何（例如重建出的三维网格(mesh)、三维最小包围盒、提取出的平面特征等）与语义信息（如实例与语义标签）；而每条边则表示节点之间的支撑关系【见图3(a)中的有向边】或者紧邻关系【图3(a)中的无向边】，代表着某些物理约束信息。比如对支撑关系来说，父节点需要包含水平的支撑面来实现对子节点的稳定支撑；再如对紧邻关系来说，相互接近的两个节点的三维几何不应该有相互的重叠等。另一方面，根据语义与几何的形似性并综合考虑节点间的约束，图3(a)中的节点被替换成几何完整的、可交互的CAD模型【包括多关节（articulated）的CAD模型】，进而得生成可用于机器人仿真交互的虚拟场景，如图3(b)。这样的虚拟场景在感知能力允许的范围内尽可能保留了真实场景的功能（functionality），也就是潜在动作信息，可以有效实现对现实场景中与物体交互结果的仿真。而相应地，得到的场景图表征也包含了对环境运动学以及约束状态的完整描述，可用来预测机器人动作对运动学状态的短期定量影响并帮助机器人运动规划，以及估计机器人动作对约束关系造成的长期定性影响并支持机器人任务规划。
图3(a)直接重建出的场景图，(b)替换CAD模型后的可交互场景图
图4用于重建任务的机器视觉系统流程图
为实现上述的重建任务，论文作者设计并实现了一个多模块的机器视觉系统：一个体积式语义全景建图模块【图4(A)】，和一个基于物理常识与几何的CAD模型替换推理模块【图4(B)】。前者被用于鲁棒地在复杂真实环境中借助RGB-D相机识别、分割并重建出物体与房间结构的稠密几何，并估计它们之间的约束关系，以得到如图3(a)中的场景图；而后者聚焦于如何根据重建物体的几何特征与识别出的约束关系从CAD模型库中选择最合适的CAD模型，并估计其位姿与尺度，以达到与原物体尽可能准确的对齐，进而生成图3(b)所示的可交互的场景图。图5展示了论文作者借助Kinect2相机对真实办公室场景的重建结果，包括体积式全景重建【图5(a)】、可交互虚拟场景常见【图5(b)】以及将虚拟场景导入机器人仿真器后机器人交互的样例【图5(c)】。我们可以看到，即使在复杂、多遮挡的真实场景中，论文提出的重建系统能较好地建立可交互的虚拟场景。图5(d-f)展示了这一实验中的一些有趣的例子：图5(d)中，由于椅子对桌子的遮挡，同一个桌子被重建成两个相对短小的桌子；图5(e)展示的工位得到了比较高质量的重建，所有的物体都被替换成了外表相近的CAD模型；图5(f)中的椅子未能被识别出来，其对后面桌子的遮挡造成了与图5(d)相似的情况，而场景中的冰箱与微波炉被重建出来并替换成了多关节、可承载复杂交互的CAD模型。
图5在真实环境中用Kinect2相机的重建结果
图6在重建的虚拟场景中的机器人任务与动作规划
在重建得到的可交互虚拟场景里，借助场景图反映的运动链以及约束信息，机器人可以进行任务与动作规划[3,4]，其仿真效果如图6所示。在最近的相关的工作[5]中，基于上文所述的场景图表征，机器人可以直接根据图编辑距离（grapheditingdistance）进行复杂的任务规划，并高效地生成动作。
这项工作提出了一个全新的场景重建问题和场景图表征，为机器人自主规划提供必要的信息，并为其仿真测试提供了与现实场景功能相近的可交互的虚拟场景。同时，这一工作也开发了一个完整的机器视觉系统，以实现所提出的场景重建问题。实验证明了所提出的场景重建方法的有效性，以及场景图表征在机器人自主规划方面的潜力。
未来，我们期待这项工作的进一步拓展：如何更鲁棒、更精准地实现刚体与多关节CAD模型与重建几何的匹配、如何在场景图中融合更复杂的潜在动作信息、以及如何更好地利用场景提进行机器人规划。场景图重建助力自主规划，更智能的机器人就在不远的将来。
参考文献：
[1]Han,Muzhi,etal.“SceneReconstructionwithFunctionalObjectsforRobotAutonomy.”2022InternationalJournalofComputerVision(IJCV),link.springer.com,2022.
[2]Han,Muzhi,etal.“ReconstructingInteractive3DScenesbyPanopticMappingandCADModelAlignments.”2021IEEEInternationalConferenceonRoboticsandAutomation(ICRA),ieeexplore.ieee.org,2021,pp.12199–206.
[3]Jiao,Ziyuan,etal.“ConsolidatingKinematicModelstoPromoteCoordinatedMobileManipulations.”2021IEEE/RSJInternationalConferenceonIntelligentRobotsandSystems(IROS),IEEE,2021,doi:10.1109/iros51168.2021.9636351.
[4]Jiao,Ziyuan,etal.“EfficientTaskPlanningforMobileManipulation:AVirtualKinematicChainPerspective.”2021IEEE/RSJInternationalConferenceonIntelligentRobotsandSystems(IROS),ieeexplore.ieee.org,2021,pp.8288–94.
[5]Jiao,Ziyuan,etal.“SequentialManipulationPlanningonSceneGraph.”2022IEEE/RSJInternationalConferenceonIntelligentRobotsandSystems(IROS),ieeexplore.ieee.org,2022.
山东省科学技术协会 学会动态 山东省物联网协会赴聊城中欧人工智能研究院调研
近日，山东省物联网协会会长、山东省新一代技术标准化研究院院长、研究员钱恒，山东省物联网协会秘书长苏冠群，山东省新一代技术标准化研究院互联网研究中心主任杨扬、技术总监李士波一行赴聊城中欧人工智能研究院开展调研工作，聊城市科协党组成员、副主席潘云霞等陪同调研。
在中欧展厅，聊城中欧人工智能研究院副院长张镇向调研组一行详细介绍了研究院的现场建设、发展理念、合作项目、未来规划等情况，对展示的5G工业物联网平台、数字双胞胎技术、全协作机器人、e.DO™学习实验室等人工智能相关技术和产品进行了讲解。调研组对中欧研究院的建设情况和取得的成果给予了充分肯定。
座谈中，与会人员重点就山东省物联网协会、山东省人工智能协会（筹）服务聊城新型基础设施建设事宜，工业互联网标识、人工智能如何与区域企业深度融合、赋能等议题进行了深入讨论，协会与新一代标准化研究院为中欧人工智能研究院后续发展提供了多项宝贵建议。
钱恒指出，聊城市各级政府部门一定要高度重视发展人工智能的意义，立足长远及时规划;构建“5G+智慧工业”深度合作的服务平台，开展若干人工智能前沿科学问题研究，占据学术高地;构建工业生产线的应用场景，与地方企业深度融合，提高人工智能应用水平;构建产学研一体化机制，加强科学普及教育培训，推动人工智能成果产业化;构建国内外科研合作平台，提高人工智能学术影响力。
潘云霞表示，聊城市中欧人工智能研究院成立以来，取得了积极的进展，要深入发掘学科内涵，汇聚社会各方力量和资源，塑造聊城“人工智能”品牌。聊城市科协将发挥桥梁纽带作用，搭建平台做好服务，推动省级以上人工智能相关的学协会与中欧研究院的积极有效对接、建立，多措并举，留住人才、吸引人才，助力聊城人工智能发展。
下一步，与会各方将汇聚合力，不断推动聊城市人工智能与实体经济融合发展，加快技术创新、产品研发，推动产业升级、业态更新。山东省物联网协会将会继续支持聊城市人工智能与数字经济发展进程，积极构建政府与企业之间沟通的桥梁，主动搭建相关主体之间交流与合作的平台，不断促进供需对接和知识共享，尽快形成优势互补，在解决传统产业转型升级、推动人工智能等新一代信息技术创新发展的现实问题上当好参谋助手。
北京科技大学智能科学与技术学院、人工智能研究院
北京科技大学人工智能研究院成立于2018年7月，依托学校控制、计算机、仪器、通信、机械、冶金、材料、矿业等优势学科建设，围绕国家在人工智能领域的重大需求，以智能无人系统与智能制造为特色，旨在打造人工智能基础理论研究、智能无人系统关键技术研究、智能制造工程应用及人才培养的高地，建设一流创新平台。北京科技大学智能科学与技术学院成立于2022年8月，人工智能研究院与智能科学与技术学院合署办公，主要支撑学校“智能科学与技术”（1405）一级学科的建设。学院设置智能科学与技术系、认知计算与智能信息处理系和智能无人系统研究所3个教学科研单位。学院现有智能仿生无人系统教育部重点实验室、教育部GF创新团队、“人工智能科学与工程”北京高校高精尖学科、华为技术有限公司-北京科技大学5G+工业视觉联合创新实验室、中国兵器装备集团-北京科技大学智能仿生扑翼飞行机器人联合实验室、腾讯-北科智能设计实验室、北京科技大学天津学院无人系统应用研究中心等科研平台。
早在上世纪70年代，北京科技大学涂序彦教授就从事人工智能领域的研究，开启了人工智能在中医专家系统应用的先河。涂教授在国际上首先提出“智能管理”新概念与“多级专家系统”等新方法，是中国人工智能学科的主要奠基人、中国人工智能学会的主要创始人之一。北京科技大学是中国人工智能学会发起单位之一，1987年-2000年中国人工智能学会挂靠北京科技大学，目前中国人工智能学会智能控制与智能管理专业委员会、中国人工智能学会智慧医疗专业委员会、中国自动化学青年工作委员会、IEEESMC学会北京分会、IEEE自主仿生飞行机器人专业委员会等十余个人工智能与自动化相关的学术分支机构挂靠在北京科技大学智能科学与技术学院。2007年，北京科技大学设立“智能科学与技术”本科专业，目前在人工智能领域已积累了多年的教学经验，形成了完备的“人工智能”本科生课程体系和培养方案。2019年3月，新增“人工智能”本科专业，成为教育部批准全国首批建设人工智能专业的35所大学之一。2019年5月，北京市教育委员会公布北京高校高精尖学科建设名单，北京科技大学“人工智能科学与工程”学科入选，推动了研究院的建设和发展。2019年12月，人工智能研究院成为学校独立二级机构，开始实体化建设。2021年8月，自主设立“人工智能科学与工程”二级交叉学科，并启动硕士博士研究生招生工作。2022年5月，“人工智能”本科专业入选北京市一流本科专业建设点。
学院汇聚了一批高水平领军人才，包括中国工程院院士2人（双聘）、教育部特聘教授1人、国家杰出青年科学基金获得者2人、国家万人计划领军人才1人、GF卓越青年科学基金获得者1人、科技部中青年领军人才1人、教育部青年教授2人、国家优秀青年科学基金获得者3人、国家万人计划青年拔尖人才1人、教育部新世纪优秀人才2人、科技部全国十大杰出青年设计师1人、北京市杰青1人、北京市青年教学名师1人、北京市科委工业设计杰出人才1人、中国科协青年托举计划2人、北京市科技新星1人、博新计划1人。
在科学研究方面，学院近年来先后承担了国家重点研发计划项目/课题、国家自然科学基金杰青项目、重点项目、优青项目、国际合作交流项目、面上项目、青年项目、JW科技委重点项目、主题项目、特区项目、173基金、ZF重大项目课题、ZF预研基金项目、装备预研教育部联合基金、英国皇家学会牛顿高级学者基金、北京市自然基金杰青项目、面上项目、青年项目，以及与企业合作的横向项目等100余项。近5年，学院出版专著10余部，发表SCI检索论文200余篇，高水平会议论文100余篇，其中IEEETrans.论文100余篇，ESI高被引论文40余篇，ESI热点论文10余篇。多名教师入选科睿唯安全球高被引科学家、Elsevier中国高被引学者。多名教师先后担任IEEETRO、IEEETNNLS、IEEETCST、IEEETSMCA、IEEETASE、中国科学：信息科学、自动化学报、系统科学与复杂性学报、智能科学与技术学报、控制理论与应用等期刊编委。近5年，授权国家发明专利100余项、美国专利2项，多项知识产权已获转化。近5年，学院教师获得教育部自然科学一等奖、吴文俊人工智能自然科学一等奖、中国电子学会自然科学一等奖、中国自动化学会自然科学一等奖、中国自动化学会技术发明一等奖、北京市教学成果一等奖、IEEETNNLS杰出论文奖、IEEETSMCA杰出论文奖、IEEE/CAAJAS钱学森最佳论文奖、中国百篇最具影响国际学术论文奖、ACM北京新星奖、北京地区广受关注学术论文奖等荣誉。
智能科学与技术学院以智能无人系统、智能制造为特色，面向国家重大需求，服务国家人工智能发展战略，组建优秀教学与交叉科研团队，注重学科交叉融合，构建高质量有特色的本科生、研究生培养体系，培养和造就具有国际视野和国际竞争力的创新型、创业型、工程型人才，努力使学院成为智能科学与技术领域拔尖人才培养基地和高水平科研创新平台。