仿生机器人技术应用的春天来了么
南方科技大学长聘正教授、博士生导师，深圳市鹏城学者特聘教授，并兼任南科大机器人研究院副院长，和鹏城实验室双聘教授。本科就读于中国科技大学自动化系。之后赴美国留学，在美国普渡大学(PurdueUniversity)获得统计系硕士学位和电气与计算机工程系博士学位。攻读博士期间获得国家优秀自费留学生奖。博士毕业后加入美国加州大学伯克利分校(UCBerkeley)担任博士后研究员。从2011年开始在美国俄亥俄州立大学(OhioStateUniversity)电气与计算机工程系任教，并于2017年6月晋升长聘副教授。2019年全职加入南方科技大学。他的研究方向包括控制理论与应用、机器人、机器学习等。在美国工作期间获得美国国家科学基金职业奖（NSFCAREER）和美国俄亥俄州立大学Lumley杰出科研奖。在TAC、Automatica、ProceedingsofIEEE等权威期刊论文40余篇，部分应用成果发表在ICRA、IROS、ICML、NeurIPS(亮点论文)、AAAI、IJCAI等机器人与人工智能领域顶会上。
题目：【足式机器人运动控制：前沿与挑战】
摘要：近年来足式机器人得到了迅速的发展，硬件已经日趋成熟，阻碍其大规模发展的关键之一在于核心控制算法的不足，无法满足机器人在现实场景中完成急、难、险、重等复杂任务的需求。本报告将简要回顾足式机器人控制算法的发展历史，基本原理，以及常用的控制架构，包括(i)基于各类简化模型（如LIP、VHIP、SLIP、SingleRigidBody、CentroidalDynamics等）的实时运动规划（包括MPC）与其所对应的基于逆运动学或逆动力学的控制策略，(ii)基于混杂零动力学(Hybridzerodynamics,HZD)理论的全身规划方法，以及(iii)基于强化学习的无模型算法等等。重点讨论各种控制算法的优缺点与适用场景，以及它们之间的关联。最后，简要探讨当前足式机器人运动控制所面临的诸多挑战。
大型仿人机器人的技术难点和应用情况
仿人机器人要如何“习得”上楼梯、下斜坡、下象棋、柔顺力控按摩、不平整地面行走等技能？本文以2021年发布的优必选大型仿人服务机器人WalkerX为例，介绍仿人机器人的技术难点、落地情况和科研合作思路。
WalkerX的打造难在哪儿？如何站稳、走稳？
要打造一款仿人机器人，良好的运动控制能力是最基本的。如果这方面做不好，机器人很容易在运动过程中摔倒。
与上一代Walker机器人相比，新一代WalkerX可以走得更快、更稳，最大行走速度提升到3公里/小时，能适应斜坡、楼梯等结构化地形和地砖、厚地毯、草坪、碎石等不平整地面，还能背上10千克的重物或双手负载3千克重物行走。如果在行走或单腿站立时承受外部冲击，WalkerX也能保持平衡。这背后离不开步态规划与控制等能力的升级。
为了实现WalkerX的快速行走，通过虚拟本体激励轨迹、足腰协调类人步态、摆动腿运动轨迹优化等算法提高了它的平衡能力，伺服硬件的性能也得以充分发挥。
在不平整地面上行走则涉及全新的脚掌姿态控制算法。该算法可以让机器人的脚掌像人一样，在接触障碍物的瞬间具备柔性自适应能力，又能在脚掌完全接触地面后提供足够的支撑来保证机器人稳定。
此外，由于WalkerX的定位是一款家用服务机器人，与人类相处时受到外部冲击也是在所难免。为了抵抗冲击，研究人员采用了全身动量控制方案来提高WalkerX单腿站立时的稳定性，还采用了落足点调整、柔顺控制与姿态控制等多种策略和方法来确保其行走过程中的抗冲击能力。
如何感知外部环境？
要想在现实世界中不摔跤，光会走肯定是不够的，还得学会「看路」，即导航和避障。为了让WalkerX具备这项能力，研发人员采用了 Coarse-to-fine的多层规划算法和基于多目视觉传感器的三维立体视觉定位，前者可以帮助机器人自动选择全局最优路径，后者则支持2.5D避障，能以二维避障的算力获得三维避障的效果。
在躲避障碍之余，作为一款家用机器人，Walker还得学会与人交互，比如在用户回家时确认用户身份，根据手势完成一些指令等。
身份确认有赖于人脸识别。优必选科技的人脸识别结合了自研的跨风格人脸数据生成技术，还在训练过程中加入了类实际场景的模糊增强，使得提取的人脸特征更具表征性，其识别效果在LFW、MegaFace等公开数据集上处于领先地位。在此基础上，优必选科技还自研了基于深度学习的人脸质量评估、人脸姿态估计、人脸逆光检测等算法，提高了逆光、暗光等环境下的人脸识别可靠性。
手势的识别分为1.5米和5米两种距离范围，前者针对边缘端低算力设备，采用了模型压缩减裁、量化处理等技术，所需算力小；后者针对服务器端或有独显、集显的设备，识别距离远，小目标识别能力强，识别精度高。目前，WalkerX已经支持18类手势识别，包括12类单手手势和6类双手手势。比如说，WalkerX可以识别停止的手势，并能做出决策和反馈，中止正在进行中的动作。
如何帮人干活儿？
让机器人帮人干活儿一直是该领域研究者努力的方向和动力。以帮人倒水的例子我们来解释其中的技术和难点。
在接到「倒水」的指令后，机器人首先需要「想」一下如何完成任务，比如先走到冰箱前打开冰箱门，然后拿出瓶装水、拧开瓶盖、把水倒入杯子。其中，这个「想」的过程就涉及任务规划，即对执行动作进行排序；走向冰箱的过程则涉及路径规划、导航、避障和运动控制。由此可见，上面提到的一系列技术其实都在为「干活」做铺垫。但除此之外，拿出瓶装水、拧开瓶盖等操作还涉及物体识别与检测、手眼协调等技术。
在物体识别与检测方面，算法不仅需要知道目标物体（此处是瓶装水）的类别，还需要知道其位置坐标，然后让机器人依据这些信息进行抓取等操作。通常来讲，服务机器人的物体识别算法需要识别数百类物体，而且类别之间的数量是极度不均衡的。因此，研究人员通过计算每一类物体的有效样本数量来解决类别之间的数量不均衡问题。此外，该算法还用了共存归一化指数函数来解决一个物体具有多个标签的难题。目前，WalkerX已经实现了百余种未建模日常物体在多种环境下的稳定识别。
在得到目标物体（瓶装水）的类别、坐标等信息后，机器人就要执行下一步的抓取、开瓶盖、倒水等操作了，这些动作都考验着它的手眼协调能力。以抓取为例，为了做好这个简单的工作，机器人需要知道最佳抓握点在哪里、每个关节要扭转多少度、所需的抓握力有多大、抓取过程中如何避开障碍物等。为了保证抓取的可靠性，研究人员采用了基于数据驱动的抓取规划范式，通过物理仿真环境生成未建模物体的抓取数据并训练抓取预测深度神经网络。目前，WalkerX已经实现了指定物体抓取、足腿移动抓取、全身协调抓取规划等针对仿人机器人特点开发的抓取功能。
如何表达情感？
如果说让机器人干活专注的是「机器」二字，那么情感方面的研究则更加关注机器人「人」的属性，就是「希望机器人有更多的智能和亲和力，希望它跟人的交互更加亲切自然。」这就需要赋予机器人一定的情感交互能力。
WalkerX有一套全新升级的多模态交互系统，可以实现视、听、触、环境多通道感知。它还内置了原生28+机器人情绪体系和四维灯语体系，可以主动与人交互，与用户建立共情。
一家公司如何cover那么多技术？
从WalkerX的技术体系可以看出，机器人是一个技术的集大成者，仿人机器人更是机器人皇冠上的明珠中最亮的一颗。要想把每个方面都做好，单靠一个公司的力量可能是远远不够的。因此，优必选科技建立了一个全开放的软硬一体的科研合作平台。
像Walker这种大型服务机器人研究内容非常广，技术难度也非常深。要想建立起一个生态，靠优必选科技一家进行封闭式的开发，可能不是一个最好的方式。所以现在我们用一种开放的方式，把我们公司在这个领域取得的一些成果放在平台上，面向全球的高校和科研人员开放，让大家共同去推动机器人的研发和进步。
具体来说，这个平台的开放可以分为底层、中层和上层三个层面。底层主要涉及硬件的通讯协议，允许外部研究者在上面做一些开发。中层主要涉及控制算法，如运动控制、手眼协调、语音、视觉、操作系统等，需要各方一起丰富。上层主要涉及一些应用，提供各种API的接口，帮助用户在不改变底层的情况下开发各种细分场景下的机器人APP。
基于这一平台，优必选科技已经与卡内基梅隆、清华、华中科技、华南理工等全球多所知名高校展开了合作，在运动控制、感知、双臂协作、情感交互等领域取得了一些研究成果。
这是一个双赢的结果，「现在国家也开始推广人工智能和机器人专业，但实际上很多学校和单位是缺乏科研平台的。而Walker本身就是一个很好的科研合作平台，能够推动整个行业的快速发展。」
为何执着于大型仿人服务机器人？
刚刚提到，仿人机器人是机器人皇冠上的明珠中最亮的一颗。那既然难度如此之高，优必选科技为何还执着于这一赛道呢？以下给出了三个维度的考量。
第一个维度是机器人在各种应用场景中的环境适应能力。优必选科技打造Walker的愿景是让机器人走进千家万户，因此，它必须尽可能适应为人打造的各种环境，比如楼梯、门把手、桌椅板凳、家用电器等，而不是反过来让人改造环境去适应机器人。与其他形态的机器人相比，仿人机器人在面对这一环境时要方便得多，能投放到健康养老、医疗卫生、科普教育、公共服务等各种需要跟人打交道的场景。此外，仿人机器人的外形和交互方式也更具亲和力，能够满足人类的情感交互需求。
第二个维度是公司战略需求。对于优必选来说，研发前沿技术支撑公司其他产品的应用落地也是Walker研发的意义之一。从这个角度来讲，Walker是优必选产品之树的「树干」，为公司其他产品（树枝）提供养分，现有的智能教育机器人悟空、Yanshee、Ebot、AMR智能物流机器人、紫外线消毒机器人ADIBOT净巡士以及2021年登上春晚舞台的拓荒牛等产品都用到了Walker的相关研发成果。反过来，这些产品形成了市场和应用，也可以继续支撑Walker的进一步研发迭代。
「优必选科技希望是用两条腿走路，一方面是技术的研发，一方面是商业化落地。技术的提升提高了这些产品的体验感、技术门槛和核心竞争力；反过来，这些产品又能在应用场景中给Walker提供反馈从而可以优化产品。这两方面是相辅相成的。」
第三个维度是国家战略需求。「从国家层面来说，仿人机器人是代表一个国家工业和科技水平的综合性科技产品，也是衡量国家科技创新能力、制造业实力以及智能服务水平的重要标志。」
为了实现这些愿景，Walker机器人在五年之内经历了四次迭代，团队的科研、算法、工程、应用等能力都有了显著提升。未来，Walker的迭代思路将集中在减重、提速以及提高认知能力等方面。
Walker机器人的四次迭代。
智慧医疗的主要应用场景，您了解多少
智慧医疗在全面推动医疗健康产业，在人工智能领域被大程度上催生，加快了人工智能技术的进程，智能影像识别将病灶识别速度降至2～3秒，提高了医生诊疗效率还有智能化的体温测量系统，
智慧医疗主要是在医疗模式（由疾病到患者），信息化结构（从临床信息化到区域信息化）、医疗管理（从一般化到个性化）以及预防和治疗观念（从关注疾病治疗到关注疾病预防）发生了较大的变化，在各大系统都有应用，例如业务管理系统、电子病历系统、临床应用系统、慢性疾病管理系统、区域医疗信息交换系统、临床支持决策系统、公共健康卫生系统。
1、诊断
智能机器人可以辅助医生更好更快的进行病情分析，现阶段的智能机器人分析病理已经比大部分有经验的医生的还会准确一些，他的形成输入的特别庞大的数据集，扫描过成千上万的案例，并查找数百个变量之间的相关性，从而发现越来越多关于病证的特点，智能机器人系统可以通过网络技术实现远程诊断，缓解医疗资源不均问题;还可以为体检机构提供高质量的影像筛查，快速全面提升筛查诊断水平。现在智能机器人已经可以通过问诊、检查、智能分析病情或者进行病理分析可以筛查出潜在的高危患者。
2、消毒
现在已经有了大辆的以机器人为载体的喷雾消毒系统以及紫外线杀菌系统，结合机器人的智能移动和自主工作的特性，利用智能机器人可达到消毒过程人机分离，全方位无死角消毒，降低防疫从业者的职业伤害，并且将每次消毒过程进行量化管理，从而提高院内消毒水平和院感管理水平。
3、导诊
现在基本很多的医院都在使用机器人导诊，机器人节省人力成本，还可以更有效的提升导诊的效率，增加效益还提高了医院的品牌形象，智能机器人可以为患者提供指路、预检分诊、健康宣教、医院介绍等服务，实现了对患者的合理分流，让患者享受到智慧医疗的全新体验。它们具有智能记忆功能，可以按照提问顺序依次回答问题，能与人进行眼神交流、肢体交互;它们还可以通过与患者进行对话和语义理解，提供优质人机交互服务，实现在医院内的鉴诊导诊功能，大大方便了患者就医。
4、护理
智能机器人可以取代大部分医护人员的工作，可以给病人做日常的身体检查，可以照顾形形色色的病人，日常护理，喂食等等都是可以做到的，全球人口目前已经呈现出老龄化现象，传统的专业护理和辅助人员，已经不能满足日益扩大的需求缺口;一些发达国家开发出许多智能护理机器人产品，专为老年人提供服务。我国近年来也在护理方面开发出一些智能护理机器人，深受市场欢迎。
5、药物研发
计算机辅助药物筛选根据病毒靶点和小分子药物的3D结构，计算病毒蛋白与药物之间的结合能量，实现从成千上万的小分子库中筛选出与病毒结合最紧密的候选药物，从而快速为药物研究和临床试验提供方向，计算机辅助技术可以极快地加速前两个阶段，利用同源建模和分子动力学模拟，从病毒蛋白一级序列快速获得病毒蛋白3D结构，并且依托云端算力实现大规模筛选和成药性分析，随后研究机构、药厂通过试验验证和临床试验，最终确定可靠的药物小分子用于疾病治疗。
6、智能影像识别
智能医学影像是将人工智能技术应用在医学影像的诊断上。人工智能在医学影像应用主要分为两部分：一是图像识别，应用于感知环节，其主要目的是将影像进行分析，获取一些有意义的信息;二是深度学习，应用于学习和分析环节，通过大量的影像数据和诊断数据，不断对神经元网络进行深度学习训练，促使其掌握诊断能力。
7、远程手术
利用医工机器人和高清音视频交互系统，远端专家可以对基层医疗机构的患者进行及时的远程手术救治，利用5G网络切片技术，可快速建立上下级医院间的专属通讯通道，有效保障远程手术的稳定性、实时性和安全性，让专家随时随地掌控手术进程和病人情况，实现跨地域远程精准手术操控和指导，对降低患者就医成本、助力优质医疗资源下沉具有重要意义。
8、紧急救援
可以通过5G网络实时传输医疗设备监测信息、车辆实时定位信息、车内外视频画面，便于实施远程会诊和远程指导，对院前急救信息进行采集、处理、存储、传输、共享可充分提升管理救治效率，提高服务质量，优化服务流程和服务模式。基于大数据技术可充分挖掘和利用医疗信息数据的价值，并进行应用、评价、辅助决策，服务于急救管理与决策。
9、智慧园区管理
患者体征实时监测、院内人员安全管理、医疗设备全生命周期管理是智慧医院建设中的共同诉求。利用5G海量连接的特性，构建院内医疗物联网，将医院海量医疗设备和非医疗类资产有机连接，能够实现医院资产管理、院内急救调度、医务人员管理、设备状态管理、门禁安防、患者体征实时监测、院内导航等服务，提升医院管理效率和患者就医体验。
10、远程监护
远程监护是利用无线通信技术辅助医疗监护，实现对患者生命体征进行实时、连续和长时间的监测，并将获取的生命体征数据和危急报警信息以无线通信方式传送给医护人员的一种远程监护形式。可以支持可穿戴监护设备在使用过程中持续上报患者位置信息，进行生命体征信息的采集、处理和计算，并传输到远端监控中心，远端医护人员可实时根据患者当前状态，做出及时的病情判断和处理。
互联网技术加快向各行各业渗透，医疗数据平台的普及，物理设备、支付接口和患者生成大量的健康数据，医疗数据采集系统建设，医疗卫生信息的标准化采集逐渐完善，医疗保健行业逐渐从过时的纸质记录系统向更加高效和集成的电子化过渡，海量的数据有助于病例信息的提取和管理，利用大数据技术提供疾病诊断和治疗的建议。人工智能也越来越多的被用于改善数据分析的深度，辅助医生诊断并自动化关键的医疗保健服务。