人与机器人的交互理论及其前景
来源：人机认知与实验室
摘要：
移动机器人的人机交互正处于早期阶段。大部分与机器人相关的用户交互都被数控能力所限制，向用户提供的最普遍的界面是以自动化平台提供的视频和对机器人的一定程度上的路径指挥。对于半自动能力的移动机器人，用户可以通过设置路径点的方法来控制。更重要的是，自动化专家很大程度上提升了人与机器人的交互能力。随着机器人能力提升，机器人能够以自动方式完成越来越多的工作，我们需要思考的是人与机器人的交互以及怎样的软件构架和用户界面设计可以将人类容纳在其中。同时我们也需要设计能被各领域专家而并非机器人专家使用的系统。这篇论文概述了人与机器人的交互理论和对不同层次的交互中人与机器人都需要用到的交互信息的建议，包括基于情景认知的评价方法。
1.导言：
网络协同的目标是建立高效的人与机器人的团队并且发挥团队中每个成员的优点。其中一个重要的目标就是增加可有个人操作的自动化平台的数量。为了完成这个目标，我们需要考察人与机器人之间需要的交互类型，人与机器人需要交换的信息，并且提升软件构架和交互结构来适应这些需求。
人与机器人的交互与典型的人家交互在几个方面都存在着根本性的区别。[11]指出了人与机器人交互和人与计算机交互的区别在于它关注的是复杂的具有灵活性的控制系统，它拥有自主性和认知力，并在不断变化的真实环境中运行。另外他们的区别还存在于交互关系中的角色类型，机器人的物理性质，每个用户可能需要同时发生交互关系的系统数量以及交互关系可能发生的环境。每个不同点都将在接下来的章节中讨论。
[20]定义了3个角色：管理者、操作者和同伴。为了稍微进一步阐述这些角色，我加入了一个技工角色并将同伴角色分为旁观者和队友角色。运用人机交互关系时管理者和队友角色必然在操作中在人和机器人之间存在相同的联系。操作者需要“在机器人中”工作，调整机器人的控制机制中的各种各样的参数来修改异常行为、将所给的行为转换得更加恰当、或者接管和操作机器人。技工类型的交互是在人需要调整机器人的物理元件时，例如调整摄像机或者调整各种机械装置。管理者不会明确地与机器人发生交互作用但却需要一些机器人行为模型来理解机器人活动的结果。例如一个清理地板的机器人是否能够感觉到工作场景中的人的存在而停下来还是人必须自己躲开机器人。每个交互都有不同的任务，所以需要对不同情境有所认知。
第二方面是机器人的物理性质。机器人需要对它们所处的物理环境有所认知，机器人可以从一个位置移动到另一位置，而相反的机器人平台保持在同一位置，而是由一些移动组件来完成一些更有趣的挑战。地面上的机器人会比在空中或水中的无人操纵系统遇到更多的障碍。
所以为了提升构架，我们为移动地面机器人考虑了更多的复杂的情况。由于机器人在真实环境中不断移动，它们建立起一个“环境模型”[1]。由于机器人建立的模型在传感器和处理运算法则的限制下可能不能与现实情况完全匹配，所以由机器人平台建立起的模型需要传送给人来理解机器人的决策。
第三方面是机器人平台的灵活多变的性质。典型的人机交互假设绝大部分计算机行为是确定的而且计算机的物理状态在人类必须追踪的这种方式下是不会改变的。然而，机器人平台的传感器有可能会失效或者功能减弱。当它的功能性受到影响时，整个平台就只能执行有限的任务。
第四方面交互发生的环境。监测机器人的平台可能在例如粉尘、噪音、阴暗光线等严峻的环境中运行。环境也可能是不断变化的。搜索和营救机器人可能在运行中会遇到更多的建筑物或隧道崩塌。在军事环境中，爆炸可能彻底地改变任务中的环境。不仅是这些机器人必须在这些条件下工作，与机器人相互配合的使用者也必须处于同一地点（或者是一个队员）。所以交互可能必须在噪音、压力和难以理解的条件下进行。
第五方面是用户必须同时操作的独立系统的数量。典型的人机交互假设一个用户只与一个系统发生交互关系。甚至在协作系统中我们也通常认为用户与系统是一一对应的并满足该人机系统是与至少一个其他类似系统相关联这一额外特征。这就允许由计算机限制的用户间的交互以及计算机-计算机交互。在人和机器人的情况下，我们的终极目标是一个人（至少是我们划分的交互角色中的一种）同时与多个不同的机器人进行交互。
最后一个方面是一段时间内机器人自动执行任务的能力。而典型的台式电脑是以在用户命令的基础上执行编码的方式自动运行的，机器人运用计划软件来减少用户处理低级命令和决策的工作。所以机器人可以从A点移动到E点而不用当在路途中遇到障碍时每次都询问操作者如何处理。
2、背景：人机交互
人机交互最初是与工厂的机器人平台的遥控相联系。Sheridan谢里登[21]远程机器人定义为：“对机器人直接的和持续的人工控制”或“能加强一个人感应和（或）对远离自身的位置的控制能力”。无论距离的远近，他通过监控任何半自动的系统来区分远程计算机的远程机器人或监督控制。谢里登认为人机交互应包括远程机器人。人机交互通常是用来表示一个计算机应用程序及其相关文件的对象被操纵，而不是通过计算机控制一个物理系统。
人机交互（HRI）可以脱离偏远平台的遥控，并允许机器人进行一些自主行为。这可以从机器人响应来自人工调整的极其精确的命令，发展为更先进的由用户提供起点到终点的规划和执行路径的机器人系统。由于机器人（知觉，推理，规划）领域的发展，该机器人能使半自动系统可行，人机互动的概念在过去的十年成为了可能。
一个国家科学基金会/美国能源部的IEEE研讨会[19，2]查明了人机界面和智能机器助理的问题。这些问题包括：
人类与多个半自治机器交互的有效方法
能适应正在执行的不同功能的界面和互动
基德（kidd）[16]指出，机器人系统始终需要人的技巧。基德认为，设计者应使用机器人技术，以支持和提高人类的技能，而不是用机器人的技能代替人类的技能。他认为开发和利用机器人技术能使人类的技能和能力变得更加有效和富有成果的，就如将人类从日常的或危险的任务中释放一样。他指出，机器人的研究人员往往把重点放在由立法要求的问题，如安全，而以人为本的设计问题大多被忽视。基德认为，人机交互中以人为本的设计需要超越技术问题，并且考虑诸如人机之间的任务分配;安全;群体结构等问题。这些问题必须在技术设计的初期阶段考虑到。如果他们只考虑到最后阶段，这些问题将变得次要而且对设计思路的影响很小。Fong,Thorpe,andBauer[11]指出，很明显，如果人类和机器人相互合作，将得到益处。但是，合作伙伴们必须进行对话，询问对方，共同解决问题。他们提出了系统的协同控制，该控制提供了最好的方面的监督控制，而不需要用户在一个重要的窗口时间内进行干预。在协同控制中，人类提供建议，但该机器人可以决定如何使用人的意见。这并不是说，机器人拥有最后权力，而是机器人执行人类制定的更高层次的战略的过程中有一些自由。如果用户能够提供相关的意见，机器人可以采取这一行动。但是，如果用户无法在所需的时间内提供意见，机器人将使用默认的行为做出反应。协同控制只有在机器人具有自我意识，能自力更生，拥有对话能力和适应性的条件下才可行。因此执行协作控制系统需要对话管理和用户模型。
希尔[14]指出，重要的是，HRI的研究应包括人的因素，如多学科小组的从业人员。还应当强调指出，HRI不仅仅包括一个聪明的用户界面。要真正制定协同团队,就有必要考虑人类和机器人的技能，并且开发一个能使各方充分利用他们的技能的整体系统。今天要赋予机器人平台动态性质更具有挑战性。我们需要以这样的一种方式设计HRI，这种方式在今天是有用的，但完全有能力随着机器人性能的发展而不断发展。
机器人研究人员经常使用术语人机干预代替人机互动。对于拥有以计划为依据的能力的机器人系统，术语干预在一个人需要修改有缺陷的计划或者当机器人目前无法执行计划的某些方面的情况下使用。机器人进行预先的行为无疑是一个理想的活动（例如，清洁厨房地板，看周边，为了X检查三楼的所有房间），更加紧密地结合人类、机器人的团队同样需要自发性的互动。本文使用的“人机互动”来指整个领域的研究小组和机器人，包括对一部分人或机器人的干预。我使用“干预”来区分这些情况：机器人的预期行动没有正确得到目前的形势和用户要么修改计划；给予执行计划的指导；或者给予机器人更多具体的修改行为。
3.人与计算机的交互
在介绍中，我列举了六个方面说明HRI与传统的人与计算机的交互是根本不同的。建立HRI框架模型的第一步就是决定以往的人机交互研究中如果有的话什么是合适的。人机交互的一个模型是诺曼的交互的七个阶段。[18]诺曼考虑以下七个阶段：
1. 目标的制定——考虑你想要完成什么目标。
2. 意图的构想——更加明确地思考怎样才算是完成了目标。
3. 行为的详细计划书——决定哪些行为是执行意图时必须的，然后一个一个的执行这些行为。
4. 执行行动——实际执行这些行为。在计算机术语中这就是选择需要的命令然后具体执行。
5. 对系统状态的认知——用户随后就必须评估在指定和执行的行为的基础上发生的结果。在评估部分用户必须注意发生了什么。
6. 阐述系统状态——对系统状态有所认知以后，用户现在必须运用他对系统的知识来解释发生了什么。
7. 成果评估——现在用户要像认知和解释系统状态一样将系统状态与当初的意图作比较来确定是否在取得进步以及接下来需要做什么。
这七个阶段不断进行重复直到用户意图或目标达到或者用户决定修改意图或目标。
图1：诺曼的HRCI模型
诺曼定义了两个与这七个阶段有关的问题：执行的鸿沟和评价的鸿沟。执行的鸿沟是用户意图和系统所允许的行为的不匹配。评估的鸿沟是指系统的表现与用户期望的不匹配。这与失败发生的四个关键点相符合。用户可能会计划一个无法完成的目标或者可能不知道怎样具体执行某一特定行为或者可能不能正确定位交互对象，这些都会导致执行鸿沟。系统不恰当的或者误导性的回馈可能会使用户错误地阐述系统状态从而导致评估的鸿沟。
4.人与计算机交互的理论
4.1.互动情景的水平
首先需要一个假设。在我们的人与机器人的理论中我们关注的是独立的或是团体中的半自制移动机器人。谢里丹[21]强调了5个管理功能：计划要做什么工作以及如何去做；指导计算机去做或为其设定程序；监控自动操作以探测失误；在遇到麻烦或期望目标一旦完成用户需要对它进行控制时实行干预指定一个新的目标；从经验中学习。在我们的理论中我们关注的是干预和制定行为的依据。我们假设已经为计算机计划安排了需要执行的基本功能和干预过程中任何可能需要重复计划。因为在我们的理论最初的形式中我们没有考虑要学习机器人的部分或者是人的部分。接下来的描述解释了HRI角色。
一个护理老人的设施已经部署了大量的机器人来帮助照看居民。管理员监督着分发给全国各地的工厂的机器人，并确保该机器人的正常运作和居民要么被关注或正在照顾-无论是由一个机器人或由一个人照顾。很多护理员都是计算机操作的专家而且按照他当时的职责做一些需要的助理工作。操作者可能使用一个例如PDA之类的移动设备来调整机器人软件中的参数。老人护理设施同时需要一个在需要时调整机器人物理能力例如摄像机调整的技工。护理机器人可以帮忙完成一些常规工作，例如喂食和传递物品给居民以及协助居民在设施中的各个场所移动。监测机器人监视着居民而且有传输回录像带的功能，同时可以将紧急情况的警报发送给管理者或者附近的人类护理员。大多数情况下人类和机器人护理员作为一个团队工作。人类护理员可以覆盖预置的行为来让机器人协助一些更关键的情形，例如在紧急情况——例如驻地崩塌等——发生时将居民转移到房间的另一个位置。机器人与居民和设施拜访者等可能不清楚它们功能的人进行交互。
我们能从这个设想中得到什么？首先，交互水平之间的界限是非常模糊的。监控者可以接管操作者的角色如果监控者有必要的周期这么做的话。这可能比通知指定操作员并把任务交给他要有效率。小组成员可以在监控者的意图下命令机器人。那些只了解一点或完全不知道机器人能力和没有进过电脑显示器了解机器人数据的旁观者将与机器人具有一定水平的交互。所有不同的交互角色都可能同时出现，同一个人或者不同的人可能用时承担不止一个角色。
4.2.HRI模型
HCI模型哪些部分的改变有必要用来描述HRI模型？下面的章节包含了可能的多种HRI角色间的交互模型。
4.2.1.监控交互。监控角色具有与管理者相同的特点并控制着整个形势。这可能意味着大量的机器人都被监测着，而且监控者将会对所给的有关需要执行的目标的情况进行评估。对于那些拥有规划系统的机器人，目标和意图都已经包含在规划系统中，然后机器人软件基于对现实世界的认知生成了它的行为。监控者可以介入并执行行动或者修改计划。在每种情况下，目标和意图的一些通常的代表性是必需的，这样，监控者才能指定某个干预在长期计划中的效应。
图二包含了一个建议的监控者与机器人交互的模型，由于大部分行为都是由机器人软件自动生成的，模型中主要的环节是认知/评估环节。监控者在行为和意图层面的交互也必须被支持。注意对于一个复合的自动化系统，监控者必需管理所有平台上的数据。图2表明对于监控者来说人与机器人交互是很大程度上以感知为基础，而且交互需要同时被行为和意图层面所支持。
4.2.2操作者交互。操作者是当机器人行为不可接受时被号召来修改内部软件或者模型的。操作者主要是在行为层面处理交互——操作者允许进行的行为。指导者就有必要决定这些行为是否在被执行以及这些行为是否符合长期目标。
图2：HRI模型——监控角色
假设检测角色可以正式的改变意图或者长期目标——并非在操作层。
图3：HRI模型——操作者角色
4.2.3技工交互：技工主要处理的是物理上的交互，不过技工还是有必要决定交互是否对行为有预期影响。所以，这个模型与操作者模型很相似，所不同的是当硬件被修改时需要对软件行为测试并对软件和硬件进行观察确保现在的行为是正确的。
4．2.4同级交互：机器人的团队成员可以在较大的意图或目标下给它们下达命令，因为我们遵循同样的假设——只有监控才有更改大的目标和意图的权力。这条假设是建立在需要修改目标和计划的时候。尽管拥有好的人机界面，团队成员可能还是没有去实现这些交互的必要时间。如果有的话，他们肯定可以转换到监测角色。
图四：HRI模型-技工角色
图五：HRI模型-同伴角色
图五中的模型表明建议的同伴交互模型。我们建议这种交互模型应该在比操作者交互所允许的行为级别更高的情况下发生的。团队中的人类成员在更加高级的交互条件下相互交流——而不是在低级行为的条件下。在同级角色中，例如跟我来，向左急转弯，等我过去之类的术语是人类与机器人之间对话的合理的单位。在这种情况下，直接观察是评估中或许会使用的感性输入方法。在行为没有被正确执行的情况下，同伴角色可以选择转换为操作者模型或者是将任务移交给更加具有操作者品质的人。
4.2.5旁观者角色。最后一个角色是旁观者。前期我们有这样一个有趣的问题：当机器人适应这个角色时旁观者是否会被分配一系列的交互？由于这个模型，我们假设这个是真的。例如旁观者可能会由于在机器人前面行走而引起机器人停止。
图六：HRI模型-旁观者角色
在这个模型中，旁观者只有一个可用行为的集（集合A），她不能在目标或意图级别进行干预，反馈必须可以直接观察到，最大的挑战是怎样提醒旁观者对于在她控制下的机器人的操作能力。这儿不太可能有典型的显示，有关情感和社会的研究在这是适用的[4,5]。
4、情景认知
鉴于第四段所提到的人与机器人的交互模型，一个问题是如何评价人--机器人的交互。在所有的模式中，知觉步骤是很有必要的。在这么多的任务中，不仅有必要了解行为发生以后的机器人系统状态，也有必要了解对诺曼的七个阶段的阐释和部分评价。这有助于我们了解指定的行为相对于实际实施的行为时可能发生的错误匹配。
第二个问题是人与机器人交互系统性能从用户交互设计性能和实际界面中的分离。由于机器人的物理性能和融合了感知、学习和规划的先进软件，执行中的失败不可能归因于用户的交互问题而可能归因于机器人软件系统或者机器人的感官系统故障。
所以我们计划分两个阶段完成对人--机器人交互的评价。我们将对从交互设计里的干预部分中分离出来的模型感知部分进行评价，也将从实际的人--机器人系统的实现中分离出这两项内容。本文没有干预部分的评价因为它是基于当前的可用性评价方法。对于模型中感知部分的评价将以评估情景意识为基础。
然而，交互中的每个阶段都需要一个不同的角度和不同的情景意识。这些问题将在详细设计被提及的人--机器人交互系统任务的章节中进行讨论。作为背景，有必要了解情景意识以及评估情景意识的方法和测量工具。
情景意识[9]是发生在你周围的认知。在这里定义的含义是，你知道为了获取情景意识哪些重要信息是要去注意的。试想你晚上驾车回家，行驶在高速公路和市区街道上时，有很多你药注意的信息。你很可能没有注意到有人给他们的房子漆了一个新颜色，但是如果一辆车停在那座房子前面准备驶到公路上，你就会注意到。情景意识[8]里有三个情景意识阶段，它们与诺曼的人--计算机交互模型中的不同评估阶段相对应。
情景意识中的第一阶段是以知觉暗示为基础。你必须感知到重要信息，以便能够继续进行。感知信息的失败可以是系统的不足造成的，也可以归因于用户的认知失败。
情景意识中的第二阶段是理解或整合多种信息并确定用户想要实现其目标的相关性的能力，这在诺曼的七个阶段里面也相当于理解和部分评价内容。
如果能够基于对现状的知觉和理解预测未来局势和动态就能进入第三阶段，这对应着评估和制定迭代以及诺曼理论的规范阶段。
当性能和情景认知有关系时，并不是直接相关的。有人到达第三阶段情境认知但仍然不能表现良好是完全可能的。这在诺曼的行为阶段里非常明显——当然没有正确执行的其他理由也是可能的。这些原因可能是由于系统设计不佳也有可能是用户的认知失误。直接的对系统的在特定情景背景下的表现测量是测量情景认知的一种方法，但只有在表明表现只依赖于情景认知时适用。可以克服这点的直接系统测量方法是将一些中断引入系统，例如一个完全不切实际的格局，然后测量用户发现异常的时间。
最常用的测量情境认知的方法是利用查询直接进行实验[8]。任务被冻结，一些问题决定了用户当时的情境认知，然后任务被恢复。情境认知全球评估技术(SAGAT)工具作为这种方法的测量仪器被开发出来了[6]。SAGAT工具运用一种针对目标的工作分析建立一个对整个领域或者针对特定目标和分目标的情境认知需求的列表。接下来就需要提出问题，用这种方法来时操作者的责任最小。例如，如果用户被问到特定机器人的身份，问题中可能用位置来显示机器人而不是回答用户一个名字或者一段特定描述。多种身份的选择可以用选项的方式来显示而不是依靠用户来制定一个反应，而这个反应可能不包含在多变的需求中。
5.2 情景意识对人与机器人交互角色的要求
正如前文所述，不同的人与机器人交互准则对情景意识有互异的要求。在以下各节，我们将动议假设为适合多种准则的信息，同时使用数种资源作为指导。首先，将
试图寻找相应的域和使用成功的互动设计作为第一基础。其次，我们将为每个角色使用主题专家（如可用）来核实相关信息。在特定情况下（特别是节点和旁观者的角色）我们将进行一些实验来收集必要的信息。基于此等知识，我们将组建情景意识评估工具和用户接口。使用情况意识评估工具，我们将导出一个基本标准来应对若干情况。人与机器人交互研究人员将能够利用我们的用户接口和评估工具，以评估他们工作。
5.2.1
监控角色
我们假设监控接口位于远程位置。监控者需要下列信息：
-局势概述，包括多平台进展状况
-任务或工作计划
-目前的机器人的任何行为，包括可能需要中断的偏差
-其他在她控制下与机器人的交互，包括机器人之间的交互
一个相应的人机交互领域是较为复杂的监控设备[22] 。其源于物理显示设备。起初的设备只是对应与一个传感器或执行器的灯或开关。然后再显示在物理面板中。当这些显示器切换到基于计算机的显示屏，一个单一的显示器便无法显示的所有信息。这产生了锁孔效应——即问题是最有可能出现在一个当前未观察的显示设备中。
复杂的监测设备的另一个问题是如何说明什么“正常”的。这在系统的物理能力发生变化且监控者需要知道任何时间下机器人的“正常”状态也是十分必要的。另一个问题是：单一的设备可能没有，而现有的设备相互间的问题。显示器应支持不仅是问题驱动的监测，而且当监控者积极寻求现状或任务的信息时知识驱动监测的相关知识内容。
由于在复杂监控装置中包含大量信息，用户应有适当策略来以减少认知的需求。这些策略包括关掉无意义报警来降低噪声，记录底限状况，创造外部线索，并提醒监控各个部分。复杂系统的基于计算机的显示器为用户提供更大的灵活性来以不同形式浏览信息。但是，操纵接口时间和任何为因为灵活性增大致使的性能提升需要由一个折中策略。
我们认为在产生复杂监控系统时的所学到的经验可以作为人与机器人交互的监控接口的起点。此外，不涉及到复杂系统的基础人与机器人交互所研究的问题包括：
-需要哪些信息来给予机器人队伍一个概述
-是否可以创建一个机器人队伍通用模型，且其是否有用
-什么（如果有的话）形式的个体机器人通用模型是有用的
-当其他交互角色发生时如何提醒
-中断分配策略
情境意识的标识将基于监控者在一系列情况下的角色（如前所述）来制定。一个初步关于可能的情景意识的标识的假设包括：
-哪些机器人有其他的交互进行
-哪些机器人的工作能力降低
-机器人目前正在进行的任务和行为的类型
-任务现状
5.2.2 操作者交互
我们假设这将是一个远程交互或一个发生在交由用户的认知要求在任何情况下均为透明的环境中。我们也将假设操作者有外部设备来作为与机器人交互的接口。操作者必须是一个熟练的用户，懂得机器架构知识和机器编程。如果机器人具有被遥操作的能力，则
操作者可有控制权。这是最常规的人与机器人交互角色。同时，随着机器人能力和角色的扩展。此角色可支持在更复杂环境中的交互。
我们假设操作者需要如下信息：
-机器人的通用模型
-机器人的计划
-任何机器人传感器的现状
-其他正在发生的交互
-任何等待操作者处理的工作（可能涉及多个机器人）
-任何对计划或交互的调整所带来的影响
-任务概况和任何时间限制
墨菲和罗杰斯[17]说明无线系统的三个缺点：
-操作者的预知和中断需要一个高交流带宽
-源于重复任务的认知疲劳
-给处理器的海量数据和大量同步操作
墨菲和罗杰斯提出的无线协助模式包括一个基本的合作援助架构，加入传感器融合的影响来支持，有着眼于用户注意的使用相关技术的知识的视觉交互自主机器人的的运动行为。
5.2.3 机械工角色
因交互着重于机器人平台的物理特性，机械工必须与机器人相互联系。机械工将需要调整一些机器人物理方面的问题，然后检验相关行为来确定问题是否已经得到解决。机械工需求下列信息：
-什么是失败的行为，以及如何
-机械部件和传感器的任何设置信息
-关于各种传感器的行为的相关软件设置
此外，机械工需要一种在机器人“离线”的时进行测试的方式。此处的一个问题时接口的性质。应使用外部设备还是机器人硬件支持来获取信息？我们已经推知，自动诊断和修复域都可能在检测相关方式时有用。目前我们还没有在文献上确认其有用，但我们计划在将来这一领域进行有关观察统计。
5.2.4同伴角色：我们假设交互是面对面发生的，这是交互最常见的类型。我们运用同伴、队员等术语并不是为了暗示机器人和人人是平等的而是说每一个都对应于他们的能力对团队有贡献。最终的控制随着用户—团队成员或者监控者—而停止。问题是用户（这儿是指同伴角色）怎样从机器人得到关于它对环境的认知和正在执行的行为的反馈。在人与人组成的团队中这种反馈是通过交流和观察进行的。现有的研究[4,5]着眼于机器人该怎样显示信息并反馈给使用者。Bruceet.Al强调普通人应该能够解释机器人给予的信息而且机器人必须以社会中正确的行为方式来在社会中进行可用的交互。BreazealandScassellati[4]应用感性输入并利用其对刺激的不同反应将其分为社交刺激和非社交刺激。
有关服务性机器人的早期工作说明了为了成功进行同伴交互必须调查的一些问题。[10]着眼于对移动远程机器人使用指令和控制词汇，包括自然语言界面。他们发现用户需要随时知道可以使用哪写指令。如果我们确定想要用能用于显示机器人的难以用机器人的姿势来显示的附加信息的分离的设备是不可能的，这将是富有挑战性的。
我们打算进行调查研究结果融合了倡议口语系统作为机器人与用户之间的交流和理解的基础。我们假设团队成员需要的信息包括：
² 其他还有什么交互正在发生
² 机器人现在的状态和角色是什么
² 机器人的工作模型是什么
² 什么行为对现在的机器人是可能执行的
另外的有趣的挑战还包括团队可以操作的机器人的距离。我们运用其他交流设备来在远处使人—人团队运转。机器人队员的限制和需求是什么？
5.2.5.旁观者角色：这也许是交互中最困难的角色，即使旁观者只拥有最有限的交互。正如我们的场景描述中所说，旁观者角色原则上关注的是与机器人同时存在相同的环境。一个旁观者可能是搜索和营救机器人在瓦砾中发现的。受害者可能发现机器人给他提供水和空气并将它的位置报告给营救队。或者一个旁观者可能就是一个简单的从自动驾驶汽车前经过的驾驶员。什么是这些旁观者需要知道的？在这种情况下的大部分司机需要得到确定这个自动机器与大部分有执照的司机一样拥有娴熟的技术。对旁观者的界面最有可能受到行为迹象形式限制：一个机器人“微笑”或者机器人某部分的行为，例如在高速公路上保持在正确的车道，给了旁观者一个权限说明[4，5]。我们需要有关机器宠物和服务性机器人（例如修剪草坪机器人）的新实验来帮助确定要使与机器人处于同一环境中的旁观者感到舒适需要哪些信息。
旁观者可能拥有的是一个非常有限的情景评估。我们要确定旁观者是否了解：
² 什么引起了机器人现在的行为（环境因素，旁观者行为，外加力）
² 机器人接下来要做什么，特别是对旁观者执行的行为
² 机器人可以实现的行为范围
² 如果有的话，哪些行为可以由旁观者引起
5.结论
我们建议将人与机器人的交互分为5种类型，每种需要不同的信息并适于五种不同用户使用。在我们的研究中，我们将建立一系列特定的场景，然后对每一个设想建议的人机交互类型做一个基于任务的分析。然后我们将要建立一个为不同角色设计的基线界面和一个情景评估测量工具。我们建议进行大量的用户实验然后使结果广泛可用。其他HRI研究可以再次使用相同的实验设计，使用户界面或者用户可用的信息不同，然后将这些结果与基线结果相比较。最初我们的工作将集中在驾驶领域中监控角色，研究的一个挑战是不同领域间能产生什么。例如我们是否能将在驾驶领域所学的东西应用到搜寻或营救工作中。
我们在这个领域的工作是学科。我们不仅需要考虑用户界面的问题，而且必须确定必要的信息对用户是可用的。这就需要计算机、软件以及建筑学专家的协调。我们在本文中集中于用户和他需要的信息。然而，要达到一个成功的协调团队，向机器人提供用户的信息以及为团队交流建立对话空间是必要的。我们将从集中于用户信息调查开始，但是将要将我们的研究拓展到同时包含用户信息的捕获和利用。
鸣谢
这项工作由DARPAMARS计划赞助。
参考文献【略】
未来智能实验室的主要工作包括：建立AI智能系统智商评测体系，开展世界人工智能智商评测；开展互联网（城市）云脑研究计划，构建互联网（城市）云脑技术和企业图谱，为提升企业，行业与城市的智能水平服务。
如果您对实验室的研究感兴趣，欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”
浅谈人机交互及机器人的行为设计
本文翻译自作者博士论文《DesiginingRobotBehaviorinHuman-RobotInteractions》第一章。论文地址：https://escholarship.org/uc/item/8tz6x0t9
人机交互（Humanrobotinteractions,HRI）是未来机器人的关键构成部分，在许多领域有着广泛的应用，如制造业、交通运输、服务业、以及娱乐业。
在工厂里，机器人正在离开它们的笼子，开始与工人们合作。工业制造商们正在柔性生产线中引入协作机器人，这样的人机生产单位可以有效地将人类的灵活性和机器人的高效性结合起来。同时，自动驾驶汽车将彻底改变当今的交通系统和人们的出行方式。但是，当自动驾驶汽车在公路上与人类驾驶的车辆进行交互时，这对道路安全提出了新的挑战。另一个例子是医疗康复领域的外骨骼机器人。这些外骨骼机器人常被用来帮助中风患者重新行走。患者和机器人之间存在密切的物理接触和交互。其他的诸如护理机器人或机器人导盲犬都存在很大的需求，且涉及人机交互。
上述应用对社会和经济有着巨大的影响。未来的机器人将与人类比肩。它们是能够自主决策的独立实体，能与物理世界互动的智能执行器，并且是具有丰富感官和理性批判的观察者。最重要的是，他们能与人类建立社会关系。我们称这样的机器人为协同机器人（Co-Robot）。
当然，设计协同机器人在技术上非常具有挑战性。传统机器人的工作环境是结构化和确定的。而协同机器人需要在高度非结构化和随机环境中运行。最基本的研究问题是：如何保障协同机器人在动态不确定环境中安全且高效地运行。
由于人机交互的广泛性和复杂性，在解决基本问题时需要考虑以下几个方面，下文中会详细阐述。
•多种互动模式
协同机器人的潜在应用存在于不同的领域，具有不同的交互模式。为各种模式的人机交互应用设计一个统一的模型是必不可少的。该模型可以用来提供对人机交互的全面理解，指导机器人行为的设计，并作为人机系统性能评估的分析框架。
•行为设计及其软件实现
行为是对内外环境因素刺激所做出的能动反应。我们研究设计机器人行为的方法，即如何在设计范围内（机器人系统的输入和输出）实现设计目标（以确保协同机器人在动态不确定环境中高效安全地运行）。被设计过的行为将以软件代码的形式被保存在机器人硬件中。当环境或任务变得更加复杂时，软件的复杂性将急剧增加。为了确保机器人能及时对环境变化做出反应，并确保机器人在操作过程中的安全性，实时的计算和驱动至关重要。这依赖于高效的算法。
•复杂人机系统的分析、综合和评估
机器人行为是否设计得当，需要在人机系统中进行评估。评估既可以在理论上进行，也可以在实验上进行。理论分析的难点在于，软件模块之间的耦合大大增加了系统的复杂性。而进行实验的难点在于，当人类作为受试者处在实验环境中，为人类安全起见，系统对失败的耐受性极低。因此，为人机系统开发有效的评估平台至关重要。
1.交互模式
人与机器人之间的交互可以有各种模式。我们将它分为两种关系：平行关系（Parallelrelationship）和层级关系（Hierarchicalrelationship）。
平行关系
在平行关系中，人和机器人是两个独立的实体，它们各自独立做出决定，在文献中也称为同伴互动（peer-peerinteraction）[30]。并行关系的典型示例是：自动驾驶汽车与人开的车之间互动，工业协作机器人和生产线中的工人之间的互动。在这种情况下，机器人（自动驾驶汽车或工业协同机器人）和人（人开的车或工人）是对等的，而不是主从关系。在下图所示的平行关系中，人和机器人的动作有时需要同步（synchronized），比如当人和机器人共同移动一个工件时，有时则需要异步（asynchronized），比如两辆车在过十字路口时，不能同时占用冲突区。我们将同步操作称为协作（collaboration）；将异步操作称为竞争（competition）——总会有一辆车首先通过冲突区域。竞争是最常见的互动模式。如果人类和机器人竞争的资源是空间，竞争可以被理解为避免碰撞。
层级关系
在层级关系中，人或机器人将一部分决策权让渡给了另一方。下面列出了层级关系中的典型示例，如下图所示。
自动驾驶汽车与车内乘客之间的交互，其中人类乘客将驾驶权转移至车辆。
机器人护士和患者之间的交互，其中机器人决定患者的运动轨迹。
人和辅助设备（如外骨骼）之间的交互。人类可以由机器人引导，但也可以“对抗”机器人。
人类驾驶员与驾驶辅助系统之间的交互。驾驶辅助系统可以作为“守护天使”[56]存在。它允许人类在安全情况下做决策，但它会在紧急情况下接管。另一种辅助系统更像“奴隶系统”。它在安全情况下负责做决策，在紧急情况下要求人类接管。
人类老师与机器人学员之间的交互，例如人类通过示范教授机器人技能。在这种情况下，机器人遵循人类决定的轨迹。
操作员和远程操作机器人之间的交互，其中机器人完全遵循人类的命令。
如以上示例中所讨论的，责任分配因不同层级交互而不同。当人类主宰决策过程时，它又被称为监督式交互[99]。
上面讲述的是单人和单机器人之间的交互模式，多人和多机器人之间的交互模式可以从这些基本的交互模式中衍生出来。论文的第二章将提出一个多智能体模型，以提供一个统一的框架来分析各种类型的交互，其中个体的人或机器人都将被视为智能体。
2.设计机器人的行为
我们从物理运动的角度研究行为设计，例如：如何在交互过程中产生安全高效的运动轨迹。
行为系统三要素
为了生成有效的机器人行为，我们需要
向机器人提供正确的知识，知识包括两个要素，体现任务要求的成本函数，和描述环境动态的世界模型；
设计正确的逻辑策略以让机器人能自主地将知识转化为行动；
设计学习过程以更新知识和逻辑，以使机器人适应未曾预见的环境。
知识，逻辑和学习是行为系统的主要组成部分，如下图所示。在框图中，机器人从有人类参与的环境中获取数据π，并根据逻辑函数g生成动作u，通常而言，这个映射是在世界模型的基础上最小化成本函数计算得到的。学习过程基于数据π更新知识和逻辑。学习模块是非常必要的，因为设计的知识可能无法涵盖所有可能的场景，而且环境可能是随时间变化的。该数学模型将在第二章中进一步说明。
机器人的一生
机器人的一生分为三个阶段：设计阶段，训练阶段和执行阶段，如下图所示。我们将前两个阶段称为离线，将第三个阶段称为在线。
在设计阶段，我们需要为机器人设计上述三要素。在训练阶段，机器人可以从经验或从人类的示范中学习新的知识。从人类示范中学到的知识与人类设计的知识之间的区别在于，前者不需要人类对知识进行数学的或定量的表示。在许多情况下，这种数学表达很难获得并且非常不直观。例如，对人来说，比划一条轨迹比写出一段轨迹的数学函数容易多了。在执行阶段，机器人执行其任务并与其人类同伴进行交互。在执行任务时，机器人可以通过在线学习更新知识或逻辑。然而，由于计算能力的限制，在线学习仅限于小规模的参数自适应。诸如从头学习新技能等结构变化只能通过训练阶段的离线学习来完成。训练阶段和执行阶段可以在永久学习系统（life-longlearning）中迭代地执行。机器人也可能直接从设计阶段进入在线执行阶段而无需经过培训阶段。
设计还是学习
知识是行为系统的核心。应该设计多少，应该学习多少，仍然是有争议的[28]。虽然知识可以学习，但逻辑和学习这两个模块对应的是算法，需要被设计。有三种方法可以获得逻辑g，如下图所示。图中的轮廓表示内部成本。颜色越深，成本越高。而逻辑g是从π到u的映射。
我们可以求解在设计阶段通过优化显式地解出g，如图a中红色曲线所示的精确策略。由于内部成本是非凸的，因此函数g可以是不连续的。
优化也可以在执行阶段在线求解。需要设计算法（例如，梯度下降），使得给定任何观察π，都能算出理想的控制输入。这提供了一个隐含的策略，如图b所示。由于非凸性，在线计算的控制输入u可能仅是局部最优。这两种方法里知识是显式的，因此是基于模型的逻辑。
我们还可以在训练阶段使用参数函数（例如神经网络）来近似策略。首先我们需要一组由（π，u）序列构成的训练数据。然后从训练数据中近似得到函数g，如图c所示。由于不需要明确的知识，这是一个无模型的逻辑。
现有方法在设计上各有不同。我们将这些方法概括为以下四个类别，从自然导向（nature-oriented）到培养导向（nurture-oriented），如下图所示。
类别1（自然导向）：设计者指定成本和模型，设计逻辑以显式地优化成本函数，无需任何学习过程。代表性方法有：基于经典控制和马尔可夫决策过程（MDP）的方法，它们在设计阶段获得精确的策略，例如在柔性机器人关节的控制[63,137]或安全危急情况下的控制[49,152]；模型预测控制（MPC）方法，它们在执行阶段[26,90,94]计算优化。
类别2（偏自然导向）：设计者指定成本，明确设计逻辑，并用学习过程来识别世界模型。经典自适应控制和自适应MPC属于这一类。这种方法在人机交互中的应用可以在[46,81,98,121]中找到。这种方法的优点在于它可以在不确定的、时变的环境中应对自如。尤其是当环境中有人类时，此时系统具有巨大的不确定性及时变性。与此同时，设计者仍然可以通过明确的知识和逻辑设计来控制任务的完成情况。
类别3（偏培养导向）：设计者只是明确地设计逻辑和学习过程。通过反复试错或专家演示，机器人在训练阶段获得知识。代表方法是基于模型的强化学习（reinforcementlearning）和反强化学习（inversereinforcementlearning），如学徒学习（apprenticelearning）[1,7,41]。这种方法在人机交互中的应用可以在 [4,103,135]中找到。该方法的优点是在设计阶段不再需要对任务和环境进行数学建模。
类别4（培养导向）：设计者明确地设计学习过程并使用函数（例如神经网络）来近似逻辑。机器人将在训练阶段获得知识（例如网络中的参数）。与类别3不同，知识不是显式学习的，而是在网络中的隐式编码。代表性方法是深度强化学习（DRL）[100]和模仿学习（imitationlearning）[65]。模仿学习中，除了人类以外，模仿对象可以是类别1至3中的行为系统[130]。这种方法适用于拥有以下特征的问题：任务和环境极难建模，状态空间太大，实时计算至关重要的情况。
3.人机系统的评估
人机器人系统的评估可以在理论上和实验上进行。
理论评估
在理论分析中，要回答的问题是：
设计的逻辑是否会在给定成本和模型的情况下找到最优行动？
学习过程会产生收敛的模型序列吗？
设计的成本函数是否能在多智能体系统中触发期望行为？
前两个问题是模块化的。第三个问题是系统方面的问题，它涉及闭环系统的鲁棒性、稳定性和最优性，例如，闭环多智能体系统是否是自组织（self-organized）的[91]。系统级分析具有很大的挑战性，因为不同智能体之间的交互具有高度复杂性，人类行为常常并不符合假设（如理性人假设），博弈论中现有工具不足以分析次优智能体。在第七章中，我们将探索一种新的方法来分析次优智能体在宏观系统中的性能。
实验评估
对于人机器人系统的实验评估，需要考虑在早期阶段保护人类受试者。基于这样的考虑，我们可以充分利用虚拟现实技术以及远程遥控来在物理上分离人和机器人，同时达到测试的目的。比如下图就是一种利用虚拟现实技术进行人机交互的示例，实验参与者通过VR头盔与虚拟中的机器人进行交互（图片源自AutoDesk）。
结语
随着智能机器人越来越多地出现在人们的生活中，人机交互将会更广泛地发生。同时，有许多问题亟待研究。对这些问题的探索需要多学科的融合和交叉，如工程学科与社会学科的融合，工程学科与脑科学的融合，以及在工程学科内部，机械设计与算法设计的融合，以此创造更好的智能机器人服务大众。与此同时，作为硅基智能体的创造者，炭基智能体也可以此更好地审视自我。
什么是机器人工程专业 机器人专业的就业方向有哪些
什么是机器人工程专业时间：2022-06-02来源：养娃家
一、什么是机器人工程专业机器人工程专业是以控制科学与工程、机械工程、计算机科学与技术、材料科学与工程、生物医学工程和认知科学等学科中涉及的机器人科学技术问题为研究对象，综合应用自然科学、工程技术、社会科学、人文科学等相关学科的理论、方法和技术，研究机器人的智能感知、优化控制与系统设计、人机交互模式等学术问题的一个多领域交叉的前沿学科。
二、机器人工程专业简介机器人工程主要研究工业机器人的结构、设计、应用等方面的基本知识和技术，进行机器人工作站的设计、装调与改造等，以提高工业生产的效率。例如：工业生产线使用的机器人的设计研发，自动焊接机器人的制造，激光加工机器人的装调等。
课程体系：《高级语言程序设计》、《电路分析》、《机械设计基础》、《自动控制原理》、《微机原理及接口技术》、《电机与电气控制技术》、《单片机原理及其应用》、《机械制造基础》、《PLC原理与应用》、《工业机器人控制系统》、《运动控制系统》、《工业机器人计算机编程》。
三、机器人专业的就业方向有哪些机器人专业可以在汽车领域，生产加工，科研研发、新能源、技术工程师等。
1、就业方向：面向汽车、机械加工、电子、新能源、技术工程师、技术主管、机械设计、电子设计和软件设计、机器人操作员、机器人编程工程师等行业企业以及工业机器人生产企业。
2、从事自动化成套装备中工业机器人工作站系统的现场编程、调试、运行维护、故障诊断、人机界面编程、生产技术管理、工业机器人销售和售后服务等技术服务和管理工作。
3、对于工业机器人技术专业这个专业的一些情况，通过上面的专业介绍，多少也是有所了解了。现在学习工业机器人技术专业这个专业，还是属于一个比较不错的选择。
人机交互技术的定义
人机交互技术（Human-ComputerInteraction，HCI）是指通过软硬件设计和实现来支持人与计算机之间交互的学科、过程和方法。它旨在促进用户友好的界面和系统，使人们能够尽可能轻松地使用计算机。
1.人机交互技术的定义人机交互技术是一种跨学科领域，涵盖了计算机科学、认知心理学、人因工程学、设计等多个学科。该领域关注如何设计、评估、部署和使用计算机系统，以便人类用户可以更好地完成任务，并从中获得良好的用户体验。
2.人机交互技术有哪些人机交互技术包括以下方面：
用户界面设计交互技术和交互设计可用性测试和评估计算机视觉和图形学自然语言处理和语音识别虚拟现实和增强现实技术3.人机交互技术的发展方向人机交互技术在不断地发展和演变，以下是一些目前比较热门的发展方向：
智能家居、物联网、智能穿戴设备等领域的应用人工智能、机器学习和自然语言处理技术的结合与应用虚拟现实、增强现实技术的进一步完善和应用推广跨平台交互设计和用户体验研究