【论文解读】手术机器人系统的工作原理分析与解读
文章目录AFullySensorizedCooperativeRoboticSystemforSurgicalInterventions摘要IntroductionMaterialsandMethods流程机器人控制模式机器人台车握把和针刀刀架控制系统应用控制器*机器人传感器接口*流程图机器人控制回路设备网链接导航系统转换配准（Registration）标定（Calibration）RobotPivotCalibrationpairpointmethodDeterminationoftheRigidTransformation用户控制模式ResultsandDiscussionAccuracyTestsforTargetingaNeedle结论/展望问题AsensusSurgicalAFullySensorizedCooperativeRoboticSystemforSurgicalInterventions一种基于NDI导航和协作机械臂定位的手术机器人系统，虽说这是一篇2012年的论文，但是这个领域目前可以说是最近的风口了，不做深究，但是特此学习一下。
摘要在这项研究中，提出了一种用于针操作的完全传感协作机器人系统。该设置包括专为安全人机交互而设计的DLR/KUKA轻型机器人III，FD-CT机器人驱动的血管造影C型臂系统和导航摄像机。此外，还介绍了用于临床环境中机器人操纵的新控制策略。提出了一种对相关组件进行快速校准的方法，并对整个可能的误差链进行了初步的精度测试。使用导航系统对机器人进行的校准具有0.81mm（rms）的残留误差，标准偏差为±0.41mm。以工作空间内不同位置的固定点为目标的机器人系统的精度为1.2mm（rms），标准偏差为±0.4mm。校准后，由于闭环控制，绝对定位精度降低到导航摄像机的精度，即0.35mm（rms）。所实现的控制使机器人可以补偿患者的小动作。
Introduction外科机器人是一个不断发展的领域，历史相对较短。第一次有记录的医疗应用发生在1985年，在那里进行了脑活检[1]。外科机器人是一个跨学科的领域，其中许多组成部分相互交流。其中包括电机、齿轮和各种传感器等机电设备。手术机器人有很大的潜力改善病人护理[2]。他们比人类有一定的优势**，例如，他们没有20赫兹颤音或（人类固有的）**，可以更精确地遵循平滑的轨迹。在医生接近辐射的手术中，使用机器人系统有助于避免暴露。根据定义，外科医生是手工。他用双手用手术刀和剪刀切割纸巾，用手锯剪骨头，介绍螺丝，用线和线缝等。为了用机器人系统执行这些活动，它必须特别装备大量的内部和外部传感器。传感器技术在现代手术室中非常重要，在未来的手术室中至关重要[2]。由于使用各种传感器，手术机器人系统是可能的。与自动化行业部署的机器人（机器人组件与人类隔离）不同，手术机器人直接对患者器官施加力[3]。设计一个能够直接接触、压压和切割脆弱和重要器官的机器人，会解决一些问题。这些问题减缓了这一非常有希望的领域的实践。尽管与手术机器人有关的所有挑战，也有一些成功的系统，有FDA的接受，是商业可用性能够[4，5]。例如，DaVinci机器人（美国加利福尼亚州桑尼维尔的直觉外科公司）[4]是市场渗透率最高的系统，因为已经售出了超过1933台。其设计使外科医生在通过身体的小切口时提高了灵巧性。该系统包括一个驾驶舱，外科医生使用触觉设备远程操作机器人，一个带四臂的推车（其中三只手臂，根据任务的不同，可能有钳子，剪刀，拿着手术刀，另一只手臂拿着一个拉皮镜）和图像处理设备。另一个成功的手术机器人是CyberKnife®（美国加利福尼亚州桑尼维尔的Acuray公司）[5]。该系统有能力非常精确地照射肿瘤，即使患者解剖因呼吸而移动[6]。这种方法的主要思想是避免损害肿瘤周围的健康组织。该系统包括一个线性加速器，安装在六个自由度的机械臂的手腕上。机器人系统的任务是精确地将线性加速器对肿瘤进行定位。对于视觉，该系统使用两个配备平板探测器的正交X射线摄像机。为了提高准确性，该系统包括一个用于实时患者跟踪的导航系统。达芬奇和CyberKnife系统都使用各种传感器来执行任务。分析一些成功的手术机器人系统，可以发现它们是使用不同技术水平的孤立努力。专家们认识到，尽管许多解决方案试图在临床环境中引入自动化，但它离行业实现的标准化水平还很远。标准化是外科机器人发展的关键[2]。（医疗伦理相关）机器人的机械部分使用特殊的传感器不仅可以测量末端执行器的位置，还可以沿其运动学测量位置。用于测量位置及其派生值的最常用技术是旋转变压器，带有霍尔传感器的光学编码器和磁性编码器。感应技术为能够与不断变化的环境进行交互的机器人系统的开发打开了大门。Hirzinger（德国航空航天中心机器人与机电研究所）开发了一种机器人系统，用于与人类进行安全交互[7]。这些系统强大的顺应性控制使用户可以用手拉动或推动机械臂，并且系统将像没有重量一样运动。这种控制方式通常称为“软机器人”或“动手机器人”。MiroSurge系统使用类似的控制方案，被设计用于微创外科手术[8]。机器人辅助的主要优点是在手术过程中增强或伸展外科医生的手和眼睛。对于不熟悉机器人的用户来说，控制手术机器人系统必须简单直观。因此，在开发一个外科机器人时，一个适当的人机界面是必不可少的。触觉一词在机器人中被定义为机器人、人类与真实、远程或模拟环境之间的真实和模拟触摸交互[9]。例如，Da-Vinci系统利用触觉设备直观地操作机器人[4]。其他手术系统使用操纵杆[10]和触觉设备，如幻影Omni设备（可感性技术公司，威尔明顿，美国加利福尼亚州）外科机器人发展的一个基本部分是它能够可视化手术区域。在实时方法中对可视化传感模式进行分类非常有用，这些方法提供感兴趣的区域的连续可视化，以及通常用于术前诊断和规划的非实时方法[11]。常用的实时传感方式是内窥镜、超声波、荧光镜和光学相干断层扫描（OCT）。内窥镜是可视化最成功的方法。它们通常用于微创手术[5，12]。不幸的是，他们不能从组织内部提供进一步的信息。相比之下，超声波从组织内部提供2D实时图片，但只有熟练的临床医生才能正确使用这种技术。Fluoro光谱是一种提供高空间分辨率的技术，可以解析亚毫米大小的物体。其2D图像清楚地显示不同材料（如骨骼和肝脏）与不同组织密度（如心脏和肺）之间的对比度[13]。荧光镜的最大限制是覆盖结构都减少到一个图像平面。手术机器人中部署的最重要的非实时可视化系统是X射线、计算机断层扫描（CT）、磁共振（MR）和正电子发射断层扫描（PET）。先前的工作是使用CT（例如，ROBODOC和CASPAR系统[14，15]）完成的，用于完全臀部和膝盖的置换。X射线技术被用于网络刀系统对目标位置进行本地化。MR是提供最精确组织分化的成像技术。最近，由非金属部件制成的专门设计的机器人可与MR[16]一起使用。FD-CT是一种将荧光（实时）和CT（非实时）结合在单个设备中的技术，由配备平板探测器的C臂组成。与X射线胶片和图像增强器相比，FD技术可提供更高的动态范围、减少数据、快速的数字读出，同时保持紧凑的设计[17]。尽管FD-CT提供比普通CT更高的空间分辨率，但它包含一些缺点，例如视野较小和时态分辨率较低[17]。然而，FD-CT已经证明在规划和术中手术中独一无二[18[20]。C-臂的特点是灵活性和易用性;特别是，通过选择任意的角化的可能性。将机器人系统与成像设备一起使用的障碍之一是，后期的龙门尺寸不够大，不足以同时存储一些机器人的患者和运动学[21]。许多碰撞问题产生于这些设置，这是许多耳塞已经建立了小型专用机器人系统，以适应剩余的地方的原因之一。一个新的FD-CT系统（德国柏林工业公司，西门子医疗公司）采用机器人手臂（德国格斯特霍芬的库卡机器人），提高运动灵活性[17，22]。该系统可用于灵活的术中成像，并可与其他机器人系统协调，以帮助外科医生。除了编码器和成像设备作为传感模式外，还研究了本地化器，以分析其适合外科机器人应用的bene[23，24]。这些设备跟踪仪器相对于患者解剖的位置。仪器可能是机械臂的手术工具。在CyberKnife系统中，部署了光学定位器来固定容易因呼吸而移动的患者的位置[5]。在这项工作中，提出了一个完全传感器化的机器人手术系统的概念和实现。拟议的系统利用了手术机器人手术中采用的各种概念，如触觉、软机器人、可视化和外部跟踪。手术系统由两个协调的机械臂组成。前者执行手术任务，另一个提供精确的目标可视化。该系统经过改造，通常将针头插入解剖，以便提取组织样本作进一步分析或注射药物进行治疗。作者着重介绍了系统中采用的传感器技术。除了医疗环境中通常采用的传统标准外，该系统还利用了自动化行业的标准。
MaterialsandMethods在图1中，显示了主要系统组件的表示。为了插入针头，使用了串行机器人系统。它的腕部装有特殊的持针器。该机制允许临床医生手动插入针头。机器人系统包括一个实时控制器（来自制造商）和一个应用程序控制器。它的设计旨在通过触摸屏和工业操纵杆进行手动控制。为了将机器人系统轻松地沿着CT工作台放置，所有组件都安装在移动手推车上。以这种方式，可以容易地将系统定位于患者床并从患者床移除。为了进行目标可视化，部署了配备平板探测器的机器人驱动的血管造影系统。这种特殊的C形臂可以沿着手术台放置，提供全身覆盖。与仅绕固定位置旋转的常规C臂相反，该成像系统可以进行调整以扫描具有不同角度和凸形轨迹的解剖目标。进行扫描后，它将重建的3D图像发送到应用程序控制器进行规划。此外，二维投影可用于获得实时目标可视化。根据图像，外科医生可以选择目标和合适的进入点。该系统的另一个重要部分是一个光学定位器，该光学定位器借助安装在持针器上的参考镜架精确跟踪针的位置。此外，它还通过附在其上的参考框架跟踪患者的位置。
图1.为皮下手术绘制完全集成的系统草图插入针头时的自然触觉反馈会通过轨迹从周围组织的特征中提供重要信息。在这些特征中，可以获得不均匀的韧性和组织弹性的反馈感觉。因此，决定只使用机械手来定位和定向针。一旦机器人达到所需的针方向，外科医生的任务就是小心地插入针。这样，可以将控制手术的临床医生的经验考虑在内。图2显示了介入套件中的主要系统组件。血管造影系统（Artiszeego，西门子医疗）包括一个串行机器人（KUKA机器人），其腕部装有C形臂。
图2.介入套件中的系统设置流程大多数自动机针放置设置都利用Masamune等人介绍的工作流程。[25]。尽管我们的系统的工作流程相似，但有一些创新之处。其中之一就是所谓的目标枢转，它可以在固定目标时灵活地更改插入点。对于通常使用Masamune引入的工作流程的RCM机器人，这种方法是不可能的。建议的工作流程将在以下步骤中进行描述：
准备：根据[26]中所述的步骤，将患者固定在CT台上，并固定患者图像配准设备。成像：使用血管造影C臂进行3D扫描。重建的CT图像立即传输到导航服。计划：图像在触摸屏显示器上显示后，临床医生将定义进入点和目标点。交互式定位：将机器人手推车放在患者旁边。然后，临床医生用手握住机器人，激活交互式定位控件（将在下一个2.3节中进行介绍），然后移动机器人手臂，直到工具尖端位于入口点上方。自动定位：一旦临床医生激活了死人开关，机器人就会将持针器对准计划的目标。重新定位（远程操作模式）：如果需要，可以使用操纵杆使用目标枢转选项来更改入口点。在此过程中，针头轨迹会连续显示在3D图像中。插入针头：临床医生以机器人的持针器为指导手动插入针头。可以使用荧光透视检查或全3DCT扫描进行确认扫描。干预或治疗：一旦针头击中目标，就可以获取组织样本，或者在消融的情况下进行治疗。机器人控制模式如工作流所示，机器人系统有三种不同的控制策略：
互动模式：机器人手臂在笛卡尔空间的所有方向（重力补偿控制）上是自由机动的，好像没有重量。通过挑选机器人手柄，按顺序按下连接到它上的两个按钮，激活交互式模式。也可以通过推来改变机器人的肘部位置。图像引导模式：机器人根据导航系统测量的基于患者的特定规划移动。远程操作模式：用户在TCP（工具中心点）坐标中用操纵手柄控制机械手臂。可调整进入角度，同时针架不断指向目标。这是相当有用的，因为用户可以观看新的3D图像，并选择最方便的一个。机器人台车如前所述，针头插入机器人连同其制造商控制器和该应用程序的专用控制器一起安装在移动手推车上（图3）。手推车可以放置在手术台附近，从而可以在不干扰C形臂轨迹的情况下将机械臂放置在患者附近。为了直观地做到这一点，机器人具有特殊的控制模式。针头插入机器人是第三代DLR/KUKA轻型机器人（LWRIII）[7]，专门设计用于安全的人机交互。由于该机器人具有碳纤维罩和铝制骨架，因此重量仅为14Kg。所有传感器（包括编码器，保险杠等），电机控制器和电缆都集成在手臂中，这使得该机器人非常适合在市长关注的拥挤环境中进行操作。该机器人有七个旋转关节；相比6d.o.f.机器人，其附加关节可在不影响机器人工具姿势的情况下改变肘部位置。在机器人的每个关节中，扭矩传感器都测量施加的力。这种设置的市长优势之一是可以在所谓的重力补偿模式下使用机器人。在这种控制模式下，可以通过几乎没有阻力的手抓住机器人来移动机器人手臂[27]。一旦用户停止（在其结构的任何部分上）拉动或推动它，它就会停留在其位置，等待下一次运动。它看起来很像是太空船内部的一个不存在重力的物体。如果控制模式的某些参数如虚拟重量，摩擦和弹力（可以改变补偿模式的行为）是必须改变的，制造商控制器的编程接口可以执行此操作。在移动平台的底部安装了制造商实时控制器（KRC，KUKA机器人控制器）和应用程序控制器。为了安全起见，将不同的传感器连接到手推车内部框架，这将在控制系统部分中进行说明。
握把和针刀刀架带有两个把手的手柄连接到机器人的手腕上，便于用户操作。使用两个手柄的想法是，用户可以从患者床的两侧拿起它。每个手柄都有两个按钮，一个在顶部，另一个在内侧（图4（a））。通过按下按钮，可以激活重力补偿模式。出于安全原因，只有在同时按下两个按钮（上一个用拇指和下一个用食指）时才能启用此交互模式。万一医疗应用需要其他工具，则在手柄末端安装了一个被动式工具更换器（GRIPGmbHHandhabungstechnik，德国多特蒙德）。从图4（a）可以看出，从被动式工具更换器开始，机器人可以用消毒的盖布覆盖，以保护机器人免受患者血液和其他液体的侵害。
图4.（a）机器人手柄与针架一起。DRF附加到工具，以便导航系统跟踪;（b）该工具是可自动回收的。米色共洛尔部件由PEEK组成，以确保无伪影成像。为了使用光学定位器跟踪针头，将动态参考框架（DRF）连接到针头支架（图4（a））。携带针头的装置是放在工具正面的米色片。它完全由PEEK制成，以确保生物相容性。另外，它的特性使该材料伪像在CT图像中不存在。持针器可以执行不同的插入操作，以支持变化的针或工具直径。
控制系统如前所述，KUKA/DLRLWRIII是串行机器人。这类机器人具有出色的可重复性，但由于运动学上的微小误差或随时间增加的校准错误，其绝对定位精度并不出色。当向机器人发出差动命令时，这些误差的影响较小，这意味着机器人应相对于其上一个位置而不是绝对位置进行移动。基于此假设，本方法包括定位TCP位置（工具中心点）并以实际位置为原点进行小的移动。（Asmentionedbefore,theKUKA/DLRLWRIIIisaserialrobot.Thesekindsofrobotshaveexcellentrepeatabilitybuttheirabsolutepositioningaccuracyisnotoutstandingduetosmallinaccuraciesintheirkinematicsorcalibrationmistakesthatincreaseovertime.Theseinaccuracieshavelessimpactwhendifferentialmotionscommandsaregiventotherobot,meaningthattherobotshouldmoveinrelationtoitslastpositioninsteadoftheabsoluteposition.Basedonthisassumption,thepresentapproachconsistsonlocatingtheTCPposition(ToolCenterPoint)andperformingsmallmovementstakingtheactualpositionastheorigin.）这段好要好好理解！
应用控制器应用程序控制器的主要任务是集中来自所有系统组件的数据，处理该信息并发送由执行器执行的命令。应用控制器从实时控制器（机器人姿势和力的测量），光学定位器（参考系的位置和方向），机器人驱动的血管造影系统（2D投影和3D图像重建），触摸屏（用户计划说明）和操纵杆（用户命令移动）。作者在以WindowsXP为操作系统的裸机中实现了该控制器。图5概述了系统组件及其与应用程序控制器的通信协议。
图5.控制体系结构。应用控制器从系统的不同组件接收信息，并用它来控制机械手臂应用程序控制器具有状态机，该状态机根据实际状态和来自系统组件的数据信息来触发。这些转换的示例如下：用户在触摸屏中引入命令，准备使用图像，激活交互式控件，来自KRC的安全相关数据已到达等。机器人内部安全相关的功能（例如速度）局限性，力的监控由KCR实时处理。外部安全相关的紧急按钮和激活按钮（来自手柄）通过DeviceNet链接连接到KCR和应用程序控制器。
*机器人传感器接口机器人姿态和运动命令的动态数据通过**KUKA机器人传感器接口（RSI）**周期性地交换[28,29]。RSI实时接口是机器人制造商提供的用于将传感器耦合到其控制器的解决方案。数据通信的基本机制收集在RSI中，RSI是模块化结构并嵌入到KUKA编程环境中。它支持基于工业通信标准（现场总线，以太网）的同步和异步数据传输。在这项研究中，传感器（在本例中为光学定位器）与机器人之间的数据交换是使用XML消息完成的。使用预定义的功能模块（即数字滤波器，转换，控制算法）在KUKA控制器的实时内核中处理传感器数据，这些模块组合在由大约100个不同模块组成的传感器功能库中。可以在一个笛卡尔运动插补（12ms）的一个周期内执行处理任务，从而使传感器信号可以在运动过程中影响机器人的位置。建立了从KCR到应用程序控制器的TCP/IP链接，以便传输XML数据。在KRC的每个插补周期中，包含实际机器人位置，关节角度，测得的轴力和电动机电流的XML数据包都将发送到应用程序控制器。基于此数据，应用程序控制器计算XML数据包，其中包括TCP的校正向量。KRC仅在收到的包裹在同一时隙内到达时才对其进行处理。
*流程图系统程序序列如图6所示。引导后，应用程序控制器初始化DeviceNet协议并打开与KRC的通信通道。KRC的内部变量直接影响机器人的配置和运动，可以通过应用程序控制器进行外部控制。这样的变量可以，例如，打开/关闭制动器，触发外部停止，选择程序，在激活配置锁或未校准机器人运动学时发出警报等。然后，对操纵杆和摄像头进行初始化。为此，为操纵杆创建了USB通道，并为摄像机建立了串行通信。之后，开始机器人初始化。这包括使用打开的DeviceNet通道（在KRC上）选择程序。然后确认安全锁，并释放机器人制动器。然后，机器人移动到编程的初始位置。打开TCP/IP通道以便通过RSI交换数据。从应用程序控制器发出命令后，RSI数据交换开始。它由两个控制回路组成，一个在应用程序控制器中称为中央控制回路，另一个在KRC中。使用RSI，控制回路每12ms相互触发一次。在每个中央控制回路处，应用程序控制器从导航系统，操纵杆和总线端子接收数据。然后，它将处理后的数据发送到KRC，后者又执行指令（调整机器人位置）。KRC发回包含机器人实际状况的包裹。重复此数据交换，直到用户停止程序为止。如果存在延迟，则数据传输中断并且机器人停止。下一节将更详细地说明控制回路。
机器人控制回路使用图7中的控制环连续测量机器人的新位置和方向。有两种方法可以控制机器人的姿势，既可以通过光学定位器获得的数据，也可以通过用户通过操纵杆给出的运动命令来控制机器人的姿势。KRC通过RSI传递机器人基本坐标中（手腕的）实际机器人姿势。状态机检查用户选择了哪种控制模式。如果实际模式为“导航模式”，则控制器读取工具以及患者的解剖位置和方向，并使用此信息来计算TCP设定点。给定机器人的姿势和设定点，控制器将使用将在2.6节中介绍的一些转换来估计偏移量。如果激活了“操纵杆模式”，则来自该输入设备的测量值将被当作偏移量。最终，无论哪种情况，PID控制器都会获得校正值，该校正值将以TCP坐标发送到KRC。
图6.在初始化过程中，打开使应用程序控制器与系统的主要组件通信所需的所有通道。然后，应用控制器和KRC通过RSI交换信息，以控制机器人的运动。
图7.控制循环，用于操作应用控制器中的机器人姿势。
设备网链接DeviceNet链接用于在应用程序控制器和KRC之间共享其他输入和输出。此类I/O独立于RSI通信运行，并用于初始化KUKA控制器，共享其他信息并用作中断。按下机器人手柄按钮后，此输入将通过总线端子（德国Verl的BECKHOFFNewAutomationTechnologyGmbH的BK5250）转换为DeviceNet协议，并最终与两个控制器共享。DeviceNet是一种通信协议，在自动化行业中用于互连控制设备以进行数据交换。它使用控制器局域网作为骨干技术，并定义了一个应用程序层来覆盖一系列设备配置文件。典型的应用包括信息交换，安全设备和大型I/O控制网络。DeviceNet是自动化行业中一个非常普及的标准，并且由于其实时功能，KUKARobots广泛使用DeviceNet来控制其机器人。KUKA控制器配有DeviceNet卡，可用于与外部PLC（可编程逻辑控制器）或计算机共享信息。KRC2lr控制器已经配备了主DeviceNet链接。因此，在应用程序控制器中安装了DeviceNet从属卡，以与KRC2lr之一连接。所使用的卡是具有500Kbit/sec的波特率和512个可编程I/O字节的AnyBus-PCIDeviceNet从站（HMS工业网络AB，瑞典哈尔姆斯塔德）。DeviceNet数据在应用程序控制器，KUKA控制器和总线端子之间共享（图8）。
DeviceNet安装在与机器人平台相连的机架中。在图9中可以看到一些物理连接，包括DeviceNet总线端子，电源和控制机器人系统的电缆。总线端子使用分配在端子中的24伏直流电源。
导航选择了光学定位器（Polaris，NDI，加拿大安大略省滑铁卢），用于机器人系统的开发和评估。在最终的临床设置中，将使用带有计划站的商业导航系统。光学定位器跟踪动态参考框架（DRF）的位置和方向。这些框架具有四个后向反射球，光学定位器可使用这些球进行精确检测（如果有三个或更多球，则可以以其中一个球为中心构造坐标系）。光学定位器更新速率为20Hz，定位精度为0.35mm（rms）。由于控制环路以83Hz的频率运行，因此，具有较高采集速率的光学定位器将是更好的选择，但不幸的是，它并不在手。在这项研究中，光学定位器尚未安装到C型臂上。涉及一些坐标转换，直接复制了。
系统转换为了将针引导到解剖区域，必须将机器人和目标区域关联起来。为此，必须找到两个坐标系之间的变换。在本方法中，光学定位器用作中间坐标。光学定位器可同时跟踪机器人的实际位置和患者的实际位置。在配准过程中执行利用光学定位器相对于3D图像测量的患者实际位置。为了使机器人与光学定位器相关联，需要进行校准过程。
配准（Registration）与可能将DRF固定到骨骼的骨科手术相反，在软组织上进行针头放置手术。由于组织变形，无法进行刚性固定。因此，采用了由Nagel等人介绍的特殊注册方法[26]。此方法中使用的设备形状可显着减少由组织变形引起的误差。它由一个DRF固定在一个框架上组成，该框架的中央有一个空白空间（用于插入针头），CT标记以已知的几何形状分布。真空袋用于稳定患者的动作。从DRF到CT标记坐标系的转换是事先已知的，并用于获取转换T将患者图像注册到导航系统。
标定（Calibration）实际上就是手眼标定。但是其实现方法和我之前见到的不太一样，在此先不做深究，可作为todo
机器人旋转。将小铁尖插入针架。使用重力补偿模式对机器人进行取制，将铁尖插入固定divot中。当光学本地化器指向机器人工具时，用户将机器人旋转旋转约30秒。自动序列。参考DRF连接到机器人底座附近（始终在摄像机测量体积内）。在用户命令后，机器人跟随一系列动作。RobotPivotCalibrationpairpointmethodDeterminationoftheRigidTransformation用户控制模式图形界面（GUI）旨在轻松选择机器人的功能（图13）。也可以从文本文件中读取与患者相关的目标坐标。它还告诉用户机器人和患者何时对导航摄像头不可见。连续显示从TCP到目标的实际距离。
图13.图形用户界面。用户可以选择所需的控制模式和轨迹坐标。此外，界面显示机器人和患者相机之间有视觉接触接下来将说明用户控制模式：
操纵杆。在此控制模式下，TCP可以根据图14在笛卡尔坐标中移动。操纵手柄向左移动对应于机器人向左移动，例如右、前和后运动。通过按下侧操纵手柄按钮，机器人可以沿针方向（TCP坐标中的x方向）以恒定速度来回移动。机器人在内部计算所有必要的变换。如果用户想要更改TCP方向（但保持位置），只需按操纵手柄的上部按钮即可沿α和β开始移动（参见图14）。图14.工业操纵手柄用于在笛卡尔坐标中移动TCP。通过按下操纵手柄的上部按钮在TCP旋转是可能**自动方向。**选择此模式后，机器人会自动将TCP定向到目标，如图15所示。仍可能使用操纵手柄更改TCP位置，就像在"仅操纵手柄模式"中一样，**但一旦操纵手柄释放（实现了新的所需位置），机器人将再次定向目标，但现在从新的角度。此控制模式对于查找新的入口点非常有用。在手术过程中，放射科医生可以移动到不同的入口点，并决定哪一个可能更充分。**与上述RCM方法（其中只能选择一个入口点）（否则，必须重复整个笛卡尔定位，这涉及到手动将机器人移动到皮肤上的不同位置，然后再次尝试旋转）对放射科医生更有帮助。图15.在自动定向模式下，机器人每次操纵手柄运动后都会根据目标定向TCP。如果患者移动，机器人将反应并补偿患者的移动，并再次指向目标具有固定距离的自动方向：此控制模式的工作方式类似于自动方向模式，用户可以决定轨迹距离的唯一区别。用户可以在GUI上输入所需的距离。平面中的自动方向：通过选择此模式，TCP只能沿位于患者皮肤上的假想平面移动TCP。TCP随时指向目标。ResultsandDiscussion对已开发的部件和程序进行了初步精度测试。整体链误差包括成像系统引入的错误、规划、患者注册和患者组织无法识别的运动。机器人系统及其与导航系统的连接提出了其他误差，即机器人运动误差、机器人校准误差、导航系统测量误差和仪器校准误差。这些错误在三个实验中进行了评估。前两个实验，即运动学和成像系统误差的评估，可以在[10]中看到，表明机器人能够达到精度与光学定位器类似的定位，0.35mm（rms）。在这篇文章中，只有整体误差被测量在下一个实验。
AccuracyTestsforTargetingaNeedle这些测量使用专门设计的测试设备和Artiszeego成像系统进行，用于错误可视化。测试装置由九根杆组成，其尖端沿不同位置分布，图16。较高的五根杆的高度为40mm（从基座到尖端），而较小的四根杆的高度为25mm。DRF连接到测试设备的一侧。从DRF的坐标系到杆尖的距离是事先知道的。测试装置的构造精度约为0.01毫米。
图16.精度测试设备。杆相对于所附DRF的尖端位置已提前知道在实验中，带机器人系统的手推车被放置在CT表的一侧。使用重力补偿模式，将机器人的工具放置在测试设备上，测试装置位于CT表上。使用图形界面，对机器人系统进行编程，并设置所选尖端的位置。使用操纵手柄控制模式，TCP相应地放置在所选尖端上。在图形界面中选择的自动方向命令后，机器人将TCP定向到目标。从杆垂直到TCP的角度不超过45度。实验是在每个杆（30~60毫米）使用不同的轨迹长度进行的。然后，通过激活机器人的制动器来停止机器人，并插入一根直径为2mm的150mm针头，直到尖端达到杆的峰值。使用具有512个512基矩阵和0.13mm体美的高分辨率内核执行和重建CT扫描×（20s，200°旋转范围）。距离误差定义为在CT图像中从针尖到杆尖的测量距离（图17）。实验从五个不同的方向反复接近所有棒，结果共45次测量。生成的根平均方形定位误差erms及其标准偏差σ最小和最大偏差emin和emax。结论/展望本研究介绍了一种全传感器化的手术干预协同机器人系统。这些类型的系统在很大程度上依赖于来自不同传感器的信息。因此，本文的主要焦点在于传感器技术的采用。机器人系统被调整为将针头放入解剖区，如肝脏、肾脏和肺。在这些类型的操作中，目标可视化通常需要介入放射学程序。该系统使用光学本地化器进行机器人控制和患者跟踪。在目标可视化方面，引入了机器人驱动的FD-CT，使系统能够灵活地使用操纵杆和踏板沿患者表移动。开发中的移动机器人平台可以轻松定位在术中。LWRIII机器人控制策略允许机器人用手操作。对于精细的动作，机器人可以通过操纵杆操纵，而目标是固定的，帮助临床医生选择不同的入口点。可自动可回收的刀柄可支持不同机器人操作的不同类型的工具。专为需要实时响应的手术应用开发应用控制器。由于RSI以太网，可以进行实时控制。由于存在不同的系统组件，即机器人臂、机器人驱动的FD-CT和光学定化器，因此需要一个校准过程。对于临床医生来说，无需技术援助即可轻松完成此校准过程。校准完成后，从视觉上确认机器人对新编程姿势的反应更快。在稳定状态下没有出现有意义的振荡。当患者参考框架以缓慢运动手动移动时，机器人可以平稳地镜像移动。然而，对于大动作，机器人的反应速度不够快，无法反映运动。因此，可以声称，建议的设置只能补偿小病人的运动。使用卡尔曼滤波器和使用频率更快的光学点位器（100Hz）将改善这种反应。在机器人系统定位点时，存在整个误差链。最大的误差包括机器人校准误差、光学定化器误差、测试设备构造误差和图像重建误差。获得的误差为1.2mm，标准偏差为±0.4mm似乎是可以接受的，但不足以满足某些关键应用的需求。使用精度更高、体积更小的导航摄像头（如MIRO[33}）可以提高精度。使用过的组件中，会出现视线问题。这主要是因为同一工作空间中的许多组件存在。在这项研究中，我们通过将导航摄像机连接到C臂来部分解决此问题，如图1所示。移动C臂不会影响摄像机测量，因为它们与DRF相关。最后，导航数据还可用于实时三元重建。
问题CT影像和病人之间的坐标系如何相互转换？病人自身发生移动怎么办？机器人为实现“绝对精度”差分运动的实现方式。整理出手术流程。AsensusSurgicalasensussurgicalinctransenterixsurgical,inc.，是一种内窥镜手术机器人。
他很大的一个特点是没有使用像达芬奇一样的平行四边形结构来保证RCM，
这就导致他需要不断地运动setArm去维持RCM；从端分离的特点也需要他加上定位装置来来进行“手眼标定”；工作空间小，无法实现手腕翻转；主端的操作手是模拟真实的腔镜器械，工作空间小，手部是否能防疲劳？综上所述这是一款全面不如达芬奇的机器人，他唯一的可能超越的优势就是“便宜”。下面可以看一下他实际使用的视频【慎入】SenhanceProstatectomy
人与机器人的交互理论及其前景
第五方面是用户必须同时操作的独立系统的数量。典型的人机交互假设一个用户只与一个系统发生交互关系。甚至在协作系统中我们也通常认为用户与系统是一一对应的并满足该人机系统是与至少一个其他类似系统相关联这一额外特征。这就允许由计算机限制的用户间的交互以及计算机-计算机交互。在人和机器人的情况下，我们的终极目标是一个人（至少是我们划分的交互角色中的一种）同时与多个不同的机器人进行交互。
最后一个方面是一段时间内机器人自动执行任务的能力。而典型的台式电脑是以在用户命令的基础上执行编码的方式自动运行的，机器人运用计划软件来减少用户处理低级命令和决策的工作。所以机器人可以从A点移动到E点而不用当在路途中遇到障碍时每次都询问操作者如何处理。
2、背景：人机交互
人机交互最初是与工厂的机器人平台的遥控相联系。Sheridan谢里登[21]远程机器人定义为：“对机器人直接的和持续的人工控制”或“能加强一个人感应和（或）对远离自身的位置的控制能力”。无论距离的远近，他通过监控任何半自动的系统来区分远程计算机的远程机器人或监督控制。谢里登认为人机交互应包括远程机器人。人机交互通常是用来表示一个计算机应用程序及其相关文件的对象被操纵，而不是通过计算机控制一个物理系统。
人机交互（HRI）可以脱离偏远平台的遥控，并允许机器人进行一些自主行为。这可以从机器人响应来自人工调整的极其精确的命令，发展为更先进的由用户提供起点到终点的规划和执行路径的机器人系统。由于机器人（知觉，推理，规划）领域的发展，该机器人能使半自动系统可行，人机互动的概念在过去的十年成为了可能。
一个国家科学基金会/美国能源部的IEEE研讨会[19，2]查明了人机界面和智能机器助理的问题。这些问题包括：
人类与多个半自治机器交互的有效方法
能适应正在执行的不同功能的界面和互动
基德（kidd）[16]指出，机器人系统始终需要人的技巧。基德认为，设计者应使用机器人技术，以支持和提高人类的技能，而不是用机器人的技能代替人类的技能。他认为开发和利用机器人技术能使人类的技能和能力变得更加有效和富有成果的，就如将人类从日常的或危险的任务中释放一样。他指出，机器人的研究人员往往把重点放在由立法要求的问题，如安全，而以人为本的设计问题大多被忽视。基德认为，人机交互中以人为本的设计需要超越技术问题，并且考虑诸如人机之间的任务分配;安全;群体结构等问题。这些问题必须在技术设计的初期阶段考虑到。如果他们只考虑到最后阶段，这些问题将变得次要而且对设计思路的影响很小。Fong,Thorpe,andBauer[11]指出，很明显，如果人类和机器人相互合作，将得到益处。但是，合作伙伴们必须进行对话，询问对方，共同解决问题。他们提出了系统的协同控制，该控制提供了最好的方面的监督控制，而不需要用户在一个重要的窗口时间内进行干预。在协同控制中，人类提供建议，但该机器人可以决定如何使用人的意见。这并不是说，机器人拥有最后权力，而是机器人执行人类制定的更高层次的战略的过程中有一些自由。如果用户能够提供相关的意见，机器人可以采取这一行动。但是，如果用户无法在所需的时间内提供意见，机器人将使用默认的行为做出反应。协同控制只有在机器人具有自我意识，能自力更生，拥有对话能力和适应性的条件下才可行。因此执行协作控制系统需要对话管理和用户模型。
希尔[14]指出，重要的是，HRI的研究应包括人的因素，如多学科小组的从业人员。还应当强调指出，HRI不仅仅包括一个聪明的用户界面。要真正制定协同团队,就有必要考虑人类和机器人的技能，并且开发一个能使各方充分利用他们的技能的整体系统。今天要赋予机器人平台动态性质更具有挑战性。我们需要以这样的一种方式设计HRI，这种方式在今天是有用的，但完全有能力随着机器人性能的发展而不断发展。
机器人研究人员经常使用术语人机干预代替人机互动。对于拥有以计划为依据的能力的机器人系统，术语干预在一个人需要修改有缺陷的计划或者当机器人目前无法执行计划的某些方面的情况下使用。机器人进行预先的行为无疑是一个理想的活动（例如，清洁厨房地板，看周边，为了X检查三楼的所有房间），更加紧密地结合人类、机器人的团队同样需要自发性的互动。本文使用的“人机互动”来指整个领域的研究小组和机器人，包括对一部分人或机器人的干预。我使用“干预”来区分这些情况：机器人的预期行动没有正确得到目前的形势和用户要么修改计划；给予执行计划的指导；或者给予机器人更多具体的修改行为。
3.人与计算机的交互
在介绍中，我列举了六个方面说明HRI与传统的人与计算机的交互是根本不同的。建立HRI框架模型的第一步就是决定以往的人机交互研究中如果有的话什么是合适的。人机交互的一个模型是诺曼的交互的七个阶段。[18]诺曼考虑以下七个阶段：
1.目标的制定——考虑你想要完成什么目标。
2.意图的构想——更加明确地思考怎样才算是完成了目标。
3.行为的详细计划书——决定哪些行为是执行意图时必须的，然后一个一个的执行这些行为。
4.执行行动——实际执行这些行为。在计算机术语中这就是选择需要的命令然后具体执行。
5.对系统状态的认知——用户随后就必须评估在指定和执行的行为的基础上发生的结果。在评估部分用户必须注意发生了什么。
6.阐述系统状态——对系统状态有所认知以后，用户现在必须运用他对系统的知识来解释发生了什么。
7.成果评估——现在用户要像认知和解释系统状态一样将系统状态与当初的意图作比较来确定是否在取得进步以及接下来需要做什么。
这七个阶段不断进行重复直到用户意图或目标达到或者用户决定修改意图或目标。
图1：诺曼的HRCI模型
诺曼定义了两个与这七个阶段有关的问题：执行的鸿沟和评价的鸿沟。执行的鸿沟是用户意图和系统所允许的行为的不匹配。评估的鸿沟是指系统的表现与用户期望的不匹配。这与失败发生的四个关键点相符合。用户可能会计划一个无法完成的目标或者可能不知道怎样具体执行某一特定行为或者可能不能正确定位交互对象，这些都会导致执行鸿沟。系统不恰当的或者误导性的回馈可能会使用户错误地阐述系统状态从而导致评估的鸿沟。
4.人与计算机交互的理论
4.1.互动情景的水平
首先需要一个假设。在我们的人与机器人的理论中我们关注的是独立的或是团体中的半自制移动机器人。谢里丹[21]强调了5个管理功能：计划要做什么工作以及如何去做；指导计算机去做或为其设定程序；监控自动操作以探测失误；在遇到麻烦或期望目标一旦完成用户需要对它进行控制时实行干预指定一个新的目标；从经验中学习。在我们的理论中我们关注的是干预和制定行为的依据。我们假设已经为计算机计划安排了需要执行的基本功能和干预过程中任何可能需要重复计划。因为在我们的理论最初的形式中我们没有考虑要学习机器人的部分或者是人的部分。接下来的描述解释了HRI角色。
一个护理老人的设施已经部署了大量的机器人来帮助照看居民。管理员监督着分发给全国各地的工厂的机器人，并确保该机器人的正常运作和居民要么被关注或正在照顾-无论是由一个机器人或由一个人照顾。很多护理员都是计算机操作的专家而且按照他当时的职责做一些需要的助理工作。操作者可能使用一个例如PDA之类的移动设备来调整机器人软件中的参数。老人护理设施同时需要一个在需要时调整机器人物理能力例如摄像机调整的技工。护理机器人可以帮忙完成一些常规工作，例如喂食和传递物品给居民以及协助居民在设施中的各个场所移动。监测机器人监视着居民而且有传输回录像带的功能，同时可以将紧急情况的警报发送给管理者或者附近的人类护理员。大多数情况下人类和机器人护理员作为一个团队工作。人类护理员可以覆盖预置的行为来让机器人协助一些更关键的情形，例如在紧急情况——例如驻地崩塌等——发生时将居民转移到房间的另一个位置。机器人与居民和设施拜访者等可能不清楚它们功能的人进行交互。
我们能从这个设想中得到什么？首先，交互水平之间的界限是非常模糊的。监控者可以接管操作者的角色如果监控者有必要的周期这么做的话。这可能比通知指定操作员并把任务交给他要有效率。小组成员可以在监控者的意图下命令机器人。那些只了解一点或完全不知道机器人能力和没有进过电脑显示器了解机器人数据的旁观者将与机器人具有一定水平的交互。所有不同的交互角色都可能同时出现，同一个人或者不同的人可能用时承担不止一个角色。
4.2.HRI模型
HCI模型哪些部分的改变有必要用来描述HRI模型？下面的章节包含了可能的多种HRI角色间的交互模型。
4.2.1.监控交互。监控角色具有与管理者相同的特点并控制着整个形势。这可能意味着大量的机器人都被监测着，而且监控者将会对所给的有关需要执行的目标的情况进行评估。对于那些拥有规划系统的机器人，目标和意图都已经包含在规划系统中，然后机器人软件基于对现实世界的认知生成了它的行为。监控者可以介入并执行行动或者修改计划。在每种情况下，目标和意图的一些通常的代表性是必需的，这样，监控者才能指定某个干预在长期计划中的效应。
图二包含了一个建议的监控者与机器人交互的模型，由于大部分行为都是由机器人软件自动生成的，模型中主要的环节是认知/评估环节。监控者在行为和意图层面的交互也必须被支持。注意对于一个复合的自动化系统，监控者必需管理所有平台上的数据。图2表明对于监控者来说人与机器人交互是很大程度上以感知为基础，而且交互需要同时被行为和意图层面所支持。
4.2.2操作者交互。操作者是当机器人行为不可接受时被号召来修改内部软件或者模型的。操作者主要是在行为层面处理交互——操作者允许进行的行为。指导者就有必要决定这些行为是否在被执行以及这些行为是否符合长期目标。
图2：HRI模型——监控角色
假设检测角色可以正式的改变意图或者长期目标——并非在操作层。
图3：HRI模型——操作者角色
4.2.3技工交互：技工主要处理的是物理上的交互，不过技工还是有必要决定交互是否对行为有预期影响。所以，这个模型与操作者模型很相似，所不同的是当硬件被修改时需要对软件行为测试并对软件和硬件进行观察确保现在的行为是正确的。
4．2.4同级交互：机器人的团队成员可以在较大的意图或目标下给它们下达命令，因为我们遵循同样的假设——只有监控才有更改大的目标和意图的权力。这条假设是建立在需要修改目标和计划的时候。尽管拥有好的人机界面，团队成员可能还是没有去实现这些交互的必要时间。如果有的话，他们肯定可以转换到监测角色。
图四：HRI模型-技工角色
图五：HRI模型-同伴角色
图五中的模型表明建议的同伴交互模型。我们建议这种交互模型应该在比操作者交互所允许的行为级别更高的情况下发生的。团队中的人类成员在更加高级的交互条件下相互交流——而不是在低级行为的条件下。在同级角色中，例如跟我来，向左急转弯，等我过去之类的术语是人类与机器人之间对话的合理的单位。在这种情况下，直接观察是评估中或许会使用的感性输入方法。在行为没有被正确执行的情况下，同伴角色可以选择转换为操作者模型或者是将任务移交给更加具有操作者品质的人。
4.2.5旁观者角色。最后一个角色是旁观者。前期我们有这样一个有趣的问题：当机器人适应这个角色时旁观者是否会被分配一系列的交互？由于这个模型，我们假设这个是真的。例如旁观者可能会由于在机器人前面行走而引起机器人停止。
图六：HRI模型-旁观者角色
在这个模型中，旁观者只有一个可用行为的集（集合A），她不能在目标或意图级别进行干预，反馈必须可以直接观察到，最大的挑战是怎样提醒旁观者对于在她控制下的机器人的操作能力。这儿不太可能有典型的显示，有关情感和社会的研究在这是适用的[4,5]。
4、情景认知
鉴于第四段所提到的人与机器人的交互模型，一个问题是如何评价人--机器人的交互。在所有的模式中，知觉步骤是很有必要的。在这么多的任务中，不仅有必要了解行为发生以后的机器人系统状态，也有必要了解对诺曼的七个阶段的阐释和部分评价。这有助于我们了解指定的行为相对于实际实施的行为时可能发生的错误匹配。
第二个问题是人与机器人交互系统性能从用户交互设计性能和实际界面中的分离。由于机器人的物理性能和融合了感知、学习和规划的先进软件，执行中的失败不可能归因于用户的交互问题而可能归因于机器人软件系统或者机器人的感官系统故障。
所以我们计划分两个阶段完成对人--机器人交互的评价。我们将对从交互设计里的干预部分中分离出来的模型感知部分进行评价，也将从实际的人--机器人系统的实现中分离出这两项内容。本文没有干预部分的评价因为它是基于当前的可用性评价方法。对于模型中感知部分的评价将以评估情景意识为基础。
然而，交互中的每个阶段都需要一个不同的角度和不同的情景意识。这些问题将在详细设计被提及的人--机器人交互系统任务的章节中进行讨论。作为背景，有必要了解情景意识以及评估情景意识的方法和测量工具。
情景意识[9]是发生在你周围的认知。在这里定义的含义是，你知道为了获取情景意识哪些重要信息是要去注意的。试想你晚上驾车回家，行驶在高速公路和市区街道上时，有很多你药注意的信息。你很可能没有注意到有人给他们的房子漆了一个新颜色，但是如果一辆车停在那座房子前面准备驶到公路上，你就会注意到。情景意识[8]里有三个情景意识阶段，它们与诺曼的人--计算机交互模型中的不同评估阶段相对应。
情景意识中的第一阶段是以知觉暗示为基础。你必须感知到重要信息，以便能够继续进行。感知信息的失败可以是系统的不足造成的，也可以归因于用户的认知失败。
情景意识中的第二阶段是理解或整合多种信息并确定用户想要实现其目标的相关性的能力，这在诺曼的七个阶段里面也相当于理解和部分评价内容。
如果能够基于对现状的知觉和理解预测未来局势和动态就能进入第三阶段，这对应着评估和制定迭代以及诺曼理论的规范阶段。
当性能和情景认知有关系时，并不是直接相关的。有人到达第三阶段情境认知但仍然不能表现良好是完全可能的。这在诺曼的行为阶段里非常明显——当然没有正确执行的其他理由也是可能的。这些原因可能是由于系统设计不佳也有可能是用户的认知失误。直接的对系统的在特定情景背景下的表现测量是测量情景认知的一种方法，但只有在表明表现只依赖于情景认知时适用。可以克服这点的直接系统测量方法是将一些中断引入系统，例如一个完全不切实际的格局，然后测量用户发现异常的时间。
最常用的测量情境认知的方法是利用查询直接进行实验[8]。任务被冻结，一些问题决定了用户当时的情境认知，然后任务被恢复。情境认知全球评估技术(SAGAT)工具作为这种方法的测量仪器被开发出来了[6]。SAGAT工具运用一种针对目标的工作分析建立一个对整个领域或者针对特定目标和分目标的情境认知需求的列表。接下来就需要提出问题，用这种方法来时操作者的责任最小。例如，如果用户被问到特定机器人的身份，问题中可能用位置来显示机器人而不是回答用户一个名字或者一段特定描述。多种身份的选择可以用选项的方式来显示而不是依靠用户来制定一个反应，而这个反应可能不包含在多变的需求中。
5.2情景意识对人与机器人交互角色的要求
正如前文所述，不同的人与机器人交互准则对情景意识有互异的要求。在以下各节，我们将动议假设为适合多种准则的信息，同时使用数种资源作为指导。首先，将
试图寻找相应的域和使用成功的互动设计作为第一基础。其次，我们将为每个角色使用主题专家（如可用）来核实相关信息。在特定情况下（特别是节点和旁观者的角色）我们将进行一些实验来收集必要的信息。基于此等知识，我们将组建情景意识评估工具和用户接口。使用情况意识评估工具，我们将导出一个基本标准来应对若干情况。人与机器人交互研究人员将能够利用我们的用户接口和评估工具，以评估他们工作。
5.2.1
监控角色
我们假设监控接口位于远程位置。监控者需要下列信息：
-局势概述，包括多平台进展状况
-任务或工作计划
-目前的机器人的任何行为，包括可能需要中断的偏差
-其他在她控制下与机器人的交互，包括机器人之间的交互
一个相应的人机交互领域是较为复杂的监控设备[22]。其源于物理显示设备。起初的设备只是对应与一个传感器或执行器的灯或开关。然后再显示在物理面板中。当这些显示器切换到基于计算机的显示屏，一个单一的显示器便无法显示的所有信息。这产生了锁孔效应——即问题是最有可能出现在一个当前未观察的显示设备中。
复杂的监测设备的另一个问题是如何说明什么“正常”的。这在系统的物理能力发生变化且监控者需要知道任何时间下机器人的“正常”状态也是十分必要的。另一个问题是：单一的设备可能没有，而现有的设备相互间的问题。显示器应支持不仅是问题驱动的监测，而且当监控者积极寻求现状或任务的信息时知识驱动监测的相关知识内容。
由于在复杂监控装置中包含大量信息，用户应有适当策略来以减少认知的需求。这些策略包括关掉无意义报警来降低噪声，记录底限状况，创造外部线索，并提醒监控各个部分。复杂系统的基于计算机的显示器为用户提供更大的灵活性来以不同形式浏览信息。但是，操纵接口时间和任何为因为灵活性增大致使的性能提升需要由一个折中策略。
我们认为在产生复杂监控系统时的所学到的经验可以作为人与机器人交互的监控接口的起点。此外，不涉及到复杂系统的基础人与机器人交互所研究的问题包括：
-需要哪些信息来给予机器人队伍一个概述
-是否可以创建一个机器人队伍通用模型，且其是否有用
-什么（如果有的话）形式的个体机器人通用模型是有用的
-当其他交互角色发生时如何提醒
-中断分配策略
情境意识的标识将基于监控者在一系列情况下的角色（如前所述）来制定。一个初步关于可能的情景意识的标识的假设包括：
-哪些机器人有其他的交互进行
-哪些机器人的工作能力降低
-机器人目前正在进行的任务和行为的类型
-任务现状
5.2.2操作者交互
我们假设这将是一个远程交互或一个发生在交由用户的认知要求在任何情况下均为透明的环境中。我们也将假设操作者有外部设备来作为与机器人交互的接口。操作者必须是一个熟练的用户，懂得机器架构知识和机器编程。如果机器人具有被遥操作的能力，则
操作者可有控制权。这是最常规的人与机器人交互角色。同时，随着机器人能力和角色的扩展。此角色可支持在更复杂环境中的交互。
我们假设操作者需要如下信息：
-机器人的通用模型
-机器人的计划
-任何机器人传感器的现状
-其他正在发生的交互
-任何等待操作者处理的工作（可能涉及多个机器人）
-任何对计划或交互的调整所带来的影响
-任务概况和任何时间限制
墨菲和罗杰斯[17]说明无线系统的三个缺点：
-操作者的预知和中断需要一个高交流带宽
-源于重复任务的认知疲劳
-给处理器的海量数据和大量同步操作
墨菲和罗杰斯提出的无线协助模式包括一个基本的合作援助架构，加入传感器融合的影响来支持，有着眼于用户注意的使用相关技术的知识的视觉交互自主机器人的的运动行为。
5.2.3机械工角色
因交互着重于机器人平台的物理特性，机械工必须与机器人相互联系。机械工将需要调整一些机器人物理方面的问题，然后检验相关行为来确定问题是否已经得到解决。机械工需求下列信息：
-什么是失败的行为，以及如何
-机械部件和传感器的任何设置信息
-关于各种传感器的行为的相关软件设置
此外，机械工需要一种在机器人“离线”的时进行测试的方式。此处的一个问题时接口的性质。应使用外部设备还是机器人硬件支持来获取信息？我们已经推知，自动诊断和修复域都可能在检测相关方式时有用。目前我们还没有在文献上确认其有用，但我们计划在将来这一领域进行有关观察统计。
5.2.4同伴角色：我们假设交互是面对面发生的，这是交互最常见的类型。我们运用同伴、队员等术语并不是为了暗示机器人和人人是平等的而是说每一个都对应于他们的能力对团队有贡献。最终的控制随着用户—团队成员或者监控者—而停止。问题是用户（这儿是指同伴角色）怎样从机器人得到关于它对环境的认知和正在执行的行为的反馈。在人与人组成的团队中这种反馈是通过交流和观察进行的。现有的研究[4,5]着眼于机器人该怎样显示信息并反馈给使用者。Bruceet.Al强调普通人应该能够解释机器人给予的信息而且机器人必须以社会中正确的行为方式来在社会中进行可用的交互。BreazealandScassellati[4]应用感性输入并利用其对刺激的不同反应将其分为社交刺激和非社交刺激。
有关服务性机器人的早期工作说明了为了成功进行同伴交互必须调查的一些问题。[10]着眼于对移动远程机器人使用指令和控制词汇，包括自然语言界面。他们发现用户需要随时知道可以使用哪写指令。如果我们确定想要用能用于显示机器人的难以用机器人的姿势来显示的附加信息的分离的设备是不可能的，这将是富有挑战性的。
我们打算进行调查研究结果融合了倡议口语系统作为机器人与用户之间的交流和理解的基础。我们假设团队成员需要的信息包括：
²其他还有什么交互正在发生
²机器人现在的状态和角色是什么
²机器人的工作模型是什么
²什么行为对现在的机器人是可能执行的
另外的有趣的挑战还包括团队可以操作的机器人的距离。我们运用其他交流设备来在远处使人—人团队运转。机器人队员的限制和需求是什么？
5.2.5.旁观者角色：这也许是交互中最困难的角色，即使旁观者只拥有最有限的交互。正如我们的场景描述中所说，旁观者角色原则上关注的是与机器人同时存在相同的环境。一个旁观者可能是搜索和营救机器人在瓦砾中发现的。受害者可能发现机器人给他提供水和空气并将它的位置报告给营救队。或者一个旁观者可能就是一个简单的从自动驾驶汽车前经过的驾驶员。什么是这些旁观者需要知道的？在这种情况下的大部分司机需要得到确定这个自动机器与大部分有执照的司机一样拥有娴熟的技术。对旁观者的界面最有可能受到行为迹象形式限制：一个机器人“微笑”或者机器人某部分的行为，例如在高速公路上保持在正确的车道，给了旁观者一个权限说明[4，5]。我们需要有关机器宠物和服务性机器人（例如修剪草坪机器人）的新实验来帮助确定要使与机器人处于同一环境中的旁观者感到舒适需要哪些信息。
旁观者可能拥有的是一个非常有限的情景评估。我们要确定旁观者是否了解：
²什么引起了机器人现在的行为（环境因素，旁观者行为，外加力）
²机器人接下来要做什么，特别是对旁观者执行的行为
²机器人可以实现的行为范围
²如果有的话，哪些行为可以由旁观者引起
5.结论
我们建议将人与机器人的交互分为5种类型，每种需要不同的信息并适于五种不同用户使用。在我们的研究中，我们将建立一系列特定的场景，然后对每一个设想建议的人机交互类型做一个基于任务的分析。然后我们将要建立一个为不同角色设计的基线界面和一个情景评估测量工具。我们建议进行大量的用户实验然后使结果广泛可用。其他HRI研究可以再次使用相同的实验设计，使用户界面或者用户可用的信息不同，然后将这些结果与基线结果相比较。最初我们的工作将集中在驾驶领域中监控角色，研究的一个挑战是不同领域间能产生什么。例如我们是否能将在驾驶领域所学的东西应用到搜寻或营救工作中。
我们在这个领域的工作是学科。我们不仅需要考虑用户界面的问题，而且必须确定必要的信息对用户是可用的。这就需要计算机、软件以及建筑学专家的协调。我们在本文中集中于用户和他需要的信息。然而，要达到一个成功的协调团队，向机器人提供用户的信息以及为团队交流建立对话空间是必要的。我们将从集中于用户信息调查开始，但是将要将我们的研究拓展到同时包含用户信息的捕获和利用。
鸣谢
这项工作由DARPAMARS计划赞助。
参考文献【略】
本文来源：人机认知与实验室
C2返回搜狐，查看更多