当人类共同完成联合任务时，每个人都会建立一个情况的内部模型以及如何发展。有效的协作取决于这些单个模型如何重叠以在团队成员之间形成共同的心理模型，这对于人类机器人团队中的协作流程很重要。准确的共享心理模型的发展和维护需要个人意图的双向交流以及解释其他团队成员意图的能力。为了实现有效的人类机器人协作，本文介绍了人类机器人团队合作中新型联合行动框架的设计和实施，利用增强现实（AR）技术和用户眼目光来实现意图的双向交流。我们通过与37名参与者的用户研究测试了我们的新框架，发现我们的系统提高了任务效率，信任和任务流利。因此，使用AR和眼睛凝视使双向交流是一种有前途的平均值，可以改善影响人与机器人之间协作的核心组成部分。

人类在交流何时和何时发生的何时和何处的意图方面非常熟练。但是，即使是最先进的机器人实现，通常缺乏这种交流技巧。这项研究调查了使用增强现实的机器人内部状态的可视化和对人向机器人移交的意图。具体而言，我们探讨了对象和机器人抓手的可视化3D模型的使用，以传达机器人对物体所在位置的估计以及机器人打算掌握对象的姿势。我们通过16名参与者的用户研究测试了这一设计，其中每个参与者将一个立方体对象交给机器人12次。结果表明，通过增强现实的通信机器人意图基本上改善了用户对移交的感知体验。结果还表明，当机器人在定位对象时犯错时，增强现实的有效性对于相互作用的安全性和交互的流利性更加明显。

本文对人机对象切换的文献进行了调查。切换是一种协作的关节动作，其中代理人，给予者，给予对象给另一代理，接收器。当接收器首先与给予者持有的对象并结束时，当给予者完全将物体释放到接收器时，物理交换开始。然而，重要的认知和物理过程在物理交换之前开始，包括在交换的位置和时间内启动隐含协议。从这个角度来看，我们将审核构成了上述事件界定的两个主要阶段：1）预切换阶段和2）物理交流。我们专注于两位演员（Giver和Receiver）的分析，并报告机器人推动者（机器人到人类切换）和机器人接收器（人到机器人切换）的状态。我们举报了常用于评估互动的全面的定性和定量度量列表。虽然将我们的认知水平（例如，预测，感知，运动规划，学习）和物理水平（例如，运动，抓握，抓取释放）的审查重点，但我们简要讨论了安全的概念，社会背景，和人体工程学。我们将在人对人物助手中显示的行为与机器人助手的最新进行比较，并确定机器人助剂的主要改善领域，以达到与人类相互作用相当的性能。最后，我们提出了一种应使用的最小度量标准，以便在方法之间进行公平比较。

最后，这项工作将包括对解释的上下文形式的调查。在这项研究中，我们将包括一个时间障碍的方案，其中将测试不同水平的理解水平，以使我们能够评估合适且可理解的解释。为此，我们提出了不同的理解水平（lou）。用户研究将旨在比较不同的LOU在不同的互动环境中。将研究同时医院环境的用户研究。

虚拟现实（VR）技术通常用于娱乐应用中；但是，它也已在我们生活的更严重方面（例如安全）中部署在实际应用中。为了支持在危险行业工作的人们，VR可以确保操作员操纵标准化的任务并协作以应对潜在的风险。令人惊讶的是，很少的研究重点是人们如何在VR环境中进行协作。很少有研究注意运营商在其协作任务中的认知负荷。一旦任务要求变得复杂，许多研究人员将专注于优化相互作用界面的设计，以减少操作员的认知负载。这种方法可能是有价值的。但是，它实际上可以使操作员承受更重要的认知负担，并可能导致更多的错误和协作失败。在本文中，我们提出了一个新的协作VR系统，以支持在VR环境中工作的两个遥控器，以远程控制未螺旋的地面车辆。我们使用比较的实验来评估协作VR系统，重点是在任务和操作总数上花费的时间。我们的结果表明，在两人组中，操作过程中的过程和操作过程中的认知负荷总数明显低于单人组。我们的研究阐明了设计VR系统的启示，以支持有关远程运营商工作流程的协作工作，而不是简单地优化设计成果。

框架已开始出现，以对提供沉浸式，直观的接口提供沉浸式，直观的界面的虚拟，增强和混合现实（VAM）技术来促进人机互动。然而，这些框架未能捕获VAM-HRI的生长子场的关键特性，并且由于连续尺度而难以持续应用。这项工作通过创建用于组织VAM-HRI系统（TOKC）的关键特征来构建这些先前的框架。 Tokcs离散地分离出现在先前作品中使用的连续尺度，以获得更一致的分类，并增加与机器人的内部模型，锚点位置，可操纵性和系统的软件相关的额外特征。为了展示工具的能力，TOKCS应用于来自第四届VAM-HRI车间的十篇论文，并检查了关键趋势和外卖。这些趋势突出了TOKCS的表现能力，同时还帮助框架更新的趋势和VAM-HRI研究的未来工作建议。

工业机器人的机器人编程方法是耗时的，并且通常需要运营商在机器人和编程中具有知识。为了降低与重新编程相关的成本，最近已经提出了使用增强现实的各种接口，为用户提供更直观的手段，可以实时控制机器人并在不必编码的情况下编程它们。但是，大多数解决方案都要求操作员接近真正的机器人的工作空间，这意味着由于安全危险而从生产线上移除它或关闭整个生产线。我们提出了一种新颖的增强现实界面，提供了用户能够建模工作空间的虚拟表示，该工作空间可以被保存和重复使用，以便编程新任务或调整旧任务，而无需与真正的机器人共同定位。与以前的接口类似，操作员随后可以通过操纵虚拟机器人来实时地控制机器人任务或控制机器人。我们评估所提出的界面与用户学习的直观和可用性，其中18名参与者为拆卸任务编写了一个机器人操纵器。

从事协作活动的人类自然能够通过多模式交流将其意图传达给队友，这是由明确和隐性的提示组成的。同样，可以通过使机器人能够通过多个沟通渠道将其意图传达给人类队友，从而实现更自然的人类机器人协作形式。在本文中，我们假设如果协作机器人能够以直观的方式将他们的动作预期到人类队友，则可以进行更好的沟通。为了支持这种说法，我们提出了一个机器人系统的架构，通过该架构，机器人可以通过该架构将计划的动作传达给人类队友，以利用由现代头部安装的显示器提供支持的混合现实接口。具体而言，在人类队友的角度叠加到真正的机器人的机器人全息图显示了机器人的未来运动，使人类可以事先理解它们，并可能以适当的方式对它们做出反应。我们进行了初步的用户研究，以评估复杂的协作任务中提出的预期可视化的有效性。实验结果表明，通过采用这种预期的沟通模式可以改善和自然的协作。

机器人越来越多地部署在与人类共享的空间中，包括家庭环境和工业环境。在这些环境中，人与机器人之间的相互作用（HRI）对于安全性，可读性和效率至关重要。 HRI的一个关键因素是信任，它调节了系统的接受。已显示拟人化可以调节机器人的信任发展，但工业环境中的机器人通常不是拟人化的。我们在工业环境中设计了一个简单的互动，在该环境中，拟人化模拟驱动器（ARMOD）机器人模拟了自动驾驶汽车（AGV）。该任务由与AGV的人类交叉路径组成，有或不带有狭窄的走廊上安装在顶部。人类和系统在越过路径时需要协商轨迹，这意味着人必须关注机器人的轨迹，以避免与它发生碰撞。在存在ARMOD的情况下，报告的信任评分有显着的增长，表明拟人化机器人的存在足以调节信任，即使在有限的相互作用中，就像我们在这里提出的相互作用一样。

人类代理团队，这是一个问题，其中人类和自治机构合作实现一项任务，是人类AI协作的典型。为有效的合作，人类希望有一个有效的计划，而是在现实的情况下，他们可能难以计算由于认知限制的最佳计划。在这种情况下，具有许多计算资源的代理的指导可能是有用的。但是，如果代理人明确指导人类行为，人类可能会觉得他们已经失去了自主，并由代理商控制。因此，我们调查了通过代理人行为提供的隐性指导。通过这种指导，代理商以一种方式使人类能够易于找到合作任务的有效计划，然后可以改善计划。由于人类自愿改善了他们的计划，他或她保持自治。我们通过将贝叶斯思想理论集成到现有的协作规划算法中并通过行为实验进行了模拟了一个具有隐含指导，并通过隐性指导的行为实验证明了使人们能够在改善计划和保留自治之间保持平衡。

人类机器人协作组装系统提高了工作场所的效率和生产力，但可能会增加工人的认知需求。本文提出了一个在线和定量框架，以评估与同事的互动，即人类运营商或具有不同控制策略的工业协作机器人所引起的认知工作量。该方法可以监视操作员的注意力分布和上身运动学，从而受益于低成本立体声摄像机和尖端的人工智能算法的输入图像（即头姿势估计和骨架跟踪）。三种实验场景具有工作站特征和互动方式的变化，旨在测试我们在线方法的性能，以防止最新的离线测量。结果证明，我们基于视觉的认知负荷评估有可能将其集成到新一代的协作机器人技术中。后者将使人类的认知状态监测和机器人控制策略适应改善人类舒适，人体工程学和对自动化的信任。

This article presents a survey of literature in the area of Human-Robot Interaction (HRI), specifically on systems containing more than two agents (i.e., having multiple humans and/or multiple robots). We identify three core aspects of ``Multi-agent" HRI systems that are useful for understanding how these systems differ from dyadic systems and from one another. These are the Team structure, Interaction style among agents, and the system's Computational characteristics. Under these core aspects, we present five attributes of HRI systems, namely Team size, Team composition, Interaction model, Communication modalities, and Robot control. These attributes are used to characterize and distinguish one system from another. We populate resulting categories with examples from recent literature along with a brief discussion of their applications and analyze how these attributes differ from the case of dyadic human-robot systems. We summarize key observations from the current literature, and identify challenges and promising areas for future research in this domain. In order to realize the vision of robots being part of the society and interacting seamlessly with humans, there is a need to expand research on multi-human -- multi-robot systems. Not only do these systems require coordination among several agents, they also involve multi-agent and indirect interactions which are absent from dyadic HRI systems. Adding multiple agents in HRI systems requires advanced interaction schemes, behavior understanding and control methods to allow natural interactions among humans and robots. In addition, research on human behavioral understanding in mixed human-robot teams also requires more attention. This will help formulate and implement effective robot control policies in HRI systems with large numbers of heterogeneous robots and humans; a team composition reflecting many real-world scenarios.

机器学习的最新进展导致人们对可解释的AI（XAI）的兴趣越来越大，使人类能够深入了解机器学习模型的决策。尽管最近有这种兴趣，但XAI技术的实用性尚未在人机组合中得到特征。重要的是，XAI提供了增强团队情境意识（SA）和共享心理模型发展的希望，这是有效的人机团队的关键特征。快速开发这种心理模型在临时人机团队中尤其重要，因为代理商对他人的决策策略没有先验知识。在本文中，我们提出了两个新颖的人类受试者实验，以量化在人机组合场景中部署XAI技术的好处。首先，我们证明XAI技术可以支持SA（$ P <0.05）$。其次，我们研究了通过协作AI政策抽象诱导的不同SA级别如何影响临时人机组合绩效。重要的是，我们发现XAI的好处不是普遍的，因为对人机团队的组成有很大的依赖。新手受益于XAI提供增加的SA（$ P <0.05 $），但容易受到认知开销的影响（$ P <0.05 $）。另一方面，专家性能随着基于XAI的支持（$ p <0.05 $）而降低，这表明关注XAI的成本超过了从提供的其他信息中获得的收益以增强SA所获得的收益。我们的结果表明，研究人员必须通过仔细考虑人机团队组成以及XAI方法如何增强SA来故意在正确的情况下设计和部署正确的XAI技术。

人类可以利用身体互动来教机器人武器。当人类的动力学通过示范引导机器人时，机器人学习了所需的任务。尽管先前的工作重点是机器人学习方式，但对于人类老师来说，了解其机器人正在学习的内容同样重要。视觉显示可以传达此信息；但是，我们假设仅视觉反馈就错过了人与机器人之间的物理联系。在本文中，我们介绍了一类新颖的软触觉显示器，这些显示器包裹在机器人臂上，添加信号而不会影响相互作用。我们首先设计一个气动驱动阵列，该阵列在安装方面保持灵活。然后，我们开发了这种包裹的触觉显示的单一和多维版本，并在心理物理测试和机器人学习过程中探索了人类对渲染信号的看法。我们最终发现，人们以11.4％的韦伯（Weber）分数准确区分单维反馈，并以94.5％的精度确定多维反馈。当物理教授机器人臂时，人类利用单维反馈来提供比视觉反馈更好的演示：我们包装的触觉显示会降低教学时间，同时提高演示质量。这种改进取决于包裹的触觉显示的位置和分布。您可以在此处查看我们的设备和实验的视频：https：//youtu.be/ypcmgeqsjdm

从制造环境到个人房屋的最终用户任务的巨大多样性使得预编程机器人非常具有挑战性。事实上，教学机器人从划痕的新行动可以重复使用以前看不见的任务仍然是一个艰难的挑战，一般都留给了机器人专家。在这项工作中，我们展示了Iropro，这是一个交互式机器人编程框架，允许最终用户没有技术背景，以教授机器人新的可重用行动。我们通过演示和自动规划技术将编程结合起来，以允许用户通过通过动力学示范教授新的行动来构建机器人的知识库。这些行动是概括的，并重用任务计划程序来解决用户定义的先前未经调查的问题。我们将iropro作为Baxter研究机器人的端到端系统实施，同时通过演示通过示范来教授低级和高级操作，以便用户可以通过图形用户界面自定义以适应其特定用例。为了评估我们的方法的可行性，我们首先进行了预设计实验，以更好地了解用户采用所涉及的概念和所提出的机器人编程过程。我们将结果与设计后实验进行比较，在那里我们进行了用户学习，以验证我们对真实最终用户的方法的可用性。总体而言，我们展示了具有不同编程水平和教育背景的用户可以轻松学习和使用Iropro及其机器人编程过程。

人类和机器人之间的物理互动可以帮助机器人学习执行复杂的任务。机器人臂通过观察人类在整个任务中指导它的方式来获得信息。虽然先前的作品专注于机器人如何学习，但它同样重要的是，这种学习对人类教师透明。显示机器人不确定性的视觉显示可能会传达此信息;然而，我们假设视觉反馈机制错过了人类和机器人之间的物理连接。在这项工作中，我们提出了一种柔软的触觉显示，它缠绕在机器人臂的表面并符合机器人臂的表面，在现有的触点点添加触觉信号，而不会显着影响相互作用。我们展示了软致动力如何产生突出的触觉信号，同时仍然允许在设备安装中的灵活性。使用心理物理学实验，我们表明用户可以准确地区分包裹展示的通胀水平，平均韦伯分数为11.4％。当我们在机器人操纵器的ARM周围放置包裹的显示器时，用户能够在样本机器人学习任务中解释和利用触觉信号，从而改善机器人需要更多培训的区域的识别，并使用户能够提供更好的演示。查看我们的设备和用户学习的视频：https://youtu.be/tx-2tqeb9nw

当代机器人主义者的主要目标之一是使智能移动机器人能够在共享的人类机器人环境中平稳运行。为此目标服务的最基本必要的功能之一是在这种“社会”背景下有效的导航。结果，最近的一般社会导航的研究激增，尤其是如何处理社会导航代理之间的冲突。这些贡献介绍了各种模型，算法和评估指标，但是由于该研究领域本质上是跨学科的，因此许多相关论文是不可比较的，并且没有共同的标准词汇。这项调查的主要目标是通过引入这种通用语言，使用它来调查现有工作并突出开放问题来弥合这一差距。它首先定义社会导航的冲突，并提供其组成部分的详细分类学。然后，这项调查将现有工作映射到了本分类法中，同时使用其框架讨论论文。最后，本文提出了一些未来的研究方向和开放问题，这些方向目前正在社会导航的边界，以帮助集中于正在进行的和未来的研究。

已知人类凝视是在操纵任务期间的潜在人类意图和目标的强大指标。这项工作研究人类教师的凝视模式证明了机器人的任务，并提出了这种模式可用于增强机器人学习的方式。使用Kinesthetic教学和视频演示，我们在教学中识别新颖的意图揭示凝视行为。这些在各种问题中被证明是从参考帧推理到多步任务的分割的各种问题。基于我们的研究结果，我们提出了两个概念验证算法，该算法表明，凝视数据可以增强多台任务的子任务分类，高达6％，奖励推理和策略学习，可为单步任务高达67％。我们的调查结果为机器人学习中的自然人凝视模型提供了基础，从演示设置上学习，并在利用人凝游来提高机器人学习的开放问题。

Large-scale data is an essential component of machine learning as demonstrated in recent advances in natural language processing and computer vision research. However, collecting large-scale robotic data is much more expensive and slower as each operator can control only a single robot at a time. To make this costly data collection process efficient and scalable, we propose Policy Assisted TeleOperation (PATO), a system which automates part of the demonstration collection process using a learned assistive policy. PATO autonomously executes repetitive behaviors in data collection and asks for human input only when it is uncertain about which subtask or behavior to execute. We conduct teleoperation user studies both with a real robot and a simulated robot fleet and demonstrate that our assisted teleoperation system reduces human operators' mental load while improving data collection efficiency. Further, it enables a single operator to control multiple robots in parallel, which is a first step towards scalable robotic data collection. For code and video results, see https://clvrai.com/pato

汽车行业在过去几十年中见证了越来越多的发展程度;从制造手动操作车辆到具有高自动化水平的制造车辆。随着近期人工智能（AI）的发展，汽车公司现在雇用BlackBox AI模型来使车辆能够感知其环境，并使人类少或没有输入的驾驶决策。希望能够在商业规模上部署自治车辆（AV），通过社会接受AV成为至关重要的，并且可能在很大程度上取决于其透明度，可信度和遵守法规的程度。通过为AVS行为的解释提供对这些接受要求的遵守对这些验收要求的评估。因此，解释性被视为AVS的重要要求。 AV应该能够解释他们在他们运作的环境中的“见到”。在本文中，我们对可解释的自动驾驶的现有工作体系进行了全面的调查。首先，我们通过突出显示并强调透明度，问责制和信任的重要性来开放一个解释的动机;并审查与AVS相关的现有法规和标准。其次，我们识别并分类了参与发展，使用和监管的不同利益相关者，并引出了AV的解释要求。第三，我们对以前的工作进行了严格的审查，以解释不同的AV操作（即，感知，本地化，规划，控制和系统管理）。最后，我们确定了相关的挑战并提供建议，例如AV可解释性的概念框架。该调查旨在提供对AVS中解释性感兴趣的研究人员所需的基本知识。