随着协作机器人进入工业商店的地板，物流和制造业，对人机互动的快速和灵活评估变得越来越重要。用于虚拟和增强现实的消费者耳机的可用性降低了虚拟环境的进入障碍。在本文中，我们探讨了使用此类环境在用户研究中模拟机器人的不同方面，并介绍了我们自己的研究工作的第一个发现。最后，我们建议在人类机器人相互作用中应用和使用模拟的方向。

机器人模拟一直是机器人领域研发的组成部分。模拟消除了通过启用机器人的应用测试来快速，负担得起的，而无需遭受机械或电子误差而进行机器人应用测试，从而消除了对传感器，电动机和实际机器人物理结构的可能性。通过虚拟现实（VR）模拟，通过提供更好的环境可视化提示，为与模拟机器人互动提供了更具吸引力的替代方法，从而提供了更严肃的体验。这种沉浸至关重要，尤其是在讨论社交机器人时，人类机器人相互作用（HRI）领域的子区域。在日常生活中，机器人的广泛使用取决于HRI。将来，机器人将能够与人们有效互动，以在人类文明中执行各种任务。在个人工作空间开始扩散时，为机器人开发简单且易于理解的接口至关重要。因此，在这项研究中，我们实施了一个使用现成的工具和包装的VR机器人框架，以增强社交HRI的研究和应用开发。由于整个VR接口是一个开源项目，因此可以在身临其境的环境中进行测试，而无需物理机器人。

框架已开始出现，以对提供沉浸式，直观的接口提供沉浸式，直观的界面的虚拟，增强和混合现实（VAM）技术来促进人机互动。然而，这些框架未能捕获VAM-HRI的生长子场的关键特性，并且由于连续尺度而难以持续应用。这项工作通过创建用于组织VAM-HRI系统（TOKC）的关键特征来构建这些先前的框架。 Tokcs离散地分离出现在先前作品中使用的连续尺度，以获得更一致的分类，并增加与机器人的内部模型，锚点位置，可操纵性和系统的软件相关的额外特征。为了展示工具的能力，TOKCS应用于来自第四届VAM-HRI车间的十篇论文，并检查了关键趋势和外卖。这些趋势突出了TOKCS的表现能力，同时还帮助框架更新的趋势和VAM-HRI研究的未来工作建议。

人类机器人相互作用（HRI）对于在日常生活中广泛使用机器人至关重要。机器人最终将能够通过有效的社会互动来履行人类文明的各种职责。创建直接且易于理解的界面，以与机器人开始在个人工作区中扩散时与机器人互动至关重要。通常，与模拟机器人的交互显示在屏幕上。虚拟现实（VR）是一个更具吸引力的替代方法，它为视觉提示提供了更像现实世界中看到的线索。在这项研究中，我们介绍了Jubileo，这是一种机器人的动画面孔，并使用人类机器人社会互动领域的各种研究和应用开发工具。Jubileo Project不仅提供功能齐全的开源物理机器人。它还提供了一个全面的框架，可以通过VR接口进行操作，从而为HRI应用程序测试带来沉浸式环境，并明显更好地部署速度。

工业机器人的机器人编程方法是耗时的，并且通常需要运营商在机器人和编程中具有知识。为了降低与重新编程相关的成本，最近已经提出了使用增强现实的各种接口，为用户提供更直观的手段，可以实时控制机器人并在不必编码的情况下编程它们。但是，大多数解决方案都要求操作员接近真正的机器人的工作空间，这意味着由于安全危险而从生产线上移除它或关闭整个生产线。我们提出了一种新颖的增强现实界面，提供了用户能够建模工作空间的虚拟表示，该工作空间可以被保存和重复使用，以便编程新任务或调整旧任务，而无需与真正的机器人共同定位。与以前的接口类似，操作员随后可以通过操纵虚拟机器人来实时地控制机器人任务或控制机器人。我们评估所提出的界面与用户学习的直观和可用性，其中18名参与者为拆卸任务编写了一个机器人操纵器。

MetaVerse，巨大的虚拟物理网络空间，为艺术家带来了前所未有的机会，将我们的身体环境的每个角落与数字创造力混合。本文对计算艺术进行了全面的调查，其中七个关键主题与成权相关，描述了混合虚拟物理现实中的新颖艺术品。主题首先涵盖了MetaVerse的建筑元素，例如虚拟场景和字符，听觉，文本元素。接下来，已经反映了诸如沉浸式艺术，机器人艺术和其他用户以其他用户的方法提供了沉浸式艺术，机器人艺术和其他用户中心的若干非凡类型的新颖创作。最后，我们提出了几项研究议程：民主化的计算艺术，数字隐私和搬迁艺术家的安全性，为数字艺术品，技术挑战等等的所有权认可。该调查还担任艺术家和搬迁技术人员的介绍材料，以开始在超现实主义网络空间领域创造。

虚拟现实（VR）技术通常用于娱乐应用中；但是，它也已在我们生活的更严重方面（例如安全）中部署在实际应用中。为了支持在危险行业工作的人们，VR可以确保操作员操纵标准化的任务并协作以应对潜在的风险。令人惊讶的是，很少的研究重点是人们如何在VR环境中进行协作。很少有研究注意运营商在其协作任务中的认知负荷。一旦任务要求变得复杂，许多研究人员将专注于优化相互作用界面的设计，以减少操作员的认知负载。这种方法可能是有价值的。但是，它实际上可以使操作员承受更重要的认知负担，并可能导致更多的错误和协作失败。在本文中，我们提出了一个新的协作VR系统，以支持在VR环境中工作的两个遥控器，以远程控制未螺旋的地面车辆。我们使用比较的实验来评估协作VR系统，重点是在任务和操作总数上花费的时间。我们的结果表明，在两人组中，操作过程中的过程和操作过程中的认知负荷总数明显低于单人组。我们的研究阐明了设计VR系统的启示，以支持有关远程运营商工作流程的协作工作，而不是简单地优化设计成果。

This article presents a survey of literature in the area of Human-Robot Interaction (HRI), specifically on systems containing more than two agents (i.e., having multiple humans and/or multiple robots). We identify three core aspects of ``Multi-agent" HRI systems that are useful for understanding how these systems differ from dyadic systems and from one another. These are the Team structure, Interaction style among agents, and the system's Computational characteristics. Under these core aspects, we present five attributes of HRI systems, namely Team size, Team composition, Interaction model, Communication modalities, and Robot control. These attributes are used to characterize and distinguish one system from another. We populate resulting categories with examples from recent literature along with a brief discussion of their applications and analyze how these attributes differ from the case of dyadic human-robot systems. We summarize key observations from the current literature, and identify challenges and promising areas for future research in this domain. In order to realize the vision of robots being part of the society and interacting seamlessly with humans, there is a need to expand research on multi-human -- multi-robot systems. Not only do these systems require coordination among several agents, they also involve multi-agent and indirect interactions which are absent from dyadic HRI systems. Adding multiple agents in HRI systems requires advanced interaction schemes, behavior understanding and control methods to allow natural interactions among humans and robots. In addition, research on human behavioral understanding in mixed human-robot teams also requires more attention. This will help formulate and implement effective robot control policies in HRI systems with large numbers of heterogeneous robots and humans; a team composition reflecting many real-world scenarios.

这项研究表明，预期和实际相互作用如何影响老年人的SAR量化量化。这项研究包括两个部分：在线调查，可通过视频观看SAR和接受研究的验收研究来探索预期的交互作用，其中老年人与机器人进行了互动。这项研究的两个部分均在Gymmy的帮助下完成，这是一种机器人系统，我们的实验室开发了用于培训老年人身体和认知活动的培训。两个研究部分都表现出相似的用户响应，表明用户可以通过预期的互动来预测SAR的接受。索引术语：衰老，人类机器人互动，老年人，质量评估，社会辅助机器人，技术接受，技术恐惧症，信任，用户体验。

本文介绍了素描的现实，这种方法结合了AR素描和驱动的有形用户界面（TUI），用于双向素描交互。双向草图使虚拟草图和物理对象通过物理驱动和数字计算相互影响。在现有的AR素描中，虚拟世界和物理世界之间的关系只是一个方向 - 虽然物理互动会影响虚拟草图，但虚拟草图对物理对象或环境没有返回效果。相反，双向素描相互作用允许草图和驱动的tuis之间的无缝耦合。在本文中，我们采用桌面大小的小型机器人（Sony Toio）和基于iPad的AR素描工具来演示该概念。在我们的系统中，在iPad上绘制和模拟的虚拟草图（例如，线，墙壁，摆和弹簧）可以移动，动画，碰撞和约束物理Toio机器人，就像虚拟草图和物理对象存在于同一空间中一样通过AR和机器人运动之间的无缝耦合。本文贡献了一组新型的互动和双向AR素描的设计空间。我们展示了一系列潜在的应用，例如有形的物理教育，可探索的机制，儿童有形游戏以及通过素描的原位机器人编程。

从事协作活动的人类自然能够通过多模式交流将其意图传达给队友，这是由明确和隐性的提示组成的。同样，可以通过使机器人能够通过多个沟通渠道将其意图传达给人类队友，从而实现更自然的人类机器人协作形式。在本文中，我们假设如果协作机器人能够以直观的方式将他们的动作预期到人类队友，则可以进行更好的沟通。为了支持这种说法，我们提出了一个机器人系统的架构，通过该架构，机器人可以通过该架构将计划的动作传达给人类队友，以利用由现代头部安装的显示器提供支持的混合现实接口。具体而言，在人类队友的角度叠加到真正的机器人的机器人全息图显示了机器人的未来运动，使人类可以事先理解它们，并可能以适当的方式对它们做出反应。我们进行了初步的用户研究，以评估复杂的协作任务中提出的预期可视化的有效性。实验结果表明，通过采用这种预期的沟通模式可以改善和自然的协作。

远程运行是一种广泛采用的策略，用于控制需要高度灵巧运动和关键高级智力的复杂任务的机器人操纵器。经典的远程操作方案基于操纵杆的控制，或基于更直观的接口，这些界面将用户臂运动直接映射到一个机器人臂的运动中。当执行给定任务需要可重新配置的多个机器人ARM系统时，这些方法会限制。实际上，两个或多个机器人臂的同时进行近距离运行可以扩展操纵单元的工作空间，或增加其总有效载荷或提供其他优势。在可重新配置的多臂系统的不同阶段中，每个机器人可以充当独立的手臂，也可以充当一对合作的手臂，或者是虚拟大型机器人手的手指之一。该手稿提出了一个新型的远程注射框架，可以使个人和组合任何数量的机器人臂控制。多亏了设计的控制体系结构，人类操作员可以直观地选择提出的控制方式和操纵器，以使任务方便地通过用户界面执行。此外，通过Tele-Tele-Inverance范式，该系统可以通过让机器人模仿人类操作员的手臂阻抗和位置参考来解决需要物理互动的复杂任务。拟议的框架已通过8个主题，控制4个弗兰卡·埃米卡·熊猫机器人，并用7多杆执行远程触发任务。实验的定性结果向我们展示了我们框架的有希望的适用性。

本文介绍了更轻松的项目及其范围的概念概述。更轻松地专注于通过半自治的移动操纵器在灾难反应方案中支持紧急部队。具体来说，我们检查了操作员对系统的信任以及其使用所产生的认知负荷。我们计划讨论不同的研究主题，探讨共享的自主权，互动设计和透明度与信任和认知负担如何相关。另一个目标是开发非侵入性方法，以使用多级方法在灾难响应的背景下连续衡量信任和认知负荷。该项目由多个学术合作伙伴进行，专门从事人工智能，互动设计和心理学，以及灾难响应设备的工业合作伙伴和最终用户，用于制定项目和实验实验。

We present a retrospective on the state of Embodied AI research. Our analysis focuses on 13 challenges presented at the Embodied AI Workshop at CVPR. These challenges are grouped into three themes: (1) visual navigation, (2) rearrangement, and (3) embodied vision-and-language. We discuss the dominant datasets within each theme, evaluation metrics for the challenges, and the performance of state-of-the-art models. We highlight commonalities between top approaches to the challenges and identify potential future directions for Embodied AI research.

通过智能连接设备，技术正在逐步重塑国内环境，提高家庭安全和整体环境质量。然而，人口转移和流行病最近展示导致他们房屋中的老年人隔离，产生了可靠的辅助人物的需求。机器人助理是国内福利创新的新前沿。老年人监测只是一个可能的服务应用之一，智能机器人平台可以处理集体福祉。在本文中，我们展示了一个新的辅助机器人，我们通过模块化的基于层的架构开发，使灵活的机械设计与最先进的人工智能进行了灵活的人工智能，以便感知和声音控制。关于以前的机器人助手的作品，我们提出了一个设置有四个麦粉轮的全向平台，这使得自主导航与杂乱环境中的有效障碍物避免。此外，我们设计可控定位装置，以扩展传感器的视觉范围，并改善对用户界面的访问以进行远程呈现和连接。轻量级深度学习解决方案，用于视觉感知，人员姿势分类和声乐命令完全运行机器人的嵌入式硬件，避免了云服务私有数据收集产生的隐私问题。

当人类共同完成联合任务时，每个人都会建立一个情况的内部模型以及如何发展。有效的协作取决于这些单个模型如何重叠以在团队成员之间形成共同的心理模型，这对于人类机器人团队中的协作流程很重要。准确的共享心理模型的发展和维护需要个人意图的双向交流以及解释其他团队成员意图的能力。为了实现有效的人类机器人协作，本文介绍了人类机器人团队合作中新型联合行动框架的设计和实施，利用增强现实（AR）技术和用户眼目光来实现意图的双向交流。我们通过与37名参与者的用户研究测试了我们的新框架，发现我们的系统提高了任务效率，信任和任务流利。因此，使用AR和眼睛凝视使双向交流是一种有前途的平均值，可以改善影响人与机器人之间协作的核心组成部分。

风力涡轮机的评级能力提高的推力导致更大的发电机，更长的刀片和更高的塔。目前，风力涡轮机制造商提供了多达16兆瓦的风力涡轮机，在过去五年中，设计能力近60％。这些涡轮机的制造涉及组装巨大的组件。由于设计的频繁变化和涉及的各种任务，因此不可能使其成为劳动密集型的活动。但是，大型组件的处理和组装挑战了人类的能力。本文提出使用移动机器人助手来部分自动化风力涡轮机制造。机器人助手可以降低生产成本和更好的工作条件。该文章介绍了人类操作员有效执行风力涡轮机的机器人助手的开发。该案件来自领先的风力涡轮机制造商。开发的系统还适用于其他大型制造案件，涉及密集型手动工作。

In most cases, upgrading from a single-robot system to a multi-robot system comes with increases in system payload and task performance. On the other hand, many multi-robot systems in open environments still rely on teleoperation. Therefore, human performance can be the bottleneck in a teleoperated multi-robot system. Based on this idea, the multi-robot system's shared autonomy and control methods are emerging research areas in open environment robot operations. However, the question remains: how much does the bottleneck of the human agent impact the system performance in a multi-robot system? This research tries to explore the question through the performance comparison of teleoperating a single-robot system and a dual-robot system in a box-pushing task. This robot teleoperation experiment on human agents employs a web-based environment to simulate the robots' two-dimensional movement. The result provides evidence of the hardship for a single human when teleoperating with more than one robot, which indicates the necessity of shared autonomy in multi-robot systems.

机器人越来越多地部署在与人类共享的空间中，包括家庭环境和工业环境。在这些环境中，人与机器人之间的相互作用（HRI）对于安全性，可读性和效率至关重要。 HRI的一个关键因素是信任，它调节了系统的接受。已显示拟人化可以调节机器人的信任发展，但工业环境中的机器人通常不是拟人化的。我们在工业环境中设计了一个简单的互动，在该环境中，拟人化模拟驱动器（ARMOD）机器人模拟了自动驾驶汽车（AGV）。该任务由与AGV的人类交叉路径组成，有或不带有狭窄的走廊上安装在顶部。人类和系统在越过路径时需要协商轨迹，这意味着人必须关注机器人的轨迹，以避免与它发生碰撞。在存在ARMOD的情况下，报告的信任评分有显着的增长，表明拟人化机器人的存在足以调节信任，即使在有限的相互作用中，就像我们在这里提出的相互作用一样。

情绪可以提供自然的交流方式，以补充许多领域中社交机器人（例如文本和语音）现有的多模式能力。我们与112、223和151名参与者进行了三项在线研究，以调查使用情绪作为搜救（SAR）机器人的交流方式的好处。在第一个实验中，我们研究了通过机器人的情绪传达与SAR情况有关的信息的可行性，从而导致了从SAR情况到情绪的映射。第二项研究使用控制控制理论是推导此类映射的替代方法。此方法更灵活，例如允许对不同的情绪集和不同机器人进行调整。在第三个实验中，我们使用LED作为表达通道为外观受限的室外现场研究机器人创建了情感表达。在各种模拟的SAR情况下，使用这些情感表达式，我们评估了这些表达式对参与者（采用救援人员的作用）的影响。我们的结果和提议的方法提供了（a）有关情感如何帮助在SAR背景下传达信息的见解，以及（b）在（模拟）SAR通信环境中添加情绪为传播方式的有效性的证据。