框架已开始出现，以对提供沉浸式，直观的接口提供沉浸式，直观的界面的虚拟，增强和混合现实（VAM）技术来促进人机互动。然而，这些框架未能捕获VAM-HRI的生长子场的关键特性，并且由于连续尺度而难以持续应用。这项工作通过创建用于组织VAM-HRI系统（TOKC）的关键特征来构建这些先前的框架。 Tokcs离散地分离出现在先前作品中使用的连续尺度，以获得更一致的分类，并增加与机器人的内部模型，锚点位置，可操纵性和系统的软件相关的额外特征。为了展示工具的能力，TOKCS应用于来自第四届VAM-HRI车间的十篇论文，并检查了关键趋势和外卖。这些趋势突出了TOKCS的表现能力，同时还帮助框架更新的趋势和VAM-HRI研究的未来工作建议。

MetaVerse，巨大的虚拟物理网络空间，为艺术家带来了前所未有的机会，将我们的身体环境的每个角落与数字创造力混合。本文对计算艺术进行了全面的调查，其中七个关键主题与成权相关，描述了混合虚拟物理现实中的新颖艺术品。主题首先涵盖了MetaVerse的建筑元素，例如虚拟场景和字符，听觉，文本元素。接下来，已经反映了诸如沉浸式艺术，机器人艺术和其他用户以其他用户的方法提供了沉浸式艺术，机器人艺术和其他用户中心的若干非凡类型的新颖创作。最后，我们提出了几项研究议程：民主化的计算艺术，数字隐私和搬迁艺术家的安全性，为数字艺术品，技术挑战等等的所有权认可。该调查还担任艺术家和搬迁技术人员的介绍材料，以开始在超现实主义网络空间领域创造。

机器人模拟一直是机器人领域研发的组成部分。模拟消除了通过启用机器人的应用测试来快速，负担得起的，而无需遭受机械或电子误差而进行机器人应用测试，从而消除了对传感器，电动机和实际机器人物理结构的可能性。通过虚拟现实（VR）模拟，通过提供更好的环境可视化提示，为与模拟机器人互动提供了更具吸引力的替代方法，从而提供了更严肃的体验。这种沉浸至关重要，尤其是在讨论社交机器人时，人类机器人相互作用（HRI）领域的子区域。在日常生活中，机器人的广泛使用取决于HRI。将来，机器人将能够与人们有效互动，以在人类文明中执行各种任务。在个人工作空间开始扩散时，为机器人开发简单且易于理解的接口至关重要。因此，在这项研究中，我们实施了一个使用现成的工具和包装的VR机器人框架，以增强社交HRI的研究和应用开发。由于整个VR接口是一个开源项目，因此可以在身临其境的环境中进行测试，而无需物理机器人。

Hololens（Microsoft Corp.，WA Redmond，WA）是一款头饰，光学透明的增强现实展示，是最近提高医学增强现实研究的主要参与者。在医疗环境中，HoloLens使医生能够立即了解患者信息，直接与他们对临床方案的看法，医学生，可以更好地了解复杂的解剖学或程序，甚至可以通过执行治疗任务。改进，沉浸式指导。在这篇系统的综述中，我们提供了有关医疗领域第一代霍洛伦斯在2016年3月发布到2021年的全面使用的全面概述，一直关注其继任者霍洛伦斯2号。通过系统搜索PubMed和Scopus数据库确定了171个相关出版物。我们分析了这些出版物的预期用例，注册和跟踪的技术方法，数据源，可视化以及验证和评估。我们发现，尽管已经显示出在各种医学场景中使用Hololens的可行性，但在精确，可靠性，可用性，工作流程和感知方面的努力增加了在临床实践中建立AR。

当代机器人主义者的主要目标之一是使智能移动机器人能够在共享的人类机器人环境中平稳运行。为此目标服务的最基本必要的功能之一是在这种“社会”背景下有效的导航。结果，最近的一般社会导航的研究激增，尤其是如何处理社会导航代理之间的冲突。这些贡献介绍了各种模型，算法和评估指标，但是由于该研究领域本质上是跨学科的，因此许多相关论文是不可比较的，并且没有共同的标准词汇。这项调查的主要目标是通过引入这种通用语言，使用它来调查现有工作并突出开放问题来弥合这一差距。它首先定义社会导航的冲突，并提供其组成部分的详细分类学。然后，这项调查将现有工作映射到了本分类法中，同时使用其框架讨论论文。最后，本文提出了一些未来的研究方向和开放问题，这些方向目前正在社会导航的边界，以帮助集中于正在进行的和未来的研究。

人类在交流何时和何时发生的何时和何处的意图方面非常熟练。但是，即使是最先进的机器人实现，通常缺乏这种交流技巧。这项研究调查了使用增强现实的机器人内部状态的可视化和对人向机器人移交的意图。具体而言，我们探讨了对象和机器人抓手的可视化3D模型的使用，以传达机器人对物体所在位置的估计以及机器人打算掌握对象的姿势。我们通过16名参与者的用户研究测试了这一设计，其中每个参与者将一个立方体对象交给机器人12次。结果表明，通过增强现实的通信机器人意图基本上改善了用户对移交的感知体验。结果还表明，当机器人在定位对象时犯错时，增强现实的有效性对于相互作用的安全性和交互的流利性更加明显。

工业机器人的机器人编程方法是耗时的，并且通常需要运营商在机器人和编程中具有知识。为了降低与重新编程相关的成本，最近已经提出了使用增强现实的各种接口，为用户提供更直观的手段，可以实时控制机器人并在不必编码的情况下编程它们。但是，大多数解决方案都要求操作员接近真正的机器人的工作空间，这意味着由于安全危险而从生产线上移除它或关闭整个生产线。我们提出了一种新颖的增强现实界面，提供了用户能够建模工作空间的虚拟表示，该工作空间可以被保存和重复使用，以便编程新任务或调整旧任务，而无需与真正的机器人共同定位。与以前的接口类似，操作员随后可以通过操纵虚拟机器人来实时地控制机器人任务或控制机器人。我们评估所提出的界面与用户学习的直观和可用性，其中18名参与者为拆卸任务编写了一个机器人操纵器。

This article presents a survey of literature in the area of Human-Robot Interaction (HRI), specifically on systems containing more than two agents (i.e., having multiple humans and/or multiple robots). We identify three core aspects of ``Multi-agent" HRI systems that are useful for understanding how these systems differ from dyadic systems and from one another. These are the Team structure, Interaction style among agents, and the system's Computational characteristics. Under these core aspects, we present five attributes of HRI systems, namely Team size, Team composition, Interaction model, Communication modalities, and Robot control. These attributes are used to characterize and distinguish one system from another. We populate resulting categories with examples from recent literature along with a brief discussion of their applications and analyze how these attributes differ from the case of dyadic human-robot systems. We summarize key observations from the current literature, and identify challenges and promising areas for future research in this domain. In order to realize the vision of robots being part of the society and interacting seamlessly with humans, there is a need to expand research on multi-human -- multi-robot systems. Not only do these systems require coordination among several agents, they also involve multi-agent and indirect interactions which are absent from dyadic HRI systems. Adding multiple agents in HRI systems requires advanced interaction schemes, behavior understanding and control methods to allow natural interactions among humans and robots. In addition, research on human behavioral understanding in mixed human-robot teams also requires more attention. This will help formulate and implement effective robot control policies in HRI systems with large numbers of heterogeneous robots and humans; a team composition reflecting many real-world scenarios.

本文对人机对象切换的文献进行了调查。切换是一种协作的关节动作，其中代理人，给予者，给予对象给另一代理，接收器。当接收器首先与给予者持有的对象并结束时，当给予者完全将物体释放到接收器时，物理交换开始。然而，重要的认知和物理过程在物理交换之前开始，包括在交换的位置和时间内启动隐含协议。从这个角度来看，我们将审核构成了上述事件界定的两个主要阶段：1）预切换阶段和2）物理交流。我们专注于两位演员（Giver和Receiver）的分析，并报告机器人推动者（机器人到人类切换）和机器人接收器（人到机器人切换）的状态。我们举报了常用于评估互动的全面的定性和定量度量列表。虽然将我们的认知水平（例如，预测，感知，运动规划，学习）和物理水平（例如，运动，抓握，抓取释放）的审查重点，但我们简要讨论了安全的概念，社会背景，和人体工程学。我们将在人对人物助手中显示的行为与机器人助手的最新进行比较，并确定机器人助剂的主要改善领域，以达到与人类相互作用相当的性能。最后，我们提出了一种应使用的最小度量标准，以便在方法之间进行公平比较。

We present a retrospective on the state of Embodied AI research. Our analysis focuses on 13 challenges presented at the Embodied AI Workshop at CVPR. These challenges are grouped into three themes: (1) visual navigation, (2) rearrangement, and (3) embodied vision-and-language. We discuss the dominant datasets within each theme, evaluation metrics for the challenges, and the performance of state-of-the-art models. We highlight commonalities between top approaches to the challenges and identify potential future directions for Embodied AI research.

当人类共同完成联合任务时，每个人都会建立一个情况的内部模型以及如何发展。有效的协作取决于这些单个模型如何重叠以在团队成员之间形成共同的心理模型，这对于人类机器人团队中的协作流程很重要。准确的共享心理模型的发展和维护需要个人意图的双向交流以及解释其他团队成员意图的能力。为了实现有效的人类机器人协作，本文介绍了人类机器人团队合作中新型联合行动框架的设计和实施，利用增强现实（AR）技术和用户眼目光来实现意图的双向交流。我们通过与37名参与者的用户研究测试了我们的新框架，发现我们的系统提高了任务效率，信任和任务流利。因此，使用AR和眼睛凝视使双向交流是一种有前途的平均值，可以改善影响人与机器人之间协作的核心组成部分。

数字化和自动化方面的快速进步导致医疗保健的加速增长，从而产生了新型模型，这些模型正在创造新的渠道，以降低成本。 Metaverse是一项在数字空间中的新兴技术，在医疗保健方面具有巨大的潜力，为患者和医生带来了现实的经验。荟萃分析是多种促成技术的汇合，例如人工智能，虚拟现实，增强现实，医疗设备，机器人技术，量子计算等。通过哪些方向可以探索提供优质医疗保健治疗和服务的新方向。这些技术的合并确保了身临其境，亲密和个性化的患者护理。它还提供自适应智能解决方案，以消除医疗保健提供者和接收器之间的障碍。本文对医疗保健的荟萃分析提供了全面的综述，强调了最新技术的状态，即采用医疗保健元元的能力技术，潜在的应用程序和相关项目。还确定了用于医疗保健应用的元元改编的问题，并强调了合理的解决方案作为未来研究方向的一部分。

本文介绍了素描的现实，这种方法结合了AR素描和驱动的有形用户界面（TUI），用于双向素描交互。双向草图使虚拟草图和物理对象通过物理驱动和数字计算相互影响。在现有的AR素描中，虚拟世界和物理世界之间的关系只是一个方向 - 虽然物理互动会影响虚拟草图，但虚拟草图对物理对象或环境没有返回效果。相反，双向素描相互作用允许草图和驱动的tuis之间的无缝耦合。在本文中，我们采用桌面大小的小型机器人（Sony Toio）和基于iPad的AR素描工具来演示该概念。在我们的系统中，在iPad上绘制和模拟的虚拟草图（例如，线，墙壁，摆和弹簧）可以移动，动画，碰撞和约束物理Toio机器人，就像虚拟草图和物理对象存在于同一空间中一样通过AR和机器人运动之间的无缝耦合。本文贡献了一组新型的互动和双向AR素描的设计空间。我们展示了一系列潜在的应用，例如有形的物理教育，可探索的机制，儿童有形游戏以及通过素描的原位机器人编程。

随着协作机器人进入工业商店的地板，物流和制造业，对人机互动的快速和灵活评估变得越来越重要。用于虚拟和增强现实的消费者耳机的可用性降低了虚拟环境的进入障碍。在本文中，我们探讨了使用此类环境在用户研究中模拟机器人的不同方面，并介绍了我们自己的研究工作的第一个发现。最后，我们建议在人类机器人相互作用中应用和使用模拟的方向。

在这项工作中，我们通过混合现实（MR）应用中的视频传球来探讨自幻想的创建。我们介绍了我们的端到端系统，包括：在商业头部安装显示器（HMD）上进行自定义MR视频通行证实现，我们基于深度学习的实时egpocentric身体细分算法以及我们优化的卸载体系结构，以交流使用HMD分割服务器。为了验证这项技术，我们设计了一种身临其境的VR体验，用户必须在活跃的火山火山口中穿过狭窄的瓷砖路径。这项研究是在三个身体表示条件下进行的：虚拟手，带有颜色的全身分割的视频传递以及深度学习全身分割的视频通行。这种身临其境的经历由30名女性和28名男性进行。据我们所知，这是首次旨在评估基于视频的自我avatar的用户研究，以代表用户在MR场景中。结果表明，不同身体表示在存在方面没有显着差异，虚拟手和全身表示之间的某些实施方案中等改善。视觉质量结果表明，就整个身体感知和整体分割质量而言，深入学习算法的结果更好。我们提供了一些关于使用基于视频的自我幻想的讨论，以及对评估方法的一些思考。提出的E2E解决方案处于最新技术状态的边界，因此在达到成熟之前仍有改进的空间。但是，该溶液是新型MR分布式溶液的关键起点。

在迅速增长的海上风电场市场中出现了增加风力涡轮机尺寸和距离的全球趋势。在英国，海上风电业于2019年生产了英国最多的电力，前一年增加了19.6％。目前，英国将进一步增加产量，旨在增加安装的涡轮机容量74.7％，如最近的冠村租赁轮次反映。通过如此巨大的增长，该部门现在正在寻求机器人和人工智能（RAI），以解决生命周期服务障碍，以支持可持续和有利可图的海上风能生产。如今，RAI应用主要用于支持运营和维护的短期目标。然而，前进，RAI在海上风基础设施的全部生命周期中有可能发挥关键作用，从测量，规划，设计，物流，运营支持，培训和退役。本文介绍了离岸可再生能源部门的RAI的第一个系统评论之一。在当前和未来的要求方面，在行业和学术界的离岸能源需求分析了rai的最先进的。我们的评论还包括对支持RAI的投资，监管和技能开发的详细评估。通过专利和学术出版数据库进行详细分析确定的关键趋势，提供了对安全合规性和可靠性的自主平台认证等障碍的见解，这是自主车队中可扩展性的数字架构，适应性居民运营和优化的适应性规划人机互动对人与自治助理的信赖伙伴关系。

在线众包平台使对算法输出进行评估变得容易，并提出诸如“哪个图像更好，A或B？”之类的问题的调查，在视觉和图形研究论文中的这些“用户研究”的扩散导致了增加匆忙进行的研究充其量是草率且无知的，并且可能有害和误导。我们认为，在计算机视觉和图形论文中的用户研究的设计和报告需要更多关注。为了提高从业者的知识并提高用户研究的可信度和可复制性，我们提供了用户体验研究（UXR），人类计算机互动（HCI）和相关领域的方法论的概述。我们讨论了目前在计算机视觉和图形研究中未利用的基础用户研究方法（例如，需要调查），但可以为研究项目提供宝贵的指导。我们为有兴趣探索其他UXR方法的读者提供了进一步的指导。最后，我们描述了研究界的更广泛的开放问题和建议。我们鼓励作者和审稿人都认识到，并非每项研究贡献都需要用户研究，而且根本没有研究比不小心进行的研究更好。

通过智能连接设备，技术正在逐步重塑国内环境，提高家庭安全和整体环境质量。然而，人口转移和流行病最近展示导致他们房屋中的老年人隔离，产生了可靠的辅助人物的需求。机器人助理是国内福利创新的新前沿。老年人监测只是一个可能的服务应用之一，智能机器人平台可以处理集体福祉。在本文中，我们展示了一个新的辅助机器人，我们通过模块化的基于层的架构开发，使灵活的机械设计与最先进的人工智能进行了灵活的人工智能，以便感知和声音控制。关于以前的机器人助手的作品，我们提出了一个设置有四个麦粉轮的全向平台，这使得自主导航与杂乱环境中的有效障碍物避免。此外，我们设计可控定位装置，以扩展传感器的视觉范围，并改善对用户界面的访问以进行远程呈现和连接。轻量级深度学习解决方案，用于视觉感知，人员姿势分类和声乐命令完全运行机器人的嵌入式硬件，避免了云服务私有数据收集产生的隐私问题。

汽车行业在过去几十年中见证了越来越多的发展程度;从制造手动操作车辆到具有高自动化水平的制造车辆。随着近期人工智能（AI）的发展，汽车公司现在雇用BlackBox AI模型来使车辆能够感知其环境，并使人类少或没有输入的驾驶决策。希望能够在商业规模上部署自治车辆（AV），通过社会接受AV成为至关重要的，并且可能在很大程度上取决于其透明度，可信度和遵守法规的程度。通过为AVS行为的解释提供对这些接受要求的遵守对这些验收要求的评估。因此，解释性被视为AVS的重要要求。 AV应该能够解释他们在他们运作的环境中的“见到”。在本文中，我们对可解释的自动驾驶的现有工作体系进行了全面的调查。首先，我们通过突出显示并强调透明度，问责制和信任的重要性来开放一个解释的动机;并审查与AVS相关的现有法规和标准。其次，我们识别并分类了参与发展，使用和监管的不同利益相关者，并引出了AV的解释要求。第三，我们对以前的工作进行了严格的审查，以解释不同的AV操作（即，感知，本地化，规划，控制和系统管理）。最后，我们确定了相关的挑战并提供建议，例如AV可解释性的概念框架。该调查旨在提供对AVS中解释性感兴趣的研究人员所需的基本知识。

In this chapter, we review and discuss the transformation of AI technology in HCI/UX work and assess how AI technology will change how we do the work. We first discuss how AI can be used to enhance the result of user research and design evaluation. We then discuss how AI technology can be used to enhance HCI/UX design. Finally, we discuss how AI-enabled capabilities can improve UX when users interact with computing systems, applications, and services.