天然用户界面正在上升。用于增强，虚拟和混合现实头架显示器的制造商正在越来越多地将新传感器整合到消费级产品中，从而允许没有其他硬件的手势识别。这为虚拟环境中的裸互动提供了新的可能性。这项工作提出了一种手势创作工具，用于特定对象的抓取手势，允许在现实世界中抓取虚拟对象。提出的解决方案使用模板匹配以进行手势识别，并且不需要技术知识来设计和创建定制的手势。在用户研究中，将提出的方法与捏合手势和控制虚拟对象的控制器进行了比较。根据准确性，任务完成时间，可用性和自然性比较不同的抓握技术。该研究表明，用所提出的方法创建的手势被用户视为比其他方法更自然的输入方式。

虚拟现实（VR）中的运动是VR应用的重要组成部分。许多科学家正在以不同的变化来丰富社区，从而在VR中进行运动。一些最有前途的方法是基于手势的，不需要其他手持硬件。最近的工作主要集中在不同的运动技术的用户偏好和性能上。这忽略了在探索新方法时用户经历的学习效果。在这项工作中，可以调查用户是否可以迅速适应VR中基于手势的运动系统。参与者实施和测试了四种不同的运动技术。本文的目的是双重的：首先，它旨在鼓励研究人员考虑他们的研究中的学习效果。其次，本研究旨在洞悉用户在基于手势的系统中的学习效果。

在这项工作中，我们通过混合现实（MR）应用中的视频传球来探讨自幻想的创建。我们介绍了我们的端到端系统，包括：在商业头部安装显示器（HMD）上进行自定义MR视频通行证实现，我们基于深度学习的实时egpocentric身体细分算法以及我们优化的卸载体系结构，以交流使用HMD分割服务器。为了验证这项技术，我们设计了一种身临其境的VR体验，用户必须在活跃的火山火山口中穿过狭窄的瓷砖路径。这项研究是在三个身体表示条件下进行的：虚拟手，带有颜色的全身分割的视频传递以及深度学习全身分割的视频通行。这种身临其境的经历由30名女性和28名男性进行。据我们所知，这是首次旨在评估基于视频的自我avatar的用户研究，以代表用户在MR场景中。结果表明，不同身体表示在存在方面没有显着差异，虚拟手和全身表示之间的某些实施方案中等改善。视觉质量结果表明，就整个身体感知和整体分割质量而言，深入学习算法的结果更好。我们提供了一些关于使用基于视频的自我幻想的讨论，以及对评估方法的一些思考。提出的E2E解决方案处于最新技术状态的边界，因此在达到成熟之前仍有改进的空间。但是，该溶液是新型MR分布式溶液的关键起点。

将触觉反馈从指尖转移到手腕上的重新定位被认为是使与混合现实虚拟环境的触觉相互作用的一种方式，同时使手指免费完成其他任务。我们介绍了一对腕触觉触觉设备以及一个虚拟环境，以研究手指和触觉者之间的各种映射如何影响任务性能。腕部呈现的触觉反馈反映了由食指和拇指控制的虚拟物体和虚拟化头像之间发生的相互作用。我们进行了一项用户研究，比较了四个不同的手指触觉反馈映射和一个无反馈条件作为对照。我们评估了用户通过任务完成时间的指标，手指和虚拟立方体的路径长度以及在指尖处的正常和剪切力的大小来评估了用户执行简单的选择任务的能力。我们发现多次映射是有效的，并且当视觉提示受到限制时会产生更大的影响。我们讨论了方法的局限性，并描述了朝着腕部磨损设备进行多重自由度触觉渲染的下一步步骤，以改善虚拟环境中的任务性能。

工业机器人的机器人编程方法是耗时的，并且通常需要运营商在机器人和编程中具有知识。为了降低与重新编程相关的成本，最近已经提出了使用增强现实的各种接口，为用户提供更直观的手段，可以实时控制机器人并在不必编码的情况下编程它们。但是，大多数解决方案都要求操作员接近真正的机器人的工作空间，这意味着由于安全危险而从生产线上移除它或关闭整个生产线。我们提出了一种新颖的增强现实界面，提供了用户能够建模工作空间的虚拟表示，该工作空间可以被保存和重复使用，以便编程新任务或调整旧任务，而无需与真正的机器人共同定位。与以前的接口类似，操作员随后可以通过操纵虚拟机器人来实时地控制机器人任务或控制机器人。我们评估所提出的界面与用户学习的直观和可用性，其中18名参与者为拆卸任务编写了一个机器人操纵器。

人类在交流何时和何时发生的何时和何处的意图方面非常熟练。但是，即使是最先进的机器人实现，通常缺乏这种交流技巧。这项研究调查了使用增强现实的机器人内部状态的可视化和对人向机器人移交的意图。具体而言，我们探讨了对象和机器人抓手的可视化3D模型的使用，以传达机器人对物体所在位置的估计以及机器人打算掌握对象的姿势。我们通过16名参与者的用户研究测试了这一设计，其中每个参与者将一个立方体对象交给机器人12次。结果表明，通过增强现实的通信机器人意图基本上改善了用户对移交的感知体验。结果还表明，当机器人在定位对象时犯错时，增强现实的有效性对于相互作用的安全性和交互的流利性更加明显。

框架已开始出现，以对提供沉浸式，直观的接口提供沉浸式，直观的界面的虚拟，增强和混合现实（VAM）技术来促进人机互动。然而，这些框架未能捕获VAM-HRI的生长子场的关键特性，并且由于连续尺度而难以持续应用。这项工作通过创建用于组织VAM-HRI系统（TOKC）的关键特征来构建这些先前的框架。 Tokcs离散地分离出现在先前作品中使用的连续尺度，以获得更一致的分类，并增加与机器人的内部模型，锚点位置，可操纵性和系统的软件相关的额外特征。为了展示工具的能力，TOKCS应用于来自第四届VAM-HRI车间的十篇论文，并检查了关键趋势和外卖。这些趋势突出了TOKCS的表现能力，同时还帮助框架更新的趋势和VAM-HRI研究的未来工作建议。

我们探索Calico是一种微型可重新定位的可穿戴系统，具有快速，精确的运动，用于体内相互作用，驱动和感应。印花布由两轮机器人和一条轨道机制或“铁路”组成，机器人在其上行驶。机器人具有独立的，尺寸很小，并且具有其他传感器扩展选项。轨道系统允许机器人沿着用户的身体移动并到达任何预定位置。它还包括旋转开关以启用复杂的路由选项，当提出发散轨道时。我们报告了印花布的设计和实施，并通过一系列的系统性能评估。然后，我们介绍一些应用程序方案和用户研究，以了解印花布作为舞蹈教练的潜力，并探索对我们情景的定性感知，以告知该领域未来的研究。

可接受的是指对象允许的可能动作的感知。尽管其与人计算机相互作用有关，但没有现有理论解释了支撑无力形成的机制;也就是说，通过交互发现和适应的充分性。基于认知科学的加固学习理论，提出了一种综合性的无力形成理论。关键假设是用户学习在存在增强信号（成功/故障）时将有前途的电机动作与经验相关联。他们还学会分类行动（例如，“旋转”拨号），使他们能够命名和理由的能力。在遇到新颖的小部件时，他们概括这些行动的能力决定了他们感受到的能力。我们在虚拟机器人模型中实现了这个理论，它展示了在交互式小部件任务中的人性化适应性。虽然其预测与人类数据的趋势对齐，但人类能够更快地适应能力，表明存在额外机制。

在这项研究中，提出了一个自适应对象可变形性不足的人类机器人协作运输框架。提出的框架使通过对象传输的触觉信息与从运动捕获系统获得的人类运动信息结合在一起，以在移动协作机器人上产生反应性的全身运动。此外，它允许基于算法在共同转移过程中以直观而准确的方式旋转对象，该算法使用躯干和手动运动检测人旋转意图。首先，我们通过使用由Omni方向移动基础和协作机器人组组成的移动操纵器，通过对象变形范围的两个末端（即纯粹的铝制杆和高度变形绳）来验证框架。接下来，将其性能与12个受试者用户研究中部分可变形对象的共同携带任务中的录取控制器进行了比较。该实验的定量和定性结果表明，所提出的框架可以有效地处理物体的运输，而不管其可变形性如何，并为人类伴侣提供直观的援助。最后，我们在不同的情况下展示了我们的框架的潜力，在不同的情况下，人类和机器人使用可变形的床单共同传输了手工蛋白。

人类可以利用身体互动来教机器人武器。当人类的动力学通过示范引导机器人时，机器人学习了所需的任务。尽管先前的工作重点是机器人学习方式，但对于人类老师来说，了解其机器人正在学习的内容同样重要。视觉显示可以传达此信息；但是，我们假设仅视觉反馈就错过了人与机器人之间的物理联系。在本文中，我们介绍了一类新颖的软触觉显示器，这些显示器包裹在机器人臂上，添加信号而不会影响相互作用。我们首先设计一个气动驱动阵列，该阵列在安装方面保持灵活。然后，我们开发了这种包裹的触觉显示的单一和多维版本，并在心理物理测试和机器人学习过程中探索了人类对渲染信号的看法。我们最终发现，人们以11.4％的韦伯（Weber）分数准确区分单维反馈，并以94.5％的精度确定多维反馈。当物理教授机器人臂时，人类利用单维反馈来提供比视觉反馈更好的演示：我们包装的触觉显示会降低教学时间，同时提高演示质量。这种改进取决于包裹的触觉显示的位置和分布。您可以在此处查看我们的设备和实验的视频：https：//youtu.be/ypcmgeqsjdm

当人类共同完成联合任务时，每个人都会建立一个情况的内部模型以及如何发展。有效的协作取决于这些单个模型如何重叠以在团队成员之间形成共同的心理模型，这对于人类机器人团队中的协作流程很重要。准确的共享心理模型的发展和维护需要个人意图的双向交流以及解释其他团队成员意图的能力。为了实现有效的人类机器人协作，本文介绍了人类机器人团队合作中新型联合行动框架的设计和实施，利用增强现实（AR）技术和用户眼目光来实现意图的双向交流。我们通过与37名参与者的用户研究测试了我们的新框架，发现我们的系统提高了任务效率，信任和任务流利。因此，使用AR和眼睛凝视使双向交流是一种有前途的平均值，可以改善影响人与机器人之间协作的核心组成部分。

增强现实（AR）透明视觉是一个有趣的研究主题，因为它使用户能够通过墙壁看到并查看被遮挡的对象。大多数现有研究的重点是透明视觉的视觉效果，而相互作用方法的研究较少。但是，我们认为，使用常见的互动方式，例如，空中点击和语音，可能不是控制透明视觉的最佳方法。这是因为当我们想浏览某些东西时，它与我们的目光深度/狂热有关，因此应由眼睛自然控制。遵循这个想法，本文提出了一种新颖的目光控制（GVC）AR中的透明视觉技术。由于需要凝视深度，因此我们使用两个红外摄像机和相应的算法构建了一个凝视跟踪模块，然后将其组装到Microsoft Hololens 2中，以实现凝视深度估计。然后，我们提出了两种不同的GVC模式，以供透明视觉拟合不同的情况。广泛的实验结果表明，我们的凝视深度估计是有效而准确的。通过与常规互动方式进行比较，我们的GVC技术在效率方面也很出色，用户更喜欢。最后，我们提出了凝视控制的透明视觉的四个示例应用。

我们介绍RealityTalk，该系统通过语音驱动的互动虚拟元素来增强实时实时演示。增强演示文稿利用嵌入式视觉效果和动画来吸引和表现力。但是，现有的实时演示工具通常缺乏互动性和即兴创作，同时在视频编辑工具中产生这种效果需要大量的时间和专业知识。RealityTalk使用户能够通过实时语音驱动的交互创建实时增强演示文稿。用户可以通过实时语音和支持方式进行交互提示，移动和操纵图形元素。根据我们对177个现有视频编辑的增强演示文稿的分析，我们提出了一套新颖的互动技术，然后将它们纳入真人秀。我们从主持人的角度评估我们的工具，以证明系统的有效性。

远程运行是一种广泛采用的策略，用于控制需要高度灵巧运动和关键高级智力的复杂任务的机器人操纵器。经典的远程操作方案基于操纵杆的控制，或基于更直观的接口，这些界面将用户臂运动直接映射到一个机器人臂的运动中。当执行给定任务需要可重新配置的多个机器人ARM系统时，这些方法会限制。实际上，两个或多个机器人臂的同时进行近距离运行可以扩展操纵单元的工作空间，或增加其总有效载荷或提供其他优势。在可重新配置的多臂系统的不同阶段中，每个机器人可以充当独立的手臂，也可以充当一对合作的手臂，或者是虚拟大型机器人手的手指之一。该手稿提出了一个新型的远程注射框架，可以使个人和组合任何数量的机器人臂控制。多亏了设计的控制体系结构，人类操作员可以直观地选择提出的控制方式和操纵器，以使任务方便地通过用户界面执行。此外，通过Tele-Tele-Inverance范式，该系统可以通过让机器人模仿人类操作员的手臂阻抗和位置参考来解决需要物理互动的复杂任务。拟议的框架已通过8个主题，控制4个弗兰卡·埃米卡·熊猫机器人，并用7多杆执行远程触发任务。实验的定性结果向我们展示了我们框架的有希望的适用性。

使用增强现实（AR）用于导航目的，这表明在手术手术过程中协助医生有益。这些应用通常需要知道外科手术工具和患者的姿势，以提供外科医生在任务执行过程中可以使用的视觉信息。现有的医学级跟踪系统使用放置在手术室内的红外摄像头（OR）来识别感兴趣的对象附加并计算其姿势的复古反射标记。一些市售的AR头式显示器（HMD）使用类似的摄像头进行自定位，手动跟踪和估算对象的深度。这项工作提出了一个使用AR HMD的内置摄像机来准确跟踪复古反射标记的框架，例如在手术过程中使用的标记，而无需集成任何其他组件。该框架还能够同时跟踪多个工具。我们的结果表明，横向翻译的准确度为0.09 +-0.06毫米，可以实现标记的跟踪和检测，纵向翻译的0.42 +-0.32 mm，绕垂直轴旋转的0.80 +-0.39 ver。此外，为了展示所提出的框架的相关性，我们在手术程序的背景下评估了系统的性能。该用例旨在在骨科过程中复制K-Wire插入的场景。为了进行评估，为两名外科医生和一名生物医学研究人员提供了视觉导航，每次都进行了21次注射。该用例的结果提供了与基于AR的导航程序报告的相当精度。

过场动物是许多视频游戏不可或缺的一部分，但是它们的创作既昂贵又耗时，并且需要许多游戏开发人员缺乏的技能。尽管AI已被利用为半自动过场动画的生产，但结果通常缺乏专业人类董事特征的样式的内部一致性和统一性。我们用Cine-AI克服了这一缺点，Cine-AI是一种开源程序性摄影工具集，能够以杰出的人类导演的风格生成游戏中过场动画。 Cine-AI在流行的游戏引擎团结中实现，具有新颖的时间轴和情节板界面，用于设计时间操纵，并结合运行时摄影自动化。通过两项使用定量和定性措施的用户研究，我们证明了Cine-AI产生过过过场动物，这些过场动物与目标主管正确关联，同时提供高于平均水平的可用性。我们的导演模仿数据集可公开使用，可以由用户和电影爱好者扩展。

在这项工作中，我们介绍了一个自适应控制框架，用于具有未知变形行为的对象的人类机器人协作运输。提出的框架将通过对象传输的触觉信息和从运动捕获系统获得的人体的运动学信息作为输入，以在移动协作机器人上创建反应性的全身运动。为了通过实验验证我们的框架，我们在部分可变形的对象的共同投资任务中将其性能与入学控制器进行了比较。我们还展示了框架的潜力，同时共同传输刚性（铝杆）和高度变形（绳索）对象。一个由Omni方向移动基础，协作机器人组和机器人手组成的移动操纵器被用作实验中的机器人合作伙伴。 12个受试者实验的定量和定性结果表明，所提出的框架可以有效地处理不明变形的对象，并为人类伴侣提供直观的援助。

虚拟现实（VR）技术通常用于娱乐应用中；但是，它也已在我们生活的更严重方面（例如安全）中部署在实际应用中。为了支持在危险行业工作的人们，VR可以确保操作员操纵标准化的任务并协作以应对潜在的风险。令人惊讶的是，很少的研究重点是人们如何在VR环境中进行协作。很少有研究注意运营商在其协作任务中的认知负荷。一旦任务要求变得复杂，许多研究人员将专注于优化相互作用界面的设计，以减少操作员的认知负载。这种方法可能是有价值的。但是，它实际上可以使操作员承受更重要的认知负担，并可能导致更多的错误和协作失败。在本文中，我们提出了一个新的协作VR系统，以支持在VR环境中工作的两个遥控器，以远程控制未螺旋的地面车辆。我们使用比较的实验来评估协作VR系统，重点是在任务和操作总数上花费的时间。我们的结果表明，在两人组中，操作过程中的过程和操作过程中的认知负荷总数明显低于单人组。我们的研究阐明了设计VR系统的启示，以支持有关远程运营商工作流程的协作工作，而不是简单地优化设计成果。

Robotic teleoperation is a key technology for a wide variety of applications. It allows sending robots instead of humans in remote, possibly dangerous locations while still using the human brain with its enormous knowledge and creativity, especially for solving unexpected problems. A main challenge in teleoperation consists of providing enough feedback to the human operator for situation awareness and thus create full immersion, as well as offering the operator suitable control interfaces to achieve efficient and robust task fulfillment. We present a bimanual telemanipulation system consisting of an anthropomorphic avatar robot and an operator station providing force and haptic feedback to the human operator. The avatar arms are controlled in Cartesian space with a direct mapping of the operator movements. The measured forces and torques on the avatar side are haptically displayed to the operator. We developed a predictive avatar model for limit avoidance which runs on the operator side, ensuring low latency. The system was successfully evaluated during the ANA Avatar XPRIZE competition semifinals. In addition, we performed in lab experiments and carried out a small user study with mostly untrained operators.