人类在交流何时和何时发生的何时和何处的意图方面非常熟练。但是，即使是最先进的机器人实现，通常缺乏这种交流技巧。这项研究调查了使用增强现实的机器人内部状态的可视化和对人向机器人移交的意图。具体而言，我们探讨了对象和机器人抓手的可视化3D模型的使用，以传达机器人对物体所在位置的估计以及机器人打算掌握对象的姿势。我们通过16名参与者的用户研究测试了这一设计，其中每个参与者将一个立方体对象交给机器人12次。结果表明，通过增强现实的通信机器人意图基本上改善了用户对移交的感知体验。结果还表明，当机器人在定位对象时犯错时，增强现实的有效性对于相互作用的安全性和交互的流利性更加明显。

本文对人机对象切换的文献进行了调查。切换是一种协作的关节动作，其中代理人，给予者，给予对象给另一代理，接收器。当接收器首先与给予者持有的对象并结束时，当给予者完全将物体释放到接收器时，物理交换开始。然而，重要的认知和物理过程在物理交换之前开始，包括在交换的位置和时间内启动隐含协议。从这个角度来看，我们将审核构成了上述事件界定的两个主要阶段：1）预切换阶段和2）物理交流。我们专注于两位演员（Giver和Receiver）的分析，并报告机器人推动者（机器人到人类切换）和机器人接收器（人到机器人切换）的状态。我们举报了常用于评估互动的全面的定性和定量度量列表。虽然将我们的认知水平（例如，预测，感知，运动规划，学习）和物理水平（例如，运动，抓握，抓取释放）的审查重点，但我们简要讨论了安全的概念，社会背景，和人体工程学。我们将在人对人物助手中显示的行为与机器人助手的最新进行比较，并确定机器人助剂的主要改善领域，以达到与人类相互作用相当的性能。最后，我们提出了一种应使用的最小度量标准，以便在方法之间进行公平比较。

当人类共同完成联合任务时，每个人都会建立一个情况的内部模型以及如何发展。有效的协作取决于这些单个模型如何重叠以在团队成员之间形成共同的心理模型，这对于人类机器人团队中的协作流程很重要。准确的共享心理模型的发展和维护需要个人意图的双向交流以及解释其他团队成员意图的能力。为了实现有效的人类机器人协作，本文介绍了人类机器人团队合作中新型联合行动框架的设计和实施，利用增强现实（AR）技术和用户眼目光来实现意图的双向交流。我们通过与37名参与者的用户研究测试了我们的新框架，发现我们的系统提高了任务效率，信任和任务流利。因此，使用AR和眼睛凝视使双向交流是一种有前途的平均值，可以改善影响人与机器人之间协作的核心组成部分。

框架已开始出现，以对提供沉浸式，直观的接口提供沉浸式，直观的界面的虚拟，增强和混合现实（VAM）技术来促进人机互动。然而，这些框架未能捕获VAM-HRI的生长子场的关键特性，并且由于连续尺度而难以持续应用。这项工作通过创建用于组织VAM-HRI系统（TOKC）的关键特征来构建这些先前的框架。 Tokcs离散地分离出现在先前作品中使用的连续尺度，以获得更一致的分类，并增加与机器人的内部模型，锚点位置，可操纵性和系统的软件相关的额外特征。为了展示工具的能力，TOKCS应用于来自第四届VAM-HRI车间的十篇论文，并检查了关键趋势和外卖。这些趋势突出了TOKCS的表现能力，同时还帮助框架更新的趋势和VAM-HRI研究的未来工作建议。

We present a generalised architecture for reactive mobile manipulation while a robot's base is in motion toward the next objective in a high-level task. By performing tasks on-the-move, overall cycle time is reduced compared to methods where the base pauses during manipulation. Reactive control of the manipulator enables grasping objects with unpredictable motion while improving robustness against perception errors, environmental disturbances, and inaccurate robot control compared to open-loop, trajectory-based planning approaches. We present an example implementation of the architecture and investigate the performance on a series of pick and place tasks with both static and dynamic objects and compare the performance to baseline methods. Our method demonstrated a real-world success rate of over 99%, failing in only a single trial from 120 attempts with a physical robot system. The architecture is further demonstrated on other mobile manipulator platforms in simulation. Our approach reduces task time by up to 48%, while also improving reliability, gracefulness, and predictability compared to existing architectures for mobile manipulation. See https://benburgesslimerick.github.io/ManipulationOnTheMove for supplementary materials.

人类可以利用身体互动来教机器人武器。当人类的动力学通过示范引导机器人时，机器人学习了所需的任务。尽管先前的工作重点是机器人学习方式，但对于人类老师来说，了解其机器人正在学习的内容同样重要。视觉显示可以传达此信息；但是，我们假设仅视觉反馈就错过了人与机器人之间的物理联系。在本文中，我们介绍了一类新颖的软触觉显示器，这些显示器包裹在机器人臂上，添加信号而不会影响相互作用。我们首先设计一个气动驱动阵列，该阵列在安装方面保持灵活。然后，我们开发了这种包裹的触觉显示的单一和多维版本，并在心理物理测试和机器人学习过程中探索了人类对渲染信号的看法。我们最终发现，人们以11.4％的韦伯（Weber）分数准确区分单维反馈，并以94.5％的精度确定多维反馈。当物理教授机器人臂时，人类利用单维反馈来提供比视觉反馈更好的演示：我们包装的触觉显示会降低教学时间，同时提高演示质量。这种改进取决于包裹的触觉显示的位置和分布。您可以在此处查看我们的设备和实验的视频：https：//youtu.be/ypcmgeqsjdm

机器人越来越多地部署在与人类共享的空间中，包括家庭环境和工业环境。在这些环境中，人与机器人之间的相互作用（HRI）对于安全性，可读性和效率至关重要。 HRI的一个关键因素是信任，它调节了系统的接受。已显示拟人化可以调节机器人的信任发展，但工业环境中的机器人通常不是拟人化的。我们在工业环境中设计了一个简单的互动，在该环境中，拟人化模拟驱动器（ARMOD）机器人模拟了自动驾驶汽车（AGV）。该任务由与AGV的人类交叉路径组成，有或不带有狭窄的走廊上安装在顶部。人类和系统在越过路径时需要协商轨迹，这意味着人必须关注机器人的轨迹，以避免与它发生碰撞。在存在ARMOD的情况下，报告的信任评分有显着的增长，表明拟人化机器人的存在足以调节信任，即使在有限的相互作用中，就像我们在这里提出的相互作用一样。

在家庭环境中的机器人辅助喂养是具有挑战性的，因为它需要机器人来产生轨迹，从而有效地将不同形状的食物带入口腔，同时确保用户舒适。我们的主要洞察力是，为了解决这一挑战，机器人必须平衡喂食食品的效率，舒适的每一件咬。我们将舒适性和效率正式纳入运动规划。我们提出了一种基于启发式导向的双向探索随机树（H-BIRRT）的方法，可以使用我们发达的咬合效率和舒适启发式和学习的约束模型选择任意食品几何形状和形状的咬合转移轨迹。实际机器人评估表明，优化舒适性和效率显着优于基于固定姿势的方法，并且用户更优选我们的方法，比仅最大限度地提高用户舒适度的方法。视频和附录在我们的网站上找到：https://sites.google.com/view/comfortbitetransfer-icra22/home。

工业机器人的机器人编程方法是耗时的，并且通常需要运营商在机器人和编程中具有知识。为了降低与重新编程相关的成本，最近已经提出了使用增强现实的各种接口，为用户提供更直观的手段，可以实时控制机器人并在不必编码的情况下编程它们。但是，大多数解决方案都要求操作员接近真正的机器人的工作空间，这意味着由于安全危险而从生产线上移除它或关闭整个生产线。我们提出了一种新颖的增强现实界面，提供了用户能够建模工作空间的虚拟表示，该工作空间可以被保存和重复使用，以便编程新任务或调整旧任务，而无需与真正的机器人共同定位。与以前的接口类似，操作员随后可以通过操纵虚拟机器人来实时地控制机器人任务或控制机器人。我们评估所提出的界面与用户学习的直观和可用性，其中18名参与者为拆卸任务编写了一个机器人操纵器。

从制造环境到个人房屋的最终用户任务的巨大多样性使得预编程机器人非常具有挑战性。事实上，教学机器人从划痕的新行动可以重复使用以前看不见的任务仍然是一个艰难的挑战，一般都留给了机器人专家。在这项工作中，我们展示了Iropro，这是一个交互式机器人编程框架，允许最终用户没有技术背景，以教授机器人新的可重用行动。我们通过演示和自动规划技术将编程结合起来，以允许用户通过通过动力学示范教授新的行动来构建机器人的知识库。这些行动是概括的，并重用任务计划程序来解决用户定义的先前未经调查的问题。我们将iropro作为Baxter研究机器人的端到端系统实施，同时通过演示通过示范来教授低级和高级操作，以便用户可以通过图形用户界面自定义以适应其特定用例。为了评估我们的方法的可行性，我们首先进行了预设计实验，以更好地了解用户采用所涉及的概念和所提出的机器人编程过程。我们将结果与设计后实验进行比较，在那里我们进行了用户学习，以验证我们对真实最终用户的方法的可用性。总体而言，我们展示了具有不同编程水平和教育背景的用户可以轻松学习和使用Iropro及其机器人编程过程。

最后，这项工作将包括对解释的上下文形式的调查。在这项研究中，我们将包括一个时间障碍的方案，其中将测试不同水平的理解水平，以使我们能够评估合适且可理解的解释。为此，我们提出了不同的理解水平（lou）。用户研究将旨在比较不同的LOU在不同的互动环境中。将研究同时医院环境的用户研究。

我们介绍了一个机器人组装系统，该系统简化了从产品组件的CAD模型到完整编程和自适应组装过程的设计对制造工作流程。我们的系统（在CAD工具中）捕获了特定机器人工作电脑组装过程的意图，并生成了任务级指令的配方。通过将视觉传感与深度学习的感知模型相结合，机器人推断出从生成的配方中组装设计的必要动作。感知模型是直接从模拟训练的，从而使系统可以根据CAD信息识别各个部分。我们用两个机器人的工作栏演示了系统，以组装互锁的3D零件设计。我们首先在模拟中构建和调整组装过程，并验证生成的食谱。最后，真正的机器人工作电池使用相同的行为组装了设计。

远程运行是一种广泛采用的策略，用于控制需要高度灵巧运动和关键高级智力的复杂任务的机器人操纵器。经典的远程操作方案基于操纵杆的控制，或基于更直观的接口，这些界面将用户臂运动直接映射到一个机器人臂的运动中。当执行给定任务需要可重新配置的多个机器人ARM系统时，这些方法会限制。实际上，两个或多个机器人臂的同时进行近距离运行可以扩展操纵单元的工作空间，或增加其总有效载荷或提供其他优势。在可重新配置的多臂系统的不同阶段中，每个机器人可以充当独立的手臂，也可以充当一对合作的手臂，或者是虚拟大型机器人手的手指之一。该手稿提出了一个新型的远程注射框架，可以使个人和组合任何数量的机器人臂控制。多亏了设计的控制体系结构，人类操作员可以直观地选择提出的控制方式和操纵器，以使任务方便地通过用户界面执行。此外，通过Tele-Tele-Inverance范式，该系统可以通过让机器人模仿人类操作员的手臂阻抗和位置参考来解决需要物理互动的复杂任务。拟议的框架已通过8个主题，控制4个弗兰卡·埃米卡·熊猫机器人，并用7多杆执行远程触发任务。实验的定性结果向我们展示了我们框架的有希望的适用性。

抓握是通过在一组触点上施加力和扭矩来挑选对象的过程。深度学习方法的最新进展允许在机器人对象抓地力方面快速进步。我们在过去十年中系统地调查了出版物，特别感兴趣使用最终效果姿势的所有6度自由度抓住对象。我们的综述发现了四种用于机器人抓钩的常见方法：基于抽样的方法，直接回归，强化学习和示例方法。此外，我们发现了围绕抓握的两种“支持方法”，这些方法使用深入学习来支持抓握过程，形状近似和负担能力。我们已经将本系统评论（85篇论文）中发现的出版物提炼为十个关键要点，我们认为对未来的机器人抓握和操纵研究至关重要。该调查的在线版本可从https://rhys-newbury.github.io/projects/6dof/获得

我们建议展开沉浸式远程呈现机器人的用户所经历的轮换，以改善用户的舒适度并减少VR疾病。通过沉浸式远程呈现，我们指的是移动机器人顶部的360 \ TextDegree〜相机的情况将视频和音频流入遥远用户遥远的远程用户佩戴的头戴式展示中。因此，它使得用户能够在机器人的位置处存在，通过转动头部并与机器人附近的人进行通信。通过展开相机框架的旋转，当机器人旋转时，用户的观点不会改变。用户只能通过在其本地设置中物理旋转来改变她的观点;由于没有相应的前庭刺激的视觉旋转是VR疾病的主要来源，预计用户的物理旋转将减少VR疾病。我们实现了展开遍历虚拟环境的模拟机器人的旋转，并将用户学习（n = 34）进行比较，将展开旋转与机器人转弯时的ViewPoint转向。我们的研究结果表明，用户发现更优选且舒适的展开转动，并降低了他们的VR疾病水平。我们还进一步提出了关于用户路径集成功能，观看方向和机器人速度和距离的主观观察到模拟人员和对象的结果。

在这项研究中，提出了一个自适应对象可变形性不足的人类机器人协作运输框架。提出的框架使通过对象传输的触觉信息与从运动捕获系统获得的人类运动信息结合在一起，以在移动协作机器人上产生反应性的全身运动。此外，它允许基于算法在共同转移过程中以直观而准确的方式旋转对象，该算法使用躯干和手动运动检测人旋转意图。首先，我们通过使用由Omni方向移动基础和协作机器人组组成的移动操纵器，通过对象变形范围的两个末端（即纯粹的铝制杆和高度变形绳）来验证框架。接下来，将其性能与12个受试者用户研究中部分可变形对象的共同携带任务中的录取控制器进行了比较。该实验的定量和定性结果表明，所提出的框架可以有效地处理物体的运输，而不管其可变形性如何，并为人类伴侣提供直观的援助。最后，我们在不同的情况下展示了我们的框架的潜力，在不同的情况下，人类和机器人使用可变形的床单共同传输了手工蛋白。

在机器人远程操作中的研究一直围绕着行动规范 - 从连续关节控制到离散的最终效果姿势控制。但是，这些以机器人为中心的接口通常需要具有广泛机器人专业知识的熟练操作员。为了使非专家用户可以访问远程操作，我们提出了框架“场景编辑为teleperation”（座位），其中关键的想法是将传统的“以机器人为中心的”界面转换为“以场景为中心的”界面 - 而是通过控制机器人，用户专注于通过操纵现实世界对象的数字双胞胎来指定任务的目标。结果，用户可以在没有任何机器人硬件的任何专业知识的情况下执行远程关系。为了实现这一目标，我们利用一种类别 - 不合时宜的场景完整算法，该算法将现实世界工作空间（带有未知对象）转换为可操作的虚拟场景表示和一个动作捕捉算法，并在生成机器人的动作计划之前对其进行改进的动作捕捉算法。为了训练算法，我们在过程中生成了一个大规模的，多样的套件组装数据集，其中包含模仿现实世界对象套件任务的对象芯对。我们在模拟和现实世界中的实验表明，我们的框架提高了6DOF套件组装任务的效率和成功率。一项用户研究表明，与替代机器人以机器人为中心的界面相比，座椅框架参与者获得了更高的任务成功率，并报告了主观工作量较低。可以在https://www.youtube.com/watch?v=-ndr3MKPBQQ上找到视频。

用机器人手操纵物体是一项复杂的任务。不仅需要协调手指，而且机器人最终效应器的姿势也需要协调。使用人类的运动演示是指导机器人行为的直观和数据效率的方式。我们提出了一个具有自动实施例映射的模块化框架，以将记录的人体运动转移到机器人系统中。在这项工作中，我们使用运动捕获来记录人类运动。我们在八项具有挑战性的任务上评估了我们的方法，其中机器人手需要掌握和操纵可变形或小且脆弱的物体。我们测试了模拟和实际机器人中的轨迹子集，并且整体成功率是一致的。

In the process of materials discovery, chemists currently need to perform many laborious, time-consuming, and often dangerous lab experiments. To accelerate this process, we propose a framework for robots to assist chemists by performing lab experiments autonomously. The solution allows a general-purpose robot to perform diverse chemistry experiments and efficiently make use of available lab tools. Our system can load high-level descriptions of chemistry experiments, perceive a dynamic workspace, and autonomously plan the required actions and motions to perform the given chemistry experiments with common tools found in the existing lab environment. Our architecture uses a modified PDDLStream solver for integrated task and constrained motion planning, which generates plans and motions that are guaranteed to be safe by preventing collisions and spillage. We present a modular framework that can scale to many different experiments, actions, and lab tools. In this work, we demonstrate the utility of our framework on three pouring skills and two foundational chemical experiments for materials synthesis: solubility and recrystallization. More experiments and updated evaluations can be found at https://ac-rad.github.io/arc-icra2023.

天然用户界面正在上升。用于增强，虚拟和混合现实头架显示器的制造商正在越来越多地将新传感器整合到消费级产品中，从而允许没有其他硬件的手势识别。这为虚拟环境中的裸互动提供了新的可能性。这项工作提出了一种手势创作工具，用于特定对象的抓取手势，允许在现实世界中抓取虚拟对象。提出的解决方案使用模板匹配以进行手势识别，并且不需要技术知识来设计和创建定制的手势。在用户研究中，将提出的方法与捏合手势和控制虚拟对象的控制器进行了比较。根据准确性，任务完成时间，可用性和自然性比较不同的抓握技术。该研究表明，用所提出的方法创建的手势被用户视为比其他方法更自然的输入方式。