即使是最强大的自主行为也可能失败。这项研究的目的是在自主任务执行期间恢复和从失败中收集数据，以便将来可以防止它们。我们建议对实时故障恢复和数据收集进行触觉干预。Elly是一个系统，可以在自主机器人行为和人类干预之间进行无缝过渡，同时从人类恢复策略中收集感觉信息。系统和我们的设计选择在单臂任务上进行了实验验证 - 在插座中安装灯泡 - 以及双层任务 - 拧上瓶盖的帽子 - 使用两个配备的4手指握把。在这些示例中，Elly在总共40次运行中实现了超过80％的任务完成。

Robotic teleoperation is a key technology for a wide variety of applications. It allows sending robots instead of humans in remote, possibly dangerous locations while still using the human brain with its enormous knowledge and creativity, especially for solving unexpected problems. A main challenge in teleoperation consists of providing enough feedback to the human operator for situation awareness and thus create full immersion, as well as offering the operator suitable control interfaces to achieve efficient and robust task fulfillment. We present a bimanual telemanipulation system consisting of an anthropomorphic avatar robot and an operator station providing force and haptic feedback to the human operator. The avatar arms are controlled in Cartesian space with a direct mapping of the operator movements. The measured forces and torques on the avatar side are haptically displayed to the operator. We developed a predictive avatar model for limit avoidance which runs on the operator side, ensuring low latency. The system was successfully evaluated during the ANA Avatar XPRIZE competition semifinals. In addition, we performed in lab experiments and carried out a small user study with mostly untrained operators.

在本次调查中，我们介绍了执行需要不同于环境的操作任务的机器人的当前状态，使得机器人必须隐含地或明确地控制与环境的接触力来完成任务。机器人可以执行越来越多的人体操作任务，并且在1）主题上具有越来越多的出版物，其执行始终需要联系的任务，并且通过利用完美的任务来减轻环境来缓解不确定性信息，可以在没有联系的情况下进行。最近的趋势已经看到机器人在留下的人类留给人类，例如按摩，以及诸如PEG孔的经典任务中，对其他类似任务的概率更有效，更好的误差容忍以及更快的规划或学习任务。因此，在本调查中，我们涵盖了执行此类任务的机器人的当前阶段，从调查开始所有不同的联系方式机器人可以执行，观察这些任务是如何控制和表示的，并且最终呈现所需技能的学习和规划完成这些任务。

我们描述了更改 - 联系机器人操作任务的框架，要求机器人与对象和表面打破触点。这种任务的不连续交互动态使得难以构建和使用单个动力学模型或控制策略，并且接触变化期间动态的高度非线性性质可能对机器人和物体造成损害。我们提出了一种自适应控制框架，使机器人能够逐步学习以预测更改联系人任务中的接触变化，从而了解了碎片连续系统的交互动态，并使用任务空间可变阻抗控制器提供平滑且精确的轨迹跟踪。我们通过实验比较我们框架的表现，以确定所需的代表性控制方法，以确定我们框架的自适应控制和增量学习组件需要在变化 - 联系机器人操纵任务中存在不连续动态的平稳控制。

在本文中，我们讨论了通过模仿教授双人操作任务的框架。为此，我们提出了一种从人类示范中学习合规和接触良好的机器人行为的系统和算法。提出的系统结合了入学控制和机器学习的见解，以提取控制政策，这些政策可以（a）从时空和空间中恢复并适应各种干扰，同时（b）有效利用与环境的物理接触。我们使用现实世界中的插入任务证明了方法的有效性，该任务涉及操纵对象和插入钉之间的多个同时接触。我们还研究了为这种双人设置收集培训数据的有效方法。为此，我们进行了人类受试者的研究，并分析用户报告的努力和精神需求。我们的实验表明，尽管很难提供，但在遥控演示中可用的其他力/扭矩信息对于阶段估计和任务成功至关重要。最终，力/扭矩数据大大提高了操纵鲁棒性，从而在多点插入任务中获得了90％的成功率。可以在https://bimanualmanipulation.com/上找到代码和视频

远程运行是一种广泛采用的策略，用于控制需要高度灵巧运动和关键高级智力的复杂任务的机器人操纵器。经典的远程操作方案基于操纵杆的控制，或基于更直观的接口，这些界面将用户臂运动直接映射到一个机器人臂的运动中。当执行给定任务需要可重新配置的多个机器人ARM系统时，这些方法会限制。实际上，两个或多个机器人臂的同时进行近距离运行可以扩展操纵单元的工作空间，或增加其总有效载荷或提供其他优势。在可重新配置的多臂系统的不同阶段中，每个机器人可以充当独立的手臂，也可以充当一对合作的手臂，或者是虚拟大型机器人手的手指之一。该手稿提出了一个新型的远程注射框架，可以使个人和组合任何数量的机器人臂控制。多亏了设计的控制体系结构，人类操作员可以直观地选择提出的控制方式和操纵器，以使任务方便地通过用户界面执行。此外，通过Tele-Tele-Inverance范式，该系统可以通过让机器人模仿人类操作员的手臂阻抗和位置参考来解决需要物理互动的复杂任务。拟议的框架已通过8个主题，控制4个弗兰卡·埃米卡·熊猫机器人，并用7多杆执行远程触发任务。实验的定性结果向我们展示了我们框架的有希望的适用性。

医疗机器人技术可以帮助改善和扩大医疗服务的影响力。医疗机器人的一个主要挑战是机器人与患者之间的复杂物理相互作用是必须安全的。这项工作介绍了基于医疗应用中分形阻抗控制（FIC）的最近引入的控制体系结构的初步评估。部署的FIC体系结构在主机和复制机器人之间延迟很强。它可以在接纳和阻抗行为之间在线切换，并且与非结构化环境的互动是强大的。我们的实验分析了三种情况：远程手术，康复和远程超声扫描。实验不需要对机器人调整进行任何调整，这在操作员没有调整控制器所需的工程背景的医疗应用中至关重要。我们的结果表明，可以使用手术刀进行切割机器人，进行超声扫描并进行远程职业治疗。但是，我们的实验还强调了需要更好的机器人实施例，以精确控制3D动态任务中的系统。

现代的机器人操纵系统缺乏人类的操纵技巧，部分原因是它们依靠围绕视觉数据的关闭反馈循环，这会降低系统的带宽和速度。通过开发依赖于高带宽力，接触和接近数据的自主握力反射，可以提高整体系统速度和鲁棒性，同时减少对视力数据的依赖。我们正在开发一个围绕低渗透的高速手臂建造的新系统，该系统用敏捷的手指结合了一个高级轨迹计划器，以小于1 Hz的速度运行，低级自主反射控制器的运行量超过300 Hz。我们通过将成功的基线控制器和反射握把控制器的变化的成功抓Grasps的体积和反射系统的体积进行比较，从而表征了反射系统，发现我们的控制器将成功的掌握率与基线相比扩大了55％。我们还使用简单的基于视觉的计划者在自主杂波清除任务中部署了反身抓握控制器，在清除100多个项目的同时，达到了超过90％的成功率。

大物体的操纵和安全地在人类附近进行安全操作的能力是通用国内机器人助手的关键能力。我们介绍了一种柔软，触觉的人形的人形机器人的设计，并展示了用于处理大物体的全身丰富的接触操作策略。我们展示了我们的硬件设计理念，用于使用软触觉传感模块，包括：（i）低成本，抗缝，接触压力定位的武器， （ii）基于TRI软气泡传感器的爪子，用于最终效应器，（III）柔顺的力/几何传感器，用于粗糙几何感测表面/胸部。我们利用这些模块的机械智能和触觉感应，为全身抓握控制进行开发和展示运动原语。我们评估硬件在实现各种大型国内物体上实现不同优势的掌握。我们的结果表明，利用富含接触的操纵策略的柔软度和触觉感应的重要性，以及与世界的全身力量控制的互动前进的道路。

本文为复杂和物理互动的任务提供了用于移动操纵器的混合学习和优化框架。该框架利用了入学型物理接口，以获得直观而简化的人类演示和高斯混合模型（GMM）/高斯混合物回归（GMR），以根据位置，速度和力剖面来编码和生成学习的任务要求。接下来，使用GMM/GMR生成的所需轨迹和力剖面，通过用二次程序加强能量箱增强笛卡尔阻抗控制器的阻抗参数可以在线优化，以确保受控系统的消极性。进行了两个实验以验证框架，将我们的方法与两种恒定刚度（高和低）的方法进行了比较。结果表明，即使在存在诸如意外的最终效应碰撞等干扰的情况下，该方法在轨迹跟踪和生成的相互作用力方面都优于其他两种情况。

在机器学习中使用大型数据集已导致出色的结果，在某些情况下，在机器上认为不可能的任务中的人数优于人类。但是，在处理身体上的互动任务时，实现人类水平的表现，例如，在接触良好的机器人操作中，仍然是一个巨大的挑战。众所周知，规范笛卡尔阻抗进行此类行动对于成功执行至关重要。加强学习（RL）之类的方法可能是解决此类问题的有希望的范式。更确切地说，在解决新任务具有巨大潜力时，使用任务不足的专家演示的方法可以利用大型数据集。但是，现有的数据收集系统是昂贵，复杂的，或者不允许进行阻抗调节。这项工作是朝着数据收集框架迈出的第一步，适合收集与使用新颖的动作空间的RL问题公式相容的基于阻抗的专家演示的大型数据集。该框架是根据对机器人操纵的可用数据收集框架进行广泛分析后根据要求设计的。结果是一个低成本且开放的远程阻抗框架，它使人类专家能够展示接触式任务。

人类的生活是无价的。当需要完成危险或威胁生命的任务时，机器人平台可能是更换人类运营商的理想选择。我们在这项工作中重点关注的任务是爆炸性的手段。鉴于移动机器人在多种环境中运行时表现出强大的功能，机器人触觉有可能提供安全解决方案。但是，与人类的运作相比，在此阶段，自主权可能具有挑战性和风险。远程运行可能是完整的机器人自主权和人类存在之间的折衷方案。在本文中，我们提出了一种相对便宜的解决方案，可用于远程敏感和机器人远程操作，以使用腿部操纵器（即，腿部四足机器人的机器人和RGB-D传感）来协助爆炸的军械处置。我们提出了一种新型的系统集成，以解决四足动物全身控制的非平凡问题。我们的系统基于可穿戴的基于IMU的运动捕获系统，该系统用于远程操作和视觉触发性的VR耳机。我们在实验中验证了现实世界中的方法，用于需要全身机器人控制和视觉触发的机车操作任务。

在本报告中，我们提出了在哥斯达黎加太平洋架子和圣托里尼 - Kolumbo Caldera Complex中，在寻找寿命中的寻找寿命任务中的自主海洋机器人技术协调，操作策略和结果。它作为可能存在于海洋超越地球的环境中的类似物。本报告侧重于ROV操纵器操作的自动化，用于从海底获取有针对性的生物样品收集和返回的。在未来的外星勘查任务到海洋世界的背景下，ROV是一个模拟的行星着陆器，必须能够有能力的高水平自主权。我们的田间试验涉及两个水下车辆，冰（Nui）杂交ROV的两个水下车辆（即，龙眼或自主）任务，都配备了7-DOF液压机械手。我们描述了一种适应性，硬件无关的计算机视觉架构，可实现高级自动化操作。 Vision系统提供了对工作空间的3D理解，以便在复杂的非结构化环境中通知操纵器运动计划。我们展示了视觉系统和控制框架通过越来越具有挑战性的环境中的现场试验的有效性，包括来自活性Undersea火山，Kolumbo内的自动收集和生物样品的回报。根据我们在该领域的经验，我们讨论了我们的系统的表现，并确定了未来研究的有希望的指示。

使机器人能够靠近人类工作，需要一个控制框架，该框架不仅包括用于自主和协调的交互的多感官信息，而且还具有感知的任务计划，以确保适应性和灵活的协作行为。在这项研究中，提出了一种直观的任务堆叠（ISOT）制剂，通过考虑人臂姿势和任务进展来定义机器人的动作。该框架以visuo-tactive信息增强，以有效地了解协作环境，直观地在计划的子任务之间切换。来自深度摄像机的视觉反馈监视并估计物体的姿势和人臂姿势，而触觉数据提供勘探技能以检测和维持所需的触点以避免物体滑动。为了评估由人类和人机合作伙伴执行的所提出的框架，装配和拆卸任务的性能，有效性和可用性，使用不同的评估指标进行考虑和分析，方法适应，掌握校正，任务协调延迟，累积姿势偏差，以及任务重复性。

设置机器人环境快速测试新开发的算法仍然是一个困难且耗时的过程。这给有兴趣执行现实世界机器人实验的研究人员带来了重大障碍。Robotio是一个旨在解决此问题的Python库。它着重于为机器人，抓地力和摄像机等提供常见，简单和结构化的Python接口。这些接口以及这些接口的实现为常见硬件提供了。此启用使用机器人的代码可以在不同的机器人设置上可移植。在建筑方面，Robotio旨在与OpenAI健身房环境以及ROS兼容。提供了这两种示例。该库与许多有用的工具一起融合在一起，例如相机校准脚本和情节记录功能，这些功能进一步支持算法开发。

为了成为人类的有效伴侣，机器人必须越来越舒适地与环境接触。不幸的是，机器人很难区分``足够的''和``太多''力：完成任务需要一些力量，但太多可能会损害设备或伤害人类。设计合规的反馈控制器（例如刚度控制）的传统方法需要对控制参数进行手工调整，并使建立安全，有效的机器人合作者变得困难。在本文中，我们提出了一种新颖而易于实现的力反馈控制器，该反馈控制器使用控制屏障功能（CBF）直接从用户的最大允许力和扭矩的用户规格中得出合并的控制器。我们比较了传统僵硬控制的方法，以证明控制架构的潜在优势，并在人类机器人协作任务中证明了控制器的有效性：对笨重对象的合作操纵。

Robots have been steadily increasing their presence in our daily lives, where they can work along with humans to provide assistance in various tasks on industry floors, in offices, and in homes. Automated assembly is one of the key applications of robots, and the next generation assembly systems could become much more efficient by creating collaborative human-robot systems. However, although collaborative robots have been around for decades, their application in truly collaborative systems has been limited. This is because a truly collaborative human-robot system needs to adjust its operation with respect to the uncertainty and imprecision in human actions, ensure safety during interaction, etc. In this paper, we present a system for human-robot collaborative assembly using learning from demonstration and pose estimation, so that the robot can adapt to the uncertainty caused by the operation of humans. Learning from demonstration is used to generate motion trajectories for the robot based on the pose estimate of different goal locations from a deep learning-based vision system. The proposed system is demonstrated using a physical 6 DoF manipulator in a collaborative human-robot assembly scenario. We show successful generalization of the system's operation to changes in the initial and final goal locations through various experiments.

Dexterous manipulation with anthropomorphic robot hands remains a challenging problem in robotics because of the high-dimensional state and action spaces and complex contacts. Nevertheless, skillful closed-loop manipulation is required to enable humanoid robots to operate in unstructured real-world environments. Reinforcement learning (RL) has traditionally imposed enormous interaction data requirements for optimizing such complex control problems. We introduce a new framework that leverages recent advances in GPU-based simulation along with the strength of imitation learning in guiding policy search towards promising behaviors to make RL training feasible in these domains. To this end, we present an immersive virtual reality teleoperation interface designed for interactive human-like manipulation on contact rich tasks and a suite of manipulation environments inspired by tasks of daily living. Finally, we demonstrate the complementary strengths of massively parallel RL and imitation learning, yielding robust and natural behaviors. Videos of trained policies, our source code, and the collected demonstration datasets are available at https://maltemosbach.github.io/interactive_ human_like_manipulation/.

本文提出了一种以非零速度的效果友好型捕捉对象的混合优化和学习方法。通过受约束的二次编程问题，该方法生成最佳轨迹，直至机器人和对象之间的接触点，以最小化其相对速度并减少初始影响力。接下来，生成的轨迹是由基于人类的捕捉演示的旋风动作原始词更新的，以确保围绕接口点的平稳过渡。此外，学习的人类可变刚度（HVS）被发送到机器人的笛卡尔阻抗控制器，以吸收后影响力并稳定捕获位置。进行了三个实验，以将我们的方法与固定位置阻抗控制器（FP-IC）进行比较。结果表明，所提出的方法的表现优于FP-IC，同时添加HVS可以更好地吸收影响后力。

We present a generalised architecture for reactive mobile manipulation while a robot's base is in motion toward the next objective in a high-level task. By performing tasks on-the-move, overall cycle time is reduced compared to methods where the base pauses during manipulation. Reactive control of the manipulator enables grasping objects with unpredictable motion while improving robustness against perception errors, environmental disturbances, and inaccurate robot control compared to open-loop, trajectory-based planning approaches. We present an example implementation of the architecture and investigate the performance on a series of pick and place tasks with both static and dynamic objects and compare the performance to baseline methods. Our method demonstrated a real-world success rate of over 99%, failing in only a single trial from 120 attempts with a physical robot system. The architecture is further demonstrated on other mobile manipulator platforms in simulation. Our approach reduces task time by up to 48%, while also improving reliability, gracefulness, and predictability compared to existing architectures for mobile manipulation. See https://benburgesslimerick.github.io/ManipulationOnTheMove for supplementary materials.