Learning from demonstration (LfD) is a proven technique to teach robots new skills. Data quality and quantity play a critical role in LfD trained model performance. In this paper we analyze the effect of enhancing an existing teleoperation data collection system with real-time haptic feedback; we observe improvements in the collected data throughput and its quality for model training. Our experiment testbed was a mobile manipulator robot that opened doors with latch handles. Evaluation of teleoperated data collection on eight real world conference room doors found that adding the haptic feedback improved the data throughput by 6%. We additionally used the collected data to train six image-based deep imitation learning models, three with haptic feedback and three without it. These models were used to implement autonomous door-opening with the same type of robot used during data collection. Our results show that a policy from a behavior cloning model trained with haptic data performed on average 11% better than its counterpart with no haptic feedback data, indicating that haptic feedback resulted in collection of a higher quality dataset.

学识渊博的视觉运动策略已取得了相当大的成功，作为用于机器人操纵的传统手工制作框架的替代方法。令人惊讶的是，这些方法向多视域域的扩展相对尚未探索。可以在移动操作平台上部署成功的多视策略，从而使机器人可以完成任务，无论其场景的看法如何。在这项工作中，我们证明可以通过从各种观点收集数据来通过模仿学习来找到多览策略。我们通过在模拟环境和真实的移动操纵平台上学习完成几个具有挑战性的多阶段和接触任务来说明该方法的一般适用性。此外，与从固定角度收集的数据相比，我们分析了我们的政策，以确定从多视图数据中学习的好处。我们表明，与使用等效量的固定视图数据相比，从多视图数据中学习对固定视图任务的惩罚很少（如果有的话）。最后，我们研究了多视图和固定视图策略所学的视觉特征。我们的结果表明，多视图策略隐含地学习识别与空间相关的特征。

Dexterous manipulation with anthropomorphic robot hands remains a challenging problem in robotics because of the high-dimensional state and action spaces and complex contacts. Nevertheless, skillful closed-loop manipulation is required to enable humanoid robots to operate in unstructured real-world environments. Reinforcement learning (RL) has traditionally imposed enormous interaction data requirements for optimizing such complex control problems. We introduce a new framework that leverages recent advances in GPU-based simulation along with the strength of imitation learning in guiding policy search towards promising behaviors to make RL training feasible in these domains. To this end, we present an immersive virtual reality teleoperation interface designed for interactive human-like manipulation on contact rich tasks and a suite of manipulation environments inspired by tasks of daily living. Finally, we demonstrate the complementary strengths of massively parallel RL and imitation learning, yielding robust and natural behaviors. Videos of trained policies, our source code, and the collected demonstration datasets are available at https://maltemosbach.github.io/interactive_ human_like_manipulation/.

在本文中，我们讨论了通过模仿教授双人操作任务的框架。为此，我们提出了一种从人类示范中学习合规和接触良好的机器人行为的系统和算法。提出的系统结合了入学控制和机器学习的见解，以提取控制政策，这些政策可以（a）从时空和空间中恢复并适应各种干扰，同时（b）有效利用与环境的物理接触。我们使用现实世界中的插入任务证明了方法的有效性，该任务涉及操纵对象和插入钉之间的多个同时接触。我们还研究了为这种双人设置收集培训数据的有效方法。为此，我们进行了人类受试者的研究，并分析用户报告的努力和精神需求。我们的实验表明，尽管很难提供，但在遥控演示中可用的其他力/扭矩信息对于阶段估计和任务成功至关重要。最终，力/扭矩数据大大提高了操纵鲁棒性，从而在多点插入任务中获得了90％的成功率。可以在https://bimanualmanipulation.com/上找到代码和视频

Reinforcement learning holds the promise of enabling autonomous robots to learn large repertoires of behavioral skills with minimal human intervention. However, robotic applications of reinforcement learning often compromise the autonomy of the learning process in favor of achieving training times that are practical for real physical systems. This typically involves introducing hand-engineered policy representations and human-supplied demonstrations. Deep reinforcement learning alleviates this limitation by training general-purpose neural network policies, but applications of direct deep reinforcement learning algorithms have so far been restricted to simulated settings and relatively simple tasks, due to their apparent high sample complexity. In this paper, we demonstrate that a recent deep reinforcement learning algorithm based on offpolicy training of deep Q-functions can scale to complex 3D manipulation tasks and can learn deep neural network policies efficiently enough to train on real physical robots. We demonstrate that the training times can be further reduced by parallelizing the algorithm across multiple robots which pool their policy updates asynchronously. Our experimental evaluation shows that our method can learn a variety of 3D manipulation skills in simulation and a complex door opening skill on real robots without any prior demonstrations or manually designed representations.

By transferring knowledge from large, diverse, task-agnostic datasets, modern machine learning models can solve specific downstream tasks either zero-shot or with small task-specific datasets to a high level of performance. While this capability has been demonstrated in other fields such as computer vision, natural language processing or speech recognition, it remains to be shown in robotics, where the generalization capabilities of the models are particularly critical due to the difficulty of collecting real-world robotic data. We argue that one of the keys to the success of such general robotic models lies with open-ended task-agnostic training, combined with high-capacity architectures that can absorb all of the diverse, robotic data. In this paper, we present a model class, dubbed Robotics Transformer, that exhibits promising scalable model properties. We verify our conclusions in a study of different model classes and their ability to generalize as a function of the data size, model size, and data diversity based on a large-scale data collection on real robots performing real-world tasks. The project's website and videos can be found at robotics-transformer.github.io

我们研究了复杂几何物体的机器人堆叠问题。我们提出了一个挑战和多样化的这些物体，这些物体被精心设计，以便要求超出简单的“拾取”解决方案之外的策略。我们的方法是加强学习（RL）方法与基于视觉的互动政策蒸馏和模拟到现实转移相结合。我们的学习政策可以有效地处理现实世界中的多个对象组合，并展示各种各样的堆叠技能。在一个大型的实验研究中，我们调查在模拟中学习这种基于视觉的基于视觉的代理的选择，以及对真实机器人的最佳转移产生了什么影响。然后，我们利用这些策略收集的数据并通过离线RL改善它们。我们工作的视频和博客文章作为补充材料提供。

在移动操作（MM）中，机器人可以在内部导航并与其环境进行交互，因此能够完成比仅能够导航或操纵的机器人的更多任务。在这项工作中，我们探讨如何应用模仿学习（IL）来学习MM任务的连续Visuo-Motor策略。许多事先工作表明，IL可以为操作或导航域训练Visuo-Motor策略，但很少有效应用IL到MM域。这样做是挑战的两个原因：在数据方面，当前的接口使得收集高质量的人类示范困难，在学习方面，有限数据培训的政策可能会在部署时遭受协变速转变。为了解决这些问题，我们首先提出了移动操作Roboturk（Momart），这是一种新颖的遥控框架，允许同时导航和操纵移动操纵器，并在现实的模拟厨房设置中收集一类大规模的大规模数据集。然后，我们提出了一个学习错误检测系统来解决通过检测代理处于潜在故障状态时的协变量转变。我们从该数据中培训表演者的IL政策和错误探测器，在专家数据培训时，在多个多级任务中达到超过45％的任务成功率和85％的错误检测成功率。 CodeBase，DataSets，Visualization，以及更多可用的https://sites.google.com/view/il-for-mm/home。

与人类在环境中共存的通用机器人必须学会将人类语言与其在一系列日常任务中有用的看法和行动联系起来。此外，他们需要获取各种曲目的一般专用技能，允许通过遵循无约束语言指示来组成长地平任务。在本文中，我们呈现了凯文（从语言和愿景撰写的行动），是一个露天模拟基准，用于学习Long-Horizo​​ n语言条件的任务。我们的目的是使可以开发能够通过船上传感器解决许多机器人操纵任务的代理商，并且仅通过人类语言指定。 Calvin任务在序列长度，动作空间和语言方面更复杂，而不是现有的视觉和语言任务数据集，并支持灵活的传感器套件规范。我们评估零拍摄的代理商以新颖的语言指示以及新的环境和对象。我们表明，基于多语境模仿学习的基线模型在凯文中表现不佳，表明有很大的空间，用于开发创新代理，了解学习将人类语言与这款基准相关的世界模型。

即使是最强大的自主行为也可能失败。这项研究的目的是在自主任务执行期间恢复和从失败中收集数据，以便将来可以防止它们。我们建议对实时故障恢复和数据收集进行触觉干预。Elly是一个系统，可以在自主机器人行为和人类干预之间进行无缝过渡，同时从人类恢复策略中收集感觉信息。系统和我们的设计选择在单臂任务上进行了实验验证 - 在插座中安装灯泡 - 以及双层任务 - 拧上瓶盖的帽子 - 使用两个配备的4手指握把。在这些示例中，Elly在总共40次运行中实现了超过80％的任务完成。

随着机器人越来越多地进入以人为本的环境，他们不仅必须能够在人类周围安全地浏览，还必须遵守复杂的社会规范。人类通常在围绕他人围绕他人（尤其是在密集占据的空间中）时，通常通过手势和面部表情依靠非语言交流。因此，机器人还需要能够将手势解释为解决社会导航任务的一部分。为此，我们提出了一种新型的社会导航方法，将基于图像的模仿学习与模型预测性控制结合在一起。手势是基于在图像流中运行的神经网络来解释的，而我们使用最先进的模型预测控制算法来求解点对点导航任务。我们将方法部署在真实的机器人上，并展示我们的方法对四个手势游动场景的有效性：左/右，跟随我，然后圈出一个圆圈。我们的实验表明，我们的方法能够成功地解释复杂的人类手势，并将其用作信号，以生成具有社会符合性的导航任务的轨迹。我们基于与机器人相互作用的参与者的原位等级验证了我们的方法。

Large-scale data is an essential component of machine learning as demonstrated in recent advances in natural language processing and computer vision research. However, collecting large-scale robotic data is much more expensive and slower as each operator can control only a single robot at a time. To make this costly data collection process efficient and scalable, we propose Policy Assisted TeleOperation (PATO), a system which automates part of the demonstration collection process using a learned assistive policy. PATO autonomously executes repetitive behaviors in data collection and asks for human input only when it is uncertain about which subtask or behavior to execute. We conduct teleoperation user studies both with a real robot and a simulated robot fleet and demonstrate that our assisted teleoperation system reduces human operators' mental load while improving data collection efficiency. Further, it enables a single operator to control multiple robots in parallel, which is a first step towards scalable robotic data collection. For code and video results, see https://clvrai.com/pato

在机器学习中使用大型数据集已导致出色的结果，在某些情况下，在机器上认为不可能的任务中的人数优于人类。但是，在处理身体上的互动任务时，实现人类水平的表现，例如，在接触良好的机器人操作中，仍然是一个巨大的挑战。众所周知，规范笛卡尔阻抗进行此类行动对于成功执行至关重要。加强学习（RL）之类的方法可能是解决此类问题的有希望的范式。更确切地说，在解决新任务具有巨大潜力时，使用任务不足的专家演示的方法可以利用大型数据集。但是，现有的数据收集系统是昂贵，复杂的，或者不允许进行阻抗调节。这项工作是朝着数据收集框架迈出的第一步，适合收集与使用新颖的动作空间的RL问题公式相容的基于阻抗的专家演示的大型数据集。该框架是根据对机器人操纵的可用数据收集框架进行广泛分析后根据要求设计的。结果是一个低成本且开放的远程阻抗框架，它使人类专家能够展示接触式任务。

3D视觉输入的对象操纵对构建可宽大的感知和政策模型构成了许多挑战。然而，现有基准中的3D资产主要缺乏与拓扑和几何中的现实世界内复杂的3D形状的多样性。在这里，我们提出了Sapien操纵技能基准（Manishill）以在全物理模拟器中的各种物体上基准操纵技巧。 Manishill中的3D资产包括大型课堂内拓扑和几何变化。仔细选择任务以涵盖不同类型的操纵挑战。 3D Vision的最新进展也使我们认为我们应该定制基准，以便挑战旨在邀请研究3D深入学习的研究人员。为此，我们模拟了一个移动的全景摄像头，返回以自我为中心的点云或RGB-D图像。此外，我们希望Manishill是为一个对操纵研究感兴趣的广泛研究人员提供服务。除了支持从互动的政策学习，我们还支持学习 - 从演示（LFD）方法，通过提供大量的高质量演示（〜36,000个成功的轨迹，总共〜1.5米点云/ RGB-D帧）。我们提供使用3D深度学习和LFD算法的基线。我们的基准（模拟器，环境，SDK和基线）的所有代码都是开放的，并且将基于基准举办跨学科研究人员面临的挑战。

在本次调查中，我们介绍了执行需要不同于环境的操作任务的机器人的当前状态，使得机器人必须隐含地或明确地控制与环境的接触力来完成任务。机器人可以执行越来越多的人体操作任务，并且在1）主题上具有越来越多的出版物，其执行始终需要联系的任务，并且通过利用完美的任务来减轻环境来缓解不确定性信息，可以在没有联系的情况下进行。最近的趋势已经看到机器人在留下的人类留给人类，例如按摩，以及诸如PEG孔的经典任务中，对其他类似任务的概率更有效，更好的误差容忍以及更快的规划或学习任务。因此，在本调查中，我们涵盖了执行此类任务的机器人的当前阶段，从调查开始所有不同的联系方式机器人可以执行，观察这些任务是如何控制和表示的，并且最终呈现所需技能的学习和规划完成这些任务。

从意外的外部扰动中恢复的能力是双模型运动的基本机动技能。有效的答复包括不仅可以恢复平衡并保持稳定性的能力，而且在平衡恢复物质不可行时，也可以保证安全的方式。对于与双式运动有关的机器人，例如人形机器人和辅助机器人设备，可帮助人类行走，设计能够提供这种稳定性和安全性的控制器可以防止机器人损坏或防止伤害相关的医疗费用。这是一个具有挑战性的任务，因为它涉及用触点产生高维，非线性和致动系统的高动态运动。尽管使用基于模型和优化方法的前进方面，但诸如广泛领域知识的要求，诸如较大的计算时间和有限的动态变化的鲁棒性仍然会使这个打开问题。在本文中，为了解决这些问题，我们开发基于学习的算法，能够为两种不同的机器人合成推送恢复控制政策：人形机器人和有助于双模型运动的辅助机器人设备。我们的工作可以分为两个密切相关的指示：1）学习人形机器人的安全下降和预防策略，2）使用机器人辅助装置学习人类的预防策略。为实现这一目标，我们介绍了一套深度加强学习（DRL）算法，以学习使用这些机器人时提高安全性的控制策略。

我们通过在野外观看人类来解决学习问题。尽管在现实世界中学习的传统方法和强化学习对于学习是有希望的，但它们要么是效率低下的样本，要么被限制在实验室环境中。同时，处理被动的，非结构化的人类数据已经取得了很大的成功。我们建议通过有效的一声机器人学习算法解决此问题，该算法围绕第三人称的角度学习。我们称我们的方法旋转：野生人类模仿机器人学习。旋转对人类演示者的意图提取先前，并使用它来初始化代理商的策略。我们介绍了一种有效的现实世界政策学习方案，该方案可以使用交互作用进行改进。我们的主要贡献是一种简单的基于抽样的策略优化方法，这是一种对齐人和机器人视频的新型目标功能，以及一种提高样本效率的探索方法。我们在现实世界中展示了单一的概括和成功，其中包括野外的20个不同的操纵任务。视频并在https://human2robot.github.io上进行交谈

在现实世界中，教授多指的灵巧机器人在现实世界中掌握物体，这是一个充满挑战的问题，由于其高维状态和动作空间。我们提出了一个机器人学习系统，该系统可以进行少量的人类示范，并学会掌握在某些被遮挡的观察结果的情况下掌握看不见的物体姿势。我们的系统利用了一个小型运动捕获数据集，并为多指的机器人抓手生成具有多种多样且成功的轨迹的大型数据集。通过添加域随机化，我们表明我们的数据集提供了可以将其转移到策略学习者的强大抓地力轨迹。我们训练一种灵活的抓紧策略，该策略将对象的点云作为输入，并预测连续的动作以从不同初始机器人状态掌握对象。我们在模拟中评估了系统对22多伏的浮动手的有效性，并在现实世界中带有kuka手臂的23多杆Allegro机器人手。从我们的数据集中汲取的政策可以很好地概括在模拟和现实世界中的看不见的对象姿势

We present a retrospective on the state of Embodied AI research. Our analysis focuses on 13 challenges presented at the Embodied AI Workshop at CVPR. These challenges are grouped into three themes: (1) visual navigation, (2) rearrangement, and (3) embodied vision-and-language. We discuss the dominant datasets within each theme, evaluation metrics for the challenges, and the performance of state-of-the-art models. We highlight commonalities between top approaches to the challenges and identify potential future directions for Embodied AI research.

我们介绍了语言信息的潜在行动（LILA），这是在人机协作的背景下学习自然语言界面的框架。 Lila落在共享自主范式下：除了提供离散语言输入之外，人类还有低维控制器$ - 例如，可以向左/向右和向右移动2自由度（DOF）操纵杆$ - $操作机器人。 LILA学习使用语言来调制本控制器，为用户提供语言信息的控制空间：给定“将谷物碗放在托盘上的指示”，LILA可以学习一个二维空间，其中一个维度控制距离的距离机器人的末端执行器到碗，另一个维度控制机器人的末端效应器相对于碗上的抓地点。我们使用现实世界的用户学习评估LILA，用户可以在操作7 DOF法兰卡·埃米卡熊猫手臂时提供语言指导，以完成一系列复杂的操作任务。我们表明LILA模型不仅可以比仿制学习和终端效应器控制基线更高效，而且表现不变，但它们也是质疑优选的用户。