已知人类凝视是在操纵任务期间的潜在人类意图和目标的强大指标。这项工作研究人类教师的凝视模式证明了机器人的任务，并提出了这种模式可用于增强机器人学习的方式。使用Kinesthetic教学和视频演示，我们在教学中识别新颖的意图揭示凝视行为。这些在各种问题中被证明是从参考帧推理到多步任务的分割的各种问题。基于我们的研究结果，我们提出了两个概念验证算法，该算法表明，凝视数据可以增强多台任务的子任务分类，高达6％，奖励推理和策略学习，可为单步任务高达67％。我们的调查结果为机器人学习中的自然人凝视模型提供了基础，从演示设置上学习，并在利用人凝游来提高机器人学习的开放问题。

Imitation learning techniques aim to mimic human behavior in a given task. An agent (a learning machine) is trained to perform a task from demonstrations by learning a mapping between observations and actions. The idea of teaching by imitation has been around for many years, however, the field is gaining attention recently due to advances in computing and sensing as well as rising demand for intelligent applications. The paradigm of learning by imitation is gaining popularity because it facilitates teaching complex tasks with minimal expert knowledge of the tasks. Generic imitation learning methods could potentially reduce the problem of teaching a task to that of providing demonstrations; without the need for explicit programming or designing reward functions specific to the task. Modern sensors are able to collect and transmit high volumes of data rapidly, and processors with high computational power allow fast processing that maps the sensory data to actions in a timely manner. This opens the door for many potential AI applications that require real-time perception and reaction such as humanoid robots, self-driving vehicles, human computer interaction and computer games to name a few. However, specialized algorithms are needed to effectively and robustly learn models as learning by imitation poses its own set of challenges. In this paper, we survey imitation learning methods and present design options in different steps of the learning process. We introduce a background and motivation for the field as well as highlight challenges specific to the imitation problem. Methods for designing and evaluating imitation learning tasks are categorized and reviewed. Special attention is given to learning methods in robotics and games as these domains are the most popular in the literature and provide a wide array of problems and methodologies. We extensively discuss combining imitation learning approaches using different sources and methods, as well as incorporating other motion learning methods to enhance imitation. We also discuss the potential impact on industry, present major applications and highlight current and future research directions.

虽然对理解计算机视觉中的手对象交互进行了重大进展，但机器人执行复杂的灵巧操纵仍然非常具有挑战性。在本文中，我们提出了一种新的平台和管道DEXMV（来自视频的Dexerous操纵）以进行模仿学习。我们设计了一个平台：（i）具有多指机器人手和（ii）计算机视觉系统的复杂灵巧操纵任务的仿真系统，以记录进行相同任务的人类手的大规模示范。在我们的小说管道中，我们从视频中提取3D手和对象姿势，并提出了一种新颖的演示翻译方法，将人类运动转换为机器人示范。然后，我们将多个仿制学习算法与演示进行应用。我们表明，示威活动确实可以通过大幅度提高机器人学习，并解决独自增强学习无法解决的复杂任务。具有视频的项目页面：https://yzqin.github.io/dexmv

在本文中，我们讨论了通过模仿教授双人操作任务的框架。为此，我们提出了一种从人类示范中学习合规和接触良好的机器人行为的系统和算法。提出的系统结合了入学控制和机器学习的见解，以提取控制政策，这些政策可以（a）从时空和空间中恢复并适应各种干扰，同时（b）有效利用与环境的物理接触。我们使用现实世界中的插入任务证明了方法的有效性，该任务涉及操纵对象和插入钉之间的多个同时接触。我们还研究了为这种双人设置收集培训数据的有效方法。为此，我们进行了人类受试者的研究，并分析用户报告的努力和精神需求。我们的实验表明，尽管很难提供，但在遥控演示中可用的其他力/扭矩信息对于阶段估计和任务成功至关重要。最终，力/扭矩数据大大提高了操纵鲁棒性，从而在多点插入任务中获得了90％的成功率。可以在https://bimanualmanipulation.com/上找到代码和视频

我们调查视觉跨实施的模仿设置，其中代理商学习来自其他代理的视频（例如人类）的策略，示范相同的任务，但在其实施例中具有缺点差异 - 形状，动作，终效应器动态等。在这项工作中，我们证明可以从对这些差异强大的跨实施例证视频自动发现和学习基于视觉的奖励功能。具体而言，我们介绍了一种用于跨实施的跨实施的自我监督方法（XIRL），它利用时间周期 - 一致性约束来学习深度视觉嵌入，从而从多个专家代理的示范的脱机视频中捕获任务进度，每个都执行相同的任务不同的原因是实施例差异。在我们的工作之前，从自我监督嵌入产生奖励通常需要与参考轨迹对齐，这可能难以根据STARK实施例的差异来获取。我们凭经验显示，如果嵌入式了解任务进度，则只需在学习的嵌入空间中占据当前状态和目标状态之间的负距离是有用的，作为培训与加强学习的培训政策的奖励。我们发现我们的学习奖励功能不仅适用于在训练期间看到的实施例，而且还概括为完全新的实施例。此外，在将现实世界的人类示范转移到模拟机器人时，我们发现XIRL比当前最佳方法更具样本。 https://x-irl.github.io提供定性结果，代码和数据集

我们介绍了语言信息的潜在行动（LILA），这是在人机协作的背景下学习自然语言界面的框架。 Lila落在共享自主范式下：除了提供离散语言输入之外，人类还有低维控制器$ - 例如，可以向左/向右和向右移动2自由度（DOF）操纵杆$ - $操作机器人。 LILA学习使用语言来调制本控制器，为用户提供语言信息的控制空间：给定“将谷物碗放在托盘上的指示”，LILA可以学习一个二维空间，其中一个维度控制距离的距离机器人的末端执行器到碗，另一个维度控制机器人的末端效应器相对于碗上的抓地点。我们使用现实世界的用户学习评估LILA，用户可以在操作7 DOF法兰卡·埃米卡熊猫手臂时提供语言指导，以完成一系列复杂的操作任务。我们表明LILA模型不仅可以比仿制学习和终端效应器控制基线更高效，而且表现不变，但它们也是质疑优选的用户。

To build general robotic agents that can operate in many environments, it is often imperative for the robot to collect experience in the real world. However, this is often not feasible due to safety, time, and hardware restrictions. We thus propose leveraging the next best thing as real-world experience: internet videos of humans using their hands. Visual priors, such as visual features, are often learned from videos, but we believe that more information from videos can be utilized as a stronger prior. We build a learning algorithm, VideoDex, that leverages visual, action, and physical priors from human video datasets to guide robot behavior. These actions and physical priors in the neural network dictate the typical human behavior for a particular robot task. We test our approach on a robot arm and dexterous hand-based system and show strong results on various manipulation tasks, outperforming various state-of-the-art methods. Videos at https://video-dex.github.io

Dexterous manipulation with anthropomorphic robot hands remains a challenging problem in robotics because of the high-dimensional state and action spaces and complex contacts. Nevertheless, skillful closed-loop manipulation is required to enable humanoid robots to operate in unstructured real-world environments. Reinforcement learning (RL) has traditionally imposed enormous interaction data requirements for optimizing such complex control problems. We introduce a new framework that leverages recent advances in GPU-based simulation along with the strength of imitation learning in guiding policy search towards promising behaviors to make RL training feasible in these domains. To this end, we present an immersive virtual reality teleoperation interface designed for interactive human-like manipulation on contact rich tasks and a suite of manipulation environments inspired by tasks of daily living. Finally, we demonstrate the complementary strengths of massively parallel RL and imitation learning, yielding robust and natural behaviors. Videos of trained policies, our source code, and the collected demonstration datasets are available at https://maltemosbach.github.io/interactive_ human_like_manipulation/.

从示范中学习（LFD）方法使最终用户能够通过演示所需的行为来教机器人新任务，从而使对机器人技术的访问民主化。但是，当前的LFD框架无法快速适应异质的人类示范，也无法在无处不在的机器人技术应用中进行大规模部署。在本文中，我们提出了一个新型的LFD框架，快速的终身自适应逆增强学习（FLAIR）。我们的方法（1）利用策略来构建政策混合物，以快速适应新的示范，从而快速最终用户个性化； （2）提炼跨示范的常识，实现准确的任务推断； （3）仅在终身部署中需要扩展其模型，并保持一套简洁的原型策略，这些策略可以通过政策混合物近似所有行为。我们从经验上验证了能力可以实现适应能力（即机器人适应异质性，特定用户特定的任务偏好），效率（即机器人实现样本适应性）和可伸缩性（即，模型都会与示范范围增长，同时保持高性能）。 Flair超过了三个连续控制任务的基准测试，其政策收益的平均提高了57％，使用策略混合物进行示范建模所需的次数少78％。最后，我们在现实机器人乒乓球任务中展示了Flair的成功。

人类可以利用身体互动来教机器人武器。这种物理互动取决于任务，用户以及机器人到目前为止所学的内容。最先进的方法专注于从单一模态学习，或者假设机器人具有有关人类预期任务的先前信息，从而结合了多个互动类型。相比之下，在本文中，我们介绍了一种算法形式主义，该算法从演示，更正和偏好中学习。我们的方法对人类想要教机器人的任务没有任何假设。取而代之的是，我们通过将人类的输入与附近的替代方案进行比较，从头开始学习奖励模型。我们首先得出损失函数，该功能训练奖励模型的合奏，以匹配人类的示范，更正和偏好。反馈的类型和顺序取决于人类老师：我们使机器人能够被动地或积极地收集此反馈。然后，我们应用受约束的优化将我们学习的奖励转换为所需的机器人轨迹。通过模拟和用户研究，我们证明，与现有基线相比，我们提出的方法更准确地从人体互动中学习了操纵任务，尤其是当机器人面临新的或意外的目标时。我们的用户研究视频可在以下网址获得：https：//youtu.be/fsujstyveku

我们通过在野外观看人类来解决学习问题。尽管在现实世界中学习的传统方法和强化学习对于学习是有希望的，但它们要么是效率低下的样本，要么被限制在实验室环境中。同时，处理被动的，非结构化的人类数据已经取得了很大的成功。我们建议通过有效的一声机器人学习算法解决此问题，该算法围绕第三人称的角度学习。我们称我们的方法旋转：野生人类模仿机器人学习。旋转对人类演示者的意图提取先前，并使用它来初始化代理商的策略。我们介绍了一种有效的现实世界政策学习方案，该方案可以使用交互作用进行改进。我们的主要贡献是一种简单的基于抽样的策略优化方法，这是一种对齐人和机器人视频的新型目标功能，以及一种提高样本效率的探索方法。我们在现实世界中展示了单一的概括和成功，其中包括野外的20个不同的操纵任务。视频并在https://human2robot.github.io上进行交谈

从制造环境到个人房屋的最终用户任务的巨大多样性使得预编程机器人非常具有挑战性。事实上，教学机器人从划痕的新行动可以重复使用以前看不见的任务仍然是一个艰难的挑战，一般都留给了机器人专家。在这项工作中，我们展示了Iropro，这是一个交互式机器人编程框架，允许最终用户没有技术背景，以教授机器人新的可重用行动。我们通过演示和自动规划技术将编程结合起来，以允许用户通过通过动力学示范教授新的行动来构建机器人的知识库。这些行动是概括的，并重用任务计划程序来解决用户定义的先前未经调查的问题。我们将iropro作为Baxter研究机器人的端到端系统实施，同时通过演示通过示范来教授低级和高级操作，以便用户可以通过图形用户界面自定义以适应其特定用例。为了评估我们的方法的可行性，我们首先进行了预设计实验，以更好地了解用户采用所涉及的概念和所提出的机器人编程过程。我们将结果与设计后实验进行比较，在那里我们进行了用户学习，以验证我们对真实最终用户的方法的可用性。总体而言，我们展示了具有不同编程水平和教育背景的用户可以轻松学习和使用Iropro及其机器人编程过程。

共享控制可以通过协助执行用户意图来帮助进行远程处理的对象操纵。为此，需要稳健和及时的意图估计，这取决于行为观察。在这里，提出了意图估计框架，该框架使用自然目光和运动功能来预测当前的动作和目标对象。该系统在模拟环境中进行了训练和测试，并在相对混乱的场景中和双手中产生的拾音器和放置序列，另一方面可能是手动。验证是在不同的用户和手中进行的，实现了预测的准确性和优势。对单个特征的预测能力的分析表明，在当前动作的早期识别中，抓握触发器和目光的凝视特征的优势。在当前的框架中，可以将相同的概率模型用于并行和独立工作的两只手，而提出了基于规则的模型来识别所得的双人动作。最后，讨论了这种方法对更复杂，全行为操纵的局限性和观点。

本文对人机对象切换的文献进行了调查。切换是一种协作的关节动作，其中代理人，给予者，给予对象给另一代理，接收器。当接收器首先与给予者持有的对象并结束时，当给予者完全将物体释放到接收器时，物理交换开始。然而，重要的认知和物理过程在物理交换之前开始，包括在交换的位置和时间内启动隐含协议。从这个角度来看，我们将审核构成了上述事件界定的两个主要阶段：1）预切换阶段和2）物理交流。我们专注于两位演员（Giver和Receiver）的分析，并报告机器人推动者（机器人到人类切换）和机器人接收器（人到机器人切换）的状态。我们举报了常用于评估互动的全面的定性和定量度量列表。虽然将我们的认知水平（例如，预测，感知，运动规划，学习）和物理水平（例如，运动，抓握，抓取释放）的审查重点，但我们简要讨论了安全的概念，社会背景，和人体工程学。我们将在人对人物助手中显示的行为与机器人助手的最新进行比较，并确定机器人助剂的主要改善领域，以达到与人类相互作用相当的性能。最后，我们提出了一种应使用的最小度量标准，以便在方法之间进行公平比较。

当从人类行为中推断出奖励功能（无论是演示，比较，物理校正或电子停靠点）时，它已证明对人类进行建模作为做出嘈杂的理性选择，并具有“合理性系数”，以捕获多少噪声或熵我们希望看到人类的行为。无论人类反馈的类型或质量如何，许多现有作品都选择修复此系数。但是，在某些情况下，进行演示可能要比回答比较查询要困难得多。在这种情况下，我们应该期望在示范中看到比比较中更多的噪音或次级临时性，并且应该相应地解释反馈。在这项工作中，我们提倡，将每种反馈类型的实际数据中的理性系数扎根，而不是假设默认值，对奖励学习具有重大的积极影响。我们在模拟反馈以及用户研究的实验中测试了这一点。我们发现，从单一反馈类型中学习时，高估人类理性可能会对奖励准确性和遗憾产生可怕的影响。此外，我们发现合理性层面会影响每种反馈类型的信息性：令人惊讶的是，示威并不总是最有用的信息 - 当人类的行为非常卑鄙时，即使在合理性水平相同的情况下，比较实际上就变得更加有用。 。此外，当机器人确定要要求的反馈类型时，它可以通过准确建模每种类型的理性水平来获得很大的优势。最终，我们的结果强调了关注假定理性级别的重要性，不仅是在从单个反馈类型中学习时，尤其是当代理商从多种反馈类型中学习时，尤其是在学习时。

为了与机器人合作，我们必须能够理解他们的决策。人类自然会通过类似于逆增强学习（IRL）的方式来推理其可观察到的行为，从而推断出其他代理商的信念和欲望。因此，机器人可以通过提供对人类学习者的IRL提供信息的示威来传达他们的信念和欲望。一项内容丰富的演示是，鉴于他们当前对机器人决策的理解，与学习者对机器人将要做的事情的期望有很大差异。但是，标准IRL并未对学习者的现有期望进行建模，因此不能执行这种反事实推理。我们建议将学习者对机器人决策的当前理解纳入我们的人类IRL模型中，以便机器人可以选择最大化人类理解的演示。我们还提出了一种新颖的措施，以估计人类在看不见环境中预测机器人行为的实例的难度。一项用户研究发现，我们的测试难度与人类绩效和信心息息相关。有趣的是，选择人类的信念和反事实时，选择示范会在易于测试中降低人类绩效，但在困难测试中提高了性能，从而提供了有关如何最好地利用此类模型的见解。

Fabric manipulation is a long-standing challenge in robotics due to the enormous state space and complex dynamics. Learning approaches stand out as promising for this domain as they allow us to learn behaviours directly from data. Most prior methods however rely heavily on simulation, which is still limited by the large sim-to-real gap of deformable objects or rely on large datasets. A promising alternative is to learn fabric manipulation directly from watching humans perform the task. In this work, we explore how demonstrations for fabric manipulation tasks can be collected directly by human hands, providing an extremely natural and fast data collection pipeline. Then, using only a handful of such demonstrations, we show how a sample-efficient pick-and-place policy can be learned and deployed on a real robot, without any robot data collection at all. We demonstrate our approach on a fabric folding task, showing that our policy can reliably reach folded states from crumpled initial configurations.

可接受的是指对象允许的可能动作的感知。尽管其与人计算机相互作用有关，但没有现有理论解释了支撑无力形成的机制;也就是说，通过交互发现和适应的充分性。基于认知科学的加固学习理论，提出了一种综合性的无力形成理论。关键假设是用户学习在存在增强信号（成功/故障）时将有前途的电机动作与经验相关联。他们还学会分类行动（例如，“旋转”拨号），使他们能够命名和理由的能力。在遇到新颖的小部件时，他们概括这些行动的能力决定了他们感受到的能力。我们在虚拟机器人模型中实现了这个理论，它展示了在交互式小部件任务中的人性化适应性。虽然其预测与人类数据的趋势对齐，但人类能够更快地适应能力，表明存在额外机制。

当人类共同完成联合任务时，每个人都会建立一个情况的内部模型以及如何发展。有效的协作取决于这些单个模型如何重叠以在团队成员之间形成共同的心理模型，这对于人类机器人团队中的协作流程很重要。准确的共享心理模型的发展和维护需要个人意图的双向交流以及解释其他团队成员意图的能力。为了实现有效的人类机器人协作，本文介绍了人类机器人团队合作中新型联合行动框架的设计和实施，利用增强现实（AR）技术和用户眼目光来实现意图的双向交流。我们通过与37名参与者的用户研究测试了我们的新框架，发现我们的系统提高了任务效率，信任和任务流利。因此，使用AR和眼睛凝视使双向交流是一种有前途的平均值，可以改善影响人与机器人之间协作的核心组成部分。

机器人将机器人的无缝集成到人类环境需要机器人来学习如何使用现有的人类工具。学习工具操纵技能的目前方法主要依赖于目标机器人环境中提供的专家演示，例如，通过手动引导机器人操纵器或通过远程操作。在这项工作中，我们介绍了一种自动化方法，取代了一个专家演示，用YouTube视频来学习工具操纵策略。主要贡献是双重的。首先，我们设计一个对齐过程，使模拟环境与视频中观察到的真实世界。这是作为优化问题，找到刀具轨迹的空间对齐，以最大化环境给出的稀疏目标奖励。其次，我们描述了一种专注于工具的轨迹而不是人类的运动的模仿学习方法。为此，我们将加强学习与优化过程相结合，以基于对准环境中的工具运动来找到控制策略和机器人的放置。我们展示了仿真中的铲子，镰刀和锤子工具的建议方法，并展示了训练有素的政策对真正的弗兰卡·埃米卡熊猫机器人示范的卫生政策的有效性。