我们研究自主代理如何学会从不同领域（例如不同环境或不同代理）中的示范中执行任务。这样的跨域模仿学习需要例如从人类专家的演示中培训人造代理。我们提出了一个可扩展的框架，该框架可以实现跨域模仿学习，而无需访问其他演示或进一步的领域知识。我们共同培训学习者的政策，并通过对抗性培训学习学习者和专家领域的映射。我们通过使用共同信息标准来找到包含与任务相关的信息的专家状态空间的嵌入，并且对域细节不变。此步骤大大简化了估计学习者和专家领域之间的映射，因此有助于端到端学习。我们证明了在相当不同的域之间成功转移了政策，而没有额外的示范，以及其他方法失败的情况。

我们调查视觉跨实施的模仿设置，其中代理商学习来自其他代理的视频（例如人类）的策略，示范相同的任务，但在其实施例中具有缺点差异 - 形状，动作，终效应器动态等。在这项工作中，我们证明可以从对这些差异强大的跨实施例证视频自动发现和学习基于视觉的奖励功能。具体而言，我们介绍了一种用于跨实施的跨实施的自我监督方法（XIRL），它利用时间周期 - 一致性约束来学习深度视觉嵌入，从而从多个专家代理的示范的脱机视频中捕获任务进度，每个都执行相同的任务不同的原因是实施例差异。在我们的工作之前，从自我监督嵌入产生奖励通常需要与参考轨迹对齐，这可能难以根据STARK实施例的差异来获取。我们凭经验显示，如果嵌入式了解任务进度，则只需在学习的嵌入空间中占据当前状态和目标状态之间的负距离是有用的，作为培训与加强学习的培训政策的奖励。我们发现我们的学习奖励功能不仅适用于在训练期间看到的实施例，而且还概括为完全新的实施例。此外，在将现实世界的人类示范转移到模拟机器人时，我们发现XIRL比当前最佳方法更具样本。 https://x-irl.github.io提供定性结果，代码和数据集

在过去的几年中，逆增强学习（\ textit {irl}）问题已经迅速发展，在机器人技术，认知和健康等领域中具有重要的应用。在这项工作中，我们探讨了当前IRL方法从描述长马，复杂的顺序任务的专家轨迹中学习代理奖励函数的效率低下。我们假设，将IRL模型带入捕获基本任务的结构图案可以实现和提高其性能。随后，我们提出了一种新颖的IRL方法Smirl，该方法首先学习任务的（近似）结构为有限状态-Satate-automaton（FSA），然后使用结构基序来解决IRL问题。我们在离散网格世界和高维连续域环境上测试我们的模型。我们从经验上表明，我们提出的方法成功地学习了所有四个复杂的任务，其中两个基础IRL基准失败了。我们的模型还优于简单的玩具任务中样本效率的基准。我们进一步在具有组成奖励函数的任务上的经过修改的连续域中显示了有希望的测试结果。

机器人的共同适应一直是一项长期的研究努力，其目的是将系统的身体和行为适应给定的任务，灵感来自动物的自然演变。共同适应有可能消除昂贵的手动硬件工程，并提高系统性能。共同适应的标准方法是使用奖励功能来优化行为和形态。但是，众所周知，定义和构建这种奖励功能是困难的，并且通常是一项重大的工程工作。本文介绍了关于共同适应问题的新观点，我们称之为共同构图：寻找形态和政策，使模仿者可以紧密匹配演示者的行为。为此，我们提出了一种通过匹配示威者的状态分布来适应行为和形态的共同模拟方法。具体而言，我们专注于两种代理之间的状态和动作空间不匹配的挑战性情况。我们发现，共同映射会增加各种任务和设置的行为相似性，并通过将人的步行，慢跑和踢到模拟的人形生物转移来证明共同映射。

从演示中学习的方法（LFD）通过模仿用户表现出在获取行为策略方面的成功。但是，即使对于一项任务，LFD也可能需要大量的演示。对于必须通过演示学习许多任务的多功能代理，如果孤立地学习每个任务，此过程将大大负担用户的负担。为了应对这一挑战，我们介绍了从演示中学习的新颖问题，该问题使代理商能够不断地基于从先前演示的任务中学到的知识，以加速学习新任务，从而减少所需的示范量。作为解决这个问题的一种解决方案，我们提出了第一种终身学习方法来进行逆强化学习，该方法通过演示学习连续的任务，不断地在任务之间转移知识以提高绩效。

需要大量人类努力和迭代的奖励功能规范仍然是通过深入的强化学习来学习行为的主要障碍。相比之下，提供所需行为的视觉演示通常会提供一种更简单，更自然的教师的方式。我们考虑为代理提供了一个固定的视觉演示数据集，说明了如何执行任务，并且必须学习使用提供的演示和无监督的环境交互来解决任务。此设置提出了许多挑战，包括对视觉观察的表示，由于缺乏固定的奖励或学习信号而导致的，由于高维空间而引起的样本复杂性以及学习不稳定。为了解决这些挑战，我们开发了一种基于变异模型的对抗模仿学习（V-Mail）算法。基于模型的方法为表示学习，实现样本效率并通过实现派利学习来提高对抗性训练的稳定性提供了强烈的信号。通过涉及几种基于视觉的运动和操纵任务的实验，我们发现V-Mail以样本有效的方式学习了成功的视觉运动策略，与先前的工作相比，稳定性更高，并且还可以实现较高的渐近性能。我们进一步发现，通过传输学习模型，V-Mail可以从视觉演示中学习新任务，而无需任何其他环境交互。所有结果在内的所有结果都可以在\ url {https://sites.google.com/view/variational-mail}在线找到。

本文考虑了从专家演示中学习机器人运动和操纵任务。生成对抗性模仿学习（GAIL）训练一个区分专家与代理转换区分开的歧视者，进而使用歧视器输出定义的奖励来优化代理商的策略生成器。这种生成的对抗训练方法非常强大，但取决于歧视者和发电机培训之间的微妙平衡。在高维问题中，歧视训练可能很容易过度拟合或利用与任务 - 核定功能进行过渡分类的关联。这项工作的一个关键见解是，在合适的潜在任务空间中进行模仿学习使训练过程稳定，即使在挑战高维问题中也是如此。我们使用动作编码器模型来获得低维的潜在动作空间，并使用对抗性模仿学习（Lapal）训练潜在政策。可以从州行动对脱机来训练编码器模型，以获得任务无关的潜在动作表示或与歧视器和发电机培训同时在线获得，以获得任务意识到的潜在行动表示。我们证明了Lapal训练是稳定的，具有近乎单的性能的改进，并在大多数运动和操纵任务中实现了专家性能，而Gail基线收敛速度较慢，并且在高维环境中无法实现专家的表现。

模仿学习算法已被解释为差异最小化问题的变体。比较专家和学习者之间的入住措施的能力对于他们从示范中学习的有效性至关重要。在本文中，我们通过将模仿学习作为最小化占用度量之间的距离距离来介绍可进行的解决方案。该公式结合了最佳运输指标在比较非重叠分布与在对手学习的特征空间中定义的余弦距离成本中的宝贵特性。这导致了高度歧视性的评论家网络和最佳运输计划，随后指导模仿学习。我们使用奖励度量和sindhorn距离度量度量评估了所提出的方法。有关实施和复制结果，请参阅以下存储库https://github.com/gpapagiannis/sinkhorn-imitation。

Current approaches to multi-agent cooperation rely heavily on centralized mechanisms or explicit communication protocols to ensure convergence. This paper studies the problem of distributed multi-agent learning without resorting to centralized components or explicit communication. It examines the use of distribution matching to facilitate the coordination of independent agents. In the proposed scheme, each agent independently minimizes the distribution mismatch to the corresponding component of a target visitation distribution. The theoretical analysis shows that under certain conditions, each agent minimizing its individual distribution mismatch allows the convergence to the joint policy that generated the target distribution. Further, if the target distribution is from a joint policy that optimizes a cooperative task, the optimal policy for a combination of this task reward and the distribution matching reward is the same joint policy. This insight is used to formulate a practical algorithm (DM$^2$), in which each individual agent matches a target distribution derived from concurrently sampled trajectories from a joint expert policy. Experimental validation on the StarCraft domain shows that combining (1) a task reward, and (2) a distribution matching reward for expert demonstrations for the same task, allows agents to outperform a naive distributed baseline. Additional experiments probe the conditions under which expert demonstrations need to be sampled to obtain the learning benefits.

仅国家模仿学习的最新进展将模仿学习的适用性扩展到现实世界中的范围，从而减轻了观察专家行动的需求。但是，现有的解决方案只学会从数据中提取州对行动映射策略，而无需考虑专家如何计划到目标。这阻碍了利用示威游行并限制政策的灵活性的能力。在本文中，我们介绍了解耦政策优化（DEPO），该策略优化（DEPO）明确将策略脱离为高级状态计划者和逆动力学模型。借助嵌入式的脱钩策略梯度和生成对抗训练，DEPO可以将知识转移到不同的动作空间或状态过渡动态，并可以将规划师推广到无示威的状态区域。我们的深入实验分析表明，DEPO在学习最佳模仿性能的同时学习通用目标状态计划者的有效性。我们证明了DEPO通过预训练跨任务转移的吸引力，以及与各种技能共同培训的潜力。

模仿学习研究社区最近取得了重大进展，以使人工代理人仅凭视频演示模仿行为。然而，由于视频观察的高维质性质，针对此问题开发的当前最新方法表现出很高的样本复杂性。为了解决这个问题，我们在这里介绍了一种新的算法，称为使用状态观察者VGAIFO-SO从观察中获得的，称为视觉生成对抗性模仿。 Vgaifo-So以此为核心，试图使用一种新型的自我监管的状态观察者来解决样本效率低下，该观察者从高维图像中提供了较低维度的本体感受状态表示的估计。我们在几个连续的控制环境中进行了实验表明，Vgaifo-SO比其他IFO算法更有效地从仅视频演示中学习，有时甚至可以实现与观察（Gaifo）算法的生成对抗性模仿（Gaifo）算法的性能，该算法有特权访问访问权限示威者的本体感知状态信息。

学习敏捷技能是机器人技术的主要挑战之一。为此，加强学习方法取得了令人印象深刻的结果。这些方法需要根据奖励功能或可以在模拟中查询的专家来提供明确的任务信息，以提供目标控制输出，从而限制其适用性。在这项工作中，我们提出了一种生成的对抗方法，用于从部分和潜在的物理不兼容的演示中推断出奖励功能，以成功地获得参考或专家演示的成功技能。此外，我们表明，通过使用Wasserstein gan公式和从以粗糙和部分信息为输入的示范中进行过渡，我们能够提取强大的策略并能够模仿证明的行为。最后，在一个名为Solo 8的敏捷四倍的机器人上测试了所获得的技能，例如后空飞弹，并对手持人类示范的忠实复制进行了测试。

样本效率对于仿制学习方法来说至关重要，以适用于现实世界应用。许多研究通过延长对抗性模仿的违法行为来提高样本效率，无论这些违规延迟是否可以改变原始目标或涉及复杂的优化。我们重新审视对抗性模仿的基础，并提出了一种不需要对抗性培训或最小最大优化的脱营式样本有效方法。我们的配方在两个主要见解中大写：（1）Bellman方程和静止状态 - 动作分配方程之间的相似性使我们能够推导出一种新的时间差异（TD）学习方法; （2）使用确定性政策简化了TD学习。结合，这些见解产生了一种实用的算法，确定性和鉴别的模仿（D2仿真），其通过第一分区样本来分为两个重放缓冲区，然后通过禁止策略加强学习学习确定性政策。我们的经验结果表明，D2模仿在实现良好的样本效率方面有效，表现出对许多控制任务的对抗模仿的几种违规延伸方法。

在许多顺序决策问题（例如，机器人控制，游戏播放，顺序预测），人类或专家数据可用包含有关任务的有用信息。然而，来自少量专家数据的模仿学习（IL）可能在具有复杂动态的高维环境中具有挑战性。行为克隆是一种简单的方法，由于其简单的实现和稳定的收敛而被广泛使用，但不利用涉及环境动态的任何信息。由于对奖励和政策近似器或偏差，高方差梯度估计器，难以在实践中难以在实践中努力训练的许多现有方法。我们介绍了一种用于动态感知IL的方法，它通过学习单个Q函数来避免对抗训练，隐含地代表奖励和策略。在标准基准测试中，隐式学习的奖励显示与地面真实奖励的高正面相关性，说明我们的方法也可以用于逆钢筋学习（IRL）。我们的方法，逆软Q学习（IQ-Learn）获得了最先进的结果，在离线和在线模仿学习设置中，显着优于现有的现有方法，这些方法都在所需的环境交互和高维空间中的可扩展性中，通常超过3倍。

在模仿学习的背景下，提供专家轨迹通常是昂贵且耗时的。因此，目标必须是创建算法，这些算法需要尽可能少的专家数据。在本文中，我们提出了一种算法，该算法模仿了专家的高级战略，而不仅仅是模仿行动水平的专家，我们假设这需要更少的专家数据并使培训更加稳定。作为先验，我们假设高级策略是达到未知的目标状态区域，我们假设这对于强化学习中许多领域是有效的先验。目标国家地区未知，但是由于专家已经证明了如何达到目标，因此代理商试图到达与专家类似的州。我们的算法以时间连贯性的思想为基础，训练神经网络，以预测两个状态是否相似，从某种意义上说，它们可能会随着时间的流逝而发生。在推论期间，代理将其当前状态与案例基础的专家状态进行比较以获得相似性。结果表明，我们的方法仍然可以在很少有专家数据的设置中学习一个近乎最佳的政策，这些算法试图模仿动作级别的专家，这一算法再也无法做到了。

现有的模仿学习（IL）方法，例如逆增强学习（IRL）通常具有双环培训过程，在学习奖励功能和政策之间交替，并且倾向于遭受较长的训练时间和较高的差异。在这项工作中，我们确定了可区分物理模拟器的好处，并提出了一种新的IL方法，即通过可区分的物理学（ILD）模仿学习，从而摆脱了双环设计，并在最终性能，收敛速度，融合速度，融合速度，融合速度上取得了重大改善和稳定性。提出的ILD将可区分的物理模拟器作为物理学将其纳入其策略学习的计算图中。它通过从参数化策略中采样动作来展开动力学，只需最大程度地减少专家轨迹与代理轨迹之间的距离，并通过时间物理操作员将梯度回到策略中。有了物理学的先验，ILD政策不仅可以转移到看不见的环境规范中，而且可以在各种任务上产生更高的最终表现。此外，ILD自然形成了单环结构，从而显着提高了稳定性和训练速度。为了简化时间物理操作引起的复杂优化景观，ILD在优化过程中动态选择每个状态的学习目标。在我们的实验中，我们表明ILD在各种连续控制任务中都超过了最先进的方法，只需要一个专家演示。此外，ILD可以应用于具有挑战性的可变形对象操纵任务，并可以推广到看不见的配置。

当将强化学习（RL）代理部署到物理系统中时，我们必须确保这些代理非常了解基本的约束。但是，在许多现实世界中，遵循的限制因素（例如，人类）通常很难在数学上和RL代理商上指定。为了解决这些问题，约束逆强化学习（CIRL）考虑了约束马尔可夫决策过程（CMDP）的形式主义，并通过学习约束功能来估算专家示范中的约束。作为一个新兴的研究主题，Cirl没有共同的基准测试，以前的作品通过手工制作的环境（例如，网格世界）测试了其算法。在本文中，我们在两个主要的应用域：机器人控制和自动驾驶的背景下构建了CIRL基准。我们为每个环境设计相关的约束，并经验研究不同算法基于尊重这些约束的专家轨迹恢复这些约束的能力。为了处理随机动力学，我们提出了一种差异方法，以扩展约束分布，并通过将其与基准上的其他cirl基线进行比较来证明其性能。基准，包括复制CIRL算法性能的信息，可在https://github.com/guiliang/guiliang/cirl-benchmarks-public上公开获得

增强学习（RL）算法假设用户通过手动编写奖励函数来指定任务。但是，这个过程可能是费力的，需要相当大的技术专长。我们可以设计RL算法，而是通过提供成功结果的示例来支持用户来指定任务吗？在本文中，我们推导了一种控制算法，可以最大化这些成功结果示例的未来概率。在前阶段的工作已经接近了类似的问题，首先学习奖励功能，然后使用另一个RL算法优化此奖励功能。相比之下，我们的方法直接从过渡和成功的结果中学习价值函数，而无需学习此中间奖励功能。因此，我们的方法需要较少的封闭式曲折和调试的代码行。我们表明我们的方法满足了一种新的数据驱动Bellman方程，其中示例取代了典型的奖励函数术语。实验表明，我们的方法优于学习明确奖励功能的先前方法。

学习多样化的技能是机器人技术的主要挑战之一。为此，模仿学习方法取得了令人印象深刻的结果。这些方法需要明确标记的数据集或采用一致的技能执行，以使学习和积极控制单个行为，从而限制其适用性。在这项工作中，我们提出了一种合作的对抗方法，用于从未标记的数据集中获得可控技能的单一多功能策略，该数据集包含各种状态过渡模式，通过最大化其可区分性。此外，我们表明，通过在生成的对抗性模仿学习框架中利用无监督的技能发现，新颖而有用的技能随着成功的任务实现而出现。最后，在示威中编码的各种技能的忠实复制中，对获得的多功能策略进行了测试，并呈现了忠实的复制。

Adversarial imitation learning (AIL) has become a popular alternative to supervised imitation learning that reduces the distribution shift suffered by the latter. However, AIL requires effective exploration during an online reinforcement learning phase. In this work, we show that the standard, naive approach to exploration can manifest as a suboptimal local maximum if a policy learned with AIL sufficiently matches the expert distribution without fully learning the desired task. This can be particularly catastrophic for manipulation tasks, where the difference between an expert and a non-expert state-action pair is often subtle. We present Learning from Guided Play (LfGP), a framework in which we leverage expert demonstrations of multiple exploratory, auxiliary tasks in addition to a main task. The addition of these auxiliary tasks forces the agent to explore states and actions that standard AIL may learn to ignore. Additionally, this particular formulation allows for the reusability of expert data between main tasks. Our experimental results in a challenging multitask robotic manipulation domain indicate that LfGP significantly outperforms both AIL and behaviour cloning, while also being more expert sample efficient than these baselines. To explain this performance gap, we provide further analysis of a toy problem that highlights the coupling between a local maximum and poor exploration, and also visualize the differences between the learned models from AIL and LfGP.