现有的模仿学习（IL）方法，例如逆增强学习（IRL）通常具有双环培训过程，在学习奖励功能和政策之间交替，并且倾向于遭受较长的训练时间和较高的差异。在这项工作中，我们确定了可区分物理模拟器的好处，并提出了一种新的IL方法，即通过可区分的物理学（ILD）模仿学习，从而摆脱了双环设计，并在最终性能，收敛速度，融合速度，融合速度，融合速度上取得了重大改善和稳定性。提出的ILD将可区分的物理模拟器作为物理学将其纳入其策略学习的计算图中。它通过从参数化策略中采样动作来展开动力学，只需最大程度地减少专家轨迹与代理轨迹之间的距离，并通过时间物理操作员将梯度回到策略中。有了物理学的先验，ILD政策不仅可以转移到看不见的环境规范中，而且可以在各种任务上产生更高的最终表现。此外，ILD自然形成了单环结构，从而显着提高了稳定性和训练速度。为了简化时间物理操作引起的复杂优化景观，ILD在优化过程中动态选择每个状态的学习目标。在我们的实验中，我们表明ILD在各种连续控制任务中都超过了最先进的方法，只需要一个专家演示。此外，ILD可以应用于具有挑战性的可变形对象操纵任务，并可以推广到看不见的配置。

模仿学习在有效地学习政策方面对复杂的决策问题有着巨大的希望。当前的最新算法经常使用逆增强学习（IRL），在给定一组专家演示的情况下，代理会替代奖励功能和相关的最佳策略。但是，这种IRL方法通常需要在复杂控制问题上进行实质性的在线互动。在这项工作中，我们提出了正规化的最佳运输（ROT），这是一种新的模仿学习算法，基于最佳基于最佳运输轨迹匹配的最新进展。我们的主要技术见解是，即使只有少量演示，即使只有少量演示，也可以自适应地将轨迹匹配的奖励与行为克隆相结合。我们对横跨DeepMind Control Suite，OpenAI Robotics和Meta-World基准的20个视觉控制任务进行的实验表明，与先前最新的方法相比，平均仿真达到了90％的专家绩效的速度，达到了90％的专家性能。 。在现实世界的机器人操作中，只有一次演示和一个小时的在线培训，ROT在14个任务中的平均成功率为90.1％。

仿制学习（IL）是一个框架，了解从示范中模仿专家行为。最近，IL显示了高维和控制任务的有希望的结果。然而，IL通常遭受环境互动方面的样本低效率，这严重限制了它们对模拟域的应用。在工业应用中，学习者通常具有高的相互作用成本，与环境的互动越多，对环境的损害越多，学习者本身就越多。在本文中，我们努力通过引入逆钢筋学习的新颖方案来提高样本效率。我们的方法，我们调用\ texit {model redion函数基础的模仿学习}（mrfil），使用一个集合动态模型作为奖励功能，是通过专家演示培训的内容。关键的想法是通过在符合专家示范分布时提供积极奖励，为代理商提供与漫长地平线相匹配的演示。此外，我们展示了新客观函数的收敛保证。实验结果表明，与IL方法相比，我们的算法达到了竞争性能，并显着降低了环境交互。

在许多顺序决策问题（例如，机器人控制，游戏播放，顺序预测），人类或专家数据可用包含有关任务的有用信息。然而，来自少量专家数据的模仿学习（IL）可能在具有复杂动态的高维环境中具有挑战性。行为克隆是一种简单的方法，由于其简单的实现和稳定的收敛而被广泛使用，但不利用涉及环境动态的任何信息。由于对奖励和政策近似器或偏差，高方差梯度估计器，难以在实践中难以在实践中努力训练的许多现有方法。我们介绍了一种用于动态感知IL的方法，它通过学习单个Q函数来避免对抗训练，隐含地代表奖励和策略。在标准基准测试中，隐式学习的奖励显示与地面真实奖励的高正面相关性，说明我们的方法也可以用于逆钢筋学习（IRL）。我们的方法，逆软Q学习（IQ-Learn）获得了最先进的结果，在离线和在线模仿学习设置中，显着优于现有的现有方法，这些方法都在所需的环境交互和高维空间中的可扩展性中，通常超过3倍。

模仿学习算法已被解释为差异最小化问题的变体。比较专家和学习者之间的入住措施的能力对于他们从示范中学习的有效性至关重要。在本文中，我们通过将模仿学习作为最小化占用度量之间的距离距离来介绍可进行的解决方案。该公式结合了最佳运输指标在比较非重叠分布与在对手学习的特征空间中定义的余弦距离成本中的宝贵特性。这导致了高度歧视性的评论家网络和最佳运输计划，随后指导模仿学习。我们使用奖励度量和sindhorn距离度量度量评估了所提出的方法。有关实施和复制结果，请参阅以下存储库https://github.com/gpapagiannis/sinkhorn-imitation。

我们研究了离线模仿学习（IL）的问题，在该问题中，代理商旨在学习最佳的专家行为政策，而无需其他在线环境互动。取而代之的是，该代理来自次优行为的补充离线数据集。解决此问题的先前工作要么要求专家数据占据离线数据集的大部分比例，要么需要学习奖励功能并在以后执行离线加强学习（RL）。在本文中，我们旨在解决问题，而无需进行奖励学习和离线RL培训的其他步骤，当时示范包含大量次优数据。基于行为克隆（BC），我们引入了一个额外的歧视者，以区分专家和非专家数据。我们提出了一个合作框架，以增强这两个任务的学习，基于此框架，我们设计了一种新的IL算法，其中歧视者的输出是BC损失的权重。实验结果表明，与基线算法相比，我们提出的算法可获得更高的回报和更快的训练速度。

需要大量人类努力和迭代的奖励功能规范仍然是通过深入的强化学习来学习行为的主要障碍。相比之下，提供所需行为的视觉演示通常会提供一种更简单，更自然的教师的方式。我们考虑为代理提供了一个固定的视觉演示数据集，说明了如何执行任务，并且必须学习使用提供的演示和无监督的环境交互来解决任务。此设置提出了许多挑战，包括对视觉观察的表示，由于缺乏固定的奖励或学习信号而导致的，由于高维空间而引起的样本复杂性以及学习不稳定。为了解决这些挑战，我们开发了一种基于变异模型的对抗模仿学习（V-Mail）算法。基于模型的方法为表示学习，实现样本效率并通过实现派利学习来提高对抗性训练的稳定性提供了强烈的信号。通过涉及几种基于视觉的运动和操纵任务的实验，我们发现V-Mail以样本有效的方式学习了成功的视觉运动策略，与先前的工作相比，稳定性更高，并且还可以实现较高的渐近性能。我们进一步发现，通过传输学习模型，V-Mail可以从视觉演示中学习新任务，而无需任何其他环境交互。所有结果在内的所有结果都可以在\ url {https://sites.google.com/view/variational-mail}在线找到。

离线模仿学习（IL）是从没有奖励标签的专家演示中解决决策问题的强大方法。由于协变量转移，现有的离线IL方法在有限的专家数据下遭受严重的性能变性。但是，包括学习的动力学模型可以潜在地改善专家数据的状态行动空间覆盖范围，但是，它也面临着诸如模型近似/概括/概括性错误和推出数据的次级优势之类的挑战性问题。在本文中，我们提出了基于歧视者指导的基于模型的离线模仿学习（DMIL）框架，该框架引入了一个歧视者，以同时区分模型推出数据的动力学正确性和次优性与真实专家示范。 DMIL采用了一种新颖的合作对抗学习策略，该策略使用歧视者指导和融合了政策和动态模型的学习过程，从而改善了模型性能和鲁棒性。当演示包含大量次优数据时，我们的框架也可以扩展到案例。实验结果表明，与小型数据集下的最新离线IL方法相比，DMIL及其扩展具有出色的性能和鲁棒性。

通过加强学习（RL）掌握机器人操纵技巧通常需要设计奖励功能。该地区的最新进展表明，使用稀疏奖励，即仅在成功完成任务时奖励代理，可能会导致更好的政策。但是，在这种情况下，国家行动空间探索更困难。最近的RL与稀疏奖励学习的方法已经为任务提供了高质量的人类演示，但这些可能是昂贵的，耗时甚至不可能获得的。在本文中，我们提出了一种不需要人类示范的新颖有效方法。我们观察到，每个机器人操纵任务都可以被视为涉及从被操纵对象的角度来看运动的任务，即，对象可以了解如何自己达到目标状态。为了利用这个想法，我们介绍了一个框架，最初使用现实物理模拟器获得对象运动策略。然后，此策略用于生成辅助奖励，称为模拟的机器人演示奖励（SLDRS），使我们能够学习机器人操纵策略。拟议的方法已在增加复杂性的13个任务中进行了评估，与替代算法相比，可以实现更高的成功率和更快的学习率。 SLDRS对多对象堆叠和非刚性物体操作等任务特别有益。

模仿学习研究社区最近取得了重大进展，以使人工代理人仅凭视频演示模仿行为。然而，由于视频观察的高维质性质，针对此问题开发的当前最新方法表现出很高的样本复杂性。为了解决这个问题，我们在这里介绍了一种新的算法，称为使用状态观察者VGAIFO-SO从观察中获得的，称为视觉生成对抗性模仿。 Vgaifo-So以此为核心，试图使用一种新型的自我监管的状态观察者来解决样本效率低下，该观察者从高维图像中提供了较低维度的本体感受状态表示的估计。我们在几个连续的控制环境中进行了实验表明，Vgaifo-SO比其他IFO算法更有效地从仅视频演示中学习，有时甚至可以实现与观察（Gaifo）算法的生成对抗性模仿（Gaifo）算法的性能，该算法有特权访问访问权限示威者的本体感知状态信息。

Exploration in environments with sparse rewards has been a persistent problem in reinforcement learning (RL). Many tasks are natural to specify with a sparse reward, and manually shaping a reward function can result in suboptimal performance. However, finding a non-zero reward is exponentially more difficult with increasing task horizon or action dimensionality. This puts many real-world tasks out of practical reach of RL methods. In this work, we use demonstrations to overcome the exploration problem and successfully learn to perform long-horizon, multi-step robotics tasks with continuous control such as stacking blocks with a robot arm. Our method, which builds on top of Deep Deterministic Policy Gradients and Hindsight Experience Replay, provides an order of magnitude of speedup over RL on simulated robotics tasks. It is simple to implement and makes only the additional assumption that we can collect a small set of demonstrations. Furthermore, our method is able to solve tasks not solvable by either RL or behavior cloning alone, and often ends up outperforming the demonstrator policy.

技能链是一种希望通过顺序结合以前学习的技能来合成复杂行为的有希望的方法。然而，当政策遭遇在培训期间从未见过的起始状态时，幼稚的技能组成失败。对于成功的技能链接，先前的方法试图扩大策略的起始状态分布。然而，这些方法需要覆盖更大的状态分布，因为更多的策略进行测序，因此仅限于短的技能序列。在本文中，我们通过在对抗学习框架中规范终端状态分布来提出连锁多个初始状态分布的多重政策。我们评估了我们对家具组件的两个复杂的长地平衡任务的方法。我们的结果表明，我们的方法建立了第一种无模型加强学习算法来解决这些任务;而先前的技能链接方法失败。代码和视频可在https://clvrai.com/skill-chaining上获得

将监督学习的力量（SL）用于更有效的强化学习（RL）方法，这是最近的趋势。我们通过交替在线RL和离线SL来解决稀疏奖励目标条件问题，提出一种新颖的阶段方法。在在线阶段，我们在离线阶段进行RL培训并收集推出数据，我们对数据集的这些成功轨迹执行SL。为了进一步提高样本效率，我们在在线阶段采用其他技术，包括减少任务以产生更可行的轨迹和基于价值的基于价值的内在奖励，以减轻稀疏的回报问题。我们称此总体算法为阶段性的自我模拟还原（Pair）。对稀疏的奖励目标机器人控制问题（包括具有挑战性的堆叠任务），对基本上优于非强调RL和Phasic SL基线。 Pair是第一个学习堆叠6个立方体的RL方法，只有0/1成功从头开始奖励。

With the development of deep representation learning, the domain of reinforcement learning (RL) has become a powerful learning framework now capable of learning complex policies in high dimensional environments. This review summarises deep reinforcement learning (DRL) algorithms and provides a taxonomy of automated driving tasks where (D)RL methods have been employed, while addressing key computational challenges in real world deployment of autonomous driving agents. It also delineates adjacent domains such as behavior cloning, imitation learning, inverse reinforcement learning that are related but are not classical RL algorithms. The role of simulators in training agents, methods to validate, test and robustify existing solutions in RL are discussed.

我们提出了一种从演示方法（LFD）方法的新颖学习，即示范（DMFD）的可变形操作，以使用状态或图像作为输入（给定的专家演示）来求解可变形的操纵任务。我们的方法以三种不同的方式使用演示，并平衡在线探索环境和使用专家的指导之间进行权衡的权衡，以有效地探索高维空间。我们在一组一维绳索的一组代表性操纵任务上测试DMFD，并从软件套件中的一套二维布和2维布进行测试，每个任务都带有状态和图像观测。对于基于状态的任务，我们的方法超过基线性能高达12.9％，在基于图像的任务上最多超过33.44％，具有可比或更好的随机性。此外，我们创建了两个具有挑战性的环境，用于使用基于图像的观测值折叠2D布，并为其设定性能基准。与仿真相比，我们在现实世界执行过程中归一化性能损失最小的真实机器人（约为6％），我们将DMFD部署为最小。源代码在github.com/uscresl/dmfd上

如何在演示相对较大时更加普遍地进行模仿学习一直是强化学习（RL）的持续存在问题。糟糕的示威活动导致狭窄和偏见的日期分布，非马洛维亚人类专家演示使代理商难以学习，而过度依赖子最优轨迹可以使代理商努力提高其性能。为了解决这些问题，我们提出了一种名为TD3FG的新算法，可以平稳地过渡从专家到学习从经验中学习。我们的算法在Mujoco环境中实现了有限的有限和次优的演示。我们使用行为克隆来将网络作为参考动作发生器训练，并在丢失函数和勘探噪声方面使用它。这种创新可以帮助代理商从示威活动中提取先验知识，同时降低了糟糕的马尔科维亚特性的公正的不利影响。与BC +微调和DDPGFD方法相比，它具有更好的性能，特别是当示范相对有限时。我们调用我们的方法TD3FG意味着来自发电机的TD3。

我们为模仿学习提供了一个新的框架 - 将模仿视为政策和奖励之间的基于两人排名的游戏。在这个游戏中，奖励代理商学会了满足行为之间的成对性能排名，而政策代理人则学会最大程度地提高这种奖励。在模仿学习中，很难获得近乎最佳的专家数据，即使在无限数据的限制下，也不能像偏好一样对轨迹进行总订购。另一方面，仅从偏好中学习就具有挑战性，因为需要大量偏好来推断高维奖励功能，尽管偏好数据通常比专家演示更容易收集。经典的逆增强学习（IRL）的配方从专家演示中学习，但没有提供从离线偏好中纳入学习的机制，反之亦然。我们将提出的排名游戏框架实例化，并具有新颖的排名损失，从而使算法可以同时从专家演示和偏好中学习，从而获得两种方式的优势。我们的实验表明，所提出的方法可实现最新的样本效率，并可以从观察（LFO）设置中学习以前无法解决的任务。

现代无模式加固学习方法最近展示了许多问题的令人印象深刻的结果。然而，由于具有高样本复杂性，这种复杂的畴仍然是挑战。为了解决这一问题，目前的方法采用了国家动作对形式的专家演示，这很难获得真实世界的环境，例如学习视频。在本文中，我们走向更现实的环境和探索唯一的模仿学习。为了解决此设置，我们培训逆动力学模型，并使用它来预测仅用于状态演示的操作。逆动力学模型和策略是联合培训的。我们的方法与状态动作方法相符，并且单独占RL的差异。不依赖于专家行动，我们能够以不同的动态，形态和物体的示威学习。在https://people.eecs.berkeley.edu/~ilija/soil提供的视频。

Adversarial imitation learning (AIL) has become a popular alternative to supervised imitation learning that reduces the distribution shift suffered by the latter. However, AIL requires effective exploration during an online reinforcement learning phase. In this work, we show that the standard, naive approach to exploration can manifest as a suboptimal local maximum if a policy learned with AIL sufficiently matches the expert distribution without fully learning the desired task. This can be particularly catastrophic for manipulation tasks, where the difference between an expert and a non-expert state-action pair is often subtle. We present Learning from Guided Play (LfGP), a framework in which we leverage expert demonstrations of multiple exploratory, auxiliary tasks in addition to a main task. The addition of these auxiliary tasks forces the agent to explore states and actions that standard AIL may learn to ignore. Additionally, this particular formulation allows for the reusability of expert data between main tasks. Our experimental results in a challenging multitask robotic manipulation domain indicate that LfGP significantly outperforms both AIL and behaviour cloning, while also being more expert sample efficient than these baselines. To explain this performance gap, we provide further analysis of a toy problem that highlights the coupling between a local maximum and poor exploration, and also visualize the differences between the learned models from AIL and LfGP.

仅国家模仿学习的最新进展将模仿学习的适用性扩展到现实世界中的范围，从而减轻了观察专家行动的需求。但是，现有的解决方案只学会从数据中提取州对行动映射策略，而无需考虑专家如何计划到目标。这阻碍了利用示威游行并限制政策的灵活性的能力。在本文中，我们介绍了解耦政策优化（DEPO），该策略优化（DEPO）明确将策略脱离为高级状态计划者和逆动力学模型。借助嵌入式的脱钩策略梯度和生成对抗训练，DEPO可以将知识转移到不同的动作空间或状态过渡动态，并可以将规划师推广到无示威的状态区域。我们的深入实验分析表明，DEPO在学习最佳模仿性能的同时学习通用目标状态计划者的有效性。我们证明了DEPO通过预训练跨任务转移的吸引力，以及与各种技能共同培训的潜力。