我们提出了状态匹配的离线分布校正估计（SMODICE），这是一种新颖且基于多功能回归的离线模仿学习（IL）算法，该算法是通过状态占用匹配得出的。我们表明，SMODICE目标通过在表格MDP中的Fenchel二元性和一个分析解决方案的应用来接受一个简单的优化过程。不需要访问专家的行动，可以将Smodice有效地应用于三个离线IL设置：（i）模仿观察值（IFO），（ii）IFO具有动态或形态上不匹配的专家，以及（iii）基于示例的加固学习，这些学习我们表明可以将其公式为州占领的匹配问题。我们在GridWorld环境以及高维离线基准上广泛评估了Smodice。我们的结果表明，Smodice对于所有三个问题设置都有效，并且在前最新情况下均明显胜过。

离线目标条件的强化学习（GCRL）承诺以从纯粹的离线数据集实现各种目标的形式的通用技能学习。我们提出$ \ textbf {go} $ al-al-conditioned $ f $ - $ \ textbf {a} $ dvantage $ \ textbf {r} $ egression（gofar），这是一种基于新颖的回归gcrl gcrl algorithm，它源自州越来越多匹配的视角；关键的直觉是，可以将目标任务提出为守护动态的模仿者和直接传送到目标的专家代理之间的状态占用匹配问题。与先前的方法相反，Gofar不需要任何事后重新标签，并且对其价值和策略网络享有未融合的优化。这些独特的功能允许Gofar具有更好的离线性能和稳定性以及统计性能保证，这对于先前的方法无法实现。此外，我们证明了Gofar的训练目标可以重新使用，以从纯粹的离线源数据域数据中学习独立于代理的目标条件计划的计划者，这可以使零射击传输到新的目标域。通过广泛的实验，我们验证了Gofar在各种问题设置和任务中的有效性，显着超过了先前的先验。值得注意的是，在真正的机器人灵活性操纵任务上，虽然没有其他方法取得了有意义的进步，但Gofar获得了成功实现各种目标的复杂操纵行为。

在许多顺序决策问题（例如，机器人控制，游戏播放，顺序预测），人类或专家数据可用包含有关任务的有用信息。然而，来自少量专家数据的模仿学习（IL）可能在具有复杂动态的高维环境中具有挑战性。行为克隆是一种简单的方法，由于其简单的实现和稳定的收敛而被广泛使用，但不利用涉及环境动态的任何信息。由于对奖励和政策近似器或偏差，高方差梯度估计器，难以在实践中难以在实践中努力训练的许多现有方法。我们介绍了一种用于动态感知IL的方法，它通过学习单个Q函数来避免对抗训练，隐含地代表奖励和策略。在标准基准测试中，隐式学习的奖励显示与地面真实奖励的高正面相关性，说明我们的方法也可以用于逆钢筋学习（IRL）。我们的方法，逆软Q学习（IQ-Learn）获得了最先进的结果，在离线和在线模仿学习设置中，显着优于现有的现有方法，这些方法都在所需的环境交互和高维空间中的可扩展性中，通常超过3倍。

我们研究了离线模仿学习（IL）的问题，在该问题中，代理商旨在学习最佳的专家行为政策，而无需其他在线环境互动。取而代之的是，该代理来自次优行为的补充离线数据集。解决此问题的先前工作要么要求专家数据占据离线数据集的大部分比例，要么需要学习奖励功能并在以后执行离线加强学习（RL）。在本文中，我们旨在解决问题，而无需进行奖励学习和离线RL培训的其他步骤，当时示范包含大量次优数据。基于行为克隆（BC），我们引入了一个额外的歧视者，以区分专家和非专家数据。我们提出了一个合作框架，以增强这两个任务的学习，基于此框架，我们设计了一种新的IL算法，其中歧视者的输出是BC损失的权重。实验结果表明，与基线算法相比，我们提出的算法可获得更高的回报和更快的训练速度。

这项工作开发了具有严格效率的新算法，可确保无限的地平线模仿学习（IL）具有线性函数近似而无需限制性相干假设。我们从问题的最小值开始，然后概述如何从优化中利用经典工具，尤其是近端点方法（PPM）和双平滑性，分别用于在线和离线IL。多亏了PPM，我们避免了在以前的文献中出现在线IL的嵌套政策评估和成本更新。特别是，我们通过优化单个凸的优化和在成本和Q函数上的平稳目标来消除常规交替更新。当不确定地解决时，我们将优化错误与恢复策略的次级优势联系起来。作为额外的奖励，通过将PPM重新解释为双重平滑以专家政策为中心，我们还获得了一个离线IL IL算法，该算法在所需的专家轨迹方面享有理论保证。最后，我们实现了线性和神经网络功能近似的令人信服的经验性能。

需要大量人类努力和迭代的奖励功能规范仍然是通过深入的强化学习来学习行为的主要障碍。相比之下，提供所需行为的视觉演示通常会提供一种更简单，更自然的教师的方式。我们考虑为代理提供了一个固定的视觉演示数据集，说明了如何执行任务，并且必须学习使用提供的演示和无监督的环境交互来解决任务。此设置提出了许多挑战，包括对视觉观察的表示，由于缺乏固定的奖励或学习信号而导致的，由于高维空间而引起的样本复杂性以及学习不稳定。为了解决这些挑战，我们开发了一种基于变异模型的对抗模仿学习（V-Mail）算法。基于模型的方法为表示学习，实现样本效率并通过实现派利学习来提高对抗性训练的稳定性提供了强烈的信号。通过涉及几种基于视觉的运动和操纵任务的实验，我们发现V-Mail以样本有效的方式学习了成功的视觉运动策略，与先前的工作相比，稳定性更高，并且还可以实现较高的渐近性能。我们进一步发现，通过传输学习模型，V-Mail可以从视觉演示中学习新任务，而无需任何其他环境交互。所有结果在内的所有结果都可以在\ url {https://sites.google.com/view/variational-mail}在线找到。

Effectively leveraging large, previously collected datasets in reinforcement learning (RL) is a key challenge for large-scale real-world applications. Offline RL algorithms promise to learn effective policies from previously-collected, static datasets without further interaction. However, in practice, offline RL presents a major challenge, and standard off-policy RL methods can fail due to overestimation of values induced by the distributional shift between the dataset and the learned policy, especially when training on complex and multi-modal data distributions. In this paper, we propose conservative Q-learning (CQL), which aims to address these limitations by learning a conservative Q-function such that the expected value of a policy under this Q-function lower-bounds its true value. We theoretically show that CQL produces a lower bound on the value of the current policy and that it can be incorporated into a policy learning procedure with theoretical improvement guarantees. In practice, CQL augments the standard Bellman error objective with a simple Q-value regularizer which is straightforward to implement on top of existing deep Q-learning and actor-critic implementations. On both discrete and continuous control domains, we show that CQL substantially outperforms existing offline RL methods, often learning policies that attain 2-5 times higher final return, especially when learning from complex and multi-modal data distributions.Preprint. Under review.

增强学习（RL）算法假设用户通过手动编写奖励函数来指定任务。但是，这个过程可能是费力的，需要相当大的技术专长。我们可以设计RL算法，而是通过提供成功结果的示例来支持用户来指定任务吗？在本文中，我们推导了一种控制算法，可以最大化这些成功结果示例的未来概率。在前阶段的工作已经接近了类似的问题，首先学习奖励功能，然后使用另一个RL算法优化此奖励功能。相比之下，我们的方法直接从过渡和成功的结果中学习价值函数，而无需学习此中间奖励功能。因此，我们的方法需要较少的封闭式曲折和调试的代码行。我们表明我们的方法满足了一种新的数据驱动Bellman方程，其中示例取代了典型的奖励函数术语。实验表明，我们的方法优于学习明确奖励功能的先前方法。

在本文中，我们提出了一个健壮的模仿学习（IL）框架，该框架在扰动环境动态时改善了IL的稳健性。在单个环境中训练的现有IL框架可能会因环境动力学的扰动而灾难性地失败，因为它无法捕获可以更改潜在环境动态的情况。我们的框架有效地处理了具有不同动态的环境，通过模仿了采样环境动力学中的多个专家，以增强环境动力学的一般变化中的鲁棒性。为了强力模仿多个样本专家，我们将代理商政策与每个样本专家之间的Jensen-Shannon分歧降低了风险。数值结果表明，与常规IL基准相比，我们的算法显着提高了针对动力学扰动的鲁棒性。

在学徒学习（AL）中，我们在没有获得成本函数的情况下给予马尔可夫决策过程（MDP）。相反，我们观察由根据某些政策执行的专家采样的轨迹。目标是找到一个与专家对某些预定义的成本函数的性能相匹配的策略。我们介绍了AL的在线变体（在线学徒学习; OAL），其中代理商预计与环境相互作用，在与环境互动的同时相互表现。我们表明，通过组合两名镜面血缘无遗憾的算法可以有效地解决了OAL问题：一个用于策略优化，另一个用于学习最坏情况的成本。通过采用乐观的探索，我们使用$ O（\ SQRT {k}）$后悔派生算法，其中$ k $是与MDP的交互数量以及额外的线性错误术语，其取决于专家轨迹的数量可用的。重要的是，我们的算法避免了在每次迭代时求解MDP的需要，与先前的AL方法相比，更实用。最后，我们实现了我们算法的深层变体，该算法与Gail \ Cite {Ho2016Generative}共享了一些相似之处，但在鉴别者被替换为OAL问题的成本。我们的模拟表明OAL在高维控制问题中表现良好。

我们根据相对悲观主义的概念，在数据覆盖不足的情况下提出了经过对抗训练的演员评论家（ATAC），这是一种新的无模型算法（RL）。 ATAC被设计为两人Stackelberg游戏：政策演员与受对抗训练的价值评论家竞争，后者发现参与者不如数据收集行为策略的数据一致方案。我们证明，当演员在两人游戏中不后悔时，运行ATAC会产生一项政策，证明1）在控制悲观程度的各种超级参数上都超过了行为政策，而2）与最佳竞争。 policy covered by data with appropriately chosen hyperparameters.与现有作品相比，尤其是我们的框架提供了一般函数近似的理论保证，也提供了可扩展到复杂环境和大型数据集的深度RL实现。在D4RL基准测试中，ATAC在一系列连续的控制任务上始终优于最先进的离线RL算法。

事后重新标记已成为多进球增强学习（RL）的基础技术。这个想法非常简单：任何任意轨迹都可以看作是达到轨迹最终状态的专家演示。直观地，此程序训练了一个目标条件政策，以模仿次优的专家。但是，模仿与事后重新标签之间的这种联系尚不清楚。现代模仿学习算法是用Divergence最小化的语言描述的，但仍然是一个开放的问题。在这项工作中，我们开发了一个统一的目标，以解释这种联系，从中我们可以从中获得目标条件的监督学习（GCSL）和奖励功能，并从第一原则中获得了事后见解体验重播（她）。在实验上，我们发现，尽管目标条件行为克隆（BC）最近取得了进步，但多进球Q学习仍然可以超越BC样方法。此外，两者的香草组合实际上都损害了模型性能。在我们的框架下，我们研究何时期望卑诗省提供帮助，并从经验上验证我们的发现。我们的工作进一步桥接了目标的目标和生成建模，说明了将生成模型成功扩展到RL的细微差别和新途径。

离线强化学习（RL）任务要求代理从预先收集的数据集中学习，没有与环境进行进一步的交互。尽管有可能超越行为政策，但基于RL的方法通常是不切实际的，因为培训不稳定并引导外推错误，这始终需要通过在线评估进行仔细的超参数调整。相比之下，离线模仿学习（IL）没有这样的问题，因为它直接在不估计值函数的情况下直接了解策略。然而，IL通常限制在行为政策的能力，并且倾向于从政策混合收集的数据集中学习平庸行为。在本文中，我们的目标是利用IL但缓解这种缺点。观察行为克隆能够使用较少的数据模仿邻近的策略，我们提出\ Textit {课程脱机仿制学习（线圈）}，它利用具有更高回报的自适应邻近策略的体验挑选策略，并提高了当前策略沿课程阶段。在连续控制基准测试中，我们将线圈与基于仿制的和基于RL的方法进行比较，表明它不仅避免了在混合数据集上学习平庸行为，而且甚至与最先进的离线RL方法竞争。

仿制学习（IL）是在连续控制环境中的流行方法，如其他原因，它避免了加固学习中奖励错误规范和探索的问题（RL）。在IL的示威中，一个重要的挑战是获得对投入顺利进行的代理政策。通过模仿作为一个稳定的函数来学习，这是一种顺利的策略（$ S $-$）空间（典型的高维连续控制环境）可能是具有挑战性的。我们采取了第一步迈出了通过使用\ Texit {两者}的策略和成本模型来解决这个问题的解决这个问题。我们的符合方案通过确保成本函数以受控方式变化为$ S $的函数 - $空间;而代理政策对国家空间良好表现得很好。我们称之为新的顺利IL算法\«Spoolly Policy和Cost Imitation Learning}（Spacil，Pronoughce'Special'）。我们介绍了一种新的指标来量化学习政策的顺利。我们展示了Spacil在Mujoco的连续控制任务方面的卓越性能。该算法不仅优于我们所提出的平滑度指标的最先进的IL算法，但是，享有更快的学习和大幅更高的平均回报的增加的好处。

我们研究了离线加强学习（RL）的代表性学习，重点是离线政策评估（OPE）的重要任务。最近的工作表明，与监督的学习相反，Q功能的可实现性不足以学习。样品效率OPE的两个足够条件是Bellman的完整性和覆盖范围。先前的工作通常假设给出满足这些条件的表示形式，结果大多是理论上的。在这项工作中，我们提出了BCRL，该BCRL直接从数据中吸取了近似线性的贝尔曼完整表示，并具有良好的覆盖范围。通过这种学识渊博的表示，我们使用最小平方策略评估（LSPE）执行OPE，并在我们学习的表示中具有线性函数。我们提出了端到端的理论分析，表明我们的两阶段算法享有多项式样本复杂性，该算法在所考虑的丰富类别中提供了一些表示形式，这是线性的贝尔曼完成。从经验上讲，我们广泛评估了我们的DeepMind Control Suite的具有挑战性的基于图像的连续控制任务。我们显示我们的表示能够与针对非政策RL开发的先前表示的学习方法（例如Curl，SPR）相比，可以更好地使用OPE。 BCRL使用最先进的方法拟合Q评估（FQE）实现竞争性OPE误差，并在评估超出初始状态分布的评估时击败FQE。我们的消融表明，我们方法的线性铃铛完整和覆盖范围都至关重要。

Learning policies from fixed offline datasets is a key challenge to scale up reinforcement learning (RL) algorithms towards practical applications. This is often because off-policy RL algorithms suffer from distributional shift, due to mismatch between dataset and the target policy, leading to high variance and over-estimation of value functions. In this work, we propose variance regularization for offline RL algorithms, using stationary distribution corrections. We show that by using Fenchel duality, we can avoid double sampling issues for computing the gradient of the variance regularizer. The proposed algorithm for offline variance regularization (OVAR) can be used to augment any existing offline policy optimization algorithms. We show that the regularizer leads to a lower bound to the offline policy optimization objective, which can help avoid over-estimation errors, and explains the benefits of our approach across a range of continuous control domains when compared to existing state-of-the-art algorithms.

仅国家模仿学习的最新进展将模仿学习的适用性扩展到现实世界中的范围，从而减轻了观察专家行动的需求。但是，现有的解决方案只学会从数据中提取州对行动映射策略，而无需考虑专家如何计划到目标。这阻碍了利用示威游行并限制政策的灵活性的能力。在本文中，我们介绍了解耦政策优化（DEPO），该策略优化（DEPO）明确将策略脱离为高级状态计划者和逆动力学模型。借助嵌入式的脱钩策略梯度和生成对抗训练，DEPO可以将知识转移到不同的动作空间或状态过渡动态，并可以将规划师推广到无示威的状态区域。我们的深入实验分析表明，DEPO在学习最佳模仿性能的同时学习通用目标状态计划者的有效性。我们证明了DEPO通过预训练跨任务转移的吸引力，以及与各种技能共同培训的潜力。

离线增强学习（RL）将经典RL算法的范式扩展到纯粹从静态数据集中学习，而无需在学习过程中与基础环境进行交互。离线RL的一个关键挑战是政策培训的不稳定，这是由于离线数据的分布与学习政策的未结束的固定状态分配之间的不匹配引起的。为了避免分配不匹配的有害影响，我们将当前政策的未静置固定分配正规化在政策优化过程中的离线数据。此外，我们训练动力学模型既实施此正规化，又可以更好地估计当前策略的固定分布，从而减少了分布不匹配引起的错误。在各种连续控制的离线RL数据集中，我们的方法表示竞争性能，从而验证了我们的算法。该代码公开可用。

在线模仿学习是如何最好地访问环境或准确的模拟器的问题的问题。先前的工作表明，在无限的样本制度中，匹配的确切力矩达到了与专家政策的价值等效性。但是，在有限的样本制度中，即使没有优化错误，经验差异也会导致性能差距，该差距以$ h^2 / n $的行为克隆缩放，在线时刻$ h / \ sqrt {n} $匹配，其中$ h $是地平线，$ n $是专家数据集的大小。我们介绍了重播估算的技术以减少这种经验差异：通过反复在随机模拟器中执行缓存的专家动作，我们计算了一个更平滑的专家访问分布估算以匹配的。在存在一般函数近似的情况下，我们证明了一个元定理，可以减少离线分类参数估计误差的方法差距（即学习专家策略）。在表格设置或使用线性函数近似中，我们的元定理表明，我们方法产生的性能差距达到了最佳$ \ widetilde {o} \ left（\ min（\ min（{h^h^{3/2}}}} / {n} ，{h} / {\ sqrt {n}} \ right）$依赖关系，在与先前的工作相比明显弱的假设下。我们在多个连续的控制任务上实施了多个方法的多次实例化，并发现我们能够显着提高策略绩效跨各种数据集尺寸。

我们在专家和学习者之间的过渡动力学下研究了逆钢筋学习（IRL）问题。具体而言，我们考虑最大因果熵（MCE）IRL学习者模型，并根据专家和学习者的转换动态之间的$ \ ell_1 $ -disce提供学习者的性能下降的紧密上限。利用强大的RL文献的洞察力，我们提出了一种强大的MCE IRL算法，这是一种有效的方法来帮助这种不匹配。最后，我们经验展示了我们算法的稳定性能，而在有限和连续的MDP问题中的转换动态不匹配下的标准MCE IRL算法相比。