Offline reinforcement learning (RL) enables the agent to effectively learn from logged data, which significantly extends the applicability of RL algorithms in real-world scenarios where exploration can be expensive or unsafe. Previous works have shown that extracting primitive skills from the recurring and temporally extended structures in the logged data yields better learning. However, these methods suffer greatly when the primitives have limited representation ability to recover the original policy space, especially in offline settings. In this paper, we give a quantitative characterization of the performance of offline hierarchical learning and highlight the importance of learning lossless primitives. To this end, we propose to use a \emph{flow}-based structure as the representation for low-level policies. This allows us to represent the behaviors in the dataset faithfully while keeping the expression ability to recover the whole policy space. We show that such lossless primitives can drastically improve the performance of hierarchical policies. The experimental results and extensive ablation studies on the standard D4RL benchmark show that our method has a good representation ability for policies and achieves superior performance in most tasks.

离线增强学习（RL）可以从先前收集的数据中进行有效的学习，而无需探索，这在探索昂贵甚至不可行时在现实世界应用中显示出巨大的希望。折扣因子$ \ gamma $在提高在线RL样本效率和估计准确性方面起着至关重要的作用，但是折现因子在离线RL中的作用尚未得到很好的探索。本文研究了$ \ gamma $在离线RL中的两个明显影响，并通过理论分析，即正则化效果和悲观效应。一方面，$ \ gamma $是在现有离线技术下以样本效率而定的最佳选择的监管机构。另一方面，较低的指导$ \ gamma $也可以看作是一种悲观的方式，我们在最坏的模型中优化了政策的性能。我们通过表格MDP和标准D4RL任务从经验上验证上述理论观察。结果表明，折现因子在离线RL算法的性能中起着至关重要的作用，无论是在现有的离线方法的小型数据制度下还是在没有其他保守主义的大型数据制度中。

表示学习通常通过管理维度的诅咒在加强学习中起关键作用。代表性的算法类别利用了随机过渡动力学的光谱分解，以构建在理想化环境中具有强大理论特性的表示。但是，当前的光谱方法的适用性有限，因为它们是用于仅国家的聚合并源自策略依赖性过渡内核的，而无需考虑勘探问题。为了解决这些问题，我们提出了一种替代光谱方法，光谱分解表示（SPEDER），该方法从动力学中提取了国家行动抽象而不诱导虚假依赖数据收集策略，同时还可以平衡探索访问权分析交易 - 在学习过程中关闭。理论分析确定了在线和离线设置中所提出的算法的样本效率。此外，一项实验研究表明，在几个基准测试中，比当前的最新算法表现出色。

使用深层生成模型从离线演示中提取策略原始的方法已显示出有望加速增强学习（RL）的新任务。直觉上，这些方法还应该有助于培训宣传员，因为它们可以执行有用的技能。但是，我们确定这些技术没有能力用于安全政策学习的能力，因为它们忽略了负面的经历（例如，不安全或不成功），只专注于积极的经验，这会损害他们安全地将新任务推广到新任务的能力。相反，我们将LettentsAfetyConteDlecting绘制在来自许多任务的演示数据集中，包括负面经验和积极经验，对litentsafetycontastect进行了原则性的对比培训。使用此较晚变量，我们的RL框架，安全技能先验（更安全）提取了特定于任务的安全原始技能，以安全，成功地将其推广到新任务。在推论阶段，接受培训的政策学会学会将安全技能纳入成功的政策。从理论上讲，我们描述了为什么更安全的行为能够实施安全的政策学习，并证明其在受游戏操作启发的几种复杂的至关重要的机器人握把任务上，在这种情况下，Saferoutperforms成功和安全方面的最先进的原始学习方法。

基于模型的增强学习（RL）是一种通过利用学习的单步动力学模型来计划想象中的动作来学习复杂行为的样本效率方法。但是，计划为长马操作计划的每项行动都是不切实际的，类似于每个肌肉运动的人类计划。相反，人类有效地计划具有高级技能来解决复杂的任务。从这种直觉中，我们提出了一个基于技能的RL框架（SKIMO），该框架能够使用技能动力学模型在技能空间中进行计划，该模型直接预测技能成果，而不是预测中级状态中的所有小细节，逐步。为了准确有效的长期计划，我们共同学习了先前经验的技能动力学模型和技能曲目。然后，我们利用学到的技能动力学模型准确模拟和计划技能空间中的长范围，这可以有效地学习长摩盛，稀疏的奖励任务。导航和操纵域中的实验结果表明，Skimo扩展了基于模型的方法的时间范围，并提高了基于模型的RL和基于技能的RL的样品效率。代码和视频可在\ url {https://clvrai.com/skimo}上找到

模仿学习从专家轨迹中学习政策。尽管据信专家数据对于模仿质量至关重要，但发现一种模仿学习方法，对抗性模仿学习（AIL）可以具有出色的性能。只需仅仅在一个专家轨迹上，即使在诸如运动控制之类的任务上，AIL也可以符合专家的性能。这种现象有两个神秘的要点。首先，为什么AIL只能使用几个专家轨迹表现良好？其次，尽管计划范围的时间长，但为什么AIL仍能保持良好的性能？在本文中，我们从理论上探讨了这两个问题。对于总基于差异的ail（称为TV-ail），我们的分析显示了一个无水平的模仿差距$ \ MATHCAL O（\ {\ {\ min \ {1，\ sqrt {| \ Mathcal S |/n} \}）$在从运动控制任务中抽象的一类实例上。这里$ | \ Mathcal S | $是表格Markov决策过程的状态空间大小，而$ n $是专家轨迹的数量。我们强调了界限的两个重要特征。首先，在小样本制度中，这种界限都是有意义的。其次，这一界限表明，无论计划范围如何，电视填充的模仿缝隙最多都是1。因此，这种结合可以解释经验观察。从技术上讲，我们利用了电视填充中多阶段策略优化的结构，并通过动态编程提出了新的舞台耦合分析

长摩根和包括一系列隐性子任务的日常任务仍然在离线机器人控制中构成了重大挑战。尽管许多先前的方法旨在通过模仿和离线增强学习的变体来解决这种设置，但学习的行为通常是狭窄的，并且经常努力实现可配置的长匹配目标。由于这两个范式都具有互补的优势和劣势，因此我们提出了一种新型的层次结构方法，结合了两种方法的优势，以从高维相机观察中学习任务无关的长胜压策略。具体而言，我们结合了一项低级政策，该政策通过模仿学习和从离线强化学习中学到的高级政策学习潜在的技能，以促进潜在的行为先验。各种模拟和真实机器人控制任务的实验表明，我们的配方使以前看不见的技能组合能够通过“缝制”潜在技能通过目标链条，并在绩效上提高绩效的顺序，从而实现潜在的目标。艺术基线。我们甚至还学习了一个多任务视觉运动策略，用于现实世界中25个不同的操纵任务，这既优于模仿学习和离线强化学习技术。

在阻碍强化学习（RL）到现实世界中的问题的原因之一，两个因素至关重要：与培训相比，数据有限和测试环境的不匹配。在本文中，我们试图通过分配强大的离线RL的问题同时解决这些问题。特别是，我们学习了一个从源环境中获得的历史数据，并优化了RL代理，并在扰动的环境中表现良好。此外，我们考虑将算法应用于大规模问题的线性函数近似。我们证明我们的算法可以实现$ O（1/\ sqrt {k}）$的次级临时性，具体取决于线性函数尺寸$ d $，这似乎是在此设置中使用样品复杂性保证的第一个结果。进行了不同的实验以证明我们的理论发现，显示了我们算法与非持bust算法的优越性。

离线增强学习（RL）将经典RL算法的范式扩展到纯粹从静态数据集中学习，而无需在学习过程中与基础环境进行交互。离线RL的一个关键挑战是政策培训的不稳定，这是由于离线数据的分布与学习政策的未结束的固定状态分配之间的不匹配引起的。为了避免分配不匹配的有害影响，我们将当前政策的未静置固定分配正规化在政策优化过程中的离线数据。此外，我们训练动力学模型既实施此正规化，又可以更好地估计当前策略的固定分布，从而减少了分布不匹配引起的错误。在各种连续控制的离线RL数据集中，我们的方法表示竞争性能，从而验证了我们的算法。该代码公开可用。

我们提出了状态匹配的离线分布校正估计（SMODICE），这是一种新颖且基于多功能回归的离线模仿学习（IL）算法，该算法是通过状态占用匹配得出的。我们表明，SMODICE目标通过在表格MDP中的Fenchel二元性和一个分析解决方案的应用来接受一个简单的优化过程。不需要访问专家的行动，可以将Smodice有效地应用于三个离线IL设置：（i）模仿观察值（IFO），（ii）IFO具有动态或形态上不匹配的专家，以及（iii）基于示例的加固学习，这些学习我们表明可以将其公式为州占领的匹配问题。我们在GridWorld环境以及高维离线基准上广泛评估了Smodice。我们的结果表明，Smodice对于所有三个问题设置都有效，并且在前最新情况下均明显胜过。

Offline reinforcement learning (RL) refers to the problem of learning policies entirely from a large batch of previously collected data. This problem setting offers the promise of utilizing such datasets to acquire policies without any costly or dangerous active exploration. However, it is also challenging, due to the distributional shift between the offline training data and those states visited by the learned policy. Despite significant recent progress, the most successful prior methods are model-free and constrain the policy to the support of data, precluding generalization to unseen states. In this paper, we first observe that an existing model-based RL algorithm already produces significant gains in the offline setting compared to model-free approaches. However, standard model-based RL methods, designed for the online setting, do not provide an explicit mechanism to avoid the offline setting's distributional shift issue. Instead, we propose to modify the existing model-based RL methods by applying them with rewards artificially penalized by the uncertainty of the dynamics. We theoretically show that the algorithm maximizes a lower bound of the policy's return under the true MDP. We also characterize the trade-off between the gain and risk of leaving the support of the batch data. Our algorithm, Model-based Offline Policy Optimization (MOPO), outperforms standard model-based RL algorithms and prior state-of-the-art model-free offline RL algorithms on existing offline RL benchmarks and two challenging continuous control tasks that require generalizing from data collected for a different task. * equal contribution. † equal advising. Orders randomized.34th Conference on Neural Information Processing Systems (NeurIPS 2020),

离线目标条件的强化学习（GCRL）承诺以从纯粹的离线数据集实现各种目标的形式的通用技能学习。我们提出$ \ textbf {go} $ al-al-conditioned $ f $ - $ \ textbf {a} $ dvantage $ \ textbf {r} $ egression（gofar），这是一种基于新颖的回归gcrl gcrl algorithm，它源自州越来越多匹配的视角；关键的直觉是，可以将目标任务提出为守护动态的模仿者和直接传送到目标的专家代理之间的状态占用匹配问题。与先前的方法相反，Gofar不需要任何事后重新标签，并且对其价值和策略网络享有未融合的优化。这些独特的功能允许Gofar具有更好的离线性能和稳定性以及统计性能保证，这对于先前的方法无法实现。此外，我们证明了Gofar的训练目标可以重新使用，以从纯粹的离线源数据域数据中学习独立于代理的目标条件计划的计划者，这可以使零射击传输到新的目标域。通过广泛的实验，我们验证了Gofar在各种问题设置和任务中的有效性，显着超过了先前的先验。值得注意的是，在真正的机器人灵活性操纵任务上，虽然没有其他方法取得了有意义的进步，但Gofar获得了成功实现各种目标的复杂操纵行为。

Effectively leveraging large, previously collected datasets in reinforcement learning (RL) is a key challenge for large-scale real-world applications. Offline RL algorithms promise to learn effective policies from previously-collected, static datasets without further interaction. However, in practice, offline RL presents a major challenge, and standard off-policy RL methods can fail due to overestimation of values induced by the distributional shift between the dataset and the learned policy, especially when training on complex and multi-modal data distributions. In this paper, we propose conservative Q-learning (CQL), which aims to address these limitations by learning a conservative Q-function such that the expected value of a policy under this Q-function lower-bounds its true value. We theoretically show that CQL produces a lower bound on the value of the current policy and that it can be incorporated into a policy learning procedure with theoretical improvement guarantees. In practice, CQL augments the standard Bellman error objective with a simple Q-value regularizer which is straightforward to implement on top of existing deep Q-learning and actor-critic implementations. On both discrete and continuous control domains, we show that CQL substantially outperforms existing offline RL methods, often learning policies that attain 2-5 times higher final return, especially when learning from complex and multi-modal data distributions.Preprint. Under review.

离线强化学习（RL）任务要求代理从预先收集的数据集中学习，没有与环境进行进一步的交互。尽管有可能超越行为政策，但基于RL的方法通常是不切实际的，因为培训不稳定并引导外推错误，这始终需要通过在线评估进行仔细的超参数调整。相比之下，离线模仿学习（IL）没有这样的问题，因为它直接在不估计值函数的情况下直接了解策略。然而，IL通常限制在行为政策的能力，并且倾向于从政策混合收集的数据集中学习平庸行为。在本文中，我们的目标是利用IL但缓解这种缺点。观察行为克隆能够使用较少的数据模仿邻近的策略，我们提出\ Textit {课程脱机仿制学习（线圈）}，它利用具有更高回报的自适应邻近策略的体验挑选策略，并提高了当前策略沿课程阶段。在连续控制基准测试中，我们将线圈与基于仿制的和基于RL的方法进行比较，表明它不仅避免了在混合数据集上学习平庸行为，而且甚至与最先进的离线RL方法竞争。

我们研究了离线加强学习（RL）的代表性学习，重点是离线政策评估（OPE）的重要任务。最近的工作表明，与监督的学习相反，Q功能的可实现性不足以学习。样品效率OPE的两个足够条件是Bellman的完整性和覆盖范围。先前的工作通常假设给出满足这些条件的表示形式，结果大多是理论上的。在这项工作中，我们提出了BCRL，该BCRL直接从数据中吸取了近似线性的贝尔曼完整表示，并具有良好的覆盖范围。通过这种学识渊博的表示，我们使用最小平方策略评估（LSPE）执行OPE，并在我们学习的表示中具有线性函数。我们提出了端到端的理论分析，表明我们的两阶段算法享有多项式样本复杂性，该算法在所考虑的丰富类别中提供了一些表示形式，这是线性的贝尔曼完成。从经验上讲，我们广泛评估了我们的DeepMind Control Suite的具有挑战性的基于图像的连续控制任务。我们显示我们的表示能够与针对非政策RL开发的先前表示的学习方法（例如Curl，SPR）相比，可以更好地使用OPE。 BCRL使用最先进的方法拟合Q评估（FQE）实现竞争性OPE误差，并在评估超出初始状态分布的评估时击败FQE。我们的消融表明，我们方法的线性铃铛完整和覆盖范围都至关重要。

随着代表性学习成为一种在实践中降低增强学习（RL）样本复杂性（RL）的强大技术，对其优势的理论理解仍然是有限的。在本文中，我们从理论上表征了在低级马尔可夫决策过程（MDP）模型下表示学习的好处。我们首先研究多任务低级RL（作为上游培训），所有任务都共享一个共同的表示，并提出了一种称为加油的新型多任务奖励算法。加油站同时了解每个任务的过渡内核和近乎最佳的策略，并为下游任务输出良好的代表。我们的结果表明，只要任务总数高于一定的阈值，多任务表示学习比单独学习的样本效率要高。然后，我们研究在线和离线设置中的下游RL，在该设置中，代理商分配了一个新任务，共享与上游任务相同的表示形式。对于在线和离线设置，我们都会开发出样本效率高的算法，并表明它找到了一个近乎最佳的策略，其次要差距在上游中学习的估计误差和一个消失的术语作为数字作为数字的估计误差的范围。下游样品的大量变大。我们在线和离线RL的下游结果进一步捕获了从上游采用学习的表示形式的好处，而不是直接学习低级模型的表示。据我们所知，这是第一个理论研究，它表征了代表性学习在基于探索的无奖励多任务RL中对上游和下游任务的好处。

离线增强学习（RL）定义了从静态记录数据集学习的任务，而无需与环境不断交互。学识渊博的政策与行为政策之间的分配变化使得价值函数必须保持保守，以使分布（OOD）的动作不会被严重高估。但是，现有的方法，对看不见的行为进行惩罚或与行为政策进行正规化，太悲观了，这抑制了价值功能的概括并阻碍了性能的提高。本文探讨了温和但足够的保守主义，可以在线学习，同时不损害概括。我们提出了轻度保守的Q学习（MCQ），其中通过分配了适当的伪Q值来积极训练OOD。从理论上讲，我们表明MCQ诱导了至少与行为策略的行为，并且对OOD行动不会发生错误的高估。 D4RL基准测试的实验结果表明，与先前的工作相比，MCQ取得了出色的性能。此外，MCQ在从离线转移到在线时显示出卓越的概括能力，并明显胜过基准。

通常通过利用低级别表示来解决马尔可夫决策过程（MDP）中维度的诅咒。这激发了有关线性MDP的最新理论研究。但是，大多数方法在不切实际的假设下对分解的归一化或在实践中引入未解决的计算挑战。相反，我们考虑了线性MDP的替代定义，该定义自动确保正常化，同时允许通过对比度估计进行有效的表示。该框架还承认了置信度调整的索引算法，从而使面对不确定性的乐观或悲观主义，使得有效而有原则的方法。据我们所知，这为线性MDP提供了第一种实用的表示学习方法，该方法既可以实现强大的理论保证和经验绩效。从理论上讲，我们证明所提出的算法在在线和离线设置中均有效。从经验上讲，我们在几个基准测试中表现出优于现有基于模型的现有模型和无模型算法的卓越性能。

在离线增强学习中，加权回归是一种常见方法，可以确保学习的政策与行为策略保持接近并防止选择样本外动作。在这项工作中，我们表明，由于政策模型的分配表达有限，以前的方法可能仍会在培训期间选择看不见的动作，这会偏离其最初动机。为了解决这个问题，我们通过将学习的政策分解为两个部分：表达生成行为模型和动作评估模型，采用生成方法。关键见解是，这种去耦避免学习具有封闭形式表达式的明确参数化的策略模型。直接学习行为策略使我们能够利用生成建模的现有进步，例如基于扩散的方法，以建模各种行为。至于行动评估，我们将方法与样本中的计划技术相结合，以进一步避免选择样本外动作并提高计算效率。 D4RL数据集的实验结果表明，与最先进的离线RL方法相比，我们提出的方法具有竞争性或卓越的性能，尤其是在诸如Antmaze之类的复杂任务中。我们还经验证明，我们的方法可以从包含多个独特但类似成功策略的异质数据集中成功学习，而以前的单峰政策失败了。

我们根据相对悲观主义的概念，在数据覆盖不足的情况下提出了经过对抗训练的演员评论家（ATAC），这是一种新的无模型算法（RL）。 ATAC被设计为两人Stackelberg游戏：政策演员与受对抗训练的价值评论家竞争，后者发现参与者不如数据收集行为策略的数据一致方案。我们证明，当演员在两人游戏中不后悔时，运行ATAC会产生一项政策，证明1）在控制悲观程度的各种超级参数上都超过了行为政策，而2）与最佳竞争。 policy covered by data with appropriately chosen hyperparameters.与现有作品相比，尤其是我们的框架提供了一般函数近似的理论保证，也提供了可扩展到复杂环境和大型数据集的深度RL实现。在D4RL基准测试中，ATAC在一系列连续的控制任务上始终优于最先进的离线RL算法。