Designing and analyzing model-based RL (MBRL) algorithms with guaranteed monotonic improvement has been challenging, mainly due to the interdependence between policy optimization and model learning. Existing discrepancy bounds generally ignore the impacts of model shifts, and their corresponding algorithms are prone to degrade performance by drastic model updating. In this work, we first propose a novel and general theoretical scheme for a non-decreasing performance guarantee of MBRL. Our follow-up derived bounds reveal the relationship between model shifts and performance improvement. These discoveries encourage us to formulate a constrained lower-bound optimization problem to permit the monotonicity of MBRL. A further example demonstrates that learning models from a dynamically-varying number of explorations benefit the eventual returns. Motivated by these analyses, we design a simple but effective algorithm CMLO (Constrained Model-shift Lower-bound Optimization), by introducing an event-triggered mechanism that flexibly determines when to update the model. Experiments show that CMLO surpasses other state-of-the-art methods and produces a boost when various policy optimization methods are employed.

确保基于乐观或后采样（PSRL）的基于模型的强化增强学习（MBRL）通过引入模型的复杂度度量，以渐近地实现全局最优性。但是，对于最简单的非线性模型，复杂性可能会成倍增长，在有限的迭代中，全局收敛是不可能的。当模型遭受大的概括误差（通过模型复杂性定量测量）时，不确定性可能很大。因此，对当前策略进行贪婪优化的采样模型将不设置，从而导致积极的政策更新和过度探索。在这项工作中，我们提出了涉及参考更新和保守更新的保守双重政策优化（CDPO）。该策略首先在参考模型下进行了优化，该策略模仿PSRL的机制，同时提供更大的稳定性。通过最大化模型值的期望来保证保守的随机性范围。没有有害的采样程序，CDPO仍然可以达到与PSRL相同的遗憾。更重要的是，CDPO同时享有单调的政策改进和全球最优性。经验结果还验证了CDPO的勘探效率。

基于模型的强化学习引起了广泛的样本效率。尽管到目前为止，它令人印象深刻，但仍然不清楚如何适当安排重要的超参数，以实现足够的性能，例如基于Dyna样式的算法中的政策优化的实际数据比。在本文中，我们首先分析了实际数据在政策培训中的作用，这表明逐渐增加了实际数据的比例会产生更好的性能。灵感来自分析，我们提出了一个名为autombpo的框架，以自动安排真实的数据比以及基于培训模型的策略优化（MBPO）算法的其他超参数，是基于模型的方法的代表性运行情况。在几个连续控制任务上，由AutomBPO安排的HyperParameters培训的MBPO实例可以显着超越原始的，并且AutomBPO找到的真实数据比例计划显示了与我们的理论分析的一致性。

设计有效的基于模型的增强学习算法很困难，因为必须对模型生成数据的偏置权衡数据生成的易用性。在本文中，我们研究了模型使用在理论上和经验上的政策优化中的作用。我们首先制定和分析一种基于模型的加强学习算法，并在每个步骤中保证单调改善。在实践中，该分析过于悲观，并表明实际的脱助策略数据总是优选模拟策略数据，但我们表明可以将模型概括的经验估计纳入这样的分析以证明模型使用证明模型使用。通过这种分析的动机，我们证明，使用从真实数据分支的短模型生成的卷展栏的简单过程具有更复杂的基于模型的算法而没有通常的缺陷的效益。特别是，这种方法超越了基于模型的方法的样本效率，匹配了最佳无模型算法的渐近性能，并缩放到导致其他基于模型的方法完全失败的视野。

Offline reinforcement learning (RL) refers to the problem of learning policies entirely from a large batch of previously collected data. This problem setting offers the promise of utilizing such datasets to acquire policies without any costly or dangerous active exploration. However, it is also challenging, due to the distributional shift between the offline training data and those states visited by the learned policy. Despite significant recent progress, the most successful prior methods are model-free and constrain the policy to the support of data, precluding generalization to unseen states. In this paper, we first observe that an existing model-based RL algorithm already produces significant gains in the offline setting compared to model-free approaches. However, standard model-based RL methods, designed for the online setting, do not provide an explicit mechanism to avoid the offline setting's distributional shift issue. Instead, we propose to modify the existing model-based RL methods by applying them with rewards artificially penalized by the uncertainty of the dynamics. We theoretically show that the algorithm maximizes a lower bound of the policy's return under the true MDP. We also characterize the trade-off between the gain and risk of leaving the support of the batch data. Our algorithm, Model-based Offline Policy Optimization (MOPO), outperforms standard model-based RL algorithms and prior state-of-the-art model-free offline RL algorithms on existing offline RL benchmarks and two challenging continuous control tasks that require generalizing from data collected for a different task. * equal contribution. † equal advising. Orders randomized.34th Conference on Neural Information Processing Systems (NeurIPS 2020),

基于模型的增强学习（RL）通过学习动态模型来生成用于策略学习的样本，在实践中实现了实践中的样本效率更高。先前的作品学习了一个“全球”动力学模型，以适合所有历史政策的国家行动探视分布。但是，在本文中，我们发现学习全球动力学模型并不一定会受益于当前策略的模型预测，因为使用的策略正在不断发展。培训期间不断发展的政策将导致州行动探访分配变化。我们理论上分析了历史政策的分布如何影响模型学习和模型推出。然后，我们提出了一种基于模型的新型RL方法，名为\ textit {策略适应模型基于contor-Critic（PMAC）}，该方法基于策略适应机制学习了一个基于策略适应的动力学模型。该机制会动态调整历史政策混合分布，以确保学习模型可以不断适应不断发展的政策的国家行动探视分布。在Mujoco中的一系列连续控制环境上进行的实验表明，PMAC可以实现最新的渐近性能，而样品效率几乎是基于模型的方法的两倍。

强化学习（RL）通过与环境相互作用的试验过程解决顺序决策问题。尽管RL在玩复杂的视频游戏方面取得了巨大的成功，但在现实世界中，犯错误总是不希望的。为了提高样本效率并从而降低错误，据信基于模型的增强学习（MBRL）是一个有前途的方向，它建立了环境模型，在该模型中可以进行反复试验，而无需实际成本。在这项调查中，我们对MBRL进行了审查，重点是Deep RL的最新进展。对于非壮观环境，学到的环境模型与真实环境之间始终存在概括性错误。因此，非常重要的是分析环境模型中的政策培训与实际环境中的差异，这反过来又指导了更好的模型学习，模型使用和政策培训的算法设计。此外，我们还讨论了其他形式的RL，包括离线RL，目标条件RL，多代理RL和Meta-RL的最新进展。此外，我们讨论了MBRL在现实世界任务中的适用性和优势。最后，我们通过讨论MBRL未来发展的前景来结束这项调查。我们认为，MBRL在被忽略的现实应用程序中具有巨大的潜力和优势，我们希望这项调查能够吸引更多关于MBRL的研究。

在训练数据的分布中评估时，学到的模型和政策可以有效地概括，但可以在分布输入输入的情况下产生不可预测且错误的输出。为了避免在部署基于学习的控制算法时分配变化，我们寻求一种机制将代理商限制为类似于受过训练的国家和行动的机制。在控制理论中，Lyapunov稳定性和控制不变的集合使我们能够保证稳定系统周围系统的控制器，而在机器学习中，密度模型使我们能够估算培训数据分布。我们可以将这两个概念结合起来，产生基于学习的控制算法，这些算法仅使用分配动作将系统限制为分布状态？在这项工作中，我们建议通过结合Lyapunov稳定性和密度估计的概念来做到这一点，引入Lyapunov密度模型：控制Lyapunov函数和密度模型的概括，这些函数和密度模型可以保证代理商在其整个轨迹上保持分布的能力。

Effectively leveraging large, previously collected datasets in reinforcement learning (RL) is a key challenge for large-scale real-world applications. Offline RL algorithms promise to learn effective policies from previously-collected, static datasets without further interaction. However, in practice, offline RL presents a major challenge, and standard off-policy RL methods can fail due to overestimation of values induced by the distributional shift between the dataset and the learned policy, especially when training on complex and multi-modal data distributions. In this paper, we propose conservative Q-learning (CQL), which aims to address these limitations by learning a conservative Q-function such that the expected value of a policy under this Q-function lower-bounds its true value. We theoretically show that CQL produces a lower bound on the value of the current policy and that it can be incorporated into a policy learning procedure with theoretical improvement guarantees. In practice, CQL augments the standard Bellman error objective with a simple Q-value regularizer which is straightforward to implement on top of existing deep Q-learning and actor-critic implementations. On both discrete and continuous control domains, we show that CQL substantially outperforms existing offline RL methods, often learning policies that attain 2-5 times higher final return, especially when learning from complex and multi-modal data distributions.Preprint. Under review.

在钢筋学习中，体验重播存储过去的样本以进一步重用。优先采样是一个有希望的技术，可以更好地利用这些样品。以前的优先级标准包括TD误差，近似和纠正反馈，主要是启发式设计。在这项工作中，我们从遗憾最小化目标开始，并获得最佳的贝尔曼更新优先级探讨策略，可以直接最大化策略的返回。该理论表明，具有较高后视TD误差的数据，应在采样期间具有更高权重的重量来分配更高的Hindsight TD误差，更好的政策和更准确的Q值。因此，最先前的标准只会部分考虑这一战略。我们不仅为以前的标准提供了理论理由，还提出了两种新方法来计算优先级重量，即remern并恢复。 remern学习错误网络，而remert利用状态的时间顺序。这两种方法都以先前的优先考虑的采样算法挑战，包括Mujoco，Atari和Meta-World。

安全的加强学习（RL）研究智能代理人不仅必须最大程度地提高奖励，而且还要避免探索不安全领域的问题。在这项研究中，我们提出了CUP，这是一种基于约束更新投影框架的新型政策优化方法，享有严格的安全保证。我们杯杯发展的核心是新提出的替代功能以及性能结合。与以前的安全RL方法相比，杯子的好处1）杯子将代孕功能推广到广义优势估计量（GAE），从而导致强烈的经验性能。 2）杯赛统一性界限，为某些现有算法提供更好的理解和解释性； 3）CUP仅通过一阶优化器提供非凸的实现，该优化器不需要在目标的凸面上进行任何强近似。为了验证我们的杯子方法，我们将杯子与在各种任务上进行的安全RL基线的全面列表进行了比较。实验表明杯子在奖励和安全限制满意度方面的有效性。我们已经在https://github.com/rl-boxes/safe-rl/tree/ main/cup上打开了杯子源代码。

尽管理论上的行为克隆（BC）遭受了复杂错误，但其可扩展性和简单性仍然使其成为一种有吸引力的模仿学习算法。相比之下，对抗性训练的模仿方法通常不会共享相同的问题，但需要与环境进行互动。同时，大多数模仿学习方法仅利用最佳数据集，这可能比其次优的数据集更昂贵。出现的一个问题是，我们可以以原则上的方式使用次优数据集，否则会闲置吗？我们提出了一个基于可扩展模型的离线模仿学习算法框架，该算法框架利用次优和最佳策略收集的数据集，并表明其最坏情况下的次优率在时间范围内相对于专家样本而变线。我们从经验上验证了我们的理论结果，并表明所提出的方法\ textit {始终}在模拟连续控制域的低数据状态下优于BC。

基于模型的离线优化通过动态感知政策为策略学习和分布外概括提供了新的观点，在该策略中，学会的政策可以适应培训阶段列举的不同动态。但是，由于离线设置下的限制，学到的模型无法很好地模仿真实的动态，以支持可靠的分发勘探，这仍然阻碍了政策以良好的概括。为了缩小差距，先前的作品大致集成了随机初始化的模型，以更好地近似实际动力学。但是，这种做法是昂贵且效率低下的，并且无法保证学识渊博的模型可以近似真正的动态，我们在本文中命名了覆盖性。我们通过生成具有可证明的能力以有效且可控制的方式覆盖真实动态的模型来积极解决这个问题。为此，我们根据动力学下的策略占用，为动态模型设计一个距离度量，并提出了一种算法来生成模型，以优化其对真实动力学的覆盖范围。我们对模型生成过程进行了理论分析，并证明我们的算法可以提供增强的覆盖性。作为一项下游任务，我们以较小或没有保守的惩罚训练动态感知政策，实验表明我们的算法在现有的离线RL基准测试中优于先前的离线方法。我们还发现，通过我们的方法学到的政策具有更好的零转移性能，这意味着它们的概括更好。

离线增强学习（RL）提供了一个有希望的方向，可以利用大量离线数据来实现复杂的决策任务。由于分配转移问题，当前的离线RL算法通常被设计为在价值估计和行动选择方面是保守的。但是，这种保守主义在现实情况下遇到观察偏差时，例如传感器错误和对抗性攻击时会损害学习政策的鲁棒性。为了权衡鲁棒性和保守主义，我们通过一种新颖的保守平滑技术提出了强大的离线增强学习（RORL）。在RORL中，我们明确地介绍了数据集附近国家的策略和价值函数的正则化，以及对这些OOD状态的其他保守价值估计。从理论上讲，我们表明RORL比线性MDP中的最新理论结果更紧密地构成。我们证明RORL可以在一般离线RL基准上实现最新性能，并且对对抗性观察的扰动非常强大。

离线目标条件的强化学习（GCRL）承诺以从纯粹的离线数据集实现各种目标的形式的通用技能学习。我们提出$ \ textbf {go} $ al-al-conditioned $ f $ - $ \ textbf {a} $ dvantage $ \ textbf {r} $ egression（gofar），这是一种基于新颖的回归gcrl gcrl algorithm，它源自州越来越多匹配的视角；关键的直觉是，可以将目标任务提出为守护动态的模仿者和直接传送到目标的专家代理之间的状态占用匹配问题。与先前的方法相反，Gofar不需要任何事后重新标签，并且对其价值和策略网络享有未融合的优化。这些独特的功能允许Gofar具有更好的离线性能和稳定性以及统计性能保证，这对于先前的方法无法实现。此外，我们证明了Gofar的训练目标可以重新使用，以从纯粹的离线源数据域数据中学习独立于代理的目标条件计划的计划者，这可以使零射击传输到新的目标域。通过广泛的实验，我们验证了Gofar在各种问题设置和任务中的有效性，显着超过了先前的先验。值得注意的是，在真正的机器人灵活性操纵任务上，虽然没有其他方法取得了有意义的进步，但Gofar获得了成功实现各种目标的复杂操纵行为。

逆强化学习（IRL）试图推断出一种成本函数，以解释专家演示的基本目标和偏好。本文介绍了向后的地平线逆增强学习（RHIRL），这是一种新的IRL算法，用于具有黑盒动态模型的高维，嘈杂，连续的系统。 Rhirl解决了IRL的两个主要挑战：可伸缩性和鲁棒性。为了处理高维的连续系统，Rhirl以退缩的地平线方式与当地的专家演示相匹配，并将其“针迹”一起“缝制”本地解决方案以学习成本；因此，它避免了“维度的诅咒”。这与早期的算法形成鲜明对比，这些算法与在整个高维状态空间中与全球范围内的专家示威相匹配。为了与不完美的专家示范和系统控制噪声保持强大的态度，Rhirl在轻度条件下学习了与系统动力学的状态依赖性成本函数。基准任务的实验表明，在大多数情况下，Rhirl的表现都优于几种领先的IRL算法。我们还证明，Rhirl的累积误差随任务持续时间线性增长。

除了最大化奖励目标之外，现实世界中的强化学习（RL）代理商必须满足安全限制。基于模型的RL算法占据了减少不安全的现实世界行动的承诺：它们可以合成使用来自学习模型的模拟样本遵守所有约束的策略。但是，即使对于预测满足所有约束的操作，甚至可能导致真实的结构违规。我们提出了保守和自适应惩罚（CAP），一种基于模型的安全RL框架，其通过捕获模型不确定性并自适应利用它来平衡奖励和成本目标来占潜在的建模错误。首先，CAP利用基于不确定性的惩罚来膨胀预测成本。从理论上讲，我们展示了满足这种保守成本约束的政策，也可以保证在真正的环境中是可行的。我们进一步表明，这保证了在RL培训期间所有中间解决方案的安全性。此外，在使用环境中使用真正的成本反馈，帽子在培训期间自适应地调整这种惩罚。我们在基于状态和基于图像的环境中，评估了基于模型的安全RL的保守和自适应惩罚方法。我们的结果表明了样品效率的大量收益，同时产生比现有安全RL算法更少的违规行为。代码可用：https://github.com/redrew/cap

这项工作开发了具有严格效率的新算法，可确保无限的地平线模仿学习（IL）具有线性函数近似而无需限制性相干假设。我们从问题的最小值开始，然后概述如何从优化中利用经典工具，尤其是近端点方法（PPM）和双平滑性，分别用于在线和离线IL。多亏了PPM，我们避免了在以前的文献中出现在线IL的嵌套政策评估和成本更新。特别是，我们通过优化单个凸的优化和在成本和Q函数上的平稳目标来消除常规交替更新。当不确定地解决时，我们将优化错误与恢复策略的次级优势联系起来。作为额外的奖励，通过将PPM重新解释为双重平滑以专家政策为中心，我们还获得了一个离线IL IL算法，该算法在所需的专家轨迹方面享有理论保证。最后，我们实现了线性和神经网络功能近似的令人信服的经验性能。

While reinforcement learning algorithms provide automated acquisition of optimal policies, practical application of such methods requires a number of design decisions, such as manually designing reward functions that not only define the task, but also provide sufficient shaping to accomplish it. In this paper, we view reinforcement learning as inferring policies that achieve desired outcomes, rather than as a problem of maximizing rewards. To solve this inference problem, we establish a novel variational inference formulation that allows us to derive a well-shaped reward function which can be learned directly from environment interactions. From the corresponding variational objective, we also derive a new probabilistic Bellman backup operator and use it to develop an off-policy algorithm to solve goal-directed tasks. We empirically demonstrate that this method eliminates the need to hand-craft reward functions for a suite of diverse manipulation and locomotion tasks and leads to effective goal-directed behaviors.

我们根据相对悲观主义的概念，在数据覆盖不足的情况下提出了经过对抗训练的演员评论家（ATAC），这是一种新的无模型算法（RL）。 ATAC被设计为两人Stackelberg游戏：政策演员与受对抗训练的价值评论家竞争，后者发现参与者不如数据收集行为策略的数据一致方案。我们证明，当演员在两人游戏中不后悔时，运行ATAC会产生一项政策，证明1）在控制悲观程度的各种超级参数上都超过了行为政策，而2）与最佳竞争。 policy covered by data with appropriately chosen hyperparameters.与现有作品相比，尤其是我们的框架提供了一般函数近似的理论保证，也提供了可扩展到复杂环境和大型数据集的深度RL实现。在D4RL基准测试中，ATAC在一系列连续的控制任务上始终优于最先进的离线RL算法。