安全政策改进（SPI）是在安全关键应用中脱机加强学习的重要技术，因为它以很高的可能性改善了行为政策。我们根据如何利用国家行动对的不确定性将各种SPI方法分为两组。为了关注软SPIBB（通过软基线自举的安全政策改进）算法，我们表明他们对被证明安全的主张不坚持。基于这一发现，我们开发了适应性，Adv-Soft SpibB算法，并证明它们是可以安全的。在两个基准上进行的广泛实验中，启发式适应性较低的SPOBB在所有SPIBB算法中都能表现出最佳性能。我们还检查了可证明的安全算法的安全保证，并表明有大量数据是必要的，以使安全界限在实践中变得有用。

在钢筋学习（RL）中，代理必须探索最初未知的环境，以便学习期望的行为。当RL代理部署在现实世界环境中时，安全性是主要关注的。受约束的马尔可夫决策过程（CMDPS）可以提供长期的安全约束;但是，该代理人可能会违反探索其环境的制约因素。本文提出了一种称为显式探索，漏洞探索或转义（$ e ^ {4} $）的基于模型的RL算法，它将显式探索或利用（$ e ^ {3} $）算法扩展到强大的CMDP设置。 $ e ^ 4 $明确地分离开发，探索和逃脱CMDP，允许针对已知状态的政策改进的有针对性的政策，发现未知状态，以及安全返回到已知状态。 $ e ^ 4 $强制优化了从一组CMDP模型的最坏情况CMDP上的这些策略，该模型符合部署环境的经验观察。理论结果表明，在整个学习过程中满足安全限制的情况下，在多项式时间中找到近最优的约束政策。我们讨论了稳健约束的离线优化算法，以及如何基于经验推理和先验知识来结合未知状态过渡动态的不确定性。

政策梯度（PG）算法是备受期待的强化学习对现实世界控制任务（例如机器人技术）的最佳候选人之一。但是，每当必须在物理系统上执行学习过程本身或涉及任何形式的人类计算机相互作用时，这些方法的反复试验性质就会提出安全问题。在本文中，我们解决了一种特定的安全公式，其中目标和危险都以标量奖励信号进行编码，并且学习代理被限制为从不恶化其性能，以衡量为预期的奖励总和。通过从随机优化的角度研究仅行为者的政策梯度，我们为广泛的参数政策建立了改进保证，从而将现有结果推广到高斯政策上。这与策略梯度估计器的差异的新型上限一起，使我们能够识别出具有很高概率的单调改进的元参数计划。两个关键的元参数是参数更新的步长和梯度估计的批处理大小。通过对这些元参数的联合自适应选择，我们获得了具有单调改进保证的政策梯度算法。

Effectively leveraging large, previously collected datasets in reinforcement learning (RL) is a key challenge for large-scale real-world applications. Offline RL algorithms promise to learn effective policies from previously-collected, static datasets without further interaction. However, in practice, offline RL presents a major challenge, and standard off-policy RL methods can fail due to overestimation of values induced by the distributional shift between the dataset and the learned policy, especially when training on complex and multi-modal data distributions. In this paper, we propose conservative Q-learning (CQL), which aims to address these limitations by learning a conservative Q-function such that the expected value of a policy under this Q-function lower-bounds its true value. We theoretically show that CQL produces a lower bound on the value of the current policy and that it can be incorporated into a policy learning procedure with theoretical improvement guarantees. In practice, CQL augments the standard Bellman error objective with a simple Q-value regularizer which is straightforward to implement on top of existing deep Q-learning and actor-critic implementations. On both discrete and continuous control domains, we show that CQL substantially outperforms existing offline RL methods, often learning policies that attain 2-5 times higher final return, especially when learning from complex and multi-modal data distributions.Preprint. Under review.

强化学习算法的实用性由于相对于问题大小的规模差而受到限制，因为学习$ \ epsilon $ -optimal策略的样本复杂性为$ \ tilde {\ omega} \ left（| s | s || a || a || a || a | h^3 / \ eps^2 \ right）$在MDP的最坏情况下，带有状态空间$ S $，ACTION SPACE $ A $和HORIZON $ H $。我们考虑一类显示出低级结构的MDP，其中潜在特征未知。我们认为，价值迭代和低级别矩阵估计的自然组合导致估计误差在地平线上呈指数增长。然后，我们提供了一种新算法以及统计保证，即有效利用了对生成模型的访问，实现了$ \ tilde {o} \ left的样本复杂度（d^5（d^5（| s |+| a |）\），我们有效利用低级结构。对于等级$ d $设置的Mathrm {Poly}（h）/\ EPS^2 \ right）$，相对于$ | s |，| a | $和$ \ eps $的缩放，这是最小值的最佳。与线性和低级别MDP的文献相反，我们不需要已知的功能映射，我们的算法在计算上很简单，并且我们的结果长期存在。我们的结果提供了有关MDP对过渡内核与最佳动作值函数所需的最小低级结构假设的见解。

Offline reinforcement learning (RL) concerns pursuing an optimal policy for sequential decision-making from a pre-collected dataset, without further interaction with the environment. Recent theoretical progress has focused on developing sample-efficient offline RL algorithms with various relaxed assumptions on data coverage and function approximators, especially to handle the case with excessively large state-action spaces. Among them, the framework based on the linear-programming (LP) reformulation of Markov decision processes has shown promise: it enables sample-efficient offline RL with function approximation, under only partial data coverage and realizability assumptions on the function classes, with favorable computational tractability. In this work, we revisit the LP framework for offline RL, and advance the existing results in several aspects, relaxing certain assumptions and achieving optimal statistical rates in terms of sample size. Our key enabler is to introduce proper constraints in the reformulation, instead of using any regularization as in the literature, sometimes also with careful choices of the function classes and initial state distributions. We hope our insights further advocate the study of the LP framework, as well as the induced primal-dual minimax optimization, in offline RL.

逆增强学习（IRL）是从专家演示中推断奖励功能的强大范式。许多IRL算法都需要已知的过渡模型，有时甚至是已知的专家政策，或者至少需要访问生成模型。但是，对于许多现实世界应用，这些假设太强了，在这些应用程序中，只能通过顺序相互作用访问环境。我们提出了一种新颖的IRL算法：逆增强学习（ACEIRL）的积极探索，该探索积极探索未知的环境和专家政策，以快速学习专家的奖励功能并确定良好的政策。 Aceirl使用以前的观察来构建置信区间，以捕获合理的奖励功能，并找到关注环境最有用区域的勘探政策。 Aceirl是使用样品复杂性界限的第一种活动IRL的方法，不需要环境的生成模型。在最坏情况下，Aceirl与活性IRL的样品复杂性与生成模型匹配。此外，我们建立了一个与问题相关的结合，该结合将Aceirl的样品复杂性与给定IRL问题的次级隔离间隙联系起来。我们在模拟中对Aceirl进行了经验评估，发现它的表现明显优于更幼稚的探索策略。

脱机强化学习 - 从一批数据中学习策略 - 是难以努力的：如果没有制造强烈的假设，它很容易构建实体算法失败的校长。在这项工作中，我们考虑了某些现实世界问题的财产，其中离线强化学习应该有效：行动仅对一部分产生有限的行动。我们正规化并介绍此动作影响规律（AIR）财产。我们进一步提出了一种算法，该算法假定和利用AIR属性，并在MDP满足空气时绑定输出策略的子优相。最后，我们展示了我们的算法在定期保留的两个模拟环境中跨越不同的数据收集策略占据了现有的离线强度学习算法。

我们研究了用线性函数近似的加固学习中的违规评估（OPE）问题，旨在根据行为策略收集的脱机数据来估计目标策略的价值函数。我们建议纳入价值函数的方差信息以提高ope的样本效率。更具体地说，对于时间不均匀的epiSodic线性马尔可夫决策过程（MDP），我们提出了一种算法VA-OPE，它使用价值函数的估计方差重新重量拟合Q迭代中的Bellman残差。我们表明我们的算法达到了比最着名的结果绑定的更紧密的误差。我们还提供了行为政策与目标政策之间的分布转移的细粒度。广泛的数值实验证实了我们的理论。

尽管无奖励强化学习勘探阶段的主要目标（RF-RL）是减少具有最小轨迹数量的估计模型中的不确定性时间。目前尚不清楚这种安全的探索要求如何影响相应的样本复杂性，以实现所获得的计划中所需的最佳性。在这项工作中，我们首次尝试回答这个问题。特别是，我们考虑了事先知道安全基线政策的情况，并提出了一个统一的安全奖励探索（甜蜜）框架。然后，我们将甜蜜框架专门为表格和低级MDP设置，并分别开发出算法所构成的表格甜味和低级别甜味。两种算法都利用了新引入的截短值函数的凹度和连续性，并保证在探索过程中以高概率侵犯了零约束。此外，两种算法都可以在计划阶段的任何约束中找到近乎最佳的政策。值得注意的是，算法下的样本复杂性在无限制的对应物中匹配甚至超过最恒定因素的最新情况，这证明安全约束几乎不会增加RF-RL的样本复杂性。

我们介绍了一种普遍的策略，可实现有效的多目标勘探。它依赖于adagoal，一种基于简单约束优化问题的新的目标选择方案，其自适应地针对目标状态，这既不是太困难也不是根据代理目前的知识达到的。我们展示了Adagoal如何用于解决学习$ \ epsilon $ -optimal的目标条件的政策，以便在$ L $ S_0 $ S_0 $奖励中获得的每一个目标状态，以便在$ S_0 $中获取。免费马尔可夫决策过程。在标准的表格外壳中，我们的算法需要$ \ tilde {o}（l ^ 3 s a \ epsilon ^ { - 2}）$探索步骤，这几乎很少最佳。我们还容易在线性混合Markov决策过程中实例化Adagoal，其产生具有线性函数近似的第一目标导向的PAC保证。除了强大的理论保证之外，迈克纳队以现有方法的高级别算法结构为锚定，为目标条件的深度加固学习。

本文涉及增强学习的样本效率，假设进入生成模型（或模拟器）。我们首先考虑$ \ gamma $ -discounted infinite-horizo​​ n markov决策过程（mdps）与状态空间$ \ mathcal {s} $和动作空间$ \ mathcal {a} $。尽管有许多先前的作品解决这个问题，但尚未确定样本复杂性和统计准确性之间的权衡的完整图像。特别地，所有事先结果都遭受严重的样本大小屏障，因为只有在样本量超过$ \ FRAC {| \ Mathcal {S} || \ Mathcal {A} |} {（1- \ gamma）^ 2} $。目前的论文通过认证了两种算法的最小值 - 基于模型的算法和基于保守模型的算法的最小值，克服了该障碍 - 一旦样本大小超过$ \ FRAC {| \ Mathcal {s } || mathcal {a} |} {1- \ gamma} $（modulo一些日志系数）。超越无限地平线MDP，我们进一步研究了时代的有限情况MDP，并证明了一种基于普通模型的规划算法足以实现任何目标精度水平的最佳样本复杂性。据我们所知，这项工作提供了第一个最低限度的最佳保证，可容纳全部样本尺寸（超出哪个发现有意义的政策是理论上不可行的信息）。

先前关于安全加强学习的工作（RL）研究了对动态（aleatory）随机性的风险规避，并隔离地模拟了不确定性（认知）。我们提出并分析一个新框架，以共同对有限马和折现的无限马MDP中的认知和差异不确定性相关的风险进行建模。我们称此框架结合了规避风险和软性的方法RASR。我们表明，当使用EVAR或熵风险定义风险规定时，可以使用具有时间依赖性风险水平的新的动态程序公式有效地计算RASR中的最佳策略。结果，即使是在无限 - 亨特折扣环境中，最佳的规避风险政策也是确定性但依赖时间的。我们还表明，具有平均后验过渡概率的特定RASR目标减少到规避风险的RL。我们的经验结果表明，我们的新算法始终减轻EVAR和其他标准风险措施衡量的不确定性。

本文研究了马尔可夫决策过程（MDPS）中用于政策评估的数据收集问题。在政策评估中，我们获得了目标政策，并要求估计它将在正式作为MDP的环境中获得的预期累积奖励。我们通过首先得出了使用奖励分布方差知识的Oracle数据收集策略来开发在树结构MDPS中的最佳数据收集理论。然后，我们介绍了减少的方差采样（射击）算法，即当奖励方差未知并与Oracle策略相比，奖励方差未知并绑定其亚典型性时，它近似于Oracle策略。最后，我们从经验上验证了射手会导致与甲骨文策略相当的均衡误差进行政策评估，并且比仅仅运行目标策略要低得多。

In this paper we develop a theoretical analysis of the performance of sampling-based fitted value iteration (FVI) to solve infinite state-space, discounted-reward Markovian decision processes (MDPs) under the assumption that a generative model of the environment is available. Our main results come in the form of finite-time bounds on the performance of two versions of sampling-based FVI. The convergence rate results obtained allow us to show that both versions of FVI are well behaving in the sense that by using a sufficiently large number of samples for a large class of MDPs, arbitrary good performance can be achieved with high probability. An important feature of our proof technique is that it permits the study of weighted L p -norm performance bounds. As a result, our technique applies to a large class of function-approximation methods (e.g., neural networks, adaptive regression trees, kernel machines, locally weighted learning), and our bounds scale well with the effective horizon of the MDP. The bounds show a dependence on the stochastic stability properties of the MDP: they scale with the discounted-average concentrability of the future-state distributions. They also depend on a new measure of the approximation power of the function space, the inherent Bellman residual, which reflects how well the function space is "aligned" with the dynamics and rewards of the MDP. The conditions of the main result, as well as the concepts introduced in the analysis, are extensively discussed and compared to previous theoretical results. Numerical experiments are used to substantiate the theoretical findings.

我们研究奖励设计策略，用于激励加强学习代理，从一系列可接受的政策中采用政策。奖励设计师的目标是经济高效地修改底层奖励功能，同时确保在新奖励功能下的任何大约最佳的确定性政策是可允许的，并且在原始奖励功能下执行良好。这个问题可以被视为最佳奖励中毒攻击问题的双重问题：而不是强制代理商采用特定的政策，而奖励设计师则激励一个代理人以避免采取某些州不可受理的行动。也许令人惊讶的是，与最佳奖励中毒攻击的问题相比，我们首先表明可允许的政策教学的奖励设计问题是在计算上具有挑战性的，并且难以找到近似最佳的奖励修改。然后，我们通过制定最佳解决方案的代理问题，其最佳解决方案近似于我们的环境中奖励设计问题的最佳解决方案，但更适用于优化技术和分析。对于此替代问题，我们呈现了在最佳解决方案的值上提供限制的表征结果。最后，我们设计了一个本地搜索算法来解决代理问题，并使用基于模拟的实验展示其实用程序。

基于模型的强化学习引起了广泛的样本效率。尽管到目前为止，它令人印象深刻，但仍然不清楚如何适当安排重要的超参数，以实现足够的性能，例如基于Dyna样式的算法中的政策优化的实际数据比。在本文中，我们首先分析了实际数据在政策培训中的作用，这表明逐渐增加了实际数据的比例会产生更好的性能。灵感来自分析，我们提出了一个名为autombpo的框架，以自动安排真实的数据比以及基于培训模型的策略优化（MBPO）算法的其他超参数，是基于模型的方法的代表性运行情况。在几个连续控制任务上，由AutomBPO安排的HyperParameters培训的MBPO实例可以显着超越原始的，并且AutomBPO找到的真实数据比例计划显示了与我们的理论分析的一致性。

Partially observable Markov decision processes (POMDPs) provide a flexible representation for real-world decision and control problems. However, POMDPs are notoriously difficult to solve, especially when the state and observation spaces are continuous or hybrid, which is often the case for physical systems. While recent online sampling-based POMDP algorithms that plan with observation likelihood weighting have shown practical effectiveness, a general theory characterizing the approximation error of the particle filtering techniques that these algorithms use has not previously been proposed. Our main contribution is bounding the error between any POMDP and its corresponding finite sample particle belief MDP (PB-MDP) approximation. This fundamental bridge between PB-MDPs and POMDPs allows us to adapt any sampling-based MDP algorithm to a POMDP by solving the corresponding particle belief MDP, thereby extending the convergence guarantees of the MDP algorithm to the POMDP. Practically, this is implemented by using the particle filter belief transition model as the generative model for the MDP solver. While this requires access to the observation density model from the POMDP, it only increases the transition sampling complexity of the MDP solver by a factor of $\mathcal{O}(C)$, where $C$ is the number of particles. Thus, when combined with sparse sampling MDP algorithms, this approach can yield algorithms for POMDPs that have no direct theoretical dependence on the size of the state and observation spaces. In addition to our theoretical contribution, we perform five numerical experiments on benchmark POMDPs to demonstrate that a simple MDP algorithm adapted using PB-MDP approximation, Sparse-PFT, achieves performance competitive with other leading continuous observation POMDP solvers.

我们研究马尔可夫决策过程（MDP）框架中的离线数据驱动的顺序决策问题。为了提高学习政策的概括性和适应性，我们建议通过一套关于在政策诱导的固定分配所在的分发的一套平均奖励来评估每项政策。给定由某些行为策略生成的多个轨迹的预收集数据集，我们的目标是在预先指定的策略类中学习一个强大的策略，可以最大化此集的最小值。利用半参数统计的理论，我们开发了一种统计上有效的策略学习方法，用于估算DE NED强大的最佳政策。在数据集中的总决策点方面建立了达到对数因子的速率最佳遗憾。

一种简单自然的增强学习算法（RL）是蒙特卡洛探索开始（MCES），通过平均蒙特卡洛回报来估算Q功能，并通过选择最大化Q当前估计的行动来改进策略。 -功能。探索是通过“探索开始”来执行的，即每个情节以随机选择的状态和动作开始，然后遵循当前的策略到终端状态。在Sutton＆Barto（2018）的RL经典书中，据说建立MCES算法的收敛是RL中最重要的剩余理论问题之一。但是，MCE的收敛问题证明是非常细微的。 Bertsekas＆Tsitsiklis（1996）提供了一个反例，表明MCES算法不一定会收敛。 TSITSIKLIS（2002）进一步表明，如果修改了原始MCES算法，以使Q-功能估计值以所有状态行动对以相同的速率更新，并且折现因子严格少于一个，则MCES算法收敛。在本文中，我们通过Sutton＆Barto（1998）中给出的原始，更有效的MCES算法取得进展政策。这样的MDP包括大量的环境，例如所有确定性环境和所有具有时间步长的情节环境或作为状态的任何单调变化的值。与以前使用随机近似的证据不同，我们引入了一种新型的感应方法，该方法非常简单，仅利用大量的强规律。