我们考虑通过连续环境中的加强学习（RL）了解政策背景下的政策简化和验证的挑战。在良好的设置中，RL算法在限制中具有收敛保证。虽然这些保证是有价值的，但它们不足以安全关键型应用。此外，在应用Deep-RL等先进技术时丢失。在将先进的RL算法应用于更复杂的环境时恢复保证，（i）可达性，（ii）安全受限可达性，或（iii）折扣奖励目标，我们建立在Gelada等人介绍的深度框架上。在未知环境和学习的离散潜在模型之间获得新的双刺激界限。我们的BISIMULATION界限能够在马尔可夫决策过程中应用正式方法。最后，我们展示了如何使用通过最先进的RL获得的策略，以有效地训练变形式自动统计器，从而产生离散潜在模型，其具有可释放的近似正确的双刺激保证。此外，我们获得了潜在模型的策略的蒸馏版。

Behavioral Cloning (BC) aims at learning a policy that mimics the behavior demonstrated by an expert. The current theoretical understanding of BC is limited to the case of finite actions. In this paper, we study BC with the goal of providing theoretical guarantees on the performance of the imitator policy in the case of continuous actions. We start by deriving a novel bound on the performance gap based on Wasserstein distance, applicable for continuous-action experts, holding under the assumption that the value function is Lipschitz continuous. Since this latter condition is hardy fulfilled in practice, even for Lipschitz Markov Decision Processes and policies, we propose a relaxed setting, proving that value function is always Holder continuous. This result is of independent interest and allows obtaining in BC a general bound for the performance of the imitator policy. Finally, we analyze noise injection, a common practice in which the expert action is executed in the environment after the application of a noise kernel. We show that this practice allows deriving stronger performance guarantees, at the price of a bias due to the noise addition.

在本文中，我们研究了强大的马尔可夫决策过程（MDPS）的最佳稳健策略和价值功能的非反应性和渐近性能，其中仅从生成模型中求解了最佳的稳健策略和价值功能。尽管在KL不确定性集和$（s，a）$ - 矩形假设的设置中限制了以前专注于可靠MDP的非反应性能的工作，但我们改善了它们的结果，还考虑了其​​他不确定性集，包括$ L_1 $和$ L_1 $和$ \ chi^2 $球。我们的结果表明，当我们假设$（s，a）$ - 矩形在不确定性集上时，示例复杂度大约为$ \ widetilde {o} \ left（\ frac {| \ mathcal {| \ mathcal {s} |^2 | \ mathcal { a} |} {\ varepsilon^2 \ rho^2（1- \ gamma）^4} \ right）$。此外，我们将结果从$（s，a）$ - 矩形假设扩展到$ s $矩形假设。在这种情况下，样本复杂性随选择不确定性集而变化，通常比$（s，a）$矩形假设下的情况大。此外，我们还表明，在$（s，a）$和$ s $ retectangular的假设下，从理论和经验的角度来看，最佳的鲁棒值函数是渐近的正常，典型的速率$ \ sqrt {n} $。

部分可观察性 - 代理只能观察有关系统真正潜在状态的部分信息 - 在增强学习（RL）的现实应用中无处不在。从理论上讲，在最坏情况下，由于指数样本的复杂性下限，在最坏情况下学习了近距离观察性的近乎最佳政策。最近的工作已经确定了几个可通过多项式样本学习的可学性亚类，例如部分可观察到的马尔可夫决策过程（POMDPS）具有某些可揭示或可分解性条件。但是，这一研究仍处于起步阶段，（1）缺乏统一的结构条件，从而缺乏样品效率学习； （2）现有的已知拖拉子类的样品复杂性远非锋利； （3）与完全可观察的RL相比，可用的样品效率算法更少。本文在预测状态表示（PSRS）的一般环境中，上面的所有三个方面都在部分可观察到的RL方向前进。首先，我们提出了一种称为\ emph {b稳定性}的自然和统一的结构条件。 B稳定的PSR包括绝大多数已知的可牵引子类，例如弱揭示的POMDP，低级别的未来pomdps，可解码的POMDP和常规PSR。接下来，我们证明可以在相关问题参数中使用多项式样本学习任何B稳定PSR。当在上述子类中实例化时，我们的样本复杂性比当前最好的复杂性大大改善。最后，我们的结果是通过三种算法同时实现的：乐观的最大似然估计，估计到决策和基于模型的乐观后验采样。后两种算法是用于POMDPS/PSR的样品有效学习的新算法。

部署效率是许多实际应用程序应用（RL）的重要标准。尽管社区的兴趣越来越大，但对于该问题缺乏正式的理论表述。在本文中，我们从“具有约束的优化”的角度提出了一种用于部署有效的RL（DE-RL）的公式：我们有兴趣探索MDP并在最小值{部署复杂性}中获得近乎最佳的策略。 ，而在每个部署中，策略可以采样大量数据。使用有限的摩尼子线性MDP作为具体的结构模型，我们通过建立信息理论下限，并提供实现最佳部署效率的算法来揭示实现部署效率的基本限制。此外，我们对DE-RL的配方是灵活的，可以作为其他实际相关设置的基础；我们将“安全的DE-RL”和“样本有效的DE-RL”作为两个例子，这可能是值得将来的研究。

寻找统一的复杂性度量和样本效率学习的算法是增强学习研究的核心主题（RL）。 Foster等人最近提出了决策估计系数（DEC）。 （2021）作为样品有效的NO-REGRET RL的必要和足够的复杂度度量。本文通过DEC框架朝着RL的统一理论取得了进步。首先，我们提出了两项​​新的DEC类型复杂性度量：探索性DEC（EDEC）和无奖励DEC（RFDEC）。我们表明，它们对于样本有效的PAC学习和无奖励学习是必要的，因此扩展了原始DEC，该DEC仅捕获了无需重新学习。接下来，我们为所有三个学习目标设计新的统一样品效率算法。我们的算法实例化估计到决策的变体（E2D）元算法具有强大而通用的模型估计值。即使在无重组的设置中，我们的算法E2D-TA也会在Foster等人的算法上提高。 （2021）需要对DEC的变体进行边界，该变体可能是过于大的，或者设计特定问题的估计值。作为应用程序，我们恢复了现有的，并获得了使用单个算法的各种可拖动RL问题的新样品学习结果。最后，作为一种连接，我们根据后采样或最大似然估计重新分析了两种现有的基于乐观模型的算法，表明它们在与DEC相似的结构条件下具有与E2D-TA相似的遗憾界限。

一般政策改进（GPI）和信任区域学习（TRL）是当代强化学习（RL）内的主要框架，其用作解决马尔可夫决策过程（MDP）的核心模型。不幸的是，在他们的数学形式中，它们对修改敏感，因此，实现它们的实际实例化不会自动继承其改进保证。结果，可用严格的MDP-溶剂的光谱窄。实际上，许多最先进的（SOTA）算法，例如TRPO和PPO，不能被证明收敛。在本文中，我们提出了\ Textsl {镜像学习} - 对RL问题的一般解决方案。我们揭示了GPI和TRL，但在这个算法的近似空间内的小点，拥有单调改善性，并收敛到最佳政策。我们表明，RL的几乎所有SOTA算法都是镜像学习的实例，因此表明其实证性能是其理论属性，而不是近似类比的结果。令人兴奋的是，我们表明镜像学习与收敛保证的策略学习方法开辟了全新的全新空间。

在钢筋学习中，体验重播存储过去的样本以进一步重用。优先采样是一个有希望的技术，可以更好地利用这些样品。以前的优先级标准包括TD误差，近似和纠正反馈，主要是启发式设计。在这项工作中，我们从遗憾最小化目标开始，并获得最佳的贝尔曼更新优先级探讨策略，可以直接最大化策略的返回。该理论表明，具有较高后视TD误差的数据，应在采样期间具有更高权重的重量来分配更高的Hindsight TD误差，更好的政策和更准确的Q值。因此，最先前的标准只会部分考虑这一战略。我们不仅为以前的标准提供了理论理由，还提出了两种新方法来计算优先级重量，即remern并恢复。 remern学习错误网络，而remert利用状态的时间顺序。这两种方法都以先前的优先考虑的采样算法挑战，包括Mujoco，Atari和Meta-World。

在终身环境中学习，动态不断发展，是对电流加强学习算法的艰难挑战。然而，这将是实际应用的必要特征。在本文中，我们提出了一种学习超策略的方法，其输入是时间，输出当时要查询的策略的参数。此超级策略验证，以通过引入受控偏置的成本来最大限度地提高估计的未来性能，有效地重用过去数据。我们将未来的性能估计与过去的绩效相结合，以减轻灾难性遗忘。为避免过度接收收集的数据，我们派生了我们嵌入惩罚期限的可差化方差。最后，我们在与最先进的算法相比，在逼真的环境中，经验验证了我们的方法，包括水资源管理和交易。

近年来，动态机制设计引起了计算机科学家和经济学家的极大关注。通过允许代理商在多个回合中与卖方互动，在这种情况下，代理商的奖励功能可能会随着时间而变化并且与国家有关，该框架能够建模丰富的现实世界问题。在这些作品中，通常认为代理商和卖方之间的相互作用遵循马尔可夫决策过程（MDP）。我们专注于此类MDP的奖励和过渡函数的设置，而不是先验地知道，我们正在尝试使用先验收集的数据集恢复最佳机制。在使用函数近似来处理大型状态空间的情况下，只有对功能类表达式的轻度假设，我们能够使用离线增强学习算法设计动态机制。此外，学到的机制大约具有三个关键的逃避：效率，个人理性和真实性。我们的算法基于悲观原则，仅需要对离线数据集的覆盖率进行温和的假设。据我们所知，我们的工作为动态机制设计提供了第一个离线RL算法，而无需假设覆盖范围。

Many practical applications of reinforcement learning constrain agents to learn from a fixed batch of data which has already been gathered, without offering further possibility for data collection. In this paper, we demonstrate that due to errors introduced by extrapolation, standard offpolicy deep reinforcement learning algorithms, such as DQN and DDPG, are incapable of learning without data correlated to the distribution under the current policy, making them ineffective for this fixed batch setting. We introduce a novel class of off-policy algorithms, batch-constrained reinforcement learning, which restricts the action space in order to force the agent towards behaving close to on-policy with respect to a subset of the given data. We present the first continuous control deep reinforcement learning algorithm which can learn effectively from arbitrary, fixed batch data, and empirically demonstrate the quality of its behavior in several tasks.

While reinforcement learning algorithms provide automated acquisition of optimal policies, practical application of such methods requires a number of design decisions, such as manually designing reward functions that not only define the task, but also provide sufficient shaping to accomplish it. In this paper, we view reinforcement learning as inferring policies that achieve desired outcomes, rather than as a problem of maximizing rewards. To solve this inference problem, we establish a novel variational inference formulation that allows us to derive a well-shaped reward function which can be learned directly from environment interactions. From the corresponding variational objective, we also derive a new probabilistic Bellman backup operator and use it to develop an off-policy algorithm to solve goal-directed tasks. We empirically demonstrate that this method eliminates the need to hand-craft reward functions for a suite of diverse manipulation and locomotion tasks and leads to effective goal-directed behaviors.

This paper studies a class of multi-agent reinforcement learning (MARL) problems where the reward that an agent receives depends on the states of other agents, but the next state only depends on the agent's own current state and action. We name it REC-MARL standing for REward-Coupled Multi-Agent Reinforcement Learning. REC-MARL has a range of important applications such as real-time access control and distributed power control in wireless networks. This paper presents a distributed and optimal policy gradient algorithm for REC-MARL. The proposed algorithm is distributed in two aspects: (i) the learned policy is a distributed policy that maps a local state of an agent to its local action and (ii) the learning/training is distributed, during which each agent updates its policy based on its own and neighbors' information. The learned policy is provably optimal among all local policies and its regret bounds depend on the dimension of local states and actions. This distinguishes our result from most existing results on MARL, which often obtain stationary-point policies. The experimental results of our algorithm for the real-time access control and power control in wireless networks show that our policy significantly outperforms the state-of-the-art algorithms and well-known benchmarks.

强大的增强学习（RL）的目的是学习一项与模型参数不确定性的强大策略。由于模拟器建模错误，随着时间的推移，现实世界系统动力学的变化以及对抗性干扰，参数不确定性通常发生在许多现实世界中的RL应用中。强大的RL通常被称为最大问题问题，其目的是学习最大化价值与不确定性集合中最坏可能的模型的策略。在这项工作中，我们提出了一种称为鲁棒拟合Q-材料（RFQI）的强大RL算法，该算法仅使用离线数据集来学习最佳稳健策略。使用离线数据的强大RL比其非持续性对应物更具挑战性，因为在强大的Bellman运营商中所有模型的最小化。这在离线数据收集，对模型的优化以及公正的估计中构成了挑战。在这项工作中，我们提出了一种系统的方法来克服这些挑战，从而导致了我们的RFQI算法。我们证明，RFQI在标准假设下学习了一项近乎最佳的强大政策，并证明了其在标准基准问题上的出色表现。

深度加强学习是一种越来越流行的技术，用于综合政策以控制代理商与其环境的互动。正式验证此类策略是否正确并安全执行，并且安全地执行兴趣。通过建立现有工作来验证深神经网络和连续状态动态系统的现有工作，已经在这方面取得了进展。在本文中，我们解决了验证深度加强学习的概率政策的问题，这些政策用于例如解决对抗性环境，破坏对称和管理权衡。我们提出了一种基于间隔马尔可夫决策过程的抽象方法，它会产生策略的执行上的概率保证，并使用抽象解释，混合整数线性编程，基于熵的细化和概率模型检查来构建和解决这些模型的概率保证。我们实施了我们的方法，并说明了它在选择加强学习基准的效力。

我们介绍了一种改进政策改进的方法，该方法在基于价值的强化学习（RL）的贪婪方法与基于模型的RL的典型计划方法之间进行了插值。新方法建立在几何视野模型（GHM，也称为伽马模型）的概念上，该模型对给定策略的折现状态验证分布进行了建模。我们表明，我们可以通过仔细的基本策略GHM的仔细组成，而无需任何其他学习，可以评估任何非马尔科夫策略，以固定的概率在一组基本马尔可夫策略之间切换。然后，我们可以将广义政策改进（GPI）应用于此类非马尔科夫政策的收集，以获得新的马尔可夫政策，通常将其表现优于其先驱。我们对这种方法提供了彻底的理论分析，开发了转移和标准RL的应用，并在经验上证明了其对标准GPI的有效性，对充满挑战的深度RL连续控制任务。我们还提供了GHM培训方法的分析，证明了关于先前提出的方法的新型收敛结果，并显示了如何在深度RL设置中稳定训练这些模型。

We study model-based reinforcement learning (RL) for episodic Markov decision processes (MDP) whose transition probability is parametrized by an unknown transition core with features of state and action. Despite much recent progress in analyzing algorithms in the linear MDP setting, the understanding of more general transition models is very restrictive. In this paper, we establish a provably efficient RL algorithm for the MDP whose state transition is given by a multinomial logistic model. To balance the exploration-exploitation trade-off, we propose an upper confidence bound-based algorithm. We show that our proposed algorithm achieves $\tilde{\mathcal{O}}(d \sqrt{H^3 T})$ regret bound where $d$ is the dimension of the transition core, $H$ is the horizon, and $T$ is the total number of steps. To the best of our knowledge, this is the first model-based RL algorithm with multinomial logistic function approximation with provable guarantees. We also comprehensively evaluate our proposed algorithm numerically and show that it consistently outperforms the existing methods, hence achieving both provable efficiency and practical superior performance.

了解现代机器学习设置中的概括一直是统计学习理论的主要挑战之一。在这种情况下，近年来见证了各种泛化范围的发展，表明了不同的复杂性概念，例如数据样本和算法输出之间的相互信息，假设空间的可压缩性以及假设空间的分形维度。尽管这些界限从不同角度照亮了手头的问题，但它们建议的复杂性概念似乎似乎无关，从而限制了它们的高级影响。在这项研究中，我们通过速率理论的镜头证明了新的概括界定，并明确地将相互信息，可压缩性和分形维度的概念联系起来。我们的方法包括（i）通过使用源编码概念来定义可压缩性的广义概念，（ii）表明“压缩错误率”可以与预期和高概率相关。我们表明，在“无损压缩”设置中，我们恢复并改善了现有的基于信息的界限，而“有损压缩”方案使我们能够将概括与速率延伸维度联系起来，这是分形维度的特定概念。我们的结果为概括带来了更统一的观点，并打开了几个未来的研究方向。

Effectively leveraging large, previously collected datasets in reinforcement learning (RL) is a key challenge for large-scale real-world applications. Offline RL algorithms promise to learn effective policies from previously-collected, static datasets without further interaction. However, in practice, offline RL presents a major challenge, and standard off-policy RL methods can fail due to overestimation of values induced by the distributional shift between the dataset and the learned policy, especially when training on complex and multi-modal data distributions. In this paper, we propose conservative Q-learning (CQL), which aims to address these limitations by learning a conservative Q-function such that the expected value of a policy under this Q-function lower-bounds its true value. We theoretically show that CQL produces a lower bound on the value of the current policy and that it can be incorporated into a policy learning procedure with theoretical improvement guarantees. In practice, CQL augments the standard Bellman error objective with a simple Q-value regularizer which is straightforward to implement on top of existing deep Q-learning and actor-critic implementations. On both discrete and continuous control domains, we show that CQL substantially outperforms existing offline RL methods, often learning policies that attain 2-5 times higher final return, especially when learning from complex and multi-modal data distributions.Preprint. Under review.

我们考虑了折现成本约束的马尔可夫决策过程（CMDP）策略优化问题，其中代理商试图最大化折扣累计奖励，但受到折扣累积公用事业的许多限制。为了解决这个受约束的优化程序，我们研究了经典原始偶性方法的在线参与者 - 批判性变体，其中使用来自基本时间变化的马尔可夫过程产生的单个轨迹的样品估算了原始功能和双重函数的梯度。这种在线原始双重自然参与者批评算法维护并迭代更新三个变量：双变量（或拉格朗日乘数），一个原始变量（或actor）以及用于估算原始变量和偶变量的梯度的评论变量。这些变量同时更新，但在不同的时间尺度上（使用不同的步骤尺寸），它们都相互交织在一起。我们的主要贡献是得出该算法与CMDP问题全局最佳收敛的有限时间分析。具体而言，我们表明，在适当的步骤中，最佳差距和约束违规的情况下，以$ \ mathcal {o}（1/k^{1/6}）$的价格收敛到零，其中k是数字。迭代。据我们所知，本文是第一个研究用于解决CMDP问题的在线原始偶发参与者方法的有限时间复杂性。我们还通过数值模拟来验证该算法的有效性。