双Q学习是一种用于减少高估偏差的经典方法，这是通过在Bellman操作中取代最大估计值来引起的。它在深度Q学习范式中的变体在产生可靠的价值预测和提高学习性能方面表现出了很大的承诺。然而，如先前工作所示，双Q学习并不完全无偏见，遭受低估偏差。在本文中，我们表明这种低估偏差可能导致近似Bellman运算符下的多个非最佳固定点。为了解决对非最优固定解决方案融合的担忧，我们提出了一种简单但有效的方法，作为双Q学习中低估偏差的部分修复。该方法利用近似动态编程来绑定目标值。我们在Atari基准任务中广泛评估了我们的提出方法，并展示了对基线算法的显着改进。

Effectively leveraging large, previously collected datasets in reinforcement learning (RL) is a key challenge for large-scale real-world applications. Offline RL algorithms promise to learn effective policies from previously-collected, static datasets without further interaction. However, in practice, offline RL presents a major challenge, and standard off-policy RL methods can fail due to overestimation of values induced by the distributional shift between the dataset and the learned policy, especially when training on complex and multi-modal data distributions. In this paper, we propose conservative Q-learning (CQL), which aims to address these limitations by learning a conservative Q-function such that the expected value of a policy under this Q-function lower-bounds its true value. We theoretically show that CQL produces a lower bound on the value of the current policy and that it can be incorporated into a policy learning procedure with theoretical improvement guarantees. In practice, CQL augments the standard Bellman error objective with a simple Q-value regularizer which is straightforward to implement on top of existing deep Q-learning and actor-critic implementations. On both discrete and continuous control domains, we show that CQL substantially outperforms existing offline RL methods, often learning policies that attain 2-5 times higher final return, especially when learning from complex and multi-modal data distributions.Preprint. Under review.

In value-based reinforcement learning methods such as deep Q-learning, function approximation errors are known to lead to overestimated value estimates and suboptimal policies. We show that this problem persists in an actor-critic setting and propose novel mechanisms to minimize its effects on both the actor and the critic. Our algorithm builds on Double Q-learning, by taking the minimum value between a pair of critics to limit overestimation. We draw the connection between target networks and overestimation bias, and suggest delaying policy updates to reduce per-update error and further improve performance. We evaluate our method on the suite of OpenAI gym tasks, outperforming the state of the art in every environment tested.

强化学习的许多实际应用需要代理商从稀疏和延迟奖励中学习。它挑战代理人将其行动归因于未来的成果。在本文中，我们考虑了轨迹反馈的开缩钢筋学习的问题。它指的是奖励信号的极端延迟，其中代理只能在每个轨迹的末尾获得一个奖励信号。这个问题设置的流行范例是使用设计的辅助密集奖励功能来学习，即代理奖励，而不是稀疏的环境信号。基于这一框架，本文提出了一种新颖的奖励再分配算法，随机返回分解（RRD），了解集兴奋学学习的代理奖励功能。我们通过Monte-Carlo抽样建立了代理问题，将基于比分的最小二乘奖励重新分配缩放到长地平问题。我们通过与文献中的现有方法进行连接，分析了我们的代理损失功能，这示出了我们方法的算法属性。在实验中，我们广泛地评估了具有集的基准任务的各种基准任务，并证明了对基线算法的大量改进。

在许多增强学习（RL）应用中，观察空间由人类开发人员指定并受到物理实现的限制，因此可能会随时间的巨大变化（例如，观察特征的数量增加）。然而，当观察空间发生变化时，前一项策略可能由于输入特征不匹配而失败，并且另一个策略必须从头开始培训，这在计算和采样复杂性方面效率低。在理论上见解之后，我们提出了一种新颖的算法，该算法提取源任务中的潜在空间动态，并将动态模型传送到目标任务用作基于模型的常规程序。我们的算法适用于观察空间的彻底变化（例如，从向量的基于矢量的观察到图像的观察），没有任何任务映射或目标任务的任何先前知识。实证结果表明，我们的算法显着提高了目标任务中学习的效率和稳定性。

无模型的深度加强学习（RL）算法已广泛用于一系列复杂的控制任务。然而，慢的收敛和样本效率低下在R1中仍然具有挑战性，特别是在处理连续和高维状态空间时。为了解决这个问题，我们提出了一种通过绘制潜在的Anderson加速度（RAA）的想法，提出了一种无模型的非政策深度RL算法的一般加速方法，这是加速扰动解决固定点问题的有效方法。具体来说，我们首先解释如何使用Anderson加速直接应用策略迭代。然后，我们通过引入正则化术语来扩展RAA，以控制函数近似误差引起的扰动的影响。我们进一步提出了两种策略，即逐步更新和自适应重启，以提高性能。我们的方法的有效性在各种基准任务中评估，包括Atari 2600和Mujoco。实验结果表明，我们的方法大大提高了最先进的深度RL算法的学习速度和最终性能。

在这项工作中，我们继续建立最近有限马尔可夫进程的钢筋学习的进步。以前现有的算法中的一种共同方法，包括单个演员和分布式，都是剪辑奖励，也可以在Q函数上应用转换方法，以处理真正的折扣回报中的各种大小。理论上我们展示了如果我们有非确定性过程，最成功的方法可能不会产生最佳政策。作为一种解决方案，我们认为分布加强学习借给自己完全解决这种情况。通过引入共轭分布运营商，我们可以处理大量转换，以获得有保证的理论融合。我们提出了一种基于该操作员的近似单录像机算法，该操作员使用Cram \'ER距离给出的适当分布度量直接在不妨碍的奖励上培养代理。在使用粘性动作的35个Atari 2600游戏套件中培训代理的随机环境中的表现，与多巴胺框架中的其他众所周知的算法相比，获得最先进的绩效。

Many practical applications of reinforcement learning constrain agents to learn from a fixed batch of data which has already been gathered, without offering further possibility for data collection. In this paper, we demonstrate that due to errors introduced by extrapolation, standard offpolicy deep reinforcement learning algorithms, such as DQN and DDPG, are incapable of learning without data correlated to the distribution under the current policy, making them ineffective for this fixed batch setting. We introduce a novel class of off-policy algorithms, batch-constrained reinforcement learning, which restricts the action space in order to force the agent towards behaving close to on-policy with respect to a subset of the given data. We present the first continuous control deep reinforcement learning algorithm which can learn effectively from arbitrary, fixed batch data, and empirically demonstrate the quality of its behavior in several tasks.

In reinforcement learning an agent interacts with the environment by taking actions and observing the next state and reward. When sampled probabilistically, these state transitions, rewards, and actions can all induce randomness in the observed long-term return. Traditionally, reinforcement learning algorithms average over this randomness to estimate the value function. In this paper, we build on recent work advocating a distributional approach to reinforcement learning in which the distribution over returns is modeled explicitly instead of only estimating the mean. That is, we examine methods of learning the value distribution instead of the value function. We give results that close a number of gaps between the theoretical and algorithmic results given by Bellemare, . First, we extend existing results to the approximate distribution setting. Second, we present a novel distributional reinforcement learning algorithm consistent with our theoretical formulation. Finally, we evaluate this new algorithm on the Atari 2600 games, observing that it significantly outperforms many of the recent improvements on DQN, including the related distributional algorithm C51.

由于数据量增加，金融业的快速变化已经彻底改变了数据处理和数据分析的技术，并带来了新的理论和计算挑战。与古典随机控制理论和解决财务决策问题的其他分析方法相比，解决模型假设的财务决策问题，强化学习（RL）的新发展能够充分利用具有更少模型假设的大量财务数据并改善复杂的金融环境中的决策。该调查纸目的旨在审查最近的资金途径的发展和使用RL方法。我们介绍了马尔可夫决策过程，这是许多常用的RL方法的设置。然后引入各种算法，重点介绍不需要任何模型假设的基于价值和基于策略的方法。连接是用神经网络进行的，以扩展框架以包含深的RL算法。我们的调查通过讨论了这些RL算法在金融中各种决策问题中的应用，包括最佳执行，投资组合优化，期权定价和对冲，市场制作，智能订单路由和Robo-Awaring。

大多数政策评估算法基于Bellman期望和最优性方程的理论，它导出了两个流行的方法 - 政策迭代（PI）和价值迭代（VI）。然而，由于多步骤禁止校正的大方差，多步引导往往是在基于PI的基于PI的方法的交叉目的和禁止策略学习。相比之下，基于VI的方法是自然的违规政策，但受到一步学习的影响。本文通过利用具有最优值函数的多步自举函数的潜在结构来推导新的多步贝尔曼最优性方程。通过这种新的等式，我们推出了一种新的多步值迭代方法，该方法将以指数收缩率$ \ mathcal {o}（\ gamma ^ n）$但仅线性计算复杂度收敛到最佳值函数。此外，它可以自然地推导出一套多步脱离策略算法，可以安全地利用任意策略收集的数据，无需校正。实验表明，所提出的方法是可靠的，易于实施和实现最先进的性能在一系列标准基准数据集上。

在过去的十年中，多智能经纪人强化学习（Marl）已经有了重大进展，但仍存在许多挑战，例如高样本复杂性和慢趋同稳定的政策，在广泛的部署之前需要克服，这是可能的。然而，在实践中，许多现实世界的环境已经部署了用于生成策略的次优或启发式方法。一个有趣的问题是如何最好地使用这些方法作为顾问，以帮助改善多代理领域的加强学习。在本文中，我们提供了一个原则的框架，用于将动作建议纳入多代理设置中的在线次优顾问。我们描述了在非传记通用随机游戏环境中提供多种智能强化代理（海军上将）的问题，并提出了两种新的基于Q学习的算法：海军上将决策（海军DM）和海军上将 - 顾问评估（Admiral-AE） ，这使我们能够通过适当地纳入顾问（Admiral-DM）的建议来改善学习，并评估顾问（Admiral-AE）的有效性。我们从理论上分析了算法，并在一般加上随机游戏中提供了关于他们学习的定点保证。此外，广泛的实验说明了这些算法：可以在各种环境中使用，具有对其他相关基线的有利相比的性能，可以扩展到大状态行动空间，并且对来自顾问的不良建议具有稳健性。

本文讨论了一种学习最佳Q功能的基本问题的新方法。在这种方法中，最佳Q函数被配制为源自经典Bellman最优方程的非线性拉格朗日函数的鞍点。该论文表明，尽管非线性具有非线性，但拉格朗日人仍然具有很强的双重性，这为Q-function学习的一般方法铺平了道路。作为演示，本文根据二元性理论开发了模仿学习算法，并将算法应用于最先进的机器翻译基准。然后，该论文转弯以证明有关拉格朗日鞍点的最佳性的对称性破坏现象，这证明了开发拉格朗日方法的很大程度上被忽视的方向。

在这项工作中，我们研究了基于价值的深钢筋学习（DRL）中简单但普遍适用的奖励成型案例。我们表明，线性转换形式的奖励转移等同于更改函数近似中$ q $ function的初始化。基于这样的等价性，我们带来了关键的见解，即积极的奖励转移会导致保守的剥削，而负面的奖励转移会导致好奇心驱动的探索。因此，保守的剥削改善了离线RL价值估计，乐观的价值估计改善了在线RL的勘探。我们验证了对一系列RL任务的见解，并显示了其对基准的改进：（1）在离线RL中，保守的剥削可根据现成的算法提高性能； （2）在在线连续控制中，具有不同转移常数的多个值函数可用于应对探索 - 诠释困境，以提高样品效率； （3）在离散控制任务中，负奖励转移可以改善基于好奇心的探索方法。

具有很多玩家的非合作和合作游戏具有许多应用程序，但是当玩家数量增加时，通常仍然很棘手。由Lasry和Lions以及Huang，Caines和Malham \'E引入的，平均野外运动会（MFGS）依靠平均场外近似值，以使玩家数量可以成长为无穷大。解决这些游戏的传统方法通常依赖于以完全了解模型的了解来求解部分或随机微分方程。最近，增强学习（RL）似乎有望解决复杂问题。通过组合MFGS和RL，我们希望在人口规模和环境复杂性方面能够大规模解决游戏。在这项调查中，我们回顾了有关学习MFG中NASH均衡的最新文献。我们首先确定最常见的设置（静态，固定和进化）。然后，我们为经典迭代方法（基于最佳响应计算或策略评估）提供了一个通用框架，以确切的方式解决MFG。在这些算法和与马尔可夫决策过程的联系的基础上，我们解释了如何使用RL以无模型的方式学习MFG解决方案。最后，我们在基准问题上介绍了数值插图，并以某些视角得出结论。

Q学习目标的乐观性质导致高度估计偏差，这是与标准$ Q-$学习相关的固有问题。这种偏差未能考虑低返回的可能性，特别是在风险方案中。然而，偏差的存在，无论是高估还是低估，不一定都不需要不可取。在本文中，我们分析了偏见学习的效用，并表明具体类型的偏差可能是优选的，这取决于场景。基于这一发现，我们设计了一种新颖的加强学习算法，平衡Q学习，其中将目标被修改为悲观和乐观术语的凸起组合，其相关权重分析地确定在线确定。我们在表格设置中证明了该算法的收敛，并经验证明了其在各种环境中的优越学习性能。

深度加强学习（DRL）的框架为连续决策提供了强大而广泛适用的数学形式化。本文提出了一种新的DRL框架，称为\ emph {$ f $-diveliventcence加强学习（frl）}。在FRL中，通过最大限度地减少学习政策和采样策略之间的$ F $同时执行策略评估和政策改进阶段，这与旨在最大化预期累计奖励的传统DRL算法不同。理论上，我们证明最小化此类$ F $ - 可以使学习政策会聚到最佳政策。此外，我们将FRL框架中的培训代理程序转换为通过Fenchel Concugate的特定$ F $函数转换为鞍点优化问题，这构成了政策评估和政策改进的新方法。通过数学证据和经验评估，我们证明FRL框架有两个优点：（1）政策评估和政策改进过程同时进行，（2）高估价值函数的问题自然而缓解。为了评估FRL框架的有效性，我们对Atari 2600的视频游戏进行实验，并显示在FRL框架中培训的代理匹配或超越基线DRL算法。

在时间差异增强学习算法中，价值估计的差异会导致最大目标值的不稳定性和高估。已经提出了许多算法来减少高估，包括最近的几种集合方法，但是，没有通过解决估计方差作为高估的根本原因来表现出样品效率学习的成功。在本文中，我们提出了一种简单的集合方法，将目标值估计为集合均值。尽管它很简单，但卑鄙的（还是在Atari学习环境基准测试的实验中显示出明显的样本效率）。重要的是，我们发现大小5的合奏充分降低了估计方差以消除滞后目标网络，从而消除了它作为偏见的来源并进一步获得样本效率。我们以直观和经验的方式为曲线的设计选择证明了合理性，包括独立经验抽样的必要性。在一组26个基准ATARI环境中，曲线均优于所有经过测试的基线，包括最佳的基线，日出，在16/26环境中的100K交互步骤，平均为68​​％。在21/26的环境中，曲线还优于500k步骤的Rainbow DQN，平均为49％，并使用200K（$ \ pm $ 100k）的交互步骤实现平均人级绩效。我们的实施可从https://github.com/indylab/meanq获得。

我们研究了平均奖励马尔可夫决策过程（AMDP）的问题，并开发了具有强大理论保证的新型一阶方法，以进行政策评估和优化。由于缺乏勘探，现有的彻底评估方法遭受了次优融合率以及处理不足的随机策略（例如确定性政策）的失败。为了解决这些问题，我们开发了一种新颖的差异时间差异（VRTD）方法，具有随机策略的线性函数近似以及最佳收敛保证，以及一种探索性方差降低的时间差（EVRTD）方法，用于不充分的随机策略，可相当的融合保证。我们进一步建立了政策评估偏见的线性收敛速率，这对于改善策略优化的总体样本复杂性至关重要。另一方面，与对MDP的政策梯度方法的有限样本分析相比，对AMDP的策略梯度方法的现有研究主要集中在基础马尔可夫流程的限制性假设下（例如，参见Abbasi-e， Yadkori等人，2019年），他们通常缺乏整体样本复杂性的保证。为此，我们开发了随机策略镜下降（SPMD）的平均奖励变体（LAN，2022）。我们建立了第一个$ \ widetilde {\ Mathcal {o}}（\ epsilon^{ - 2}）$样品复杂性，用于在生成模型（带有UNICHAIN假设）和Markovian Noise模型（使用Ergodicicic Modele（具有核能的模型）下，使用策略梯度方法求解AMDP假设）。该界限可以进一步改进到$ \ widetilde {\ Mathcal {o}}}（\ epsilon^{ - 1}）$用于求解正则化AMDPS。我们的理论优势通过数值实验来证实。

我们在马尔可夫决策过程的状态空间上提出了一种新的行为距离，并展示使用该距离作为塑造深度加强学习代理的学习言论的有效手段。虽然由于高计算成本和基于样本的算法缺乏缺乏样本的距离，但是，虽然现有的国家相似性通常难以在规模上学习，但我们的新距离解决了这两个问题。除了提供详细的理论分析外，我们还提供了学习该距离的经验证据，与价值函数产生的结构化和信息化表示，包括对街机学习环境基准的强劲结果。