政策优化，通过大规模优化技术最大化价值函数来学习兴趣的政策，位于现代强化学习（RL）的核心。除了价值最大化之外，其他实际考虑因素也出现，包括令人鼓舞的探索，以及确保由于安全，资源和运营限制而确保学习政策的某些结构性。这些考虑通常可以通过诉诸正规化的RL来占据，这增加了目标值函数，并通过结构促进正则化术语。专注于无限范围打折马尔可夫决策过程，本文提出了一种用于解决正规化的RL的广义策略镜血压（GPMD）算法。作为策略镜血压LAN的概括（2021），所提出的算法可以容纳一般类凸常规的常规阶级，以及在使用中的规则器的认识到的广泛的Bregman分歧。我们展示了我们的算法在整个学习速率范围内，以无维的方式在全球解决方案的整个学习速率范围内融合到全球解决方案，即使常规器缺乏强大的凸起和平滑度。此外，在不精确的策略评估和不完美的政策更新方面，该线性收敛特征是可透明的。提供数值实验以证实GPMD的适用性和吸引力性能。

The softmax policy gradient (PG) method, which performs gradient ascent under softmax policy parameterization, is arguably one of the de facto implementations of policy optimization in modern reinforcement learning. For $\gamma$-discounted infinite-horizon tabular Markov decision processes (MDPs), remarkable progress has recently been achieved towards establishing global convergence of softmax PG methods in finding a near-optimal policy. However, prior results fall short of delineating clear dependencies of convergence rates on salient parameters such as the cardinality of the state space $\mathcal{S}$ and the effective horizon $\frac{1}{1-\gamma}$, both of which could be excessively large. In this paper, we deliver a pessimistic message regarding the iteration complexity of softmax PG methods, despite assuming access to exact gradient computation. Specifically, we demonstrate that the softmax PG method with stepsize $\eta$ can take \[ \frac{1}{\eta} |\mathcal{S}|^{2^{\Omega\big(\frac{1}{1-\gamma}\big)}} ~\text{iterations} \] to converge, even in the presence of a benign policy initialization and an initial state distribution amenable to exploration (so that the distribution mismatch coefficient is not exceedingly large). This is accomplished by characterizing the algorithmic dynamics over a carefully-constructed MDP containing only three actions. Our exponential lower bound hints at the necessity of carefully adjusting update rules or enforcing proper regularization in accelerating PG methods.

Q-Learning，旨在以无模式的方式学习Markov决策过程（MDP）的最佳Q函数，位于加强学习的核心。当涉及到同步设置时（从每次迭代中从生成模型中从生成模型中汲取独立样本）时，已经对理解Q学习的样本效率进行了实质性进展。考虑一个$ \ gamma $ -discounted infinite-horizo​​ n mdp与状态空间$ \ mathcal {s} $和动作空间$ \ mathcal {a} $：要产生一个entrywise $ \ varepsilon $ - 最佳q函数的克制，最先进的Q-Learning理论需要超出$ \ FRAC {| \ Mathcal {s} || \ mathcal {a} || \ {（1- \ gamma）^ 5 \ varepsilon的示例大小^ {2}} $，它无法匹配现有的最低限度下限。这引起了自然问题：Q-Learning的急剧性复杂性是什么？是Q-Learning可怕的次优吗？本文为同步设置解决了这些问题：（1）当$ | \ mathcal {a} | = 1 $（使q学习减少到TD学习）时，我们证明了TD学习的样本复杂性是最佳的最佳和尺度为$ \ frac {| \ mathcal {s} |} {（1- \ gamma）^ 3 \ varepsilon ^ 2} $（最多到日志系数）; （2）当$ | \ mathcal {a} | \ geq 2 $时，我们解决了q-learning的样本复杂性，按$ \ frac {| \ mathcal {s} || \ mathcal {a} || } {（1- \ gamma）^ 4 \ varepsilon ^ 2} $（最多到日志系数）。我们的理论推出了Q-Leature的严格次优，当$ | \ mathcal {a} | \ geq 2 $，并严格严格估计在q-learning中的负面影响。最后，我们扩展了我们的分析以适应异步Q-Learning（即，与马尔可夫样本的情况），锐化其样本复杂性的地平线依赖性为$ \ frac {1} {（1- \ gamma）^ 4} $。

本文涉及增强学习的样本效率，假设进入生成模型（或模拟器）。我们首先考虑$ \ gamma $ -discounted infinite-horizo​​ n markov决策过程（mdps）与状态空间$ \ mathcal {s} $和动作空间$ \ mathcal {a} $。尽管有许多先前的作品解决这个问题，但尚未确定样本复杂性和统计准确性之间的权衡的完整图像。特别地，所有事先结果都遭受严重的样本大小屏障，因为只有在样本量超过$ \ FRAC {| \ Mathcal {S} || \ Mathcal {A} |} {（1- \ gamma）^ 2} $。目前的论文通过认证了两种算法的最小值 - 基于模型的算法和基于保守模型的算法的最小值，克服了该障碍 - 一旦样本大小超过$ \ FRAC {| \ Mathcal {s } || mathcal {a} |} {1- \ gamma} $（modulo一些日志系数）。超越无限地平线MDP，我们进一步研究了时代的有限情况MDP，并证明了一种基于普通模型的规划算法足以实现任何目标精度水平的最佳样本复杂性。据我们所知，这项工作提供了第一个最低限度的最佳保证，可容纳全部样本尺寸（超出哪个发现有意义的政策是理论上不可行的信息）。

策略梯度方法适用于复杂的，不理解的，通过对参数化的策略进行随机梯度下降来控制问题。不幸的是，即使对于可以通过标准动态编程技术解决的简单控制问题，策略梯度算法也会面临非凸优化问题，并且被广泛理解为仅收敛到固定点。这项工作确定了结构属性 - 通过几个经典控制问题共享 - 确保策略梯度目标函数尽管是非凸面，但没有次优的固定点。当这些条件得到加强时，该目标满足了产生收敛速率的Polyak-lojasiewicz（梯度优势）条件。当其中一些条件放松时，我们还可以在任何固定点的最佳差距上提供界限。

本文涉及两人零和马尔可夫游戏 - 可以说是多代理增强学习中最基本的设置 - 目的是学习纳什平衡（NE）的样本 - 优越。所有先前的结果至少都有两个障碍中的至少一个：多种试剂的诅咒和长层的障碍，无论使用采样方案如何。假设访问灵活的采样机制：生成模型，我们朝着解决此问题迈出了一步。专注于非平稳的有限 - 霍森马尔可夫游戏，我们开发了一种学习算法$ \ mathsf {nash} \ text { - } \ mathsf {q} \ text { - } \ text { - } \ mathsf {ftrl} $ and deflavery and Adaptive采样方案对抗性学习中的乐观原则（尤其是跟随规范化领导者（FTRL）方法），具有精致的奖励术语设计，可确保在FTRL动力学下进行某些可分解性。我们的算法使用$$ \ widetilde {o} \ bigg（\ frac {h^4 s（a+b）} {\ varepsilon^2} \ bigg）$ bigg）$ samples $ \ varepsilon $ -Approximate Markov ne策略其中$ s $是状态的数量，$ h $是地平线，而$ a $ a $ a $ a $ a $（resp。〜 $ b $）表示max-player的动作数（分别〜min-player）。从最小的意义上讲，这几乎无法得到解决。在此过程中，我们得出了一个精致的遗憾，以赋予FTRL的遗憾，从而明确说明了差异数量的作用，这可能具有独立的利益。

我们研究了平均奖励马尔可夫决策过程（AMDP）的问题，并开发了具有强大理论保证的新型一阶方法，以进行政策评估和优化。由于缺乏勘探，现有的彻底评估方法遭受了次优融合率以及处理不足的随机策略（例如确定性政策）的失败。为了解决这些问题，我们开发了一种新颖的差异时间差异（VRTD）方法，具有随机策略的线性函数近似以及最佳收敛保证，以及一种探索性方差降低的时间差（EVRTD）方法，用于不充分的随机策略，可相当的融合保证。我们进一步建立了政策评估偏见的线性收敛速率，这对于改善策略优化的总体样本复杂性至关重要。另一方面，与对MDP的政策梯度方法的有限样本分析相比，对AMDP的策略梯度方法的现有研究主要集中在基础马尔可夫流程的限制性假设下（例如，参见Abbasi-e， Yadkori等人，2019年），他们通常缺乏整体样本复杂性的保证。为此，我们开发了随机策略镜下降（SPMD）的平均奖励变体（LAN，2022）。我们建立了第一个$ \ widetilde {\ Mathcal {o}}（\ epsilon^{ - 2}）$样品复杂性，用于在生成模型（带有UNICHAIN假设）和Markovian Noise模型（使用Ergodicicic Modele（具有核能的模型）下，使用策略梯度方法求解AMDP假设）。该界限可以进一步改进到$ \ widetilde {\ Mathcal {o}}}（\ epsilon^{ - 1}）$用于求解正则化AMDPS。我们的理论优势通过数值实验来证实。

我们研究具有多个奖励价值函数的马尔可夫决策过程（MDP）的政策优化，应根据给定的标准共同优化，例如比例公平（平滑凹面标量），硬约束（约束MDP）和Max-Min Trade-离开。我们提出了一个改变锚定的正规自然政策梯度（ARNPG）框架，该框架可以系统地将良好表现的一阶方法中的思想纳入多目标MDP问题的策略优化算法的设计。从理论上讲，基于ARNPG框架的设计算法实现了$ \ tilde {o}（1/t）$全局收敛，并具有精确的梯度。从经验上讲，与某些现有的基于策略梯度的方法相比，ARNPG引导的算法在精确梯度和基于样本的场景中也表现出卓越的性能。

在本文中，我们提出了一种新的策略梯度（PG）方法，即用于解决一类正规化加固学习（RL）问题的块策略镜下降（BPMD）方法（强烈） - convex正规化器。与带有批处理更新规则的传统PG方法（访问和更新每个状态的策略）相比，BPMD方法通过部分更新规则具有廉价的每卷计算，该规则在采样状态上执行策略更新。尽管问题的性质和部分更新规则具有非概念性质，但我们还是为多种采样方案提供了统一的分析，并表明BPMD可以实现快速的线性收敛到全局最优性。特别是，均匀的采样导致可比的最坏情况总计算复杂性与批处理PG方法。还确定了一种与上policy采样的必要条件。通过混合采样方案，我们进一步表明，BPMD具有潜在的实例依赖性加速度，从而改善了对状态空间的依赖性，因此优于批次PG方法。然后，我们通过利用从样品构建的随机一阶信息扩展到随机设置。使用生成模型，$ \ tilde {\ mathcal {o}}（\ left \ lvert \ lerver \ mathcal {s} \ right \ rvert \ rvert \ left \ lest \ lerver \ lovt \ mathcal {a} \ right \ right \ rvert \ rvert \ rvert /\ epsilon） $ \ tilde {\ mathcal {o}}（\ left \ lvert \ m athcal {s} \ right \ rvert \ rvert \ left \ lest \ lvert \ lerver \ mathcal {a} \ right \ right \ rvert /\ epsilon^2）强率强度（分别为非巧克力符号）正规化器，其中$ \ epsilon $表示目标准确性。据我们所知，这是第一次开发和分析了块坐标下降方法，以进行强化学习的策略优化，这为解决大规模RL问题提供了新的观点。

离线或批次加固学习试图使用历史数据来学习近乎最佳的政策，而无需积极探索环境。为了应对许多离线数据集的覆盖范围和样本稀缺性，最近引入了悲观的原则，以减轻估计值的高偏差。在理论上已经研究了基于模型的算法的悲观变体（例如，具有较低置信度范围的价值迭代），但他们的无模型对应物（不需要明确的模型估计）尚未得到充分研究，尤其是在样本方面的研究效率。为了解决这种不足，我们在有限的马尔可夫决策过程中研究了Q学习的悲观变体，并在单极浓缩性假设下表征其样品复杂性，该假设不需要全面覆盖状态行动空间。此外，提出了降低方差的悲观Q学习算法来达到近乎最佳的样本复杂性。总的来说，这项工作突出了与悲观和降低差异一起使用时，在离线RL中无模型算法的效率。

我们重新审视了最简单的设置之一中的政策梯度方法的有限时间分析：有限状态和动作MDP，具有由所有随机策略组成的策略类和精确的渐变评估。有一些最近的工作将此设置视为平滑的非线性优化问题的实例，并显示具有小阶梯大小的子线性收敛速率。在这里，我们根据与政策迭代的连接采取不同的透视，并显示政策梯度方法的许多变体成功，阶梯大小大，并达到了线性收敛速率。

本文分析了双模的彼此优化随机算法框架。 Bilevel优化是一类表现出两级结构的问题，其目标是使具有变量的外目标函数最小化，该变量被限制为对（内部）优化问题的最佳解决方案。我们考虑内部问题的情况是不受约束的并且强烈凸起的情况，而外部问题受到约束并具有平滑的目标函数。我们提出了一种用于解决如此偏纤维问题的两次时间尺度随机近似（TTSA）算法。在算法中，使用较大步长的随机梯度更新用于内部问题，而具有较小步长的投影随机梯度更新用于外部问题。我们在各种设置下分析了TTSA算法的收敛速率：当外部问题强烈凸起（RESP。〜弱凸）时，TTSA算法查找$ \ MATHCAL {O}（k ^ { - 2/3}）$ -Optimal（resp。〜$ \ mathcal {o}（k ^ {-2/5}）$ - 静止）解决方案，其中$ k $是总迭代号。作为一个应用程序，我们表明，两个时间尺度的自然演员 - 批评批评近端策略优化算法可以被视为我们的TTSA框架的特殊情况。重要的是，与全球最优政策相比，自然演员批评算法显示以预期折扣奖励的差距，以$ \ mathcal {o}（k ^ { - 1/4}）的速率收敛。

本文涉及离线增强学习（RL）中模型鲁棒性和样本效率的核心问题，该问题旨在学习从没有主动探索的情况下从历史数据中执行决策。由于环境的不确定性和变异性，至关重要的是，学习强大的策略（尽可能少的样本），即使部署的环境偏离用于收集历史记录数据集的名义环境时，该策略也能很好地执行。我们考虑了离线RL的分布稳健公式，重点是标签非平稳的有限摩托稳健的马尔可夫决策过程，其不确定性设置为Kullback-Leibler Divergence。为了与样本稀缺作用，提出了一种基于模型的算法，该算法将分布强劲的价值迭代与面对不确定性时的悲观原理结合在一起，通过对稳健的价值估计值进行惩罚，以精心设计的数据驱动的惩罚项进行惩罚。在对历史数据集的轻度和量身定制的假设下，该数据集测量分布变化而不需要完全覆盖州行动空间，我们建立了所提出算法的有限样本复杂性，进一步表明，鉴于几乎无法改善的情况，匹配信息理论下限至地平线长度的多项式因素。据我们所知，这提供了第一个在模型不确定性和部分覆盖范围内学习的近乎最佳的稳健离线RL算法。

We propose a new policy gradient method, named homotopic policy mirror descent (HPMD), for solving discounted, infinite horizon MDPs with finite state and action spaces. HPMD performs a mirror descent type policy update with an additional diminishing regularization term, and possesses several computational properties that seem to be new in the literature. We first establish the global linear convergence of HPMD instantiated with Kullback-Leibler divergence, for both the optimality gap, and a weighted distance to the set of optimal policies. Then local superlinear convergence is obtained for both quantities without any assumption. With local acceleration and diminishing regularization, we establish the first result among policy gradient methods on certifying and characterizing the limiting policy, by showing, with a non-asymptotic characterization, that the last-iterate policy converges to the unique optimal policy with the maximal entropy. We then extend all the aforementioned results to HPMD instantiated with a broad class of decomposable Bregman divergences, demonstrating the generality of the these computational properties. As a by product, we discover the finite-time exact convergence for some commonly used Bregman divergences, implying the continuing convergence of HPMD to the limiting policy even if the current policy is already optimal. Finally, we develop a stochastic version of HPMD and establish similar convergence properties. By exploiting the local acceleration, we show that for small optimality gap, a better than $\tilde{\mathcal{O}}(\left|\mathcal{S}\right| \left|\mathcal{A}\right| / \epsilon^2)$ sample complexity holds with high probability, when assuming a generative model for policy evaluation.

我们考虑解决强大的马尔可夫决策过程（MDP）的问题，该过程涉及一组折扣，有限状态，有限的动作空间MDP，具有不确定的过渡核。计划的目的是找到一项强大的政策，以优化针对过渡不确定性的最坏情况值，从而将标准MDP计划作为特殊情况。对于$（\ Mathbf {s}，\ Mathbf {a}）$ - 矩形不确定性集，我们开发了一种基于策略的一阶方法，即稳健的策略镜像下降（RPMD），并建立$ \ Mathcal {o }（\ log（1/\ epsilon））$和$ \ Mathcal {o}（1/\ epsilon）$迭代复杂性，用于查找$ \ epsilon $ -optimal策略，并带有两个增加的步骤式方案。 RPMD的先前收敛适用于任何Bregman差异，前提是政策空间在以初始政策为中心时通过差异测量的半径限制了半径。此外，当布雷格曼的分歧对应于平方的欧几里得距离时，我们建立了一个$ \ mathcal {o}（\ max \ {1/\ epsilon，1/（\ eta \ eTa \ epsilon^2）\ epsilon^2）\任何常量的步进$ \ eta $。对于Bregman差异的一般类别，如果不确定性集满足相对强的凸度，则还为RPMD建立了类似的复杂性。当仅通过与名义环境的在线互动获得一阶信息时，我们进一步开发了一个名为SRPMD的随机变体。对于Bregman General Divergences，我们建立了一个$ \ MATHCAL {O}（1/\ Epsilon^2）$和$ \ Mathcal {O}（1/\ Epsilon^3）$样品复杂性，具有两个增加的静态方案。对于Euclidean Bregman Divergence，我们建立了一个$ \ MATHCAL {O}（1/\ Epsilon^3）$样本复杂性，并具有恒定的步骤。据我们所知，所有上述结果似乎是应用于强大的MDP问题的基于策略的一阶方法的新事物。

本文通过离线数据在两人零和马尔可夫游戏中学习NASH Equilibria的进展。具体而言，考虑使用$ S $州的$ \ gamma $ discousped Infinite-Horizo​​n Markov游戏，其中Max-player具有$ $ ACTIVE，而Min-player具有$ B $ Actions。我们提出了一种基于悲观模型的算法，具有伯恩斯坦风格的较低置信界（称为VI-LCB游戏），事实证明，该算法可以找到$ \ varepsilon $ - approximate-approximate nash平衡，带有样品复杂性，不大于$ \ frac {c_ {c_ {c_ {c_ { \ Mathsf {剪切}}}^{\ star} s（a+b）} {（1- \ gamma）^{3} \ varepsilon^{2}} $（最多到某个log factor）。在这里，$ c _ {\ mathsf {剪切}}}^{\ star} $是一些单方面剪接的浓缩系数，反映了可用数据的覆盖范围和分配变化（vis- \`a-vis目标数据），而目标是目标精度$ \ varepsilon $可以是$ \ big（0，\ frac {1} {1- \ gamma} \ big] $的任何值。我们的样本复杂性绑定了先前的艺术，以$ \ min \ {a， b \} $，实现整个$ \ varepsilon $ range的最小值最佳性。我们结果的一个吸引力的功能在于算法简单性，这揭示了降低方差降低和样本拆分的不必要性。

Reinforcement learning (RL) problems over general state and action spaces are notoriously challenging. In contrast to the tableau setting, one can not enumerate all the states and then iteratively update the policies for each state. This prevents the application of many well-studied RL methods especially those with provable convergence guarantees. In this paper, we first present a substantial generalization of the recently developed policy mirror descent method to deal with general state and action spaces. We introduce new approaches to incorporate function approximation into this method, so that we do not need to use explicit policy parameterization at all. Moreover, we present a novel policy dual averaging method for which possibly simpler function approximation techniques can be applied. We establish linear convergence rate to global optimality or sublinear convergence to stationarity for these methods applied to solve different classes of RL problems under exact policy evaluation. We then define proper notions of the approximation errors for policy evaluation and investigate their impact on the convergence of these methods applied to general-state RL problems with either finite-action or continuous-action spaces. To the best of our knowledge, the development of these algorithmic frameworks as well as their convergence analysis appear to be new in the literature.

维度学习（RL）的诅咒是一种广为人知的问题。在表格设置中，状态空间$ \ mathcal {s} $和动作空间$ \ mathcal {a} $均为有限的，以获得与生成模型的采样访问的几乎最佳的政策，最低限度的最佳样本复杂度尺度用$ | \ mathcal {s} | \ times | \ mathcal {a} | $，它在$ \ mathcal {s} $或$ \ mathcal {a} $很大。本文考虑了Markov决策过程（MDP），该过程承认一组状态操作功能，该功能可以线性地表达（或近似）其概率转换内核。我们展示了基于模型的方法（RESP。$〜$ Q-Learning）可否在样本大小超过订单时，通过高概率可以获得高概率的$ \ varepsilon $ -optimal策略（RESP。$〜$ q-function） $ \ frac {k} {（1- \ gamma）^ {3} \ varepsilon ^ {2}} $（resp. $〜$$ \ frac {k} {（1- \ gamma）^ {4} varepsilon ^ {2}} $），直到一些对数因子。在这里，$ k $是特征尺寸和$ \ gamma \ IN（0,1）$是MDP的折扣系数。两个样本复杂性界限都是可透明的，我们对基于模型的方法的结果匹配最低限度的下限。我们的结果表明，对于任意大规模的MDP来说，基于模型的方法和Q-Learning都是在$ K $相对较小的时候进行样本效率，因此本文的标题。

离线增强学习（RL）的样本效率保证通常依赖于对功能类别（例如Bellman-Completeness）和数据覆盖范围（例如，全政策浓缩性）的强有力的假设。尽管最近在放松这些假设方面做出了努力，但现有作品只能放松这两个因素之一，从而使另一个因素的强烈假设完好无损。作为一个重要的开放问题，我们是否可以实现对这两个因素的假设较弱的样本效率离线RL？在本文中，我们以积极的态度回答了这个问题。我们基于MDP的原始偶对偶进行分析了一种简单的算法，其中双重变量（打折占用）是使用密度比函数对离线数据进行建模的。通过适当的正则化，我们表明该算法仅在可变性和单极浓缩性下具有多项式样品的复杂性。我们还基于不同的假设提供了替代分析，以阐明离线RL原始二算法的性质。

Mean-field games have been used as a theoretical tool to obtain an approximate Nash equilibrium for symmetric and anonymous $N$-player games in literature. However, limiting applicability, existing theoretical results assume variations of a "population generative model", which allows arbitrary modifications of the population distribution by the learning algorithm. Instead, we show that $N$ agents running policy mirror ascent converge to the Nash equilibrium of the regularized game within $\tilde{\mathcal{O}}(\varepsilon^{-2})$ samples from a single sample trajectory without a population generative model, up to a standard $\mathcal{O}(\frac{1}{\sqrt{N}})$ error due to the mean field. Taking a divergent approach from literature, instead of working with the best-response map we first show that a policy mirror ascent map can be used to construct a contractive operator having the Nash equilibrium as its fixed point. Next, we prove that conditional TD-learning in $N$-agent games can learn value functions within $\tilde{\mathcal{O}}(\varepsilon^{-2})$ time steps. These results allow proving sample complexity guarantees in the oracle-free setting by only relying on a sample path from the $N$ agent simulator. Furthermore, we demonstrate that our methodology allows for independent learning by $N$ agents with finite sample guarantees.