将现有的规避风险的方法用于现实世界应用程序仍然具有挑战性。原因是多重的，包括缺乏全球最佳保证以及从长期连续轨迹中学习的必要性。长期连续的轨迹容易涉及来访的危险状态，这在规避风险的环境中是一个主要问题。本文提出了短期波动率控制的政策搜索（Stop），这是一种新型算法，通过从短期轨迹而不是长期轨迹中学习来解决规避风险问题的算法。短期轨迹更加灵活，可以避免危险的国有探访的危险。通过使用具有过度参数化的两层神经网络的参与者 - 批评方案，我们的算法以近端政策优化和自然政策梯度以统一的速率找到了全球最佳政策，其有效性可与最先进的交通率相当。风险中立的政策搜索方法。该算法对在均值方差评估指标下的具有挑战性的Mujoco机器人仿真任务进行了评估。理论分析和实验结果都表明，在现有的规避风险的策略搜索方法中，停止的最新水平。

政策优化是设计强化学习算法的基本原则，一个例子是具有剪切的替代物镜（PPO-CLIP）的近端政策优化算法（PPO-CLIP），由于其简单性和有效性，该算法已被普遍用于深度强化学习。尽管具有出色的经验表现，但PPO-CLIP尚未通过最新的理论证明是合理的。在本文中，我们在神经功能近似下建立了PPO-CLIP的第一个全局收敛速率。我们确定分析PPO-CLIP的基本挑战并用两个核心思想解决：（i）我们从铰链损失的角度重新解释了PPO-CLIP，这将政策改进与解决铰链损失和铰链损失和铰链损失和铰链分类问题的联系联系起来。提供PPO-CLIP目标的广义版。 （ii）基于上面的观点，我们提出了一个两步的策略改进方案，该方案通过熵镜下降和基于回归的策略更新方案从复杂的神经策略参数借助复杂的神经策略参数化来促进收敛分析。此外，我们的理论结果提供了剪辑机理对PPO-CLIP收敛的影响的首次表征。通过实验，我们从经验上验证了PPO-CLIP的重新解释，并在各种RL基准任务上具有各种分类器的广义目标。

强化学习（RL）的显着成功在很大程度上依赖于观察每个访问的州行动对的奖励。但是，在许多现实世界应用中，代理只能观察一个代表整个轨迹质量的分数，该分数称为{\ em轨迹方面的奖励}。在这种情况下，标准RL方法很难很好地利用轨迹的奖励，并且在政策评估中可能会产生巨大的偏见和方差错误。在这项工作中，我们提出了一种新颖的离线RL算法，称为悲观的价值迭代，奖励分解（分开），该算法将轨迹返回分解为每个步骤代理奖励，通过基于最小二乘的奖励重新分配，然后执行基于基于基于基于基于的价值迭代的迭代价值迭代的迭代迭代率关于博学的代理奖励。为了确保由分开构建的价值功能对最佳函数始终是悲观的，我们设计了一个新的罚款术语来抵消代理奖励的不确定性。对于具有较大状态空间的一般情节MDP，我们表明与过度参数化的神经网络函数近似近似能够实现$ \ tilde {\ Mathcal {o}}}（d _ {\ text {eff}}} h^2/\ sqrt {n}） $ suboftimality，其中$ h $是情节的长度，$ n $是样本总数，而$ d _ {\ text {eff}} $是神经切线核矩阵的有效维度。为了进一步说明结果，我们表明分开实现了$ \ tilde {\ mathcal {o}}}（dh^3/\ sqrt {n}）$ subiptimation fi linearem mdps，其中$ d $是特征尺寸，匹配功能维度使用神经网络功能近似，当$ d _ {\ text {eff}} = dh $时。据我们所知，分开是第一种离线RL算法，在MDP总体上，轨迹奖励的效率非常有效。

我们考虑了在连续的状态行为空间中受到约束马尔可夫决策过程（CMDP）的问题，在该空间中，目标是最大程度地提高预期的累积奖励受到某些约束。我们提出了一种新型的保守自然政策梯度原始二算法（C-NPG-PD），以达到零约束违规，同时实现了目标价值函数的最新融合结果。对于一般策略参数化，我们证明了价值函数与全局最佳功能的融合到由于限制性策略类而导致的近似错误。我们甚至从$ \ Mathcal {o}（1/\ epsilon^6）$从$ \ Mathcal {o}（1/\ Epsilon^4）$提高了现有约束NPG-PD算法\ cite {ding2020}的样本复杂性。。据我们所知，这是第一项通过自然政策梯度样式算法建立零约束违规的工作，用于无限的地平线折扣CMDP。我们通过实验评估证明了提出的算法的优点。

我们研究了平均奖励马尔可夫决策过程（AMDP）的问题，并开发了具有强大理论保证的新型一阶方法，以进行政策评估和优化。由于缺乏勘探，现有的彻底评估方法遭受了次优融合率以及处理不足的随机策略（例如确定性政策）的失败。为了解决这些问题，我们开发了一种新颖的差异时间差异（VRTD）方法，具有随机策略的线性函数近似以及最佳收敛保证，以及一种探索性方差降低的时间差（EVRTD）方法，用于不充分的随机策略，可相当的融合保证。我们进一步建立了政策评估偏见的线性收敛速率，这对于改善策略优化的总体样本复杂性至关重要。另一方面，与对MDP的政策梯度方法的有限样本分析相比，对AMDP的策略梯度方法的现有研究主要集中在基础马尔可夫流程的限制性假设下（例如，参见Abbasi-e， Yadkori等人，2019年），他们通常缺乏整体样本复杂性的保证。为此，我们开发了随机策略镜下降（SPMD）的平均奖励变体（LAN，2022）。我们建立了第一个$ \ widetilde {\ Mathcal {o}}（\ epsilon^{ - 2}）$样品复杂性，用于在生成模型（带有UNICHAIN假设）和Markovian Noise模型（使用Ergodicicic Modele（具有核能的模型）下，使用策略梯度方法求解AMDP假设）。该界限可以进一步改进到$ \ widetilde {\ Mathcal {o}}}（\ epsilon^{ - 1}）$用于求解正则化AMDPS。我们的理论优势通过数值实验来证实。

We revisit the domain of off-policy policy optimization in RL from the perspective of coordinate ascent. One commonly-used approach is to leverage the off-policy policy gradient to optimize a surrogate objective -- the total discounted in expectation return of the target policy with respect to the state distribution of the behavior policy. However, this approach has been shown to suffer from the distribution mismatch issue, and therefore significant efforts are needed for correcting this mismatch either via state distribution correction or a counterfactual method. In this paper, we rethink off-policy learning via Coordinate Ascent Policy Optimization (CAPO), an off-policy actor-critic algorithm that decouples policy improvement from the state distribution of the behavior policy without using the policy gradient. This design obviates the need for distribution correction or importance sampling in the policy improvement step of off-policy policy gradient. We establish the global convergence of CAPO with general coordinate selection and then further quantify the convergence rates of several instances of CAPO with popular coordinate selection rules, including the cyclic and the randomized variants of CAPO. We then extend CAPO to neural policies for a more practical implementation. Through experiments, we demonstrate that CAPO provides a competitive approach to RL in practice.

近年来，神经网络授权的演员 - 评论家（AC）算法具有重大的经验成功。然而，AC算法的大多数现有的理论支持集中于线性函数近似或线性化神经网络的情况，其中特征表示在整个训练中都是固定的。这种限制未能捕获神经AC中的表示学习的关键方面，这在实际问题中是关键的。在这项工作中，我们采取了一种含义的基于特征神经交流的演变和融合的视角。具体而言，我们考虑一个AC的版本，其中Actor和批评者由过度分辨率的双层神经网络表示，并以两时间测定的学习速率更新。批评评论批评者通过时间差异（TD）学习使用较大的步骤，而演员通过近端策略优化（PPO）更新，具有较小的步骤。在连续时间和无限宽度限制性方案中，当时间尺度适当分开时，我们证明了神经通讯以Sublinear率找到全球最佳政策。此外，我们证明了批评网络引起的特征表示允许在初始概念的邻域内发展。

本文分析了双模的彼此优化随机算法框架。 Bilevel优化是一类表现出两级结构的问题，其目标是使具有变量的外目标函数最小化，该变量被限制为对（内部）优化问题的最佳解决方案。我们考虑内部问题的情况是不受约束的并且强烈凸起的情况，而外部问题受到约束并具有平滑的目标函数。我们提出了一种用于解决如此偏纤维问题的两次时间尺度随机近似（TTSA）算法。在算法中，使用较大步长的随机梯度更新用于内部问题，而具有较小步长的投影随机梯度更新用于外部问题。我们在各种设置下分析了TTSA算法的收敛速率：当外部问题强烈凸起（RESP。〜弱凸）时，TTSA算法查找$ \ MATHCAL {O}（k ^ { - 2/3}）$ -Optimal（resp。〜$ \ mathcal {o}（k ^ {-2/5}）$ - 静止）解决方案，其中$ k $是总迭代号。作为一个应用程序，我们表明，两个时间尺度的自然演员 - 批评批评近端策略优化算法可以被视为我们的TTSA框架的特殊情况。重要的是，与全球最优政策相比，自然演员批评算法显示以预期折扣奖励的差距，以$ \ mathcal {o}（k ^ { - 1/4}）的速率收敛。

我们在面对未衡量的混杂因素时研究离线增强学习（RL）。由于缺乏与环境的在线互动，离线RL面临以下两个重大挑战：（i）代理可能会被未观察到的状态变量混淆； （ii）提前收集的离线数据不能为环境提供足够的覆盖范围。为了应对上述挑战，我们借助工具变量研究了混杂的MDP中的政策学习。具体而言，我们首先建立了基于和边缘化的重要性采样（MIS）的识别结果，以确定混杂的MDP中的预期总奖励结果。然后，通过利用悲观主义和我们的认同结果，我们提出了各种政策学习方法，并具有有限样本的次级临时性保证，可以在最小的数据覆盖范围和建模假设下找到最佳的课堂政策。最后，我们广泛的理论研究和一项由肾脏移植动机的数值研究证明了该方法的有希望的表现。

强调时间差异（ETD）学习（Sutton et al。，2016）是一种成功的方法，可以通过功能近似进行政体值函数评估。尽管已显示ETD渐近地收敛到理想的值函数，但众所周知，ETD通常会遇到较大的方差，因此其样品复杂性可以随迭代次数的数量而迅速地增加。在这项工作中，我们提出了一种新的ETD方法，称为per-eTD（即定期重新启动-ETD），该方法仅在评估参数的每个迭代中重新启动和更新后续跟踪。此外，Per-ETD的设计是重新启动时期的对数增加的设计与迭代次数的数量，这确保了差异和偏见之间的最佳折衷，并使均消失了。我们表明，每个ETD收敛到与ETD相同的理想固定点，但提高了ETD的指数样品复杂性为多项式。我们的实验验证了Per-ETD的出色性能及其优于ETD的优势。

当我们不允许我们使用目标策略进行采样，而只能访问某些未知行为策略生成的数据集时，策略梯度（PG）估计就成为一个挑战。用于支付政策PG估计的常规方法通常会遭受明显的偏差或指数较大的差异。在本文中，我们提出了双拟合的PG估计（FPG）算法。假设访问Bellman-Complete值函数类，FPG可以与任意策略参数化一起工作。在线性值函数近似的情况下，我们在策略梯度估计误差上提供了一个紧密的有限样本上限，该界限受特征空间中测量的分布不匹配量的控制。我们还建立了FPG估计误差的渐近正态性，并具有精确的协方差表征，这进一步证明在统计上是最佳的，具有匹配的Cramer-Rao下限。从经验上讲，我们使用SoftMax表格或RELU策略网络评估FPG在策略梯度估计和策略优化方面的性能。在各种指标下，我们的结果表明，基于重要性采样和降低方差技术，FPG显着优于现有的非政策PG估计方法。

在本文中，我们在表格设置中建立了违法演员批评算法的全球最优性和收敛速度，而不使用密度比来校正行为政策的状态分布与目标政策之间的差异。我们的工作超出了现有的工作原理，最佳的策略梯度方法中的现有工作中使用确切的策略渐变来更新策略参数时，我们使用近似和随机更新步骤。我们的更新步骤不是渐变更新，因为我们不使用密度比以纠正状态分布，这与从业者做得好。我们的更新是近似的，因为我们使用学习的评论家而不是真正的价值函数。我们的更新是随机的，因为在每个步骤中，更新仅为当前状态操作对完成。此外，我们在分析中删除了现有作品的几个限制性假设。我们的工作中的核心是基于其均匀收缩性能的时源性Markov链中的通用随机近似算法的有限样本分析。

我们解决了加固学习的安全问题。我们在折扣无限地平线受限的Markov决策过程框架中提出了问题。现有结果表明，基于梯度的方法能够实现$ \ mathcal {o}（1 / \ sqrt {t}）$全球收敛速度，用于最优差距和约束违规。我们展示了一种基于自然的基于政策梯度的算法，该算法具有更快的收敛速度$ \ mathcal {o}（\ log（t）/ t）$的最优性差距和约束违规。当满足Slater的条件并已知先验时，可以进一步保证足够大的$ T $的零限制违规，同时保持相同的收敛速度。

使用悲观，推理缺乏详尽的勘探数据集时的脱机强化学习最近颇具知名度。尽管它增加了算法的鲁棒性，过于悲观的推理可以在排除利好政策的发现，这是流行的基于红利悲观的问题同样有害。在本文中，我们介绍一般函数近似的Bellman-一致悲观的概念：不是计算逐点下界的值的功能，我们在超过设定的与贝尔曼方程一致的功能的初始状态实现悲观。我们的理论保证只需要贝尔曼封闭性作为探索性的设置标准，其中基于奖金的情况下的悲观情绪未能提供担保。即使在线性函数逼近的特殊情况下更强的表现力假设成立，我们的结果由$ \ mathcal {}Ø（d）在其样品的复杂$在最近的基于奖金的方法改善的时候，动作的空间是有限的。值得注意的是，我们的算法，能够自动适应事后最好的偏差 - 方差折中，而大多数现有的方法中需要调整的额外超参数的先验。

我们研究马尔可夫决策过程（MDP）框架中的离线数据驱动的顺序决策问题。为了提高学习政策的概括性和适应性，我们建议通过一套关于在政策诱导的固定分配所在的分发的一套平均奖励来评估每项政策。给定由某些行为策略生成的多个轨迹的预收集数据集，我们的目标是在预先指定的策略类中学习一个强大的策略，可以最大化此集的最小值。利用半参数统计的理论，我们开发了一种统计上有效的策略学习方法，用于估算DE NED强大的最佳政策。在数据集中的总决策点方面建立了达到对数因子的速率最佳遗憾。

强化学习被广泛用于在与环境互动时需要执行顺序决策的应用中。当决策要求包括满足一些安全限制时，问题就变得更加具有挑战性。该问题在数学上是作为约束的马尔可夫决策过程（CMDP）提出的。在文献中，可以通过无模型的方式解决各种算法来解决CMDP问题，以实现$ \ epsilon $ - 最佳的累积奖励，并使用$ \ epsilon $可行的政策。 $ \ epsilon $可行的政策意味着它遭受了违规的限制。这里的一个重要问题是，我们是否可以实现$ \ epsilon $ - 最佳的累积奖励，并违反零约束。为此，我们主张使用随机原始偶对偶方法来解决CMDP问题，并提出保守的随机原始二重算法（CSPDA），该算法（CSPDA）显示出$ \ tilde {\ tilde {\ Mathcal {o}} \ left（1 /\ epsilon^2 \ right）$样本复杂性，以实现$ \ epsilon $ - 最佳累积奖励，违反零约束。在先前的工作中，$ \ epsilon $ - 最佳策略的最佳可用样本复杂性是零约束的策略是$ \ tilde {\ Mathcal {o}}} \ left（1/\ epsilon^5 \ right）$。因此，与最新技术相比，拟议的算法提供了重大改进。

尽管固定环境中的单一机构政策优化最近在增强学习社区中引起了很多研究的关注，但是当在潜在竞争性的环境中有多个代理商在玩耍时，从理论上讲，少得多。我们通过提出和分析具有结构化但未知过渡的零和Markov游戏的新的虚拟游戏策略优化算法来向前迈进。我们考虑两类的过渡结构：分类的独立过渡和单个控制器过渡。对于这两种情况，我们都证明了紧密的$ \ widetilde {\ Mathcal {o}}（\ sqrt {k}）$遗憾的范围在$ k $ eviepodes之后，在两种代理竞争的游戏场景中。每个代理人的遗憾是针对潜在的对抗对手的衡量，他们在观察完整的政策序列后可以在事后选择一个最佳政策。我们的算法在非平稳环境中同时进行政策优化的范围下，具有上置信度结合（UCB）的乐观和虚拟游戏的结合。当两个玩家都采用所提出的算法时，他们的总体最优差距为$ \ widetilde {\ Mathcal {o}}（\ sqrt {k}）$。

我们研究了具有无限观察和状态空间的部分观察到的马尔可夫决策过程（POMDP）的强化学习，理论上仍然不太研究。为此，我们首次尝试弥合具有线性结构的一类POMDP的部分可观察性和功能近似。详细说明，我们建议在$ O（1/\ Epsilon^2）$情节中获得$ \ epsilon $ - 最佳策略的增强学习算法（通过对抗积分方程或操作装置的乐观探索）。特别是，样品复杂性在线性结构的固有维度上缩放，并且独立于观测和状态空间的大小。 Op-Tenet的样品效率由一系列成分启用：（i）具有有限内存的钟形操作员，该操作员以递归方式表示值函数，（ii）通过对抗性积分对此类操作员的识别和估计方程式具有针对线性结构量身定制的平滑歧视器，以及（iii）通过乐观探索观察和状态空间，该探索基于量化对抗性积分方程的不确定性。

我们研究了用线性函数近似的加固学习中的违规评估（OPE）问题，旨在根据行为策略收集的脱机数据来估计目标策略的价值函数。我们建议纳入价值函数的方差信息以提高ope的样本效率。更具体地说，对于时间不均匀的epiSodic线性马尔可夫决策过程（MDP），我们提出了一种算法VA-OPE，它使用价值函数的估计方差重新重量拟合Q迭代中的Bellman残差。我们表明我们的算法达到了比最着名的结果绑定的更紧密的误差。我们还提供了行为政策与目标政策之间的分布转移的细粒度。广泛的数值实验证实了我们的理论。

作为安全加强学习的重要框架，在最近的文献中已经广泛研究了受约束的马尔可夫决策过程（CMDP）。然而，尽管在各种式学习设置下取得了丰富的结果，但就算法设计和信息理论样本复杂性下限而言，仍然缺乏对离线CMDP问题的基本理解。在本文中，我们专注于仅在脱机数据可用的情况下解决CMDP问题。通过采用单极浓缩系数$ c^*$的概念，我们建立了一个$ \ omega \ left（\ frac {\ min \ left \ left \ weft \ {| \ mathcal {s} || \ mathcal {a} a} |，， | \ Mathcal {s} |+i \ right \} c^*} {（1- \ gamma）^3 \ epsilon^2} \ right）$ sample Complacy度在离线cmdp问题上，其中$ i $架对于约束数量。通过引入一种简单但新颖的偏差控制机制，我们提出了一种称为DPDL的近乎最佳的原始二重学习算法。该算法证明，除了$ \ tilde {\ Mathcal {o}}}}（（（1- \ gamma）^{ - 1}）$外，该算法可确保零约束违规及其样本复杂性匹配上下界。还包括有关如何处理未知常数$ c^*$以及离线数据集中潜在的异步结构的全面讨论。