受欢迎的LSPE（$ \ lambda $）策略评估算法被重新审视，以导出从一段时间内提供高概率性能保证的浓度。

使用Martingale浓度不平等，浓度界限为“从时间到$ n_0 $ on”是针对带有承包图的随机近似算法以及Martingale差异和Markov噪声的。这些应用于增强学习算法，尤其是异步Q学习和TD（0）。

Q学习长期以来一直是最受欢迎的强化学习算法之一，几十年来，Q学习的理论分析一直是一个活跃的研究主题。尽管对Q-学习的渐近收敛分析的研究具有悠久的传统，但非肿瘤收敛性直到最近才受到积极研究。本文的主要目的是通过控制系统的观点研究马尔可夫观察模型下异步Q学习的新有限时间分析。特别是，我们引入了Q学习的离散时间变化的开关系统模型，并减少了分析的步骤尺寸，这显着改善了使用恒定步骤尺寸的开关系统分析的最新开发，并导致\（\（\）（\） Mathcal {o} \ left（\ sqrt {\ frac {\ log k} {k}}} \ right）\）\）\）\）\）\）\）\）与大多数艺术状态相当或更好。同时，新应用了使用类似转换的技术，以避免通过减小的步骤尺寸提出的分析中的难度。提出的分析带来了其他见解，涵盖了不同的方案，并提供了新的简化模板，以通过其独特的连接与离散时间切换系统的独特联系来加深我们对Q学习的理解。

我们得出了基于等效路径问题的平均成本决策过程的Q学习算法的浓度，并将其与基于相对价值迭代的替代方案进行比较。

本文的目的是研究线性随机迭代算法和时间差（TD）学习的控制理论分析。TD-Learning是一种线性随机迭代算法，用于估计Markov决策过程的给定策略的价值函数，这是最受欢迎和最基本的强化学习算法之一。虽然在TD学习的理论分析中有一系列成功的作品，但直到最近，研究人员在其统计效率上发现了一些保证。在本文中，我们提出了一种控制理论有限时间分析TD-Learning，其利用线性系统控制社区中的标准概念。因此，拟议的工作在控制理论中具有简单概念和分析工具的TD-Learning和Creefition Learning提供了额外的见解。

在这项工作中，我们研究了解决强化学习问题的基于政策的方法，其中采用了非政策性采样和线性函数近似进行政策评估，以及包括自然政策梯度（NPG）在内的各种政策更新规则，用于政策更新。为了在致命三合会的存在下解决政策评估子问题，我们提出了一个通用算法的多步型TD学习框架，具有广义的重要性抽样比率，其中包括两个特定的算法：$ \ lambda $ Q Q $ Q Q $ - 跟踪和双面$ Q $ - 跟踪。通用算法是单个时间尺度，具有可证明的有限样本保证，并克服了非政策学习中的高方差问题。至于策略更新，我们仅使用Bellman操作员的收缩属性和单调性属性提供通用分析，以在各种策略更新规则下建立几何融合。重要的是，通过将NPG视为实施政策迭代的近似方法，我们在不引入正则化的情况下建立了NPG的几何融合，并且不使用现有文献中的镜像下降类型的分析类型。将策略更新的几何融合与策略评估的有限样本分析相结合，我们首次建立了整​​体$ \ Mathcal {o}（\ Epsilon^{ - 2}）$样本复杂性以找到最佳策略（最多达到函数近似误差）使用基于策略的方法和线性函数近似下的基于策略的方法。

我们研究了随机近似程序，以便基于观察来自ergodic Markov链的长度$ n $的轨迹来求近求解$ d -dimension的线性固定点方程。我们首先表现出$ t _ {\ mathrm {mix}} \ tfrac {n}} \ tfrac {n}} \ tfrac {d}} \ tfrac {d} {n} $的非渐近性界限。$ t _ {\ mathrm {mix $是混合时间。然后，我们证明了一种在适当平均迭代序列上的非渐近实例依赖性，具有匹配局部渐近最小的限制的领先术语，包括对参数$的敏锐依赖（d，t _ {\ mathrm {mix}}） $以高阶术语。我们将这些上限与非渐近Minimax的下限补充，该下限是建立平均SA估计器的实例 - 最优性。我们通过Markov噪声的政策评估导出了这些结果的推导 - 覆盖了所有$ \ lambda \中的TD（$ \ lambda $）算法，以便[0,1）$ - 和线性自回归模型。我们的实例依赖性表征为HyperParameter调整的细粒度模型选择程序的设计开放了门（例如，在运行TD（$ \ Lambda $）算法时选择$ \ lambda $的值）。

We study the problem of estimating the fixed point of a contractive operator defined on a separable Banach space. Focusing on a stochastic query model that provides noisy evaluations of the operator, we analyze a variance-reduced stochastic approximation scheme, and establish non-asymptotic bounds for both the operator defect and the estimation error, measured in an arbitrary semi-norm. In contrast to worst-case guarantees, our bounds are instance-dependent, and achieve the local asymptotic minimax risk non-asymptotically. For linear operators, contractivity can be relaxed to multi-step contractivity, so that the theory can be applied to problems like average reward policy evaluation problem in reinforcement learning. We illustrate the theory via applications to stochastic shortest path problems, two-player zero-sum Markov games, as well as policy evaluation and $Q$-learning for tabular Markov decision processes.

我们研究了一种强化学习理论（RL），其中学习者在情节结束时仅收到一次二进制反馈。尽管这是理论上的极端测试案例，但它也可以说是实际应用程序的代表性，而不是在RL实践中，学习者在每个时间步骤中都会收到反馈。的确，在许多实际应用的应用程序中，例如自动驾驶汽车和机器人技术，更容易评估学习者的完整轨迹要么是“好”还是“坏”，但是更难在每个方面提供奖励信号步。为了证明在这种更具挑战性的环境中学习是可能的，我们研究了轨迹标签由未知参数模型生成的情况，并提供了一种统计和计算上有效的算法，从而实现了sublinear遗憾。

本文提供了具有固定步骤大小的线性随机近似（LSA）算法的有限时间分析，这是统计和机器学习中的核心方法。 LSA用于计算$ d $ - 二维线性系统的近似解决方案$ \ bar {\ mathbf {a}}} \ theta = \ bar {\ mathbf {b}} $ a}}，\ bar {\ mathbf {b}}）$只能通过（渐近）无偏见的观察来估算$ \ {（\ m athbf {a}（z_n），\ mathbf {b} {n \ in \ mathbb {n}} $。我们在这里考虑$ \ {z_n \} _ {n \ in \ mathbb {n}} $是i.i.d.序列或统一的几何千古马尔可夫链，并得出了$ p $ - 大小写的不等式和高概率界限，用于LSA及其polyak-ruppert平均版本定义的迭代。更确切地说，我们建立订单$（p \ alpha t _ {\ pereratatorName {mix}}}））^{1/2} d^{1/p} $在$ p $ - LSA的最后一个迭代的$ p $ - 。在此公式中，$ \ alpha $是该过程的步骤大小，$ t _ {\ operatatorName {mix}} $是基础链的混合时间（$ t _ {\ operatotorname {mix {mix}} = 1 $ in I.I.D.设置中的1 $ ）。然后，我们证明了迭代的polyak-ruppert平均序列上的有限时间实例依赖性边界。这些结果是明确的，从某种意义上说，我们获得的领先术语匹配局部渐近minimax限制，包括对参数$（d，t _ {\ operatorname {mix}}）$的紧密依赖性在更高的术语中。

我们研究了线性函数近似的政策评估问题，并且目前具有强烈的最优性保证的高效实用算法。我们首先通过证明在这个问题中建立基线的下限来建立基线和随机错误。特别是，我们在与转换内核的静止分布相关联的实例相关规范中证明了Oracle复杂性下限，并使用本地渐近最低限度机械在随机误差中证明依赖于随机误差的实例相关的下限IID观察模型。现有算法未能匹配这些下限中的至少一个：为了说明，我们分析了时间差异学习的方差减少变体，特别是它未能实现Oracle复杂性下限。为了解决这个问题，我们开发了加速，方差减少的快速时间差算法（VRFTD），其同时匹配两个下限，并达到实例 - 最优性的强烈概念。最后，我们将VRFTD算法扩展到Markovian观察的设置，并提供与I.I.D中的实例相关的收敛结果。设置到与链条的混合时间成比例的乘法因子。我们的理论保证最佳的最佳保证是通过数值实验证实的。

我们研究了情节块MDP中模型估计和无奖励学习的问题。在这些MDP中，决策者可以访问少数潜在状态产生的丰富观察或上下文。我们首先对基于固定行为策略生成的数据估算潜在状态解码功能（从观测到潜在状态的映射）感兴趣。我们在估计此功能的错误率上得出了信息理论的下限，并提出了接近此基本限制的算法。反过来，我们的算法还提供了MDP的所有组件的估计值。然后，我们研究在无奖励框架中学习近乎最佳政策的问题。根据我们有效的模型估计算法，我们表明我们可以以最佳的速度推断出策略（随着收集样品的数量增长大）的最佳策略。有趣的是，我们的分析提供了必要和充分的条件，在这些条件下，利用块结构可以改善样本复杂性，以识别近乎最佳的策略。当满足这些条件时，Minimax无奖励设置中的样本复杂性将通过乘法因子$ n $提高，其中$ n $是可能的上下文数量。

Q-Learning，旨在以无模式的方式学习Markov决策过程（MDP）的最佳Q函数，位于加强学习的核心。当涉及到同步设置时（从每次迭代中从生成模型中从生成模型中汲取独立样本）时，已经对理解Q学习的样本效率进行了实质性进展。考虑一个$ \ gamma $ -discounted infinite-horizo​​ n mdp与状态空间$ \ mathcal {s} $和动作空间$ \ mathcal {a} $：要产生一个entrywise $ \ varepsilon $ - 最佳q函数的克制，最先进的Q-Learning理论需要超出$ \ FRAC {| \ Mathcal {s} || \ mathcal {a} || \ {（1- \ gamma）^ 5 \ varepsilon的示例大小^ {2}} $，它无法匹配现有的最低限度下限。这引起了自然问题：Q-Learning的急剧性复杂性是什么？是Q-Learning可怕的次优吗？本文为同步设置解决了这些问题：（1）当$ | \ mathcal {a} | = 1 $（使q学习减少到TD学习）时，我们证明了TD学习的样本复杂性是最佳的最佳和尺度为$ \ frac {| \ mathcal {s} |} {（1- \ gamma）^ 3 \ varepsilon ^ 2} $（最多到日志系数）; （2）当$ | \ mathcal {a} | \ geq 2 $时，我们解决了q-learning的样本复杂性，按$ \ frac {| \ mathcal {s} || \ mathcal {a} || } {（1- \ gamma）^ 4 \ varepsilon ^ 2} $（最多到日志系数）。我们的理论推出了Q-Leature的严格次优，当$ | \ mathcal {a} | \ geq 2 $，并严格严格估计在q-learning中的负面影响。最后，我们扩展了我们的分析以适应异步Q-Learning（即，与马尔可夫样本的情况），锐化其样本复杂性的地平线依赖性为$ \ frac {1} {（1- \ gamma）^ 4} $。

在本文中，我们在表格设置中建立了违法演员批评算法的全球最优性和收敛速度，而不使用密度比来校正行为政策的状态分布与目标政策之间的差异。我们的工作超出了现有的工作原理，最佳的策略梯度方法中的现有工作中使用确切的策略渐变来更新策略参数时，我们使用近似和随机更新步骤。我们的更新步骤不是渐变更新，因为我们不使用密度比以纠正状态分布，这与从业者做得好。我们的更新是近似的，因为我们使用学习的评论家而不是真正的价值函数。我们的更新是随机的，因为在每个步骤中，更新仅为当前状态操作对完成。此外，我们在分析中删除了现有作品的几个限制性假设。我们的工作中的核心是基于其均匀收缩性能的时源性Markov链中的通用随机近似算法的有限样本分析。

我们在$ \ Gamma $ -diScounted MDP中使用Polyak-Ruppert平均（A.K.A.，平均Q-Leaning）进行同步Q学习。我们为平均迭代$ \ bar {\ boldsymbol {q}}建立渐近常态。此外，我们展示$ \ bar {\ boldsymbol {q}} _ t $实际上是一个常规的渐近线性（RAL）估计值，用于最佳q-value函数$ \ boldsymbol {q} ^ * $与最有效的影响功能。它意味着平均Q学习迭代在所有RAL估算器之间具有最小的渐近方差。此外，我们为$ \ ell _ {\ infty} $错误$ \ mathbb {e} \ | \ | \ bar {\ boldsymbol {q}} _ t- \ boldsymbol {q} ^ *} ^ *} _ {\ idty} $，显示它与实例相关的下限以及最佳最低限度复杂性下限。作为一个副产品，我们发现Bellman噪音具有var-gaussian坐标，具有方差$ \ mathcal {o}（（1- \ gamma）^ {-1}）$而不是现行$ \ mathcal {o}（（1- \ Gamma）^ { - 2}）$根据标准界限奖励假设。子高斯结果有可能提高许多R1算法的样本复杂性。简而言之，我们的理论分析显示平均Q倾斜在统计上有效。

我们重新审视汤普森采样算法以控制Ouyang等人最近提出的未知线性二次（LQ）系统（Arxiv：1709.04047）。该算法的遗憾是根据封闭环系统的诱导规范的技术假设得出的。在此技术说明中，我们表明，通过在算法中进行较小的修改（特别是确保发作不会太早结束），可以根据光谱来代替诱发规范的技术假设。闭环系统的半径。修改后的算法与$ \ tilde {\ Mathcal {o}}（\ sqrt {t}）$具有相同的贝叶斯遗憾，其中$ t $是Time-Horizon和$ \ tilde {\ tilde {\ Mathcal {o}}（O}}（O}}（O}}（O}}（O}））（\ cdot）$ note法将对数术语隐藏在〜$ t $中。

神经网络模型的最新成功揭示了一种令人惊讶的统计现象：完全拟合噪声数据的统计模型可以很好地推广到看不见的测试数据。了解$ \ textit {良性过拟合} $的这种现象吸引了强烈的理论和经验研究。在本文中，我们考虑插值两层线性神经网络在平方损失上梯度流训练，当协变量满足亚高斯和抗浓度的特性时，在平方损耗上训练，并在多余的风险上获得界限，并且噪声是独立和次级高斯的。。通过利用最新的结果来表征该估计器的隐性偏见，我们的边界强调了初始化质量的作用以及数据协方差矩阵在实现低过量风险中的特性。

本文研究了具有完全状态观测的自主交换线性系统系统识别问题。我们提出了用于识别切换线性系统的开关最小二乘法，表明该方法是强烈一致的，并导出数据相关和数据无关的收敛速率。特别是，我们的数据依赖率的收敛速度表明，几乎肯定地，系统识别错误是$ \ mathcal {o} \ big（\ sqrt {\ log（t）/ t}大）$ why $ t $时间地平线。这些结果表明，我们对切换线性系统的方法具有相同的收敛速度，不是非切换线性系统的最小二乘法。我们将我们的结果与文学中的结果进行比较。我们提供了数值例子以说明所提出的系统识别方法的性能。

我们研究了平均奖励马尔可夫决策过程（AMDP）的问题，并开发了具有强大理论保证的新型一阶方法，以进行政策评估和优化。由于缺乏勘探，现有的彻底评估方法遭受了次优融合率以及处理不足的随机策略（例如确定性政策）的失败。为了解决这些问题，我们开发了一种新颖的差异时间差异（VRTD）方法，具有随机策略的线性函数近似以及最佳收敛保证，以及一种探索性方差降低的时间差（EVRTD）方法，用于不充分的随机策略，可相当的融合保证。我们进一步建立了政策评估偏见的线性收敛速率，这对于改善策略优化的总体样本复杂性至关重要。另一方面，与对MDP的政策梯度方法的有限样本分析相比，对AMDP的策略梯度方法的现有研究主要集中在基础马尔可夫流程的限制性假设下（例如，参见Abbasi-e， Yadkori等人，2019年），他们通常缺乏整体样本复杂性的保证。为此，我们开发了随机策略镜下降（SPMD）的平均奖励变体（LAN，2022）。我们建立了第一个$ \ widetilde {\ Mathcal {o}}（\ epsilon^{ - 2}）$样品复杂性，用于在生成模型（带有UNICHAIN假设）和Markovian Noise模型（使用Ergodicicic Modele（具有核能的模型）下，使用策略梯度方法求解AMDP假设）。该界限可以进一步改进到$ \ widetilde {\ Mathcal {o}}}（\ epsilon^{ - 1}）$用于求解正则化AMDPS。我们的理论优势通过数值实验来证实。

尽管U统计量在现代概率和统计学中存在着无处不在的，但其在依赖框架中的非反应分析可能被忽略了。在最近的一项工作中，已经证明了对统一的马尔可夫链的U级统计数据的新浓度不平等。在本文中，我们通过在三个不同的研究领域中进一步推动了当前知识状态，将这一理论突破付诸实践。首先，我们为使用MCMC方法估算痕量类积分运算符光谱的新指数不平等。新颖的是，这种结果适用于具有正征和负征值的内核，据我们所知，这是新的。此外，我们研究了使用成对损失函数和马尔可夫链样品的在线算法的概括性能。我们通过展示如何从任何在线学习者产生的假设序列中提取低风险假设来提供在线到批量转换结果。我们最终对马尔可夫链的不变度度量的密度进行了拟合优度测试的非反应分析。我们确定了一些类别的替代方案，基于$ L_2 $距离的测试具有规定的功率。