在本文中，我们研究了强大的马尔可夫决策过程（MDPS）的最佳稳健策略和价值功能的非反应性和渐近性能，其中仅从生成模型中求解了最佳的稳健策略和价值功能。尽管在KL不确定性集和$（s，a）$ - 矩形假设的设置中限制了以前专注于可靠MDP的非反应性能的工作，但我们改善了它们的结果，还考虑了其​​他不确定性集，包括$ L_1 $和$ L_1 $和$ \ chi^2 $球。我们的结果表明，当我们假设$（s，a）$ - 矩形在不确定性集上时，示例复杂度大约为$ \ widetilde {o} \ left（\ frac {| \ mathcal {| \ mathcal {s} |^2 | \ mathcal { a} |} {\ varepsilon^2 \ rho^2（1- \ gamma）^4} \ right）$。此外，我们将结果从$（s，a）$ - 矩形假设扩展到$ s $矩形假设。在这种情况下，样本复杂性随选择不确定性集而变化，通常比$（s，a）$矩形假设下的情况大。此外，我们还表明，在$（s，a）$和$ s $ retectangular的假设下，从理论和经验的角度来看，最佳的鲁棒值函数是渐近的正常，典型的速率$ \ sqrt {n} $。

寻找统一的复杂性度量和样本效率学习的算法是增强学习研究的核心主题（RL）。 Foster等人最近提出了决策估计系数（DEC）。 （2021）作为样品有效的NO-REGRET RL的必要和足够的复杂度度量。本文通过DEC框架朝着RL的统一理论取得了进步。首先，我们提出了两项​​新的DEC类型复杂性度量：探索性DEC（EDEC）和无奖励DEC（RFDEC）。我们表明，它们对于样本有效的PAC学习和无奖励学习是必要的，因此扩展了原始DEC，该DEC仅捕获了无需重新学习。接下来，我们为所有三个学习目标设计新的统一样品效率算法。我们的算法实例化估计到决策的变体（E2D）元算法具有强大而通用的模型估计值。即使在无重组的设置中，我们的算法E2D-TA也会在Foster等人的算法上提高。 （2021）需要对DEC的变体进行边界，该变体可能是过于大的，或者设计特定问题的估计值。作为应用程序，我们恢复了现有的，并获得了使用单个算法的各种可拖动RL问题的新样品学习结果。最后，作为一种连接，我们根据后采样或最大似然估计重新分析了两种现有的基于乐观模型的算法，表明它们在与DEC相似的结构条件下具有与E2D-TA相似的遗憾界限。

我们研究马尔可夫决策过程（MDP）框架中的离线数据驱动的顺序决策问题。为了提高学习政策的概括性和适应性，我们建议通过一套关于在政策诱导的固定分配所在的分发的一套平均奖励来评估每项政策。给定由某些行为策略生成的多个轨迹的预收集数据集，我们的目标是在预先指定的策略类中学习一个强大的策略，可以最大化此集的最小值。利用半参数统计的理论，我们开发了一种统计上有效的策略学习方法，用于估算DE NED强大的最佳政策。在数据集中的总决策点方面建立了达到对数因子的速率最佳遗憾。

在阻碍强化学习（RL）到现实世界中的问题的原因之一，两个因素至关重要：与培训相比，数据有限和测试环境的不匹配。在本文中，我们试图通过分配强大的离线RL的问题同时解决这些问题。特别是，我们学习了一个从源环境中获得的历史数据，并优化了RL代理，并在扰动的环境中表现良好。此外，我们考虑将算法应用于大规模问题的线性函数近似。我们证明我们的算法可以实现$ O（1/\ sqrt {k}）$的次级临时性，具体取决于线性函数尺寸$ d $，这似乎是在此设置中使用样品复杂性保证的第一个结果。进行了不同的实验以证明我们的理论发现，显示了我们算法与非持bust算法的优越性。

本文涉及离线增强学习（RL）中模型鲁棒性和样本效率的核心问题，该问题旨在学习从没有主动探索的情况下从历史数据中执行决策。由于环境的不确定性和变异性，至关重要的是，学习强大的策略（尽可能少的样本），即使部署的环境偏离用于收集历史记录数据集的名义环境时，该策略也能很好地执行。我们考虑了离线RL的分布稳健公式，重点是标签非平稳的有限摩托稳健的马尔可夫决策过程，其不确定性设置为Kullback-Leibler Divergence。为了与样本稀缺作用，提出了一种基于模型的算法，该算法将分布强劲的价值迭代与面对不确定性时的悲观原理结合在一起，通过对稳健的价值估计值进行惩罚，以精心设计的数据驱动的惩罚项进行惩罚。在对历史数据集的轻度和量身定制的假设下，该数据集测量分布变化而不需要完全覆盖州行动空间，我们建立了所提出算法的有限样本复杂性，进一步表明，鉴于几乎无法改善的情况，匹配信息理论下限至地平线长度的多项式因素。据我们所知，这提供了第一个在模型不确定性和部分覆盖范围内学习的近乎最佳的稳健离线RL算法。

近年来，动态机制设计引起了计算机科学家和经济学家的极大关注。通过允许代理商在多个回合中与卖方互动，在这种情况下，代理商的奖励功能可能会随着时间而变化并且与国家有关，该框架能够建模丰富的现实世界问题。在这些作品中，通常认为代理商和卖方之间的相互作用遵循马尔可夫决策过程（MDP）。我们专注于此类MDP的奖励和过渡函数的设置，而不是先验地知道，我们正在尝试使用先验收集的数据集恢复最佳机制。在使用函数近似来处理大型状态空间的情况下，只有对功能类表达式的轻度假设，我们能够使用离线增强学习算法设计动态机制。此外，学到的机制大约具有三个关键的逃避：效率，个人理性和真实性。我们的算法基于悲观原则，仅需要对离线数据集的覆盖率进行温和的假设。据我们所知，我们的工作为动态机制设计提供了第一个离线RL算法，而无需假设覆盖范围。

鲁棒马尔可夫决策过程（RMDP）框架侧重于设计对参数不确定因素而稳健的控制策略，这是由于模拟器模型和真实世界的不匹配。 RMDP问题通常被制定为MAX-MIN问题，其中目标是找到最大化最坏可能模型的值函数的策略，该策略在于围绕标称模型设置的不确定性。标准强大的动态编程方法需要了解标称模型来计算最佳的强大策略。在这项工作中，我们提出了一种基于模型的强化学习（RL）算法，用于学习$ \ epsilon $ - 当标称模型未知时的高新策略。我们考虑了三种不同形式的不确定集，其特征在于总变化距离，Chi-Square发散和kL发散。对于这些不确定性集中的每一个，我们提供了所提出算法的样本复杂性的精确表征。除了样本复杂性结果之外，我们还提供了一个正式的分析论证，就使用强大的政策的益处。最后，我们展示了我们对两个基准问题的算法的性能。

我们研究了用线性函数近似的加固学习中的违规评估（OPE）问题，旨在根据行为策略收集的脱机数据来估计目标策略的价值函数。我们建议纳入价值函数的方差信息以提高ope的样本效率。更具体地说，对于时间不均匀的epiSodic线性马尔可夫决策过程（MDP），我们提出了一种算法VA-OPE，它使用价值函数的估计方差重新重量拟合Q迭代中的Bellman残差。我们表明我们的算法达到了比最着名的结果绑定的更紧密的误差。我们还提供了行为政策与目标政策之间的分布转移的细粒度。广泛的数值实验证实了我们的理论。

部署效率是许多实际应用程序应用（RL）的重要标准。尽管社区的兴趣越来越大，但对于该问题缺乏正式的理论表述。在本文中，我们从“具有约束的优化”的角度提出了一种用于部署有效的RL（DE-RL）的公式：我们有兴趣探索MDP并在最小值{部署复杂性}中获得近乎最佳的策略。 ，而在每个部署中，策略可以采样大量数据。使用有限的摩尼子线性MDP作为具体的结构模型，我们通过建立信息理论下限，并提供实现最佳部署效率的算法来揭示实现部署效率的基本限制。此外，我们对DE-RL的配方是灵活的，可以作为其他实际相关设置的基础；我们将“安全的DE-RL”和“样本有效的DE-RL”作为两个例子，这可能是值得将来的研究。

作为安全加强学习的重要框架，在最近的文献中已经广泛研究了受约束的马尔可夫决策过程（CMDP）。然而，尽管在各种式学习设置下取得了丰富的结果，但就算法设计和信息理论样本复杂性下限而言，仍然缺乏对离线CMDP问题的基本理解。在本文中，我们专注于仅在脱机数据可用的情况下解决CMDP问题。通过采用单极浓缩系数$ c^*$的概念，我们建立了一个$ \ omega \ left（\ frac {\ min \ left \ left \ weft \ {| \ mathcal {s} || \ mathcal {a} a} |，， | \ Mathcal {s} |+i \ right \} c^*} {（1- \ gamma）^3 \ epsilon^2} \ right）$ sample Complacy度在离线cmdp问题上，其中$ i $架对于约束数量。通过引入一种简单但新颖的偏差控制机制，我们提出了一种称为DPDL的近乎最佳的原始二重学习算法。该算法证明，除了$ \ tilde {\ Mathcal {o}}}}（（（1- \ gamma）^{ - 1}）$外，该算法可确保零约束违规及其样本复杂性匹配上下界。还包括有关如何处理未知常数$ c^*$以及离线数据集中潜在的异步结构的全面讨论。

我们在使用函数近似的情况下，在使用最小的Minimax方法估算这些功能时，使用功能近似来实现函数近似和$ q $ functions的理论表征。在各种可靠性和完整性假设的组合下，我们表明Minimax方法使我们能够实现重量和质量功能的快速收敛速度，其特征在于关键的不平等\ citep {bartlett2005}。基于此结果，我们分析了OPE的收敛速率。特别是，我们引入了新型的替代完整性条件，在该条件下，OPE是可行的，我们在非尾部环境中以一阶效率提出了第一个有限样本结果，即在领先期限中具有最小的系数。

我们在$ \ Gamma $ -diScounted MDP中使用Polyak-Ruppert平均（A.K.A.，平均Q-Leaning）进行同步Q学习。我们为平均迭代$ \ bar {\ boldsymbol {q}}建立渐近常态。此外，我们展示$ \ bar {\ boldsymbol {q}} _ t $实际上是一个常规的渐近线性（RAL）估计值，用于最佳q-value函数$ \ boldsymbol {q} ^ * $与最有效的影响功能。它意味着平均Q学习迭代在所有RAL估算器之间具有最小的渐近方差。此外，我们为$ \ ell _ {\ infty} $错误$ \ mathbb {e} \ | \ | \ bar {\ boldsymbol {q}} _ t- \ boldsymbol {q} ^ *} ^ *} _ {\ idty} $，显示它与实例相关的下限以及最佳最低限度复杂性下限。作为一个副产品，我们发现Bellman噪音具有var-gaussian坐标，具有方差$ \ mathcal {o}（（1- \ gamma）^ {-1}）$而不是现行$ \ mathcal {o}（（1- \ Gamma）^ { - 2}）$根据标准界限奖励假设。子高斯结果有可能提高许多R1算法的样本复杂性。简而言之，我们的理论分析显示平均Q倾斜在统计上有效。

部分可观察性 - 代理只能观察有关系统真正潜在状态的部分信息 - 在增强学习（RL）的现实应用中无处不在。从理论上讲，在最坏情况下，由于指数样本的复杂性下限，在最坏情况下学习了近距离观察性的近乎最佳政策。最近的工作已经确定了几个可通过多项式样本学习的可学性亚类，例如部分可观察到的马尔可夫决策过程（POMDPS）具有某些可揭示或可分解性条件。但是，这一研究仍处于起步阶段，（1）缺乏统一的结构条件，从而缺乏样品效率学习； （2）现有的已知拖拉子类的样品复杂性远非锋利； （3）与完全可观察的RL相比，可用的样品效率算法更少。本文在预测状态表示（PSRS）的一般环境中，上面的所有三个方面都在部分可观察到的RL方向前进。首先，我们提出了一种称为\ emph {b稳定性}的自然和统一的结构条件。 B稳定的PSR包括绝大多数已知的可牵引子类，例如弱揭示的POMDP，低级别的未来pomdps，可解码的POMDP和常规PSR。接下来，我们证明可以在相关问题参数中使用多项式样本学习任何B稳定PSR。当在上述子类中实例化时，我们的样本复杂性比当前最好的复杂性大大改善。最后，我们的结果是通过三种算法同时实现的：乐观的最大似然估计，估计到决策和基于模型的乐观后验采样。后两种算法是用于POMDPS/PSR的样品有效学习的新算法。

尽管在理解增强学习的最小样本复杂性（RL）（在“最坏情况”的实例上学习的复杂性）方面已经取得了很多进展，但这种复杂性的衡量标准通常不会捕捉到真正的学习困难。在实践中，在“简单”的情况下，我们可能希望获得比最糟糕的实例可以实现的要好得多。在这项工作中，我们试图理解在具有线性函数近似的RL设置中学习近乎最佳策略（PAC RL）的“实例依赖性”复杂性。我们提出了一种算法，\ textsc {pedel}，该算法实现了依赖于实例的复杂性的量度，这是RL中的第一个具有功能近似设置，从而捕获了每个特定问题实例的学习难度。通过一个明确的示例，我们表明\ textsc {pedel}可以在低重晶，最小值 - 最佳算法上获得可证明的收益，并且这种算法无法达到实例 - 最佳速率。我们的方法取决于基于设计的新型实验程序，该程序将勘探预算重点放在与学习近乎最佳政策最相关的“方向”上，并且可能具有独立的兴趣。

使用悲观，推理缺乏详尽的勘探数据集时的脱机强化学习最近颇具知名度。尽管它增加了算法的鲁棒性，过于悲观的推理可以在排除利好政策的发现，这是流行的基于红利悲观的问题同样有害。在本文中，我们介绍一般函数近似的Bellman-一致悲观的概念：不是计算逐点下界的值的功能，我们在超过设定的与贝尔曼方程一致的功能的初始状态实现悲观。我们的理论保证只需要贝尔曼封闭性作为探索性的设置标准，其中基于奖金的情况下的悲观情绪未能提供担保。即使在线性函数逼近的特殊情况下更强的表现力假设成立，我们的结果由$ \ mathcal {}Ø（d）在其样品的复杂$在最近的基于奖金的方法改善的时候，动作的空间是有限的。值得注意的是，我们的算法，能够自动适应事后最好的偏差 - 方差折中，而大多数现有的方法中需要调整的额外超参数的先验。

本文分析了有限状态马尔可夫决策过程（MDPS），其不确定参数在紧凑的集合中，并通过基于集合的固定点理论从可靠的MDP产生重新检查。我们将Bellman和政策评估运营商概括为在价值功能空间合同的运营商，并将其表示为\ Emph {Value Operators}。我们将这些值运算符概括为在价值函数集的空间集上，并将其表示为\ emph {基于集合的值运算符}。我们证明，这些基于集合的价值运算符是紧凑型值函数集空间中的收缩。利用集合理论的洞察力，我们将Bellman运算符的矩形条件从经典稳健的MDP文献到\ emph {CONTAMENT条件}的矩形条件，用于通用价值操作员，该算法较弱，可以应用于较大的参数 - 不确定的MDPS集以及动态编程和强化学习中的承包运营商。我们证明，矩形条件和遏制条件都足够确保基于设定的值运算符的固定点集包含其自身的至高无上的元素。对于不确定的MDP参数的凸和紧凑型集，我们显示了经典的鲁棒值函数与基于集合的Bellman运算符的固定点集的最高点之间的等效性。在紧凑型集合中动态更改的MDP参数下，我们证明了值迭代的集合收敛结果，否则可能不会收敛到单个值函数。

The estimation of cumulative distribution functions (CDFs) is an important learning task with a great variety of downstream applications, such as risk assessments in predictions and decision making. In this paper, we study functional regression of contextual CDFs where each data point is sampled from a linear combination of context dependent CDF basis functions. We propose functional ridge-regression-based estimation methods that estimate CDFs accurately everywhere. In particular, given $n$ samples with $d$ basis functions, we show estimation error upper bounds of $\widetilde{O}(\sqrt{d/n})$ for fixed design, random design, and adversarial context cases. We also derive matching information theoretic lower bounds, establishing minimax optimality for CDF functional regression. Furthermore, we remove the burn-in time in the random design setting using an alternative penalized estimator. Then, we consider agnostic settings where there is a mismatch in the data generation process. We characterize the error of the proposed estimators in terms of the mismatched error, and show that the estimators are well-behaved under model mismatch. Finally, to complete our study, we formalize infinite dimensional models where the parameter space is an infinite dimensional Hilbert space, and establish self-normalized estimation error upper bounds for this setting.

在许多综合设置（例如视频游戏）和GO中，增强学习（RL）超出了人类的绩效。但是，端到端RL模型的现实部署不太常见，因为RL模型对环境的轻微扰动非常敏感。强大的马尔可夫决策过程（MDP）框架（其中的过渡概率属于名义模型设置的不确定性）提供了一种开发健壮模型的方法。虽然先前的分析表明，RL算法是有效的，假设访问生成模型，但尚不清楚RL在更现实的在线设置下是否可以有效，这需要在探索和开发之间取得仔细的平衡。在这项工作中，我们通过与未知的名义系统进行互动来考虑在线强大的MDP。我们提出了一种强大的乐观策略优化算法，该算法可有效。为了解决由对抗性环境引起的其他不确定性，我们的模型具有通过Fenchel Conjugates得出的新的乐观更新规则。我们的分析确定了在线强大MDP的第一个遗憾。

以目标为导向的强化学习，代理商需要达到目标状态，同时将成本降至最低，在现实世界应用中受到了极大的关注。它的理论配方是随机最短路径（SSP），在在线环境中进行了深入研究。然而，当禁止使用这种在线互动并且仅提供历史数据时，它仍然被忽略了。在本文中，当状态空间和动作空间有限时，我们考虑离线随机路径问题。我们设计了基于简单的价值迭代算法，以解决离线政策评估（OPE）和离线政策学习任务。值得注意的是，我们对这些简单算法的分析产生了强大的实例依赖性边界，这可能意味着接近最佳的最佳范围最佳范围。我们希望我们的研究能够帮助阐明离线SSP问题的基本统计限制，并激发超出当前考虑范围的进一步研究。

我们在无限地平线马尔可夫决策过程中考虑批量（离线）策略学习问题。通过移动健康应用程序的推动，我们专注于学习最大化长期平均奖励的政策。我们为平均奖励提出了一款双重强大估算器，并表明它实现了半导体效率。此外，我们开发了一种优化算法来计算参数化随机策略类中的最佳策略。估计政策的履行是通过政策阶级的最佳平均奖励与估计政策的平均奖励之间的差异来衡量，我们建立了有限样本的遗憾保证。通过模拟研究和促进体育活动的移动健康研究的分析来说明该方法的性能。