我们研究了具有一般函数近似的部分可观察的MDP（POMDP）的外部评估（OPE）。现有的方法，例如顺序重要性采样估计器和拟合-Q评估，受POMDP中的地平线的诅咒。为了解决这个问题，我们通过引入将未来代理作为输入的未来依赖性值函数来开发一种新颖的无模型OPE方法。未来依赖性的价值函数在完全可观察的MDP中起着与经典价值函数相似的角色。我们为未来依赖性价值作为条件矩方程提供了一个新的Bellman方程，将历史记录代理用作仪器变量。我们进一步提出了一种最小值学习方法，以使用新的Bellman方程来学习未来依赖的价值函数。我们获得PAC结果，这意味着我们的OPE估计器是一致的，只要期货和历史包含有关潜在状态和Bellman完整性的足够信息。最后，我们将方法扩展到学习动力学，并在POMDP中建立我们的方法与众所周知的光谱学习方法之间的联系。

我们考虑在部分可观察到的马尔可夫决策过程（POMDP）中的违法评估（OPE），其中评估策略仅取决于可观察变量，并且行为策略取决于不可观察的潜在变量。现有的作品无论是假设未测量的混乱，还是专注于观察和状态空间都是表格的设置。因此，这些方法在存在未测量的混淆器的情况下遭受大偏差，或者在具有连续或大观察/状态空间的设置中的大方差。在这项工作中，通过引入将目标策略的价值和观察到的数据分布联系起来，提出了具有潜在混淆的POMDPS的新识别方法。在完全可观察到的MDP中，这些桥接功能将熟悉的值函数和评估与行为策略之间的边际密度比减少。我们接下来提出了用于学习这些桥接功能的最小值估计方法。我们的提案允许一般函数近似，因此适用于具有连续或大观察/状态空间的设置。最后，我们基于这些估计的桥梁功能构建了三种估计，对应于基于价值函数的估计器，边缘化重要性采样估计器和双重稳健的估计器。他们的掺入无血症和渐近性质进行了详细研究。

我们研究使用功能近似的部分可观察到的动力学系统的增强学习。我们提出了一个新的\ textit {部分可观察到的双线性actor-Critic-Critic框架}，它足以包括可观察到的图表部分可观察到的Markov决策过程（POMDPS），可观察到的线性Quadratic-Quadratic-Gaussian（LQG）（LQG），预测状态表示（POMDPS）（ PSRS），以及新引入的模型Hilbert空间嵌入POMDPS和可观察到的POMDP，具有潜在的低级过渡。在此框架下，我们提出了一种能够执行不可知论政策学习的参与者批评算法。给定一个由基于内存的策略组成的策略类别（查看最近观察的固定长度窗口），以及一个值得将内存和未来观察作为输入的功能组成的值函数类别，我们的算法学会了与最佳的最佳竞争在给定策略类中基于内存的策略。对于某些示例，例如可观察到的表格pomdps，可观察到的LQG和可观察到的具有潜在低级过渡的可观察到的POMDP，通过隐式利用其特殊特性，我们的算法甚至能够与全球最佳策略竞争，而无需支付对高度依赖的依赖，以竞争全球最佳的策略。它的样本复杂性。

Reinforcement learning (RL) is one of the most vibrant research frontiers in machine learning and has been recently applied to solve a number of challenging problems. In this paper, we primarily focus on off-policy evaluation (OPE), one of the most fundamental topics in RL. In recent years, a number of OPE methods have been developed in the statistics and computer science literature. We provide a discussion on the efficiency bound of OPE, some of the existing state-of-the-art OPE methods, their statistical properties and some other related research directions that are currently actively explored.

我们在使用函数近似的情况下，在使用最小的Minimax方法估算这些功能时，使用功能近似来实现函数近似和$ q $ functions的理论表征。在各种可靠性和完整性假设的组合下，我们表明Minimax方法使我们能够实现重量和质量功能的快速收敛速度，其特征在于关键的不平等\ citep {bartlett2005}。基于此结果，我们分析了OPE的收敛速率。特别是，我们引入了新型的替代完整性条件，在该条件下，OPE是可行的，我们在非尾部环境中以一阶效率提出了第一个有限样本结果，即在领先期限中具有最小的系数。

当并非观察到所有混杂因子并获得负面对照时，我们研究因果参数的估计。最近的工作表明，这些方法如何通过两个所谓的桥梁函数来实现识别和有效估计。在本文中，我们使用阴性对照来应对因果推断的主要挑战：这些桥梁功能的识别和估计。先前的工作依赖于这些功能的完整性条件，以识别因果参数并在估计中需要进行独特性假设，并且还集中于桥梁函数的参数估计。相反，我们提供了一种新的识别策略，以避免完整性条件。而且，我们根据最小学习公式为这些功能提供新的估计量。这些估计值适合通用功能类别，例如重现Hilbert空间和神经网络。我们研究了有限样本收敛的结果，既可以估计桥梁功能本身，又要在各种假设组合下对因果参数进行最终估计。我们尽可能避免桥梁上的独特条件。

我们在面对未衡量的混杂因素时研究离线增强学习（RL）。由于缺乏与环境的在线互动，离线RL面临以下两个重大挑战：（i）代理可能会被未观察到的状态变量混淆； （ii）提前收集的离线数据不能为环境提供足够的覆盖范围。为了应对上述挑战，我们借助工具变量研究了混杂的MDP中的政策学习。具体而言，我们首先建立了基于和边缘化的重要性采样（MIS）的识别结果，以确定混杂的MDP中的预期总奖励结果。然后，通过利用悲观主义和我们的认同结果，我们提出了各种政策学习方法，并具有有限样本的次级临时性保证，可以在最小的数据覆盖范围和建模假设下找到最佳的课堂政策。最后，我们广泛的理论研究和一项由肾脏移植动机的数值研究证明了该方法的有希望的表现。

我们研究了具有连续状态的可观察到的马尔可夫决策过程（POMDPS）的非政策评估问题（OPE）。由最近提出的近端因果推理框架的动机，我们开发了一个非参数识别结果，以通过时间依赖性代理变量的帮助通过所谓的V-bridge函数来估算策略值。然后，我们开发一种拟合的Q评估类型算法来递归估算V桥功能，其中每个步骤都解决了非参数仪器变量（NPIV）问题。通过分析这个具有挑战性的顺序NPIV问题，我们建立了用于估计V桥功能的有限样本误差界限，并因此根据样本量，地平线和所谓（本地）度量来评估策略值，以评估策略值每个步骤都不适。据我们所知，这是非参数模型下POMDP中OPE绑定的第一个有限样本误差。

我们研究了一个名为“战略MDP”的新型模型下的离线增强学习，该模型表征了本金和一系列与私有类型的近视药物之间的战略相互作用。由于双层结构和私人类型，战略MDP涉及主体与代理之间的信息不对称。我们专注于离线RL问题，其目标是基于由历史互动组成的预采用数据集学习委托人的最佳政策。未观察到的私人类型混淆了这样的数据集，因为它们会影响委托人收到的奖励和观察结果。我们提出了一种新颖的算法，具有算法工具（计划）的悲观政策学习，该算法利用仪器变量回归的思想和悲观主义原则在一般功能近似的背景下学习近乎最佳的原理政策。我们的算法是基于批判性观察，即主体的行为是有效的工具变量。特别是，在离线数据集中的部分覆盖范围假设下，我们证明计划输出$ 1 / \ sqrt {k} $ - 最佳策略，$ k $是收集的轨迹数量。我们进一步将框架应用于一些特殊的战略MDP案例，包括战略回归，战略强盗和推荐系统中的不合规性。

我们研究了具有无限观察和状态空间的部分观察到的马尔可夫决策过程（POMDP）的强化学习，理论上仍然不太研究。为此，我们首次尝试弥合具有线性结构的一类POMDP的部分可观察性和功能近似。详细说明，我们建议在$ O（1/\ Epsilon^2）$情节中获得$ \ epsilon $ - 最佳策略的增强学习算法（通过对抗积分方程或操作装置的乐观探索）。特别是，样品复杂性在线性结构的固有维度上缩放，并且独立于观测和状态空间的大小。 Op-Tenet的样品效率由一系列成分启用：（i）具有有限内存的钟形操作员，该操作员以递归方式表示值函数，（ii）通过对抗性积分对此类操作员的识别和估计方程式具有针对线性结构量身定制的平滑歧视器，以及（iii）通过乐观探索观察和状态空间，该探索基于量化对抗性积分方程的不确定性。

我们考虑在离线域中的强化学习（RL）方法，没有其他在线数据收集，例如移动健康应用程序。计算机科学文献中的大多数现有策略优化算法都是在易于收集或模拟的在线设置中开发的。通过预采用的离线数据集，它们对移动健康应用程序的概括尚不清楚。本文的目的是开发一个新颖的优势学习框架，以便有效地使用预采用的数据进行策略优化。所提出的方法采用由任何现有的最新RL算法计算的最佳Q-估计器作为输入，并输出一项新策略，其价值比基于初始Q-得出的策略更快地收敛速度。估计器。进行广泛的数值实验以支持我们的理论发现。我们提出的方法的Python实现可在https://github.com/leyuanheart/seal上获得。

在本文中，我们研究了部分可观察到的动态系统的在线增强学习（RL）。我们专注于预测状态表示（PSRS）模型，该模型是捕获其他知名模型（例如可观察到的马尔可夫决策过程（POMDP））的表达模型。 PSR使用一组未来观察结果的预测表示状态，并完全使用可观察的数量来定义。我们为PSRS开发了一种新型的基于模型的算法，该算法可以在样本复杂性中学习相对于系统的所有相关参数的多项式缩放的近乎最佳策略。我们的算法自然可以与功能近似合作，以扩展到具有较大状态和观察空间的系统。我们表明，给定一个可实现的模型类别，学习近乎最佳策略的样本复杂性仅相对于模型类的统计复杂性，而没有任何明确的多项式依赖性对状态和观察空间的大小依赖。值得注意的是，我们的工作是表明多项式样本复杂性与PSR中全球最佳政策竞争的第一项工作。最后，我们演示了如何直接使用我们的一般定理来得出特殊模型的样本复杂性界限，包括$ m $ $ step弱揭示和$ m $ $ $ - 可解码的表格pomdps，具有低率潜在过渡的POMDP和具有线性pomdps的POMDP排放和潜在过渡。

Offline reinforcement learning (RL) concerns pursuing an optimal policy for sequential decision-making from a pre-collected dataset, without further interaction with the environment. Recent theoretical progress has focused on developing sample-efficient offline RL algorithms with various relaxed assumptions on data coverage and function approximators, especially to handle the case with excessively large state-action spaces. Among them, the framework based on the linear-programming (LP) reformulation of Markov decision processes has shown promise: it enables sample-efficient offline RL with function approximation, under only partial data coverage and realizability assumptions on the function classes, with favorable computational tractability. In this work, we revisit the LP framework for offline RL, and advance the existing results in several aspects, relaxing certain assumptions and achieving optimal statistical rates in terms of sample size. Our key enabler is to introduce proper constraints in the reformulation, instead of using any regularization as in the literature, sometimes also with careful choices of the function classes and initial state distributions. We hope our insights further advocate the study of the LP framework, as well as the induced primal-dual minimax optimization, in offline RL.

我们研究马尔可夫决策过程（MDP）框架中的离线数据驱动的顺序决策问题。为了提高学习政策的概括性和适应性，我们建议通过一套关于在政策诱导的固定分配所在的分发的一套平均奖励来评估每项政策。给定由某些行为策略生成的多个轨迹的预收集数据集，我们的目标是在预先指定的策略类中学习一个强大的策略，可以最大化此集的最小值。利用半参数统计的理论，我们开发了一种统计上有效的策略学习方法，用于估算DE NED强大的最佳政策。在数据集中的总决策点方面建立了达到对数因子的速率最佳遗憾。

我们在无限地平线马尔可夫决策过程中考虑批量（离线）策略学习问题。通过移动健康应用程序的推动，我们专注于学习最大化长期平均奖励的政策。我们为平均奖励提出了一款双重强大估算器，并表明它实现了半导体效率。此外，我们开发了一种优化算法来计算参数化随机策略类中的最佳策略。估计政策的履行是通过政策阶级的最佳平均奖励与估计政策的平均奖励之间的差异来衡量，我们建立了有限样本的遗憾保证。通过模拟研究和促进体育活动的移动健康研究的分析来说明该方法的性能。

我们研究了通过功能近似的强化学习，以部分可观察到的马尔可夫决策过程（POMDP），其中状态空间和观察空间很大甚至连续。特别是，我们考虑了POMDP的Hilbert空间嵌入，其中潜在状态的特征和观察的特征允许观测发射过程的有条件的希尔伯特空间嵌入，而潜在状态过渡是确定性的。在函数近似设置下，最佳潜在状态行动$ q $函数在状态功能中是线性的，而最佳$ q $ - 功能具有差距，我们提供了\ emph {计算和统计上有效} algorithm查找\ emph {确切的最佳}策略。我们在观察空间上的算法和特征的固有维度上，在多项式上显示了算法的计算和统计复杂性。此外，我们显示了确定性的潜在过渡和差距假设对于避免统计复杂性指数在地平线或维度中是必要的。由于我们的保证对状态和观察空间的大小没有明确的依赖性，因此我们的算法可证明对大规模POMDPS。

离线政策评估（OPE）被认为是强化学习（RL）的基本且具有挑战性的问题。本文重点介绍了基于从无限 - 马尔可夫决策过程的框架下从可能不同策略生成的预收集的数据的目标策略的价值估计。由RL最近开发的边际重要性采样方法和因果推理中的协变量平衡思想的动机，我们提出了一个新颖的估计器，具有大约投影的国家行动平衡权重，以进行策略价值估计。我们获得了这些权重的收敛速率，并表明拟议的值估计量在技术条件下是半参数有效的。就渐近学而言，我们的结果比例均以每个轨迹的轨迹数量和决策点的数量进行扩展。因此，当决策点数量分歧时，仍然可以使用有限的受试者实现一致性。此外，我们开发了一个必要且充分的条件，以建立贝尔曼操作员在政策环境中的适当性，这表征了OPE的困难，并且可能具有独立的利益。数值实验证明了我们提出的估计量的有希望的性能。

This paper studies systematic exploration for reinforcement learning with rich observations and function approximation. We introduce a new model called contextual decision processes, that unifies and generalizes most prior settings. Our first contribution is a complexity measure, the Bellman rank , that we show enables tractable learning of near-optimal behavior in these processes and is naturally small for many well-studied reinforcement learning settings. Our second contribution is a new reinforcement learning algorithm that engages in systematic exploration to learn contextual decision processes with low Bellman rank. Our algorithm provably learns near-optimal behavior with a number of samples that is polynomial in all relevant parameters but independent of the number of unique observations. The approach uses Bellman error minimization with optimistic exploration and provides new insights into efficient exploration for reinforcement learning with function approximation.

本文介绍了一种简单的有效学习算法，用于一般顺序决策。该算法将探索的乐观与模型估计的最大似然估计相结合，因此被命名为OMLE。我们证明，Omle了解了多项式数量的样本中一系列非常丰富的顺序决策问题的近乎最佳策略。这个丰富的类别不仅包括大多数已知的基于模型的基于模型的强化学习（RL）问题（例如表格MDP，计算的MDP，低证人等级问题，表格弱弱/可观察到的POMDP和多步可解码的POMDP），但是同样，许多新的具有挑战性的RL问题，尤其是在可观察到的部分环境中，这些问题以前尚不清楚。值得注意的是，本文解决的新问题包括（1）具有连续观察和功能近似的可观察到的POMDP，在其中我们实现了完全独立于观察空间的第一个样品复杂性； （2）条件良好的低级顺序决策问题（也称为预测状态表示（PSRS）），其中包括并概括了所有已知的可牵引的POMDP示例，这些示例在更固有的表示下； （3）在帆条件下进行一般顺序决策问题，这统一了我们在完全可观察和部分可观察的设置中对基于模型的RL的现有理解。帆条件是由本文确定的，可以将其视为贝尔曼/证人等级的自然概括，以解决部分可观察性。

我们建议和分析一个强化学习原理，该原理仅在测试功能的用户定义空间沿使用它们的有效性来近似钟声方程。我们专注于使用功能近似的无模型离线RL应用程序，我们利用这一原理来得出置信区间以进行非政策评估，并在规定的策略类别中优化了对策略的优化。我们证明了关于我们的政策优化程序的甲骨文不平等，就任意比较策略的价值和不确定性之间的权衡而言。测试功能空间的不同选择使我们能够解决共同框架中的不同问题。我们表征了使用我们的程序从政策转移到政策数据的效率的丧失，并建立了与过去工作中研究的浓缩性系数的连接。我们深入研究了具有线性函数近似的方法的实施，即使贝尔曼关闭不结束，也可以通过多项式时间实现提供理论保证。