Off-policy evaluation (OPE) is a method for estimating the return of a target policy using some pre-collected observational data generated by a potentially different behavior policy. In some cases, there may be unmeasured variables that can confound the action-reward or action-next-state relationships, rendering many existing OPE approaches ineffective. This paper develops an instrumental variable (IV)-based method for consistent OPE in confounded Markov decision processes (MDPs). Similar to single-stage decision making, we show that IV enables us to correctly identify the target policy's value in infinite horizon settings as well. Furthermore, we propose an efficient and robust value estimator and illustrate its effectiveness through extensive simulations and analysis of real data from a world-leading short-video platform.

本文关注的是，基于无限视野设置中预采用的观察数据，为目标策略的价值离线构建置信区间。大多数现有作品都假定不存在混淆观察到的动作的未测量变量。但是，在医疗保健和技术行业等实际应用中，这种假设可能会违反。在本文中，我们表明，使用一些辅助变量介导动作对系统动态的影响，目标策略的价值在混杂的马尔可夫决策过程中可以识别。基于此结果，我们开发了一个有效的非政策值估计器，该估计值可用于潜在模型错误指定并提供严格的不确定性定量。我们的方法是通过理论结果，从乘车共享公司获得的模拟和真实数据集证明的。python实施了建议的过程，请访问https://github.com/mamba413/cope。

Reinforcement learning (RL) is one of the most vibrant research frontiers in machine learning and has been recently applied to solve a number of challenging problems. In this paper, we primarily focus on off-policy evaluation (OPE), one of the most fundamental topics in RL. In recent years, a number of OPE methods have been developed in the statistics and computer science literature. We provide a discussion on the efficiency bound of OPE, some of the existing state-of-the-art OPE methods, their statistical properties and some other related research directions that are currently actively explored.

Off-Policy evaluation (OPE) is concerned with evaluating a new target policy using offline data generated by a potentially different behavior policy. It is critical in a number of sequential decision making problems ranging from healthcare to technology industries. Most of the work in existing literature is focused on evaluating the mean outcome of a given policy, and ignores the variability of the outcome. However, in a variety of applications, criteria other than the mean may be more sensible. For example, when the reward distribution is skewed and asymmetric, quantile-based metrics are often preferred for their robustness. In this paper, we propose a doubly-robust inference procedure for quantile OPE in sequential decision making and study its asymptotic properties. In particular, we propose utilizing state-of-the-art deep conditional generative learning methods to handle parameter-dependent nuisance function estimation. We demonstrate the advantages of this proposed estimator through both simulations and a real-world dataset from a short-video platform. In particular, we find that our proposed estimator outperforms classical OPE estimators for the mean in settings with heavy-tailed reward distributions.

我们考虑在部分可观察到的马尔可夫决策过程（POMDP）中的违法评估（OPE），其中评估策略仅取决于可观察变量，并且行为策略取决于不可观察的潜在变量。现有的作品无论是假设未测量的混乱，还是专注于观察和状态空间都是表格的设置。因此，这些方法在存在未测量的混淆器的情况下遭受大偏差，或者在具有连续或大观察/状态空间的设置中的大方差。在这项工作中，通过引入将目标策略的价值和观察到的数据分布联系起来，提出了具有潜在混淆的POMDPS的新识别方法。在完全可观察到的MDP中，这些桥接功能将熟悉的值函数和评估与行为策略之间的边际密度比减少。我们接下来提出了用于学习这些桥接功能的最小值估计方法。我们的提案允许一般函数近似，因此适用于具有连续或大观察/状态空间的设置。最后，我们基于这些估计的桥梁功能构建了三种估计，对应于基于价值函数的估计器，边缘化重要性采样估计器和双重稳健的估计器。他们的掺入无血症和渐近性质进行了详细研究。

我们在面对未衡量的混杂因素时研究离线增强学习（RL）。由于缺乏与环境的在线互动，离线RL面临以下两个重大挑战：（i）代理可能会被未观察到的状态变量混淆； （ii）提前收集的离线数据不能为环境提供足够的覆盖范围。为了应对上述挑战，我们借助工具变量研究了混杂的MDP中的政策学习。具体而言，我们首先建立了基于和边缘化的重要性采样（MIS）的识别结果，以确定混杂的MDP中的预期总奖励结果。然后，通过利用悲观主义和我们的认同结果，我们提出了各种政策学习方法，并具有有限样本的次级临时性保证，可以在最小的数据覆盖范围和建模假设下找到最佳的课堂政策。最后，我们广泛的理论研究和一项由肾脏移植动机的数值研究证明了该方法的有希望的表现。

在马尔可夫决策过程（MDP）中，可能存在不可观察的混杂因素并对数据生成过程产生影响，因此经典的非政策评估（OPE）估计器可能无法识别目标策略的真实价值函数。在本文中，我们研究了与可观察的仪器变量混杂的MDP中OPE的统计特性。具体而言，我们根据仪器变量提出了一个两阶段估计器，并在具有线性结构的混杂MDP中建立了其统计属性。对于非反应分析，我们证明了一个$ \ Mathcal {o}（n^{ - 1/2}）$ - 错误绑定了$ n $是样本的数量。对于渐近分析，我们证明了两阶段估计量在渐近正常上，典型速率为$ n^{1/2} $。据我们所知，我们是第一个通过仪器变量显示混合线性MDP的两阶段估计量的统计结果。

我们考虑在离线域中的强化学习（RL）方法，没有其他在线数据收集，例如移动健康应用程序。计算机科学文献中的大多数现有策略优化算法都是在易于收集或模拟的在线设置中开发的。通过预采用的离线数据集，它们对移动健康应用程序的概括尚不清楚。本文的目的是开发一个新颖的优势学习框架，以便有效地使用预采用的数据进行策略优化。所提出的方法采用由任何现有的最新RL算法计算的最佳Q-估计器作为输入，并输出一项新策略，其价值比基于初始Q-得出的策略更快地收敛速度。估计器。进行广泛的数值实验以支持我们的理论发现。我们提出的方法的Python实现可在https://github.com/leyuanheart/seal上获得。

我们在无限地平线马尔可夫决策过程中考虑批量（离线）策略学习问题。通过移动健康应用程序的推动，我们专注于学习最大化长期平均奖励的政策。我们为平均奖励提出了一款双重强大估算器，并表明它实现了半导体效率。此外，我们开发了一种优化算法来计算参数化随机策略类中的最佳策略。估计政策的履行是通过政策阶级的最佳平均奖励与估计政策的平均奖励之间的差异来衡量，我们建立了有限样本的遗憾保证。通过模拟研究和促进体育活动的移动健康研究的分析来说明该方法的性能。

我们研究了具有一般函数近似的部分可观察的MDP（POMDP）的外部评估（OPE）。现有的方法，例如顺序重要性采样估计器和拟合-Q评估，受POMDP中的地平线的诅咒。为了解决这个问题，我们通过引入将未来代理作为输入的未来依赖性值函数来开发一种新颖的无模型OPE方法。未来依赖性的价值函数在完全可观察的MDP中起着与经典价值函数相似的角色。我们为未来依赖性价值作为条件矩方程提供了一个新的Bellman方程，将历史记录代理用作仪器变量。我们进一步提出了一种最小值学习方法，以使用新的Bellman方程来学习未来依赖的价值函数。我们获得PAC结果，这意味着我们的OPE估计器是一致的，只要期货和历史包含有关潜在状态和Bellman完整性的足够信息。最后，我们将方法扩展到学习动力学，并在POMDP中建立我们的方法与众所周知的光谱学习方法之间的联系。

我们研究马尔可夫决策过程（MDP）框架中的离线数据驱动的顺序决策问题。为了提高学习政策的概括性和适应性，我们建议通过一套关于在政策诱导的固定分配所在的分发的一套平均奖励来评估每项政策。给定由某些行为策略生成的多个轨迹的预收集数据集，我们的目标是在预先指定的策略类中学习一个强大的策略，可以最大化此集的最小值。利用半参数统计的理论，我们开发了一种统计上有效的策略学习方法，用于估算DE NED强大的最佳政策。在数据集中的总决策点方面建立了达到对数因子的速率最佳遗憾。

离线政策评估（OPE）被认为是强化学习（RL）的基本且具有挑战性的问题。本文重点介绍了基于从无限 - 马尔可夫决策过程的框架下从可能不同策略生成的预收集的数据的目标策略的价值估计。由RL最近开发的边际重要性采样方法和因果推理中的协变量平衡思想的动机，我们提出了一个新颖的估计器，具有大约投影的国家行动平衡权重，以进行策略价值估计。我们获得了这些权重的收敛速率，并表明拟议的值估计量在技术条件下是半参数有效的。就渐近学而言，我们的结果比例均以每个轨迹的轨迹数量和决策点的数量进行扩展。因此，当决策点数量分歧时，仍然可以使用有限的受试者实现一致性。此外，我们开发了一个必要且充分的条件，以建立贝尔曼操作员在政策环境中的适当性，这表征了OPE的困难，并且可能具有独立的利益。数值实验证明了我们提出的估计量的有希望的性能。

A / B测试或在线实验是一种标准的业务策略，可以在制药，技术和传统行业中与旧产品进行比较。在双面市场平台（例如优步）的在线实验中出现了主要挑战，其中只有一个单位接受一系列处理随着时间的推移。在这些实验中，给定时间的治疗会影响当前结果以及未来的结果。本文的目的是引入用于在这些实验中携带A / B测试的加强学习框架，同时表征长期治疗效果。我们所提出的测试程序允许顺序监控和在线更新。它通常适用于不同行业的各种治疗设计。此外，我们系统地研究了我们测试程序的理论特性（例如，尺寸和功率）。最后，我们将框架应用于模拟数据和从技术公司获得的真实数据示例，以说明其在目前的实践中的优势。我们的测试的Python实现是在https://github.com/callmespring/causalrl上找到的。

乘车共享公司等双面市场通常涉及一组跨时间和/或位置做出顺序决策的主题。随着智能手机和物联网的快速发展，它们实质上改变了人类的运输格局。在本文中，我们考虑了乘车共享公司的大规模车队管理，这些公司涉及随着时间的推移接收产品（或治疗）序列的不同领域的多个单元。在这些研究中出现了主要的技术挑战，例如政策评估，因为（i）空间和时间附近会导致位置和时间之间的干扰； （ii）大量位置导致维度的诅咒。为了同时解决这两个挑战，我们介绍了在这些研究中进行政策评估的多机构增强学习（MARL）框架。我们提出了新的估计量，即在不同产品下的平均结果，尽管州行动空间具有很高的差异性。提出的估计量在模拟实验中有利。我们进一步说明了我们的方法使用从双面市场公司获得的真实数据集来评估应用不同的补贴策略的效果。我们提出的方法的Python实现可在https://github.com/runzhestat/causalmarl上获得。

我们在使用函数近似的情况下，在使用最小的Minimax方法估算这些功能时，使用功能近似来实现函数近似和$ q $ functions的理论表征。在各种可靠性和完整性假设的组合下，我们表明Minimax方法使我们能够实现重量和质量功能的快速收敛速度，其特征在于关键的不平等\ citep {bartlett2005}。基于此结果，我们分析了OPE的收敛速率。特别是，我们引入了新型的替代完整性条件，在该条件下，OPE是可行的，我们在非尾部环境中以一阶效率提出了第一个有限样本结果，即在领先期限中具有最小的系数。

Motivated by the human-machine interaction such as training chatbots for improving customer satisfaction, we study human-guided human-machine interaction involving private information. We model this interaction as a two-player turn-based game, where one player (Alice, a human) guides the other player (Bob, a machine) towards a common goal. Specifically, we focus on offline reinforcement learning (RL) in this game, where the goal is to find a policy pair for Alice and Bob that maximizes their expected total rewards based on an offline dataset collected a priori. The offline setting presents two challenges: (i) We cannot collect Bob's private information, leading to a confounding bias when using standard RL methods, and (ii) a distributional mismatch between the behavior policy used to collect data and the desired policy we aim to learn. To tackle the confounding bias, we treat Bob's previous action as an instrumental variable for Alice's current decision making so as to adjust for the unmeasured confounding. We develop a novel identification result and use it to propose a new off-policy evaluation (OPE) method for evaluating policy pairs in this two-player turn-based game. To tackle the distributional mismatch, we leverage the idea of pessimism and use our OPE method to develop an off-policy learning algorithm for finding a desirable policy pair for both Alice and Bob. Finally, we prove that under mild assumptions such as partial coverage of the offline data, the policy pair obtained through our method converges to the optimal one at a satisfactory rate.

In this paper we present a new way of predicting the performance of a reinforcement learning policy given historical data that may have been generated by a different policy. The ability to evaluate a policy from historical data is important for applications where the deployment of a bad policy can be dangerous or costly. We show empirically that our algorithm produces estimates that often have orders of magnitude lower mean squared error than existing methods-it makes more efficient use of the available data. Our new estimator is based on two advances: an extension of the doubly robust estimator (Jiang & Li, 2015), and a new way to mix between model based estimates and importance sampling based estimates.

现代纵向研究在许多时间点收集特征数据，通常是相同的样本大小顺序。这些研究通常受到{辍学}和积极违规的影响。我们通过概括近期增量干预的效果（转换倾向分数而不是设置治疗价值）来解决这些问题，以适应多种结果和主题辍学。当条件忽略（不需要治疗阳性）时，我们给出了识别表达式的增量干预效果，并导出估计这些效果的非参数效率。然后我们提出了高效的非参数估计器，表明它们以快速参数速率收敛并产生均匀的推理保证，即使在较慢的速率下灵活估计滋扰函数。我们还研究了新型无限时间范围设置中的更传统的确定性效果的增量干预效应的方差比，其中时间点的数量可以随着样本大小而生长，并显示增量干预效果在统计精度下产生近乎指数的收益这个设置。最后，我们通过模拟得出结论，并在研究低剂量阿司匹林对妊娠结果的研究中进行了方法。

当并非观察到所有混杂因子并获得负面对照时，我们研究因果参数的估计。最近的工作表明，这些方法如何通过两个所谓的桥梁函数来实现识别和有效估计。在本文中，我们使用阴性对照来应对因果推断的主要挑战：这些桥梁功能的识别和估计。先前的工作依赖于这些功能的完整性条件，以识别因果参数并在估计中需要进行独特性假设，并且还集中于桥梁函数的参数估计。相反，我们提供了一种新的识别策略，以避免完整性条件。而且，我们根据最小学习公式为这些功能提供新的估计量。这些估计值适合通用功能类别，例如重现Hilbert空间和神经网络。我们研究了有限样本收敛的结果，既可以估计桥梁功能本身，又要在各种假设组合下对因果参数进行最终估计。我们尽可能避免桥梁上的独特条件。

我们研究了一个名为“战略MDP”的新型模型下的离线增强学习，该模型表征了本金和一系列与私有类型的近视药物之间的战略相互作用。由于双层结构和私人类型，战略MDP涉及主体与代理之间的信息不对称。我们专注于离线RL问题，其目标是基于由历史互动组成的预采用数据集学习委托人的最佳政策。未观察到的私人类型混淆了这样的数据集，因为它们会影响委托人收到的奖励和观察结果。我们提出了一种新颖的算法，具有算法工具（计划）的悲观政策学习，该算法利用仪器变量回归的思想和悲观主义原则在一般功能近似的背景下学习近乎最佳的原理政策。我们的算法是基于批判性观察，即主体的行为是有效的工具变量。特别是，在离线数据集中的部分覆盖范围假设下，我们证明计划输出$ 1 / \ sqrt {k} $ - 最佳策略，$ k $是收集的轨迹数量。我们进一步将框架应用于一些特殊的战略MDP案例，包括战略回归，战略强盗和推荐系统中的不合规性。