Sequential testing, always-valid $p$-values, and confidence sequences promise flexible statistical inference and on-the-fly decision making. However, unlike fixed-$n$ inference based on asymptotic normality, existing sequential tests either make parametric assumptions and end up under-covering/over-rejecting when these fail or use non-parametric but conservative concentration inequalities and end up over-covering/under-rejecting. To circumvent these issues, we sidestep exact at-least-$\alpha$ coverage and focus on asymptotically exact coverage and asymptotic optimality. That is, we seek sequential tests whose probability of ever rejecting a true hypothesis asymptotically approaches $\alpha$ and whose expected time to reject a false hypothesis approaches a lower bound on all tests with asymptotic coverage at least $\alpha$, both under an appropriate asymptotic regime. We permit observations to be both non-parametric and dependent and focus on testing whether the observations form a martingale difference sequence. We propose the universal sequential probability ratio test (uSPRT), a slight modification to the normal-mixture sequential probability ratio test, where we add a burn-in period and adjust thresholds accordingly. We show that even in this very general setting, the uSPRT is asymptotically optimal under mild generic conditions. We apply the results to stabilized estimating equations to test means, treatment effects, etc. Our results also provide corresponding guarantees for the implied confidence sequences. Numerical simulations verify our guarantees and the benefits of the uSPRT over alternatives.

Reinforcement learning (RL) is one of the most vibrant research frontiers in machine learning and has been recently applied to solve a number of challenging problems. In this paper, we primarily focus on off-policy evaluation (OPE), one of the most fundamental topics in RL. In recent years, a number of OPE methods have been developed in the statistics and computer science literature. We provide a discussion on the efficiency bound of OPE, some of the existing state-of-the-art OPE methods, their statistical properties and some other related research directions that are currently actively explored.

我们研究了对识别的非唯一麻烦的线性功能的通用推断，该功能定义为未识别条件矩限制的解决方案。这个问题出现在各种应用中，包括非参数仪器变量模型，未衡量的混杂性下的近端因果推断以及带有阴影变量的丢失 - 与随机数据。尽管感兴趣的线性功能（例如平均治疗效应）在适当的条件下是可以识别出的，但令人讨厌的非独家性对统计推断构成了严重的挑战，因为在这种情况下，常见的滋扰估计器可能是不稳定的，并且缺乏固定限制。在本文中，我们提出了对滋扰功能的受惩罚的最小估计器，并表明它们在这种挑战性的环境中有效推断。提出的滋扰估计器可以适应灵活的功能类别，重要的是，无论滋扰是否是唯一的，它们都可以融合到由惩罚确定的固定限制。我们使用受惩罚的滋扰估计器来形成有关感兴趣的线性功能的依据估计量，并在通用高级条件下证明其渐近正态性，这提供了渐近有效的置信区间。

我们研究了具有一般函数近似的部分可观察的MDP（POMDP）的外部评估（OPE）。现有的方法，例如顺序重要性采样估计器和拟合-Q评估，受POMDP中的地平线的诅咒。为了解决这个问题，我们通过引入将未来代理作为输入的未来依赖性值函数来开发一种新颖的无模型OPE方法。未来依赖性的价值函数在完全可观察的MDP中起着与经典价值函数相似的角色。我们为未来依赖性价值作为条件矩方程提供了一个新的Bellman方程，将历史记录代理用作仪器变量。我们进一步提出了一种最小值学习方法，以使用新的Bellman方程来学习未来依赖的价值函数。我们获得PAC结果，这意味着我们的OPE估计器是一致的，只要期货和历史包含有关潜在状态和Bellman完整性的足够信息。最后，我们将方法扩展到学习动力学，并在POMDP中建立我们的方法与众所周知的光谱学习方法之间的联系。

我们研究了离线加强学习（RL）的代表性学习，重点是离线政策评估（OPE）的重要任务。最近的工作表明，与监督的学习相反，Q功能的可实现性不足以学习。样品效率OPE的两个足够条件是Bellman的完整性和覆盖范围。先前的工作通常假设给出满足这些条件的表示形式，结果大多是理论上的。在这项工作中，我们提出了BCRL，该BCRL直接从数据中吸取了近似线性的贝尔曼完整表示，并具有良好的覆盖范围。通过这种学识渊博的表示，我们使用最小平方策略评估（LSPE）执行OPE，并在我们学习的表示中具有线性函数。我们提出了端到端的理论分析，表明我们的两阶段算法享有多项式样本复杂性，该算法在所考虑的丰富类别中提供了一些表示形式，这是线性的贝尔曼完成。从经验上讲，我们广泛评估了我们的DeepMind Control Suite的具有挑战性的基于图像的连续控制任务。我们显示我们的表示能够与针对非政策RL开发的先前表示的学习方法（例如Curl，SPR）相比，可以更好地使用OPE。 BCRL使用最先进的方法拟合Q评估（FQE）实现竞争性OPE误差，并在评估超出初始状态分布的评估时击败FQE。我们的消融表明，我们方法的线性铃铛完整和覆盖范围都至关重要。

我们研究了通过功能近似的强化学习，以部分可观察到的马尔可夫决策过程（POMDP），其中状态空间和观察空间很大甚至连续。特别是，我们考虑了POMDP的Hilbert空间嵌入，其中潜在状态的特征和观察的特征允许观测发射过程的有条件的希尔伯特空间嵌入，而潜在状态过渡是确定性的。在函数近似设置下，最佳潜在状态行动$ q $函数在状态功能中是线性的，而最佳$ q $ - 功能具有差距，我们提供了\ emph {计算和统计上有效} algorithm查找\ emph {确切的最佳}策略。我们在观察空间上的算法和特征的固有维度上，在多项式上显示了算法的计算和统计复杂性。此外，我们显示了确定性的潜在过渡和差距假设对于避免统计复杂性指数在地平线或维度中是必要的。由于我们的保证对状态和观察空间的大小没有明确的依赖性，因此我们的算法可证明对大规模POMDPS。

我们研究使用功能近似的部分可观察到的动力学系统的增强学习。我们提出了一个新的\ textit {部分可观察到的双线性actor-Critic-Critic框架}，它足以包括可观察到的图表部分可观察到的Markov决策过程（POMDPS），可观察到的线性Quadratic-Quadratic-Gaussian（LQG）（LQG），预测状态表示（POMDPS）（ PSRS），以及新引入的模型Hilbert空间嵌入POMDPS和可观察到的POMDP，具有潜在的低级过渡。在此框架下，我们提出了一种能够执行不可知论政策学习的参与者批评算法。给定一个由基于内存的策略组成的策略类别（查看最近观察的固定长度窗口），以及一个值得将内存和未来观察作为输入的功能组成的值函数类别，我们的算法学会了与最佳的最佳竞争在给定策略类中基于内存的策略。对于某些示例，例如可观察到的表格pomdps，可观察到的LQG和可观察到的具有潜在低级过渡的可观察到的POMDP，通过隐式利用其特殊特性，我们的算法甚至能够与全球最佳策略竞争，而无需支付对高度依赖的依赖，以竞争全球最佳的策略。它的样本复杂性。

非政策评估和学习（OPE/L）使用离线观察数据来做出更好的决策，这对于在线实验有限的应用至关重要。但是，完全取决于记录的数据，OPE/L对环境分布的变化很敏感 - 数据生成环境和部署策略的差异。 \ citet {si2020distributional}提议的分布在稳健的OPE/L（Drope/L）解决此问题，但该提案依赖于逆向权重，如果估计错误和遗憾，如果倾向是非参数估计的，即使其差异是次级估计，即使是次级估计的，其估计错误和遗憾将降低。对于标准的，非体，OPE/L，这是通过双重鲁棒（DR）方法来解决的，但它们并不自然地扩展到更复杂的drop/l，涉及最糟糕的期望。在本文中，我们提出了具有KL-Divergence不确定性集的DROPE/L的第一个DR算法。为了进行评估，我们提出了局部双重稳健的drope（LDR $^2 $ ope），并表明它在弱产品速率条件下实现了半摩托效率。多亏了本地化技术，LDR $^2 $ OPE仅需要安装少量回归，就像标准OPE的DR方法一样。为了学习，我们提出了连续的双重稳健下降（CDR $^2 $ opl），并表明，在涉及连续回归的产品速率条件下，它具有$ \ Mathcal {o} \ left的快速后悔率（n^） {-1/2} \ right）$即使未知的倾向是非参数估计的。我们从经验上验证了模拟中的算法，并将结果进一步扩展到一般$ f $ divergence的不确定性集。

由于平均治疗效果（ATE）可以衡量社会福利的变化，即使是积极的，也存在对大约10％人口的负面影响的风险。但是，评估这种风险是困难的，因为从未观察到任何一个单独的治疗效果（ITE），因此无法识别出10％的最差影响，而分布治疗效果仅比较每个治疗组中的第一个十分限到任何10％的人群。在本文中，我们考虑如何评估这一重要风险措施，正式为ITE分布的风险（CVAR）的条件价值。我们利用预处理协变量的可用性，并表征了协变量平均治疗效果（CATE）功能给出的ITE-VAR上最紧密的上限和下限。然后，我们继续研究如何从数据中有效估计这些界限并构建置信区间。即使在随机实验中，这也是一个挑战，因为它需要了解未知CATE函数的分布，如果我们使用富协变量以最佳控制异质性，这可能非常复杂。我们开发了一种偏见的方法，该方法克服了这一点，并证明即使CATE和其他令人讨厌的统计属性是通过Black-Box机器学习估算甚至不一致的。我们研究对法国搜索咨询服务的假设变化，我们的界限和推论表明，一个小的社会利益对实质性亚人群产生负面影响。

在TAN（2006）边缘敏感模型下，在不观察到的混淆存在下构建平均处理效应的界限问题。结合涉及对冲倾向分数的现有表征具有对问题的新的分布稳健特征，我们提出了我们称之为“双重有效/双重尖锐”（DVD）估计的这些界限的新颖估算器。双重清晰度对应于DVD估计始终估计灵敏度模型所暗示的最有可能（即，夏普）的界限，即使当所有滋扰参数都适当一致时，即使在两个滋扰参数中的一个被击败并实现半污染参数之一。双倍有效性是部分识别的全新财产：DVD估计仍然提供有效，但即使在大多数滋扰参数都被遗漏时，仍然没有锐利。实际上，即使在DVDS点估计无法渐近正常的情况下，标准沃尔德置信区间也可能保持有效。在二进制结果的情况下，DVD估计是特别方便的并且在结果回归和倾向评分方面具有闭合形式的表达。我们展示了模拟研究中的DVD估计，以及对右心导管插入的案例研究。