在当今的社会中，算法建议和决策已经变得普遍存在。其中许多和其他数据驱动的政策，特别是在公共政策领域，基于已知的确定性规则，以确保其透明度和可解释性。例如，算法预审风险评估，即作为我们的激励申请，提供相对简单，确定性的分类分数和建议，以帮助法官发出释放决策。我们如何根据现有的确定性政策使用数据，并学习新的和更好的策略？不幸的是，策略学习的先前方法不适用，因为它们需要现有的政策是随机而非确定性的。我们开发了一种强大的优化方法，部分地识别策略的预期效用，然后通过最小化最坏情况后悔找到最佳策略。由此产生的政策是保守的，但具有统计安全保障，允许政策制定者限制产生比现有政策更糟糕的结果的可能性。我们将这种方法扩展到人类借助算法建议作出决策的共同和重要的环境。最后，我们将提议的方法应用于预审风险评估工具的独特现场实验。我们推出了新的分类和推荐规则，以保留现有仪器的透明度和可解释性，同时可能以较低的成本导致更好的整体结果。

即使在医学和公共政策等高风险设置中，数据驱动的决策也起着重要作用。从观察到的数据中学习最佳策略需要仔细制定效用函数，该功能的期望值在人群中最大化。尽管研究人员通常使用仅依赖于观察到的结果的实用程序，但在许多情况下，决策者的效用函数的特征是所有动作下的潜在结果集合。例如，``不伤害''的希波克拉底原则意味着，在未经治疗的情况下生存的患者导致死亡的成本大于预防救生治疗的成本。我们考虑使用此形式的不对称效用功能的最佳政策学习。我们表明，不对称公用事业会导致无法识别的社会福利功能，因此我们首先部分识别它。利用统计决策理论，我们通过最大程度地减少相对于替代政策的最大遗憾来得出最小的决策规则。我们表明，可以通过解决中间分类问题从观察到的数据中学习最小值决策规则。我们还确定，此过程的有限样本遗憾是由这些中间分类器的错误分类率界定的。我们将此概念框架和方法应用于有关是否使用肺高血压患者是否使用正确的心脏导管插入术的决定。

针对社会福利计划中个人的干预措施的主要问题之一是歧视：个性化治疗可能导致跨年龄，性别或种族等敏感属性的差异。本文解决了公平有效的治疗分配规则的设计问题。我们采用了第一次的非遗憾视角，没有危害：我们选择了帕累托边境中最公平的分配。我们将优化投入到混合构成线性程序公式中，可以使用现成的算法来解决。我们对估计的政策功能的不公平性和在帕累托前沿的不公平保证在一般公平概念下的不公平性范围内得出了遗憾。最后，我们使用教育经济学的应用来说明我们的方法。

Statistical risk assessments inform consequential decisions such as pretrial release in criminal justice, and loan approvals in consumer finance. Such risk assessments make counterfactual predictions, predicting the likelihood of an outcome under a proposed decision (e.g., what would happen if we approved this loan?). A central challenge, however, is that there may have been unmeasured confounders that jointly affected past decisions and outcomes in the historical data. This paper proposes a tractable mean outcome sensitivity model that bounds the extent to which unmeasured confounders could affect outcomes on average. The mean outcome sensitivity model partially identifies the conditional likelihood of the outcome under the proposed decision, popular predictive performance metrics (e.g., accuracy, calibration, TPR, FPR), and commonly-used predictive disparities. We derive their sharp identified sets, and we then solve three tasks that are essential to deploying statistical risk assessments in high-stakes settings. First, we propose a doubly-robust learning procedure for the bounds on the conditional likelihood of the outcome under the proposed decision. Second, we translate our estimated bounds on the conditional likelihood of the outcome under the proposed decision into a robust, plug-in decision-making policy. Third, we develop doubly-robust estimators of the bounds on the predictive performance of an existing risk assessment.

本文提出了一种估计溢出效应存在福利最大化政策的实验设计。我考虑一个设置在其中组织成一个有限数量的大型群集，并在每个群集中以不观察到的方式交互。作为第一种贡献，我介绍了一个单波实验，以估计治疗概率的变化的边际效应，以考虑到溢出率，并测试政策最优性。该设计在群集中独立地随机化处理，并诱导局部扰动到对簇成对的治疗概率。使用估计的边际效应，我构建了对定期治疗分配规则最大化福利的实际测试，并且我表征了其渐近性质。该想法是，研究人员应报告对福利最大化政策的边际效应和测试的估计：边际效应表明福利改善的方向，并提供了关于是否值得进行额外实验以估计估计福利改善的证据治疗分配。作为第二种贡献，我设计了多波实验来估计治疗分配规则并最大化福利。我获得了小型样本保证，最大可获得的福利和估计政策（遗憾）评估的福利之间的差异。这种保证的必要性是，遗憾在迭代和集群的数量中线性会聚到零。校准在信息扩散和现金转移方案上校准的模拟表明，该方法导致了显着的福利改进。

在本文中，我们提出了一种非参数估计的方法，并推断了一般样本选择模型中因果效应参数的异质界限，初始治疗可能会影响干预后结果是否观察到。可观察到的协变量可能会混淆治疗选择，而观察结果和不可观察的结果可能会混淆。该方法提供条件效应界限作为策略相关的预处理变量的功能。它允许对身份不明的条件效应曲线进行有效的统计推断。我们使用灵活的半参数脱偏机学习方法，该方法可以适应柔性功能形式和治疗，选择和结果过程之间的高维混杂变量。还提供了易于验证的高级条件，以进行估计和错误指定的鲁棒推理保证。

使用历史观察数据的政策学习是发现广泛应用程序的重要问题。示例包括选择优惠，价格，要发送给客户的广告，以及选择要开出患者的药物。但是，现有的文献取决于这样一个关键假设，即将在未来部署学习策略的未来环境与生成数据的过去环境相同 - 这个假设通常是错误或太粗糙的近似值。在本文中，我们提高了这一假设，并旨在通过不完整的观察数据来学习一项稳健的策略。我们首先提出了一个政策评估程序，该程序使我们能够评估政策在最坏情况下的转变下的表现。然后，我们为此建议的政策评估计划建立了中心限制定理类型保证。利用这种评估方案，我们进一步提出了一种新颖的学习算法，该算法能够学习一项对对抗性扰动和未知协变量转移的策略，并根据统一收敛理论的性能保证进行了绩效保证。最后，我们从经验上测试了合成数据集中提出的算法的有效性，并证明它提供了使用标准策略学习算法缺失的鲁棒性。我们通过在现实世界投票数据集的背景下提供了我们方法的全面应用来结束本文。

各种研究中的主要研究目标是使用观察数据集，并提供一种可以产生因果改进的新的反事准则。人动态治疗制度（DTRS）被广泛研究以正规化此过程。然而，在寻找最佳DTR中的可用方法通常依赖于现实世界应用（例如，医学决策或公共政策）违反的假设，特别是当（a）不可忽视未观察到的混乱时，并且（b）未观察到的混乱是时变（例如，受前一个行动的影响）。当违反这种假设时，人们经常面临关于所需的潜在因果模型来获得最佳DTR的歧视。这种歧义是不可避免的，因为无法从观察到的数据中理解未观察到的混血者的动态及其对观察到的数据的因果影响。通过案例研究，为在移植后接受伴随医院移植的患者的患者寻找卓越的治疗方案，并在移植后遇到称为新的发病糖尿病（NODAT），我们将DTR扩展到一个新阶级，被称为暧昧的动态治疗制度（ADTR） ，其中根据潜在因果模型的“云”评估治疗方案的随意影响。然后，我们将Adtrs连接到Saghafian（2018）提出的暧昧部分可观察标记决策过程（APOMDPS），并开发了两种加强学习方法，称为直接增强V-Learning（DAV-Learning）和安全增强V-Learning（SAV-Learning），其中使用观察到的数据能够有效地学习最佳治疗方案。我们为这些学习方法制定理论结果，包括（弱）一致性和渐近正常性。我们进一步评估了这些学习方法在案例研究和仿真实验中的性能。

由于平均治疗效果（ATE）可以衡量社会福利的变化，即使是积极的，也存在对大约10％人口的负面影响的风险。但是，评估这种风险是困难的，因为从未观察到任何一个单独的治疗效果（ITE），因此无法识别出10％的最差影响，而分布治疗效果仅比较每个治疗组中的第一个十分限到任何10％的人群。在本文中，我们考虑如何评估这一重要风险措施，正式为ITE分布的风险（CVAR）的条件价值。我们利用预处理协变量的可用性，并表征了协变量平均治疗效果（CATE）功能给出的ITE-VAR上最紧密的上限和下限。然后，我们继续研究如何从数据中有效估计这些界限并构建置信区间。即使在随机实验中，这也是一个挑战，因为它需要了解未知CATE函数的分布，如果我们使用富协变量以最佳控制异质性，这可能非常复杂。我们开发了一种偏见的方法，该方法克服了这一点，并证明即使CATE和其他令人讨厌的统计属性是通过Black-Box机器学习估算甚至不一致的。我们研究对法国搜索咨询服务的假设变化，我们的界限和推论表明，一个小的社会利益对实质性亚人群产生负面影响。

我们探索了一个新的强盗实验模型，其中潜在的非组织序列会影响武器的性能。上下文 - 统一算法可能会混淆，而那些执行正确的推理面部信息延迟的算法。我们的主要见解是，我们称之为Deconfounst Thompson采样的算法在适应性和健壮性之间取得了微妙的平衡。它的适应性在易于固定实例中带来了最佳效率，但是在硬性非平稳性方面显示出令人惊讶的弹性，这会导致其他自适应算法失败。

了解特定待遇或政策与许多感兴趣领域有关的影响，从政治经济学，营销到医疗保健。在本文中，我们开发了一种非参数算法，用于在合成控制的背景下检测随着时间的流逝的治疗作用。该方法基于许多算法的反事实预测，而不必假设该算法正确捕获模型。我们介绍了一种推论程序来检测治疗效果，并表明测试程序对于固定，β混合过程渐近有效，而无需对所考虑的一组基础算法施加任何限制。我们讨论了平均治疗效果估计的一致性保证，并为提出的方法提供了遗憾的界限。算法类别可能包括随机森林，套索或任何其他机器学习估计器。数值研究和应用说明了该方法的优势。

Uncertainty is prevalent in engineering design, statistical learning, and decision making broadly. Due to inherent risk-averseness and ambiguity about assumptions, it is common to address uncertainty by formulating and solving conservative optimization models expressed using measure of risk and related concepts. We survey the rapid development of risk measures over the last quarter century. From its beginning in financial engineering, we recount their spread to nearly all areas of engineering and applied mathematics. Solidly rooted in convex analysis, risk measures furnish a general framework for handling uncertainty with significant computational and theoretical advantages. We describe the key facts, list several concrete algorithms, and provide an extensive list of references for further reading. The survey recalls connections with utility theory and distributionally robust optimization, points to emerging applications areas such as fair machine learning, and defines measures of reliability.

当并非观察到所有混杂因子并获得负面对照时，我们研究因果参数的估计。最近的工作表明，这些方法如何通过两个所谓的桥梁函数来实现识别和有效估计。在本文中，我们使用阴性对照来应对因果推断的主要挑战：这些桥梁功能的识别和估计。先前的工作依赖于这些功能的完整性条件，以识别因果参数并在估计中需要进行独特性假设，并且还集中于桥梁函数的参数估计。相反，我们提供了一种新的识别策略，以避免完整性条件。而且，我们根据最小学习公式为这些功能提供新的估计量。这些估计值适合通用功能类别，例如重现Hilbert空间和神经网络。我们研究了有限样本收敛的结果，既可以估计桥梁功能本身，又要在各种假设组合下对因果参数进行最终估计。我们尽可能避免桥梁上的独特条件。

有许多可用于选择优先考虑治疗的可用方法，包括基于治疗效果估计，风险评分和手工制作规则的遵循申请。我们将秩加权平均治疗效应（RATY）指标作为一种简单常见的指标系列，用于比较水平竞争范围的治疗优先级规则。对于如何获得优先级规则，率是不可知的，并且仅根据他们在识别受益于治疗中受益的单位的方式进行评估。我们定义了一系列速率估算器，并证明了一个中央限位定理，可以在各种随机和观测研究环境中实现渐近精确的推断。我们为使用自主置信区间的使用提供了理由，以及用于测试关于治疗效果中的异质性的假设的框架，与优先级规则相关。我们对速率的定义嵌套了许多现有度量，包括QINI系数，以及我们的分析直接产生了这些指标的推论方法。我们展示了我们从个性化医学和营销的示例中的方法。在医疗环境中，使用来自Sprint和Accor-BP随机对照试验的数据，我们发现没有明显的证据证明异质治疗效果。另一方面，在大量的营销审判中，我们在一些数字广告活动的治疗效果中发现了具有的强大证据，并证明了如何使用率如何比较优先考虑估计风险的目标规则与估计治疗效益优先考虑的目标规则。

在这项工作中，我们研究了数据驱动的决策，并偏离了经典的相同和独立分布（I.I.D.）假设。我们提出了一个新的框架，其中我们将历史样本从未知和不同的分布中产生，我们将其配置为异质环境。假定这些分布位于具有已知半径的异质球中，并围绕（也是）未知的未来（样本外）分布，将评估决策的表现。我们量化了中央数据驱动的策略（例如样本平均近似值，也可以通过速率优势）来量化的渐近性最坏案例遗憾，这是异质性球半径的函数。我们的工作表明，在问题类别和异质性概念的不同组合中，可实现的性能类型的变化很大。我们通过比较广泛研究的数据驱动问题（例如定价，滑雪租赁和新闻顾问）的异质版本来证明框架的多功能性。在途中，我们在数据驱动的决策和分配强大的优化之间建立了新的联系。

Virtually all machine learning tasks are characterized using some form of loss function, and "good performance" is typically stated in terms of a sufficiently small average loss, taken over the random draw of test data. While optimizing for performance on average is intuitive, convenient to analyze in theory, and easy to implement in practice, such a choice brings about trade-offs. In this work, we survey and introduce a wide variety of non-traditional criteria used to design and evaluate machine learning algorithms, place the classical paradigm within the proper historical context, and propose a view of learning problems which emphasizes the question of "what makes for a desirable loss distribution?" in place of tacit use of the expected loss.

This paper studies offline policy learning, which aims at utilizing observations collected a priori (from either fixed or adaptively evolving behavior policies) to learn an optimal individualized decision rule that achieves the best overall outcomes for a given population. Existing policy learning methods rely on a uniform overlap assumption, i.e., the propensities of exploring all actions for all individual characteristics are lower bounded in the offline dataset; put differently, the performance of the existing methods depends on the worst-case propensity in the offline dataset. As one has no control over the data collection process, this assumption can be unrealistic in many situations, especially when the behavior policies are allowed to evolve over time with diminishing propensities for certain actions. In this paper, we propose a new algorithm that optimizes lower confidence bounds (LCBs) -- instead of point estimates -- of the policy values. The LCBs are constructed using knowledge of the behavior policies for collecting the offline data. Without assuming any uniform overlap condition, we establish a data-dependent upper bound for the suboptimality of our algorithm, which only depends on (i) the overlap for the optimal policy, and (ii) the complexity of the policy class we optimize over. As an implication, for adaptively collected data, we ensure efficient policy learning as long as the propensities for optimal actions are lower bounded over time, while those for suboptimal ones are allowed to diminish arbitrarily fast. In our theoretical analysis, we develop a new self-normalized type concentration inequality for inverse-propensity-weighting estimators, generalizing the well-known empirical Bernstein's inequality to unbounded and non-i.i.d. data.

预测一组结果 - 而不是独特的结果 - 是统计学习中不确定性定量的有前途的解决方案。尽管有关于构建具有统计保证的预测集的丰富文献，但适应未知的协变量转变（实践中普遍存在的问题）还是一个严重的未解决的挑战。在本文中，我们表明具有有限样本覆盖范围保证的预测集是非信息性的，并提出了一种新型的无灵活分配方法PredSet-1Step，以有效地构建了在未知协方差转移下具有渐近覆盖范围保证的预测集。我们正式表明我们的方法是\ textIt {渐近上可能是近似正确}，对大型样本的置信度有很好的覆盖误差。我们说明，在南非队列研究中，它在许多实验和有关HIV风险预测的数据集中实现了名义覆盖范围。我们的理论取决于基于一般渐近线性估计器的WALD置信区间覆盖范围的融合率的新结合。

我们通过反馈信息研究了离线和在线上下文优化的问题，而不是观察损失，我们会在事后观察到最佳的动作，而是对目标功能充分了解的甲骨文。我们的目标是最大程度地减少遗憾，这被定义为我们的损失与全知的甲骨所产生的损失之间的区别。在离线设置中，决策者可以从过去段中获得信息，并且需要做出一个决策，而在在线环境中，决策者在每个时期内都会动态地基于一组新的可行动作和上下文功能，以动态进行决策。 。对于离线设置，我们表征了最佳的最小策略，确定可以实现的性能，这是数据引起的信息的基础几何形状的函数。在在线环境中，我们利用这种几何表征来优化累积遗憾。我们开发了一种算法，该算法在时间范围内产生了对数的第一个遗憾。

我们在无限地平线马尔可夫决策过程中考虑批量（离线）策略学习问题。通过移动健康应用程序的推动，我们专注于学习最大化长期平均奖励的政策。我们为平均奖励提出了一款双重强大估算器，并表明它实现了半导体效率。此外，我们开发了一种优化算法来计算参数化随机策略类中的最佳策略。估计政策的履行是通过政策阶级的最佳平均奖励与估计政策的平均奖励之间的差异来衡量，我们建立了有限样本的遗憾保证。通过模拟研究和促进体育活动的移动健康研究的分析来说明该方法的性能。