Existing statistical methods can be used to estimate a policy, or a mapping from covariates to decisions, which can then instruct decision makers. There is great interest in using such data-driven policies in healthcare. In healthcare, however, it is often important to explain to the healthcare provider, and to the patient, how a new policy differs from the current standard of care. This end is facilitated if one can pinpoint the aspects (i.e., parameters) of the policy that change most when moving from the standard of care to the new, suggested policy. To this end, we adapt ideas from Trust Region Policy Optimization. In our work, however, unlike in Trust Region Policy Optimization, the difference between the suggested policy and standard of care is required to be sparse, aiding with interpretability. In particular, we trade off between maximizing expected reward and minimizing the $L_1$ norm divergence between the parameters of the two policies. This yields "relative sparsity," where, as a function of a tuning parameter, $\lambda$, we can approximately control the number of parameters in our suggested policy that differ from their counterparts in the standard of care. We develop our methodology for the observational data setting. We propose a problem-specific criterion for selecting $\lambda$, perform simulations, and illustrate our method with a real, observational healthcare dataset, deriving a policy that is easy to explain in the context of the current standard of care. Our work promotes the adoption of data-driven decision aids, which have great potential to improve health outcomes.

离线政策优化可能会对许多现实世界的决策问题产生重大影响，因为在线学习在许多应用中可能是不可行的。重要性采样及其变体是离线策略评估中一种常用的估计器类型，此类估计器通常不需要关于价值函数或决策过程模型功能类的属性和代表性能力的假设。在本文中，我们确定了一种重要的过度拟合现象，以优化重要性加权收益，在这种情况下，学到的政策可以基本上避免在最初的状态空间的一部分中做出一致的决策。我们提出了一种算法，以避免通过新的每个国家 - 邻居标准化约束过度拟合，并提供对拟议算法的理论理由。我们还显示了以前尝试这种方法的局限性。我们在以医疗风格的模拟器为中测试算法，该模拟器是从真实医院收集的记录数据集和连续的控制任务。这些实验表明，与最先进的批处理学习算法相比，所提出的方法的过度拟合和更好的测试性能。

我们开发了增强学习（RL）框架，用于通过稀疏，用户解释的更改来改善现有行为策略。我们的目标是在获得尽可能多的收益的同时进行最小的改变。我们将最小的变化定义为在原始政策和拟议的政策之间具有稀疏的全球对比解释。我们改善了当前的政策，以使全球对比解释的简短限制。我们使用离散的MDP和连续的2D导航域来演示我们的框架。

我们考虑在离线域中的强化学习（RL）方法，没有其他在线数据收集，例如移动健康应用程序。计算机科学文献中的大多数现有策略优化算法都是在易于收集或模拟的在线设置中开发的。通过预采用的离线数据集，它们对移动健康应用程序的概括尚不清楚。本文的目的是开发一个新颖的优势学习框架，以便有效地使用预采用的数据进行策略优化。所提出的方法采用由任何现有的最新RL算法计算的最佳Q-估计器作为输入，并输出一项新策略，其价值比基于初始Q-得出的策略更快地收敛速度。估计器。进行广泛的数值实验以支持我们的理论发现。我们提出的方法的Python实现可在https://github.com/leyuanheart/seal上获得。

有许多可用于选择优先考虑治疗的可用方法，包括基于治疗效果估计，风险评分和手工制作规则的遵循申请。我们将秩加权平均治疗效应（RATY）指标作为一种简单常见的指标系列，用于比较水平竞争范围的治疗优先级规则。对于如何获得优先级规则，率是不可知的，并且仅根据他们在识别受益于治疗中受益的单位的方式进行评估。我们定义了一系列速率估算器，并证明了一个中央限位定理，可以在各种随机和观测研究环境中实现渐近精确的推断。我们为使用自主置信区间的使用提供了理由，以及用于测试关于治疗效果中的异质性的假设的框架，与优先级规则相关。我们对速率的定义嵌套了许多现有度量，包括QINI系数，以及我们的分析直接产生了这些指标的推论方法。我们展示了我们从个性化医学和营销的示例中的方法。在医疗环境中，使用来自Sprint和Accor-BP随机对照试验的数据，我们发现没有明显的证据证明异质治疗效果。另一方面，在大量的营销审判中，我们在一些数字广告活动的治疗效果中发现了具有的强大证据，并证明了如何使用率如何比较优先考虑估计风险的目标规则与估计治疗效益优先考虑的目标规则。

基于循证或数据驱动的动态治疗方案对于个性化医学至关重要，这可以受益于离线增强学习（RL）。尽管可以在医疗机构之间获得大量医疗保健数据，但由于隐私限制，它们被禁止共享。此外，异质性存在于不同的站点。结果，需要联合的离线RL算法，并且有望解决这些问题。在本文中，我们提出了一个多站点的马尔可夫决策过程模型，该模型允许跨站点的均质和异质效应。提出的模型使对站点级特征的分析成为可能。我们设计了具有样本复杂性的离线RL的第一个联合政策优化算法。所提出的算法是通信效率和隐私性的，它仅需要通过交换摘要统计信息进行一轮通信交互。我们为所提出的算法提供理论保证，而没有足够的动作覆盖率，在这种情况下，学到的策略的次优率与速率相当，就好像数据没有分布一样。广泛的模拟证明了拟议算法的有效性。该方法应用于多个站点中的败血症数据集，以说明其在临床环境中的使用。

Dynamic treatment regimes assign personalized treatments to patients sequentially over time based on their baseline information and time-varying covariates. In mobile health applications, these covariates are typically collected at different frequencies over a long time horizon. In this paper, we propose a deep spectral Q-learning algorithm, which integrates principal component analysis (PCA) with deep Q-learning to handle the mixed frequency data. In theory, we prove that the mean return under the estimated optimal policy converges to that under the optimal one and establish its rate of convergence. The usefulness of our proposal is further illustrated via simulations and an application to a diabetes dataset.

本文关注的是，基于无限视野设置中预采用的观察数据，为目标策略的价值离线构建置信区间。大多数现有作品都假定不存在混淆观察到的动作的未测量变量。但是，在医疗保健和技术行业等实际应用中，这种假设可能会违反。在本文中，我们表明，使用一些辅助变量介导动作对系统动态的影响，目标策略的价值在混杂的马尔可夫决策过程中可以识别。基于此结果，我们开发了一个有效的非政策值估计器，该估计值可用于潜在模型错误指定并提供严格的不确定性定量。我们的方法是通过理论结果，从乘车共享公司获得的模拟和真实数据集证明的。python实施了建议的过程，请访问https://github.com/mamba413/cope。

在当今的社会中，算法建议和决策已经变得普遍存在。其中许多和其他数据驱动的政策，特别是在公共政策领域，基于已知的确定性规则，以确保其透明度和可解释性。例如，算法预审风险评估，即作为我们的激励申请，提供相对简单，确定性的分类分数和建议，以帮助法官发出释放决策。我们如何根据现有的确定性政策使用数据，并学习新的和更好的策略？不幸的是，策略学习的先前方法不适用，因为它们需要现有的政策是随机而非确定性的。我们开发了一种强大的优化方法，部分地识别策略的预期效用，然后通过最小化最坏情况后悔找到最佳策略。由此产生的政策是保守的，但具有统计安全保障，允许政策制定者限制产生比现有政策更糟糕的结果的可能性。我们将这种方法扩展到人类借助算法建议作出决策的共同和重要的环境。最后，我们将提议的方法应用于预审风险评估工具的独特现场实验。我们推出了新的分类和推荐规则，以保留现有仪器的透明度和可解释性，同时可能以较低的成本导致更好的整体结果。

个性化医学是针对患者特征量身定制的医学范式，是医疗保健中越来越有吸引力的领域。个性化医学的一个重要目标是根据基线协变量鉴定患者的亚组，而与其他比较治疗相比，从目标治疗中受益更多。当前的大多数亚组识别方法仅着重于获得具有增强治疗效果的亚组，而无需注意亚组大小。但是，临床上有意义的亚组学习方法应确定可以从更好的治疗中受益的患者数量的最大数量。在本文中，我们提出了一项最佳的亚组选择规则（SSR），该规则最大化选定的患者的数量，同时，达到了预先指定的临床意义上有意义的平均结果，例如平均治疗效果。我们基于描述结果中的处理 - 果膜相互作用的对比函数，得出了最佳SSR的两种等效理论形式。我们进一步提出了一个受约束的策略树搜索算法（资本），以在可解释的决策树类中找到最佳SSR。所提出的方法是灵活的，可以处理多种限制因素，以惩罚具有负面治疗效果的患者，并使用受限的平均生存时间作为临床上有趣的平均结果来解决事件数据的时间。进行了广泛的模拟，比较研究和实际数据应用，以证明我们方法的有效性和实用性。

Medical treatments tailored to a patient's baseline characteristics hold the potential of improving patient outcomes while reducing negative side effects. Learning individualized treatment rules (ITRs) often requires aggregation of multiple datasets(sites); however, current ITR methodology does not take between-site heterogeneity into account, which can hurt model generalizability when deploying back to each site. To address this problem, we develop a method for individual-level meta-analysis of ITRs, which jointly learns site-specific ITRs while borrowing information about feature sign-coherency via a scientifically-motivated directionality principle. We also develop an adaptive procedure for model tuning, using information criteria tailored to the ITR learning problem. We study the proposed methods through numerical experiments to understand their performance under different levels of between-site heterogeneity and apply the methodology to estimate ITRs in a large multi-center database of electronic health records. This work extends several popular methodologies for estimating ITRs (A-learning, weighted learning) to the multiple-sites setting.

各种研究中的主要研究目标是使用观察数据集，并提供一种可以产生因果改进的新的反事准则。人动态治疗制度（DTRS）被广泛研究以正规化此过程。然而，在寻找最佳DTR中的可用方法通常依赖于现实世界应用（例如，医学决策或公共政策）违反的假设，特别是当（a）不可忽视未观察到的混乱时，并且（b）未观察到的混乱是时变（例如，受前一个行动的影响）。当违反这种假设时，人们经常面临关于所需的潜在因果模型来获得最佳DTR的歧视。这种歧义是不可避免的，因为无法从观察到的数据中理解未观察到的混血者的动态及其对观察到的数据的因果影响。通过案例研究，为在移植后接受伴随医院移植的患者的患者寻找卓越的治疗方案，并在移植后遇到称为新的发病糖尿病（NODAT），我们将DTR扩展到一个新阶级，被称为暧昧的动态治疗制度（ADTR） ，其中根据潜在因果模型的“云”评估治疗方案的随意影响。然后，我们将Adtrs连接到Saghafian（2018）提出的暧昧部分可观察标记决策过程（APOMDPS），并开发了两种加强学习方法，称为直接增强V-Learning（DAV-Learning）和安全增强V-Learning（SAV-Learning），其中使用观察到的数据能够有效地学习最佳治疗方案。我们为这些学习方法制定理论结果，包括（弱）一致性和渐近正常性。我们进一步评估了这些学习方法在案例研究和仿真实验中的性能。

上下文的强盗和强化学习算法已成功用于各种交互式学习系统，例如在线广告，推荐系统和动态定价。但是，在高风险应用领域（例如医疗保健）中，它们尚未被广泛采用。原因之一可能是现有方法假定基本机制是静态的，因为它们不会在不同的环境上改变。但是，在许多现实世界中，这些机制可能会跨环境变化，这可能使静态环境假设无效。在本文中，考虑到离线上下文匪徒的框架，我们迈出了解决环境转变问题的一步。我们认为环境转移问题通过因果关系的角度，并提出了多种环境的背景匪徒，从而可以改变基本机制。我们采用因果关系文献的不变性概念，并介绍了政策不变性的概念。我们认为，仅当存在未观察到的变量时，政策不变性才有意义，并表明在这种情况下，保证在适当假设下跨环境概括最佳不变政策。我们的结果建立了因果关系，不变性和上下文土匪之间的具体联系。

非政策评估（OPE）方法是评估高风险领域（例如医疗保健）中的政策的关键工具，在这些领域，直接部署通常是不可行的，不道德的或昂贵的。当期望部署环境发生变化（即数据集偏移）时，对于OPE方法，在此类更改中对策略进行强大的评估非常重要。现有的方法考虑对可以任意改变环境的任何可观察到的任何可观察到的属性的大量转变。这通常会导致对公用事业的高度悲观估计，从而使可能对部署有用的政策无效。在这项工作中，我们通过研究领域知识如何帮助提供对政策公用事业的更现实的估计来解决上述问题。我们利用人类的投入，在环境的哪些方面可能会发生变化，并适应OPE方法仅考虑这些方面的转变。具体而言，我们提出了一个新颖的框架，可靠的OPE（绳索），该框架认为基于用户输入的数据中的协变量子集，并估算了这些变化下最坏情况的效用。然后，我们为OPE开发了对OPE的计算有效算法，这些算法对上述强盗和马尔可夫决策过程的上述变化很强。我们还理论上分析了这些算法的样品复杂性。从医疗领域进行的合成和现实世界数据集进行了广泛的实验表明，我们的方法不仅可以捕获现实的数据集准确地转移，而且还会导致较少的悲观政策评估。

机器学习已成功构建许多顺序决策，作为监督预测，或通过加强学习的最佳决策政策识别。在数据约束的离线设置中，两种方法可能会失败，因为它们假设完全最佳行为或依赖于探索可能不存在的替代方案。我们介绍了一种固有的不同方法，该方法识别出状态空间的可能的“死角”。我们专注于重症监护病房中患者的状况，其中``“医疗死亡端”表明患者将过期，无论所有潜在的未来治疗序列如何。我们假设“治疗安全”为避免与其导致死亡事件的机会成比例的概率成比例的治疗，呈现正式证明，以及作为RL问题的帧发现。然后，我们将三个独立的深度神经模型进行自动化状态建设，死端发现和确认。我们的经验结果发现，死亡末端存在于脓毒症患者的真正临床数据中，并进一步揭示了安全处理与施用的差距。

离线政策评估（OPE）被认为是强化学习（RL）的基本且具有挑战性的问题。本文重点介绍了基于从无限 - 马尔可夫决策过程的框架下从可能不同策略生成的预收集的数据的目标策略的价值估计。由RL最近开发的边际重要性采样方法和因果推理中的协变量平衡思想的动机，我们提出了一个新颖的估计器，具有大约投影的国家行动平衡权重，以进行策略价值估计。我们获得了这些权重的收敛速率，并表明拟议的值估计量在技术条件下是半参数有效的。就渐近学而言，我们的结果比例均以每个轨迹的轨迹数量和决策点的数量进行扩展。因此，当决策点数量分歧时，仍然可以使用有限的受试者实现一致性。此外，我们开发了一个必要且充分的条件，以建立贝尔曼操作员在政策环境中的适当性，这表征了OPE的困难，并且可能具有独立的利益。数值实验证明了我们提出的估计量的有希望的性能。

即使在医学和公共政策等高风险设置中，数据驱动的决策也起着重要作用。从观察到的数据中学习最佳策略需要仔细制定效用函数，该功能的期望值在人群中最大化。尽管研究人员通常使用仅依赖于观察到的结果的实用程序，但在许多情况下，决策者的效用函数的特征是所有动作下的潜在结果集合。例如，``不伤害''的希波克拉底原则意味着，在未经治疗的情况下生存的患者导致死亡的成本大于预防救生治疗的成本。我们考虑使用此形式的不对称效用功能的最佳政策学习。我们表明，不对称公用事业会导致无法识别的社会福利功能，因此我们首先部分识别它。利用统计决策理论，我们通过最大程度地减少相对于替代政策的最大遗憾来得出最小的决策规则。我们表明，可以通过解决中间分类问题从观察到的数据中学习最小值决策规则。我们还确定，此过程的有限样本遗憾是由这些中间分类器的错误分类率界定的。我们将此概念框架和方法应用于有关是否使用肺高血压患者是否使用正确的心脏导管插入术的决定。

A / B测试或在线实验是一种标准的业务策略，可以在制药，技术和传统行业中与旧产品进行比较。在双面市场平台（例如优步）的在线实验中出现了主要挑战，其中只有一个单位接受一系列处理随着时间的推移。在这些实验中，给定时间的治疗会影响当前结果以及未来的结果。本文的目的是引入用于在这些实验中携带A / B测试的加强学习框架，同时表征长期治疗效果。我们所提出的测试程序允许顺序监控和在线更新。它通常适用于不同行业的各种治疗设计。此外，我们系统地研究了我们测试程序的理论特性（例如，尺寸和功率）。最后，我们将框架应用于模拟数据和从技术公司获得的真实数据示例，以说明其在目前的实践中的优势。我们的测试的Python实现是在https://github.com/callmespring/causalrl上找到的。

源于机器学习和优化的临床决策支持工具可以为医疗保健提供者提供显着的价值，包括通过更好地管理重症监护单位。特别是，重要的是，患者排放任务在降低患者的住宿时间（以及相关住院费用）和放弃决策后的入院甚至死亡的风险之间存在对细微的折衷。这项工作介绍了一个端到端的一般框架，用于捕获这种权衡，以推荐患者电子健康记录的最佳放电计时决策。数据驱动方法用于导出捕获患者的生理条件的解析，离散状态空间表示。基于该模型和给定的成本函数，在数值上制定并解决了无限的地平线折扣明马尔科夫决策过程，以计算最佳的排放政策，其价值使用违规评估策略进行评估。进行广泛的数值实验以使用现实生活重症监护单元患者数据来验证所提出的框架。

通过观察自己的行为来了解决策者的优先事项对于在医疗保健等决策过程中的透明度和问责制至关重要。尽管传统的政策学习方法几乎总是假定行为的平稳性，但在实践中几乎不正确：随着临床专业人员随着时间的流逝，医学实践不断发展。例如，随着医学界对器官移植的理解多年来的发展，一个相关的问题是：实际的器官分配政策如何发展？为了给出答案，我们希望采用一种政策学习方法，该方法提供了可解释的决策代表，尤其是捕获代理商对世界的非统计知识，并以离线方式运作。首先，我们将决策者的不断发展的行为对上下文的强盗进行了建模，并正式化了背景匪徒（ICB）的问题。其次，我们提出了两种混凝土算法作为解决方案，学习代理行为的学习参数和非参数表示。最后，使用真实和模拟数据进行肝移植，我们说明了我们方法的适用性和解释性，以及基准测试并验证其准确性。