我们提出了一种通用公式，用于具有临床生存数据的设置中连续治疗建议问题，我们称之为深层生存剂量反应函数（DEEPSDRF）。也就是说，我们认为学习条件平均剂量反应（CADR）的问题仅来自历史数据，在历史数据中，观察到的因素（混杂因素）都会影响观察到的治疗和事件时间结果。DEEPSDRF的估计治疗效果使我们能够开发出针对选择偏差的校正的推荐算法。我们比较了基于随机搜索和强化学习的两种推荐方法，并在患者结局方面发现了相似的表现。我们在广泛的仿真研究和EICU研究所（ERI）数据库中测试了DeepSDRF和相应的推荐剂。据我们所知，这是首次使用因果模型来解决医疗环境中观察数据的连续治疗效果。

We develop a Bayesian semi-parametric model for the estimating the impact of dynamic treatment rules on survival among patients diagnosed with pediatric acute myeloid leukemia (AML). The data consist of a subset of patients enrolled in the phase III AAML1031 clinical trial in which patients move through a sequence of four treatment courses. At each course, they undergo treatment that may or may not include anthracyclines (ACT). While ACT is known to be effective at treating AML, it is also cardiotoxic and can lead to early death for some patients. Our task is to estimate the potential survival probability under hypothetical dynamic ACT treatment strategies, but there are several impediments. First, since ACT was not randomized in the trial, its effect on survival is confounded over time. Second, subjects initiate the next course depending on when they recover from the previous course, making timing potentially informative of subsequent treatment and survival. Third, patients may die or drop out before ever completing the full treatment sequence. We develop a generative Bayesian semi-parametric model based on Gamma Process priors to address these complexities. At each treatment course, the model captures subjects' transition to subsequent treatment or death in continuous time under a given rule. A g-computation procedure is used to compute a posterior over potential survival probability that is adjusted for time-varying confounding. Using this approach, we conduct posterior inference for the efficacy of hypothetical treatment rules that dynamically modify ACT based on evolving cardiac function.

严重冠状病毒疾病19（Covid-19）的患者通常需要补充氧作为必要的治疗方法。我们开发了一种基于深度加强学习（RL）的机器学习算法，用于持续管理缺氧率为重症监护下的关键病患者，这可以识别最佳的个性化氧气流速，具有强大的潜力，以降低相对于死亡率目前的临床实践。基本上，我们为Covid-19患者的氧气流动轨迹建模，并作为马尔可夫决策过程。基于个体患者特征和健康状况，基于加强学习的氧气控制政策，实时推荐氧气流速降低死亡率。我们通过使用从纽约大学Langone Health的Covid-19的叙述队员使用纽约大学Langone Healthation Mearchatory Maculation Mearchatory Chare，从2020年4月20日至1月2021年使用电子健康记录，通过交叉验证评估了拟议方法的表现。算法低于护理标准的2.57％（95％CI：2.08-3.06）减少（P <0.001）在我们的算法下的护理标准下的7.94％，平均推荐的氧气流量为1.28 L /分钟（95％CI：1.14-1.42）低于实际递送给患者的速率。因此，RL算法可能导致更好的重症监护治疗，可以降低死亡率，同时节省氧气稀缺资源。它可以减少氧气短缺问题，在Covid-19大流行期间改善公共卫生。

有许多可用于选择优先考虑治疗的可用方法，包括基于治疗效果估计，风险评分和手工制作规则的遵循申请。我们将秩加权平均治疗效应（RATY）指标作为一种简单常见的指标系列，用于比较水平竞争范围的治疗优先级规则。对于如何获得优先级规则，率是不可知的，并且仅根据他们在识别受益于治疗中受益的单位的方式进行评估。我们定义了一系列速率估算器，并证明了一个中央限位定理，可以在各种随机和观测研究环境中实现渐近精确的推断。我们为使用自主置信区间的使用提供了理由，以及用于测试关于治疗效果中的异质性的假设的框架，与优先级规则相关。我们对速率的定义嵌套了许多现有度量，包括QINI系数，以及我们的分析直接产生了这些指标的推论方法。我们展示了我们从个性化医学和营销的示例中的方法。在医疗环境中，使用来自Sprint和Accor-BP随机对照试验的数据，我们发现没有明显的证据证明异质治疗效果。另一方面，在大量的营销审判中，我们在一些数字广告活动的治疗效果中发现了具有的强大证据，并证明了如何使用率如何比较优先考虑估计风险的目标规则与估计治疗效益优先考虑的目标规则。

在制定政策指南时，随机对照试验（RCT）代表了黄金标准。但是，RCT通常是狭窄的，并且缺乏更广泛的感兴趣人群的数据。这些人群中的因果效应通常是使用观察数据集估算的，这可能会遭受未观察到的混杂和选择偏见。考虑到一组观察估计（例如，来自多项研究），我们提出了一个试图拒绝偏见的观察性估计值的元偏值。我们使用验证效应，可以从RCT和观察数据中推断出的因果效应。在拒绝未通过此测试的估计器之后，我们对RCT中未观察到的亚组的外推性效应产生了保守的置信区间。假设至少一个观察估计量在验证和外推效果方面是渐近正常且一致的，我们为我们算法输出的间隔的覆盖率概率提供了保证。为了促进在跨数据集的因果效应运输的设置中，我们给出的条件下，即使使用灵活的机器学习方法用于估计滋扰参数，群体平均治疗效应的双重稳定估计值也是渐近的正常。我们说明了方法在半合成和现实世界数据集上的特性，并表明它与标准的荟萃分析技术相比。

Strategic test allocation plays a major role in the control of both emerging and existing pandemics (e.g., COVID-19, HIV). Widespread testing supports effective epidemic control by (1) reducing transmission via identifying cases, and (2) tracking outbreak dynamics to inform targeted interventions. However, infectious disease surveillance presents unique statistical challenges. For instance, the true outcome of interest - one's positive infectious status, is often a latent variable. In addition, presence of both network and temporal dependence reduces the data to a single observation. As testing entire populations regularly is neither efficient nor feasible, standard approaches to testing recommend simple rule-based testing strategies (e.g., symptom based, contact tracing), without taking into account individual risk. In this work, we study an adaptive sequential design involving n individuals over a period of {\tau} time-steps, which allows for unspecified dependence among individuals and across time. Our causal target parameter is the mean latent outcome we would have obtained after one time-step, if, starting at time t given the observed past, we had carried out a stochastic intervention that maximizes the outcome under a resource constraint. We propose an Online Super Learner for adaptive sequential surveillance that learns the optimal choice of tests strategies over time while adapting to the current state of the outbreak. Relying on a series of working models, the proposed method learns across samples, through time, or both: based on the underlying (unknown) structure in the data. We present an identification result for the latent outcome in terms of the observed data, and demonstrate the superior performance of the proposed strategy in a simulation modeling a residential university environment during the COVID-19 pandemic.

因果关系的概念在人类认知中起着重要作用。在过去的几十年中，在许多领域（例如计算机科学，医学，经济学和教育）中，因果推论已经得到很好的发展。随着深度学习技术的发展，它越来越多地用于针对反事实数据的因果推断。通常，深层因果模型将协变量的特征映射到表示空间，然后设计各种客观优化函数，以根据不同的优化方法公正地估算反事实数据。本文重点介绍了深层因果模型的调查，其核心贡献如下：1）我们在多种疗法和连续剂量治疗下提供相关指标； 2）我们从时间开发和方法分类的角度综合了深层因果模型的全面概述； 3）我们协助有关相关数据集和源代码的详细且全面的分类和分析。

大型观察数据越来越多地提供健康，经济和社会科学等学科，研究人员对因果问题而不是预测感兴趣。在本文中，从旨在调查参与学校膳食计划对健康指标的实证研究，研究了使用非参数回归的方法估算异质治疗效果的问题。首先，我们介绍了与观察或非完全随机数据进行因果推断相关的设置和相关的问题，以及如何在统计学习工具的帮助下解决这些问题。然后，我们审查并制定现有最先进的框架的统一分类，允许通过非参数回归模型来估算单个治疗效果。在介绍模型选择问题的简要概述后，我们说明了一些关于三种不同模拟研究的方法的性能。我们通过展示一些关于学校膳食计划数据的实证分析的一些方法的使用来结束。

基于森林的方法最近在非参数治疗效应估计中获得了普及。在这一工作方面，我们引入了因果生存森林，可用于在可能右估计结果的生存和观察环境中估计异质治疗效果。我们的方法依赖于正交估计方程来在不满意的情况下对审查和选择效果进行鲁棒性调整。在我们的实验中，我们发现相对于许多基线的表现良好的方法。

传统的因果推理方法利用观察性研究数据来估计潜在治疗的观察到的差异和未观察到的结果，称为条件平均治疗效果（CATE）。然而，凯特就对应于仅第一刻的比较，因此可能不足以反映治疗效果的全部情况。作为替代方案，估计全部潜在结果分布可以提供更多的见解。但是，估计治疗效果的现有方法潜在的结果分布通常对这些分布施加限制性或简单的假设。在这里，我们提出了合作因果网络（CCN），这是一种新颖的方法，它通过学习全部潜在结果分布而超出了CATE的估计。通过CCN框架估算结果分布不需要对基础数据生成过程的限制性假设。此外，CCN促进了每种可能处理的效用的估计，并允许通过效用函数进行特定的特定变异。 CCN不仅将结果估计扩展到传统的风险差异之外，而且还可以通过定义灵活的比较来实现更全面的决策过程。根据因果文献中通常做出的假设，我们表明CCN学习了渐近捕获真正潜在结果分布的分布。此外，我们提出了一种调整方法，该方法在经验上可以有效地减轻观察数据中治疗组之间的样本失衡。最后，我们评估了CCN在多个合成和半合成实验中的性能。我们证明，与现有的贝叶斯和深层生成方法相比，CCN学会了改进的分布估计值，以及对各种效用功能的改进决策。

决策者需要在采用新的治疗政策之前预测结果的发展，该政策定义了何时以及如何连续地影响结果的治疗序列。通常，预测介入的未来结果轨迹的算法将未来治疗的固定顺序作为输入。这要么忽略了未来治疗对结果之前的结果的依赖性，要么隐含地假设已知治疗政策，因此排除了该政策未知或需要反事实分析的情况。为了应对这些局限性，我们开发了一种用于治疗和结果的联合模型，该模型允许估计处理策略和顺序治疗（OUT COMECTION数据）的影响。它可以回答有关治疗政策干预措施的介入和反事实查询，因为我们使用有关血糖进展的现实数据显示，并在此基础上进行了模拟研究。

我们考虑在具有多个可用的多个辅助来源的主要兴趣样本中最佳决策问题。感兴趣的结果是有限的，因为它仅在主要样本中观察到。实际上，这种多个数据源可能属于异质研究，因此不能直接组合。本文提出了一种新的框架来处理异构研究，并通过新的校准最佳决策（CODA）方法同时解决有限的结果，通过利用多种数据来源的常见中间结果来解决。具体地，CODA允许跨不同样品的基线协变量具有均匀或异质的分布。在温和和可测试的假设下，不同样本中的中间结果的条件方法等于基线协变量和治疗信息，我们表明，条件平均结果的提议CODA估计是渐近正常的和更有效的，而不是使用主要样品。此外，由于速率双重稳健性，可以使用简单的插件方法轻松获得CODA估计器的方差。对模拟数据集的广泛实验显示了使用CoDa的经验有效性和提高效率，然后是与来自Eicu的辅助数据的主要样本是MIMIC-III数据集的真实应用程序。

估算随机实验的因果效应是临床研究的核心。降低这些分析中的统计不确定性是统计学家的重要目标。注册管理机构，事先审判和健康记录构成了对患者的历史数据汇编，其在可能是可利用至此的患者下的历史数据。但是，大多数历史借贷方法通过牺牲严格的I型错误率控制来达到方差的减少。在这里，我们建议使用利用线性协变调整的历史数据来提高试验分析的效率而不会产生偏见。具体而言，我们在历史数据上培训预后模型，然后使用线性回归估计治疗效果，同时调整试验受试者预测结果（其预后分数）。我们证明，在某些条件下，这种预后调整程序在大类估算仪中获得了最低差异。当不符合这些条件时，预后的协变量调整仍然比原始协变量调整更有效，并且效率的增益与上述预后模型的预测准确性的衡量标准成正比，与原始协变量的线性关系的预测准确性。我们展示了使用模拟的方法和阿尔茨海默病的临床试验的再分析，并观察平均平均误差的有意义减少和估计方差。最后，我们提供了一种简化的渐近方差公式，使得能够计算这些收益的功率计算。在使用预后模型的预后模型中，可以实现10％和30％的样品尺寸减少。

个性化医学是针对患者特征量身定制的医学范式，是医疗保健中越来越有吸引力的领域。个性化医学的一个重要目标是根据基线协变量鉴定患者的亚组，而与其他比较治疗相比，从目标治疗中受益更多。当前的大多数亚组识别方法仅着重于获得具有增强治疗效果的亚组，而无需注意亚组大小。但是，临床上有意义的亚组学习方法应确定可以从更好的治疗中受益的患者数量的最大数量。在本文中，我们提出了一项最佳的亚组选择规则（SSR），该规则最大化选定的患者的数量，同时，达到了预先指定的临床意义上有意义的平均结果，例如平均治疗效果。我们基于描述结果中的处理 - 果膜相互作用的对比函数，得出了最佳SSR的两种等效理论形式。我们进一步提出了一个受约束的策略树搜索算法（资本），以在可解释的决策树类中找到最佳SSR。所提出的方法是灵活的，可以处理多种限制因素，以惩罚具有负面治疗效果的患者，并使用受限的平均生存时间作为临床上有趣的平均结果来解决事件数据的时间。进行了广泛的模拟，比较研究和实际数据应用，以证明我们方法的有效性和实用性。

随着时间的流逝，估计反事实结果有可能通过协助决策者回答“假设”问题来解锁个性化医疗保健。现有的因果推理方法通常考虑观察和治疗决策之间的定期离散时间间隔，因此无法自然地模拟不规则采样的数据，这是实践中的共同环境。为了处理任意观察模式，我们将数据解释为基础连续时间过程中的样本，并建议使用受控微分方程的数学明确地对其潜在轨迹进行建模。这导致了一种新方法，即治疗效果神经控制的微分方程（TE-CDE），该方程可在任何时间点评估潜在的结果。此外，对抗性训练用于调整时间依赖性混杂，这在纵向环境中至关重要，这是常规时间序列中未遇到的额外挑战。为了评估解决此问题的解决方案，我们提出了一个基于肿瘤生长模型的可控仿真环境，以反映出各种临床方案的一系列场景。在所有模拟场景中，TE-CDE始终优于现有方法，并具有不规则采样。

本文关注的是，基于无限视野设置中预采用的观察数据，为目标策略的价值离线构建置信区间。大多数现有作品都假定不存在混淆观察到的动作的未测量变量。但是，在医疗保健和技术行业等实际应用中，这种假设可能会违反。在本文中，我们表明，使用一些辅助变量介导动作对系统动态的影响，目标策略的价值在混杂的马尔可夫决策过程中可以识别。基于此结果，我们开发了一个有效的非政策值估计器，该估计值可用于潜在模型错误指定并提供严格的不确定性定量。我们的方法是通过理论结果，从乘车共享公司获得的模拟和真实数据集证明的。python实施了建议的过程，请访问https://github.com/mamba413/cope。

估算干预措施对患者结果的影响是个性化医学的关键方面之一。他们的推断经常受到训练数据仅包括给药治疗的结果，而不是用于替代治疗（所谓的反事实结果）。基于观察数据的这种情况，即〜对于连续和二进制结果变量，不适用干预的数据，建议了几种方法。然而，患者结果通常以时间对次的数据记录，如果在观察期内未发生事件，则包括右审查的事件时间。尽管他们的重要性巨大，时间令人难度的数据很少用于治疗优化。我们建议一种名为Bites的方法（用于存活数据的平衡个体治疗效果），其将特定的半导体Cox损耗与治疗平衡的深神经网络相结合;即，我们使用积分概率度量（IPM）正常化治疗和未治疗的患者之间的差异。我们在仿真研究中展示了这种方法优于现有技术。此外，我们在应用于乳腺癌患者队列的应用中证明可以基于六个常规参数进行激素治疗。我们成功验证了独立的队列中的这一发现。提供叮咬作为易于使用的Python实现。

各种研究中的主要研究目标是使用观察数据集，并提供一种可以产生因果改进的新的反事准则。人动态治疗制度（DTRS）被广泛研究以正规化此过程。然而，在寻找最佳DTR中的可用方法通常依赖于现实世界应用（例如，医学决策或公共政策）违反的假设，特别是当（a）不可忽视未观察到的混乱时，并且（b）未观察到的混乱是时变（例如，受前一个行动的影响）。当违反这种假设时，人们经常面临关于所需的潜在因果模型来获得最佳DTR的歧视。这种歧义是不可避免的，因为无法从观察到的数据中理解未观察到的混血者的动态及其对观察到的数据的因果影响。通过案例研究，为在移植后接受伴随医院移植的患者的患者寻找卓越的治疗方案，并在移植后遇到称为新的发病糖尿病（NODAT），我们将DTR扩展到一个新阶级，被称为暧昧的动态治疗制度（ADTR） ，其中根据潜在因果模型的“云”评估治疗方案的随意影响。然后，我们将Adtrs连接到Saghafian（2018）提出的暧昧部分可观察标记决策过程（APOMDPS），并开发了两种加强学习方法，称为直接增强V-Learning（DAV-Learning）和安全增强V-Learning（SAV-Learning），其中使用观察到的数据能够有效地学习最佳治疗方案。我们为这些学习方法制定理论结果，包括（弱）一致性和渐近正常性。我们进一步评估了这些学习方法在案例研究和仿真实验中的性能。

In many applications, heterogeneous treatment effects on a censored response variable are of primary interest, and it is natural to evaluate the effects at different quantiles (e.g., median). The large number of potential effect modifiers, the unknown structure of the treatment effects, and the presence of right censoring pose significant challenges. In this paper, we develop a hybrid forest approach called Hybrid Censored Quantile Regression Forest (HCQRF) to assess the heterogeneous effects varying with high-dimensional variables. The hybrid estimation approach takes advantage of the random forests and the censored quantile regression. We propose a doubly-weighted estimation procedure that consists of a redistribution-of-mass weight to handle censoring and an adaptive nearest neighbor weight derived from the forest to handle high-dimensional effect functions. We propose a variable importance decomposition to measure the impact of a variable on the treatment effect function. Extensive simulation studies demonstrate the efficacy and stability of HCQRF. The result of the simulation study also convinces us of the effectiveness of the variable importance decomposition. We apply HCQRF to a clinical trial of colorectal cancer. We achieve insightful estimations of the treatment effect and meaningful variable importance results. The result of the variable importance also confirms the necessity of the decomposition.

我们考虑在离线域中的强化学习（RL）方法，没有其他在线数据收集，例如移动健康应用程序。计算机科学文献中的大多数现有策略优化算法都是在易于收集或模拟的在线设置中开发的。通过预采用的离线数据集，它们对移动健康应用程序的概括尚不清楚。本文的目的是开发一个新颖的优势学习框架，以便有效地使用预采用的数据进行策略优化。所提出的方法采用由任何现有的最新RL算法计算的最佳Q-估计器作为输入，并输出一项新策略，其价值比基于初始Q-得出的策略更快地收敛速度。估计器。进行广泛的数值实验以支持我们的理论发现。我们提出的方法的Python实现可在https://github.com/leyuanheart/seal上获得。