源于机器学习和优化的临床决策支持工具可以为医疗保健提供者提供显着的价值，包括通过更好地管理重症监护单位。特别是，重要的是，患者排放任务在降低患者的住宿时间（以及相关住院费用）和放弃决策后的入院甚至死亡的风险之间存在对细微的折衷。这项工作介绍了一个端到端的一般框架，用于捕获这种权衡，以推荐患者电子健康记录的最佳放电计时决策。数据驱动方法用于导出捕获患者的生理条件的解析，离散状态空间表示。基于该模型和给定的成本函数，在数值上制定并解决了无限的地平线折扣明马尔科夫决策过程，以计算最佳的排放政策，其价值使用违规评估策略进行评估。进行广泛的数值实验以使用现实生活重症监护单元患者数据来验证所提出的框架。

严重冠状病毒疾病19（Covid-19）的患者通常需要补充氧作为必要的治疗方法。我们开发了一种基于深度加强学习（RL）的机器学习算法，用于持续管理缺氧率为重症监护下的关键病患者，这可以识别最佳的个性化氧气流速，具有强大的潜力，以降低相对于死亡率目前的临床实践。基本上，我们为Covid-19患者的氧气流动轨迹建模，并作为马尔可夫决策过程。基于个体患者特征和健康状况，基于加强学习的氧气控制政策，实时推荐氧气流速降低死亡率。我们通过使用从纽约大学Langone Health的Covid-19的叙述队员使用纽约大学Langone Healthation Mearchatory Maculation Mearchatory Chare，从2020年4月20日至1月2021年使用电子健康记录，通过交叉验证评估了拟议方法的表现。算法低于护理标准的2.57％（95％CI：2.08-3.06）减少（P <0.001）在我们的算法下的护理标准下的7.94％，平均推荐的氧气流量为1.28 L /分钟（95％CI：1.14-1.42）低于实际递送给患者的速率。因此，RL算法可能导致更好的重症监护治疗，可以降低死亡率，同时节省氧气稀缺资源。它可以减少氧气短缺问题，在Covid-19大流行期间改善公共卫生。

机器学习已成功构建许多顺序决策，作为监督预测，或通过加强学习的最佳决策政策识别。在数据约束的离线设置中，两种方法可能会失败，因为它们假设完全最佳行为或依赖于探索可能不存在的替代方案。我们介绍了一种固有的不同方法，该方法识别出状态空间的可能的“死角”。我们专注于重症监护病房中患者的状况，其中``“医疗死亡端”表明患者将过期，无论所有潜在的未来治疗序列如何。我们假设“治疗安全”为避免与其导致死亡事件的机会成比例的概率成比例的治疗，呈现正式证明，以及作为RL问题的帧发现。然后，我们将三个独立的深度神经模型进行自动化状态建设，死端发现和确认。我们的经验结果发现，死亡末端存在于脓毒症患者的真正临床数据中，并进一步揭示了安全处理与施用的差距。

Using data from cardiovascular surgery patients with long and highly variable post-surgical lengths of stay (LOS), we develop a modeling framework to reduce recovery unit congestion. We estimate the LOS and its probability distribution using machine learning models, schedule procedures on a rolling basis using a variety of optimization models, and estimate performance with simulation. The machine learning models achieved only modest LOS prediction accuracy, despite access to a very rich set of patient characteristics. Compared to the current paper-based system used in the hospital, most optimization models failed to reduce congestion without increasing wait times for surgery. A conservative stochastic optimization with sufficient sampling to capture the long tail of the LOS distribution outperformed the current manual process and other stochastic and robust optimization approaches. These results highlight the perils of using oversimplified distributional models of LOS for scheduling procedures and the importance of using optimization methods well-suited to dealing with long-tailed behavior.

各种研究中的主要研究目标是使用观察数据集，并提供一种可以产生因果改进的新的反事准则。人动态治疗制度（DTRS）被广泛研究以正规化此过程。然而，在寻找最佳DTR中的可用方法通常依赖于现实世界应用（例如，医学决策或公共政策）违反的假设，特别是当（a）不可忽视未观察到的混乱时，并且（b）未观察到的混乱是时变（例如，受前一个行动的影响）。当违反这种假设时，人们经常面临关于所需的潜在因果模型来获得最佳DTR的歧视。这种歧义是不可避免的，因为无法从观察到的数据中理解未观察到的混血者的动态及其对观察到的数据的因果影响。通过案例研究，为在移植后接受伴随医院移植的患者的患者寻找卓越的治疗方案，并在移植后遇到称为新的发病糖尿病（NODAT），我们将DTR扩展到一个新阶级，被称为暧昧的动态治疗制度（ADTR） ，其中根据潜在因果模型的“云”评估治疗方案的随意影响。然后，我们将Adtrs连接到Saghafian（2018）提出的暧昧部分可观察标记决策过程（APOMDPS），并开发了两种加强学习方法，称为直接增强V-Learning（DAV-Learning）和安全增强V-Learning（SAV-Learning），其中使用观察到的数据能够有效地学习最佳治疗方案。我们为这些学习方法制定理论结果，包括（弱）一致性和渐近正常性。我们进一步评估了这些学习方法在案例研究和仿真实验中的性能。

乳腺癌是一种常见且致命的疾病，但是早期诊断时通常可以治愈。尽管大多数国家都有大规模筛查计划，但就乳腺癌筛查的单一全球公认政策尚无共识。疾病的复杂性；筛查方法的可用性有限，例如乳房X线摄影，磁共振成像（MRI）和超声筛选；公共卫生政策都将筛查政策制定。资源可用性问题需要设计符合预算的政策，该问题可以作为约束的部分可观察到的马尔可夫决策过程（CPOMDP）建模。在这项研究中，我们提出了一个多目标CPOMDP模型，用于乳腺癌筛查两个目标：最大程度地减少因乳腺癌而死亡的终生风险，并最大程度地调整了质量调整后的寿命。此外，我们考虑了扩展的动作空间，该空间允许筛查乳房X线摄影超出筛查方法。每个动作都对质量调整后的终身年份和终身风险以及独特的成本都有独特的影响。我们的结果揭示了针对不同预算水平的平均和高风险患者的最佳解决方案的帕累托前沿，决策者可以将其用于实践制定政策。

最近的文学建立了神经网络可以代表供应链和物流中一系列随机动态模型的良好政策。我们提出了一种结合方差减少技术的新算法，以克服通常在文献中使用的算法的限制，以学习此类神经网络策略。对于古典丢失的销售库存模型，该算法了解到使用无模型算法学习的神经网络策略，同时始于最优于数量级的最佳启发式基准。该算法是一个有趣的候选者，适用于供应链和物流中的其他随机动态问题，因为其开发中的思想是通用的。

许多高级决策遵循了循环结构，因为人类操作员从算法中收到建议，但是最终的决策者。因此，该算法的建议可能与实践中实施的实际决定有所不同。但是，大多数算法建议是通过解决假设建议将得到完美实施的优化问题来获得的。我们提出了一个依从性的优化框架，以捕获推荐和实施政策之间的二分法，并分析部分依从性对最佳建议的影响。我们表明，与当前的人类基线性能和建议算法相比，忽视部分依从现象，就像目前正在使用的大多数建议引擎所做的那样，可能会导致任意严重的性能恶化。我们的框架还提供了有用的工具来分析结构并计算自然可以抵抗这种人类偏差的最佳建议政策，并保证可以改善基线政策。

由于患病患者经常患贫血或凝血病，因此血液产物的输血是重症监护病房（ICU）的经常干预。但是，医生做出的不当输血决定通常与并发症的风险增加和医院成本更高有关。在这项工作中，我们旨在开发一种决策支持工具，该工具使用可用的患者信息来对三种常见的血液产品（红细胞，血小板和新鲜的冷冻血浆）进行输血决策。为此，我们采用了单批批处理增强学习（RL）算法，即离散的批处理约束Q学习，以确定观察到的患者轨迹的最佳动作（输血）。同时，我们考虑了不同的国家表示方法和奖励设计机制，以评估其对政策学习的影响。实验是在两个现实世界中的重症监护数据集上进行的：MIMIC-III和UCSF。结果表明，关于输血的政策建议通过准确性和对模拟III数据集的加权重要性评估进行了与真实医院政策的可比匹配。此外，数据筛选UCSF数据集的转移学习（TL）和RL的组合可以在准确性方面可提供高达$ 17.02％的提高，而跳跃和渐近性绩效提高了18.94％和21.63％加权重要性采样在三个输血任务上平均。最后，对输血决策的模拟表明，转移的RL政策可以将患者估计的28天死亡率降低2.74％，而UCSF数据集的敏锐度率降低了1.18％。

Warfarin is a widely used anticoagulant, and has a narrow therapeutic range. Dosing of warfarin should be individualized, since slight overdosing or underdosing can have catastrophic or even fatal consequences. Despite much research on warfarin dosing, current dosing protocols do not live up to expectations, especially for patients sensitive to warfarin. We propose a deep reinforcement learning-based dosing model for warfarin. To overcome the issue of relatively small sample sizes in dosing trials, we use a Pharmacokinetic/ Pharmacodynamic (PK/PD) model of warfarin to simulate dose-responses of virtual patients. Applying the proposed algorithm on virtual test patients shows that this model outperforms a set of clinically accepted dosing protocols by a wide margin. We tested the robustness of our dosing protocol on a second PK/PD model and showed that its performance is comparable to the set of baseline protocols.

由于数据量增加，金融业的快速变化已经彻底改变了数据处理和数据分析的技术，并带来了新的理论和计算挑战。与古典随机控制理论和解决财务决策问题的其他分析方法相比，解决模型假设的财务决策问题，强化学习（RL）的新发展能够充分利用具有更少模型假设的大量财务数据并改善复杂的金融环境中的决策。该调查纸目的旨在审查最近的资金途径的发展和使用RL方法。我们介绍了马尔可夫决策过程，这是许多常用的RL方法的设置。然后引入各种算法，重点介绍不需要任何模型假设的基于价值和基于策略的方法。连接是用神经网络进行的，以扩展框架以包含深的RL算法。我们的调查通过讨论了这些RL算法在金融中各种决策问题中的应用，包括最佳执行，投资组合优化，期权定价和对冲，市场制作，智能订单路由和Robo-Awaring。

具有切换持续时间的轮询系统是具有若干实际应用的有用模型。它被归类为离散事件动态系统（DED），没有人在建模方法中同意的是。此外，DEDS非常复杂。迄今为止，最复杂的兴趣调查系统建模的方法是连续时间马尔可夫决策过程（CTMDP）。本文提出了一个半马尔可夫决策过程（SMDP）轮询系统的制定，以引入额外的建模能力。这种权力以截断误差和昂贵的数值积分为代价，自然导致SMDP政策是否提供有价值的优势。为了进一步添加到此方案，显示CTMDP中可以利用稀疏性以开发计算有效的模型。使用半Markov过程模拟器评估SMDP和CTMDP策略的折扣性能。两项政策伴随着专门为该投票系统开发的启发式政策，作为详尽的服务政策。参数和非参数假设试验用于测试性能差异是否有统计学意义。

直接从观察数据中直接从观察数据中学习最佳患者的最佳治疗策略，人们对利用RL和随机控制方法有很大的兴趣。但是，控制目标和标准RL目标的最佳奖励选择存在明显的歧义。在这项工作中，我们提出了针对重症患者的临床动机控制目标，该价值功能具有简单的医学解释。此外，我们提出理论结果并将我们的方法调整为实用的深度RL算法，该算法可以与任何基于值的深度RL方法一起使用。我们在大型败血症队列上进行实验，并表明我们的方法与临床知识一致。

Reinforcement learning (RL) is one of the most vibrant research frontiers in machine learning and has been recently applied to solve a number of challenging problems. In this paper, we primarily focus on off-policy evaluation (OPE), one of the most fundamental topics in RL. In recent years, a number of OPE methods have been developed in the statistics and computer science literature. We provide a discussion on the efficiency bound of OPE, some of the existing state-of-the-art OPE methods, their statistical properties and some other related research directions that are currently actively explored.

重要性采样（IS）通常用于执行违规策略评估，但容易出现几个问题，特别是当行为策略未知并且必须从数据估计时。由于例如高方差和非评估动作，目标和行为策略之间的显着差异可能导致不确定的值估计。如果使用黑盒式模型估计行为策略，则可能很难诊断潜在的问题，并确定哪些输入策略在其建议的动作和结果中不同。为了解决这个问题，我们建议估算使用原型学习的行为策略。我们在评估败血症处理的政策时应用这种方法，展示了原型如何在目标和行为政策之间提供凝聚率的差异摘要，同时保留与基线估计相当的准确性。我们还描述了原型的估计值，以更好地了解目标政策的哪些部分对估计产生最大影响。使用模拟器，我们研究限制模型以使用原型的偏差。

非政策评估（OPE）方法是评估高风险领域（例如医疗保健）中的政策的关键工具，在这些领域，直接部署通常是不可行的，不道德的或昂贵的。当期望部署环境发生变化（即数据集偏移）时，对于OPE方法，在此类更改中对策略进行强大的评估非常重要。现有的方法考虑对可以任意改变环境的任何可观察到的任何可观察到的属性的大量转变。这通常会导致对公用事业的高度悲观估计，从而使可能对部署有用的政策无效。在这项工作中，我们通过研究领域知识如何帮助提供对政策公用事业的更现实的估计来解决上述问题。我们利用人类的投入，在环境的哪些方面可能会发生变化，并适应OPE方法仅考虑这些方面的转变。具体而言，我们提出了一个新颖的框架，可靠的OPE（绳索），该框架认为基于用户输入的数据中的协变量子集，并估算了这些变化下最坏情况的效用。然后，我们为OPE开发了对OPE的计算有效算法，这些算法对上述强盗和马尔可夫决策过程的上述变化很强。我们还理论上分析了这些算法的样品复杂性。从医疗领域进行的合成和现实世界数据集进行了广泛的实验表明，我们的方法不仅可以捕获现实的数据集准确地转移，而且还会导致较少的悲观政策评估。

受约束的部分可观察到的马尔可夫决策过程（CPOMDP）已用于模拟各种现实现象。但是，众所周知，它们很难解决最优性，并且只有几种近似方法来获得高质量的解决方案。在这项研究中，我们将基于网格的近似值与线性编程（LP）模型结合使用来生成CPOMDP的近似策略。我们考虑了五个CPOMDP问题实例，并对其有限和无限的地平线配方进行了详细的数值研究。我们首先通过使用精确溶液方法进行比较分析来建立近似无约束的POMDP策略的质量。然后，我们显示了基于LP的CPOMDP解决方案方法的性能，用于不同的问题实例的不同预算水平（即成本限制）。最后，我们通过应用确定性政策约束来展示基于LP的方法的灵活性，并研究这些约束对收集的奖励和CPU运行时间的影响。我们的分析表明，LP模型可以有效地为有限和无限的地平线问题生成近似策略，同时提供了将各种其他约束结合到基础模型中的灵活性。

Learning-to-defer is a framework to automatically defer decision-making to a human expert when ML-based decisions are deemed unreliable. Existing learning-to-defer frameworks are not designed for sequential settings. That is, they defer at every instance independently, based on immediate predictions, while ignoring the potential long-term impact of these interventions. As a result, existing frameworks are myopic. Further, they do not defer adaptively, which is crucial when human interventions are costly. In this work, we propose Sequential Learning-to-Defer (SLTD), a framework for learning-to-defer to a domain expert in sequential decision-making settings. Contrary to existing literature, we pose the problem of learning-to-defer as model-based reinforcement learning (RL) to i) account for long-term consequences of ML-based actions using RL and ii) adaptively defer based on the dynamics (model-based). Our proposed framework determines whether to defer (at each time step) by quantifying whether a deferral now will improve the value compared to delaying deferral to the next time step. To quantify the improvement, we account for potential future deferrals. As a result, we learn a pre-emptive deferral policy (i.e. a policy that defers early if using the ML-based policy could worsen long-term outcomes). Our deferral policy is adaptive to the non-stationarity in the dynamics. We demonstrate that adaptive deferral via SLTD provides an improved trade-off between long-term outcomes and deferral frequency on synthetic, semi-synthetic, and real-world data with non-stationary dynamics. Finally, we interpret the deferral decision by decomposing the propagated (long-term) uncertainty around the outcome, to justify the deferral decision.

我们考虑在离线域中的强化学习（RL）方法，没有其他在线数据收集，例如移动健康应用程序。计算机科学文献中的大多数现有策略优化算法都是在易于收集或模拟的在线设置中开发的。通过预采用的离线数据集，它们对移动健康应用程序的概括尚不清楚。本文的目的是开发一个新颖的优势学习框架，以便有效地使用预采用的数据进行策略优化。所提出的方法采用由任何现有的最新RL算法计算的最佳Q-估计器作为输入，并输出一项新策略，其价值比基于初始Q-得出的策略更快地收敛速度。估计器。进行广泛的数值实验以支持我们的理论发现。我们提出的方法的Python实现可在https://github.com/leyuanheart/seal上获得。

败血症是ICU死亡的主要原因。这是一种需要在短时间内进行复杂干预措施的疾病，但其最佳治疗策略仍然不确定。证据表明，当前使用的治疗策略的实践是有问题的，可能对患者造成伤害。为了解决这个决策问题，我们提出了一个基于历史数据的新医疗决策模型，以帮助临床医生建议实时治疗的最佳参考选项。我们的模型将离线强化学习与深入的强化学习结合在一起，以解决医疗保健中传统的强化学习无法与环境互动的问题，从而使我们的模型能够在连续的国家行动空间中做出决策。我们证明，平均而言，模型推荐的治疗方法比临床医生建议的治疗更有价值和可靠。在大型验证数据集中，我们发现临床医生实际剂量与AI的决定相匹配的患者的死亡率最低。我们的模型为败血症提供了个性化的，可解释的治疗决策，可以改善患者护理。