严重冠状病毒疾病19（Covid-19）的患者通常需要补充氧作为必要的治疗方法。我们开发了一种基于深度加强学习（RL）的机器学习算法，用于持续管理缺氧率为重症监护下的关键病患者，这可以识别最佳的个性化氧气流速，具有强大的潜力，以降低相对于死亡率目前的临床实践。基本上，我们为Covid-19患者的氧气流动轨迹建模，并作为马尔可夫决策过程。基于个体患者特征和健康状况，基于加强学习的氧气控制政策，实时推荐氧气流速降低死亡率。我们通过使用从纽约大学Langone Health的Covid-19的叙述队员使用纽约大学Langone Healthation Mearchatory Maculation Mearchatory Chare，从2020年4月20日至1月2021年使用电子健康记录，通过交叉验证评估了拟议方法的表现。算法低于护理标准的2.57％（95％CI：2.08-3.06）减少（P <0.001）在我们的算法下的护理标准下的7.94％，平均推荐的氧气流量为1.28 L /分钟（95％CI：1.14-1.42）低于实际递送给患者的速率。因此，RL算法可能导致更好的重症监护治疗，可以降低死亡率，同时节省氧气稀缺资源。它可以减少氧气短缺问题，在Covid-19大流行期间改善公共卫生。

败血症是ICU死亡的主要原因。这是一种需要在短时间内进行复杂干预措施的疾病，但其最佳治疗策略仍然不确定。证据表明，当前使用的治疗策略的实践是有问题的，可能对患者造成伤害。为了解决这个决策问题，我们提出了一个基于历史数据的新医疗决策模型，以帮助临床医生建议实时治疗的最佳参考选项。我们的模型将离线强化学习与深入的强化学习结合在一起，以解决医疗保健中传统的强化学习无法与环境互动的问题，从而使我们的模型能够在连续的国家行动空间中做出决策。我们证明，平均而言，模型推荐的治疗方法比临床医生建议的治疗更有价值和可靠。在大型验证数据集中，我们发现临床医生实际剂量与AI的决定相匹配的患者的死亡率最低。我们的模型为败血症提供了个性化的，可解释的治疗决策，可以改善患者护理。

源于机器学习和优化的临床决策支持工具可以为医疗保健提供者提供显着的价值，包括通过更好地管理重症监护单位。特别是，重要的是，患者排放任务在降低患者的住宿时间（以及相关住院费用）和放弃决策后的入院甚至死亡的风险之间存在对细微的折衷。这项工作介绍了一个端到端的一般框架，用于捕获这种权衡，以推荐患者电子健康记录的最佳放电计时决策。数据驱动方法用于导出捕获患者的生理条件的解析，离散状态空间表示。基于该模型和给定的成本函数，在数值上制定并解决了无限的地平线折扣明马尔科夫决策过程，以计算最佳的排放政策，其价值使用违规评估策略进行评估。进行广泛的数值实验以使用现实生活重症监护单元患者数据来验证所提出的框架。

由于患病患者经常患贫血或凝血病，因此血液产物的输血是重症监护病房（ICU）的经常干预。但是，医生做出的不当输血决定通常与并发症的风险增加和医院成本更高有关。在这项工作中，我们旨在开发一种决策支持工具，该工具使用可用的患者信息来对三种常见的血液产品（红细胞，血小板和新鲜的冷冻血浆）进行输血决策。为此，我们采用了单批批处理增强学习（RL）算法，即离散的批处理约束Q学习，以确定观察到的患者轨迹的最佳动作（输血）。同时，我们考虑了不同的国家表示方法和奖励设计机制，以评估其对政策学习的影响。实验是在两个现实世界中的重症监护数据集上进行的：MIMIC-III和UCSF。结果表明，关于输血的政策建议通过准确性和对模拟III数据集的加权重要性评估进行了与真实医院政策的可比匹配。此外，数据筛选UCSF数据集的转移学习（TL）和RL的组合可以在准确性方面可提供高达$ 17.02％的提高，而跳跃和渐近性绩效提高了18.94％和21.63％加权重要性采样在三个输血任务上平均。最后，对输血决策的模拟表明，转移的RL政策可以将患者估计的28天死亡率降低2.74％，而UCSF数据集的敏锐度率降低了1.18％。

直接从观察数据中直接从观察数据中学习最佳患者的最佳治疗策略，人们对利用RL和随机控制方法有很大的兴趣。但是，控制目标和标准RL目标的最佳奖励选择存在明显的歧义。在这项工作中，我们提出了针对重症患者的临床动机控制目标，该价值功能具有简单的医学解释。此外，我们提出理论结果并将我们的方法调整为实用的深度RL算法，该算法可以与任何基于值的深度RL方法一起使用。我们在大型败血症队列上进行实验，并表明我们的方法与临床知识一致。

机器学习已成功构建许多顺序决策，作为监督预测，或通过加强学习的最佳决策政策识别。在数据约束的离线设置中，两种方法可能会失败，因为它们假设完全最佳行为或依赖于探索可能不存在的替代方案。我们介绍了一种固有的不同方法，该方法识别出状态空间的可能的“死角”。我们专注于重症监护病房中患者的状况，其中``“医疗死亡端”表明患者将过期，无论所有潜在的未来治疗序列如何。我们假设“治疗安全”为避免与其导致死亡事件的机会成比例的概率成比例的治疗，呈现正式证明，以及作为RL问题的帧发现。然后，我们将三个独立的深度神经模型进行自动化状态建设，死端发现和确认。我们的经验结果发现，死亡末端存在于脓毒症患者的真正临床数据中，并进一步揭示了安全处理与施用的差距。

我们提出了一种通用公式，用于具有临床生存数据的设置中连续治疗建议问题，我们称之为深层生存剂量反应函数（DEEPSDRF）。也就是说，我们认为学习条件平均剂量反应（CADR）的问题仅来自历史数据，在历史数据中，观察到的因素（混杂因素）都会影响观察到的治疗和事件时间结果。DEEPSDRF的估计治疗效果使我们能够开发出针对选择偏差的校正的推荐算法。我们比较了基于随机搜索和强化学习的两种推荐方法，并在患者结局方面发现了相似的表现。我们在广泛的仿真研究和EICU研究所（ERI）数据库中测试了DeepSDRF和相应的推荐剂。据我们所知，这是首次使用因果模型来解决医疗环境中观察数据的连续治疗效果。

医院住宿时间（LOS）是最重要的医疗保健度量之一，反映了医院的服务质量，有助于改善医院调度和管理。LOS预测有助于成本管理，因为留在医院的患者通常在资源受到严重限制的情况下这样做。在这项研究中，我们通过机器学习和统计方法审查了LOS预测的论文。我们的文献综述考虑了对卒中患者LOS预测的研究研究。一些受访的研究表明，作者达成了相应的结论。例如，患者的年龄被认为是一些研究中卒中患者LOS的重要预测因子，而其他研究则认为年龄不是一个重要因素。因此，在该领域需要额外的研究以进一步了解卒中患者LOS的预测因子。

Covid-19疫苗是我们最好的赌注，用于减轻大流行的持续冲击。但是，疫苗也预计将是有限的资源。最佳分配策略，特别是在具有访问不公平的国家和热点的时间分离，可能是停留疾病传播的有效方式。我们通过提出一种新的管道VACSIM来实现这个问题，将深度加强学习模型延装到用于优化Covid-19疫苗的分布的上下文的匪徒方法中。虽然加强学习模型建议了更好的行动和奖励，但上下文匪徒允许在现实世界场景中每天到日常实施的在线修改。我们评估此框架，防止与印度五个不同状态的Covid-19案例发生比例分配疫苗的天真分配方法（Assam，Delhi，Jharkhand，Maharashtra和Nagaland），并展示高达9039潜力的潜在感染，并增加了显着增加在通过VacSim方法的45天内限制差异的疗效。我们的型号和平台对印度所有国家和潜在的全球范围内都是可扩张的。我们还提出了新的评估策略，包括标准的基于区间模型的预测和对我们模型的因果关系评估。由于所有模型都携带可能需要在各种情况下进行测试的假设，因此我们开源我们的模型Vackim并贡献了与Openai健身房兼容的新型加固学习环境，以使其在全球的现实世界应用中可扩展。 （http://vacsim.tavlab.iiitd.edu.in：8000/）。

由于数据量增加，金融业的快速变化已经彻底改变了数据处理和数据分析的技术，并带来了新的理论和计算挑战。与古典随机控制理论和解决财务决策问题的其他分析方法相比，解决模型假设的财务决策问题，强化学习（RL）的新发展能够充分利用具有更少模型假设的大量财务数据并改善复杂的金融环境中的决策。该调查纸目的旨在审查最近的资金途径的发展和使用RL方法。我们介绍了马尔可夫决策过程，这是许多常用的RL方法的设置。然后引入各种算法，重点介绍不需要任何模型假设的基于价值和基于策略的方法。连接是用神经网络进行的，以扩展框架以包含深的RL算法。我们的调查通过讨论了这些RL算法在金融中各种决策问题中的应用，包括最佳执行，投资组合优化，期权定价和对冲，市场制作，智能订单路由和Robo-Awaring。

Warfarin is a widely used anticoagulant, and has a narrow therapeutic range. Dosing of warfarin should be individualized, since slight overdosing or underdosing can have catastrophic or even fatal consequences. Despite much research on warfarin dosing, current dosing protocols do not live up to expectations, especially for patients sensitive to warfarin. We propose a deep reinforcement learning-based dosing model for warfarin. To overcome the issue of relatively small sample sizes in dosing trials, we use a Pharmacokinetic/ Pharmacodynamic (PK/PD) model of warfarin to simulate dose-responses of virtual patients. Applying the proposed algorithm on virtual test patients shows that this model outperforms a set of clinically accepted dosing protocols by a wide margin. We tested the robustness of our dosing protocol on a second PK/PD model and showed that its performance is comparable to the set of baseline protocols.

Real-time individual endpoint prediction has always been a challenging task but of great clinic utility for both patients and healthcare providers. With 6,879 chronic kidney disease stage 4 (CKD4) patients as a use case, we explored the feasibility and performance of gated recurrent units with decay that models Weibull probability density function (GRU-D-Weibull) as a semi-parametric longitudinal model for real-time individual endpoint prediction. GRU-D-Weibull has a maximum C-index of 0.77 at 4.3 years of follow-up, compared to 0.68 achieved by competing models. The L1-loss of GRU-D-Weibull is ~66% of XGB(AFT), ~60% of MTLR, and ~30% of AFT model at CKD4 index date. The average absolute L1-loss of GRU-D-Weibull is around one year, with a minimum of 40% Parkes serious error after index date. GRU-D-Weibull is not calibrated and significantly underestimates true survival probability. Feature importance tests indicate blood pressure becomes increasingly important during follow-up, while eGFR and blood albumin are less important. Most continuous features have non-linear/parabola impact on predicted survival time, and the results are generally consistent with existing knowledge. GRU-D-Weibull as a semi-parametric temporal model shows advantages in built-in parameterization of missing, native support for asynchronously arrived measurement, capability of output both probability and point estimates at arbitrary time point for arbitrary prediction horizon, improved discrimination and point estimate accuracy after incorporating newly arrived data. Further research on its performance with more comprehensive input features, in-process or post-process calibration are warranted to benefit CKD4 or alike terminally-ill patients.

资产分配（或投资组合管理）是确定如何最佳将有限预算的资金分配给一系列金融工具/资产（例如股票）的任务。这项研究调查了使用无模型的深RL代理应用于投资组合管理的增强学习（RL）的性能。我们培训了几个RL代理商的现实股票价格，以学习如何执行资产分配。我们比较了这些RL剂与某些基线剂的性能。我们还比较了RL代理，以了解哪些类别的代理表现更好。从我们的分析中，RL代理可以执行投资组合管理的任务，因为它们的表现明显优于基线代理（随机分配和均匀分配）。四个RL代理（A2C，SAC，PPO和TRPO）总体上优于最佳基线MPT。这显示了RL代理商发现更有利可图的交易策略的能力。此外，基于价值和基于策略的RL代理之间没有显着的性能差异。演员批评者的表现比其他类型的药物更好。同样，在政策代理商方面的表现要好，因为它们在政策评估方面更好，样品效率在投资组合管理中并不是一个重大问题。这项研究表明，RL代理可以大大改善资产分配，因为它们的表现优于强基础。基于我们的分析，在政策上，参与者批评的RL药物显示出最大的希望。

最近，移动健康（MHealth）信息服务的使用增长，这些信息提供了有关改善体育活动的丰富指南。这些丰富的指南源于考虑各种个人行为因素，这些因素通常会偏离用户的健康状况。行为因素包括改变健身偏好，依从性问题以及对未来健身结果的不确定性，这可能都导致MHealth信息服务质量的下降。由于用户健康状况的动态，这些MHealth信息服务中有许多提供了有限的健身指南。本文使用深度强化学习寻求一种自适应方法，以提出个性化的体育活动建议，这是从回顾性的体育活动数据中学到的，并可以模拟现实的行为轨迹。我们基于有关体育活动的科学知识来为MHealth信息服务系统构建实时交互模型，以评估其运动表现。体育活动绩效评估模型用于考虑适应性和疲劳效果的最佳运动强度，以避免缺乏运动或超负荷。短期活动计划是使用深入的强化学习和个人健康状况随着时间而变化的。使用此方法，我们可以根据实际实施行为动态更新体育活动建议策略。通过与其他基准政策进行比较，我们基于DRL的推荐政策得到了验证。实验结果表明，这种自适应学习算法可以将推荐性能提高到4.13％以上。

基于我们先前关于绿色仿真辅助政策梯度（GS-PG）的研究，重点是基于轨迹的重复使用，在本文中，我们考虑了无限 - 马尔可夫马尔可夫决策过程，并创建了一种新的重要性采样策略梯度优化的方法来支持动态决策制造。现有的GS-PG方法旨在从完整的剧集或过程轨迹中学习，这将其适用性限制在低数据状态和灵活的在线过程控制中。为了克服这一限制，提出的方法可以选择性地重复使用最相关的部分轨迹，即，重用单元基于每步或每次派遣的历史观察。具体而言，我们创建了基于混合的可能性比率（MLR）策略梯度优化，该优化可以利用不同行为政策下产生的历史状态行动转变中的信息。提出的减少差异经验重播（VRER）方法可以智能地选择和重复使用最相关的过渡观察，改善策略梯度估计并加速最佳政策的学习。我们的实证研究表明，它可以改善优化融合并增强最先进的政策优化方法的性能，例如Actor-Critic方法和近端政策优化。

医疗保健的服务质量不断受到大流行病（即Covid-19）和自然灾害（如飓风和地震）的异常事件所挑战。在大多数情况下，这些事件导致决策中的批判性不确定性，以及在医院的多个医学和经济方面。外部（地理）或内部因素（医疗和管理），导致规划和预算的转变，但最重要的是，最重要的是，降低对传统过程的信心。在某些情况下，其他医院的支持证明了加剧规划方面。此稿件提供三种数据驱动方法，提供数据驱动的指标，以帮助医疗管理人员组织其经济学，并确定资源分配和共享最佳计划。常规决策方法在推荐经理验证的政策方面不足。使用强化学习，遗传算法，旅行推销员和聚类，我们试验不同的医疗变量，并提供可在卫生机构应用的工具和结果。进行实验;记录，评估和呈现结果。

自2020年2月以来，世界一直在与Covid-19疾病进行激烈的斗争，随着疾病变成大流行，卫生系统受到悲惨的压力。这项研究的目的是使用对LogNNET储层神经网络的向后特征消除算法获得COVID-19的诊断和预后中最有效的常规血值（RBV）。该研究中的第一个数据集由5296例患者组成，具有相同数量的阴性和阳性COVID-19。 Lognnet模型在疾病诊断中的准确率为99.5％，其特征的精度为99.17％，只有平均红细胞血红蛋白浓度，平均性肌张力性血红蛋白和激活的部分凝血酶蛋白时间。第二个数据集由总共3899例COVID-19诊断为医院接受治疗的患者，其中203名患者是严重的患者，3696例患者是温和的患者。该模型以48个特征确定疾病预后的准确率达到94.4％，而仅红细胞沉降率，中性粒细胞计数和C反应性蛋白质特征，精度为82.7％。我们的方法将减少卫生部门的负压力，并帮助医生使用关键特征来了解Covid-19的发病机理。该方法有望在物联网中创建移动健康监控系统。

在预测 - 优化框架中，目的是训练预测模型，从环境特征映射到优化问题的参数，这使得当优化被求解时最大化判定质量。最近的决定学习的工作表明，与依赖于用于评估预测质量的中间损耗功能相比，嵌入训练管道中的优化问题可以提高判定质量，并帮助更好地提高未经任务的任务。我们研究了通过增强学习解决的顺序决策问题（制定为MDP）的上下文中的预测 - 优化框架。特别是，我们是给予的环境特征和来自训练MDP的一组轨迹，我们用于训练推广的预测模型，无需轨迹。在将决策的学习应用于MDPS上，出现了两个重要的计算挑战：（i）大状态和行动空间使现有技术可行，以区分通过MDP问题，并且（ii）是由神经的参数化的高维策略空间网络，通过昂贵的政策进行区分。我们通过采样可释放的无偏见的衍生物来解决第一挑战，以通过最优条件近似和分辨，并通过使用基于高维样本的衍生物的低秩近似来分辨。我们在缺少参数的三个不同MDP问题上实现了基于Bellman的基于政策梯度的决定学习，并表明，决定的学习在概括任务中表现更好。

从电子健康记录（EHR）数据中进行有效学习来预测临床结果，这通常是具有挑战性的，因为在不规则的时间段记录的特征和随访的损失以及竞争性事件（例如死亡或疾病进展）。为此，我们提出了一种生成的事实模型，即Survlatent Ode，该模型采用了基于基于微分方程的复发性神经网络（ODE-RNN）作为编码器，以有效地对不规则采样的输入数据进行潜在状态的动力学有效地参数化。然后，我们的模型利用所得的潜在嵌入来灵活地估计多个竞争事件的生存时间，而无需指定事件特定危害功能的形状。我们展示了我们在Mimic-III上的竞争性能，这是一种从重症监护病房收集的自由纵向数据集，预测医院死亡率以及DANA-FARBER癌症研究所（DFCI）的数据，以预测静脉血栓症（静脉血栓症（DFCI）（DFCI）（ VTE），是癌症患者的生命并发症，死亡作为竞争事件。幸存ODE优于分层VTE风险组的当前临床标准Khorana风险评分，同时提供临床上有意义且可解释的潜在表示。

谵妄是急性急性发病脑功能障碍，在紧急情况下，与较高的死亡率有关。由于其演示和风险因素难以检测和监测，这取决于患者的潜在病情。在我们的研究中，我们旨在识别谵妄人口中的亚型，并建立使用医疗信息MART进行密集护理IV（MIMIC-IV）数据来检测谵妄的亚组特定的预测模型。我们表明谵妄存在于谵妄中。对于特定于组的预测模型，还观察到特征重要性的差异。我们的工作可以重新校准每个谵妄亚组的现有谵妄预测模型，并提高ICU或急诊部门患者的谵妄检测和监测的精度。