Understanding deep learning model behavior is critical to accepting machine learning-based decision support systems in the medical community. Previous research has shown that jointly using clinical notes with electronic health record (EHR) data improved predictive performance for patient monitoring in the intensive care unit (ICU). In this work, we explore the underlying reasons for these improvements. While relying on a basic attention-based model to allow for interpretability, we first confirm that performance significantly improves over state-of-the-art EHR data models when combining EHR data and clinical notes. We then provide an analysis showing improvements arise almost exclusively from a subset of notes containing broader context on patient state rather than clinician notes. We believe such findings highlight deep learning models for EHR data to be more limited by partially-descriptive data than by modeling choice, motivating a more data-centric approach in the field.

预训练在机器学习的不同领域表现出成功，例如计算机视觉，自然语言处理（NLP）和医学成像。但是，尚未完全探索用于临床数据分析。记录了大量的临床记录，但是对于在小型医院收集的数据或处理罕见疾病的数据仍可能稀缺数据和标签。在这种情况下，对较大的未标记临床数据进行预训练可以提高性能。在本文中，我们提出了专为异质的多模式临床数据设计的新型无监督的预训练技术，用于通过蒙版语言建模（MLM）启发的患者预测，通过利用对人群图的深度学习来启发。为此，我们进一步提出了一个基于图形转换器的网络，该网络旨在处理异质临床数据。通过将基于掩盖的预训练与基于变压器的网络相结合，我们将基于掩盖的其他域中训练的成功转化为异质临床数据。我们使用三个医学数据集Tadpole，Mimic-III和一个败血症预测数据集，在自我监督和转移学习设置中展示了我们的预训练方法的好处。我们发现，我们提出的培训方法有助于对患者和人群水平的数据进行建模，并提高所有数据集中不同微调任务的性能。

多模式融合方法旨在整合来自不同数据源的信息。与天然数据集不同，例如在视听应用中，样本由“配对”模式组成，医疗保健中的数据通常异步收集。因此，对于给定样品需要所有方式，对于临床任务而言并不现实，并且在训练过程中显着限制了数据集的大小。在本文中，我们提出了Medfuse，这是一种概念上简单但有前途的基于LSTM的融合模块，可以容纳Uni-Mododal和多模式输入。我们使用MIMIC-IV数据集中的临床时间序列数据以及Mimic-CXR中的相应的胸部X射线图像，评估了融合方法，并引入了院内死亡率预测和表型分类的新基准结果。与更复杂的多模式融合策略相比，MEDFUSE在完全配对的测试集上的差距很大。它在部分配对的测试集中还保持了强大的稳定性，其中包含带有缺少胸部X射线图像的样品。我们发布了我们的可重复性代码，并在将来对竞争模型进行评估。

阿尔茨海默氏病（AD）是最常见的神经退行性疾病，具有最复杂的病原体之一，使有效且临床上可行的决策变得困难。这项研究的目的是开发一个新型的多模式深度学习框架，以帮助医疗专业人员进行AD诊断。我们提出了一个多模式的阿尔茨海默氏病诊断框架（MADDI），以准确检测成像，遗传和临床数据中的AD和轻度认知障碍（MCI）。 Maddi是新颖的，因为我们使用跨模式的注意力，它捕获了模态之间的相互作用 - 这种域中未探讨的方法。我们执行多级分类，这是一项艰巨的任务，考虑到MCI和AD之间的相似之处。我们与以前的最先进模型进行比较，评估注意力的重要性，并检查每种模式对模型性能的贡献。 Maddi在持有的测试集中对MCI，AD和控件进行了96.88％的精度分类。在检查不同注意力方案的贡献时，我们发现跨模式关注与自我注意力的组合表现出了最佳状态，并且模型中没有注意力层表现最差，而F1分数差异为7.9％。我们的实验强调了结构化临床数据的重要性，以帮助机器学习模型将其背景化和解释其余模式化。广泛的消融研究表明，未访问结构化临床信息的任何多模式混合物都遭受了明显的性能损失。这项研究证明了通过跨模式的注意组合多种输入方式的优点，以提供高度准确的AD诊断决策支持。

大量的电子健康记录（EHR）在改善医疗保健方面产生了巨大的潜力。临床代码（结构化数据）和临床叙述（非结构化数据）是EHR中的两个重要文本模式。临床代码传达医院期间的诊断和治疗信息，临床注释带有患者遭遇的临床提供者的叙述。它们不孤立地存在，并且可以在大多数现实生活中的临床情况下相互补充。但是，大多数现有的面向EHR的研究要么集中于特定模式，要么以直接方式整合来自不同模态的数据，这忽略了它们之间的内在相互作用。为了解决这些问题，我们提出了一个名为MEDM-PLM的医学多模式预训练的语言模型，以了解对结构化和非结构化数据的增强EHR表示。在MEDM-PLM中，首先采用了两个基于变压器的神经网络组件来从每种模式中学习代表性特征。然后引入跨模块模块以建模其相互作用。我们在模拟III数据集上预先训练MEDM-PLM，并验证了该模型对三个下游临床任务的有效性，即药物建议，30天的再入院预测和ICD编码。与最先进的方法相比，广泛的实验证明了MEDM-PLM的功率。进一步的分析和可视化表明了我们的模型的鲁棒性，这有可能为临床决策提供更全面的解释。

最近应用于从密集护理单位收集的时间序列的机器学习方法的成功暴露了缺乏标准化的机器学习基准，用于开发和比较这些方法。虽然原始数据集（例如MIMIC-IV或EICU）可以在物理体上自由访问，但是选择任务和预处理的选择通常是针对每个出版物的ad-hoc，限制出版物的可比性。在这项工作中，我们的目标是通过提供覆盖大型ICU相关任务的基准来改善这种情况。使用HirID数据集，我们定义与临床医生合作开发的多个临床相关任务。此外，我们提供可重复的端到端管道，以构建数据和标签。最后，我们提供了对当前最先进的序列建模方法的深入分析，突出了这种类型数据的深度学习方法的一些限制。通过这款基准，我们希望为研究界提供合理比较的可能性。

如今，人工智能（AI）已成为临床和远程医疗保健应用程序的基本组成部分，但是最佳性能的AI系统通常太复杂了，无法自我解释。可解释的AI（XAI）技术被定义为揭示系统的预测和决策背后的推理，并且在处理敏感和个人健康数据时，它们变得更加至关重要。值得注意的是，XAI并未在不同的研究领域和数据类型中引起相同的关注，尤其是在医疗保健领域。特别是，许多临床和远程健康应用程序分别基于表格和时间序列数据，而XAI并未在这些数据类型上进行分析，而计算机视觉和自然语言处理（NLP）是参考应用程序。为了提供最适合医疗领域表格和时间序列数据的XAI方法的概述，本文提供了过去5年中文献的审查，说明了生成的解释的类型以及为评估其相关性所提供的努力和质量。具体而言，我们确定临床验证，一致性评估，客观和标准化质量评估以及以人为本的质量评估作为确保最终用户有效解释的关键特征。最后，我们强调了该领域的主要研究挑战以及现有XAI方法的局限性。

Multimodal deep learning has been used to predict clinical endpoints and diagnoses from clinical routine data. However, these models suffer from scaling issues: they have to learn pairwise interactions between each piece of information in each data type, thereby escalating model complexity beyond manageable scales. This has so far precluded a widespread use of multimodal deep learning. Here, we present a new technical approach of "learnable synergies", in which the model only selects relevant interactions between data modalities and keeps an "internal memory" of relevant data. Our approach is easily scalable and naturally adapts to multimodal data inputs from clinical routine. We demonstrate this approach on three large multimodal datasets from radiology and ophthalmology and show that it outperforms state-of-the-art models in clinically relevant diagnosis tasks. Our new approach is transferable and will allow the application of multimodal deep learning to a broad set of clinically relevant problems.

基于电子健康记录（EHR）的健康预测建筑模型已成为一个活跃的研究领域。 EHR患者旅程数据由患者定期的临床事件/患者访问组成。大多数现有研究的重点是建模访问之间的长期依赖性，而无需明确考虑连续访问之间的短期相关性，在这种情况下，将不规则的时间间隔（并入为辅助信息）被送入健康预测模型中以捕获患者期间的潜在渐进模式。 。我们提出了一个具有四个模块的新型深神经网络，以考虑各种变量对健康预测的贡献：i）堆叠的注意力模块在每个患者旅程中加强了临床事件中的深层语义，并产生访问嵌入，ii）短 - 术语时间关注模块模型在连续访问嵌入之间的短期相关性，同时捕获这些访问嵌入中时间间隔的影响，iii）长期时间关注模块模型的长期依赖模型，同时捕获时间间隔内的时间间隔的影响这些访问嵌入，iv），最后，耦合的注意模块适应了短期时间关注和长期时间注意模块的输出，以做出健康预测。对模拟III的实验结果表明，与现有的最新方法相比，我们的模型的预测准确性以及该方法的可解释性和鲁棒性。此外，我们发现建模短期相关性有助于局部先验的产生，从而改善了患者旅行的预测性建模。

基于变压器模型架构的最近深入学习研究在各种域和任务中展示了最先进的性能，主要是在计算机视觉和自然语言处理域中。虽然最近的一些研究已经实施了使用电子健康记录数据的临床任务的变压器，但它们的范围，灵活性和全面性有限。在本研究中，我们提出了一种灵活的基于变换器的EHR嵌入管道和预测模型框架，它引入了利用了医疗域唯一的数据属性的现有工作流程的几个新颖修改。我们展示了灵活设计的可行性，在重症监护病房的案例研究中，我们的模型准确地预测了七种临床结果，这些临床结果与多个未来的时间范围有关的入院和患者死亡率。

目的：临床票据含有其他地方未存在的信息，包括药物反应和症状，所有这些都在预测急性护理患者的关键结果时非常重要。我们提出了从临床笔记中的表型作为一种捕获基本信息的方法的自动注释，这与通常使用生命体征和实验室测试结果的互补性，以预测重症监护单元（ICU）中的结果。方法：我们开发一种新颖的表型注释模型，用于注释患者的表型特征，然后用作预测模型的输入特征，以预测ICU患者结果。我们展示并验证了我们的方法对三个ICU预测任务进行实验，包括使用MIMIC-III数据集的医院死亡率，生理失效和超过24,000名患者的逗留时间。结果：掺入表型信息的预测模型实现0.845（AUC-ROC），以预测医院死亡率，0.839（AUC-ROC）的生理失代偿和0.430（Kappa），所有这些都始终胜过基线模型利用只有生命的迹象和实验室测试结果。此外，我们进行了彻底的解释性研究，表明表型在患者和队列水平方面提供了有价值的见解。结论：该方法表明表型信息是传统上使用生命体征和实验室测试结果的补充，改善了ICU中的结果的重要预测。

我们利用深度顺序模型来解决预测患者医疗保健利用的问题，这可能有助于政府更好地为未来的医疗保健使用提供资源。具体地，我们研究\纺织{发散亚组}的问题，其中较小的人口小组中的结果分布大大偏离了一般人群的群体。如果亚组的尺寸非常小（例如，稀有疾病），则对不同亚组的专业模型建造专门模型的传统方法可能是有问题的。为了解决这一挑战，我们首先开发一种新的无关注顺序模型，SANSFORMERS，灌输了适合在电子医疗记录中建模临床码的归纳偏差。然后，我们通过在整个健康登记处预先培训每个模型（接近100万名患者）之前，设计了一个特定的自我监督目标，并展示其有效性，特别是稀缺数据设置，特别是在整个健康登记处（接近一百万名患者）进行微调下游任务不同的子组。我们使用两个数据来源与LSTM和变压器模型进行比较新的SANSFARER架构和辅助医疗利用预测的多任务学习目标。凭经验，无关注的Sansformer模型在实验中始终如一地执行，在大多数情况下以至少$ \ SIM 10 $ \％表现出在大多数情况下的基线。此外，在预测医院访问数量时，自我监督的预训练将在整个始终提高性能，例如通过超过$ \ sim 50 $ \％（和高度为800美元\％）。

多模型对现实世界应用的承诺激发了可视化和理解其内部力学的研究，其最终目标是使利益相关者能够可视化模型行为，执行模型调试并促进对机器学习模型的信任。但是，现代的多模型模型通常是黑盒神经网络，这使得了解其内部力学变得具有挑战性。我们如何能在这些模型中可视化多模式相互作用的内部建模？我们的论文旨在通过提出Multiviz来填补这一空白，这是一种通过将可解释性问题分为4个阶段来分析多模型模型行为的方法：（1）单峰的重要性：每种模式如何有助于下游建模和预测，（2）交叉交叉。 - 模式相互作用：不同模态如何相互关系，（3）多模式表示：如何在决策级特征中表示单峰和跨模式的交互作用，以及（4）多模式预测：决策级特征如何组成以制造一个预言。 Multiviz旨在在不同的模式，模型，任务和研究领域进行操作。通过对6个现实世界任务的8个训练模型的实验，我们表明，Multiviz中的互补阶段共同使用户能够（1）模拟模型预测，（2）将可解释的概念分配给功能，（3）对模型错误分析执行错误分析，（4）使用错误分析到调试模型的见解。 Multiviz公开可用，将定期使用新的解释工具和指标进行更新，并欢迎社区的意见。

电子健康记录（EHRS）在患者级别汇总了多种信息，并保留了整个时间内患者健康状况进化的轨迹代表。尽管此信息提供了背景，并且可以由医生利用以监控患者的健康并进行更准确的预后/诊断，但患者记录可以包含长期跨度的信息，这些信息与快速生成的医疗数据速率相结合，使临床决策变得更加复杂。患者轨迹建模可以通过以可扩展的方式探索现有信息来帮助，并可以通过促进预防医学实践来增强医疗保健质量。我们为建模患者轨迹提出了一种解决方案，该解决方案结合了不同类型的信息并考虑了临床数据的时间方面。该解决方案利用了两种不同的架构：一组支持灵活的输入功能集，以将患者的录取转换为密集的表示；以及在基于复发的架构中进行的第二次探索提取的入院表示，其中使用滑动窗口机制在子序列中处理患者轨迹。使用公开可用的模仿III临床数据库评估了开发的解决方案，以两种不同的临床结果，意外的患者再入院和疾病进展。获得的结果证明了第一个体系结构使用单个患者入院进行建模和诊断预测的潜力。虽然临床文本中的信息并未显示在其他现有作品中观察到的判别能力，但这可以通过微调临床模型来解释。最后，我们使用滑动窗口机制来表示基于序列的体系结构的潜力，以表示输入数据，从而获得与其他现有解决方案的可比性能。

COVID-19大流行对全球医疗保健系统造成了沉重的负担，并造成了巨大的社会破坏和经济损失。已经提出了许多深度学习模型来执行临床预测任务，例如使用电子健康记录（EHR）数据在重症监护病房中为Covid-19患者的死亡率预测。尽管在某些临床应用中取得了最初的成功，但目前缺乏基准测试结果来获得公平的比较，因此我们可以选择最佳模型以供临床使用。此外，传统预测任务的制定与重症监护现实世界的临床实践之间存在差异。为了填补这些空白，我们提出了两项​​临床预测任务，特定于结局的预测和重症监护病房中的COVID-19患者的早期死亡率预测。这两个任务是根据幼稚的停车时间和死亡率预测任务的改编，以适应COVID-19患者的临床实践。我们提出了公平，详细的开源数据预处管道，并评估了两项任务的17个最先进的预测模型，包括5个机器学习模型，6种基本的深度学习模型和6种专门为EHR设计的深度学习预测模型数据。我们使用来自两个现实世界Covid-19 EHR数据集的数据提供基准测试结果。这两个数据集都可以公开可用，而无需任何查询，并且可以根据要求访问一个数据集。我们为两项任务提供公平，可重复的基准测试结果。我们在在线平台上部署所有实验结果和模型。我们还允许临床医生和研究人员将其数据上传到平台上，并使用训练有素的模型快速获得预测结果。我们希望我们的努力能够进一步促进Covid-19预测建模的深度学习和机器学习研究。

传统机器学习方法面临两种主要挑战，在处理医疗保健预测分析任务方面。首先，医疗保健数据的高维性质需要劳动密集型和耗时的过程，为每项新任务选择适当的功能集。其次，这些方法依赖于特征工程来捕获患者数据的顺序性，这可能无法充分利用医疗事件的时间模式及其依赖性。最近的深度学习方法通​​过解决医疗数据的高维和时间挑战，对各种医疗保健预测任务显示了有希望的性能。这些方法可以学习关键因素（例如，医学概念或患者）的有用表示及其与高维原始或最低处理的医疗保健数据的相互作用。在本文中，我们系统地审查了专注于推进和使用深神经网络的研究，以利用患者结构化时间序列数据进行医疗保健预测任务。为了识别相关研究，搜索MEDLINE，IEEE，SCOPUS和ACM数字图书馆于2021年2月7日出版的研究。我们发现研究人员在十个研究流中为深度时间序列预测文献做出了贡献：深入学习模型，缺少价值处理，不规则处理，患者表示，静态数据包容，关注机制，解释，纳入医疗本体，学习策略和可扩展性。本研究总结了这些文献流的研究见解，确定了几个关键研究差距，并提出了未来的患者时间序列数据深入学习的研究机会。

可以提前以低虚假警报率预测不良事件的模型对于接受医学界的决策支持系统至关重要。这项具有挑战性的机器学习任务通常仍被视为简单的二进制分类，并提出了一些定制方法来利用样本之间的时间依赖性。我们提出了时间标签平滑（TLS），这是一种新颖的学习策略，可调节平滑强度，这是与感兴趣的事件接近的函数。这种正则化技术降低了在类边界上的模型置信度，在该阶级边界中，信号通常是嘈杂或不信息的，因此训练可以集中在远离该边界区域的临床信息丰富的数据点上。从理论的角度来看，我们还表明，我们的方法可以作为多屈曲预测的扩展，这是在其他早期预测工作中提出的学习启发式词。 TLS从经验上匹配或跑赢大盘，考虑了各种早期预测基准任务的竞争方法。特别是，我们的方法可显着提高与临床相关的指标的性能，例如以低弹药率以较低的事件召回。

Multivariate time series data in practical applications, such as health care, geoscience, and biology, are characterized by a variety of missing values. In time series prediction and other related tasks, it has been noted that missing values and their missing patterns are often correlated with the target labels, a.k.a., informative missingness. There is very limited work on exploiting the missing patterns for effective imputation and improving prediction performance. In this paper, we develop novel deep learning models, namely GRU-D, as one of the early attempts. GRU-D is based on Gated Recurrent Unit (GRU), a state-of-the-art recurrent neural network. It takes two representations of missing patterns, i.e., masking and time interval, and effectively incorporates them into a deep model architecture so that it not only captures the long-term temporal dependencies in time series, but also utilizes the missing patterns to achieve better prediction results. Experiments of time series classification tasks on real-world clinical datasets (MIMIC-III, PhysioNet) and synthetic datasets demonstrate that our models achieve state-of-the-art performance and provides useful insights for better understanding and utilization of missing values in time series analysis.

医疗成果的预测模型对提高临床决策具有很强的希望。这些型号培训培训，诸如临床笔记的富患者数据，将许多患者信号汇总到结果预测中。然而，基于AI的临床模型通常是从​​初始循证药物（EBM）的突出范式的孤立的临床模型，其中医学决策是基于来自现有文献的明确证据。在这项工作中，我们介绍了帮助桥接ebm和基于AI的临床模型之间的这种差距的技术，并表明这些方法可以提高预测准确性。我们提出了一种新颖的系统，可根据重症监护（ICU）患者信息自动检索患者特异性文献，汇总相关文件并将其融合在内的内部录音，以形成结果预测。与强大的最近基线相比，我们的模型能够在三个具有挑战性的任务上提高预测准确性;对于住院医生的死亡率，我们能够通过超过25％的大幅度提高10％的精度。

我们提出了一种三级等级变压器网络（3级），用于在临床笔记上建模长期依赖性，以患者级预测的目的。该网络配备了三个级别的基于变压器的编码器，以逐步地从单词中学到句子，句子票据，最后给患者注释。单词到句子的第一级直接将预先训练的BERT模型应用为完全可训练的组件。虽然第二和第三级实现了一堆基于变压器的编码器，但在最终患者表示进入临床预测的分类层之前。与传统的BERT模型相比，我们的模型将512个令牌的最大输入长度增加到适合建模大量临床笔记的更长的序列。我们经验检查不同的超参数，以识别给定的计算资源限制的最佳权衡。我们的实验结果对不同预测任务的模拟-III数据集表明，所提出的等级变压器网络优于以前的最先进的模型，包括但不限于BigBird。