基于变压器模型架构的最近深入学习研究在各种域和任务中展示了最先进的性能，主要是在计算机视觉和自然语言处理域中。虽然最近的一些研究已经实施了使用电子健康记录数据的临床任务的变压器，但它们的范围，灵活性和全面性有限。在本研究中，我们提出了一种灵活的基于变换器的EHR嵌入管道和预测模型框架，它引入了利用了医疗域唯一的数据属性的现有工作流程的几个新颖修改。我们展示了灵活设计的可行性，在重症监护病房的案例研究中，我们的模型准确地预测了七种临床结果，这些临床结果与多个未来的时间范围有关的入院和患者死亡率。

传统机器学习方法面临两种主要挑战，在处理医疗保健预测分析任务方面。首先，医疗保健数据的高维性质需要劳动密集型和耗时的过程，为每项新任务选择适当的功能集。其次，这些方法依赖于特征工程来捕获患者数据的顺序性，这可能无法充分利用医疗事件的时间模式及其依赖性。最近的深度学习方法通​​过解决医疗数据的高维和时间挑战，对各种医疗保健预测任务显示了有希望的性能。这些方法可以学习关键因素（例如，医学概念或患者）的有用表示及其与高维原始或最低处理的医疗保健数据的相互作用。在本文中，我们系统地审查了专注于推进和使用深神经网络的研究，以利用患者结构化时间序列数据进行医疗保健预测任务。为了识别相关研究，搜索MEDLINE，IEEE，SCOPUS和ACM数字图书馆于2021年2月7日出版的研究。我们发现研究人员在十个研究流中为深度时间序列预测文献做出了贡献：深入学习模型，缺少价值处理，不规则处理，患者表示，静态数据包容，关注机制，解释，纳入医疗本体，学习策略和可扩展性。本研究总结了这些文献流的研究见解，确定了几个关键研究差距，并提出了未来的患者时间序列数据深入学习的研究机会。

我们利用深度顺序模型来解决预测患者医疗保健利用的问题，这可能有助于政府更好地为未来的医疗保健使用提供资源。具体地，我们研究\纺织{发散亚组}的问题，其中较小的人口小组中的结果分布大大偏离了一般人群的群体。如果亚组的尺寸非常小（例如，稀有疾病），则对不同亚组的专业模型建造专门模型的传统方法可能是有问题的。为了解决这一挑战，我们首先开发一种新的无关注顺序模型，SANSFORMERS，灌输了适合在电子医疗记录中建模临床码的归纳偏差。然后，我们通过在整个健康登记处预先培训每个模型（接近100万名患者）之前，设计了一个特定的自我监督目标，并展示其有效性，特别是稀缺数据设置，特别是在整个健康登记处（接近一百万名患者）进行微调下游任务不同的子组。我们使用两个数据来源与LSTM和变压器模型进行比较新的SANSFARER架构和辅助医疗利用预测的多任务学习目标。凭经验，无关注的Sansformer模型在实验中始终如一地执行，在大多数情况下以至少$ \ SIM 10 $ \％表现出在大多数情况下的基线。此外，在预测医院访问数量时，自我监督的预训练将在整个始终提高性能，例如通过超过$ \ sim 50 $ \％（和高度为800美元\％）。

我们提出了一种三级等级变压器网络（3级），用于在临床笔记上建模长期依赖性，以患者级预测的目的。该网络配备了三个级别的基于变压器的编码器，以逐步地从单词中学到句子，句子票据，最后给患者注释。单词到句子的第一级直接将预先训练的BERT模型应用为完全可训练的组件。虽然第二和第三级实现了一堆基于变压器的编码器，但在最终患者表示进入临床预测的分类层之前。与传统的BERT模型相比，我们的模型将512个令牌的最大输入长度增加到适合建模大量临床笔记的更长的序列。我们经验检查不同的超参数，以识别给定的计算资源限制的最佳权衡。我们的实验结果对不同预测任务的模拟-III数据集表明，所提出的等级变压器网络优于以前的最先进的模型，包括但不限于BigBird。

基于电子健康记录（EHR）的健康预测建筑模型已成为一个活跃的研究领域。 EHR患者旅程数据由患者定期的临床事件/患者访问组成。大多数现有研究的重点是建模访问之间的长期依赖性，而无需明确考虑连续访问之间的短期相关性，在这种情况下，将不规则的时间间隔（并入为辅助信息）被送入健康预测模型中以捕获患者期间的潜在渐进模式。 。我们提出了一个具有四个模块的新型深神经网络，以考虑各种变量对健康预测的贡献：i）堆叠的注意力模块在每个患者旅程中加强了临床事件中的深层语义，并产生访问嵌入，ii）短 - 术语时间关注模块模型在连续访问嵌入之间的短期相关性，同时捕获这些访问嵌入中时间间隔的影响，iii）长期时间关注模块模型的长期依赖模型，同时捕获时间间隔内的时间间隔的影响这些访问嵌入，iv），最后，耦合的注意模块适应了短期时间关注和长期时间注意模块的输出，以做出健康预测。对模拟III的实验结果表明，与现有的最新方法相比，我们的模型的预测准确性以及该方法的可解释性和鲁棒性。此外，我们发现建模短期相关性有助于局部先验的产生，从而改善了患者旅行的预测性建模。

预训练在机器学习的不同领域表现出成功，例如计算机视觉，自然语言处理（NLP）和医学成像。但是，尚未完全探索用于临床数据分析。记录了大量的临床记录，但是对于在小型医院收集的数据或处理罕见疾病的数据仍可能稀缺数据和标签。在这种情况下，对较大的未标记临床数据进行预训练可以提高性能。在本文中，我们提出了专为异质的多模式临床数据设计的新型无监督的预训练技术，用于通过蒙版语言建模（MLM）启发的患者预测，通过利用对人群图的深度学习来启发。为此，我们进一步提出了一个基于图形转换器的网络，该网络旨在处理异质临床数据。通过将基于掩盖的预训练与基于变压器的网络相结合，我们将基于掩盖的其他域中训练的成功转化为异质临床数据。我们使用三个医学数据集Tadpole，Mimic-III和一个败血症预测数据集，在自我监督和转移学习设置中展示了我们的预训练方法的好处。我们发现，我们提出的培训方法有助于对患者和人群水平的数据进行建模，并提高所有数据集中不同微调任务的性能。

电子健康记录（EHRS）在患者级别汇总了多种信息，并保留了整个时间内患者健康状况进化的轨迹代表。尽管此信息提供了背景，并且可以由医生利用以监控患者的健康并进行更准确的预后/诊断，但患者记录可以包含长期跨度的信息，这些信息与快速生成的医疗数据速率相结合，使临床决策变得更加复杂。患者轨迹建模可以通过以可扩展的方式探索现有信息来帮助，并可以通过促进预防医学实践来增强医疗保健质量。我们为建模患者轨迹提出了一种解决方案，该解决方案结合了不同类型的信息并考虑了临床数据的时间方面。该解决方案利用了两种不同的架构：一组支持灵活的输入功能集，以将患者的录取转换为密集的表示；以及在基于复发的架构中进行的第二次探索提取的入院表示，其中使用滑动窗口机制在子序列中处理患者轨迹。使用公开可用的模仿III临床数据库评估了开发的解决方案，以两种不同的临床结果，意外的患者再入院和疾病进展。获得的结果证明了第一个体系结构使用单个患者入院进行建模和诊断预测的潜力。虽然临床文本中的信息并未显示在其他现有作品中观察到的判别能力，但这可以通过微调临床模型来解释。最后，我们使用滑动窗口机制来表示基于序列的体系结构的潜力，以表示输入数据，从而获得与其他现有解决方案的可比性能。

Predicting the health risks of patients using Electronic Health Records (EHR) has attracted considerable attention in recent years, especially with the development of deep learning techniques. Health risk refers to the probability of the occurrence of a specific health outcome for a specific patient. The predicted risks can be used to support decision-making by healthcare professionals. EHRs are structured patient journey data. Each patient journey contains a chronological set of clinical events, and within each clinical event, there is a set of clinical/medical activities. Due to variations of patient conditions and treatment needs, EHR patient journey data has an inherently high degree of missingness that contains important information affecting relationships among variables, including time. Existing deep learning-based models generate imputed values for missing values when learning the relationships. However, imputed data in EHR patient journey data may distort the clinical meaning of the original EHR patient journey data, resulting in classification bias. This paper proposes a novel end-to-end approach to modeling EHR patient journey data with Integrated Convolutional and Recurrent Neural Networks. Our model can capture both long- and short-term temporal patterns within each patient journey and effectively handle the high degree of missingness in EHR data without any imputation data generation. Extensive experimental results using the proposed model on two real-world datasets demonstrate robust performance as well as superior prediction accuracy compared to existing state-of-the-art imputation-based prediction methods.

从电子健康记录（EHR）数据中进行有效学习来预测临床结果，这通常是具有挑战性的，因为在不规则的时间段记录的特征和随访的损失以及竞争性事件（例如死亡或疾病进展）。为此，我们提出了一种生成的事实模型，即Survlatent Ode，该模型采用了基于基于微分方程的复发性神经网络（ODE-RNN）作为编码器，以有效地对不规则采样的输入数据进行潜在状态的动力学有效地参数化。然后，我们的模型利用所得的潜在嵌入来灵活地估计多个竞争事件的生存时间，而无需指定事件特定危害功能的形状。我们展示了我们在Mimic-III上的竞争性能，这是一种从重症监护病房收集的自由纵向数据集，预测医院死亡率以及DANA-FARBER癌症研究所（DFCI）的数据，以预测静脉血栓症（静脉血栓症（DFCI）（DFCI）（ VTE），是癌症患者的生命并发症，死亡作为竞争事件。幸存ODE优于分层VTE风险组的当前临床标准Khorana风险评分，同时提供临床上有意义且可解释的潜在表示。

最近应用于从密集护理单位收集的时间序列的机器学习方法的成功暴露了缺乏标准化的机器学习基准，用于开发和比较这些方法。虽然原始数据集（例如MIMIC-IV或EICU）可以在物理体上自由访问，但是选择任务和预处理的选择通常是针对每个出版物的ad-hoc，限制出版物的可比性。在这项工作中，我们的目标是通过提供覆盖大型ICU相关任务的基准来改善这种情况。使用HirID数据集，我们定义与临床医生合作开发的多个临床相关任务。此外，我们提供可重复的端到端管道，以构建数据和标签。最后，我们提供了对当前最先进的序列建模方法的深入分析，突出了这种类型数据的深度学习方法的一些限制。通过这款基准，我们希望为研究界提供合理比较的可能性。

本文研究了医学领域的概念与患者表示的问题。我们将电子健康记录（EHRS）的患者历史作为ICD概念的时间序列，其中嵌入在一个无监督的设置中学习了一种基于变压器的神经网络模型。在6年内对百万患者历史的收集进行了模型培训。与几种基线方法相比，评估这种模型的预测力。与类似系统相比，对模拟-III数据的一系列实验显示了所呈现模型的优势。此外，我们分析了对概念关系的获得空间，并展示了医学领域的知识如何成功转移到患者嵌入形式的保险评分的实际任务。

生态瞬间评估（EMAS）是用于测量移动卫生（MHECHEATH）研究和治疗方案的当前认知状态，影响，行为和环境因素的重要心理数据源。非反应，其中参与者未能响应EMA提示，是一个地方问题。准确预测非响应的能力可用于改善EMA交付和发展顺应性干预。事先工作已经探索了古典机器学习模型，以预测非反应。然而，正如越来越大的EMA数据集可用，有可能利用在其他领域有效的深度学习模型。最近，变压器模型在NLP和其他域中显示了最先进的性能。这项工作是第一个探索用于EMA数据分析的变压器的使用。我们在将变压器应用于EMA数据时解决了三个关键问题：1。输入表示，2.编码时间信息，3.预先培训提高下游预测任务性能的效用。变压器模型实现了0.77的非响应预测AUC，并且明显优于古典ML和基于LSTM的深度学习模型。我们将使我们的一个预测模型在研究界可自由地提供40k EMA样品的核查，以便于开发未来的基于变压器的EMA分析工作。

尽管电子保健记录（EHR）丰富，但其异质性限制了医疗数据在构建预测模型中的利用。为了应对这一挑战，我们提出了通用医疗预测框架（UNIHPF），该框架不需要医疗领域知识和对多个预测任务的最小预处理。实验结果表明，UNIHPF能够构建可以从不同EHR系统处理任何形式的医疗数据的大规模EHR模型。我们的框架在多源学习任务（包括转移和汇总学习）中大大优于基线模型，同时在单个医疗数据集中接受培训时也会显示出可比的结果。为了凭经验证明我们工作的功效，我们使用各种数据集，模型结构和任务进行了广泛的实验。我们认为，我们的发现可以为对EHR的多源学习提供进一步研究提供有益的见解。

尽管变压器语言模型（LMS）是信息提取的最新技术，但长文本引入了需要次优的预处理步骤或替代模型体系结构的计算挑战。稀疏注意的LMS可以代表更长的序列，克服性能障碍。但是，目前尚不清楚如何解释这些模型的预测，因为并非所有令牌都在自我发项层中相互参加，而在运行时，长序列对可解释性算法提出了计算挑战，而当运行时取决于文档长度。这些挑战在文档可能很长的医学环境中是严重的，机器学习（ML）模型必须是审核和值得信赖的。我们介绍了一种新颖的蒙版抽样程序（MSP），以识别有助于预测的文本块，将MSP应用于预测医学文本诊断的背景下，并通过两位临床医生的盲目审查来验证我们的方法。我们的方法比以前的最先进的临床信息块高约1.7倍，速度更快100倍，并且可用于生成重要的短语对。 MSP特别适合长LMS，但可以应用于任何文本分类器。我们提供了MSP的一般实施。

Multimodal deep learning has been used to predict clinical endpoints and diagnoses from clinical routine data. However, these models suffer from scaling issues: they have to learn pairwise interactions between each piece of information in each data type, thereby escalating model complexity beyond manageable scales. This has so far precluded a widespread use of multimodal deep learning. Here, we present a new technical approach of "learnable synergies", in which the model only selects relevant interactions between data modalities and keeps an "internal memory" of relevant data. Our approach is easily scalable and naturally adapts to multimodal data inputs from clinical routine. We demonstrate this approach on three large multimodal datasets from radiology and ophthalmology and show that it outperforms state-of-the-art models in clinically relevant diagnosis tasks. Our new approach is transferable and will allow the application of multimodal deep learning to a broad set of clinically relevant problems.

疾病的早​​期诊断可能会改善健康结果，例如较高的存活率和较低的治疗成本。随着电子健康记录中的大量信息（EHR），使用机器学习（ML）方法有很大的潜力来对疾病进展进行建模，以旨在早期预测疾病发作和其他结果。在这项工作中，我们采用了神经odes的最新创新来利用EHR的全部时间信息。我们提出了冰节（将临床嵌入与神经普通微分方程的整合），该体系结构在时间上整合临床代码和神经ODE的嵌入，以学习和预测EHR中的患者轨迹。我们将我们的方法应用于公共可用的模拟III和模拟IV数据集，与最新方法相比，报告了预测结果的改进，特别是针对EHR中经常观察到的临床代码。我们还表明，冰节在预测某些医疗状况（例如急性肾衰竭和肺心脏病）方面更有能力，并且还能够随着时间的推移产生患者的风险轨迹，以进行进一步的预测。

COVID-19大流行对全球医疗保健系统造成了沉重的负担，并造成了巨大的社会破坏和经济损失。已经提出了许多深度学习模型来执行临床预测任务，例如使用电子健康记录（EHR）数据在重症监护病房中为Covid-19患者的死亡率预测。尽管在某些临床应用中取得了最初的成功，但目前缺乏基准测试结果来获得公平的比较，因此我们可以选择最佳模型以供临床使用。此外，传统预测任务的制定与重症监护现实世界的临床实践之间存在差异。为了填补这些空白，我们提出了两项​​临床预测任务，特定于结局的预测和重症监护病房中的COVID-19患者的早期死亡率预测。这两个任务是根据幼稚的停车时间和死亡率预测任务的改编，以适应COVID-19患者的临床实践。我们提出了公平，详细的开源数据预处管道，并评估了两项任务的17个最先进的预测模型，包括5个机器学习模型，6种基本的深度学习模型和6种专门为EHR设计的深度学习预测模型数据。我们使用来自两个现实世界Covid-19 EHR数据集的数据提供基准测试结果。这两个数据集都可以公开可用，而无需任何查询，并且可以根据要求访问一个数据集。我们为两项任务提供公平，可重复的基准测试结果。我们在在线平台上部署所有实验结果和模型。我们还允许临床医生和研究人员将其数据上传到平台上，并使用训练有素的模型快速获得预测结果。我们希望我们的努力能够进一步促进Covid-19预测建模的深度学习和机器学习研究。

Time series anomaly detection has applications in a wide range of research fields and applications, including manufacturing and healthcare. The presence of anomalies can indicate novel or unexpected events, such as production faults, system defects, or heart fluttering, and is therefore of particular interest. The large size and complex patterns of time series have led researchers to develop specialised deep learning models for detecting anomalous patterns. This survey focuses on providing structured and comprehensive state-of-the-art time series anomaly detection models through the use of deep learning. It providing a taxonomy based on the factors that divide anomaly detection models into different categories. Aside from describing the basic anomaly detection technique for each category, the advantages and limitations are also discussed. Furthermore, this study includes examples of deep anomaly detection in time series across various application domains in recent years. It finally summarises open issues in research and challenges faced while adopting deep anomaly detection models.

背景：电子健康记录（EHRS）包含丰富的患者健康历史信息，这通常包括结构化和非结构化数据。已经有许多研究专注于从结构化数据中蒸馏有价值的信息，例如疾病代码，实验室测试结果和治疗方法。但是，依托结构化数据可能不足反映患者的综合信息，此类数据可能偶尔含有错误的记录。目的：随着机器学习（ML）和深度学习（DL）技术的最近进步，越来越多的研究通过纳入非结构化的自由文本数据，寻求获得更准确的结果。本文评论了使用多模式数据的研究，即结构化和非结构化数据的组合，从EHRS作为传统ML或DL模型的输入来解决目标任务。材料和方法：我们在电气和电子工程师（IEEE）数字图书馆（IEEE）数字图书馆，PubMed和Compution Machion（ACM）数字文章中搜索了与基于ML的多模式EHR研究相关的制品。结果与讨论：最后94项包括研究，我们专注于如何使用常规ML和DL技术合并和互动的数据来自不同方式的数据，以及如何在与EHR相关的任务中应用这些算法。此外，我们研究了这些融合方法的优点和局限，并表明了基于ML的多模式EHR研究的未来方向。

如今，人工智能（AI）已成为临床和远程医疗保健应用程序的基本组成部分，但是最佳性能的AI系统通常太复杂了，无法自我解释。可解释的AI（XAI）技术被定义为揭示系统的预测和决策背后的推理，并且在处理敏感和个人健康数据时，它们变得更加至关重要。值得注意的是，XAI并未在不同的研究领域和数据类型中引起相同的关注，尤其是在医疗保健领域。特别是，许多临床和远程健康应用程序分别基于表格和时间序列数据，而XAI并未在这些数据类型上进行分析，而计算机视觉和自然语言处理（NLP）是参考应用程序。为了提供最适合医疗领域表格和时间序列数据的XAI方法的概述，本文提供了过去5年中文献的审查，说明了生成的解释的类型以及为评估其相关性所提供的努力和质量。具体而言，我们确定临床验证，一致性评估，客观和标准化质量评估以及以人为本的质量评估作为确保最终用户有效解释的关键特征。最后，我们强调了该领域的主要研究挑战以及现有XAI方法的局限性。