Machine learning has been widely used in healthcare applications to approximate complex models, for clinical diagnosis, prognosis, and treatment. As deep learning has the outstanding ability to extract information from time series, its true capabilities on sparse, irregularly sampled, multivariate, and imbalanced physiological data are not yet fully explored. In this paper, we systematically examine the performance of machine learning models for the clinical prediction task based on the EHR, especially physiological time series. We choose Physionet 2019 challenge public dataset to predict Sepsis outcomes in ICU units. Ten baseline machine learning models are compared, including 3 deep learning methods and 7 non-deep learning methods, commonly used in the clinical prediction domain. Nine evaluation metrics with specific clinical implications are used to assess the performance of models. Besides, we sub-sample training dataset sizes and use learning curve fit to investigate the impact of the training dataset size on the performance of the machine learning models. We also propose the general pre-processing method for the physiology time-series data and use Dice Loss to deal with the dataset imbalanced problem. The results show that deep learning indeed outperforms non-deep learning, but with certain conditions: firstly, evaluating with some particular evaluation metrics (AUROC, AUPRC, Sensitivity, and FNR), but not others; secondly, the training dataset size is large enough (with an estimation of a magnitude of thousands).

COVID-19大流行对全球医疗保健系统造成了沉重的负担，并造成了巨大的社会破坏和经济损失。已经提出了许多深度学习模型来执行临床预测任务，例如使用电子健康记录（EHR）数据在重症监护病房中为Covid-19患者的死亡率预测。尽管在某些临床应用中取得了最初的成功，但目前缺乏基准测试结果来获得公平的比较，因此我们可以选择最佳模型以供临床使用。此外，传统预测任务的制定与重症监护现实世界的临床实践之间存在差异。为了填补这些空白，我们提出了两项​​临床预测任务，特定于结局的预测和重症监护病房中的COVID-19患者的早期死亡率预测。这两个任务是根据幼稚的停车时间和死亡率预测任务的改编，以适应COVID-19患者的临床实践。我们提出了公平，详细的开源数据预处管道，并评估了两项任务的17个最先进的预测模型，包括5个机器学习模型，6种基本的深度学习模型和6种专门为EHR设计的深度学习预测模型数据。我们使用来自两个现实世界Covid-19 EHR数据集的数据提供基准测试结果。这两个数据集都可以公开可用，而无需任何查询，并且可以根据要求访问一个数据集。我们为两项任务提供公平，可重复的基准测试结果。我们在在线平台上部署所有实验结果和模型。我们还允许临床医生和研究人员将其数据上传到平台上，并使用训练有素的模型快速获得预测结果。我们希望我们的努力能够进一步促进Covid-19预测建模的深度学习和机器学习研究。

最近应用于从密集护理单位收集的时间序列的机器学习方法的成功暴露了缺乏标准化的机器学习基准，用于开发和比较这些方法。虽然原始数据集（例如MIMIC-IV或EICU）可以在物理体上自由访问，但是选择任务和预处理的选择通常是针对每个出版物的ad-hoc，限制出版物的可比性。在这项工作中，我们的目标是通过提供覆盖大型ICU相关任务的基准来改善这种情况。使用HirID数据集，我们定义与临床医生合作开发的多个临床相关任务。此外，我们提供可重复的端到端管道，以构建数据和标签。最后，我们提供了对当前最先进的序列建模方法的深入分析，突出了这种类型数据的深度学习方法的一些限制。通过这款基准，我们希望为研究界提供合理比较的可能性。

痴呆症是一种神经精神脑障碍，通常会在一个或多个脑细胞停止部分或根本停止工作时发生。在疾病的早期阶段诊断这种疾病是从不良后果中挽救生命并为他们提供更好的医疗保健的至关重要的任务。事实证明，机器学习方法在预测疾病早期痴呆症方面是准确的。痴呆的预测在很大程度上取决于通常从归一化的全脑体积（NWBV）和地图集缩放系数（ASF）收集的收集数据类型，这些数据通常测量并从磁共振成像（MRIS）中进行校正。年龄和性别等其他生物学特征也可以帮助诊断痴呆症。尽管许多研究使用机器学习来预测痴呆症，但我们无法就这些方法的稳定性得出结论，而这些方法在不同的实验条件下更准确。因此，本文研究了有关痴呆预测的机器学习算法的性能的结论稳定性。为此，使用7种机器学习算法和两种功能还原算法，即信息增益（IG）和主成分分析（PCA）进行大量实验。为了检查这些算法的稳定性，IG的特征选择阈值从20％更改为100％，PCA尺寸从2到8。这导致了7x9 + 7x7 = 112实验。在每个实验中，都记录了各种分类评估数据。获得的结果表明，在七种算法中，支持向量机和天真的贝叶斯是最稳定的算法，同时更改选择阈值。同样，发现使用IG似乎比使用PCA预测痴呆症更有效。

COVID-19的大流行造成了毁灭性的经济和社会破坏，使全球医疗机构的资源紧张。这导致全国范围内呼吁模型预测Covid-19患者的住院和严重疾病，以告知有限医疗资源的分配。我们回应针对儿科人群的其中一种。为了应对这一挑战，我们使用电子健康记录研究了针对儿科人群的两项预测任务：1）预测哪些儿童更有可能住院，而2）在住院儿童中，哪些孩子更有可能出现严重的症状。我们通过新颖的机器学习模型MEDML应对国家儿科Covid-19数据挑战。 MEDML根据超过600万个医学概念的医学知识和倾向得分提取了最预测的特征，并通过图神经网络（GNN）结合了异质医学特征之间的功能间关系。我们使用来自国家队列协作（N3C）数据集的数据评估了143,605名患者的MEDML，并在143,605名患者的住院预测任务中评估了严重性预测任务的11,465名患者。我们还报告了详细的小组级和个人级特征的重要性分析，以评估模型的解释性。与最佳的基线机器学习模型相比，MEDML的AUROC得分高达7％，AUPRC得分高达14％，并且自大流行以来的所有九个国家地理区域以及所有三个月的跨度都表现良好。我们的跨学科研究团队开发了一种将临床领域知识纳入新型机器学习模型的框架的方法，该框架比当前最新的数据驱动的功能选择方法更具预测性和可解释。

随着近年来AI技术的快速发展，柔软传感区域的深层学习模型有很多研究。然而，该模型已经变得更加复杂，但数据集保持有限：研究人员用数百个数据样本拟合百万参数模型，这不足以行使其模型的有效性，因此在工业中实施时通常无法执行应用程序。为解决这一持久的问题，我们正在为公众提供大规模的高维时间序列制造传感器数据。我们展示了这些数据集上软感应变压器模型建模工业大数据的挑战和有效性。使用变压器，因为，它在自然语言处理中表现出优于最先进的技术，从直接应用到计算机视觉时也表现良好，而不引入图像特定的感应偏差。我们观察句子结构与传感器读数的相似性，并以自然语言中的句子类似的方式处理多变量传感器读数。高维时间序列数据被格式化成相同的嵌入式句子，并馈入变压器模型。结果表明，基于自动编码器和长短期存储器（LSTM）模型，变压器模型优于软感测场中的基准模型。据我们所知，我们是学术界或工业的第一支球队，以利用大规模数值软感测数据基准原始变压器模型的性能。

Machine learning is the study of computer algorithms that can automatically improve based on data and experience. Machine learning algorithms build a model from sample data, called training data, to make predictions or judgments without being explicitly programmed to do so. A variety of wellknown machine learning algorithms have been developed for use in the field of computer science to analyze data. This paper introduced a new machine learning algorithm called impact learning. Impact learning is a supervised learning algorithm that can be consolidated in both classification and regression problems. It can furthermore manifest its superiority in analyzing competitive data. This algorithm is remarkable for learning from the competitive situation and the competition comes from the effects of autonomous features. It is prepared by the impacts of the highlights from the intrinsic rate of natural increase (RNI). We, moreover, manifest the prevalence of the impact learning over the conventional machine learning algorithm.

在过去的几十年中，现代工业过程研究了几种具有成本效益的方法，以提高半导体制造的生产率和产量。虽然在促进实时监控和控制方面发挥重要作用，但行业中的数据驱动的软传感器在增强了晶圆故障诊断的深度学习方法时提供了竞争优势。尽管各个领域的深度学习方法取得了成功，但它们倾向于在多变化的软感测数据域上遭受不良性能。为了缓解这一点，我们提出了一种用于晶圆故障诊断分类任务的软感应集合器（卷积式变压器），主要由多头卷积模块组成，可获得快速和轻量级操作的卷曲的益处，以及能力通过多头设计相同的变压器来学习强大的表示。另一个关键问题是传统的学习范式倾向于在嘈杂和高度不平衡的软感测数据上遭受低性能。为了解决这个问题，我们使用基于课程的课程的损失函数增强了我们的软感测符合子模型，这有效地在培训的早期阶段和困难的阶段中学习易于样本。为了进一步展示我们拟议的架构的效用，我们对希捷技术的晶圆制造过程的各种工具进行了广泛的实验，这些工具与这项工作一起分享。据我们所知，这是第一次提出了课程，为软感测数据提出了基于课程的软感测符合子架构，我们的结果表明未来在软传感研究领域的使用中有很强的承诺。

台湾对全球碎片流的敏感性和死亡人数最高。台湾现有的碎屑流警告系统，该系统使用降雨量的时间加权度量，当该措施超过预定义的阈值时，会导致警报。但是，该系统会产生许多错误的警报，并错过了实际碎屑流的很大一部分。为了改善该系统，我们实施了五个机器学习模型，以输入历史降雨数据并预测是否会在选定的时间内发生碎屑流。我们发现，随机的森林模型在五个模型中表现最好，并优于台湾现有系统。此外，我们确定了与碎屑流的发生密切相关的降雨轨迹，并探索了缺失碎屑流的风险与频繁的虚假警报之间的权衡。这些结果表明，仅在小时降雨数据中训练的机器学习模型的潜力可以挽救生命，同时减少虚假警报。

Multivariate time series data in practical applications, such as health care, geoscience, and biology, are characterized by a variety of missing values. In time series prediction and other related tasks, it has been noted that missing values and their missing patterns are often correlated with the target labels, a.k.a., informative missingness. There is very limited work on exploiting the missing patterns for effective imputation and improving prediction performance. In this paper, we develop novel deep learning models, namely GRU-D, as one of the early attempts. GRU-D is based on Gated Recurrent Unit (GRU), a state-of-the-art recurrent neural network. It takes two representations of missing patterns, i.e., masking and time interval, and effectively incorporates them into a deep model architecture so that it not only captures the long-term temporal dependencies in time series, but also utilizes the missing patterns to achieve better prediction results. Experiments of time series classification tasks on real-world clinical datasets (MIMIC-III, PhysioNet) and synthetic datasets demonstrate that our models achieve state-of-the-art performance and provides useful insights for better understanding and utilization of missing values in time series analysis.

Predicting the health risks of patients using Electronic Health Records (EHR) has attracted considerable attention in recent years, especially with the development of deep learning techniques. Health risk refers to the probability of the occurrence of a specific health outcome for a specific patient. The predicted risks can be used to support decision-making by healthcare professionals. EHRs are structured patient journey data. Each patient journey contains a chronological set of clinical events, and within each clinical event, there is a set of clinical/medical activities. Due to variations of patient conditions and treatment needs, EHR patient journey data has an inherently high degree of missingness that contains important information affecting relationships among variables, including time. Existing deep learning-based models generate imputed values for missing values when learning the relationships. However, imputed data in EHR patient journey data may distort the clinical meaning of the original EHR patient journey data, resulting in classification bias. This paper proposes a novel end-to-end approach to modeling EHR patient journey data with Integrated Convolutional and Recurrent Neural Networks. Our model can capture both long- and short-term temporal patterns within each patient journey and effectively handle the high degree of missingness in EHR data without any imputation data generation. Extensive experimental results using the proposed model on two real-world datasets demonstrate robust performance as well as superior prediction accuracy compared to existing state-of-the-art imputation-based prediction methods.

越来越多的研究致力于将机器学习方法应用于电子健康记录（EHR）数据，以完成各种临床任务。这一不断增长的研究领域暴露了所有人EHR数据集可访问性的局限性，以及不同建模框架的可重复性。这些局限性的原因之一是缺乏标准化的预处理管道。模仿是一种以许多研究中使用的原始格式免费获得的EHR数据集。缺乏标准化的预处理步骤是对数据集更广泛采用的重大障碍。它还导致在下游任务中使用不同的队列，从而限制了在类似研究中比较结果的能力。对比研究还使用各种不同的性能指标，可以大大降低比较模型结果的能力。在这项工作中，我们提供了一条端到端完全可定制的管道，以提取，清洁和预处理数据；并预测和评估ICU和非ICU相关临床时间序列预测任务的模拟数据集（MIMIC-IV）的第四版。该工具可在https://github.com/healthylaife/mimic-imic-iv-data-pipeline上公开获得。

机器学习在医学图像分析中发挥着越来越重要的作用，产卵在神经影像症的临床应用中的新进展。之前有一些关于机器学习和癫痫的综述，它们主要专注于电生理信号，如脑电图（EEG）和立体脑电图（SEENG），同时忽略癫痫研究中神经影像的潜力。 NeuroImaging在确认癫痫区域的范围内具有重要的优点，这对于手术后的前诊所评估和评估至关重要。然而，脑电图难以定位大脑中的准确癫痫病变区。在这篇综述中，我们强调了癫痫诊断和预后在癫痫诊断和预后的背景下神经影像学和机器学习的相互作用。我们首先概述癫痫诊所，MRI，DWI，FMRI和PET中使用的癫痫和典型的神经影像姿态。然后，我们在将机器学习方法应用于神经影像数据的方法：i）将手动特征工程和分类器的传统机器学习方法阐述了两种方法，即卷积神经网络和自动化器等深度学习方法。随后，详细地研究了对癫痫，定位和横向化任务等分割，本地化和横向化任务的应用，以及与诊断和预后直接相关的任务。最后，我们讨论了目前的成就，挑战和潜在的未来方向，希望为癫痫的计算机辅助诊断和预后铺平道路。

对世界各地的急诊部门（ED）服务的需求不断增长，特别是在Covid-19大流行下。风险三环在优先考虑最需要它们的患者的有限医疗资源方面发挥着至关重要的作用。最近，普遍使用电子健康记录（EHR）已经产生了大量的存储数据，伴随着开发可改善紧急护理的预测模型的巨大机会。然而，没有基于大型公共EHR的广泛接受的ED基准，这是新的研究人员可以轻松访问的基准。填补这种差距的成功可以使研究人员更快，方便地开始研究，而无需详细数据预处理，并促进不同研究和方法之间的比较。在本文中，基于医疗信息MART为重症监护IV急诊部门（MIMIC-IV-ED）数据库，我们提出了一款公共ED基准套件，并获得了从2011年到2019年的50万ED访问的基准数据集。三个ed已经介绍了基于预测任务（住院，关键结果和72小时ED Revisit），其中实施了各种流行的方法，从机器学习方法到临床评分系统进行了实施。他们的性能结果评估并进行了比较。我们的代码是开源，因此任何具有访问模仿-IV-ED的人都可以遵循相同的数据处理步骤，构建基准，并重现实验。本研究提供了洞察力，建议，以及未来研究人员的协议，以处理原始数据并快速建立紧急护理模型。

快速准确地检测该疾病可以大大帮助减少任何国家医疗机构对任何大流行期间死亡率降低死亡率的压力。这项工作的目的是使用新型的机器学习框架创建多模式系统，该框架同时使用胸部X射线（CXR）图像和临床数据来预测COVID-19患者的严重程度。此外，该研究还提出了一种基于nom图的评分技术，用于预测高危患者死亡的可能性。这项研究使用了25种生物标志物和CXR图像，以预测意大利第一波Covid-19（3月至6月2020年3月至6月）在930名Covid-19患者中的风险。提出的多模式堆叠技术分别产生了89.03％，90.44％和89.03％的精度，灵敏度和F1分数，以识别低风险或高危患者。与CXR图像或临床数据相比，这种多模式方法可提高准确性6％。最后，使用多元逻辑回归的列线图评分系统 - 用于对第一阶段确定的高风险患者的死亡风险进行分层。使用随机森林特征选择模型将乳酸脱氢酶（LDH），O2百分比，白细胞（WBC）计数，年龄和C反应蛋白（CRP）鉴定为有用的预测指标。开发了五个预测因素参数和基于CXR图像的列函数评分，以量化死亡的概率并将其分为两个风险组：分别存活（<50％）和死亡（> = 50％）。多模式技术能够预测F1评分为92.88％的高危患者的死亡概率。开发和验证队列曲线下的面积分别为0.981和0.939。

Future surveys such as the Legacy Survey of Space and Time (LSST) of the Vera C. Rubin Observatory will observe an order of magnitude more astrophysical transient events than any previous survey before. With this deluge of photometric data, it will be impossible for all such events to be classified by humans alone. Recent efforts have sought to leverage machine learning methods to tackle the challenge of astronomical transient classification, with ever improving success. Transformers are a recently developed deep learning architecture, first proposed for natural language processing, that have shown a great deal of recent success. In this work we develop a new transformer architecture, which uses multi-head self attention at its core, for general multi-variate time-series data. Furthermore, the proposed time-series transformer architecture supports the inclusion of an arbitrary number of additional features, while also offering interpretability. We apply the time-series transformer to the task of photometric classification, minimising the reliance of expert domain knowledge for feature selection, while achieving results comparable to state-of-the-art photometric classification methods. We achieve a logarithmic-loss of 0.507 on imbalanced data in a representative setting using data from the Photometric LSST Astronomical Time-Series Classification Challenge (PLAsTiCC). Moreover, we achieve a micro-averaged receiver operating characteristic area under curve of 0.98 and micro-averaged precision-recall area under curve of 0.87.

我们提出了一种使用流生理时间序列的端到端模型，以准确预测低氧血症的近期风险，低氧血症是一种罕见但威胁生命的疾病，已知在手术期间造成严重的患者伤害。受到以下事实的启发：低氧血症事件是根据未来观察到的低spo2（即血氧饱和度）实例定义的，我们提出的模型使对未来的低spo2实例和低氧血症结果的混合推断，并由关节序列启用同时优化标签预测的判别解码器的自动编码器，以及对数据重建和预测进行了培训的两个辅助解码器，它们无缝地学习上下文的潜在表示，这些表示捕获了当前状态之间的过渡到未来状态。所有解码器都共享一个基于内存的编码器，有助于捕获患者测量的全局动态。对于一个主要的学术医学中心进行了72,081次手术的大型手术队列，我们​​的模型优于所有基础，包括最先进的低氧预测系统使用的模型。能够以临床上可接受的警报对近期低氧事件的警报进行分辨率的实时预测，尤其是更关键的持续性低氧血症，我们提出的模型在改善临床决策和减轻围手术期的减轻负担方面有希望。

基于变压器模型架构的最近深入学习研究在各种域和任务中展示了最先进的性能，主要是在计算机视觉和自然语言处理域中。虽然最近的一些研究已经实施了使用电子健康记录数据的临床任务的变压器，但它们的范围，灵活性和全面性有限。在本研究中，我们提出了一种灵活的基于变换器的EHR嵌入管道和预测模型框架，它引入了利用了医疗域唯一的数据属性的现有工作流程的几个新颖修改。我们展示了灵活设计的可行性，在重症监护病房的案例研究中，我们的模型准确地预测了七种临床结果，这些临床结果与多个未来的时间范围有关的入院和患者死亡率。

Time Series Classification (TSC) is an important and challenging problem in data mining. With the increase of time series data availability, hundreds of TSC algorithms have been proposed. Among these methods, only a few have considered Deep Neural Networks (DNNs) to perform this task. This is surprising as deep learning has seen very successful applications in the last years. DNNs have indeed revolutionized the field of computer vision especially with the advent of novel deeper architectures such as Residual and Convolutional Neural Networks. Apart from images, sequential data such as text and audio can also be processed with DNNs to reach state-of-the-art performance for document classification and speech recognition. In this article, we study the current state-ofthe-art performance of deep learning algorithms for TSC by presenting an empirical study of the most recent DNN architectures for TSC. We give an overview of the most successful deep learning applications in various time series domains under a unified taxonomy of DNNs for TSC. We also provide an open source deep learning framework to the TSC community where we implemented each of the compared approaches and evaluated them on a univariate TSC benchmark (the UCR/UEA archive) and 12 multivariate time series datasets. By training 8,730 deep learning models on 97 time series datasets, we propose the most exhaustive study of DNNs for TSC to date.

Although prediction models for delirium, a commonly occurring condition during general hospitalization or post-surgery, have not gained huge popularity, their algorithmic bias evaluation is crucial due to the existing association between social determinants of health and delirium risk. In this context, using MIMIC-III and another academic hospital dataset, we present some initial experimental evidence showing how sociodemographic features such as sex and race can impact the model performance across subgroups. With this work, our intent is to initiate a discussion about the intersectionality effects of old age, race and socioeconomic factors on the early-stage detection and prevention of delirium using ML.