自我监督可能会在下游任务中提高模型性能。但是，没有理性的方法可以选择产生最适应性最适应的模型的自我监督目标。在这里，我们研究了从可穿戴传感器产生的每日时间序列数据上的这个问题，用于检测流感样疾病（ILI）的开始。我们首先表明，使用自我监督的学习来预测下一天的时间序列值允许我们学习丰富的表示，这可以适应执行准确的ILI预测。其次，我们对三种不同的自我监督目标进行了实证分析，以评估其对伊利预测的适应性。我们的结果表明，在睡眠期间预测第二天休息的心率或床上床提供了更好的ILI预测表示。这些调查结果增加了以前的工作，展示了自我监督学习从活动数据的实际应用，以改善健康预测。

预训练在机器学习的不同领域表现出成功，例如计算机视觉，自然语言处理（NLP）和医学成像。但是，尚未完全探索用于临床数据分析。记录了大量的临床记录，但是对于在小型医院收集的数据或处理罕见疾病的数据仍可能稀缺数据和标签。在这种情况下，对较大的未标记临床数据进行预训练可以提高性能。在本文中，我们提出了专为异质的多模式临床数据设计的新型无监督的预训练技术，用于通过蒙版语言建模（MLM）启发的患者预测，通过利用对人群图的深度学习来启发。为此，我们进一步提出了一个基于图形转换器的网络，该网络旨在处理异质临床数据。通过将基于掩盖的预训练与基于变压器的网络相结合，我们将基于掩盖的其他域中训练的成功转化为异质临床数据。我们使用三个医学数据集Tadpole，Mimic-III和一个败血症预测数据集，在自我监督和转移学习设置中展示了我们的预训练方法的好处。我们发现，我们提出的培训方法有助于对患者和人群水平的数据进行建模，并提高所有数据集中不同微调任务的性能。

我们利用深度顺序模型来解决预测患者医疗保健利用的问题，这可能有助于政府更好地为未来的医疗保健使用提供资源。具体地，我们研究\纺织{发散亚组}的问题，其中较小的人口小组中的结果分布大大偏离了一般人群的群体。如果亚组的尺寸非常小（例如，稀有疾病），则对不同亚组的专业模型建造专门模型的传统方法可能是有问题的。为了解决这一挑战，我们首先开发一种新的无关注顺序模型，SANSFORMERS，灌输了适合在电子医疗记录中建模临床码的归纳偏差。然后，我们通过在整个健康登记处预先培训每个模型（接近100万名患者）之前，设计了一个特定的自我监督目标，并展示其有效性，特别是稀缺数据设置，特别是在整个健康登记处（接近一百万名患者）进行微调下游任务不同的子组。我们使用两个数据来源与LSTM和变压器模型进行比较新的SANSFARER架构和辅助医疗利用预测的多任务学习目标。凭经验，无关注的Sansformer模型在实验中始终如一地执行，在大多数情况下以至少$ \ SIM 10 $ \％表现出在大多数情况下的基线。此外，在预测医院访问数量时，自我监督的预训练将在整个始终提高性能，例如通过超过$ \ sim 50 $ \％（和高度为800美元\％）。

生态瞬间评估（EMAS）是用于测量移动卫生（MHECHEATH）研究和治疗方案的当前认知状态，影响，行为和环境因素的重要心理数据源。非反应，其中参与者未能响应EMA提示，是一个地方问题。准确预测非响应的能力可用于改善EMA交付和发展顺应性干预。事先工作已经探索了古典机器学习模型，以预测非反应。然而，正如越来越大的EMA数据集可用，有可能利用在其他领域有效的深度学习模型。最近，变压器模型在NLP和其他域中显示了最先进的性能。这项工作是第一个探索用于EMA数据分析的变压器的使用。我们在将变压器应用于EMA数据时解决了三个关键问题：1。输入表示，2.编码时间信息，3.预先培训提高下游预测任务性能的效用。变压器模型实现了0.77的非响应预测AUC，并且明显优于古典ML和基于LSTM的深度学习模型。我们将使我们的一个预测模型在研究界可自由地提供40k EMA样品的核查，以便于开发未来的基于变压器的EMA分析工作。

对表格数据的深度学习的最新工作表明了深层表格模型的强劲表现，通常会弥合梯度增强的决策树和神经网络之间的差距。除了准确性之外，神经模型的主要优点是它们学习可重复使用的功能，并且在新域中很容易进行微调。该属性通常在计算机视觉和自然语言应用中被利用，在特定于任务的培训数据稀缺时，转移学习是必不可少的。在这项工作中，我们证明上游数据使表格神经网络比广泛使用的GBDT模型具有决定性的优势。我们为表格转移学习提出了一个现实的医学诊断基准，并提出了使用上游数据来通过各种表格神经网络体系结构来提高性能的方法指南。最后，我们为上游和下游特征集不同的情况提出了一种伪特征方法，在现实世界中，特定于表格的问题广泛。我们的代码可在https://github.com/levinroman/tabular-transfer-learning上找到。

近年来，来自神经影像数据的脑疾病的单一受试者预测引起了人们的关注。然而，对于某些异质性疾病，例如严重抑郁症（MDD）和自闭症谱系障碍（ASD），大规模多站点数据集对预测模型的性能仍然很差。我们提出了一个两阶段的框架，以改善静止状态功能磁共振成像（RS-FMRI）的异质精神疾病的诊断。首先，我们建议对健康个体的数据进行自我监督的掩盖预测任务，以利用临床数据集中健康对照与患者之间的差异。接下来，我们在学习的判别性表示方面培训了一个有监督的分类器。为了建模RS-FMRI数据，我们开发Graph-S4；最近提出的状态空间模型S4扩展到图形设置，其中底层图结构未提前知道。我们表明，将框架和Graph-S4结合起来可以显着提高基于神经成像的MDD和ASD的基于神经影像学的单个主题预测模型和三个开源多中心RS-FMRI临床数据集的诊断性能。

传统机器学习方法面临两种主要挑战，在处理医疗保健预测分析任务方面。首先，医疗保健数据的高维性质需要劳动密集型和耗时的过程，为每项新任务选择适当的功能集。其次，这些方法依赖于特征工程来捕获患者数据的顺序性，这可能无法充分利用医疗事件的时间模式及其依赖性。最近的深度学习方法通​​过解决医疗数据的高维和时间挑战，对各种医疗保健预测任务显示了有希望的性能。这些方法可以学习关键因素（例如，医学概念或患者）的有用表示及其与高维原始或最低处理的医疗保健数据的相互作用。在本文中，我们系统地审查了专注于推进和使用深神经网络的研究，以利用患者结构化时间序列数据进行医疗保健预测任务。为了识别相关研究，搜索MEDLINE，IEEE，SCOPUS和ACM数字图书馆于2021年2月7日出版的研究。我们发现研究人员在十个研究流中为深度时间序列预测文献做出了贡献：深入学习模型，缺少价值处理，不规则处理，患者表示，静态数据包容，关注机制，解释，纳入医疗本体，学习策略和可扩展性。本研究总结了这些文献流的研究见解，确定了几个关键研究差距，并提出了未来的患者时间序列数据深入学习的研究机会。

Edema is a common symptom of kidney disease, and quantitative measurement of edema is desired. This paper presents a method to estimate the degree of edema from facial images taken before and after dialysis of renal failure patients. As tasks to estimate the degree of edema, we perform pre- and post-dialysis classification and body weight prediction. We develop a multi-patient pre-training framework for acquiring knowledge of edema and transfer the pre-trained model to a model for each patient. For effective pre-training, we propose a novel contrastive representation learning, called weight-aware supervised momentum contrast (WeightSupMoCo). WeightSupMoCo aims to make feature representations of facial images closer in similarity of patient weight when the pre- and post-dialysis labels are the same. Experimental results show that our pre-training approach improves the accuracy of pre- and post-dialysis classification by 15.1% and reduces the mean absolute error of weight prediction by 0.243 kg compared with training from scratch. The proposed method accurately estimate the degree of edema from facial images; our edema estimation system could thus be beneficial to dialysis patients.

With the progress of sensor technology in wearables, the collection and analysis of PPG signals are gaining more interest. Using Machine Learning, the cardiac rhythm corresponding to PPG signals can be used to predict different tasks such as activity recognition, sleep stage detection, or more general health status. However, supervised learning is often limited by the amount of available labeled data, which is typically expensive to obtain. To address this problem, we propose a Self-Supervised Learning (SSL) method with a pretext task of signal reconstruction to learn an informative generalized PPG representation. The performance of the proposed SSL framework is compared with two fully supervised baselines. The results show that in a very limited label data setting (10 samples per class or less), using SSL is beneficial, and a simple classifier trained on SSL-learned representations outperforms fully supervised deep neural networks. However, the results reveal that the SSL-learned representations are too focused on encoding the subjects. Unfortunately, there is high inter-subject variability in the SSL-learned representations, which makes working with this data more challenging when labeled data is scarce. The high inter-subject variability suggests that there is still room for improvements in learning representations. In general, the results suggest that SSL may pave the way for the broader use of machine learning models on PPG data in label-scarce regimes.

通常通过从单个组件的动力学上抽象来构建人口级动力学的模型来研究复杂的时变系统。但是，当构建人群级别的描述时，很容易忽略每个人，以及每个人如何贡献更大的情况。在本文中，我们提出了一种新颖的变压器体系结构，用于从时变数据中学习，该数据构建了个人和集体人口动态的描述。我们没有在一开始就将所有数据结合到我们的模型中，而是开发可分离的体系结构，该体系结构先在单个时间序列上运行，然后再将它们传递给它们。这会导致置换式属性属性，可用于跨不同大小和顺序的系统传输。在证明我们的模型可以应用于在多体系统中成功恢复复杂的相互作用和动力学之后，我们将方法应用于神经系统中的神经元种群。在神经活动数据集上，我们表明我们的多尺度变压器不仅会产生强大的解码性能，而且在转移方面提供了令人印象深刻的性能。我们的结果表明，可以从一种动物的大脑中的神经元学习并传递不同动物大脑中神经元的模型，并在集合和动物之间具有可解释的神经元对应。这一发现为解码并表示大量神经元的新途径开辟了一条新的途径。

The promise of Mobile Health (mHealth) is the ability to use wearable sensors to monitor participant physiology at high frequencies during daily life to enable temporally-precise health interventions. However, a major challenge is frequent missing data. Despite a rich imputation literature, existing techniques are ineffective for the pulsative signals which comprise many mHealth applications, and a lack of available datasets has stymied progress. We address this gap with PulseImpute, the first large-scale pulsative signal imputation challenge which includes realistic mHealth missingness models, an extensive set of baselines, and clinically-relevant downstream tasks. Our baseline models include a novel transformer-based architecture designed to exploit the structure of pulsative signals. We hope that PulseImpute will enable the ML community to tackle this significant and challenging task.

Accurate activity location prediction is a crucial component of many mobility applications and is particularly required to develop personalized, sustainable transportation systems. Despite the widespread adoption of deep learning models, next location prediction models lack a comprehensive discussion and integration of mobility-related spatio-temporal contexts. Here, we utilize a multi-head self-attentional (MHSA) neural network that learns location transition patterns from historical location visits, their visit time and activity duration, as well as their surrounding land use functions, to infer an individual's next location. Specifically, we adopt point-of-interest data and latent Dirichlet allocation for representing locations' land use contexts at multiple spatial scales, generate embedding vectors of the spatio-temporal features, and learn to predict the next location with an MHSA network. Through experiments on two large-scale GNSS tracking datasets, we demonstrate that the proposed model outperforms other state-of-the-art prediction models, and reveal the contribution of various spatio-temporal contexts to the model's performance. Moreover, we find that the model trained on population data achieves higher prediction performance with fewer parameters than individual-level models due to learning from collective movement patterns. We also reveal mobility conducted in the recent past and one week before has the largest influence on the current prediction, showing that learning from a subset of the historical mobility is sufficient to obtain an accurate location prediction result. We believe that the proposed model is vital for context-aware mobility prediction. The gained insights will help to understand location prediction models and promote their implementation for mobility applications.

倦怠是影响近一半医疗工作者的重大公共卫生问题。本文介绍了基于电子健康记录（EHR）活动日志的医师倦怠的第一个端到端深度学习框架，即任何EHR系统中可用的医师工作活动的数字痕迹。与仅依靠调查进行倦怠测量的先前方法相反，我们的框架直接从大规模的临床医生活动日志中了解了医师行为的深刻表示，以预测倦怠。我们提出了基于活动日志（HIPAL）的层次结构预测，该预测具有预先训练的时间依赖时间的活动嵌入机制，适用于活动日志和分层预测模型，该模型反映了临床医生活动日志的自然等级结构，并捕获了医生的演化。短期和长期水平的倦怠风险。为了利用大量未标记的活动日志，我们提出了一个半监督的框架，该框架学会了将从未标记的临床医生活动中提取的知识转移到基于HIPAL的预测模型中。从EHR收集的1500万个临床医生活动日志的实验证明了我们提出的框架在医师倦怠和培训效率方面的预测框架比最先进的方法的优势。

Covid-19大流行是人类的祸害，宣称全世界超过500万人的生活。虽然疫苗正在全世界分布，但表观需要实惠的筛选技术，以便为无法获得传统医学的世界服务。人工智能可以提供利用咳嗽声音作为主要筛选模式的解决方案。本文介绍了多种模型，这些模型在学术文献目前呈现的最大评估数据集上取得了相对尊敬的性能。此外，我们还显示性能随着培训数据规模而增加，表明世界各地的数据收集，以帮助使用非传统方式对抗Covid-19大流行。

捕获和归因于代码变更引起的生产中的性能回归很难；事先预测它们，甚至更努力。关于自动学习预测软件中性能回归的入门，本文介绍了我们在Meta研究和部署基于ML的回归预测管道时获得的经验。在本文中，我们报告了一项比较研究，其复杂性增加了四个ML模型，从（1）代码 - opaque，（2）单词袋，（3）基于转换的变压器到（4）基于定制变压器的模型，创造的超大通信器。我们的调查表明，性能预测问题的固有难度，其特征是良性对回归变化的不平衡。我们的结果还质疑了基于变压器的架构在性能预测中的一般适用性：基于基础的代码伯特方法的性能令人惊讶。我们高度定制的超大号架构最初实现了预测性能，这与简单的单词模型相当，并且仅在下游用例中优于它们。超级人员将其转移到应用程序的这种能力很少有学习示例提供了在Meta实践中部署它的机会：它可以作为预滤波器来解决不太可能引入回归的更改，从而缩小更改空间的变化空间搜索回归高达43％，比随机基线提高45倍。为了进一步洞悉超大号公园，我们通过一系列计算反事实解释进行了探索。这些突出显示了代码的哪些部分更改模型认为重要的，从而验证了学习的黑框模型。

用户建模对于理解用户行为至关重要，对于改善用户体验和个性化建议至关重要。当用户与软件交互时，通过记录和分析系统生成大量命令序列。这些命令序列包含用户目标和意图的线索。但是，这些数据模式是高度非结构化和未标记的，因此标准预测系统很难学习。我们提出了SimCurl，这是一个简单而有效的对比度自我监督的深度学习框架，从未标记的命令序列中学习用户表示。我们的方法介绍了用户会议网络体系结构，以及会话辍学作为一种新颖的数据增强方式。我们在超过十亿命令的现实世界命令序列数据集上训练和评估我们的方法。当将学习的表示形式转移到经验和专业知识分类等下游任务时，我们的方法对现有方法显示了显着改善。

在为医疗保健领域开发监督的机器学习解决方案时，具有高质量地面真实标签的大规模数据的可用性是一个挑战。尽管临床工作流程中的数字数据量正在增加，但大多数数据都分布在临床站点上并受到保护以确保患者隐私。放射学读数和处理大型临床数据给可用资源带来了重大负担，这是机器学习和人工智能发挥关键作用的地方。用于肌肉骨骼（MSK）诊断的磁共振成像（MRI）是一个例子，其中扫描具有大量信息，但需要大量时间阅读和标记。自我监督的学习（SSL）可以是处理缺乏地面真相标签的解决方案，但通常需要在训练阶段进行大量培训数据。本文中，我们提出了一个基于切片的自制深度学习框架（SB-SSL），这是一种基于切片的新型范式，用于使用膝盖MRI扫描对异常进行分类。我们表明，在有限数量的情况下（<1000），我们提出的框架能够以89.17％的精度识别前交叉韧带撕裂，而AUC为0.954，不超过最先进的情况，而无需使用外部数据。在训练期间。这表明我们提出的框架适用于有限的数据制度中的SSL。

电子健康记录（EHR）已经大量用于现代医疗保健系统，用于将患者的入场信息记录到医院。许多数据驱动方法采用EHR中的时间特征，用于预测患者的特定疾病，阅告期或诊断。然而，由于某些时间事件的监督培训中固有的标签，大多数现有的预测模型不能充分利用EHR数据。此外，对于现有的作品很难同时提供通用和个性化的解释性。为解决这些挑战，我们首先提出了一种具有信息流到分层结构的信息流的双曲线嵌入方法。我们将这些预先训练的表征纳入了图形神经网络以检测疾病并发症，并设计一种计算特定疾病和入学贡献的多级注意方法，从而提高个性化的可解释性。我们在自我监督的学习框架中提出了一个新的层次结构增强的历史预测代理任务，以充分利用EHR数据和利用医疗领域知识。我们开展一套全面的实验和案例研究，广泛使用的公开可用的EHR数据集以验证我们模型的有效性。结果表明我们的模型在预测任务和可解释能力方面的优势。

我们提出了一种使用流生理时间序列的端到端模型，以准确预测低氧血症的近期风险，低氧血症是一种罕见但威胁生命的疾病，已知在手术期间造成严重的患者伤害。受到以下事实的启发：低氧血症事件是根据未来观察到的低spo2（即血氧饱和度）实例定义的，我们提出的模型使对未来的低spo2实例和低氧血症结果的混合推断，并由关节序列启用同时优化标签预测的判别解码器的自动编码器，以及对数据重建和预测进行了培训的两个辅助解码器，它们无缝地学习上下文的潜在表示，这些表示捕获了当前状态之间的过渡到未来状态。所有解码器都共享一个基于内存的编码器，有助于捕获患者测量的全局动态。对于一个主要的学术医学中心进行了72,081次手术的大型手术队列，我们​​的模型优于所有基础，包括最先进的低氧预测系统使用的模型。能够以临床上可接受的警报对近期低氧事件的警报进行分辨率的实时预测，尤其是更关键的持续性低氧血症，我们提出的模型在改善临床决策和减轻围手术期的减轻负担方面有希望。

机器学习的最新进展表明，通过自我监督的学习获得的预训练表示形式可以通过小型培训数据实现高精度。与视觉和自然语言处理域不同，基于IMU的应用程序的预培训是具有挑战性的，因为只有少数公开可用的数据集具有足够的规模和多样性来学习可推广的表示。为了克服这个问题，我们提出了IMG2IMU，这是一种新颖的方法，可以适应从大规模图像到不同弹药的IMU感应任务的预训练表示。我们将传感器数据转换为可解释的频谱图，以便模型利用从视觉中获得的知识。此外，我们将对比度学习应用于我们旨在学习用于解释传感器数据的表示形式。我们对五个IMU感应任务的广泛评估表明，IMG2IMU始终优于基准，这说明视力知识可以纳入一些用于IMU感应任务的学习环境中。