Medical professionals frequently work in a data constrained setting to provide insights across a unique demographic. A few medical observations, for instance, informs the diagnosis and treatment of a patient. This suggests a unique setting for meta-learning, a method to learn models quickly on new tasks, to provide insights unattainable by other methods. We investigate the use of meta-learning and robustness techniques on a broad corpus of benchmark text and medical data. To do this, we developed new data pipelines, combined language models with meta-learning approaches, and extended existing meta-learning algorithms to minimize worst case loss. We find that meta-learning on text is a suitable framework for text-based data, providing better data efficiency and comparable performance to few-shot language models and can be successfully applied to medical note data. Furthermore, meta-learning models coupled with DRO can improve worst case loss across disease codes.

Large pretrained Transformer-based language models like BERT and GPT have changed the landscape of Natural Language Processing (NLP). However, fine tuning such models still requires a large number of training examples for each target task, thus annotating multiple datasets and training these models on various downstream tasks becomes time consuming and expensive. In this work, we propose a simple extension of the Prototypical Networks for few-shot text classification. Our main idea is to replace the class prototypes by Gaussians and introduce a regularization term that encourages the examples to be clustered near the appropriate class centroids. Experimental results show that our method outperforms various strong baselines on 13 public and 4 internal datasets. Furthermore, we use the class distributions as a tool for detecting potential out-of-distribution (OOD) data points during deployment.

本文研究了医学领域的概念与患者表示的问题。我们将电子健康记录（EHRS）的患者历史作为ICD概念的时间序列，其中嵌入在一个无监督的设置中学习了一种基于变压器的神经网络模型。在6年内对百万患者历史的收集进行了模型培训。与几种基线方法相比，评估这种模型的预测力。与类似系统相比，对模拟-III数据的一系列实验显示了所呈现模型的优势。此外，我们分析了对概念关系的获得空间，并展示了医学领域的知识如何成功转移到患者嵌入形式的保险评分的实际任务。

多标签学习在考虑标签相关的同时，从给定标签设置的标签中的一个子集。具有多标签分类的已知挑战是标签的长尾分布。许多研究侧重于改善模型的整体预测，从而不优先考虑尾端标签。改善医学文本的多标签分类中的尾端标签预测使得能够更好地了解患者并改善护理。一个或多个不频繁标签所获得的知识可能会影响医学决策和治疗计划的原因。本研究介绍了包括多生物传感器的级联特定语言模型的变化，以实现两个主要目标。首先，在多标签问题上改善F1罕见标签，特别是长尾标签;其次，要处理长医疗文本和多源电子健康记录（EHRS），对于旨在在短输入序列上工作的标准变压器的具有挑战性的任务。本研究的重要贡献是使用变换器XL获得的新的最先进的（SOTA）结果，以预测医学代码。在医疗信息MART进行各种实验，用于重症监护（MIMIC-III）数据库。结果表明，连接的生物化变压器在整体微观和宏F1分数和尾端标签的单独F1分数方面优于标准变压器，而不是对长输入序列的现有变压器的解决方案产生较低的训练时间。

传统中药（TCM）是一种自然，安全且有效的疗法，已在全球范围内传播和应用。独特的TCM诊断和治疗系统需要对隐藏在自由文本编写的临床记录中的患者症状进行全面分析。先前的研究表明，该系统可以在人工智能（AI）技术（例如自然语言处理（NLP））的帮助下进行通知和智能。但是，现有数据集没有足够的质量或数量来支持TCM中数据驱动的AI技术的进一步开发。因此，在本文中，我们专注于TCM诊断和治疗系统的核心任务 - 综合征分化（SD） - 我们介绍了第一个用于SD的公共大型数据集，称为TCM-SD。我们的数据集包含54,152个现实世界临床记录，涵盖148个综合征。此外，我们在TCM领域收集了一个大规模的未标记文本语料库，并提出了一种特定领域的预训练的语言模型，称为Zy-Bert。我们使用深层神经网络进行了实验，以建立强大的性能基线，揭示了SD中的各种挑战，并证明了特定领域的预训练性语言模型的潜力。我们的研究和分析揭示了将计算机科学和语言学知识纳入探索TCM理论的经验有效性的机会。

Electronic health records (EHR) offer unprecedented opportunities for in-depth clinical phenotyping and prediction of clinical outcomes. Combining multiple data sources is crucial to generate a complete picture of disease prevalence, incidence and trajectories. The standard approach to combining clinical data involves collating clinical terms across different terminology systems using curated maps, which are often inaccurate and/or incomplete. Here, we propose sEHR-CE, a novel framework based on transformers to enable integrated phenotyping and analyses of heterogeneous clinical datasets without relying on these mappings. We unify clinical terminologies using textual descriptors of concepts, and represent individuals' EHR as sections of text. We then fine-tune pre-trained language models to predict disease phenotypes more accurately than non-text and single terminology approaches. We validate our approach using primary and secondary care data from the UK Biobank, a large-scale research study. Finally, we illustrate in a type 2 diabetes use case how sEHR-CE identifies individuals without diagnosis that share clinical characteristics with patients.

计算文本表型是从临床注释中鉴定出患有某些疾病和特征的患者的实践。由于很少有用于机器学习的案例和域专家的数据注释需求，因此难以识别的罕见疾病要确定。我们提出了一种使用本体论和弱监督的方法，并具有来自双向变压器（例如BERT）的最新预训练的上下文表示。基于本体的框架包括两个步骤：（i）文本到umls，通过上下文将提及与统一医学语言系统（UMLS）中的概念链接到命名的实体识别和链接（NER+L）工具，SemeHR中提取表型。 ，以及具有自定义规则和上下文提及表示的弱监督； （ii）UMLS-to-to-ordo，将UMLS概念与孤子罕见疾病本体论（ORDO）中的罕见疾病相匹配。提出了弱监督的方法来学习一个表型确认模型，以改善链接的文本对umls，而没有域专家的注释数据。我们评估了来自美国和英国两个机构的三个出院摘要和放射学报告的临床数据集的方法。我们最好的弱监督方法获得了81.4％的精度和91.4％的召回，从模仿III出院摘要中提取罕见疾病UMLS表型。总体管道处理临床笔记可以表面罕见疾病病例，其中大部分在结构化数据（手动分配的ICD代码）中没有受到平衡。关于模仿III和NHS Tayside的放射学报告的结果与放电摘要一致。我们讨论了弱监督方法的有用性，并提出了未来研究的方向。

临床编码是将患者健康记录中的医疗信息转换为结构化代码的任务，以便它们可用于统计分析。这是一项认知且耗时的任务，遵循标准过程，以达到高水平的一致性。自动化系统可以支持临床编码，以提高该过程的效率和准确性。我们介绍了自动临床编码的想法，并从人工智能（AI）和自然语言处理（NLP）（NLP）的角度总结了挑战，该文献是根据文献，我们在过去两年半（2019年末 - 2022年初）的项目经验），以及与苏格兰和英国的临床编码专家的讨论。我们的研究揭示了应用于临床编码的当前基于深度学习的方法与现实世界实践中的解释性和一致性之间的差距。基于知识的方法代表和推理了标准，可以解释的任务过程，可能需要将其纳入基于深度学习的临床编码方法中。尽管面临技术和组织的挑战，但自动化的临床编码是AI的一项有前途的任务。编码人员需要参与开发过程。在未来五年及以后，开发和部署基于AI的自动化系统需要实现很多目标。

我们利用深度顺序模型来解决预测患者医疗保健利用的问题，这可能有助于政府更好地为未来的医疗保健使用提供资源。具体地，我们研究\纺织{发散亚组}的问题，其中较小的人口小组中的结果分布大大偏离了一般人群的群体。如果亚组的尺寸非常小（例如，稀有疾病），则对不同亚组的专业模型建造专门模型的传统方法可能是有问题的。为了解决这一挑战，我们首先开发一种新的无关注顺序模型，SANSFORMERS，灌输了适合在电子医疗记录中建模临床码的归纳偏差。然后，我们通过在整个健康登记处预先培训每个模型（接近100万名患者）之前，设计了一个特定的自我监督目标，并展示其有效性，特别是稀缺数据设置，特别是在整个健康登记处（接近一百万名患者）进行微调下游任务不同的子组。我们使用两个数据来源与LSTM和变压器模型进行比较新的SANSFARER架构和辅助医疗利用预测的多任务学习目标。凭经验，无关注的Sansformer模型在实验中始终如一地执行，在大多数情况下以至少$ \ SIM 10 $ \％表现出在大多数情况下的基线。此外，在预测医院访问数量时，自我监督的预训练将在整个始终提高性能，例如通过超过$ \ sim 50 $ \％（和高度为800美元\％）。

电子健康记录（EHRS）在患者级别汇总了多种信息，并保留了整个时间内患者健康状况进化的轨迹代表。尽管此信息提供了背景，并且可以由医生利用以监控患者的健康并进行更准确的预后/诊断，但患者记录可以包含长期跨度的信息，这些信息与快速生成的医疗数据速率相结合，使临床决策变得更加复杂。患者轨迹建模可以通过以可扩展的方式探索现有信息来帮助，并可以通过促进预防医学实践来增强医疗保健质量。我们为建模患者轨迹提出了一种解决方案，该解决方案结合了不同类型的信息并考虑了临床数据的时间方面。该解决方案利用了两种不同的架构：一组支持灵活的输入功能集，以将患者的录取转换为密集的表示；以及在基于复发的架构中进行的第二次探索提取的入院表示，其中使用滑动窗口机制在子序列中处理患者轨迹。使用公开可用的模仿III临床数据库评估了开发的解决方案，以两种不同的临床结果，意外的患者再入院和疾病进展。获得的结果证明了第一个体系结构使用单个患者入院进行建模和诊断预测的潜力。虽然临床文本中的信息并未显示在其他现有作品中观察到的判别能力，但这可以通过微调临床模型来解释。最后，我们使用滑动窗口机制来表示基于序列的体系结构的潜力，以表示输入数据，从而获得与其他现有解决方案的可比性能。

医疗保健提供者通常会记录给每位患者提供临床，研究和计费目的的临床护理的详细说明。由于这些叙述的非结构性性质，提供者使用专门的员工使用国际疾病（ICD）编码系统为患者的诊断分配诊断代码。此手动过程不仅耗时，而且昂贵且容易出错。先前的工作证明了机器学习（ML）方法在自动化此过程中的潜在效用，但它依靠大量手动标记数据来训练模型。此外，诊断编码系统随着时间的流逝而演变，这使得传统的监督学习策略无法推广到本地应用程序之外。在这项工作中，我们引入了一个普遍的弱监督文本分类框架，该框架仅从类标签描述中学习，而无需使用任何人类标记的文档。它利用预先训练的语言模型中存储的语言领域知识和数据编程框架将代码标签分配给单个文本。我们通过将方法与四个现实世界文本分类数据集中的最先进的弱文本分类器进行比较，除了将ICD代码分配给公开可用的模拟MIMIC-III数据库中的医疗注释外，我们证明了我们的方法的功效和灵活性。

自然语言处理（NLP）是一个人工智能领域，它应用信息技术来处理人类语言，在一定程度上理解并在各种应用中使用它。在过去的几年中，该领域已经迅速发展，现在采用了深层神经网络的现代变体来从大型文本语料库中提取相关模式。这项工作的主要目的是调查NLP在药理学领域的最新使用。正如我们的工作所表明的那样，NLP是药理学高度相关的信息提取和处理方法。它已被广泛使用，从智能搜索到成千上万的医疗文件到在社交媒体中找到对抗性药物相互作用的痕迹。我们将覆盖范围分为五个类别，以调查现代NLP方法论，常见的任务，相关的文本数据，知识库和有用的编程库。我们将这五个类别分为适当的子类别，描述其主要属性和想法，并以表格形式进行总结。最终的调查介绍了该领域的全面概述，对从业者和感兴趣的观察者有用。

我们提出了一种三级等级变压器网络（3级），用于在临床笔记上建模长期依赖性，以患者级预测的目的。该网络配备了三个级别的基于变压器的编码器，以逐步地从单词中学到句子，句子票据，最后给患者注释。单词到句子的第一级直接将预先训练的BERT模型应用为完全可训练的组件。虽然第二和第三级实现了一堆基于变压器的编码器，但在最终患者表示进入临床预测的分类层之前。与传统的BERT模型相比，我们的模型将512个令牌的最大输入长度增加到适合建模大量临床笔记的更长的序列。我们经验检查不同的超参数，以识别给定的计算资源限制的最佳权衡。我们的实验结果对不同预测任务的模拟-III数据集表明，所提出的等级变压器网络优于以前的最先进的模型，包括但不限于BigBird。

虽然罕见疾病的特征在于患病率低，但大约3亿人受到罕见疾病的影响。对这些条件的早期和准确诊断是一般从业者的主要挑战，没有足够的知识来识别它们。除此之外，罕见疾病通常会显示各种表现形式，这可能会使诊断更加困难。延迟的诊断可能会对患者的生命产生负面影响。因此，迫切需要增加关于稀有疾病的科学和医学知识。自然语言处理（NLP）和深度学习可以帮助提取有关罕见疾病的相关信息，以促进其诊断和治疗。本文探讨了几种深度学习技术，例如双向长期内存（BILSTM）网络或基于来自变压器（BERT）的双向编码器表示的深层语境化词表示，以识别罕见疾病及其临床表现（症状和症状） Raredis语料库。该毒品含有超过5,000名罕见疾病和近6,000个临床表现。 Biobert，基于BERT和培训的生物医学Corpora培训的域特定语言表示，获得了最佳结果。特别是，该模型获得罕见疾病的F1分数为85.2％，表现优于所有其他模型。

几乎没有弹出的文本分类旨在在几个弹奏方案下对文本进行分类。以前的大多数方法都采用基于优化的元学习来获得任务分布。但是，由于少数样本和复杂模型之间的匹配以及有用的任务功能之间的区别，这些方法遭受了过度拟合问题的影响。为了解决这个问题，我们通过梯度相似性（AMGS）方法提出了一种新颖的自适应元学习器，以提高模型的泛化能力。具体而言，拟议的AMG基于两个方面缓解了过度拟合：（i）通过内部循环中的自我监督的辅助任务来获取样品的潜在语义表示并改善模型的概括，（ii）利用适应性元学习者通过适应性元学习者通过梯度通过相似性，可以在外环中基底学习者获得的梯度上增加约束。此外，我们对正则化对整个框架的影响进行系统分析。对几个基准测试的实验结果表明，与最先进的优化元学习方法相比，提出的AMG始终提高了很少的文本分类性能。

Transformer models have achieved great success across many NLP problems. However, previous studies in automated ICD coding concluded that these models fail to outperform some of the earlier solutions such as CNN-based models. In this paper we challenge this conclusion. We present a simple and scalable method to process long text with the existing transformer models such as BERT. We show that this method significantly improves the previous results reported for transformer models in ICD coding, and is able to outperform one of the prominent CNN-based methods.

事实证明，对预训练的模型进行迅速基于基于预训练的模型的微调对许多自然语言处理任务有效。但是，尚未对生物医学领域的迅速进行调整。生物医学单词在一般领域通常很少见，但在生物医学环境中无处不在，这在微观调整后即使在下游生物医学应用上都显着恶化了预训练的模型的性能，尤其是在低资源场景中。我们提出了一种简单而有效的方法，可以帮助模型在迅速调整过程中学习稀有的生物医学单词。实验结果表明，我们的方法可以使用少量的香草提示设置，无需任何额外的参数或培训步骤即可提高生物医学自然推理任务6％。

元学习考虑了学习高效学习过程的问题，可以利用其过去的经验来准确解决新任务。然而，元学习的效果是至关重要的，这取决于可用于训练的任务的分布，并且通常认为这是已知的先验或由有限的监督数据集构建。在这项工作中，我们的目标是通过考虑从未标记的文本自动提出的自我监督任务来提供元学习的任务分布，以在NLP中启用大规模的元学习。我们通过考虑任务多样性，困难，类型，域和课程的重要方面，并调查它们如何影响元学习表现的重要方面，设计多个自我监督任务分布。我们的分析表明，所有这些因素有意义地改变任务分配，一些突起在荟萃学习模型的下游的下游显着改进。凭经验，20下游任务的结果显示出几次学习的显着改善 - 在以前的无监督的元学习方法增加到+ 4.2％的绝对精度（平均值），并与换行符的监督方法相比表现。

Objective: We aim to develop an open-source natural language processing (NLP) package, SODA (i.e., SOcial DeterminAnts), with pre-trained transformer models to extract social determinants of health (SDoH) for cancer patients, examine the generalizability of SODA to a new disease domain (i.e., opioid use), and evaluate the extraction rate of SDoH using cancer populations. Methods: We identified SDoH categories and attributes and developed an SDoH corpus using clinical notes from a general cancer cohort. We compared four transformer-based NLP models to extract SDoH, examined the generalizability of NLP models to a cohort of patients prescribed with opioids, and explored customization strategies to improve performance. We applied the best NLP model to extract 19 categories of SDoH from the breast (n=7,971), lung (n=11,804), and colorectal cancer (n=6,240) cohorts. Results and Conclusion: We developed a corpus of 629 cancer patients notes with annotations of 13,193 SDoH concepts/attributes from 19 categories of SDoH. The Bidirectional Encoder Representations from Transformers (BERT) model achieved the best strict/lenient F1 scores of 0.9216 and 0.9441 for SDoH concept extraction, 0.9617 and 0.9626 for linking attributes to SDoH concepts. Fine-tuning the NLP models using new annotations from opioid use patients improved the strict/lenient F1 scores from 0.8172/0.8502 to 0.8312/0.8679. The extraction rates among 19 categories of SDoH varied greatly, where 10 SDoH could be extracted from >70% of cancer patients, but 9 SDoH had a low extraction rate (<70% of cancer patients). The SODA package with pre-trained transformer models is publicly available at https://github.com/uf-hobiinformatics-lab/SDoH_SODA.

传统机器学习方法面临两种主要挑战，在处理医疗保健预测分析任务方面。首先，医疗保健数据的高维性质需要劳动密集型和耗时的过程，为每项新任务选择适当的功能集。其次，这些方法依赖于特征工程来捕获患者数据的顺序性，这可能无法充分利用医疗事件的时间模式及其依赖性。最近的深度学习方法通​​过解决医疗数据的高维和时间挑战，对各种医疗保健预测任务显示了有希望的性能。这些方法可以学习关键因素（例如，医学概念或患者）的有用表示及其与高维原始或最低处理的医疗保健数据的相互作用。在本文中，我们系统地审查了专注于推进和使用深神经网络的研究，以利用患者结构化时间序列数据进行医疗保健预测任务。为了识别相关研究，搜索MEDLINE，IEEE，SCOPUS和ACM数字图书馆于2021年2月7日出版的研究。我们发现研究人员在十个研究流中为深度时间序列预测文献做出了贡献：深入学习模型，缺少价值处理，不规则处理，患者表示，静态数据包容，关注机制，解释，纳入医疗本体，学习策略和可扩展性。本研究总结了这些文献流的研究见解，确定了几个关键研究差距，并提出了未来的患者时间序列数据深入学习的研究机会。