Transformer models have achieved great success across many NLP problems. However, previous studies in automated ICD coding concluded that these models fail to outperform some of the earlier solutions such as CNN-based models. In this paper we challenge this conclusion. We present a simple and scalable method to process long text with the existing transformer models such as BERT. We show that this method significantly improves the previous results reported for transformer models in ICD coding, and is able to outperform one of the prominent CNN-based methods.
translated by 谷歌翻译
临床笔记是临床医生在患者遭遇期间产生的非结构化文本。临床票据通常伴随着来自疾病的国际分类(ICD)的一组元数据代码。 ICD代码是各种操作中使用的重要代码,包括保险,报销,医学诊断等,因此,重要的是快速准确地分类ICD代码。但是,注释这些代码是昂贵且耗时的。因此,我们使用用于自动ICD代码分配的序列注意方法,提出基于来自变压器(BERT)的双向编码器表示的模型。我们评估我们对重症监护III(MIMIC-III)基准数据集的医疗信息MART的方法。我们的模型实现了宏观平均为F1:0.62898和微平均F1:0.68555的性能,并且使用MIMIC-III数据集执行优于最先进模型的性能。本研究的贡献提出了一种使用伯特的方法,该方法可以应用于文档和序列注意方法,该方法可以捕获在文档中出现的重要序列形式。
translated by 谷歌翻译
Background: Encouraged by the success of pretrained Transformer models in many natural language processing tasks, their use for International Classification of Diseases (ICD) coding tasks is now actively being explored. In this study, we investigate three types of Transformer-based models, aiming to address the extreme label set and long text classification challenges that are posed by automated ICD coding tasks. Methods: The Transformer-based model PLM-ICD achieved the current state-of-the-art (SOTA) performance on the ICD coding benchmark dataset MIMIC-III. It was chosen as our baseline model to be further optimised. XR-Transformer, the new SOTA model in the general extreme multi-label text classification domain, and XR-LAT, a novel adaptation of the XR-Transformer model, were also trained on the MIMIC-III dataset. XR-LAT is a recursively trained model chain on a predefined hierarchical code tree with label-wise attention, knowledge transferring and dynamic negative sampling mechanisms. Results: Our optimised PLM-ICD model, which was trained with longer total and chunk sequence lengths, significantly outperformed the current SOTA PLM-ICD model, and achieved the highest micro-F1 score of 60.8%. The XR-Transformer model, although SOTA in the general domain, did not perform well across all metrics. The best XR-LAT based model obtained results that were competitive with the current SOTA PLM-ICD model, including improving the macro-AUC by 2.1%. Conclusion: Our optimised PLM-ICD model is the new SOTA model for automated ICD coding on the MIMIC-III dataset, while our novel XR-LAT model performs competitively with the previous SOTA PLM-ICD model.
translated by 谷歌翻译
我们提出了一种三级等级变压器网络(3级),用于在临床笔记上建模长期依赖性,以患者级预测的目的。该网络配备了三个级别的基于变压器的编码器,以逐步地从单词中学到句子,句子票据,最后给患者注释。单词到句子的第一级直接将预先训练的BERT模型应用为完全可训练的组件。虽然第二和第三级实现了一堆基于变压器的编码器,但在最终患者表示进入临床预测的分类层之前。与传统的BERT模型相比,我们的模型将512个令牌的最大输入长度增加到适合建模大量临床笔记的更长的序列。我们经验检查不同的超参数,以识别给定的计算资源限制的最佳权衡。我们的实验结果对不同预测任务的模拟-III数据集表明,所提出的等级变压器网络优于以前的最先进的模型,包括但不限于BigBird。
translated by 谷歌翻译
将电子健康记录(EHR)自动分为诊断代码对NLP社区的挑战。最先进的方法将此问题视为多标签分类问题,并提出了各种架构来对此问题进行建模。但是,这些系统并未利用验证的语言模型的出色性能,这在自然语言理解任务上实现了出色的性能。先前的工作表明,经常使用的填充方案在此任务上表现不佳。因此,本文旨在分析表现不佳的原因,并通过验证的语言模型为自动编码开发一个框架。我们通过实验发现了三个主要问题:1)大标签空间,2)长输入序列和3)域预读和微调之间的域不匹配。我们提出了PLMICD,该框架通过各种策略来应对挑战。实验结果表明,我们提出的框架可以在基准模拟数据上以多个指标来克服挑战和实现最新性能。源代码可从https://github.com/miulab/plm-icd获得
translated by 谷歌翻译
多标签学习在考虑标签相关的同时,从给定标签设置的标签中的一个子集。具有多标签分类的已知挑战是标签的长尾分布。许多研究侧重于改善模型的整体预测,从而不优先考虑尾端标签。改善医学文本的多标签分类中的尾端标签预测使得能够更好地了解患者并改善护理。一个或多个不频繁标签所获得的知识可能会影响医学决策和治疗计划的原因。本研究介绍了包括多生物传感器的级联特定语言模型的变化,以实现两个主要目标。首先,在多标签问题上改善F1罕见标签,特别是长尾标签;其次,要处理长医疗文本和多源电子健康记录(EHRS),对于旨在在短输入序列上工作的标准变压器的具有挑战性的任务。本研究的重要贡献是使用变换器XL获得的新的最先进的(SOTA)结果,以预测医学代码。在医疗信息MART进行各种实验,用于重症监护(MIMIC-III)数据库。结果表明,连接的生物化变压器在整体微观和宏F1分数和尾端标签的单独F1分数方面优于标准变压器,而不是对长输入序列的现有变压器的解决方案产生较低的训练时间。
translated by 谷歌翻译
尽管变压器语言模型(LMS)是信息提取的最新技术,但长文本引入了需要次优的预处理步骤或替代模型体系结构的计算挑战。稀疏注意的LMS可以代表更长的序列,克服性能障碍。但是,目前尚不清楚如何解释这些模型的预测,因为并非所有令牌都在自我发项层中相互参加,而在运行时,长序列对可解释性算法提出了计算挑战,而当运行时取决于文档长度。这些挑战在文档可能很长的医学环境中是严重的,机器学习(ML)模型必须是审核和值得信赖的。我们介绍了一种新颖的蒙版抽样程序(MSP),以识别有助于预测的文本块,将MSP应用于预测医学文本诊断的背景下,并通过两位临床医生的盲目审查来验证我们的方法。我们的方法比以前的最先进的临床信息块高约1.7倍,速度更快100倍,并且可用于生成重要的短语对。 MSP特别适合长LMS,但可以应用于任何文本分类器。我们提供了MSP的一般实施。
translated by 谷歌翻译
人类编码人员将标准化的医疗法规分配给患者住院期间产生的临床文件,该文件容易出错且劳动力密集。使用机器学习方法(例如深神经网络)开发了自动化的医学编码方法。然而,由于冗长的文档中的班级问题,复杂的代码关联和噪音,自动化的医疗编码仍然具有挑战性。为了解决这些问题,我们提出了一个新型的神经网络,称为多任务和重新校准的神经网络。值得注意的是,多任务学习方案共享不同代码分支之间的关系知识以捕获代码关联。重新校准的聚合模块是通过级联卷积块来提取高级语义特征来开发的,从而减轻噪声在文档中的影响。同样,重新校准的模块的级联结构可以从冗长的音符中受益。为了解决类不平衡的问题,我们部署了焦点损失,以重新分布低频和高频医疗法规的注意力。实验结果表明,我们提出的模型在现实世界中的临床数据集模拟于III上优于竞争基线。
translated by 谷歌翻译
医疗保健自动化的机会可以改善临床医生的吞吐量。一个这样的例子是辅助工具记录诊断代码时,当临床医生写笔记时。我们使用课程学习研究了医学法规预测的自动化,这是机器学习模型的培训策略,可逐渐将学习任务的硬度从易于到困难提高。课程学习的挑战之一是课程的设计 - 即,在逐渐增加难度的任务设计中。我们提出了分层课程学习(HICU),这是一种在输出空间中使用图形结构的算法,以设计用于多标签分类的课程。我们为多标签分类模型创建课程,以预测患者自然语言描述的ICD诊断和程序代码。通过利用ICD代码的层次结构,该层次基于人体的各种器官系统进行诊断代码,我们发现我们的建议课程改善了基于反复,卷积和基于变压器的体系结构的基于神经网络的预测模型的概括。我们的代码可在https://github.com/wren93/hicu-icd上找到。
translated by 谷歌翻译
自动化医疗编码,医疗保健操作和交付的基本任务,通过从临床文献预测医学代码来实现非结构化数据。自然语言处理中深入学习模型的最新进展已被广泛应用于此任务。然而,它缺乏对医学编码的神经网络架构设计的统一视图。本综述提出了一个统一的框架,为医疗编码模型的构建块提供了一般性的理解,并概述了近期框架下的最新模型。我们的统一框架将医疗编码分解为四个主要组件,即文本特征提取的编码器模块,为构建深编码器架构的机制,解码器模块,用于将隐藏的表示转换为医学代码,以及辅助信息的使用。最后,我们讨论了关键的研究挑战和未来方向。
translated by 谷歌翻译
医疗编码是一项复杂的任务,需要将超过72,000个ICD代码的子集分配给患者的笔记。对这些任务的现代自然语言处理方法已受到输出空间的输入和大小的长度挑战。我们将模型输入限制在文档中发现的医疗实体周围的一个小窗口中。从这些本地上下文中,我们构建了ICD代码和实体的上下文化表示,并汇总这些表示形式以形成文档级预测。与现有的方法相反,该方法使用使用大小或训练中的代码固定的表示形式,我们通过用本地上下文编码代码描述来表示ICD代码。我们讨论适合在实践中部署编码系统的指标。我们表明,我们的方法优于标准和可部署措施的现有方法,包括在稀有和看不见的代码上的性能。
translated by 谷歌翻译
Automatic International Classification of Diseases (ICD) coding aims to assign multiple ICD codes to a medical note with an average of 3,000+ tokens. This task is challenging due to the high-dimensional space of multi-label assignment (155,000+ ICD code candidates) and the long-tail challenge - Many ICD codes are infrequently assigned yet infrequent ICD codes are important clinically. This study addresses the long-tail challenge by transforming this multi-label classification task into an autoregressive generation task. Specifically, we first introduce a novel pretraining objective to generate free text diagnoses and procedure using the SOAP structure, the medical logic physicians use for note documentation. Second, instead of directly predicting the high dimensional space of ICD codes, our model generates the lower dimension of text descriptions, which then infer ICD codes. Third, we designed a novel prompt template for multi-label classification. We evaluate our Generation with Prompt model with the benchmark of all code assignment (MIMIC-III-full) and few shot ICD code assignment evaluation benchmark (MIMIC-III-few). Experiments on MIMIC-III-few show that our model performs with a marco F1 30.2, which substantially outperforms the previous MIMIC-III-full SOTA model (marco F1 4.3) and the model specifically designed for few/zero shot setting (marco F1 18.7). Finally, we design a novel ensemble learner, a cross attention reranker with prompts, to integrate previous SOTA and our best few-shot coding predictions. Experiments on MIMIC-III-full show that our ensemble learner substantially improves both macro and micro F1, from 10.4 to 14.6 and from 58.2 to 59.1, respectively.
translated by 谷歌翻译
虽然罕见疾病的特征在于患病率低,但大约3亿人受到罕见疾病的影响。对这些条件的早期和准确诊断是一般从业者的主要挑战,没有足够的知识来识别它们。除此之外,罕见疾病通常会显示各种表现形式,这可能会使诊断更加困难。延迟的诊断可能会对患者的生命产生负面影响。因此,迫切需要增加关于稀有疾病的科学和医学知识。自然语言处理(NLP)和深度学习可以帮助提取有关罕见疾病的相关信息,以促进其诊断和治疗。本文探讨了几种深度学习技术,例如双向长期内存(BILSTM)网络或基于来自变压器(BERT)的双向编码器表示的深层语境化词表示,以识别罕见疾病及其临床表现(症状和症状) Raredis语料库。该毒品含有超过5,000名罕见疾病和近6,000个临床表现。 Biobert,基于BERT和培训的生物医学Corpora培训的域特定语言表示,获得了最佳结果。特别是,该模型获得罕见疾病的F1分数为85.2%,表现优于所有其他模型。
translated by 谷歌翻译
大量的电子健康记录(EHR)在改善医疗保健方面产生了巨大的潜力。临床代码(结构化数据)和临床叙述(非结构化数据)是EHR中的两个重要文本模式。临床代码传达医院期间的诊断和治疗信息,临床注释带有患者遭遇的临床提供者的叙述。它们不孤立地存在,并且可以在大多数现实生活中的临床情况下相互补充。但是,大多数现有的面向EHR的研究要么集中于特定模式,要么以直接方式整合来自不同模态的数据,这忽略了它们之间的内在相互作用。为了解决这些问题,我们提出了一个名为MEDM-PLM的医学多模式预训练的语言模型,以了解对结构化和非结构化数据的增强EHR表示。在MEDM-PLM中,首先采用了两个基于变压器的神经网络组件来从每种模式中学习代表性特征。然后引入跨模块模块以建模其相互作用。我们在模拟III数据集上预先训练MEDM-PLM,并验证了该模型对三个下游临床任务的有效性,即药物建议,30天的再入院预测和ICD编码。与最先进的方法相比,广泛的实验证明了MEDM-PLM的功率。进一步的分析和可视化表明了我们的模型的鲁棒性,这有可能为临床决策提供更全面的解释。
translated by 谷歌翻译
我们利用深度顺序模型来解决预测患者医疗保健利用的问题,这可能有助于政府更好地为未来的医疗保健使用提供资源。具体地,我们研究\纺织{发散亚组}的问题,其中较小的人口小组中的结果分布大大偏离了一般人群的群体。如果亚组的尺寸非常小(例如,稀有疾病),则对不同亚组的专业模型建造专门模型的传统方法可能是有问题的。为了解决这一挑战,我们首先开发一种新的无关注顺序模型,SANSFORMERS,灌输了适合在电子医疗记录中建模临床码的归纳偏差。然后,我们通过在整个健康登记处预先培训每个模型(接近100万名患者)之前,设计了一个特定的自我监督目标,并展示其有效性,特别是稀缺数据设置,特别是在整个健康登记处(接近一百万名患者)进行微调下游任务不同的子组。我们使用两个数据来源与LSTM和变压器模型进行比较新的SANSFARER架构和辅助医疗利用预测的多任务学习目标。凭经验,无关注的Sansformer模型在实验中始终如一地执行,在大多数情况下以至少$ \ SIM 10 $ \%表现出在大多数情况下的基线。此外,在预测医院访问数量时,自我监督的预训练将在整个始终提高性能,例如通过超过$ \ sim 50 $ \%(和高度为800美元\%)。
translated by 谷歌翻译
医疗保健提供者通常会记录给每位患者提供临床,研究和计费目的的临床护理的详细说明。由于这些叙述的非结构性性质,提供者使用专门的员工使用国际疾病(ICD)编码系统为患者的诊断分配诊断代码。此手动过程不仅耗时,而且昂贵且容易出错。先前的工作证明了机器学习(ML)方法在自动化此过程中的潜在效用,但它依靠大量手动标记数据来训练模型。此外,诊断编码系统随着时间的流逝而演变,这使得传统的监督学习策略无法推广到本地应用程序之外。在这项工作中,我们引入了一个普遍的弱监督文本分类框架,该框架仅从类标签描述中学习,而无需使用任何人类标记的文档。它利用预先训练的语言模型中存储的语言领域知识和数据编程框架将代码标签分配给单个文本。我们通过将方法与四个现实世界文本分类数据集中的最先进的弱文本分类器进行比较,除了将ICD代码分配给公开可用的模拟MIMIC-III数据库中的医疗注释外,我们证明了我们的方法的功效和灵活性。
translated by 谷歌翻译
电子健康记录(EHRS)在患者级别汇总了多种信息,并保留了整个时间内患者健康状况进化的轨迹代表。尽管此信息提供了背景,并且可以由医生利用以监控患者的健康并进行更准确的预后/诊断,但患者记录可以包含长期跨度的信息,这些信息与快速生成的医疗数据速率相结合,使临床决策变得更加复杂。患者轨迹建模可以通过以可扩展的方式探索现有信息来帮助,并可以通过促进预防医学实践来增强医疗保健质量。我们为建模患者轨迹提出了一种解决方案,该解决方案结合了不同类型的信息并考虑了临床数据的时间方面。该解决方案利用了两种不同的架构:一组支持灵活的输入功能集,以将患者的录取转换为密集的表示;以及在基于复发的架构中进行的第二次探索提取的入院表示,其中使用滑动窗口机制在子序列中处理患者轨迹。使用公开可用的模仿III临床数据库评估了开发的解决方案,以两种不同的临床结果,意外的患者再入院和疾病进展。获得的结果证明了第一个体系结构使用单个患者入院进行建模和诊断预测的潜力。虽然临床文本中的信息并未显示在其他现有作品中观察到的判别能力,但这可以通过微调临床模型来解释。最后,我们使用滑动窗口机制来表示基于序列的体系结构的潜力,以表示输入数据,从而获得与其他现有解决方案的可比性能。
translated by 谷歌翻译
这项研究提出了一个多模式的机器学习模型,以预测ICD-10诊断代码。我们开发了单独的机器学习模型,可以处理来自不同模式的数据,包括非结构化文本,半结构化文本和结构化表格数据。我们进一步采用了合奏方法来集成所有模式特异性模型以生成ICD-10代码。还提取了主要证据,以使我们的预测更具说服力和可解释。我们使用医学信息集市进行重症监护III(模拟-III)数据集来验证我们的方法。对于ICD代码预测,我们的表现最佳模型(Micro-F1 = 0.7633,Micro-AUC = 0.9541)显着超过其他基线模型,包括TF-IDF(Micro-F1 = 0.6721,Micro-AUC = 0.7879)和Text-CNN模型(Micro-F1 = 0.6569,Micro-AUC = 0.9235)。为了解释性,我们的方法在文本数据上实现了JACCARD相似性系数(JSC)为0.1806,在表格数据上分别获得了0.3105,训练有素的医生分别达到0.2780和0.5002。
translated by 谷歌翻译
There is an increasing interest in developing artificial intelligence (AI) systems to process and interpret electronic health records (EHRs). Natural language processing (NLP) powered by pretrained language models is the key technology for medical AI systems utilizing clinical narratives. However, there are few clinical language models, the largest of which trained in the clinical domain is comparatively small at 110 million parameters (compared with billions of parameters in the general domain). It is not clear how large clinical language models with billions of parameters can help medical AI systems utilize unstructured EHRs. In this study, we develop from scratch a large clinical language model - GatorTron - using >90 billion words of text (including >82 billion words of de-identified clinical text) and systematically evaluate it on 5 clinical NLP tasks including clinical concept extraction, medical relation extraction, semantic textual similarity, natural language inference (NLI), and medical question answering (MQA). We examine how (1) scaling up the number of parameters and (2) scaling up the size of the training data could benefit these NLP tasks. GatorTron models scale up the clinical language model from 110 million to 8.9 billion parameters and improve 5 clinical NLP tasks (e.g., 9.6% and 9.5% improvement in accuracy for NLI and MQA), which can be applied to medical AI systems to improve healthcare delivery. The GatorTron models are publicly available at: https://catalog.ngc.nvidia.com/orgs/nvidia/teams/clara/models/gatortron_og.
translated by 谷歌翻译
International Classification of Diseases (ICD) is a set of classification codes for medical records. Automated ICD coding, which assigns unique International Classification of Diseases codes with each medical record, is widely used recently for its efficiency and error-prone avoidance. However, there are challenges that remain such as heterogeneity, label unbalance, and complex relationships between ICD codes. In this work, we proposed a novel Bidirectional Hierarchy Framework(HieNet) to address the challenges. Specifically, a personalized PageRank routine is developed to capture the co-relation of codes, a bidirectional hierarchy passage encoder to capture the codes' hierarchical representations, and a progressive predicting method is then proposed to narrow down the semantic searching space of prediction. We validate our method on two widely used datasets. Experimental results on two authoritative public datasets demonstrate that our proposed method boosts state-of-the-art performance by a large margin.
translated by 谷歌翻译