Background: Encouraged by the success of pretrained Transformer models in many natural language processing tasks, their use for International Classification of Diseases (ICD) coding tasks is now actively being explored. In this study, we investigate three types of Transformer-based models, aiming to address the extreme label set and long text classification challenges that are posed by automated ICD coding tasks. Methods: The Transformer-based model PLM-ICD achieved the current state-of-the-art (SOTA) performance on the ICD coding benchmark dataset MIMIC-III. It was chosen as our baseline model to be further optimised. XR-Transformer, the new SOTA model in the general extreme multi-label text classification domain, and XR-LAT, a novel adaptation of the XR-Transformer model, were also trained on the MIMIC-III dataset. XR-LAT is a recursively trained model chain on a predefined hierarchical code tree with label-wise attention, knowledge transferring and dynamic negative sampling mechanisms. Results: Our optimised PLM-ICD model, which was trained with longer total and chunk sequence lengths, significantly outperformed the current SOTA PLM-ICD model, and achieved the highest micro-F1 score of 60.8%. The XR-Transformer model, although SOTA in the general domain, did not perform well across all metrics. The best XR-LAT based model obtained results that were competitive with the current SOTA PLM-ICD model, including improving the macro-AUC by 2.1%. Conclusion: Our optimised PLM-ICD model is the new SOTA model for automated ICD coding on the MIMIC-III dataset, while our novel XR-LAT model performs competitively with the previous SOTA PLM-ICD model.

将电子健康记录（EHR）自动分为诊断代码对NLP社区的挑战。最先进的方法将此问题视为多标签分类问题，并提出了各种架构来对此问题进行建模。但是，这些系统并未利用验证的语言模型的出色性能，这在自然语言理解任务上实现了出色的性能。先前的工作表明，经常使用的填充方案在此任务上表现不佳。因此，本文旨在分析表现不佳的原因，并通过验证的语言模型为自动编码开发一个框架。我们通过实验发现了三个主要问题：1）大标签空间，2）长输入序列和3）域预读和微调之间的域不匹配。我们提出了PLMICD，该框架通过各种策略来应对挑战。实验结果表明，我们提出的框架可以在基准模拟数据上以多个指标来克服挑战和实现最新性能。源代码可从https://github.com/miulab/plm-icd获得

Transformer models have achieved great success across many NLP problems. However, previous studies in automated ICD coding concluded that these models fail to outperform some of the earlier solutions such as CNN-based models. In this paper we challenge this conclusion. We present a simple and scalable method to process long text with the existing transformer models such as BERT. We show that this method significantly improves the previous results reported for transformer models in ICD coding, and is able to outperform one of the prominent CNN-based methods.

多标签学习在考虑标签相关的同时，从给定标签设置的标签中的一个子集。具有多标签分类的已知挑战是标签的长尾分布。许多研究侧重于改善模型的整体预测，从而不优先考虑尾端标签。改善医学文本的多标签分类中的尾端标签预测使得能够更好地了解患者并改善护理。一个或多个不频繁标签所获得的知识可能会影响医学决策和治疗计划的原因。本研究介绍了包括多生物传感器的级联特定语言模型的变化，以实现两个主要目标。首先，在多标签问题上改善F1罕见标签，特别是长尾标签;其次，要处理长医疗文本和多源电子健康记录（EHRS），对于旨在在短输入序列上工作的标准变压器的具有挑战性的任务。本研究的重要贡献是使用变换器XL获得的新的最先进的（SOTA）结果，以预测医学代码。在医疗信息MART进行各种实验，用于重症监护（MIMIC-III）数据库。结果表明，连接的生物化变压器在整体微观和宏F1分数和尾端标签的单独F1分数方面优于标准变压器，而不是对长输入序列的现有变压器的解决方案产生较低的训练时间。

临床笔记是临床医生在患者遭遇期间产生的非结构化文本。临床票据通常伴随着来自疾病的国际分类（ICD）的一组元数据代码。 ICD代码是各种操作中使用的重要代码，包括保险，报销，医学诊断等，因此，重要的是快速准确地分类ICD代码。但是，注释这些代码是昂贵且耗时的。因此，我们使用用于自动ICD代码分配的序列注意方法，提出基于来自变压器（BERT）的双向编码器表示的模型。我们评估我们对重症监护III（MIMIC-III）基准数据集的医疗信息MART的方法。我们的模型实现了宏观平均为F1：0.62898和微平均F1：0.68555的性能，并且使用MIMIC-III数据集执行优于最先进模型的性能。本研究的贡献提出了一种使用伯特的方法，该方法可以应用于文档和序列注意方法，该方法可以捕获在文档中出现的重要序列形式。

医疗保健自动化的机会可以改善临床医生的吞吐量。一个这样的例子是辅助工具记录诊断代码时，当临床医生写笔记时。我们使用课程学习研究了医学法规预测的自动化，这是机器学习模型的培训策略，可逐渐将学习任务的硬度从易于到困难提高。课程学习的挑战之一是课程的设计 - 即，在逐渐增加难度的任务设计中。我们提出了分层课程学习（HICU），这是一种在输出空间中使用图形结构的算法，以设计用于多标签分类的课程。我们为多标签分类模型创建课程，以预测患者自然语言描述的ICD诊断和程序代码。通过利用ICD代码的层次结构，该层次基于人体的各种器官系统进行诊断代码，我们发现我们的建议课程改善了基于反复，卷积和基于变压器的体系结构的基于神经网络的预测模型的概括。我们的代码可在https://github.com/wren93/hicu-icd上找到。

我们提出了一种三级等级变压器网络（3级），用于在临床笔记上建模长期依赖性，以患者级预测的目的。该网络配备了三个级别的基于变压器的编码器，以逐步地从单词中学到句子，句子票据，最后给患者注释。单词到句子的第一级直接将预先训练的BERT模型应用为完全可训练的组件。虽然第二和第三级实现了一堆基于变压器的编码器，但在最终患者表示进入临床预测的分类层之前。与传统的BERT模型相比，我们的模型将512个令牌的最大输入长度增加到适合建模大量临床笔记的更长的序列。我们经验检查不同的超参数，以识别给定的计算资源限制的最佳权衡。我们的实验结果对不同预测任务的模拟-III数据集表明，所提出的等级变压器网络优于以前的最先进的模型，包括但不限于BigBird。

尽管变压器语言模型（LMS）是信息提取的最新技术，但长文本引入了需要次优的预处理步骤或替代模型体系结构的计算挑战。稀疏注意的LMS可以代表更长的序列，克服性能障碍。但是，目前尚不清楚如何解释这些模型的预测，因为并非所有令牌都在自我发项层中相互参加，而在运行时，长序列对可解释性算法提出了计算挑战，而当运行时取决于文档长度。这些挑战在文档可能很长的医学环境中是严重的，机器学习（ML）模型必须是审核和值得信赖的。我们介绍了一种新颖的蒙版抽样程序（MSP），以识别有助于预测的文本块，将MSP应用于预测医学文本诊断的背景下，并通过两位临床医生的盲目审查来验证我们的方法。我们的方法比以前的最先进的临床信息块高约1.7倍，速度更快100倍，并且可用于生成重要的短语对。 MSP特别适合长LMS，但可以应用于任何文本分类器。我们提供了MSP的一般实施。

Automatic International Classification of Diseases (ICD) coding aims to assign multiple ICD codes to a medical note with an average of 3,000+ tokens. This task is challenging due to the high-dimensional space of multi-label assignment (155,000+ ICD code candidates) and the long-tail challenge - Many ICD codes are infrequently assigned yet infrequent ICD codes are important clinically. This study addresses the long-tail challenge by transforming this multi-label classification task into an autoregressive generation task. Specifically, we first introduce a novel pretraining objective to generate free text diagnoses and procedure using the SOAP structure, the medical logic physicians use for note documentation. Second, instead of directly predicting the high dimensional space of ICD codes, our model generates the lower dimension of text descriptions, which then infer ICD codes. Third, we designed a novel prompt template for multi-label classification. We evaluate our Generation with Prompt model with the benchmark of all code assignment (MIMIC-III-full) and few shot ICD code assignment evaluation benchmark (MIMIC-III-few). Experiments on MIMIC-III-few show that our model performs with a marco F1 30.2, which substantially outperforms the previous MIMIC-III-full SOTA model (marco F1 4.3) and the model specifically designed for few/zero shot setting (marco F1 18.7). Finally, we design a novel ensemble learner, a cross attention reranker with prompts, to integrate previous SOTA and our best few-shot coding predictions. Experiments on MIMIC-III-full show that our ensemble learner substantially improves both macro and micro F1, from 10.4 to 14.6 and from 58.2 to 59.1, respectively.

人类编码人员将标准化的医疗法规分配给患者住院期间产生的临床文件，该文件容易出错且劳动力密集。使用机器学习方法（例如深神经网络）开发了自动化的医学编码方法。然而，由于冗长的文档中的班级问题，复杂的代码关联和噪音，自动化的医疗编码仍然具有挑战性。为了解决这些问题，我们提出了一个新型的神经网络，称为多任务和重新校准的神经网络。值得注意的是，多任务学习方案共享不同代码分支之间的关系知识以捕获代码关联。重新校准的聚合模块是通过级联卷积块来提取高级语义特征来开发的，从而减轻噪声在文档中的影响。同样，重新校准的模块的级联结构可以从冗长的音符中受益。为了解决类不平衡的问题，我们部署了焦点损失，以重新分布低频和高频医疗法规的注意力。实验结果表明，我们提出的模型在现实世界中的临床数据集模拟于III上优于竞争基线。

International Classification of Diseases (ICD) is a set of classification codes for medical records. Automated ICD coding, which assigns unique International Classification of Diseases codes with each medical record, is widely used recently for its efficiency and error-prone avoidance. However, there are challenges that remain such as heterogeneity, label unbalance, and complex relationships between ICD codes. In this work, we proposed a novel Bidirectional Hierarchy Framework(HieNet) to address the challenges. Specifically, a personalized PageRank routine is developed to capture the co-relation of codes, a bidirectional hierarchy passage encoder to capture the codes' hierarchical representations, and a progressive predicting method is then proposed to narrow down the semantic searching space of prediction. We validate our method on two widely used datasets. Experimental results on two authoritative public datasets demonstrate that our proposed method boosts state-of-the-art performance by a large margin.

大量的电子健康记录（EHR）在改善医疗保健方面产生了巨大的潜力。临床代码（结构化数据）和临床叙述（非结构化数据）是EHR中的两个重要文本模式。临床代码传达医院期间的诊断和治疗信息，临床注释带有患者遭遇的临床提供者的叙述。它们不孤立地存在，并且可以在大多数现实生活中的临床情况下相互补充。但是，大多数现有的面向EHR的研究要么集中于特定模式，要么以直接方式整合来自不同模态的数据，这忽略了它们之间的内在相互作用。为了解决这些问题，我们提出了一个名为MEDM-PLM的医学多模式预训练的语言模型，以了解对结构化和非结构化数据的增强EHR表示。在MEDM-PLM中，首先采用了两个基于变压器的神经网络组件来从每种模式中学习代表性特征。然后引入跨模块模块以建模其相互作用。我们在模拟III数据集上预先训练MEDM-PLM，并验证了该模型对三个下游临床任务的有效性，即药物建议，30天的再入院预测和ICD编码。与最先进的方法相比，广泛的实验证明了MEDM-PLM的功率。进一步的分析和可视化表明了我们的模型的鲁棒性，这有可能为临床决策提供更全面的解释。

医疗编码是一项复杂的任务，需要将超过72,000个ICD代码的子集分配给患者的笔记。对这些任务的现代自然语言处理方法已受到输出空间的输入和大小的长度挑战。我们将模型输入限制在文档中发现的医疗实体周围的一个小窗口中。从这些本地上下文中，我们构建了ICD代码和实体的上下文化表示，并汇总这些表示形式以形成文档级预测。与现有的方法相反，该方法使用使用大小或训练中的代码固定的表示形式，我们通过用本地上下文编码代码描述来表示ICD代码。我们讨论适合在实践中部署编码系统的指标。我们表明，我们的方法优于标准和可部署措施的现有方法，包括在稀有和看不见的代码上的性能。

电子健康记录（EHRS）在患者级别汇总了多种信息，并保留了整个时间内患者健康状况进化的轨迹代表。尽管此信息提供了背景，并且可以由医生利用以监控患者的健康并进行更准确的预后/诊断，但患者记录可以包含长期跨度的信息，这些信息与快速生成的医疗数据速率相结合，使临床决策变得更加复杂。患者轨迹建模可以通过以可扩展的方式探索现有信息来帮助，并可以通过促进预防医学实践来增强医疗保健质量。我们为建模患者轨迹提出了一种解决方案，该解决方案结合了不同类型的信息并考虑了临床数据的时间方面。该解决方案利用了两种不同的架构：一组支持灵活的输入功能集，以将患者的录取转换为密集的表示；以及在基于复发的架构中进行的第二次探索提取的入院表示，其中使用滑动窗口机制在子序列中处理患者轨迹。使用公开可用的模仿III临床数据库评估了开发的解决方案，以两种不同的临床结果，意外的患者再入院和疾病进展。获得的结果证明了第一个体系结构使用单个患者入院进行建模和诊断预测的潜力。虽然临床文本中的信息并未显示在其他现有作品中观察到的判别能力，但这可以通过微调临床模型来解释。最后，我们使用滑动窗口机制来表示基于序列的体系结构的潜力，以表示输入数据，从而获得与其他现有解决方案的可比性能。

自动化医疗编码，医疗保健操作和交付的基本任务，通过从临床文献预测医学代码来实现非结构化数据。自然语言处理中深入学习模型的最新进展已被广泛应用于此任务。然而，它缺乏对医学编码的神经网络架构设计的统一视图。本综述提出了一个统一的框架，为医疗编码模型的构建块提供了一般性的理解，并概述了近期框架下的最新模型。我们的统一框架将医疗编码分解为四个主要组件，即文本特征提取的编码器模块，为构建深编码器架构的机制，解码器模块，用于将隐藏的表示转换为医学代码，以及辅助信息的使用。最后，我们讨论了关键的研究挑战和未来方向。

There is an increasing interest in developing artificial intelligence (AI) systems to process and interpret electronic health records (EHRs). Natural language processing (NLP) powered by pretrained language models is the key technology for medical AI systems utilizing clinical narratives. However, there are few clinical language models, the largest of which trained in the clinical domain is comparatively small at 110 million parameters (compared with billions of parameters in the general domain). It is not clear how large clinical language models with billions of parameters can help medical AI systems utilize unstructured EHRs. In this study, we develop from scratch a large clinical language model - GatorTron - using >90 billion words of text (including >82 billion words of de-identified clinical text) and systematically evaluate it on 5 clinical NLP tasks including clinical concept extraction, medical relation extraction, semantic textual similarity, natural language inference (NLI), and medical question answering (MQA). We examine how (1) scaling up the number of parameters and (2) scaling up the size of the training data could benefit these NLP tasks. GatorTron models scale up the clinical language model from 110 million to 8.9 billion parameters and improve 5 clinical NLP tasks (e.g., 9.6% and 9.5% improvement in accuracy for NLI and MQA), which can be applied to medical AI systems to improve healthcare delivery. The GatorTron models are publicly available at: https://catalog.ngc.nvidia.com/orgs/nvidia/teams/clara/models/gatortron_og.

基于变压器的模型在多个领域和任务上显示了它们的有效性。自我注意力允许将所有序列元素的信息结合到上下文感知表示形式中。但是，全球和本地信息必须主要存储在相同的元素表示中。此外，输入序列的长度受到自我注意的二次计算复杂性的限制。在这项工作中，我们提出并研究了一个记忆启动的片段级循环变压器（复发记忆变压器）。内存允许借助复发的帮助存储和处理本地和全局信息，并可以在长序列的段之间传递信息。我们通过将特殊的内存令牌添加到输入或输出序列中，实现了一个内存机制，无需更改变压器模型。然后，对变压器进行了训练，以控制内存操作和序列表示处理。实验的结果表明，我们的模型与Transformer-XL在语言建模上的较小内存大小上的表现相同，并在需要更长序列处理的任务方面胜过它。我们证明，将内存令牌添加到TR-XL可以提高IT性能。这使得反复的内存变压器成为需要学习长期依赖性和内存处理中的通用性（例如算法任务和推理）的应用程序的有前途的体系结构。

在法律文本中预先培训的基于变压器的预训练语言模型（PLM）的出现，法律领域中的自然语言处理受益匪浅。有经过欧洲和美国法律文本的PLM，最著名的是Legalbert。但是，随着印度法律文件的NLP申请量的迅速增加以及印度法律文本的区别特征，也有必要在印度法律文本上预先培训LMS。在这项工作中，我们在大量的印度法律文件中介绍了基于变压器的PLM。我们还将这些PLM应用于印度法律文件的几个基准法律NLP任务，即从事实，法院判决的语义细分和法院判决预测中的法律法规识别。我们的实验证明了这项工作中开发的印度特定PLM的实用性。

预训练在机器学习的不同领域表现出成功，例如计算机视觉，自然语言处理（NLP）和医学成像。但是，尚未完全探索用于临床数据分析。记录了大量的临床记录，但是对于在小型医院收集的数据或处理罕见疾病的数据仍可能稀缺数据和标签。在这种情况下，对较大的未标记临床数据进行预训练可以提高性能。在本文中，我们提出了专为异质的多模式临床数据设计的新型无监督的预训练技术，用于通过蒙版语言建模（MLM）启发的患者预测，通过利用对人群图的深度学习来启发。为此，我们进一步提出了一个基于图形转换器的网络，该网络旨在处理异质临床数据。通过将基于掩盖的预训练与基于变压器的网络相结合，我们将基于掩盖的其他域中训练的成功转化为异质临床数据。我们使用三个医学数据集Tadpole，Mimic-III和一个败血症预测数据集，在自我监督和转移学习设置中展示了我们的预训练方法的好处。我们发现，我们提出的培训方法有助于对患者和人群水平的数据进行建模，并提高所有数据集中不同微调任务的性能。

临床信息系统已成为半结构注释的医疗保健数据的大存储库，该数据已达到临界质量，使其成为监督数据驱动的神经网络方法的有趣。我们使用疾病（ICD-10）的国际分类来探讨了50个字符的长期临床问题列表条目的自动编码，并在前100个ICD-10三位数代码上评估了三种不同类型的网络架构。FastText基线达到0.83的宏观平均f1度量，然后是具有0.84的宏平均f1测量的字符级LSTM。使用自定义语言模型，Top执行是一个下游的Roberta模型，具有0.88的宏观平均f1-measure。一种神经网络激活分析以及对假阳性和假阴性的调查揭示了不一致的手动编码作为主要限制因素。