将电子健康记录（EHR）自动分为诊断代码对NLP社区的挑战。最先进的方法将此问题视为多标签分类问题，并提出了各种架构来对此问题进行建模。但是，这些系统并未利用验证的语言模型的出色性能，这在自然语言理解任务上实现了出色的性能。先前的工作表明，经常使用的填充方案在此任务上表现不佳。因此，本文旨在分析表现不佳的原因，并通过验证的语言模型为自动编码开发一个框架。我们通过实验发现了三个主要问题：1）大标签空间，2）长输入序列和3）域预读和微调之间的域不匹配。我们提出了PLMICD，该框架通过各种策略来应对挑战。实验结果表明，我们提出的框架可以在基准模拟数据上以多个指标来克服挑战和实现最新性能。源代码可从https://github.com/miulab/plm-icd获得

Background: Encouraged by the success of pretrained Transformer models in many natural language processing tasks, their use for International Classification of Diseases (ICD) coding tasks is now actively being explored. In this study, we investigate three types of Transformer-based models, aiming to address the extreme label set and long text classification challenges that are posed by automated ICD coding tasks. Methods: The Transformer-based model PLM-ICD achieved the current state-of-the-art (SOTA) performance on the ICD coding benchmark dataset MIMIC-III. It was chosen as our baseline model to be further optimised. XR-Transformer, the new SOTA model in the general extreme multi-label text classification domain, and XR-LAT, a novel adaptation of the XR-Transformer model, were also trained on the MIMIC-III dataset. XR-LAT is a recursively trained model chain on a predefined hierarchical code tree with label-wise attention, knowledge transferring and dynamic negative sampling mechanisms. Results: Our optimised PLM-ICD model, which was trained with longer total and chunk sequence lengths, significantly outperformed the current SOTA PLM-ICD model, and achieved the highest micro-F1 score of 60.8%. The XR-Transformer model, although SOTA in the general domain, did not perform well across all metrics. The best XR-LAT based model obtained results that were competitive with the current SOTA PLM-ICD model, including improving the macro-AUC by 2.1%. Conclusion: Our optimised PLM-ICD model is the new SOTA model for automated ICD coding on the MIMIC-III dataset, while our novel XR-LAT model performs competitively with the previous SOTA PLM-ICD model.

多标签学习在考虑标签相关的同时，从给定标签设置的标签中的一个子集。具有多标签分类的已知挑战是标签的长尾分布。许多研究侧重于改善模型的整体预测，从而不优先考虑尾端标签。改善医学文本的多标签分类中的尾端标签预测使得能够更好地了解患者并改善护理。一个或多个不频繁标签所获得的知识可能会影响医学决策和治疗计划的原因。本研究介绍了包括多生物传感器的级联特定语言模型的变化，以实现两个主要目标。首先，在多标签问题上改善F1罕见标签，特别是长尾标签;其次，要处理长医疗文本和多源电子健康记录（EHRS），对于旨在在短输入序列上工作的标准变压器的具有挑战性的任务。本研究的重要贡献是使用变换器XL获得的新的最先进的（SOTA）结果，以预测医学代码。在医疗信息MART进行各种实验，用于重症监护（MIMIC-III）数据库。结果表明，连接的生物化变压器在整体微观和宏F1分数和尾端标签的单独F1分数方面优于标准变压器，而不是对长输入序列的现有变压器的解决方案产生较低的训练时间。

Transformer models have achieved great success across many NLP problems. However, previous studies in automated ICD coding concluded that these models fail to outperform some of the earlier solutions such as CNN-based models. In this paper we challenge this conclusion. We present a simple and scalable method to process long text with the existing transformer models such as BERT. We show that this method significantly improves the previous results reported for transformer models in ICD coding, and is able to outperform one of the prominent CNN-based methods.

我们提出了一种三级等级变压器网络（3级），用于在临床笔记上建模长期依赖性，以患者级预测的目的。该网络配备了三个级别的基于变压器的编码器，以逐步地从单词中学到句子，句子票据，最后给患者注释。单词到句子的第一级直接将预先训练的BERT模型应用为完全可训练的组件。虽然第二和第三级实现了一堆基于变压器的编码器，但在最终患者表示进入临床预测的分类层之前。与传统的BERT模型相比，我们的模型将512个令牌的最大输入长度增加到适合建模大量临床笔记的更长的序列。我们经验检查不同的超参数，以识别给定的计算资源限制的最佳权衡。我们的实验结果对不同预测任务的模拟-III数据集表明，所提出的等级变压器网络优于以前的最先进的模型，包括但不限于BigBird。

人类编码人员将标准化的医疗法规分配给患者住院期间产生的临床文件，该文件容易出错且劳动力密集。使用机器学习方法（例如深神经网络）开发了自动化的医学编码方法。然而，由于冗长的文档中的班级问题，复杂的代码关联和噪音，自动化的医疗编码仍然具有挑战性。为了解决这些问题，我们提出了一个新型的神经网络，称为多任务和重新校准的神经网络。值得注意的是，多任务学习方案共享不同代码分支之间的关系知识以捕获代码关联。重新校准的聚合模块是通过级联卷积块来提取高级语义特征来开发的，从而减轻噪声在文档中的影响。同样，重新校准的模块的级联结构可以从冗长的音符中受益。为了解决类不平衡的问题，我们部署了焦点损失，以重新分布低频和高频医疗法规的注意力。实验结果表明，我们提出的模型在现实世界中的临床数据集模拟于III上优于竞争基线。

尽管变压器语言模型（LMS）是信息提取的最新技术，但长文本引入了需要次优的预处理步骤或替代模型体系结构的计算挑战。稀疏注意的LMS可以代表更长的序列，克服性能障碍。但是，目前尚不清楚如何解释这些模型的预测，因为并非所有令牌都在自我发项层中相互参加，而在运行时，长序列对可解释性算法提出了计算挑战，而当运行时取决于文档长度。这些挑战在文档可能很长的医学环境中是严重的，机器学习（ML）模型必须是审核和值得信赖的。我们介绍了一种新颖的蒙版抽样程序（MSP），以识别有助于预测的文本块，将MSP应用于预测医学文本诊断的背景下，并通过两位临床医生的盲目审查来验证我们的方法。我们的方法比以前的最先进的临床信息块高约1.7倍，速度更快100倍，并且可用于生成重要的短语对。 MSP特别适合长LMS，但可以应用于任何文本分类器。我们提供了MSP的一般实施。

Automatic International Classification of Diseases (ICD) coding aims to assign multiple ICD codes to a medical note with an average of 3,000+ tokens. This task is challenging due to the high-dimensional space of multi-label assignment (155,000+ ICD code candidates) and the long-tail challenge - Many ICD codes are infrequently assigned yet infrequent ICD codes are important clinically. This study addresses the long-tail challenge by transforming this multi-label classification task into an autoregressive generation task. Specifically, we first introduce a novel pretraining objective to generate free text diagnoses and procedure using the SOAP structure, the medical logic physicians use for note documentation. Second, instead of directly predicting the high dimensional space of ICD codes, our model generates the lower dimension of text descriptions, which then infer ICD codes. Third, we designed a novel prompt template for multi-label classification. We evaluate our Generation with Prompt model with the benchmark of all code assignment (MIMIC-III-full) and few shot ICD code assignment evaluation benchmark (MIMIC-III-few). Experiments on MIMIC-III-few show that our model performs with a marco F1 30.2, which substantially outperforms the previous MIMIC-III-full SOTA model (marco F1 4.3) and the model specifically designed for few/zero shot setting (marco F1 18.7). Finally, we design a novel ensemble learner, a cross attention reranker with prompts, to integrate previous SOTA and our best few-shot coding predictions. Experiments on MIMIC-III-full show that our ensemble learner substantially improves both macro and micro F1, from 10.4 to 14.6 and from 58.2 to 59.1, respectively.

临床笔记是临床医生在患者遭遇期间产生的非结构化文本。临床票据通常伴随着来自疾病的国际分类（ICD）的一组元数据代码。 ICD代码是各种操作中使用的重要代码，包括保险，报销，医学诊断等，因此，重要的是快速准确地分类ICD代码。但是，注释这些代码是昂贵且耗时的。因此，我们使用用于自动ICD代码分配的序列注意方法，提出基于来自变压器（BERT）的双向编码器表示的模型。我们评估我们对重症监护III（MIMIC-III）基准数据集的医疗信息MART的方法。我们的模型实现了宏观平均为F1：0.62898和微平均F1：0.68555的性能，并且使用MIMIC-III数据集执行优于最先进模型的性能。本研究的贡献提出了一种使用伯特的方法，该方法可以应用于文档和序列注意方法，该方法可以捕获在文档中出现的重要序列形式。

大量的电子健康记录（EHR）在改善医疗保健方面产生了巨大的潜力。临床代码（结构化数据）和临床叙述（非结构化数据）是EHR中的两个重要文本模式。临床代码传达医院期间的诊断和治疗信息，临床注释带有患者遭遇的临床提供者的叙述。它们不孤立地存在，并且可以在大多数现实生活中的临床情况下相互补充。但是，大多数现有的面向EHR的研究要么集中于特定模式，要么以直接方式整合来自不同模态的数据，这忽略了它们之间的内在相互作用。为了解决这些问题，我们提出了一个名为MEDM-PLM的医学多模式预训练的语言模型，以了解对结构化和非结构化数据的增强EHR表示。在MEDM-PLM中，首先采用了两个基于变压器的神经网络组件来从每种模式中学习代表性特征。然后引入跨模块模块以建模其相互作用。我们在模拟III数据集上预先训练MEDM-PLM，并验证了该模型对三个下游临床任务的有效性，即药物建议，30天的再入院预测和ICD编码。与最先进的方法相比，广泛的实验证明了MEDM-PLM的功率。进一步的分析和可视化表明了我们的模型的鲁棒性，这有可能为临床决策提供更全面的解释。

在法律文本中预先培训的基于变压器的预训练语言模型（PLM）的出现，法律领域中的自然语言处理受益匪浅。有经过欧洲和美国法律文本的PLM，最著名的是Legalbert。但是，随着印度法律文件的NLP申请量的迅速增加以及印度法律文本的区别特征，也有必要在印度法律文本上预先培训LMS。在这项工作中，我们在大量的印度法律文件中介绍了基于变压器的PLM。我们还将这些PLM应用于印度法律文件的几个基准法律NLP任务，即从事实，法院判决的语义细分和法院判决预测中的法律法规识别。我们的实验证明了这项工作中开发的印度特定PLM的实用性。

医疗保健自动化的机会可以改善临床医生的吞吐量。一个这样的例子是辅助工具记录诊断代码时，当临床医生写笔记时。我们使用课程学习研究了医学法规预测的自动化，这是机器学习模型的培训策略，可逐渐将学习任务的硬度从易于到困难提高。课程学习的挑战之一是课程的设计 - 即，在逐渐增加难度的任务设计中。我们提出了分层课程学习（HICU），这是一种在输出空间中使用图形结构的算法，以设计用于多标签分类的课程。我们为多标签分类模型创建课程，以预测患者自然语言描述的ICD诊断和程序代码。通过利用ICD代码的层次结构，该层次基于人体的各种器官系统进行诊断代码，我们发现我们的建议课程改善了基于反复，卷积和基于变压器的体系结构的基于神经网络的预测模型的概括。我们的代码可在https://github.com/wren93/hicu-icd上找到。

Recently, domain-specific PLMs have been proposed to boost the task performance of specific domains (e.g., biomedical and computer science) by continuing to pre-train general PLMs with domain-specific corpora. However, this Domain-Adaptive Pre-Training (DAPT; Gururangan et al. (2020)) tends to forget the previous general knowledge acquired by general PLMs, which leads to a catastrophic forgetting phenomenon and sub-optimal performance. To alleviate this problem, we propose a new framework of General Memory Augmented Pre-trained Language Model (G-MAP), which augments the domain-specific PLM by a memory representation built from the frozen general PLM without losing any general knowledge. Specifically, we propose a new memory-augmented layer, and based on it, different augmented strategies are explored to build the memory representation and then adaptively fuse it into the domain-specific PLM. We demonstrate the effectiveness of G-MAP on various domains (biomedical and computer science publications, news, and reviews) and different kinds (text classification, QA, NER) of tasks, and the extensive results show that the proposed G-MAP can achieve SOTA results on all tasks.

There is an increasing interest in developing artificial intelligence (AI) systems to process and interpret electronic health records (EHRs). Natural language processing (NLP) powered by pretrained language models is the key technology for medical AI systems utilizing clinical narratives. However, there are few clinical language models, the largest of which trained in the clinical domain is comparatively small at 110 million parameters (compared with billions of parameters in the general domain). It is not clear how large clinical language models with billions of parameters can help medical AI systems utilize unstructured EHRs. In this study, we develop from scratch a large clinical language model - GatorTron - using >90 billion words of text (including >82 billion words of de-identified clinical text) and systematically evaluate it on 5 clinical NLP tasks including clinical concept extraction, medical relation extraction, semantic textual similarity, natural language inference (NLI), and medical question answering (MQA). We examine how (1) scaling up the number of parameters and (2) scaling up the size of the training data could benefit these NLP tasks. GatorTron models scale up the clinical language model from 110 million to 8.9 billion parameters and improve 5 clinical NLP tasks (e.g., 9.6% and 9.5% improvement in accuracy for NLI and MQA), which can be applied to medical AI systems to improve healthcare delivery. The GatorTron models are publicly available at: https://catalog.ngc.nvidia.com/orgs/nvidia/teams/clara/models/gatortron_og.

查询聚焦的文本摘要（QFTS）任务旨在构建基于给定查询的文本文档摘要的构建系统。解决此任务的关键挑战是缺乏培训摘要模型的大量标记数据。在本文中，我们通过探索一系列域适应技术来解决这一挑战。鉴于最近在广泛的自然语言处理任务中进行预先接受的变压器模型的成功，我们利用此类模型为单文档和多文件方案的QFTS任务产生抽象摘要。对于域适应，我们使用预先训练的变压器的摘要模型应用了各种技术，包括转移学习，弱监督学习和远程监督。六个数据集的广泛实验表明，我们所提出的方法非常有效地为QFTS任务产生抽象摘要，同时在一组自动和人类评估指标上设置新的最先进的结果。

We introduce a new language representation model called BERT, which stands for Bidirectional Encoder Representations from Transformers. Unlike recent language representation models (Peters et al., 2018a;Radford et al., 2018), BERT is designed to pretrain deep bidirectional representations from unlabeled text by jointly conditioning on both left and right context in all layers. As a result, the pre-trained BERT model can be finetuned with just one additional output layer to create state-of-the-art models for a wide range of tasks, such as question answering and language inference, without substantial taskspecific architecture modifications.BERT is conceptually simple and empirically powerful. It obtains new state-of-the-art results on eleven natural language processing tasks, including pushing the GLUE score to 80.5% (7.7% point absolute improvement), MultiNLI accuracy to 86.7% (4.6% absolute improvement), SQuAD v1.1 question answering Test F1 to 93.2 (1.5 point absolute improvement) and SQuAD v2.0 Test F1 to 83.1 (5.1 point absolute improvement).

由于表现强劲，预用的语言模型已成为许多NLP任务的标准方法，但他们培训价格昂贵。我们提出了一个简单高效的学习框架TLM，不依赖于大规模预制。给定一些标记的任务数据和大型常规语料库，TLM使用任务数据作为查询来检索一般语料库的微小子集，并联合优化任务目标和从头开始的语言建模目标。在四个域中的八个分类数据集上，TLM实现了比预用语言模型（例如Roberta-Light）更好地或类似的结果，同时减少了两个数量级的训练拖鞋。高精度和效率，我们希望TLM将有助于民主化NLP并加快发展。

自动化医疗编码，医疗保健操作和交付的基本任务，通过从临床文献预测医学代码来实现非结构化数据。自然语言处理中深入学习模型的最新进展已被广泛应用于此任务。然而，它缺乏对医学编码的神经网络架构设计的统一视图。本综述提出了一个统一的框架，为医疗编码模型的构建块提供了一般性的理解，并概述了近期框架下的最新模型。我们的统一框架将医疗编码分解为四个主要组件，即文本特征提取的编码器模块，为构建深编码器架构的机制，解码器模块，用于将隐藏的表示转换为医学代码，以及辅助信息的使用。最后，我们讨论了关键的研究挑战和未来方向。

动机：生物医学研究人员和临床从业者的常年挑战是随着出版物和医疗票据的快速增长而待的。自然语言处理（NLP）已成为驯服信息超载的有希望的方向。特别是，大型神经语言模型通过预先绘制的文本预测，通过各种NLP应用中的BERT模型的成功示例，便于通过预先绘制的预先来进行学习。然而，用于结束任务的微调此类模型仍然具有挑战性，特别是具有小标记数据集，这些数据集是生物医学NLP的常见。结果：我们对生物医学NLP的微调稳定性进行了系统研究。我们表明FineTuning性能可能对预先预订的设置敏感，尤其是在低资源域中。大型型号有可能获得更好的性能，但越来越多的模型大小也加剧了FineTuning不稳定性。因此，我们对解决微调不稳定的技术进行了全面的探索。我们表明，这些技术可以大大提高低源生物医学NLP应用的微调性能。具体地，冻结下层有助于标准伯特基型号，而完整的衰减对于BERT-LARD和Electra型号更有效。对于低资源文本相似性任务，如生物，重新初始化顶层是最佳策略。总体而言，占星型词汇和预制促进更强大的微调模型。基于这些调查结果，我们在广泛的生物医学NLP应用方面建立了新的技术。可用性和实施​​：为了促进生物医学NLP的进展，我们释放了我们最先进的预订和微调模型：https://aka.ms/blurb。

Language model pre-training has proven to be useful in learning universal language representations. As a state-of-the-art language model pre-training model, BERT (Bidirectional Encoder Representations from Transformers) has achieved amazing results in many language understanding tasks. In this paper, we conduct exhaustive experiments to investigate different fine-tuning methods of BERT on text classification task and provide a general solution for BERT fine-tuning. Finally, the proposed solution obtains new state-of-the-art results on eight widely-studied text classification datasets. 1