International Classification of Diseases (ICD) is a set of classification codes for medical records. Automated ICD coding, which assigns unique International Classification of Diseases codes with each medical record, is widely used recently for its efficiency and error-prone avoidance. However, there are challenges that remain such as heterogeneity, label unbalance, and complex relationships between ICD codes. In this work, we proposed a novel Bidirectional Hierarchy Framework(HieNet) to address the challenges. Specifically, a personalized PageRank routine is developed to capture the co-relation of codes, a bidirectional hierarchy passage encoder to capture the codes' hierarchical representations, and a progressive predicting method is then proposed to narrow down the semantic searching space of prediction. We validate our method on two widely used datasets. Experimental results on two authoritative public datasets demonstrate that our proposed method boosts state-of-the-art performance by a large margin.

医疗保健自动化的机会可以改善临床医生的吞吐量。一个这样的例子是辅助工具记录诊断代码时，当临床医生写笔记时。我们使用课程学习研究了医学法规预测的自动化，这是机器学习模型的培训策略，可逐渐将学习任务的硬度从易于到困难提高。课程学习的挑战之一是课程的设计 - 即，在逐渐增加难度的任务设计中。我们提出了分层课程学习（HICU），这是一种在输出空间中使用图形结构的算法，以设计用于多标签分类的课程。我们为多标签分类模型创建课程，以预测患者自然语言描述的ICD诊断和程序代码。通过利用ICD代码的层次结构，该层次基于人体的各种器官系统进行诊断代码，我们发现我们的建议课程改善了基于反复，卷积和基于变压器的体系结构的基于神经网络的预测模型的概括。我们的代码可在https://github.com/wren93/hicu-icd上找到。

人类编码人员将标准化的医疗法规分配给患者住院期间产生的临床文件，该文件容易出错且劳动力密集。使用机器学习方法（例如深神经网络）开发了自动化的医学编码方法。然而，由于冗长的文档中的班级问题，复杂的代码关联和噪音，自动化的医疗编码仍然具有挑战性。为了解决这些问题，我们提出了一个新型的神经网络，称为多任务和重新校准的神经网络。值得注意的是，多任务学习方案共享不同代码分支之间的关系知识以捕获代码关联。重新校准的聚合模块是通过级联卷积块来提取高级语义特征来开发的，从而减轻噪声在文档中的影响。同样，重新校准的模块的级联结构可以从冗长的音符中受益。为了解决类不平衡的问题，我们部署了焦点损失，以重新分布低频和高频医疗法规的注意力。实验结果表明，我们提出的模型在现实世界中的临床数据集模拟于III上优于竞争基线。

电子健康记录（EHR）已经大量用于现代医疗保健系统，用于将患者的入场信息记录到医院。许多数据驱动方法采用EHR中的时间特征，用于预测患者的特定疾病，阅告期或诊断。然而，由于某些时间事件的监督培训中固有的标签，大多数现有的预测模型不能充分利用EHR数据。此外，对于现有的作品很难同时提供通用和个性化的解释性。为解决这些挑战，我们首先提出了一种具有信息流到分层结构的信息流的双曲线嵌入方法。我们将这些预先训练的表征纳入了图形神经网络以检测疾病并发症，并设计一种计算特定疾病和入学贡献的多级注意方法，从而提高个性化的可解释性。我们在自我监督的学习框架中提出了一个新的层次结构增强的历史预测代理任务，以充分利用EHR数据和利用医疗领域知识。我们开展一套全面的实验和案例研究，广泛使用的公开可用的EHR数据集以验证我们模型的有效性。结果表明我们的模型在预测任务和可解释能力方面的优势。

自动化医疗编码，医疗保健操作和交付的基本任务，通过从临床文献预测医学代码来实现非结构化数据。自然语言处理中深入学习模型的最新进展已被广泛应用于此任务。然而，它缺乏对医学编码的神经网络架构设计的统一视图。本综述提出了一个统一的框架，为医疗编码模型的构建块提供了一般性的理解，并概述了近期框架下的最新模型。我们的统一框架将医疗编码分解为四个主要组件，即文本特征提取的编码器模块，为构建深编码器架构的机制，解码器模块，用于将隐藏的表示转换为医学代码，以及辅助信息的使用。最后，我们讨论了关键的研究挑战和未来方向。

将电子健康记录（EHR）自动分为诊断代码对NLP社区的挑战。最先进的方法将此问题视为多标签分类问题，并提出了各种架构来对此问题进行建模。但是，这些系统并未利用验证的语言模型的出色性能，这在自然语言理解任务上实现了出色的性能。先前的工作表明，经常使用的填充方案在此任务上表现不佳。因此，本文旨在分析表现不佳的原因，并通过验证的语言模型为自动编码开发一个框架。我们通过实验发现了三个主要问题：1）大标签空间，2）长输入序列和3）域预读和微调之间的域不匹配。我们提出了PLMICD，该框架通过各种策略来应对挑战。实验结果表明，我们提出的框架可以在基准模拟数据上以多个指标来克服挑战和实现最新性能。源代码可从https://github.com/miulab/plm-icd获得

Background: Encouraged by the success of pretrained Transformer models in many natural language processing tasks, their use for International Classification of Diseases (ICD) coding tasks is now actively being explored. In this study, we investigate three types of Transformer-based models, aiming to address the extreme label set and long text classification challenges that are posed by automated ICD coding tasks. Methods: The Transformer-based model PLM-ICD achieved the current state-of-the-art (SOTA) performance on the ICD coding benchmark dataset MIMIC-III. It was chosen as our baseline model to be further optimised. XR-Transformer, the new SOTA model in the general extreme multi-label text classification domain, and XR-LAT, a novel adaptation of the XR-Transformer model, were also trained on the MIMIC-III dataset. XR-LAT is a recursively trained model chain on a predefined hierarchical code tree with label-wise attention, knowledge transferring and dynamic negative sampling mechanisms. Results: Our optimised PLM-ICD model, which was trained with longer total and chunk sequence lengths, significantly outperformed the current SOTA PLM-ICD model, and achieved the highest micro-F1 score of 60.8%. The XR-Transformer model, although SOTA in the general domain, did not perform well across all metrics. The best XR-LAT based model obtained results that were competitive with the current SOTA PLM-ICD model, including improving the macro-AUC by 2.1%. Conclusion: Our optimised PLM-ICD model is the new SOTA model for automated ICD coding on the MIMIC-III dataset, while our novel XR-LAT model performs competitively with the previous SOTA PLM-ICD model.

Transformer models have achieved great success across many NLP problems. However, previous studies in automated ICD coding concluded that these models fail to outperform some of the earlier solutions such as CNN-based models. In this paper we challenge this conclusion. We present a simple and scalable method to process long text with the existing transformer models such as BERT. We show that this method significantly improves the previous results reported for transformer models in ICD coding, and is able to outperform one of the prominent CNN-based methods.

这项研究提出了一个多模式的机器学习模型，以预测ICD-10诊断代码。我们开发了单独的机器学习模型，可以处理来自不同模式的数据，包括非结构化文本，半结构化文本和结构化表格数据。我们进一步采用了合奏方法来集成所有模式特异性模型以生成ICD-10代码。还提取了主要证据，以使我们的预测更具说服力和可解释。我们使用医学信息集市进行重症监护III（模拟-III）数据集来验证我们的方法。对于ICD代码预测，我们的表现最佳模型（Micro-F1 = 0.7633，Micro-AUC = 0.9541）显着超过其他基线模型，包括TF-IDF（Micro-F1 = 0.6721，Micro-AUC = 0.7879）和Text-CNN模型（Micro-F1 = 0.6569，Micro-AUC = 0.9235）。为了解释性，我们的方法在文本数据上实现了JACCARD相似性系数（JSC）为0.1806，在表格数据上分别获得了0.3105，训练有素的医生分别达到0.2780和0.5002。

文本分类是自然语言处理（NLP）的主要任务。最近，图神经网络（GNN）已迅速发展，并应用于文本分类任务。作为一种特殊的图形数据，该树具有更简单的数据结构，可以为文本分类提供丰富的层次结构信息。受结构熵的启发，我们通过最小化结构熵并提出提示来构造图形的编码树，该提示旨在充分利用文本中包含的文本中包含的层次信息，以完成文本分类的任务。具体来说，我们首先为每个文本建立依赖关系解析图。然后，我们设计了一种结构熵最小化算法来解码图中的关键信息，并将每个图转换为其相应的编码树。基于编码树的层次结构，通过逐层更新编码树中的非叶子节点的表示来获得整个图的表示。最后，我们介绍了层次信息在文本分类中的有效性。实验结果表明，在具有简单的结构和很少的参数的同时，提示在流行基准测试上的最新方法优于最先进的方法。

Automatic International Classification of Diseases (ICD) coding aims to assign multiple ICD codes to a medical note with an average of 3,000+ tokens. This task is challenging due to the high-dimensional space of multi-label assignment (155,000+ ICD code candidates) and the long-tail challenge - Many ICD codes are infrequently assigned yet infrequent ICD codes are important clinically. This study addresses the long-tail challenge by transforming this multi-label classification task into an autoregressive generation task. Specifically, we first introduce a novel pretraining objective to generate free text diagnoses and procedure using the SOAP structure, the medical logic physicians use for note documentation. Second, instead of directly predicting the high dimensional space of ICD codes, our model generates the lower dimension of text descriptions, which then infer ICD codes. Third, we designed a novel prompt template for multi-label classification. We evaluate our Generation with Prompt model with the benchmark of all code assignment (MIMIC-III-full) and few shot ICD code assignment evaluation benchmark (MIMIC-III-few). Experiments on MIMIC-III-few show that our model performs with a marco F1 30.2, which substantially outperforms the previous MIMIC-III-full SOTA model (marco F1 4.3) and the model specifically designed for few/zero shot setting (marco F1 18.7). Finally, we design a novel ensemble learner, a cross attention reranker with prompts, to integrate previous SOTA and our best few-shot coding predictions. Experiments on MIMIC-III-full show that our ensemble learner substantially improves both macro and micro F1, from 10.4 to 14.6 and from 58.2 to 59.1, respectively.

自动化医学编码是将临床注释编码为适当诊断和程序代码的一个过程，该过程会自动从ICD（国际疾病国际分类）和CPT（当前程序术语）中自动制定。手动编码过程涉及从临床注释中识别实体，然后查询遵循Medicare和Medicaid Services中心（CMS）指南的商业或非商业医学法规信息检索（IR）系统。我们建议通过使用从临床注释自动提取的实体自动构造IR系统的查询来自动化此手动过程。我们提出\ textbf {grabqc}，a \ textbf {gra} ph \ textbf {b} ased \ textbf {q} uery \ textbf {c} onTextualization方法，该方法自动从临床文本中提取查询，从而使用临床文本提取质量，并在图形上提取质量网络（GNN）模型并使用外部IR系统获得ICD代码。我们还提出了一种标记用于训练模型的数据集的方法。我们在三个不同的设置中对两个临床文本数据集进行实验，以主张我们方法的有效性。实验结果表明，我们所提出的方法比所有三个设置中的基准都更好。

临床笔记是临床医生在患者遭遇期间产生的非结构化文本。临床票据通常伴随着来自疾病的国际分类（ICD）的一组元数据代码。 ICD代码是各种操作中使用的重要代码，包括保险，报销，医学诊断等，因此，重要的是快速准确地分类ICD代码。但是，注释这些代码是昂贵且耗时的。因此，我们使用用于自动ICD代码分配的序列注意方法，提出基于来自变压器（BERT）的双向编码器表示的模型。我们评估我们对重症监护III（MIMIC-III）基准数据集的医疗信息MART的方法。我们的模型实现了宏观平均为F1：0.62898和微平均F1：0.68555的性能，并且使用MIMIC-III数据集执行优于最先进模型的性能。本研究的贡献提出了一种使用伯特的方法，该方法可以应用于文档和序列注意方法，该方法可以捕获在文档中出现的重要序列形式。

多标签学习在考虑标签相关的同时，从给定标签设置的标签中的一个子集。具有多标签分类的已知挑战是标签的长尾分布。许多研究侧重于改善模型的整体预测，从而不优先考虑尾端标签。改善医学文本的多标签分类中的尾端标签预测使得能够更好地了解患者并改善护理。一个或多个不频繁标签所获得的知识可能会影响医学决策和治疗计划的原因。本研究介绍了包括多生物传感器的级联特定语言模型的变化，以实现两个主要目标。首先，在多标签问题上改善F1罕见标签，特别是长尾标签;其次，要处理长医疗文本和多源电子健康记录（EHRS），对于旨在在短输入序列上工作的标准变压器的具有挑战性的任务。本研究的重要贡献是使用变换器XL获得的新的最先进的（SOTA）结果，以预测医学代码。在医疗信息MART进行各种实验，用于重症监护（MIMIC-III）数据库。结果表明，连接的生物化变压器在整体微观和宏F1分数和尾端标签的单独F1分数方面优于标准变压器，而不是对长输入序列的现有变压器的解决方案产生较低的训练时间。

The development of deep neural networks has improved representation learning in various domains, including textual, graph structural, and relational triple representations. This development opened the door to new relation extraction beyond the traditional text-oriented relation extraction. However, research on the effectiveness of considering multiple heterogeneous domain information simultaneously is still under exploration, and if a model can take an advantage of integrating heterogeneous information, it is expected to exhibit a significant contribution to many problems in the world. This thesis works on Drug-Drug Interactions (DDIs) from the literature as a case study and realizes relation extraction utilizing heterogeneous domain information. First, a deep neural relation extraction model is prepared and its attention mechanism is analyzed. Next, a method to combine the drug molecular structure information and drug description information to the input sentence information is proposed, and the effectiveness of utilizing drug molecular structures and drug descriptions for the relation extraction task is shown. Then, in order to further exploit the heterogeneous information, drug-related items, such as protein entries, medical terms and pathways are collected from multiple existing databases and a new data set in the form of a knowledge graph (KG) is constructed. A link prediction task on the constructed data set is conducted to obtain embedding representations of drugs that contain the heterogeneous domain information. Finally, a method that integrates the input sentence information and the heterogeneous KG information is proposed. The proposed model is trained and evaluated on a widely used data set, and as a result, it is shown that utilizing heterogeneous domain information significantly improves the performance of relation extraction from the literature.

The peer merit review of research proposals has been the major mechanism for deciding grant awards. However, research proposals have become increasingly interdisciplinary. It has been a longstanding challenge to assign interdisciplinary proposals to appropriate reviewers, so proposals are fairly evaluated. One of the critical steps in reviewer assignment is to generate accurate interdisciplinary topic labels for proposal-reviewer matching. Existing systems mainly collect topic labels manually generated by principal investigators. However, such human-reported labels can be non-accurate, incomplete, labor intensive, and time costly. What role can AI play in developing a fair and precise proposal reviewer assignment system? In this study, we collaborate with the National Science Foundation of China to address the task of automated interdisciplinary topic path detection. For this purpose, we develop a deep Hierarchical Interdisciplinary Research Proposal Classification Network (HIRPCN). Specifically, we first propose a hierarchical transformer to extract the textual semantic information of proposals. We then design an interdisciplinary graph and leverage GNNs for learning representations of each discipline in order to extract interdisciplinary knowledge. After extracting the semantic and interdisciplinary knowledge, we design a level-wise prediction component to fuse the two types of knowledge representations and detect interdisciplinary topic paths for each proposal. We conduct extensive experiments and expert evaluations on three real-world datasets to demonstrate the effectiveness of our proposed model.

我们提出了一种三级等级变压器网络（3级），用于在临床笔记上建模长期依赖性，以患者级预测的目的。该网络配备了三个级别的基于变压器的编码器，以逐步地从单词中学到句子，句子票据，最后给患者注释。单词到句子的第一级直接将预先训练的BERT模型应用为完全可训练的组件。虽然第二和第三级实现了一堆基于变压器的编码器，但在最终患者表示进入临床预测的分类层之前。与传统的BERT模型相比，我们的模型将512个令牌的最大输入长度增加到适合建模大量临床笔记的更长的序列。我们经验检查不同的超参数，以识别给定的计算资源限制的最佳权衡。我们的实验结果对不同预测任务的模拟-III数据集表明，所提出的等级变压器网络优于以前的最先进的模型，包括但不限于BigBird。

随着电子健康记录（EHR）在医疗保健设施中的广泛应用，深入学习的健康事件预测越来越受到关注。用于深度学习的预测的EHR数据的一个共同特征是历史诊断。现有的工作主要认为诊断为独立疾病，并不考虑访问中疾病之间的临床关系。许多机器学习方法假设疾病表示在患者的不同访问中是静态的。然而，在实际实践中，同时经常被诊断的多种疾病反映了有利于预后的隐藏模式。此外，疾病的发展不是静态，因为某些疾病可以出现或消失，并且在患者的不同访问中显示各种症状。为了有效利用这种组合疾病信息并探索疾病的动态，我们提出了一种使用动态疾病图表上的转换功能的新型背景感知学习框架。具体而言，我们构建一种具有多个节点属性的全球疾病共同发生图，用于疾病组合。我们为每位患者的访问设计动态子图，以利用全球和本地环境。我们进一步根据节点属性的变化来定义每次访问中的三个诊断角色，以模拟疾病过渡过程。两个真实世界EHR数据集的实验结果表明，建议的模型优于现有技术的预测健康事件。

With the development of natural language processing techniques(NLP), automatic diagnosis of eye diseases using ophthalmology electronic medical records (OEMR) has become possible. It aims to evaluate the condition of both eyes of a patient respectively, and we formulate it as a particular multi-label classification task in this paper. Although there are a few related studies in other diseases, automatic diagnosis of eye diseases exhibits unique characteristics. First, descriptions of both eyes are mixed up in OEMR documents, with both free text and templated asymptomatic descriptions, resulting in sparsity and clutter of information. Second, OEMR documents contain multiple parts of descriptions and have long document lengths. Third, it is critical to provide explainability to the disease diagnosis model. To overcome those challenges, we present an effective automatic eye disease diagnosis framework, NEEDED. In this framework, a preprocessing module is integrated to improve the density and quality of information. Then, we design a hierarchical transformer structure for learning the contextualized representations of each sentence in the OEMR document. For the diagnosis part, we propose an attention-based predictor that enables traceable diagnosis by obtaining disease-specific information. Experiments on the real dataset and comparison with several baseline models show the advantage and explainability of our framework.

电子健康记录（EHRS）在患者级别汇总了多种信息，并保留了整个时间内患者健康状况进化的轨迹代表。尽管此信息提供了背景，并且可以由医生利用以监控患者的健康并进行更准确的预后/诊断，但患者记录可以包含长期跨度的信息，这些信息与快速生成的医疗数据速率相结合，使临床决策变得更加复杂。患者轨迹建模可以通过以可扩展的方式探索现有信息来帮助，并可以通过促进预防医学实践来增强医疗保健质量。我们为建模患者轨迹提出了一种解决方案，该解决方案结合了不同类型的信息并考虑了临床数据的时间方面。该解决方案利用了两种不同的架构：一组支持灵活的输入功能集，以将患者的录取转换为密集的表示；以及在基于复发的架构中进行的第二次探索提取的入院表示，其中使用滑动窗口机制在子序列中处理患者轨迹。使用公开可用的模仿III临床数据库评估了开发的解决方案，以两种不同的临床结果，意外的患者再入院和疾病进展。获得的结果证明了第一个体系结构使用单个患者入院进行建模和诊断预测的潜力。虽然临床文本中的信息并未显示在其他现有作品中观察到的判别能力，但这可以通过微调临床模型来解释。最后，我们使用滑动窗口机制来表示基于序列的体系结构的潜力，以表示输入数据，从而获得与其他现有解决方案的可比性能。