Hierarchical text classification aims to leverage label hierarchy in multi-label text classification. Existing methods encode label hierarchy in a global view, where label hierarchy is treated as the static hierarchical structure containing all labels. Since global hierarchy is static and irrelevant to text samples, it makes these methods hard to exploit hierarchical information. Contrary to global hierarchy, local hierarchy as a structured labels hierarchy corresponding to each text sample. It is dynamic and relevant to text samples, which is ignored in previous methods. To exploit global and local hierarchies,we propose Hierarchy-guided BERT with Global and Local hierarchies (HBGL), which utilizes the large-scale parameters and prior language knowledge of BERT to model both global and local hierarchies.Moreover,HBGL avoids the intentional fusion of semantic and hierarchical modules by directly modeling semantic and hierarchical information with BERT.Compared with the state-of-the-art method HGCLR,our method achieves significant improvement on three benchmark datasets.
translated by 谷歌翻译
分类文本分类(HTC)对分类物是必不可少的,因为HTC模型经常需要处理严重均衡的大量数据并具有层次依赖性的大量数据。现有本地和全局方法使用深度学习通过减少时间复杂性并纳入层次依赖性来改善HTC。但是,难以满足单个HTC模型中的两个条件。本文提出了基于编码器解码器结构的递归层次解码的Ahierarchy解码器(HIDEC)。 HIDEC的关键思想涉及使用递归层级解码来解码上下文矩阵到子层级序列,同时保持了解分层依赖性和级别信息。 Hidec是一个统一的模型,融合了现有的利益,从而减轻了上述困难而没有任何权衡。此外,ITCAN可应用于单一和多标签分类,并进行微小的修改。所提出的模型的优越性在两个基准数据集(WOS-46985和RCV1)上验证了其成功原因的解开
translated by 谷歌翻译
Automatic topic classification has been studied extensively to assist managing and indexing scientific documents in a digital collection. With the large number of topics being available in recent years, it has become necessary to arrange them in a hierarchy. Therefore, the automatic classification systems need to be able to classify the documents hierarchically. In addition, each paper is often assigned to more than one relevant topic. For example, a paper can be assigned to several topics in a hierarchy tree. In this paper, we introduce a new dataset for hierarchical multi-label text classification (HMLTC) of scientific papers called SciHTC, which contains 186,160 papers and 1,233 categories from the ACM CCS tree. We establish strong baselines for HMLTC and propose a multi-task learning approach for topic classification with keyword labeling as an auxiliary task. Our best model achieves a Macro-F1 score of 34.57% which shows that this dataset provides significant research opportunities on hierarchical scientific topic classification. We make our dataset and code available on Github.
translated by 谷歌翻译
将电子健康记录(EHR)自动分为诊断代码对NLP社区的挑战。最先进的方法将此问题视为多标签分类问题,并提出了各种架构来对此问题进行建模。但是,这些系统并未利用验证的语言模型的出色性能,这在自然语言理解任务上实现了出色的性能。先前的工作表明,经常使用的填充方案在此任务上表现不佳。因此,本文旨在分析表现不佳的原因,并通过验证的语言模型为自动编码开发一个框架。我们通过实验发现了三个主要问题:1)大标签空间,2)长输入序列和3)域预读和微调之间的域不匹配。我们提出了PLMICD,该框架通过各种策略来应对挑战。实验结果表明,我们提出的框架可以在基准模拟数据上以多个指标来克服挑战和实现最新性能。源代码可从https://github.com/miulab/plm-icd获得
translated by 谷歌翻译
Neural language representation models such as BERT pre-trained on large-scale corpora can well capture rich semantic patterns from plain text, and be fine-tuned to consistently improve the performance of various NLP tasks. However, the existing pre-trained language models rarely consider incorporating knowledge graphs (KGs), which can provide rich structured knowledge facts for better language understanding. We argue that informative entities in KGs can enhance language representation with external knowledge. In this paper, we utilize both large-scale textual corpora and KGs to train an enhanced language representation model (ERNIE), which can take full advantage of lexical, syntactic, and knowledge information simultaneously. The experimental results have demonstrated that ERNIE achieves significant improvements on various knowledge-driven tasks, and meanwhile is comparable with the state-of-the-art model BERT on other common NLP tasks. The source code and experiment details of this paper can be obtained from https:// github.com/thunlp/ERNIE.
translated by 谷歌翻译
医疗保健自动化的机会可以改善临床医生的吞吐量。一个这样的例子是辅助工具记录诊断代码时,当临床医生写笔记时。我们使用课程学习研究了医学法规预测的自动化,这是机器学习模型的培训策略,可逐渐将学习任务的硬度从易于到困难提高。课程学习的挑战之一是课程的设计 - 即,在逐渐增加难度的任务设计中。我们提出了分层课程学习(HICU),这是一种在输出空间中使用图形结构的算法,以设计用于多标签分类的课程。我们为多标签分类模型创建课程,以预测患者自然语言描述的ICD诊断和程序代码。通过利用ICD代码的层次结构,该层次基于人体的各种器官系统进行诊断代码,我们发现我们的建议课程改善了基于反复,卷积和基于变压器的体系结构的基于神经网络的预测模型的概括。我们的代码可在https://github.com/wren93/hicu-icd上找到。
translated by 谷歌翻译
我们研究了很少的细粒实体键入(FET)的问题,其中只有几个带注释的实体对每种实体类型提供了上下文。最近,基于及时的调整通过将实体类型分类任务作为“填补空白”的问题来表明在几次射击方案中表现出优越的性能。这允许有效利用预训练的语言模型(PLM)的强语建模能力。尽管当前基于及时的调整方法成功了,但仍有两个主要挑战:(1)提示中的口头化器要么是由外部知识基础手动设计或构建的,而无需考虑目标语料库和标签层次结构信息,而且(2)当前方法主要利用PLM的表示能力,但没有通过广泛的通用域预训练来探索其产生的功率。在这项工作中,我们为由两个模块组成的几个弹药fet提出了一个新颖的框架:(1)实体类型标签解释模块自动学习将类型标签与词汇联系起来,通过共同利用几个播放实例和标签层次结构和标签层次结构,以及(2)基于类型的上下文化实例生成器根据给定实例生成新实例,以扩大培训集以更好地概括。在三个基准数据集上,我们的模型优于大量利润的现有方法。可以在https://github.com/teapot123/fine-graining-entity-typing上找到代码。
translated by 谷歌翻译
在线学习系统具有成绩单,书籍和问题形式的多个数据存储库。为了易于访问,此类系统会根据层次性质(主题 - 主题)的明确分类法组织内容。将输入分类为层次标签的任务通常被视为平坦的多类分类问题。这种方法忽略了输入中的术语与层次标签中的令牌之间的语义相关性。当它们仅将叶片节点视为标签时,替代方法也患有类不平衡。为了解决这些问题,我们将任务制定为一个密集的检索问题,以检索每个内容的适当层次标签。在本文中,我们处理问题。我们将层次标签建模为其令牌的组成,并使用有效的交叉注意机制将信息与内容术语表示融合。我们还提出了一种自适应内部的硬采样方法,随着培训的进行,该方法可以更好地取消负面影响。我们证明了所提出的方法\ textit {tagrec ++}在问题数据集上的现有最新方法均超过了receal@k所测量的现有最新方法。此外,我们演示了\ textit {tagrec ++}的零射击功能以及适应标签更改的能力。
translated by 谷歌翻译
多标签文本分类是指从标签集中分配其最相关标签的问题。通常,在现实世界应用中提供给定文件的元数据和标签的层次结构。然而,大多数现有的研究专注于仅建模文本信息,几次尝试利用元数据或层次结构,而不是它们都是。在本文中,我们通过在大型标签层次结构中正式化Metadata感知文本分类问题来弥合差距(例如,数万个标签)。为了解决这个问题,我们介绍了匹配解决方案 - 一个端到端的框架,它利用元数据和层次结构。为了合并元数据,我们预先培训了同一空间中的文本和元数据的嵌入,并且还利用完全连接的关注来捕获它们之间的相互关系。要利用标签层次结构,我们提出了不同的方法来规范其父母每个子标签的参数和输出概率。在具有大规模标签层次结构的两个大规模文本数据集上的广泛实验证明了匹配最先进的深度学习基线的有效性。
translated by 谷歌翻译
链路预测在知识图中起着重要作用,这是许多人工智能任务的重要资源,但它通常受不完整的限制。在本文中,我们提出了知识图表BERT for Link预测,名为LP-BERT,其中包含两个培训阶段:多任务预训练和知识图微调。预训练策略不仅使用掩码语言模型(MLM)来学习上下文语料库的知识,还引入掩模实体模型(MEM)和掩模关系模型(MRM),其可以通过预测语义来学习三元组的关系信息基于实体和关系元素。结构化三维关系信息可以转换为非结构化语义信息,可以将其与上下文语料库信息一起集成到培训模型中。在微调阶段,灵感来自对比学习,我们在样本批量中进行三样式的负面取样,这大大增加了负采样的比例,同时保持训练时间几乎不变。此外,我们提出了一种基于Triples的逆关系的数据增强方法,以进一步增加样本分集。我们在WN18RR和UMLS数据集上实现最先进的结果,特别是HITS @ 10指示器从WN18RR数据集上的先前最先进的结果提高了5 \%。
translated by 谷歌翻译
International Classification of Diseases (ICD) is a set of classification codes for medical records. Automated ICD coding, which assigns unique International Classification of Diseases codes with each medical record, is widely used recently for its efficiency and error-prone avoidance. However, there are challenges that remain such as heterogeneity, label unbalance, and complex relationships between ICD codes. In this work, we proposed a novel Bidirectional Hierarchy Framework(HieNet) to address the challenges. Specifically, a personalized PageRank routine is developed to capture the co-relation of codes, a bidirectional hierarchy passage encoder to capture the codes' hierarchical representations, and a progressive predicting method is then proposed to narrow down the semantic searching space of prediction. We validate our method on two widely used datasets. Experimental results on two authoritative public datasets demonstrate that our proposed method boosts state-of-the-art performance by a large margin.
translated by 谷歌翻译
隐性话语关系识别(IDRR)是话语分析中的一个具有挑战性,但重要的任务。大多数现有方法如何培训多个模型以独立预测多级标签,同时忽略分层结构标签之间的依赖。在本文中,我们将多级IDRR视为条件标签序列生成任务,并为其提出标签依赖感知序列生成模型(LDSGM)。具体而言,我们首先设计标签专注编码器,以了解输入实例的全局表示及其级别特定上下文,其中标记依赖性被集成以获取更好的标签嵌入。然后,我们使用标签序列解码器以自上而下方式输出预测标签,其中预测的更高级别标签直接用于指导当前级别的标签预测。我们进一步开发了一个相互学习的增强培训方法,以利用了基础方向上的标签依赖性,该依赖于训练期间引入的辅助解码器捕获。 PDTB数据集上的实验结果表明,我们的模型在多级IDRR上实现了最先进的性能。我们将在https://github.com/nlpersecjtu/ldsgm发布我们的代码。
translated by 谷歌翻译
The typical way for relation extraction is fine-tuning large pre-trained language models on task-specific datasets, then selecting the label with the highest probability of the output distribution as the final prediction. However, the usage of the Top-k prediction set for a given sample is commonly overlooked. In this paper, we first reveal that the Top-k prediction set of a given sample contains useful information for predicting the correct label. To effectively utilizes the Top-k prediction set, we propose Label Graph Network with Top-k Prediction Set, termed as KLG. Specifically, for a given sample, we build a label graph to review candidate labels in the Top-k prediction set and learn the connections between them. We also design a dynamic $k$-selection mechanism to learn more powerful and discriminative relation representation. Our experiments show that KLG achieves the best performances on three relation extraction datasets. Moreover, we observe that KLG is more effective in dealing with long-tailed classes.
translated by 谷歌翻译
在以前的作品中广泛讨论了句子语义相似性的原始伯特的表现不佳。我们发现不满意的性能主要是由于静态令牌嵌入偏差和无效的伯特层,而不是姓氏的高余弦相似性。为此,我们提出了一个迅速的句子嵌入方法,可以减少令牌嵌入偏差,使原始伯特层更有效。通过将句子嵌入式任务重新塑造为填充空白问题,我们的方法显着提高了原始伯特的性能。我们讨论了两个提示符,表示基于及时的句子嵌入的三个提示搜索方法。此外,我们提出了一种通过模板去噪技术的新型无监督培训目标,这大大缩短了监督和无人监督的环境之间的性能差距。对于实验,我们评估我们在非微调和微调的设置上的方法。即使是非微调方法也可以优于STS任务上的无监督服务器等微调的方法。我们的微调方法在无监督和监督设置中优于最先进的方法SIMCSE。与SIMCSE相比,我们分别在无监督环境下实现了2.29和2.58点的伯特和罗伯塔的改进。
translated by 谷歌翻译
图形神经网络已被证明可以为各种软件工程任务产生令人印象深刻的结果。但是,现有技术仍然有两个问题:(1)长期依赖性和(2)不同的代码组件在不应该的情况下被视为平等。为了解决这些问题,我们提出了一种表示代码为层次结构(代码层次结构)的方法,其中不同的代码组件在各个粒度级别分别表示。然后,为了处理每个表示级别的表示,我们设计了一个新颖的网络体系结构Echelon,它结合了异质图形变压器网络和基于树的卷积神经网络的优势,以学习具有代码依赖性信息丰富的抽象语法树。我们还提出了一个新颖的预处理目标,称为缺失子树预测以补充我们的代码层次结构。评估结果表明,我们的方法在三个任务中大大优于其他基准:任何代码完成,代码分类和代码克隆检测。
translated by 谷歌翻译
文档信息提取(DIE)由于其在现实世界中的各种高级应用而引起了越来越多的关注。尽管最近的文献已经取得了竞争成果,但在处理具有嘈杂的OCR结果或突变布局的复杂文档时,这些方法通常会失败。本文提出了用于现实世界情景的生成多模式网络(GMN),以解决这些问题,这是一种强大的多模式生成方法,没有预定义的标签类别。借助精心设计的空间编码器和模态感知的蒙版模块,GMN可以处理复杂的文档,这些文档很难序列化为顺序。此外,GMN可以容忍OCR结果中的错误,并且不需要字符级注释,这是至关重要的,因为对众多文档的细粒注释很费力,甚至需要具有专门域知识的注释者。广泛的实验表明,GMN在几个公共模具数据集上实现了新的最新性能,并超过了其他方法,尤其是在现实的场景中。
translated by 谷歌翻译
在文本中提取时间关系是自然语言理解的一个至关重要但充满挑战的问题。根据事件之间的距离,模型必须学会从事件对周围的本地和全局环境中进行不同的信息以进行时间关系预测。学习如何融合这些信息已证明对基于变压器的语言模型具有挑战性。因此,我们介绍了mulco:多尺度对比的共同训练,这是一种更好地融合本地和全球情境化特征的技术。我们的模型使用基于BERT的语言模型编码本地上下文和图形神经网络(GNN)来表示全局文档级句法和时间特征。与以前的最先进方法不同,该方法在多视图功能上使用简单的串联或使用复杂的强化学习方法选择最佳句子,我们的模型Co-Trains GNN和BERT模块使用多规模的对比度学习目标。 GNN和BERT模块通过将GNN多层多跳子图(即,全局上下文嵌入)和BERT输出(即局部上下文嵌入)进行对比,从而学习了协同参数化。我们从经验上证明,与当前的最新技术相比,Mulco提供了改进的使用Bert和GNN编码的本地和全球环境的能力。我们的实验结果表明,Mulco在几个时间关系提取数据集上实现了新的最新结果。
translated by 谷歌翻译
The peer merit review of research proposals has been the major mechanism for deciding grant awards. However, research proposals have become increasingly interdisciplinary. It has been a longstanding challenge to assign interdisciplinary proposals to appropriate reviewers, so proposals are fairly evaluated. One of the critical steps in reviewer assignment is to generate accurate interdisciplinary topic labels for proposal-reviewer matching. Existing systems mainly collect topic labels manually generated by principal investigators. However, such human-reported labels can be non-accurate, incomplete, labor intensive, and time costly. What role can AI play in developing a fair and precise proposal reviewer assignment system? In this study, we collaborate with the National Science Foundation of China to address the task of automated interdisciplinary topic path detection. For this purpose, we develop a deep Hierarchical Interdisciplinary Research Proposal Classification Network (HIRPCN). Specifically, we first propose a hierarchical transformer to extract the textual semantic information of proposals. We then design an interdisciplinary graph and leverage GNNs for learning representations of each discipline in order to extract interdisciplinary knowledge. After extracting the semantic and interdisciplinary knowledge, we design a level-wise prediction component to fuse the two types of knowledge representations and detect interdisciplinary topic paths for each proposal. We conduct extensive experiments and expert evaluations on three real-world datasets to demonstrate the effectiveness of our proposed model.
translated by 谷歌翻译
细颗粒实体打字(FET)旨在推断本文中提及的特定语义类型。 FET的现代方法主要集中于学习某种类型的外观。很少有作品直接建模类型差异,也就是说,让模型知道一种类型与其他类型不同的程度。为了减轻这个问题,我们提出了一种富含类型的FET的分层对比策略。我们的方法可以直接建模层次类型之间的差异,并提高区分多元类似类型的能力。一方面,我们将类型嵌入到实体上下文中,以使类型的信息直接感知。另一方面,我们在层次结构上设计了一个约束的对比策略,以直接建模类型差异,这可以同时感知不同粒度下类型之间的区分性。 BBN,Ontonotes和Figer的三个基准测试的实验结果表明,我们的方法通过有效建模类型差异在FET上实现了显着性能。
translated by 谷歌翻译
自动化本体策划是知识工程中的至关重要的任务。通过机器学习技术(例如语义嵌入)的预测是一个有希望的方向,但相关研究仍然是初步的。在本文中,我们提出了一个名为Bertsubs的类集合预测方法,该方法使用预训练的语言模型BERT来计算类标签和自定义输入模板的上下文嵌入,以结合周围类的上下文。对两个大型现实世界的评估表明,其性能比最先进的表现更好。
translated by 谷歌翻译