Given a few seed entities of a certain type (e.g., Software or Programming Language), entity set expansion aims to discover an extensive set of entities that share the same type as the seeds. Entity set expansion in software-related domains such as StackOverflow can benefit many downstream tasks (e.g., software knowledge graph construction) and facilitate better IT operations and service management. Meanwhile, existing approaches are less concerned with two problems: (1) How to deal with multiple types of seed entities simultaneously? (2) How to leverage the power of pre-trained language models (PLMs)? Being aware of these two problems, in this paper, we study the entity set co-expansion task in StackOverflow, which extracts Library, OS, Application, and Language entities from StackOverflow question-answer threads. During the co-expansion process, we use PLMs to derive embeddings of candidate entities for calculating similarities between entities. Experimental results show that our proposed SECoExpan framework outperforms previous approaches significantly.

实体集扩展（ESE）是一项有价值的任务，旨在找到给定种子实体描述的目标语义类别的实体。由于其发现知识的能力，各种NLP和下游应用程序都受益于ESE。尽管现有的引导方法取得了巨大进展，但其中大多数仍然依赖手动预定义的上下文模式。预定义的上下文模式的不可忽略的缺点是，它们不能灵活地推广到各种语义类别，我们将这种现象称为“语义敏感性”。为了解决这个问题，我们设计了一个上下文模式生成模块，该模块利用自回归语言模型（例如GPT-2）自动为实体生成高质量的上下文模式。此外，我们提出了GAPA，这是一种新型ESE框架，利用上述生成的模式扩展目标实体。对三个广泛使用的数据集进行了广泛的实验和详细分析，证明了我们方法的有效性。我们实验的所有代码都将用于可重复性。

Instead of mining coherent topics from a given text corpus in a completely unsupervised manner, seed-guided topic discovery methods leverage user-provided seed words to extract distinctive and coherent topics so that the mined topics can better cater to the user's interest. To model the semantic correlation between words and seeds for discovering topic-indicative terms, existing seed-guided approaches utilize different types of context signals, such as document-level word co-occurrences, sliding window-based local contexts, and generic linguistic knowledge brought by pre-trained language models. In this work, we analyze and show empirically that each type of context information has its value and limitation in modeling word semantics under seed guidance, but combining three types of contexts (i.e., word embeddings learned from local contexts, pre-trained language model representations obtained from general-domain training, and topic-indicative sentences retrieved based on seed information) allows them to complement each other for discovering quality topics. We propose an iterative framework, SeedTopicMine, which jointly learns from the three types of contexts and gradually fuses their context signals via an ensemble ranking process. Under various sets of seeds and on multiple datasets, SeedTopicMine consistently yields more coherent and accurate topics than existing seed-guided topic discovery approaches.

指定的实体识别任务是信息提取的核心任务之一。单词歧义和单词缩写是命名实体低识别率的重要原因。在本文中，我们提出了一种名为“实体识别模型WCL-BBCD”（与Bert-Bilstm-Crf-Dbpedia的单词对比学习），结合了对比度学习的概念。该模型首先在文本中训练句子对，计算句子对通过余弦的相似性中的单词对之间的相似性，以及通过相似性通过相似性来命名实体识别任务的BERT模型，以减轻单词歧义。然后，将微调的BERT模型与Bilstm-CRF模型相结合，以执行指定的实体识别任务。最后，将识别结果与先验知识（例如知识图）结合使用，以减轻单词缩写引起的低速问题的识别。实验结果表明，我们的模型在Conll-2003英语数据集和Ontonotes V5英语数据集上优于其他类似的模型方法。

事实证明，将先验知识纳入预训练的语言模型中对知识驱动的NLP任务有效，例如实体键入和关系提取。当前的培训程序通常通过使用知识掩盖，知识融合和知识更换将外部知识注入模型。但是，输入句子中包含的事实信息尚未完全开采，并且尚未严格检查注射的外部知识。结果，无法完全利用上下文信息，并将引入额外的噪音，或者注入的知识量受到限制。为了解决这些问题，我们提出了MLRIP，该MLRIP修改了Ernie-Baidu提出的知识掩盖策略，并引入了两阶段的实体替代策略。进行全面分析的广泛实验说明了MLRIP在军事知识驱动的NLP任务中基于BERT的模型的优势。

Natural Language Processing (NLP) is one of the core techniques in AI software. As AI is being applied to more and more domains, how to efficiently develop high-quality domain-specific language models becomes a critical question in AI software engineering. Existing domain-specific language model development processes mostly focus on learning a domain-specific pre-trained language model (PLM); when training the domain task-specific language model based on PLM, only a direct (and often unsatisfactory) fine-tuning strategy is adopted commonly. By enhancing the task-specific training procedure with domain knowledge graphs, we propose KnowledgeDA, a unified and low-code domain language model development service. Given domain-specific task texts input by a user, KnowledgeDA can automatically generate a domain-specific language model following three steps: (i) localize domain knowledge entities in texts via an embedding-similarity approach; (ii) generate augmented samples by retrieving replaceable domain entity pairs from two views of both knowledge graph and training data; (iii) select high-quality augmented samples for fine-tuning via confidence-based assessment. We implement a prototype of KnowledgeDA to learn language models for two domains, healthcare and software development. Experiments on five domain-specific NLP tasks verify the effectiveness and generalizability of KnowledgeDA. (Code is publicly available at https://github.com/RuiqingDing/KnowledgeDA.)

Natural Language Processing (NLP) has been revolutionized by the use of Pre-trained Language Models (PLMs) such as BERT. Despite setting new records in nearly every NLP task, PLMs still face a number of challenges including poor interpretability, weak reasoning capability, and the need for a lot of expensive annotated data when applied to downstream tasks. By integrating external knowledge into PLMs, \textit{\underline{K}nowledge-\underline{E}nhanced \underline{P}re-trained \underline{L}anguage \underline{M}odels} (KEPLMs) have the potential to overcome the above-mentioned limitations. In this paper, we examine KEPLMs systematically through a series of studies. Specifically, we outline the common types and different formats of knowledge to be integrated into KEPLMs, detail the existing methods for building and evaluating KEPLMS, present the applications of KEPLMs in downstream tasks, and discuss the future research directions. Researchers will benefit from this survey by gaining a quick and comprehensive overview of the latest developments in this field.

新闻库中的自动事件检测是开采快速发展的结构化知识的至关重要的任务。由于现实世界事件具有不同的粒度，从顶级主题到关键事件，然后再提及与具体行动相对应的事件，因此通常有两条研究：（1）主题检测从新闻语料库的主要主题中标识（例如，。 ，“ 2019年香港抗议活动”与“ 2020年美国总统大选”），具有非常不同的语义； （2）从一份文件提取的行动提取提取级别的行动（例如，“警察击中抗议者的左臂”），无法理解该事件。在本文中，我们提出了一项新任务，即在中间级别的关键事件检测，目的是从新闻语料库的关键事件（例如，“ 8月12日至14日的HK机场抗议”）中进行检测，每一次都发生在特定时间/位置并专注于同一主题。由于新闻文章的快速发展性质，这项任务可以弥合事件的理解和结构，并且由于关键事件的主题和时间紧密以及标记的数据的稀缺而具有固有的挑战。为了应对这些挑战，我们开发了一个无监督的关键事件检测框架Evmine，（1）使用新颖的TTF-ITF分数提取时间频繁的峰值短语，（2）将峰值短语合并为事件 - 指示特征集，通过从我们的我们检测我们的社区中。设计的峰短语图可以捕获文档的共发生，语义相似性和时间亲密信号，以及（3）迭代地检索与每个关键事件相关的文档，通过训练具有从事件指标特征集中自动生成的伪标签的分类器，并完善该分类器使用检索的文档检测到关键事件。广泛的实验和案例研究表明，Evmine的表现优于所有基线方法及其在两个现实世界新闻机构上的消融。

与伯特（Bert）等语言模型相比，已证明知识增强语言表示的预培训模型在知识基础构建任务（即〜关系提取）中更有效。这些知识增强的语言模型将知识纳入预训练中，以生成实体或关系的表示。但是，现有方法通常用单独的嵌入表示每个实体。结果，这些方法难以代表播出的实体和大量参数，在其基础代币模型之上（即〜变压器），必须使用，并且可以处理的实体数量为由于内存限制，实践限制。此外，现有模型仍然难以同时代表实体和关系。为了解决这些问题，我们提出了一个新的预培训模型，该模型分别从图书中学习实体和关系的表示形式，并分别在文本中跨越跨度。通过使用SPAN模块有效地编码跨度，我们的模型可以代表实体及其关系，但所需的参数比现有模型更少。我们通过从Wikipedia中提取的知识图对我们的模型进行了预训练，并在广泛的监督和无监督的信息提取任务上进行了测试。结果表明，我们的模型比基线学习对实体和关系的表现更好，而在监督的设置中，微调我们的模型始终优于罗伯塔，并在信息提取任务上取得了竞争成果。

在科学研究中，该方法是解决科学问题和关键研究对象的必不可少手段。随着科学的发展，正在提出，修改和使用许多科学方法。作者在抽象和身体文本中描述了该方法的详细信息，并且反映该方法名称的学术文献中的关键实体称为方法实体。在大量的学术文献中探索各种方法实体有助于学者了解现有方法，为研究任务选择适当的方法并提出新方法。此外，方法实体的演变可以揭示纪律的发展并促进知识发现。因此，本文对方法论和经验作品进行了系统的综述，重点是从全文学术文献中提取方法实体，并努力使用这些提取的方法实体来建立知识服务。首先提出了本综述涉及的关键概念的定义。基于这些定义，我们系统地审查了提取和评估方法实体的方法和指标，重点是每种方法的利弊。我们还调查了如何使用提取的方法实体来构建新应用程序。最后，讨论了现有作品的限制以及潜在的下一步。

收集与特定API方法相关的API示例，用法和提及在诸如堆栈溢出之类的场地上的讨论中不是一个微不足道的问题。它需要努力正确认识讨论是否指的是开发人员/工具正在搜索的API方法。线程的内容包括描述API方法在讨论中的参与和包含API调用的代码片段中的文本段落，可以参考给定的API方法。利用此观察，我们开发FacOS，一种特定于背景算法，可以在讨论中捕获段落和代码片段的语义和语法信息。FACOS将基于语法的单词的分数与来自Codebert的精细调整的预测模型的分数相结合。Facos在F1分数方面将最先进的方法击败了13.9％。

大型基于变压器的预训练的语言模型在各种知识密集的任务上取得了令人印象深刻的表现，并可以在其参数中捕获事实知识。我们认为，考虑到不断增长的知识和资源需求，在模型参数中存储大量知识是亚最佳选择。我们认为，更有效的替代方法是向模型提供对上下文相关的结构化知识的明确访问，并训练它以使用该知识。我们提出了LM核 - 实现这一目标的一般框架 - 允许从外部知识源对语言模型培训的\ textit {解耦}，并允许后者更新而不会影响已经训练的模型。实验结果表明，LM核心获得外部知识，在知识探索任务上的最先进的知识增强语言模型中实现了重要而强大的优于性能。可以有效处理知识更新；并在两个下游任务上表现良好。我们还提出了一个彻底的错误分析，突出了LM核的成功和失败。

开放信息提取（OIE）方法从非结构化文本中提取大量的OIE三元<名词短语，关系短语，名词短语>，它们组成了大型开放知识基础（OKB）。此类OKB中的名词短语和关系短语不是规范化的，这导致了散落和冗余的事实。发现知识的两种观点（即，基于事实三重的事实视图和基于事实三重源上下文的上下文视图）提供了互补信息，这对于OKB规范化的任务至关重要，该信息将其簇为同义名词短语和关系短语分为同一组，并为他们分配唯一的标识符。但是，到目前为止，这两种知识的观点已被现有作品孤立地利用。在本文中，我们提出了CMVC，这是一个新颖的无监督框架，该框架利用这两种知识的观点共同将典范的OKBS化，而无需手动注释的标签。为了实现这一目标，我们提出了一种多视图CH K均值聚类算法，以相互加强通过考虑其不同的聚类质量从每个视图中学到的特定视图嵌入的聚类。为了进一步提高规范化的性能，我们在每个特定视图中分别提出了一个培训数据优化策略，以迭代方式完善学习视图的特定嵌入。此外，我们提出了一种对数跳跃算法，以数据驱动的方式预测簇数的最佳数量，而无需任何标签。我们通过针对最新方法的多个现实世界OKB数据集进行了广泛的实验来证明我们的框架的优势。

我们研究了很少的细粒实体键入（FET）的问题，其中只有几个带注释的实体对每种实体类型提供了上下文。最近，基于及时的调整通过将实体类型分类任务作为“填补空白”的问题来表明在几次射击方案中表现出优越的性能。这允许有效利用预训练的语言模型（PLM）的强语建模能力。尽管当前基于及时的调整方法成功了，但仍有两个主要挑战：（1）提示中的口头化器要么是由外部知识基础手动设计或构建的，而无需考虑目标语料库和标签层次结构信息，而且（2）当前方法主要利用PLM的表示能力，但没有通过广泛的通用域预训练来探索其产生的功率。在这项工作中，我们为由两个模块组成的几个弹药fet提出了一个新颖的框架：（1）实体类型标签解释模块自动学习将类型标签与词汇联系起来，通过共同利用几个播放实例和标签层次结构和标签层次结构，以及（2）基于类型的上下文化实例生成器根据给定实例生成新实例，以扩大培训集以更好地概括。在三个基准数据集上，我们的模型优于大量利润的现有方法。可以在https://github.com/teapot123/fine-graining-entity-typing上找到代码。

法律文本的处理一直是自然语言处理（NLP）的新兴领域的发展。法律文本包含词汇，语义，语法和形态中的独特术语和复杂的语言属性。因此，对于法律领域特定的文本简化（TS）方法的开发对于促进普通人理解法律文本并为主流法律NLP应用程序的高级模型提供投入至关重要。尽管最近的一项研究提出了一种基于规则的TS法律文本方法，但以前尚未考虑法律领域中的基于学习的TS。在这里，我们介绍了一种无监督的法律文本简化方法（USLT）。 USLT通过替换复杂的单词和分裂长句子来执行特定于域的TS。为此，USLT检测句子中的复杂单词，通过掩盖转换器模型生成候选者，并根据等级分数选择替代的候选者。之后，USLT递归将长句子分解为较短的核心和上下文句子的层次结构，同时保留语义含义。我们证明，USLT在文本简单性中优于最先进的域总TS方法，同时保持语义完整。

Wikidata是一个经常更新，社区驱动和多语言知识图形。因此，Wikidata是实体联系的一个有吸引力的基础，这是最近发表论文的增加显而易见的。该调查侧重于四个主题：（1）存在哪些Wikidata实体链接数据集，它们是多么广泛使用，它们是如何构建的？ （2）对实体联系数据集的设计进行Wikidata的特点，如果是的话，怎么样？ （3）当前实体链接方法如何利用Wikidata的特定特征？ （4）现有实体链接方法未开发哪种Wikidata特征？本次调查显示，当前的Wikidata特定实体链接数据集在其他知识图表中的方案中的注释方案中没有不同。因此，没有提升多语言和时间依赖数据集的可能性，是自然适合维基帽的数据集。此外，我们表明大多数实体链接方法使用Wikidata以与任何其他知识图相同的方式，因为任何其他知识图都缺少了利用Wikidata特定特征来提高质量的机会。几乎所有方法都使用标签等特定属性，有时是描述，而是忽略超关系结构等特征。因此，例如，通过包括超关系图嵌入或类型信息，仍有改进的余地。许多方法还包括来自维基百科的信息，这些信息很容易与Wikidata组合并提供有价值的文本信息，Wikidata缺乏。

Relation extraction (RE) is a sub-discipline of information extraction (IE) which focuses on the prediction of a relational predicate from a natural-language input unit (such as a sentence, a clause, or even a short paragraph consisting of multiple sentences and/or clauses). Together with named-entity recognition (NER) and disambiguation (NED), RE forms the basis for many advanced IE tasks such as knowledge-base (KB) population and verification. In this work, we explore how recent approaches for open information extraction (OpenIE) may help to improve the task of RE by encoding structured information about the sentences' principal units, such as subjects, objects, verbal phrases, and adverbials, into various forms of vectorized (and hence unstructured) representations of the sentences. Our main conjecture is that the decomposition of long and possibly convoluted sentences into multiple smaller clauses via OpenIE even helps to fine-tune context-sensitive language models such as BERT (and its plethora of variants) for RE. Our experiments over two annotated corpora, KnowledgeNet and FewRel, demonstrate the improved accuracy of our enriched models compared to existing RE approaches. Our best results reach 92% and 71% of F1 score for KnowledgeNet and FewRel, respectively, proving the effectiveness of our approach on competitive benchmarks.

Word embeddings play a significant role in today's Natural Language Processing tasks and applications. While pre-trained models may be directly employed and integrated into existing pipelines, they are often fine-tuned to better fit with specific languages or domains. In this paper, we attempt to improve available embeddings in the uncovered niche of the Italian medical domain through the combination of Contrastive Learning (CL) and Knowledge Graph Embedding (KGE). The main objective is to improve the accuracy of semantic similarity between medical terms, which is also used as an evaluation task. Since the Italian language lacks medical texts and controlled vocabularies, we have developed a specific solution by combining preexisting CL methods (multi-similarity loss, contextualization, dynamic sampling) and the integration of KGEs, creating a new variant of the loss. Although without having outperformed the state-of-the-art, represented by multilingual models, the obtained results are encouraging, providing a significant leap in performance compared to the starting model, while using a significantly lower amount of data.

知识增强的预训练预审语言模型（Keplms）是预先接受的模型，具有从知识图中注入的关系三元组，以提高语言理解能力。为了保证有效的知识注入，之前的研究将模型与知识编码器集成，以表示从知识图表中检索的知识。知识检索和编码的操作带来了重要的计算负担，限制了在需要高推理速度的现实应用程序中使用这些模型。在本文中，我们提出了一种名为DKPLM的新型KEPLM，其在预训练，微调和推理阶段进行了预先训练的语言模型的知识注射过程，这有助于KEPLMS在现实世界场景中的应用。具体而言，我们首先检测知识感知的长尾实体作为知识注射的目标，增强了Keplms的语义理解能力，避免注入冗余信息。长尾实体的嵌入式被相关知识三元组形成的“伪令牌表示”取代。我们进一步设计了用于预培训的关系知识解码任务，以强制模型通过关系三重重建来真正了解注入的知识。实验表明，我们的模型在零拍摄知识探测任务和多种知识意识语言理解任务中显着优于其他KEPLS。我们进一步表明，由于分解机制，DKPLM具有比其他竞争模型更高的推理速度。

伯特的预先接受的语言模型在广泛的自然语言处理任务中取得了巨大成功。然而，由于缺乏两个域知识，即短语级和产品级别，BERT不能很好地支持电子商务相关任务。一方面，许多电子商务任务需要准确地了解域短语，而这种细粒度的短语级知识没有通过BERT的训练目标明确建模。另一方面，产品级知识如产品关联可以增强电子商务的语言建模，但它们不是事实知识，从而不分青红皂白可以引入噪音。为了解决问题，我们提出了一个统一的训练框架，即E-BERT。具体地，为了保留短语级知识，我们引入自适应混合屏蔽，其允许模型基于两种模式的拟合进度自适应地切换到学习复杂短语的学习初步知识。为了利用产品级知识，我们引入了邻居产品重建，该重建将E-BERT列举，以预测产品的相关邻居，具有去噪的杂交层。我们的调查揭示了四个下游任务，即基于审查的问题回答，方面提取，宽度情绪分类和产品分类。