立场检测任务旨在对给定文件和主题的立场进行分类。由于该主题可以隐含在文档中，并且在零摄影设置的培训数据中看不见，因此我们建议通过使用情感和常识知识来提高立场检测模型的可传递性，这在先前的研究中很少考虑。我们的模型包括一个图形自动编码器模块，以获取常识性知识和带有情感和常识的立场检测模块。实验结果表明，我们的模型优于零射击和少量基准数据集（VAST）上的最新方法。同时，消融研究证明了我们模型中每个模块的重要性。对情感，常识和立场之间关系的分析表明了情感和常识的有效性。

由于方面级别的情感标签是昂贵且富有劳动力的，因此提出了零击方面的情感分类，以学习适用于新域的分类器，而无需使用任何带注释的方面级别数据。相比之下，更容易访问具有评分的文档级别的情感数据。在这项工作中，我们仅使用文档级评论来实现零击方面的情感分类。我们的关键直觉是，文档的情感表示由该文档的所有方面的情感表示组成。基于此，我们提出了AF-DSC方法，以在评论中明确建模此类情感组成。 AF-DSC首先学习所有潜在方面的情感表示形式，然后将方面级别的情感汇总到文档级的情感上，以执行文档级别的情感分类。通过这种方式，我们将其作为文档级别分类器的副产品获得方面级别的分类器。方面情感分类基准的实验结果证明了在文档级别分类中明确利用情感组成的有效性。我们的模型只有30k培训数据的表现优于先前的工作，利用数百万个数据。

立场检测旨在确定文本的作者是否赞成，反对或中立。这项任务的主要挑战是两个方面的：由于不同目标以及缺乏目标的上下文信息而产生的几乎没有学习。现有作品主要通过设计基于注意力的模型或引入嘈杂的外部知识来解决第二期，而第一个问题仍未探索。在本文中，受到预训练的语言模型（PLM）的潜在能力（PLM）的启发，我们建议介绍基于立场检测的及时基于迅速的微调。 PLM可以为目标提供基本的上下文信息，并通过提示启用几次学习。考虑到目标在立场检测任务中的关键作用，我们设计了目标感知的提示并提出了一种新颖的语言。我们的语言器不会将每个标签映射到具体单词，而是将每个标签映射到矢量，并选择最能捕获姿势与目标之间相关性的标签。此外，为了减轻通过单人工提示来处理不同目标的可能缺陷，我们建议将信息从多个提示中学到的信息提炼。实验结果表明，我们提出的模型在全数据和少数场景中的表现出色。

跨域情绪分析旨在使用在源域上训练的模型来预测目标域中文本的情感，以应对标记数据的稀缺性。先前的研究主要是针对任务的基于跨透明的方法，这些方法受到不稳定性和泛化不良的方式。在本文中，我们探讨了有关跨域情绪分析任务的对比度学习。我们提出了一个经过修改的对比度目标，其中包括隔离式负面样本，以便将同一类的句子表示将被推开，而来自不同类别的句子表示在潜在空间中进一步分开。在两个广泛使用的数据集上进行的实验表明，我们的模型可以在跨域和多域情绪分析任务中实现最先进的性能。同时，可视化证明了在源域中学习的知识转移到目标域的有效性，并且对抗性测试验证了我们模型的鲁棒性。

我们研究了学习因果推理对程序文本的挑战，以回答“如果...”何时需要外常识知识。我们提出了一个新颖的多跳图推理模型，以1）有效地从大知识图中提取常识子图；2）通过推理从常识子图获得的表示以及问题与上下文之间的上下文相互作用来预测因果答案。我们评估了WIQA基准测试的模型，并与最近的模型相比实现了最先进的性能。

使用诸如BERT，ELMO和FLAIR等模型建模上下文信息的成立具有显着改善了文字的表示学习。它还给出了几乎每个NLP任务机器翻译，文本摘要和命名实体识别的Sota结果，以命名为少。在这项工作中，除了使用这些主导的上下文感知的表示之外，我们还提出了一种用于命名实体识别（NER）的知识意识表示学习（KARL）网络。我们讨论了利用现有方法在纳入世界知识方面的挑战，并展示了如何利用我们所提出的方法来克服这些挑战。 KARL基于变压器编码器，该变压器编码器利用表示为事实三元组的大知识库，将它们转换为图形上下文，并提取驻留在内部的基本实体信息以生成用于特征增强的上下文化三联表示。实验结果表明，使用卡尔的增强可以大大提升我们的内部系统的性能，并在三个公共网络数据集中的文献中的现有方法，即Conll 2003，Conll ++和Ontonotes V5实现了比文献中现有方法的显着更好的结果。我们还观察到更好的概括和应用于从Karl上看不见的实体的真实环境。

As an important fine-grained sentiment analysis problem, aspect-based sentiment analysis (ABSA), aiming to analyze and understand people's opinions at the aspect level, has been attracting considerable interest in the last decade. To handle ABSA in different scenarios, various tasks are introduced for analyzing different sentiment elements and their relations, including the aspect term, aspect category, opinion term, and sentiment polarity. Unlike early ABSA works focusing on a single sentiment element, many compound ABSA tasks involving multiple elements have been studied in recent years for capturing more complete aspect-level sentiment information. However, a systematic review of various ABSA tasks and their corresponding solutions is still lacking, which we aim to fill in this survey. More specifically, we provide a new taxonomy for ABSA which organizes existing studies from the axes of concerned sentiment elements, with an emphasis on recent advances of compound ABSA tasks. From the perspective of solutions, we summarize the utilization of pre-trained language models for ABSA, which improved the performance of ABSA to a new stage. Besides, techniques for building more practical ABSA systems in cross-domain/lingual scenarios are discussed. Finally, we review some emerging topics and discuss some open challenges to outlook potential future directions of ABSA.

Natural Language Processing (NLP) has been revolutionized by the use of Pre-trained Language Models (PLMs) such as BERT. Despite setting new records in nearly every NLP task, PLMs still face a number of challenges including poor interpretability, weak reasoning capability, and the need for a lot of expensive annotated data when applied to downstream tasks. By integrating external knowledge into PLMs, \textit{\underline{K}nowledge-\underline{E}nhanced \underline{P}re-trained \underline{L}anguage \underline{M}odels} (KEPLMs) have the potential to overcome the above-mentioned limitations. In this paper, we examine KEPLMs systematically through a series of studies. Specifically, we outline the common types and different formats of knowledge to be integrated into KEPLMs, detail the existing methods for building and evaluating KEPLMS, present the applications of KEPLMs in downstream tasks, and discuss the future research directions. Researchers will benefit from this survey by gaining a quick and comprehensive overview of the latest developments in this field.

Neural language representation models such as BERT pre-trained on large-scale corpora can well capture rich semantic patterns from plain text, and be fine-tuned to consistently improve the performance of various NLP tasks. However, the existing pre-trained language models rarely consider incorporating knowledge graphs (KGs), which can provide rich structured knowledge facts for better language understanding. We argue that informative entities in KGs can enhance language representation with external knowledge. In this paper, we utilize both large-scale textual corpora and KGs to train an enhanced language representation model (ERNIE), which can take full advantage of lexical, syntactic, and knowledge information simultaneously. The experimental results have demonstrated that ERNIE achieves significant improvements on various knowledge-driven tasks, and meanwhile is comparable with the state-of-the-art model BERT on other common NLP tasks. The source code and experiment details of this paper can be obtained from https:// github.com/thunlp/ERNIE.

The development of deep neural networks has improved representation learning in various domains, including textual, graph structural, and relational triple representations. This development opened the door to new relation extraction beyond the traditional text-oriented relation extraction. However, research on the effectiveness of considering multiple heterogeneous domain information simultaneously is still under exploration, and if a model can take an advantage of integrating heterogeneous information, it is expected to exhibit a significant contribution to many problems in the world. This thesis works on Drug-Drug Interactions (DDIs) from the literature as a case study and realizes relation extraction utilizing heterogeneous domain information. First, a deep neural relation extraction model is prepared and its attention mechanism is analyzed. Next, a method to combine the drug molecular structure information and drug description information to the input sentence information is proposed, and the effectiveness of utilizing drug molecular structures and drug descriptions for the relation extraction task is shown. Then, in order to further exploit the heterogeneous information, drug-related items, such as protein entries, medical terms and pathways are collected from multiple existing databases and a new data set in the form of a knowledge graph (KG) is constructed. A link prediction task on the constructed data set is conducted to obtain embedding representations of drugs that contain the heterogeneous domain information. Finally, a method that integrates the input sentence information and the heterogeneous KG information is proposed. The proposed model is trained and evaluated on a widely used data set, and as a result, it is shown that utilizing heterogeneous domain information significantly improves the performance of relation extraction from the literature.

基于宽高的情绪分析（ABSA）是一种细粒度的情绪分析任务。为了更好地理解长期复杂的句子，并获得准确的方面的信息，这项任务通常需要语言和致辞知识。然而，大多数方法采用复杂和低效的方法来结合外部知识，例如，直接搜索图形节点。此外，尚未彻底研究外部知识和语言信息之间的互补性。为此，我们提出了一个知识图形增强网络（kgan），该网络（kgan）旨在有效地将外部知识与明确的句法和上下文信息纳入。特别是，kgan从多个不同的角度来看，即基于上下文，语法和知识的情绪表示。首先，kgan通过并行地了解上下文和句法表示，以完全提取语义功能。然后，KGAN将知识图形集成到嵌入空间中，基于该嵌入空间，基于该嵌入空间，通过注意机制进一步获得了方面特异性知识表示。最后，我们提出了一个分层融合模块，以便以本地到全局方式补充这些多视图表示。关于三个流行的ABSA基准测试的广泛实验证明了我们康复的效果和坚固性。值得注意的是，在罗伯塔的预用模型的帮助下，Kggan实现了最先进的性能的新记录。

基于方面的情绪分析旨在确定产品评论中特定方面的情感极性。我们注意到，大约30％的评论不包含明显的观点词，但仍然可以传达清晰的人类感知情绪取向，称为隐含情绪。然而，最近的基于神经网络的方法几乎没有关注隐性情绪，这一审查有所关注。为了克服这个问题，我们通过域名语言资源检索的大规模情绪注释的Corpora采用监督对比培训。通过将隐式情感表达式的表示对准与具有相同情绪标签的人，预培训过程可以更好地捕获隐含和明确的情绪方向，以便在评论中的方面。实验结果表明，我们的方法在Semeval2014基准上实现了最先进的性能，综合分析验证了其对学习隐含情绪的有效性。

Aspect Based Sentiment Analysis is a dominant research area with potential applications in social media analytics, business, finance, and health. Prior works in this area are primarily based on supervised methods, with a few techniques using weak supervision limited to predicting a single aspect category per review sentence. In this paper, we present an extremely weakly supervised multi-label Aspect Category Sentiment Analysis framework which does not use any labelled data. We only rely on a single word per class as an initial indicative information. We further propose an automatic word selection technique to choose these seed categories and sentiment words. We explore unsupervised language model post-training to improve the overall performance, and propose a multi-label generator model to generate multiple aspect category-sentiment pairs per review sentence. Experiments conducted on four benchmark datasets showcase our method to outperform other weakly supervised baselines by a significant margin.

持续的19日大流行造成了全世界人民的不可估量的损失。为了遏制病毒的传播并进一步减轻危机，已经发布了各种健康政策（例如，在家命令），随着用户转向社交媒体分享他们的态度，他们引发了热烈讨论。在本文中，我们考虑了有关大流行病的立场检测（即跨目标和零照片设置）的更现实的场景，并提出了一个基于对抗性的学习立场分类器，以自动识别公众对与COVID相关健康健康相关健康的态度政策。具体而言，我们采用对抗性学习，使模型可以训练大量标记的数据并从源主题中捕获可转移的知识，从而使具有稀疏标记数据的新兴健康政策概括。同时，设计了一个地理编码器，鼓励模型学习每个区域指定的未观察到的上下文因素，并将其表示为非文本信息，以增强模型的更深入的理解。我们评估了与CoVID-19相关策略的立场检测任务中广泛基线的性能，实验结果表明，我们提出的方法在跨目标和零击设置中都达到了最新的性能。

尽管概念化已经在语义和知识表示中进行了广泛研究，但找到最准确的概念短语来表征在快速增长的社交媒体上表征文本片段的主要思想仍然具有挑战性。这部分归因于以下事实：大多数知识库都包含世界的一般术语，例如树木和汽车，它们没有定义的力量或对社交媒体应用程序用户不够有趣。另一个原因是，自然语言的复杂性允许使用时态，否定和语法改变语言的逻辑或重点，从而传达了完全不同的含义。在本文中，我们提出了标签，这是一个高质量的概念匹配的数据集，该数据集由10,000个标记的精细概念和网络风格的自然语言句子组成，并从开放域社交媒体中挖出。我们考虑的概念代表了在线用户的趋势兴趣。与标签相关的是这些细粒度概念和实体的概念图，以提供结构上下文信息。我们在标签上评估了广泛的流行神经文本匹配模型以及预先训练的语言模型，并指出他们以最合适的概念标记社交媒体内容的不足。我们进一步提出了一种新颖的图形匹配方法，该方法通过更好地利用概念图中的结构上下文和句子中语义单元之间的逻辑相互作用在句子中通过句法依赖性解析来展示出色的抽象和概括性能。我们开源标签数据集和提出进一步研究的建议方法。

零拍的学习依赖于语义类表示，例如手工设计的属性或学习的嵌入方式来预测类，而无需任何标记的示例。我们建议通过将节点从矢量空间中的常识知识图中嵌入节点来学习班级表示。常识知识图是未开发的明确高级知识的来源，几乎不需要人类的努力才能应用于一系列任务。为了捕获图中的知识，我们引入了ZSL-KG，这是一种具有新型变压器图卷积网络（TRGCN）的通用框架，用于生成类表示。我们提出的TRGCN体系结构计算节点社区的非线性组合。我们的结果表明，ZSL-KG在语言和视觉中的六个零弹药基准数据集中有五个基于WordNet的方法改进了基于WordNet的方法。

这些年来跨域情绪分类一直是一个热点，旨在使用来自源域的标记数据来学习可靠的分类器，并在目标域上进行评估。在此静脉中，大多数方法利用域适应，将数据从不同域映射到共同的特征空间。为了进一步提高模型性能，提出了针对挖掘域特定信息的几种方法。但是，其中大多数仅利用有限的域特定信息。在这项研究中，我们首先通过基于主题信息制定一种提取特定域的单词的方法。然后，我们提出了一个主题驱动的自适应网络（TDAN），用于跨域情绪分类。该网络由两个子网络组成：语义注意网络和域特定的单词注意网络，其结构基于变压器。这些子网采用不同的输入形式，并且它们的输出被融合为特征向量。实验验证了我们TDAN对跨域情绪分类的有效性。

姿态检测的目标是确定以目标朝向目标的文本中表达的视点。这些观点或上下文通常以许多不同的语言表达，这取决于用户和平台，这可以是本地新闻插座，社交媒体平台，新闻论坛等。然而，姿态检测的大多数研究已经限于使用单一语言和几个有限的目标，在交叉舌姿态检测很少有效。此外，标记数据的非英语来源通常稀缺，并具有额外的挑战。最近，大型多语言语言模型在许多非英语任务上大大提高了性能，尤其是具有有限数量的示例。这突出了模型预培训的重要性及其从少数例子中学习的能力。在本文中，我们展示了对日期交叉姿态检测的最全面的研究：我们在6名语言系列中使用12种语言的12种不同的数据集进行实验，每个都有6个低资源评估设置。对于我们的实验，我们构建了模式开发培训，提出了添加一种新颖的标签编码器来简化言语程序。我们进一步提出了基于情绪的姿态数据进行预培训，这在与几个强的基线相比，在低拍摄环境中显示了大量的6％F1绝对的增长。

这项工作调查了以知识图（kg）形式的外部知识来源的理解问题的学习和推理的挑战。我们提出了一种新型的图形神经网络体系结构，称为动态相关图形网络（DRGN）。 DRGN根据问题和答案实体在给定的KG子图上运行，并使用节点之间的相关得分来动态建立新的边缘，以在图形网络中学习节点表示。相关性的这种显式用法作为图表具有以下优点，a）模型可以利用现有关系，重新缩放节点权重，并影响邻里节点的表示方式在kg子图中汇总的方式，b）恢复推理所需的千克中缺失的边缘。此外，作为副产品，由于考虑了问题节点与图形实体之间的相关性，我们的模型改善了处理负面问题。与最新发布的结果相比，我们提出的方法在两个质量检查基准CommonSenseQA和OpenBookQA上显示了竞争性能。

本文对过去二十年来对自然语言生成（NLG）的研究提供了全面的审查，特别是与数据到文本生成和文本到文本生成深度学习方法有关，以及NLG的新应用技术。该调查旨在（a）给出关于NLG核心任务的最新综合，以及该领域采用的建筑;（b）详细介绍各种NLG任务和数据集，并提请注意NLG评估中的挑战，专注于不同的评估方法及其关系;（c）强调一些未来的强调和相对近期的研究问题，因为NLG和其他人工智能领域的协同作用而增加，例如计算机视觉，文本和计算创造力。