Aspect-based sentiment analysis (ABSA) aims at extracting opinionated aspect terms in review texts and determining their sentiment polarities, which is widely studied in both academia and industry. As a fine-grained classification task, the annotation cost is extremely high. Domain adaptation is a popular solution to alleviate the data deficiency issue in new domains by transferring common knowledge across domains. Most cross-domain ABSA studies are based on structure correspondence learning (SCL), and use pivot features to construct auxiliary tasks for narrowing down the gap between domains. However, their pivot-based auxiliary tasks can only transfer knowledge of aspect terms but not sentiment, limiting the performance of existing models. In this work, we propose a novel Syntax-guided Domain Adaptation Model, named SDAM, for more effective cross-domain ABSA. SDAM exploits syntactic structure similarities for building pseudo training instances, during which aspect terms of target domain are explicitly related to sentiment polarities. Besides, we propose a syntax-based BERT mask language model for further capturing domain-invariant features. Finally, to alleviate the sentiment inconsistency issue in multi-gram aspect terms, we introduce a span-based joint aspect term and sentiment analysis module into the cross-domain End2End ABSA. Experiments on five benchmark datasets show that our model consistently outperforms the state-of-the-art baselines with respect to Micro-F1 metric for the cross-domain End2End ABSA task.

As an important fine-grained sentiment analysis problem, aspect-based sentiment analysis (ABSA), aiming to analyze and understand people's opinions at the aspect level, has been attracting considerable interest in the last decade. To handle ABSA in different scenarios, various tasks are introduced for analyzing different sentiment elements and their relations, including the aspect term, aspect category, opinion term, and sentiment polarity. Unlike early ABSA works focusing on a single sentiment element, many compound ABSA tasks involving multiple elements have been studied in recent years for capturing more complete aspect-level sentiment information. However, a systematic review of various ABSA tasks and their corresponding solutions is still lacking, which we aim to fill in this survey. More specifically, we provide a new taxonomy for ABSA which organizes existing studies from the axes of concerned sentiment elements, with an emphasis on recent advances of compound ABSA tasks. From the perspective of solutions, we summarize the utilization of pre-trained language models for ABSA, which improved the performance of ABSA to a new stage. Besides, techniques for building more practical ABSA systems in cross-domain/lingual scenarios are discussed. Finally, we review some emerging topics and discuss some open challenges to outlook potential future directions of ABSA.

域自适应文本分类对于大规模预处理的语言模型来说是一个具有挑战性的问题，因为它们通常需要昂贵的额外标记数据来适应新域。现有作品通常无法利用跨域单词之间的隐式关系。在本文中，我们提出了一种新的方法，称为结构化知识（DASK）的域适应性，以通过利用单词级别的语义关系来增强域的适应性。 Dask首先构建知识图，以捕获目标域中的枢轴项（独立域单词）和非居式项之间的关系。然后在训练期间，DASK注入与源域文本的枢轴相关知识图信息。对于下游任务，这些注入知识的文本被馈入能够处理知识注入文本数据的BERT变体。多亏了知识注入，我们的模型根据与枢轴的关系学习了非客者的域不变特征。 DASK通过在使用伪标签训练期间通过候选枢轴的极性得分动态推断出具有域不变行为的枢轴。我们在各种跨域情绪分类任务上验证了DASK，并观察到20种不同领域对的基准的绝对性能提高了2.9％。代码将在https://github.com/hikaru-nara/dask上提供。

域适应任务，如跨域情感分类的目标在于利用在目标域源域中现有数据标记和未标记的或标记的几个数据经由减少数据分布之间的偏移，以提高在目标域的性能。现有跨域情绪分类方法需要区分枢转，即，域共享情绪词语，和非枢转时，即，该特定域的情绪也就是说，对于优良的适应性能。在本文中，我们首先设计一个类别关注网络（CAN），然后提出一个名为CAN-CNN集成CAN和卷积神经网络（CNN）模型。在一方面，该模型的问候基点和非关键数据作为统一的类别属性的话，可以自动捕捉他们提高域自适应性能;在另一方面，该模式使得在解释性试图了解转移类别属性词。具体地，我们的模型的优化目标具有三个不同的部分：1）监督分类损失; 2）类别特征权重的分布丢失; 3）的域不变性损失。最后，该模型在三个民情分析数据集进行评估，结果表明，CAN-CNN能优于其他各种基线的方法。

在这项工作中，我们以一种充满挑战的自我监督方法研究无监督的领域适应性（UDA）。困难之一是如何在没有目标标签的情况下学习任务歧视。与以前的文献直接使跨域分布或利用反向梯度保持一致，我们建议域混淆对比度学习（DCCL），以通过域难题桥接源和目标域，并在适应后保留歧视性表示。从技术上讲，DCCL搜索了最大的挑战方向，而精美的工艺领域将增强型混淆为正对，然后对比鼓励该模型向其他领域提取陈述，从而学习更稳定和有效的域名。我们还研究对比度学习在执行其他数据增强时是否必然有助于UDA。广泛的实验表明，DCCL明显优于基准。

基于方面的情绪分析旨在确定产品评论中特定方面的情感极性。我们注意到，大约30％的评论不包含明显的观点词，但仍然可以传达清晰的人类感知情绪取向，称为隐含情绪。然而，最近的基于神经网络的方法几乎没有关注隐性情绪，这一审查有所关注。为了克服这个问题，我们通过域名语言资源检索的大规模情绪注释的Corpora采用监督对比培训。通过将隐式情感表达式的表示对准与具有相同情绪标签的人，预培训过程可以更好地捕获隐含和明确的情绪方向，以便在评论中的方面。实验结果表明，我们的方法在Semeval2014基准上实现了最先进的性能，综合分析验证了其对学习隐含情绪的有效性。

面向目标的意见单词提取（TOWE）是一项精细的情感分析任务，旨在从句子中提取给定意见目标的相应意见单词。最近，深度学习方法在这项任务上取得了显着进步。然而，由于昂贵的数据注释过程，TOWE任务仍然遭受培训数据的稀缺性。有限的标记数据增加了测试数据和培训数据之间分配变化的风险。在本文中，我们建议利用大量未标记的数据来通过增加模型对变化分布变化的暴露来降低风险。具体而言，我们提出了一种新型的多透明一致性正则化（MGCR）方法，以利用未标记的数据并设计两个专门用于TOWE的过滤器，以在不同的粒度上过滤嘈杂的数据。四个TOWE基准数据集的广泛实验结果表明，与当前的最新方法相比，MGCR的优越性。深入分析还证明了不同粒度过滤器的有效性。我们的代码可在https://github.com/towessl/towessl上找到。

生物医学机器阅读理解（生物医学MRC）旨在理解复杂的生物医学叙事，并协助医疗保健专业人员从中检索信息。现代神经网络的MRC系统的高性能取决于高质量的大规模，人为宣传的培训数据集。在生物医学领域中，创建此类数据集的一个至关重要的挑战是域知识的要求，引起了标记数据的稀缺性以及从标记的通用（源）域转移学习到生物医学（目标）域的需求。然而，由于主题方差，通用和生物医学领域之间的边际分布存在差异。因此，从在通用域上训练的模型到生物医学领域的模型直接转移学会的表示可能会损害模型的性能。我们为生物医学机器阅读理解任务（BioAdapt-MRC）提供了基于对抗性学习的域适应框架，这是一种基于神经网络的方法，可解决一般和生物医学域数据之间边际分布中的差异。 Bioadapt-MRC松弛了生成伪标签的需求，以训练表现出色的生物医学MRC模型。我们通过将生物ADAPT-MRC与三种广泛使用的基准生物医学MRC数据集进行比较，从而广泛评估了生物ADAPT-MRC的性能-Bioasq-7B，BioASQ-8B和BioASQ-9B。我们的结果表明，如果不使用来自生物医学领域的任何合成或人类通知的数据，Bioadapt-MRC可以在这些数据集中实现最先进的性能。可用性：bioadapt-MRC可作为开放源项目免费获得，\ url {https://github.com/mmahbub/bioadapt-mrc}。

跨域情绪分析旨在使用在源域上训练的模型来预测目标域中文本的情感，以应对标记数据的稀缺性。先前的研究主要是针对任务的基于跨透明的方法，这些方法受到不稳定性和泛化不良的方式。在本文中，我们探讨了有关跨域情绪分析任务的对比度学习。我们提出了一个经过修改的对比度目标，其中包括隔离式负面样本，以便将同一类的句子表示将被推开，而来自不同类别的句子表示在潜在空间中进一步分开。在两个广泛使用的数据集上进行的实验表明，我们的模型可以在跨域和多域情绪分析任务中实现最先进的性能。同时，可视化证明了在源域中学习的知识转移到目标域的有效性，并且对抗性测试验证了我们模型的鲁棒性。

迄今为止，统计类型推理系统彻底依赖于监督的学习方法，这些方法需要艰苦的手动努力来收集和标记大量数据。大多数图灵完整的命令式语言共享相似的控制和数据流结构，这使得将知识从一种语言转移到另一种语言。在本文中，我们提出了一个跨语言转移学习框架，即柏拉图，用于统计类型推理，这使我们能够利用一种从一种语言的标签数据集中学到的先验知识并将其转移到另一种语言的数据集中，例如Python，将其转移到JavaScript，Java，Java对于JavaScript等。柏拉图由一种新颖的核心注意机制提供动力，以限制主干变压器模型的注意范围，以便模型被迫将其预测基于语言之间普遍共享的特征。此外，我们提出了语法增强功能，以增强语言域之间的特征重叠的学习。此外，柏拉图还可以通过引入跨语言扩展来用于提高常规监督类型推理的性能，这使该模型能够学习多种语言的更多一般功能。我们在两种设置下评估了柏拉图：1）在跨域方案下，目标语言数据未标记或标记部分，结果表明，柏拉图的表现优于最先进的域传输技术，例如。 ，它通过+14.6%@em，+18.6%@weighted-f1和2）在传统单语言监督场景下改善了Python的打字稿基线，Plato将python的基线改进了+4.10%@em，+1.90%@weighted em -f1引入了跨语性增强。

基于方面的情绪分析（ABSA）任务由三个典型的子特点组成：术语术语提取，意见术语提取和情感极性分类。这三个子组织通常是共同执行的，以节省资源并减少管道中的错误传播。但是，大多数现有联合模型只关注编码器共享的福利在子任务之间共享，但忽略差异。因此，我们提出了一个关节ABSA模型，它不仅享有编码器共享的好处，而且还专注于提高模型效率的差异。详细地，我们介绍了双编码器设计，其中一对编码器特别侧重于候选方识对分类，并且原始编码器对序列标记进行注意。经验结果表明，我们的拟议模型显示了鲁棒性，并显着优于前一个基准数据集的先前最先进。

几乎没有命名的实体识别（NER）对于在有限的资源领域中标记的实体标记至关重要，因此近年来受到了适当的关注。现有的几声方法主要在域内设置下进行评估。相比之下，对于这些固有的忠实模型如何使用一些标记的域内示例在跨域NER中执行的方式知之甚少。本文提出了一种两步以理性为中心的数据增强方法，以提高模型的泛化能力。几个数据集中的结果表明，与先前的最新方法相比，我们的模型无形方法可显着提高跨域NER任务的性能，包括反事实数据增强和及时调用方法。我们的代码可在\ url {https://github.com/lifan-yuan/factmix}上获得。

Aspect Based Sentiment Analysis is a dominant research area with potential applications in social media analytics, business, finance, and health. Prior works in this area are primarily based on supervised methods, with a few techniques using weak supervision limited to predicting a single aspect category per review sentence. In this paper, we present an extremely weakly supervised multi-label Aspect Category Sentiment Analysis framework which does not use any labelled data. We only rely on a single word per class as an initial indicative information. We further propose an automatic word selection technique to choose these seed categories and sentiment words. We explore unsupervised language model post-training to improve the overall performance, and propose a multi-label generator model to generate multiple aspect category-sentiment pairs per review sentence. Experiments conducted on four benchmark datasets showcase our method to outperform other weakly supervised baselines by a significant margin.

由于方面级别的情感标签是昂贵且富有劳动力的，因此提出了零击方面的情感分类，以学习适用于新域的分类器，而无需使用任何带注释的方面级别数据。相比之下，更容易访问具有评分的文档级别的情感数据。在这项工作中，我们仅使用文档级评论来实现零击方面的情感分类。我们的关键直觉是，文档的情感表示由该文档的所有方面的情感表示组成。基于此，我们提出了AF-DSC方法，以在评论中明确建模此类情感组成。 AF-DSC首先学习所有潜在方面的情感表示形式，然后将方面级别的情感汇总到文档级的情感上，以执行文档级别的情感分类。通过这种方式，我们将其作为文档级别分类器的副产品获得方面级别的分类器。方面情感分类基准的实验结果证明了在文档级别分类中明确利用情感组成的有效性。我们的模型只有30k培训数据的表现优于先前的工作，利用数百万个数据。

这些年来跨域情绪分类一直是一个热点，旨在使用来自源域的标记数据来学习可靠的分类器，并在目标域上进行评估。在此静脉中，大多数方法利用域适应，将数据从不同域映射到共同的特征空间。为了进一步提高模型性能，提出了针对挖掘域特定信息的几种方法。但是，其中大多数仅利用有限的域特定信息。在这项研究中，我们首先通过基于主题信息制定一种提取特定域的单词的方法。然后，我们提出了一个主题驱动的自适应网络（TDAN），用于跨域情绪分类。该网络由两个子网络组成：语义注意网络和域特定的单词注意网络，其结构基于变压器。这些子网采用不同的输入形式，并且它们的输出被融合为特征向量。实验验证了我们TDAN对跨域情绪分类的有效性。

Recent advances in NLP are brought by a range of large-scale pretrained language models (PLMs). These PLMs have brought significant performance gains for a range of NLP tasks, circumventing the need to customize complex designs for specific tasks. However, most current work focus on finetuning PLMs on a domain-specific datasets, ignoring the fact that the domain gap can lead to overfitting and even performance drop. Therefore, it is practically important to find an appropriate method to effectively adapt PLMs to a target domain of interest. Recently, a range of methods have been proposed to achieve this purpose. Early surveys on domain adaptation are not suitable for PLMs due to the sophisticated behavior exhibited by PLMs from traditional models trained from scratch and that domain adaptation of PLMs need to be redesigned to take effect. This paper aims to provide a survey on these newly proposed methods and shed light in how to apply traditional machine learning methods to newly evolved and future technologies. By examining the issues of deploying PLMs for downstream tasks, we propose a taxonomy of domain adaptation approaches from a machine learning system view, covering methods for input augmentation, model optimization and personalization. We discuss and compare those methods and suggest promising future research directions.

事实证明，将先验知识纳入预训练的语言模型中对知识驱动的NLP任务有效，例如实体键入和关系提取。当前的培训程序通常通过使用知识掩盖，知识融合和知识更换将外部知识注入模型。但是，输入句子中包含的事实信息尚未完全开采，并且尚未严格检查注射的外部知识。结果，无法完全利用上下文信息，并将引入额外的噪音，或者注入的知识量受到限制。为了解决这些问题，我们提出了MLRIP，该MLRIP修改了Ernie-Baidu提出的知识掩盖策略，并引入了两阶段的实体替代策略。进行全面分析的广泛实验说明了MLRIP在军事知识驱动的NLP任务中基于BERT的模型的优势。

自然语言理解（NLU）通过大型基准驱动的大规模进展，与转让学习的研究配对扩大其影响。基准是由一小部分频繁现象的主导，留下了一条长长的不常见现象。在这项工作中，我们反映了问题：转移学习方法足够地解决了长尾的基准训练模型的表现吗？由于基准未列出包括/排除的现象，我们使用宏观级别的宏观尺寸（如经验丰富的类型，主题等）概念化。我们评估通过100个代表性论文转让学习的定性荟萃分析来转移学习研究的趋势nlu。我们的分析问了三个问题：（i）哪个长尾尺寸进行转移学习研究目标？ （ii）哪种特性有助于适应方法改善长尾的性能？ （iii）哪种方法差距对长尾性能有最大的负面影响？我们对这些问题的答案突出了在长尾的转让学习中的未来研究的主要途径。最后，我们展示了一个案例研究，比较了各种适应方法对临床叙事的性能，以表明系统性开展的元实验如何提供能够沿着这些未来的途径取得进展的见解。

方面情绪三重态提取（Aste）旨在识别目标，他们的情感极化和意见解释句子的情绪。 Aste可以自然地分为3个原子子组织，即目标检测，意见检测和情绪分类。我们认为针对目标 - 意见对的合适的子任务组合，组成特征提取，以及子任务之间的互动将是成功的关键。然而，由于缺陷的子任务制定，子最优特征表示或缺少子任务相互作用，在“一对多”或“多对一”的情况下可能导致不存在的情绪三体，或导出不存在的情绪三元组。在本文中，我们将Aste划分为目标 - 意见联合检测和情绪分类子任务，这与人类认知符合，并且相应地利用序列编码器和表编码器来处理它们。表编码器在令牌对等级提取情绪，从而可以容易地捕获目标和意见之间的组成特征。要在子任务之间建立显式交互，我们利用表格表示来指导序列编码，并将序列功能注入到表编码器中。实验表明，我们的模型在六个受欢迎的ASTE数据集中优于最先进的方法。

We introduce a new language representation model called BERT, which stands for Bidirectional Encoder Representations from Transformers. Unlike recent language representation models (Peters et al., 2018a;Radford et al., 2018), BERT is designed to pretrain deep bidirectional representations from unlabeled text by jointly conditioning on both left and right context in all layers. As a result, the pre-trained BERT model can be finetuned with just one additional output layer to create state-of-the-art models for a wide range of tasks, such as question answering and language inference, without substantial taskspecific architecture modifications.BERT is conceptually simple and empirically powerful. It obtains new state-of-the-art results on eleven natural language processing tasks, including pushing the GLUE score to 80.5% (7.7% point absolute improvement), MultiNLI accuracy to 86.7% (4.6% absolute improvement), SQuAD v1.1 question answering Test F1 to 93.2 (1.5 point absolute improvement) and SQuAD v2.0 Test F1 to 83.1 (5.1 point absolute improvement).