这些年来跨域情绪分类一直是一个热点，旨在使用来自源域的标记数据来学习可靠的分类器，并在目标域上进行评估。在此静脉中，大多数方法利用域适应，将数据从不同域映射到共同的特征空间。为了进一步提高模型性能，提出了针对挖掘域特定信息的几种方法。但是，其中大多数仅利用有限的域特定信息。在这项研究中，我们首先通过基于主题信息制定一种提取特定域的单词的方法。然后，我们提出了一个主题驱动的自适应网络（TDAN），用于跨域情绪分类。该网络由两个子网络组成：语义注意网络和域特定的单词注意网络，其结构基于变压器。这些子网采用不同的输入形式，并且它们的输出被融合为特征向量。实验验证了我们TDAN对跨域情绪分类的有效性。

域自适应文本分类对于大规模预处理的语言模型来说是一个具有挑战性的问题，因为它们通常需要昂贵的额外标记数据来适应新域。现有作品通常无法利用跨域单词之间的隐式关系。在本文中，我们提出了一种新的方法，称为结构化知识（DASK）的域适应性，以通过利用单词级别的语义关系来增强域的适应性。 Dask首先构建知识图，以捕获目标域中的枢轴项（独立域单词）和非居式项之间的关系。然后在训练期间，DASK注入与源域文本的枢轴相关知识图信息。对于下游任务，这些注入知识的文本被馈入能够处理知识注入文本数据的BERT变体。多亏了知识注入，我们的模型根据与枢轴的关系学习了非客者的域不变特征。 DASK通过在使用伪标签训练期间通过候选枢轴的极性得分动态推断出具有域不变行为的枢轴。我们在各种跨域情绪分类任务上验证了DASK，并观察到20种不同领域对的基准的绝对性能提高了2.9％。代码将在https://github.com/hikaru-nara/dask上提供。

域适应任务，如跨域情感分类的目标在于利用在目标域源域中现有数据标记和未标记的或标记的几个数据经由减少数据分布之间的偏移，以提高在目标域的性能。现有跨域情绪分类方法需要区分枢转，即，域共享情绪词语，和非枢转时，即，该特定域的情绪也就是说，对于优良的适应性能。在本文中，我们首先设计一个类别关注网络（CAN），然后提出一个名为CAN-CNN集成CAN和卷积神经网络（CNN）模型。在一方面，该模型的问候基点和非关键数据作为统一的类别属性的话，可以自动捕捉他们提高域自适应性能;在另一方面，该模式使得在解释性试图了解转移类别属性词。具体地，我们的模型的优化目标具有三个不同的部分：1）监督分类损失; 2）类别特征权重的分布丢失; 3）的域不变性损失。最后，该模型在三个民情分析数据集进行评估，结果表明，CAN-CNN能优于其他各种基线的方法。

跨域情绪分析旨在使用在源域上训练的模型来预测目标域中文本的情感，以应对标记数据的稀缺性。先前的研究主要是针对任务的基于跨透明的方法，这些方法受到不稳定性和泛化不良的方式。在本文中，我们探讨了有关跨域情绪分析任务的对比度学习。我们提出了一个经过修改的对比度目标，其中包括隔离式负面样本，以便将同一类的句子表示将被推开，而来自不同类别的句子表示在潜在空间中进一步分开。在两个广泛使用的数据集上进行的实验表明，我们的模型可以在跨域和多域情绪分析任务中实现最先进的性能。同时，可视化证明了在源域中学习的知识转移到目标域的有效性，并且对抗性测试验证了我们模型的鲁棒性。

Aspect-based sentiment analysis (ABSA) aims at extracting opinionated aspect terms in review texts and determining their sentiment polarities, which is widely studied in both academia and industry. As a fine-grained classification task, the annotation cost is extremely high. Domain adaptation is a popular solution to alleviate the data deficiency issue in new domains by transferring common knowledge across domains. Most cross-domain ABSA studies are based on structure correspondence learning (SCL), and use pivot features to construct auxiliary tasks for narrowing down the gap between domains. However, their pivot-based auxiliary tasks can only transfer knowledge of aspect terms but not sentiment, limiting the performance of existing models. In this work, we propose a novel Syntax-guided Domain Adaptation Model, named SDAM, for more effective cross-domain ABSA. SDAM exploits syntactic structure similarities for building pseudo training instances, during which aspect terms of target domain are explicitly related to sentiment polarities. Besides, we propose a syntax-based BERT mask language model for further capturing domain-invariant features. Finally, to alleviate the sentiment inconsistency issue in multi-gram aspect terms, we introduce a span-based joint aspect term and sentiment analysis module into the cross-domain End2End ABSA. Experiments on five benchmark datasets show that our model consistently outperforms the state-of-the-art baselines with respect to Micro-F1 metric for the cross-domain End2End ABSA task.

As an important fine-grained sentiment analysis problem, aspect-based sentiment analysis (ABSA), aiming to analyze and understand people's opinions at the aspect level, has been attracting considerable interest in the last decade. To handle ABSA in different scenarios, various tasks are introduced for analyzing different sentiment elements and their relations, including the aspect term, aspect category, opinion term, and sentiment polarity. Unlike early ABSA works focusing on a single sentiment element, many compound ABSA tasks involving multiple elements have been studied in recent years for capturing more complete aspect-level sentiment information. However, a systematic review of various ABSA tasks and their corresponding solutions is still lacking, which we aim to fill in this survey. More specifically, we provide a new taxonomy for ABSA which organizes existing studies from the axes of concerned sentiment elements, with an emphasis on recent advances of compound ABSA tasks. From the perspective of solutions, we summarize the utilization of pre-trained language models for ABSA, which improved the performance of ABSA to a new stage. Besides, techniques for building more practical ABSA systems in cross-domain/lingual scenarios are discussed. Finally, we review some emerging topics and discuss some open challenges to outlook potential future directions of ABSA.

在这项工作中，我们以一种充满挑战的自我监督方法研究无监督的领域适应性（UDA）。困难之一是如何在没有目标标签的情况下学习任务歧视。与以前的文献直接使跨域分布或利用反向梯度保持一致，我们建议域混淆对比度学习（DCCL），以通过域难题桥接源和目标域，并在适应后保留歧视性表示。从技术上讲，DCCL搜索了最大的挑战方向，而精美的工艺领域将增强型混淆为正对，然后对比鼓励该模型向其他领域提取陈述，从而学习更稳定和有效的域名。我们还研究对比度学习在执行其他数据增强时是否必然有助于UDA。广泛的实验表明，DCCL明显优于基准。

跨域的建议显示了解决数据范围和冷启动问题方面有希望的结果。尽管取得了这样的进展，但现有的方法集中在知识转移的可提供的域可共享信息（重叠的用户或相同的上下文）上，并且在没有此类要求的情况下，它们无法很好地概括。为了解决这些问题，我们建议利用大多数电子商务系统一般的审核文本。我们的模型（命名为SER）使用三个文本分析模块，由单个域歧视器指导，用于分离表示表示。在这里，我们提出了一种新颖的优化策略，可以提高域分解的质量，并使源域的有害信息衰弱。此外，我们将编码网络从单个域扩展到多个域，事实证明，这对于基于审核的推荐系统具有强大的功能。广泛的实验和消融研究表明，与最先进的单域和跨域推荐方法相比，我们的方法是有效，健壮和可扩展的。

虽然在许多域内生成并提供了大量的未标记数据，但对视觉数据的自动理解的需求高于以往任何时候。大多数现有机器学习模型通常依赖于大量标记的训练数据来实现高性能。不幸的是，在现实世界的应用中，不能满足这种要求。标签的数量有限，手动注释数据昂贵且耗时。通常需要将知识从现有标记域传输到新域。但是，模型性能因域之间的差异（域移位或数据集偏差）而劣化。为了克服注释的负担，域适应（DA）旨在在将知识从一个域转移到另一个类似但不同的域中时减轻域移位问题。无监督的DA（UDA）处理标记的源域和未标记的目标域。 UDA的主要目标是减少标记的源数据和未标记的目标数据之间的域差异，并在培训期间在两个域中学习域不变的表示。在本文中，我们首先定义UDA问题。其次，我们从传统方法和基于深度学习的方法中概述了不同类别的UDA的最先进的方法。最后，我们收集常用的基准数据集和UDA最先进方法的报告结果对视觉识别问题。

Language model pre-training has proven to be useful in learning universal language representations. As a state-of-the-art language model pre-training model, BERT (Bidirectional Encoder Representations from Transformers) has achieved amazing results in many language understanding tasks. In this paper, we conduct exhaustive experiments to investigate different fine-tuning methods of BERT on text classification task and provide a general solution for BERT fine-tuning. Finally, the proposed solution obtains new state-of-the-art results on eight widely-studied text classification datasets. 1

Transfer learning aims at improving the performance of target learners on target domains by transferring the knowledge contained in different but related source domains. In this way, the dependence on a large number of target domain data can be reduced for constructing target learners. Due to the wide application prospects, transfer learning has become a popular and promising area in machine learning. Although there are already some valuable and impressive surveys on transfer learning, these surveys introduce approaches in a relatively isolated way and lack the recent advances in transfer learning. Due to the rapid expansion of the transfer learning area, it is both necessary and challenging to comprehensively review the relevant studies. This survey attempts to connect and systematize the existing transfer learning researches, as well as to summarize and interpret the mechanisms and the strategies of transfer learning in a comprehensive way, which may help readers have a better understanding of the current research status and ideas. Unlike previous surveys, this survey paper reviews more than forty representative transfer learning approaches, especially homogeneous transfer learning approaches, from the perspectives of data and model. The applications of transfer learning are also briefly introduced. In order to show the performance of different transfer learning models, over twenty representative transfer learning models are used for experiments. The models are performed on three different datasets, i.e., Amazon Reviews, Reuters-21578, and Office-31. And the experimental results demonstrate the importance of selecting appropriate transfer learning models for different applications in practice.

无监督的域适应性（UDA）引起了相当大的关注，这将知识从富含标签的源域转移到相关但未标记的目标域。减少域间差异一直是提高UDA性能的关键因素，尤其是对于源域和目标域之间存在较大差距的任务。为此，我们提出了一种新颖的风格感知功能融合方法（SAFF），以弥合大域间隙和转移知识，同时减轻阶级歧视性信息的丧失。受到人类传递推理和学习能力的启发，研究了一种新颖的风格感知的自我互化领域（SSID），通过一系列中级辅助综合概念将两个看似无关的概念联系起来。具体而言，我们提出了一种新颖的SSID学习策略，该策略从源和目标域中选择样本作为锚点，然后随机融合这些锚的对象和样式特征，以生成具有标记和样式丰富的中级辅助功能以进行知识转移。此外，我们设计了一个外部存储库来存储和更新指定的标记功能，以获得稳定的类功能和班级样式功能。基于提议的内存库，内部和域间损耗功能旨在提高类识别能力和特征兼容性。同时，我们通过无限抽样模拟SSID的丰富潜在特征空间，并通过数学理论模拟损失函数的收敛性。最后，我们对常用的域自适应基准测试进行了全面的实验，以评估所提出的SAFF，并且实验结果表明，所提出的SAFF可以轻松地与不同的骨干网络结合在一起，并获得更好的性能作为插入插型模块。

生物医学机器阅读理解（生物医学MRC）旨在理解复杂的生物医学叙事，并协助医疗保健专业人员从中检索信息。现代神经网络的MRC系统的高性能取决于高质量的大规模，人为宣传的培训数据集。在生物医学领域中，创建此类数据集的一个至关重要的挑战是域知识的要求，引起了标记数据的稀缺性以及从标记的通用（源）域转移学习到生物医学（目标）域的需求。然而，由于主题方差，通用和生物医学领域之间的边际分布存在差异。因此，从在通用域上训练的模型到生物医学领域的模型直接转移学会的表示可能会损害模型的性能。我们为生物医学机器阅读理解任务（BioAdapt-MRC）提供了基于对抗性学习的域适应框架，这是一种基于神经网络的方法，可解决一般和生物医学域数据之间边际分布中的差异。 Bioadapt-MRC松弛了生成伪标签的需求，以训练表现出色的生物医学MRC模型。我们通过将生物ADAPT-MRC与三种广泛使用的基准生物医学MRC数据集进行比较，从而广泛评估了生物ADAPT-MRC的性能-Bioasq-7B，BioASQ-8B和BioASQ-9B。我们的结果表明，如果不使用来自生物医学领域的任何合成或人类通知的数据，Bioadapt-MRC可以在这些数据集中实现最先进的性能。可用性：bioadapt-MRC可作为开放源项目免费获得，\ url {https://github.com/mmahbub/bioadapt-mrc}。

立场检测任务旨在对给定文件和主题的立场进行分类。由于该主题可以隐含在文档中，并且在零摄影设置的培训数据中看不见，因此我们建议通过使用情感和常识知识来提高立场检测模型的可传递性，这在先前的研究中很少考虑。我们的模型包括一个图形自动编码器模块，以获取常识性知识和带有情感和常识的立场检测模块。实验结果表明，我们的模型优于零射击和少量基准数据集（VAST）上的最新方法。同时，消融研究证明了我们模型中每个模块的重要性。对情感，常识和立场之间关系的分析表明了情感和常识的有效性。

文本情绪分析（也称为意见挖掘）是对实体表达的人们观点，评估，态度和情感的计算的研究。文本情绪分析可以分为文本级别的情感分析，森林级别的情感分析和方面级别的情感分析。基于方面的情感分析（ABSA）是情感分析领域中的精细任务，该任务旨在预测各个方面的极性。训练前神经模型的研究显着改善了许多自然语言处理任务的性能。近年来，培训模型（PTM）已在ABSA中应用。因此，有一个问题，即PTM是否包含ABSA的足够的句法信息。在本文中，我们探讨了最近的Deberta模型（解码增强的BERT，并引起注意），以解决基于方面的情感分析问题。 Deberta是一种基于Transformer的神经语言模型，它使用自我监督的学习来预先培训大量原始文本语料库。基于局部环境重点（LCF）机制，通过整合Deberta模型，我们为基于方面的情感分析的多任务学习模型。该实验导致了Semeval-2014最常用的笔记本电脑和餐厅数据集，而ACL Twitter数据集则表明，具有Deberta的LCF机制具有显着改善。

传统的推荐系统面临两个长期存在的障碍，即数据稀疏性和冷启动问题，这些问题促进了跨域建议（CDR）的出现和发展。 CDR的核心思想是利用从其他领域收集的信息来减轻一个域中的两个问题。在过去的十年中，许多努力进行了跨域建议。最近，随着深度学习和神经网络的发展，出现了许多方法。但是，关于CDR的系统调查数量有限，尤其是关于最新提出的方法以及他们解决的建议方案和建议任务。在本调查文件中，我们首先提出了跨域建议的两级分类法，该分类法对不同的建议方案和建议任务进行了分类。然后，我们以结构化的方式介绍并总结了不同建议方案下的现有跨域推荐方法。我们还组织了常用的数据集。我们通过提供有关该领域的几个潜在研究方向来结束这项调查。

We propose a hierarchical attention network for document classification. Our model has two distinctive characteristics: (i) it has a hierarchical structure that mirrors the hierarchical structure of documents; (ii) it has two levels of attention mechanisms applied at the wordand sentence-level, enabling it to attend differentially to more and less important content when constructing the document representation. Experiments conducted on six large scale text classification tasks demonstrate that the proposed architecture outperform previous methods by a substantial margin. Visualization of the attention layers illustrates that the model selects qualitatively informative words and sentences.

本文对过去二十年来对自然语言生成（NLG）的研究提供了全面的审查，特别是与数据到文本生成和文本到文本生成深度学习方法有关，以及NLG的新应用技术。该调查旨在（a）给出关于NLG核心任务的最新综合，以及该领域采用的建筑;（b）详细介绍各种NLG任务和数据集，并提请注意NLG评估中的挑战，专注于不同的评估方法及其关系;（c）强调一些未来的强调和相对近期的研究问题，因为NLG和其他人工智能领域的协同作用而增加，例如计算机视觉，文本和计算创造力。

在本文中，我们对亚马逊的产品评论和彻底分析模型解释性进行了句子级别情绪分析。对于情感分析任务，我们使用Bilstm模型与注意机制。对于对解释性的研究，我们认为单句子的注意力分布和主要方面术语的注意力。该模型的准确性高达0.96。我们发现，这些方面术语具有比句子中的感伤词相同或更具更多的注意力。

近年来，人们对开发自然语言处理（NLP）中可解释模型的利益越来越多。大多数现有模型旨在识别输入功能，例如对于模型预测而言重要的单词或短语。然而，在NLP中开发的神经模型通常以层次结构的方式构成单词语义，文本分类需要层次建模来汇总本地信息，以便处理主题和标签更有效地转移。因此，单词或短语的解释不能忠实地解释文本分类中的模型决策。本文提出了一种新型的层次解释性神经文本分类器，称为提示，该分类器可以自动以层次结构方式以标记相关主题的形式生成模型预测的解释。模型解释不再处于单词级别，而是基于主题作为基本语义单元。评论数据集和新闻数据集的实验结果表明，我们所提出的方法与现有最新的文本分类器相当地达到文本分类结果，并比其他可解释的神经文本更忠实于模型的预测和更好地理解人类的解释分类器。