深度学习一直是自然语言处理（NLP）领域的主流技术。但是，这些技术需要许多标记的数据，并且在整个域之间不太概括。元学习是机器学习研究方法的一个领域，以学习更好的学习算法。方法旨在改善各个方面的算法，包括数据效率和概括性。在许多NLP任务中已经显示出方法的功效，但是在NLP中没有系统的调查，这阻碍了更多的研究人员加入该领域。我们使用这篇调查文件的目标是为研究人员提供NLP中相关的元学习作品的指针，并吸引NLP社区的更多关注以推动未来的创新。本文首先介绍了元学习和共同方法的一般概念。然后，我们总结了任务构建设置和用于各种NLP问题的元学习的应用，并审查NLP社区中元学习的发展。

整合不同域的知识是人类学习的重要特征。学习范式如转移学习，元学习和多任务学习，通过利用新任务的先验知识，鼓励更快的学习和新任务的良好普遍来反映人类学习过程。本文提供了这些学习范例的详细视图以及比较分析。学习算法的弱点是另一个的力量，从而合并它们是文献中的一种普遍的特征。这项工作提供了对文章的文献综述，这些文章融合了两种算法来完成多个任务。这里还介绍了全球通用学习网络，在此介绍了元学习，转移学习和多任务学习的集合，以及一些开放的研究问题和未来研究的方向。

As an important fine-grained sentiment analysis problem, aspect-based sentiment analysis (ABSA), aiming to analyze and understand people's opinions at the aspect level, has been attracting considerable interest in the last decade. To handle ABSA in different scenarios, various tasks are introduced for analyzing different sentiment elements and their relations, including the aspect term, aspect category, opinion term, and sentiment polarity. Unlike early ABSA works focusing on a single sentiment element, many compound ABSA tasks involving multiple elements have been studied in recent years for capturing more complete aspect-level sentiment information. However, a systematic review of various ABSA tasks and their corresponding solutions is still lacking, which we aim to fill in this survey. More specifically, we provide a new taxonomy for ABSA which organizes existing studies from the axes of concerned sentiment elements, with an emphasis on recent advances of compound ABSA tasks. From the perspective of solutions, we summarize the utilization of pre-trained language models for ABSA, which improved the performance of ABSA to a new stage. Besides, techniques for building more practical ABSA systems in cross-domain/lingual scenarios are discussed. Finally, we review some emerging topics and discuss some open challenges to outlook potential future directions of ABSA.

将语义解析器定位以支持新语言需要有效的跨语性概括。最近的工作发现了机器翻译或零击方法的成功，尽管这些方法可能难以模拟母语人士如何提出问题。我们考虑如何有效利用新语言的最小注释示例来进行几次跨语性语义解析。我们引入了一阶元学习算法，以在跨语性转移过程中训练具有最大样品效率的语义解析器。我们的算法使用高资源语言来训练解析器，并同时优化低资源语言的跨语性概括。 ATIS上六种语言的结果表明，我们的泛化步骤的组合产生了准确的语义解析器，以每种新语言中的源培训数据$ 10％的$ 10％。我们的方法还使用英语对蜘蛛的竞争模型进行训练，并将其推广到中文，同样对$ 10％的培训数据进行了采样。

It has been experimentally demonstrated that humans are able to learn in a manner that allows them to make predictions on categories for which they have not seen any examples (Malaviya et al., 2022). Sucholutsky and Schonlau (2020) have recently presented a machine learning approach that aims to do the same. They utilise synthetically generated data and demonstrate that it is possible to achieve sub-linear scaling and develop models that can learn to recognise N classes from M training samples where M is less than N - aka less-than-one shot learning. Their method was, however, defined for univariate or simple multivariate data (Sucholutsky et al., 2021). We extend it to work on large, high-dimensional and real-world datasets and empirically validate it in this new and challenging setting. We apply this method to learn previously unseen NLP tasks from very few examples (4, 8 or 16). We first generate compact, sophisticated less-than-one shot representations called soft-label prototypes which are fitted on training data, capturing the distribution of different classes across the input domain space. We then use a modified k-Nearest Neighbours classifier to demonstrate that soft-label prototypes can classify data competitively, even outperforming much more computationally complex few-shot learning methods.

基于强大的预训练语言模型（PLM）的密集检索方法（DR）方法取得了重大进步，并已成为现代开放域问答系统的关键组成部分。但是，他们需要大量的手动注释才能进行竞争性，这是不可行的。为了解决这个问题，越来越多的研究作品最近着重于在低资源场景下改善DR绩效。这些作品在培训所需的资源和采用各种技术的资源方面有所不同。了解这种差异对于在特定的低资源场景下选择正确的技术至关重要。为了促进这种理解，我们提供了针对低资源DR的主流技术的彻底结构化概述。根据他们所需的资源，我们将技术分为三个主要类别：（1）仅需要文档； （2）需要文件和问题； （3）需要文档和提问对。对于每种技术，我们都会介绍其一般形式算法，突出显示开放的问题和利弊。概述了有希望的方向以供将来的研究。

The focus of recent meta-learning research has been on the development of learning algorithms that can quickly adapt to test time tasks with limited data and low computational cost. Few-shot learning is widely used as one of the standard benchmarks in meta-learning. In this work, we show that a simple baseline: learning a supervised or selfsupervised representation on the meta-training set, followed by training a linear classifier on top of this representation, outperforms state-of-the-art few-shot learning methods. An additional boost can be achieved through the use of selfdistillation. This demonstrates that using a good learned embedding model can be more effective than sophisticated meta-learning algorithms. We believe that our findings motivate a rethinking of few-shot image classification benchmarks and the associated role of meta-learning algorithms.

几乎没有弹出的文本分类旨在在几个弹奏方案下对文本进行分类。以前的大多数方法都采用基于优化的元学习来获得任务分布。但是，由于少数样本和复杂模型之间的匹配以及有用的任务功能之间的区别，这些方法遭受了过度拟合问题的影响。为了解决这个问题，我们通过梯度相似性（AMGS）方法提出了一种新颖的自适应元学习器，以提高模型的泛化能力。具体而言，拟议的AMG基于两个方面缓解了过度拟合：（i）通过内部循环中的自我监督的辅助任务来获取样品的潜在语义表示并改善模型的概括，（ii）利用适应性元学习者通过适应性元学习者通过梯度通过相似性，可以在外环中基底学习者获得的梯度上增加约束。此外，我们对正则化对整个框架的影响进行系统分析。对几个基准测试的实验结果表明，与最先进的优化元学习方法相比，提出的AMG始终提高了很少的文本分类性能。

与辅助语言的元学习已经表明了对交叉语言自然语言处理的有希望的改进。然而，以前的研究采样使用相同语言的元培训和元测试数据，这限制了模型交叉传输的能力。在本文中，我们提出了XLA-MAML，在元学习阶段执行直接交叉调整。我们对自然语言推理和问题进行零射击和几次拍摄实验。实验结果表明了我们在不同语言，任务和预磨料模型中的方法的有效性。我们还对元学习的各种交叉特定设置进行了分析，包括采样策略和并行性。

多语言语言模型（\ mllms），如mbert，xlm，xlm-r，\ textit {etc。}已成为一种可行的选择，使预先估计到大量语言的力量。鉴于他们的成功在零射击转移学习中，在（i）建立更大的\ mllms〜覆盖了大量语言（ii）创建覆盖更广泛的任务和语言来评估的详尽工作基准mllms〜（iii）分析单音零点，零拍摄交叉和双语任务（iv）对Monolingual的性能，了解\ mllms〜（v）增强（通常）学习的通用语言模式（如果有的话）有限的容量\ mllms〜以提高他们在已见甚至看不见语言的表现。在这项调查中，我们审查了现有的文学，涵盖了上述与\ MLLMS有关的广泛研究领域。根据我们的调查，我们建议您有一些未来的研究方向。

机器学习方法尤其是深度神经网络取得了巨大的成功，但其中许多往往依赖于一些标记的样品进行训练。在真实世界的应用中，我们经常需要通过例如具有新兴预测目标和昂贵的样本注释的动态上下文来解决样本短缺。因此，低资源学习，旨在学习具有足够资源（特别是培训样本）的强大预测模型，现在正在被广泛调查。在所有低资源学习研究中，许多人更喜欢以知识图（kg）的形式利用一些辅助信息，这对于知识表示变得越来越受欢迎，以减少对标记样本的依赖。在这项调查中，我们非常全面地审查了90美元的报纸关于两个主要的低资源学习设置 - 零射击学习（ZSL）的预测，从未出现过训练，而且很少拍摄的学习（FSL）预测的新类仅具有可用的少量标记样本。我们首先介绍了ZSL和FSL研究中使用的KGS以及现有的和潜在的KG施工解决方案，然后系统地分类和总结了KG感知ZSL和FSL方法，将它们划分为不同的范例，例如基于映射的映射，数据增强，基于传播和基于优化的。我们接下来呈现了不同的应用程序，包括计算机视觉和自然语言处理中的kg增强预测任务，还包括kg完成的任务，以及每个任务的一些典型评估资源。我们最终讨论了一些关于新学习和推理范式的方面的一些挑战和未来方向，以及高质量的KGs的建设。

旨在从非结构化文本中提取结构信息的知识提取（KE）通常会遭受数据稀缺性和新出现的看不见类型，即低资源场景。许多低资源KE的神经方法已广泛研究并取得了令人印象深刻的表现。在本文中，我们在低资源场景中介绍了对KE的文献综述，并将现有作品分为三个范式：（1）利用更高的资源数据，（2）利用更强的模型，（3）利用数据和模型一起。此外，我们描述了有前途的应用，并概述了未来研究的一些潜在方向。我们希望我们的调查能够帮助学术和工业界更好地理解这一领域，激发更多的想法并提高更广泛的应用。

提示方法被认为是几次自然语言处理的关键进展之一。最近对基于离散令牌的``硬提示''转移到连续``软提示''的最新研究，这些提示将可学习的向量用作伪提示代币并实现更好的性能。尽管显示出有希望的前景，但观察到这些软宣传的方法在很大程度上依赖良好的初始化来生效。不幸的是，获得软提示的完美初始化需要了解内在语言模型的工作和精心设计，这绝非易事，必须从头开始重新启动每个新任务。为了解决此问题，我们提出了一种称为Metaprompting的广义软提示方法，该方法采用了良好认可的模型 - 静态元学习算法，以自动找到更好的及时初始化，从而快速适应新的促进任务。问题并在四个不同的数据集上带来了显着改善（1次设置的准确性提高了6分），从而实现了新的最新性能。

很少有图像分类是一个具有挑战性的问题，旨在仅基于少量培训图像来达到人类的识别水平。少数图像分类的一种主要解决方案是深度度量学习。这些方法是，通过将看不见的样本根据距离的距离进行分类，可在强大的深神经网络中学到的嵌入空间中看到的样品，可以避免以少数图像分类的少数训练图像过度拟合，并实现了最新的图像表现。在本文中，我们提供了对深度度量学习方法的最新审查，以进行2018年至2022年的少量图像分类，并根据度量学习的三个阶段将它们分为三组，即学习功能嵌入，学习课堂表示和学习距离措施。通过这种分类法，我们确定了他们面临的不同方法和问题的新颖性。我们通过讨论当前的挑战和未来趋势进行了少量图像分类的讨论。

在过去的十年中，许多深入学习模型都受到了良好的培训，并在各种机器智能领域取得了巨大成功，特别是对于计算机视觉和自然语言处理。为了更好地利用这些训练有素的模型在域内或跨域转移学习情况下，提出了知识蒸馏（KD）和域适应（DA）并成为研究亮点。他们旨在通过原始培训数据从训练有素的模型转移有用的信息。但是，由于隐私，版权或机密性，原始数据并不总是可用的。最近，无数据知识转移范式吸引了吸引人的关注，因为它涉及从训练有素的模型中蒸馏宝贵的知识，而无需访问培训数据。特别是，它主要包括无数据知识蒸馏（DFKD）和源无数据域适应（SFDA）。一方面，DFKD旨在将域名域内知识从一个麻烦的教师网络转移到一个紧凑的学生网络，以进行模型压缩和有效推论。另一方面，SFDA的目标是重用存储在训练有素的源模型中的跨域知识并将其调整为目标域。在本文中，我们对知识蒸馏和无监督域适应的视角提供了全面的数据知识转移，以帮助读者更好地了解目前的研究状况和想法。分别简要审查了这两个领域的应用和挑战。此外，我们对未来研究的主题提供了一些见解。

Recent advances in NLP are brought by a range of large-scale pretrained language models (PLMs). These PLMs have brought significant performance gains for a range of NLP tasks, circumventing the need to customize complex designs for specific tasks. However, most current work focus on finetuning PLMs on a domain-specific datasets, ignoring the fact that the domain gap can lead to overfitting and even performance drop. Therefore, it is practically important to find an appropriate method to effectively adapt PLMs to a target domain of interest. Recently, a range of methods have been proposed to achieve this purpose. Early surveys on domain adaptation are not suitable for PLMs due to the sophisticated behavior exhibited by PLMs from traditional models trained from scratch and that domain adaptation of PLMs need to be redesigned to take effect. This paper aims to provide a survey on these newly proposed methods and shed light in how to apply traditional machine learning methods to newly evolved and future technologies. By examining the issues of deploying PLMs for downstream tasks, we propose a taxonomy of domain adaptation approaches from a machine learning system view, covering methods for input augmentation, model optimization and personalization. We discuss and compare those methods and suggest promising future research directions.

自然语言理解（NLU）通过大型基准驱动的大规模进展，与转让学习的研究配对扩大其影响。基准是由一小部分频繁现象的主导，留下了一条长长的不常见现象。在这项工作中，我们反映了问题：转移学习方法足够地解决了长尾的基准训练模型的表现吗？由于基准未列出包括/排除的现象，我们使用宏观级别的宏观尺寸（如经验丰富的类型，主题等）概念化。我们评估通过100个代表性论文转让学习的定性荟萃分析来转移学习研究的趋势nlu。我们的分析问了三个问题：（i）哪个长尾尺寸进行转移学习研究目标？ （ii）哪种特性有助于适应方法改善长尾的性能？ （iii）哪种方法差距对长尾性能有最大的负面影响？我们对这些问题的答案突出了在长尾的转让学习中的未来研究的主要途径。最后，我们展示了一个案例研究，比较了各种适应方法对临床叙事的性能，以表明系统性开展的元实验如何提供能够沿着这些未来的途径取得进展的见解。

机器学习系统通常假设训练和测试分布是相同的。为此，关键要求是开发可以概括到未经看不见的分布的模型。领域泛化（DG），即分销概括，近年来引起了越来越令人利益。域概括处理了一个具有挑战性的设置，其中给出了一个或几个不同但相关域，并且目标是学习可以概括到看不见的测试域的模型。多年来，域概括地区已经取得了巨大进展。本文提出了对该地区最近进步的首次审查。首先，我们提供了域泛化的正式定义，并讨论了几个相关领域。然后，我们彻底审查了与域泛化相关的理论，并仔细分析了泛化背后的理论。我们将最近的算法分为三个类：数据操作，表示学习和学习策略，并为每个类别详细介绍几种流行的算法。第三，我们介绍常用的数据集，应用程序和我们的开放源代码库进行公平评估。最后，我们总结了现有文学，并为未来提供了一些潜在的研究主题。

元学习方法旨在构建能够快速适应低数据制度的新任务的学习算法。这种算法的主要基准之一是几次学习问题。在本文中，我们调查了在培训期间采用多任务方法的标准元学习管道的修改。该提出的方法同时利用来自常见损​​失函数中的几个元训练任务的信息。每个任务在损耗功能中的影响由相应的重量控制。正确优化这些权重可能对整个模型的训练产生很大影响，并且可能会提高测试时间任务的质量。在这项工作中，我们提出并调查了使用同时扰动随机近似（SPSA）方法的方法的使用方法，用于元列车任务权重优化。我们还将提出的算法与基于梯度的方法进行了比较，发现随机近似表明了测试时间最大的质量增强。提出的多任务修改可以应用于使用元学习管道的几乎所有方法。在本文中，我们研究了这种修改对CiFar-FS，FC100，TieredimAgenet和MiniimAgenet几秒钟学习基准的原型网络和模型 - 不可知的元学习算法。在这些实验期间，多任务修改已经证明了对原始方法的改进。所提出的SPSA跟踪算法显示了对最先进的元学习方法具有竞争力的最大精度提升。我们的代码可在线获取。

有监督的基于深度学习的方法已应用于以任务为导向的对话框，并在有足够数量的培训示例可用时对有限的域和语言应用有效。在实践中，这些方法遭受了域驱动设计和资源不足的语言的缺点。域和语言模型应该随着问题空间的发展而增长和变化。一方面，对转移学习的研究证明了基于多语言变压器模型学习语义丰富的表示的跨语性能力。另一方面，除了上述方法之外，元学习还能够开发任务和语言学习算法，能够实现泛滥。在这种情况下，本文提出了使用典型的神经网络和基于多语言变压器的模型来研究使用协同进行几次学习的跨语性可传递性。自然语言的实验理解多亚提斯++语料库的任务表明，我们的方法基本上改善了低资源和高资源语言之间观察到的转移学习表现。更普遍地说，我们的方法证实，可以将具有特定语言的有意义的潜在空间推广到使用元学习的情况下看不见和资源不足的潜在空间。