本文提出了一种简单但有效的基于插值的数据增强方法，称为Doublemix，以改善模型在文本分类中的鲁棒性。 Doublemix首先利用几个简单的增强操作来为每个培训数据生成几个扰动的样本，然后使用扰动的数据和原始数据在神经模型的隐藏空间中进行两步插值。具体而言，它首先将扰动的数据混合到合成样本中，然后混合原始数据和合成的扰动数据。 Doublemix通过学习隐藏空间中的“转移”功能来增强模型的鲁棒性。在六个文本分类基准数据集上，我们的方法优于几种流行的文本增强方法，包括令牌级别，句子级别和隐藏级数据增强技术。此外，低资源设置中的实验表明，当培训数据稀缺时，我们的方法一致地改善了模型的性能。广泛的消融研究和案例研究证实，我们方法的每个组成部分都有助于最终表现，并表明我们的方法在具有挑战性的反例中表现出卓越的表现。此外，视觉分析表明，我们方法生成的文本特征是高度可解释的。我们的本文代码可以在https://github.com/declare-lab/doublemix.git上找到。

数据增强是解决过度合适的有效方法。许多以前的作品提出了针对NLP的不同数据增强策略，例如注入噪声，单词更换，反向翻译等。虽然有效，但它们错过了语言的一个重要特征 - 复杂性，复杂表达的含义是由其子构建的部分。在此激励的情况下，我们提出了一种称为Treemix的自然语言理解的组成数据增强方法。具体而言，Treemix利用选区解析树将句子分解为组成型子结构和混合数据增强技术以重组它们以生成新的句子。与以前的方法相比，Treemix引入了更大的多样性，并鼓励模型学习NLP数据的组成性。关于文本分类和扫描的广泛实验表明，Treemix优于当前最新数据增强方法。

尽管在数据增强中的混合成功，但由于自然语言的离散和可变性质，因此对自然语言处理（NLP）任务的适用性受到限制。因此，最近的研究依赖于域的特定启发式和手动制作的资源，例如词典，以便在NLP中应用混合。在本文中，我们为数据增强的目的提出了一种无监督的学习方法，以便为数据增强而言，我们将作为“学习用于数据增强”（LINDA），这不需要任何启发式或手动制作资源但学习通过自然语言歧管在任何一对自然语言句子之间插入。在经验展示Linda的插值能力之后，我们表明Linda确实允许我们在NLP中无缝地应用混合，并导致文本分类中的更好的概括和域名。

数据增强是通过转换为机器学习的人工创建数据的人工创建，是一个跨机器学习学科的研究领域。尽管它对于增加模型的概括功能很有用，但它还可以解决许多其他挑战和问题，从克服有限的培训数据到正规化目标到限制用于保护隐私的数据的数量。基于对数据扩展的目标和应用的精确描述以及现有作品的分类法，该调查涉及用于文本分类的数据增强方法，并旨在为研究人员和从业者提供简洁而全面的概述。我们将100多种方法划分为12种不同的分组，并提供最先进的参考文献来阐述哪种方法可以通过将它们相互关联，从而阐述了哪种方法。最后，提供可能构成未来工作的基础的研究观点。

对比学习被出现为强大的代表学习方法，促进各种下游任务，特别是当监督数据有限时。如何通过数据增强构建有效的对比样本是其成功的关键。与视觉任务不同，语言任务中尚未对对比学习进行对比学习的数据增强方法。在本文中，我们提出了一种使用文本摘要构建语言任务的对比样本的新方法。我们使用这些样本进行监督的对比学习，以获得更好的文本表示，这极大地利用了具有有限注释的文本分类任务。为了进一步改进该方法，除了交叉熵损失之外，我们将从不同类中的样本混合并添加一个名为MIXSUM的额外正则化。真实世界文本分类数据集（Amazon-5，Yelp-5，AG新闻和IMDB）的实验展示了基于摘要的数据增强和MIXSUM正规化的提议对比学习框架的有效性。

最近的作品表明了解释性和鲁棒性是值得信赖和可靠的文本分类的两个关键成分。然而，以前的作品通常是解决了两个方面的一个：i）如何提取准确的理由，以便在有利于预测的同时解释; ii）如何使预测模型对不同类型的对抗性攻击稳健。直观地，一种产生有用的解释的模型应该对对抗性攻击更加强大，因为我们无法信任输出解释的模型，而是在小扰动下改变其预测。为此，我们提出了一个名为-BMC的联合分类和理由提取模型。它包括两个关键机制：混合的对手训练（AT）旨在在离散和嵌入空间中使用各种扰动，以改善模型的鲁棒性，边界匹配约束（BMC）有助于利用边界信息的引导来定位理由。基准数据集的性能表明，所提出的AT-BMC优于分类和基本原子的基础，由大边距提取。鲁棒性分析表明，建议的AT-BMC将攻击成功率降低了高达69％。经验结果表明，强大的模型与更好的解释之间存在连接。

由于低资源域名，新任务以及需要大量培训数据的大规模神经网络的普及，最近，数据增强最近看到了对NLP的兴趣增加。尽管最近的高潮，但由于语言数据的离散性质所带来的挑战，这一领域仍然相对望远欠了。在本文中，我们通过以结构化方式概述文献来展示对NLP的全面和统一对NLP的数据。我们首先介绍和激励NLP的数据增强，然后讨论主要的方法论代表性方法。接下来，我们突出显示用于流行NLP应用程序和任务的技术。我们通过概述当前挑战和未来研究的指示来结束。总体而言，我们的论文旨在澄清现有文学的景观，以便NLP的数据增强，并激励该领域的其他工作。我们还提供了一个GitHub存储库，纸张列表将在https://github.com/styfeng/dataaug4nlp上不断更新

GPT-3等大型语言模型是优秀的几次学习者，允许他们通过自然文本提示来控制。最近的研究报告称，基于及时的直接分类消除了对微调的需求，但缺乏数据和推理可扩展性。本文提出了一种新的数据增强技术，利用大规模语言模型来生成来自真实样本的混合的现实文本样本。我们还建议利用语言模型预测的软标签，从大规模语言模型中有效地蒸馏知识并同时创建文本扰动。我们对各种分类任务进行数据增强实验，并显示我们的方法非常优于现有的文本增强方法。消融研究和定性分析为我们的方法提供了更多的见解。

Data Augmentation (DA) is frequently used to automatically provide additional training data without extra human annotation. However, data augmentation may introduce noisy data that impairs training. To guarantee the quality of augmented data, existing methods either assume no noise exists in the augmented data and adopt consistency training or use simple heuristics such as training loss and diversity constraints to filter out ``noisy'' data. However, those filtered examples may still contain useful information, and dropping them completely causes loss of supervision signals. In this paper, based on the assumption that the original dataset is cleaner than the augmented data, we propose an on-the-fly denoising technique for data augmentation that learns from soft augmented labels provided by an organic teacher model trained on the cleaner original data. A simple self-regularization module is applied to force the model prediction to be consistent across two distinct dropouts to further prevent overfitting on noisy labels. Our method can be applied to augmentation techniques in general and can consistently improve the performance on both text classification and question-answering tasks.

数据增强技术被广泛用于文本分类任务中，以提高分类器的性能，尤其是在低资源场景中。大多数以前的方法都会进行文本增强，而无需考虑文本中单词的不同功能，这可能会产生不令人满意的样本。不同的单词可能在文本分类中扮演不同的角色，这激发了我们战略性地选择文本增强作用的适当角色。在这项工作中，我们首先从统计相关性和语义相似性的角度来确定文本中的单词与文本类别之间的关系，具有不同的文本分类功能。基于这些单词角色，我们提出了一种称为STA（选择性文本增强）的新的增强技术，其中不同的文本编辑操作被选择性地应用于具有特定角色的单词。 STA可以在保留原始核心语义的同时生成多样化和相对干净的样品，并且也很容易实现。 5个基准低资源文本分类数据集进行的大量实验表明，STA生产的增强样本成功地提高了分类模型的性能，这些模型的性能大大优于先前的非选择性方法，包括两种基于语言模型的大型技术。跨数据库实验进一步表明，与以前的方法相比，STA可以帮助分类器更好地推广到其他数据集。

几乎没有命名的实体识别（NER）对于在有限的资源领域中标记的实体标记至关重要，因此近年来受到了适当的关注。现有的几声方法主要在域内设置下进行评估。相比之下，对于这些固有的忠实模型如何使用一些标记的域内示例在跨域NER中执行的方式知之甚少。本文提出了一种两步以理性为中心的数据增强方法，以提高模型的泛化能力。几个数据集中的结果表明，与先前的最新方法相比，我们的模型无形方法可显着提高跨域NER任务的性能，包括反事实数据增强和及时调用方法。我们的代码可在\ url {https://github.com/lifan-yuan/factmix}上获得。

基于方面的情感分析（ABSA）是一项精细的情感分析任务，它的重点是检测句子中的情感极性。但是，它始终对多方面的挑战敏感，在句子中，多个方面的特征将相互影响。为了减轻此问题，我们设计了一个新颖的培训框架，称为对比度跨通道数据增强（C3 DA），该框架利用了一个内域的发电机来构建更多的多种相应样本，然后通过对比度模型通过对比度学习的稳健性，从而通过对比度学习的稳健性这些生成的数据。实际上，鉴于生成预审预测的语言模型和一些有限的ABSA标记数据，我们首先采用一些参数效率的方法来执行内域微调。然后，所获得的内域发生器用于从两个通道（即方面增强通道和极性增强通道）生成合成句子，该句子分别在给定的方面和极性上生成句子条件。具体而言，我们的C3 DA以跨渠道的方式执行句子生成以获取更多句子，并提出了熵最小化过滤器以滤除低质量生成的样品。广泛的实验表明，我们的C3 DA可以在准确性和宏观上胜过约1％的基准，而不会增加1％。代码和数据在https://github.com/wangbing1416/c3da中发布。

数据饥饿的深度神经网络已经将自己作为许多NLP任务的标准建立为包括传统序列标记的标准。尽管他们在高资源语言上表现最先进的表现，但它们仍然落后于低资源场景的统计计数器。一个方法来反击攻击此问题是文本增强，即，从现有数据生成新的合成训练数据点。虽然NLP最近目睹了一种文本增强技术的负载，但该领域仍然缺乏对多种语言和序列标记任务的系统性能分析。为了填补这一差距，我们调查了三类文本增强方法，其在语法（例如，裁剪子句子），令牌（例如，随机字插入）和字符（例如，字符交换）级别上执行更改。我们系统地将它们与语音标记，依赖解析和语义角色标记的分组进行了比较，用于使用各种模型的各种语言系列，包括依赖于诸如MBERT的普赖金的多语言语境化语言模型的架构。增强最显着改善了解析，然后是语音标记和语义角色标记的依赖性解析。我们发现实验技术通常在形态上丰富的语言，而不是越南语等分析语言。我们的研究结果表明，增强技术可以进一步改善基于MBERT的强基线。我们将字符级方法标识为最常见的表演者，而同义词替换和语法增强仪提供不一致的改进。最后，我们讨论了最大依赖于任务，语言对和模型类型的结果。

在这项工作中，我们以一种充满挑战的自我监督方法研究无监督的领域适应性（UDA）。困难之一是如何在没有目标标签的情况下学习任务歧视。与以前的文献直接使跨域分布或利用反向梯度保持一致，我们建议域混淆对比度学习（DCCL），以通过域难题桥接源和目标域，并在适应后保留歧视性表示。从技术上讲，DCCL搜索了最大的挑战方向，而精美的工艺领域将增强型混淆为正对，然后对比鼓励该模型向其他领域提取陈述，从而学习更稳定和有效的域名。我们还研究对比度学习在执行其他数据增强时是否必然有助于UDA。广泛的实验表明，DCCL明显优于基准。

作为有效的策略，数据增强（DA）减轻了深度学习技术可能失败的数据稀缺方案。它广泛应用于计算机视觉，然后引入自然语言处理并实现了许多任务的改进。DA方法的主要重点之一是提高培训数据的多样性，从而帮助模型更好地推广到看不见的测试数据。在本调查中，我们根据增强数据的多样性，将DA方法框架为三类，包括释义，注释和采样。我们的论文根据上述类别，详细分析了DA方法。此外，我们还在NLP任务中介绍了他们的应用以及挑战。

Natural Language Inference (NLI) or Recognizing Textual Entailment (RTE) aims at predicting the relation between a pair of sentences (premise and hypothesis) as entailment, contradiction or semantic independence. Although deep learning models have shown promising performance for NLI in recent years, they rely on large scale expensive human-annotated datasets. Semi-supervised learning (SSL) is a popular technique for reducing the reliance on human annotation by leveraging unlabeled data for training. However, despite its substantial success on single sentence classification tasks where the challenge in making use of unlabeled data is to assign "good enough" pseudo-labels, for NLI tasks, the nature of unlabeled data is more complex: one of the sentences in the pair (usually the hypothesis) along with the class label are missing from the data and require human annotations, which makes SSL for NLI more challenging. In this paper, we propose a novel way to incorporate unlabeled data in SSL for NLI where we use a conditional language model, BART to generate the hypotheses for the unlabeled sentences (used as premises). Our experiments show that our SSL framework successfully exploits unlabeled data and substantially improves the performance of four NLI datasets in low-resource settings. We release our code at: https://github.com/msadat3/SSL_for_NLI.

This paper presents a new data augmentation algorithm for natural understanding tasks, called RPN:Random Position Noise algorithm.Due to the relative paucity of current text augmentation methods. Few of the extant methods apply to natural language understanding tasks for all sentence-level tasks.RPN applies the traditional augmentation on the original text to the word vector level. The RPN algorithm makes a substitution in one or several dimensions of some word vectors. As a result, the RPN can introduce a certain degree of perturbation to the sample and can adjust the range of perturbation on different tasks. The augmented samples are then used to give the model training.This makes the model more robust. In subsequent experiments, we found that adding RPN to the training or fine-tuning model resulted in a stable boost on all 8 natural language processing tasks, including TweetEval, CoLA, and SST-2 datasets, and more significant improvements than other data augmentation algorithms.The RPN algorithm applies to all sentence-level tasks for language understanding and is used in any deep learning model with a word embedding layer.

Recent studies have shown the impressive efficacy of counterfactually augmented data (CAD) for reducing NLU models' reliance on spurious features and improving their generalizability. However, current methods still heavily rely on human efforts or task-specific designs to generate counterfactuals, thereby impeding CAD's applicability to a broad range of NLU tasks. In this paper, we present AutoCAD, a fully automatic and task-agnostic CAD generation framework. AutoCAD first leverages a classifier to unsupervisedly identify rationales as spans to be intervened, which disentangles spurious and causal features. Then, AutoCAD performs controllable generation enhanced by unlikelihood training to produce diverse counterfactuals. Extensive evaluations on multiple out-of-domain and challenge benchmarks demonstrate that AutoCAD consistently and significantly boosts the out-of-distribution performance of powerful pre-trained models across different NLU tasks, which is comparable or even better than previous state-of-the-art human-in-the-loop or task-specific CAD methods. The code is publicly available at https://github.com/thu-coai/AutoCAD.

We present EDA: easy data augmentation techniques for boosting performance on text classification tasks. EDA consists of four simple but powerful operations: synonym replacement, random insertion, random swap, and random deletion. On five text classification tasks, we show that EDA improves performance for both convolutional and recurrent neural networks. EDA demonstrates particularly strong results for smaller datasets; on average, across five datasets, training with EDA while using only 50% of the available training set achieved the same accuracy as normal training with all available data. We also performed extensive ablation studies and suggest parameters for practical use.

随着预先训练模型的巨大成功，Pretrain-Then-Finetune范式已被广泛采用下游任务，以获得源代码的理解。但是，与昂贵的培训从头开始培训，如何将预先训练的模型从划痕进行有效地调整到新任务的训练模型尚未完全探索。在本文中，我们提出了一种桥接预先训练的模型和与代码相关任务的方法。我们利用语义保留的转换来丰富下游数据分集，并帮助预先接受的模型学习语义特征不变于这些语义上等效的转换。此外，我们介绍课程学习以易于努力的方式组织转换的数据，以微调现有的预先训练的模型。我们将我们的方法应用于一系列预先训练的型号，它们在源代码理解的任务中显着优于最先进的模型，例如算法分类，代码克隆检测和代码搜索。我们的实验甚至表明，在没有重量训练的代码数据上，自然语言预先训练的模型罗伯塔微调我们的轻质方法可以优于或竞争现有的代码，在上述任务中进行微调，如Codebert和Codebert和GraphCodebert。这一发现表明，代码预训练模型中仍有很大的改进空间。