We present EDA: easy data augmentation techniques for boosting performance on text classification tasks. EDA consists of four simple but powerful operations: synonym replacement, random insertion, random swap, and random deletion. On five text classification tasks, we show that EDA improves performance for both convolutional and recurrent neural networks. EDA demonstrates particularly strong results for smaller datasets; on average, across five datasets, training with EDA while using only 50% of the available training set achieved the same accuracy as normal training with all available data. We also performed extensive ablation studies and suggest parameters for practical use.

我们在二进制文本匹配分类任务上介绍了三个大规模实验，以评估随机文本扰动作为NLP的数据增强方法的有效性和普遍性。发现增强可以根据模型是否在足够的原始培训示例中训练，给三个神经分类模型的测试集表现带来负面影响和积极影响。无论是五个随机的文本编辑操作，用于增强文本，还是分别应用。我们的研究表明，随机文本扰动的有效性是特定于任务的，通常不是积极的。

数据增强（DA）是数据稀缺和不平衡问题的常见解决方案，这是从自然语言处理（NLP）社区增加的区域。虽然各种DA技术已在NLP研究中使用，但对于NLP的语言知识的作用很少，毫无疑问;特别是，更有语言知识是否导致更好的DA方法。要调查这一点，我们设计了两个适应的DA程序，并将其应用于LCQMC（大规模中文匹配语料库），用于二进制中文问题匹配分类任务。这两个DA程序通过五个简单的文本编辑操作产生了增强文本，很大程度上无论语言生成规则如何，都以n-gram语言模型增强，使其与额外的语言知识融合。然后，我们培训了四种神经网络模型和LCQMC列车的预先训练的模型，不同的尺寸以及由两个DA程序产生的相应的增强培训组。五个分类模型的测试集表表明，添加概率语言知识作为约束，不会使基础DA程序更好，因为在两种类型的增强列车集上培训的模型之间没有可辨别的性能差异。相反，由于所增加的语言知识降低了增强文本的多样性，因此训练有素的模型概括是妨碍的。此外，由于底层文本编辑操作无法制定释义增强文本，发现对两种类型的增强培训的集合培训的模型培训的模型被认为是直接培训的那些。我们得出结论，增强文本的有效性和多样性是DA方法或技术的两个重要因素，并提出了案文增强的可能范式转变。

数据增强技术被广泛用于文本分类任务中，以提高分类器的性能，尤其是在低资源场景中。大多数以前的方法都会进行文本增强，而无需考虑文本中单词的不同功能，这可能会产生不令人满意的样本。不同的单词可能在文本分类中扮演不同的角色，这激发了我们战略性地选择文本增强作用的适当角色。在这项工作中，我们首先从统计相关性和语义相似性的角度来确定文本中的单词与文本类别之间的关系，具有不同的文本分类功能。基于这些单词角色，我们提出了一种称为STA（选择性文本增强）的新的增强技术，其中不同的文本编辑操作被选择性地应用于具有特定角色的单词。 STA可以在保留原始核心语义的同时生成多样化和相对干净的样品，并且也很容易实现。 5个基准低资源文本分类数据集进行的大量实验表明，STA生产的增强样本成功地提高了分类模型的性能，这些模型的性能大大优于先前的非选择性方法，包括两种基于语言模型的大型技术。跨数据库实验进一步表明，与以前的方法相比，STA可以帮助分类器更好地推广到其他数据集。

数据饥饿的深度神经网络已经将自己作为许多NLP任务的标准建立为包括传统序列标记的标准。尽管他们在高资源语言上表现最先进的表现，但它们仍然落后于低资源场景的统计计数器。一个方法来反击攻击此问题是文本增强，即，从现有数据生成新的合成训练数据点。虽然NLP最近目睹了一种文本增强技术的负载，但该领域仍然缺乏对多种语言和序列标记任务的系统性能分析。为了填补这一差距，我们调查了三类文本增强方法，其在语法（例如，裁剪子句子），令牌（例如，随机字插入）和字符（例如，字符交换）级别上执行更改。我们系统地将它们与语音标记，依赖解析和语义角色标记的分组进行了比较，用于使用各种模型的各种语言系列，包括依赖于诸如MBERT的普赖金的多语言语境化语言模型的架构。增强最显着改善了解析，然后是语音标记和语义角色标记的依赖性解析。我们发现实验技术通常在形态上丰富的语言，而不是越南语等分析语言。我们的研究结果表明，增强技术可以进一步改善基于MBERT的强基线。我们将字符级方法标识为最常见的表演者，而同义词替换和语法增强仪提供不一致的改进。最后，我们讨论了最大依赖于任务，语言对和模型类型的结果。

数据增强是通过转换为机器学习的人工创建数据的人工创建，是一个跨机器学习学科的研究领域。尽管它对于增加模型的概括功能很有用，但它还可以解决许多其他挑战和问题，从克服有限的培训数据到正规化目标到限制用于保护隐私的数据的数量。基于对数据扩展的目标和应用的精确描述以及现有作品的分类法，该调查涉及用于文本分类的数据增强方法，并旨在为研究人员和从业者提供简洁而全面的概述。我们将100多种方法划分为12种不同的分组，并提供最先进的参考文献来阐述哪种方法可以通过将它们相互关联，从而阐述了哪种方法。最后，提供可能构成未来工作的基础的研究观点。

在线用户的精神障碍使用社交媒体帖子确定。该域名的主要挑战是利用在社交媒体平台上使用用户生成文本的道德许可。学术RE搜索者确定了心理健康分类的不足和未标记数据的问题。要处理此问题，我们已经研究了数据增强技术对域特定用户生成的心理健康分类文本的影响。在现有的良好建立的数据增强技术中，我们已经识别了简单的数据增强（EDA），条件BERT和后退转换（BT）作为生成额外文本以提高分类器性能的潜在技术。此外，采用了三种不同分类器随机林（RF），支持向量机（SVM）和逻辑回归（LR）来分析数据增强对两个公共可用的社交媒体数据集的影响。实验心理结果显示在增强数据上培训时对分类器性能的显着改进。

本文提出了一种简单但有效的基于插值的数据增强方法，称为Doublemix，以改善模型在文本分类中的鲁棒性。 Doublemix首先利用几个简单的增强操作来为每个培训数据生成几个扰动的样本，然后使用扰动的数据和原始数据在神经模型的隐藏空间中进行两步插值。具体而言，它首先将扰动的数据混合到合成样本中，然后混合原始数据和合成的扰动数据。 Doublemix通过学习隐藏空间中的“转移”功能来增强模型的鲁棒性。在六个文本分类基准数据集上，我们的方法优于几种流行的文本增强方法，包括令牌级别，句子级别和隐藏级数据增强技术。此外，低资源设置中的实验表明，当培训数据稀缺时，我们的方法一致地改善了模型的性能。广泛的消融研究和案例研究证实，我们方法的每个组成部分都有助于最终表现，并表明我们的方法在具有挑战性的反例中表现出卓越的表现。此外，视觉分析表明，我们方法生成的文本特征是高度可解释的。我们的本文代码可以在https://github.com/declare-lab/doublemix.git上找到。

This paper presents a new data augmentation algorithm for natural understanding tasks, called RPN:Random Position Noise algorithm.Due to the relative paucity of current text augmentation methods. Few of the extant methods apply to natural language understanding tasks for all sentence-level tasks.RPN applies the traditional augmentation on the original text to the word vector level. The RPN algorithm makes a substitution in one or several dimensions of some word vectors. As a result, the RPN can introduce a certain degree of perturbation to the sample and can adjust the range of perturbation on different tasks. The augmented samples are then used to give the model training.This makes the model more robust. In subsequent experiments, we found that adding RPN to the training or fine-tuning model resulted in a stable boost on all 8 natural language processing tasks, including TweetEval, CoLA, and SST-2 datasets, and more significant improvements than other data augmentation algorithms.The RPN algorithm applies to all sentence-level tasks for language understanding and is used in any deep learning model with a word embedding layer.

仇恨言论的大规模传播，针对特定群体的仇恨内容，是一个批评社会重要性的问题。仇恨语音检测的自动化方法通常采用最先进的深度学习（DL）的文本分类器 - 非常大的预训练的神经语言模型超过1亿个参数，将这些模型适应仇恨语音检测的任务相关标记的数据集。不幸的是，只有许多标记的数据集有限的尺寸可用于此目的。我们为推进这种事态的高潜力进行了几项贡献。我们呈现HyperNetworks用于仇恨语音检测，这是一种特殊的DL网络，其权重由小型辅助网络调节。这些架构在字符级运行，而不是字级，并且与流行的DL分类器相比，几个较小的顺序大小。我们进一步表明，在命名为IT数据增强的过程中使用大量自动生成的示例的培训讨厌检测分类器通常是有益的，但这种做法尤其提高了所提出的HyperNetworks的性能。事实上，我们实现了比艺术最新的语言模型相当或更好的性能，这些模型是使用这种方法的预先训练的和数量级，与使用五个公共仇恨语音数据集进行评估。

对于自然语言处理应用可能是有问题的，因为它们的含义不能从其构成词语推断出来。缺乏成功的方法方法和足够大的数据集防止了用于检测成语的机器学习方法的开发，特别是对于在训练集中不发生的表达式。我们提出了一种叫做小鼠的方法，它使用上下文嵌入来实现此目的。我们展示了一个新的多字表达式数据集，具有文字和惯用含义，并使用它根据两个最先进的上下文单词嵌入式培训分类器：Elmo和Bert。我们表明，使用两个嵌入式的深度神经网络比现有方法更好地执行，并且能够检测惯用词使用，即使对于训练集中不存在的表达式。我们展示了开发模型的交叉传输，并分析了所需数据集的大小。

数据增强是解决过度合适的有效方法。许多以前的作品提出了针对NLP的不同数据增强策略，例如注入噪声，单词更换，反向翻译等。虽然有效，但它们错过了语言的一个重要特征 - 复杂性，复杂表达的含义是由其子构建的部分。在此激励的情况下，我们提出了一种称为Treemix的自然语言理解的组成数据增强方法。具体而言，Treemix利用选区解析树将句子分解为组成型子结构和混合数据增强技术以重组它们以生成新的句子。与以前的方法相比，Treemix引入了更大的多样性，并鼓励模型学习NLP数据的组成性。关于文本分类和扫描的广泛实验表明，Treemix优于当前最新数据增强方法。

通过匿名和可访问性，社交媒体平台促进了仇恨言论的扩散，提示在开发自动方法以识别这些文本时提高研究。本文探讨了使用各种深度神经网络模型架构（如长短期内存（LSTM）和卷积神经网络（CNN）的文本中性别歧视分类。这些网络与来自变压器（BERT）和Distilbert模型的双向编码器表示形式的传输学习一起使用，以及数据增强，以在社交中的性别歧视识别中对推文和GAB的数据集进行二进制和多种性别歧视分类Iberlef 2021中的网络（存在）任务。看到模型与竞争对手的比较，使用BERT和多滤波器CNN模型进行了最佳性能。数据增强进一步提高了多级分类任务的结果。本文还探讨了模型所做的错误，并讨论了由于标签的主观性和社交媒体中使用的自然语言的复杂性而自动对性别歧视的难度。

Subword units are an effective way to alleviate the open vocabulary problems in neural machine translation (NMT). While sentences are usually converted into unique subword sequences, subword segmentation is potentially ambiguous and multiple segmentations are possible even with the same vocabulary. The question addressed in this paper is whether it is possible to harness the segmentation ambiguity as a noise to improve the robustness of NMT. We present a simple regularization method, subword regularization, which trains the model with multiple subword segmentations probabilistically sampled during training. In addition, for better subword sampling, we propose a new subword segmentation algorithm based on a unigram language model. We experiment with multiple corpora and report consistent improvements especially on low resource and out-of-domain settings.

仇恨言论是一种在线骚扰的形式，涉及使用滥用语言，并且在社交媒体帖子中通常可以看到。这种骚扰主要集中在诸如宗教，性别，种族等的特定群体特征上，如今它既有社会和经济后果。文本文章中对滥用语言的自动检测一直是一项艰巨的任务，但最近它从科学界获得了很多兴趣。本文解决了在社交媒体中辨别仇恨内容的重要问题。我们在这项工作中提出的模型是基于LSTM神经网络体系结构的现有方法的扩展，我们在短文中适当地增强和微调以检测某些形式的仇恨语言，例如种族主义或性别歧视。最重要的增强是转换为由复发性神经网络（RNN）分类器组成的两阶段方案。将第一阶段的所有一Vs式分类器（OVR）分类器的输出组合在一起，并用于训练第二阶段分类器，最终决定了骚扰的类型。我们的研究包括对在16K推文的公共语料库中评估的第二阶段提出的几种替代方法的性能比较，然后对另一个数据集进行了概括研究。报道的结果表明，与当前的最新技术相比，在仇恨言论检测任务中，所提出的方案的分类质量出色。

We introduce a new type of deep contextualized word representation that models both (1) complex characteristics of word use (e.g., syntax and semantics), and (2) how these uses vary across linguistic contexts (i.e., to model polysemy). Our word vectors are learned functions of the internal states of a deep bidirectional language model (biLM), which is pretrained on a large text corpus. We show that these representations can be easily added to existing models and significantly improve the state of the art across six challenging NLP problems, including question answering, textual entailment and sentiment analysis. We also present an analysis showing that exposing the deep internals of the pre-trained network is crucial, allowing downstream models to mix different types of semi-supervision signals.

在许多机器学习的情况下，研究表明，培训数据的开发可能比分类器本身的选择和建模更高。因此，已经开发了数据增强方法来通过人为创建的培训数据来改善分类器。在NLP中，为提供新的语言模式的文本转换建立通用规则存在挑战。在本文中，我们介绍并评估一种适合于长期和短文的分类器的性能的文本生成方法。通过我们的文本生成方法的增强，我们在评估简短和长期文本任务时取得了令人鼓舞的改进。尤其是在小型数据分析方面，与NO增强基线和其他数据增强技术相比，在构建的低数据状态下，添加精度的提高到达15.53％和3.56％。由于这些构建制度的当前轨道并非普遍适用，因此我们还显示了几个现实世界中低数据任务（高达+4.84 F1得分）的重大改进。由于我们从许多角度（总共11个数据集）评估了该方法，因此我们还观察到该方法可能不合适的情况。我们讨论了在不同类型的数据集上成功应用我们的方法的含义和模式。

本文介绍了一种新的数据增强方法，用于神经机器翻译，该方法可以在语言内部和跨语言内部实施更强的语义一致性。我们的方法基于条件掩盖语言模型（CMLM），该模型是双向的，可以在左右上下文以及标签上有条件。我们证明CMLM是生成上下文依赖性单词分布的好技术。特别是，我们表明CMLM能够通过在替换过程中对源和目标进行调节来实现语义一致性。此外，为了增强多样性，我们将软词替换的想法纳入了数据增强，该概念用词汇上的概率分布代替了一个单词。在不同量表的四个翻译数据集上进行的实验表明，总体解决方案会导致更现实的数据增强和更好的翻译质量。与最新作品相比，我们的方法始终取得了最佳性能，并且在基线上的提高了1.90个BLEU点。

我们从任务特定的BERT基教师模型执行知识蒸馏（KD）基准到各种学生模型：Bilstm，CNN，Bert-Tiny，Bert-Mini和Bert-small。我们的实验涉及在两个任务中分组的12个数据集：印度尼西亚语言中的文本分类和序列标记。我们还比较蒸馏的各个方面，包括使用Word Embeddings和未标记的数据增强的使用。我们的实验表明，尽管基于变压器的模型的普及程度不断上升，但是使用Bilstm和CNN学生模型，与修剪的BERT模型相比，使用Bilstm和CNN学生模型提供了性能和计算资源（CPU，RAM和存储）之间的最佳权衡。我们进一步提出了一些快速胜利，通过涉及涉及丢失功能，Word Embeddings和未标记的数据准备的简单选择的高效KD培训机制来生产小型NLP模型。

由于低资源域名，新任务以及需要大量培训数据的大规模神经网络的普及，最近，数据增强最近看到了对NLP的兴趣增加。尽管最近的高潮，但由于语言数据的离散性质所带来的挑战，这一领域仍然相对望远欠了。在本文中，我们通过以结构化方式概述文献来展示对NLP的全面和统一对NLP的数据。我们首先介绍和激励NLP的数据增强，然后讨论主要的方法论代表性方法。接下来，我们突出显示用于流行NLP应用程序和任务的技术。我们通过概述当前挑战和未来研究的指示来结束。总体而言，我们的论文旨在澄清现有文学的景观，以便NLP的数据增强，并激励该领域的其他工作。我们还提供了一个GitHub存储库，纸张列表将在https://github.com/styfeng/dataaug4nlp上不断更新