由于NLP模型实现了基准测试的最先进的性能并获得了广泛的应用程序，因此确保在现实世界中的安全部署这些模型的安全部署，例如，确保模型对未经调用或具有挑战性的情景稳健。尽管具有越来越多的学习主题，但它在视觉和NLP等应用中分别探讨了，具有多种研究中的各种定义，评估和缓解策略。在本文中，我们的目标是提供对如何定义，测量和提高NLP鲁棒性的统一调查。我们首先连接多种稳健性的定义，然后统一各种各样的工作方面识别稳健性失败和评估模型的鲁棒性。相应地，我们呈现了数据驱动，模型驱动和基于归纳的缓解策略，具有如何有效地改善NLP模型中的鲁棒性的更系统的观点。最后，我们通过概述开放的挑战和未来方向来促进在这一领域的进一步研究。

最近的自然语言处理（NLP）技术在基准数据集中实现了高性能，主要原因是由于深度学习性能的显着改善。研究界的进步导致了最先进的NLP任务的生产系统的巨大增强，例如虚拟助理，语音识别和情感分析。然而，随着对抗性攻击测试时，这种NLP系统仍然仍然失败。初始缺乏稳健性暴露于当前模型的语言理解能力中的令人不安的差距，当NLP系统部署在现实生活中时，会产生问题。在本文中，我们通过以各种维度的系统方式概述文献来展示了NLP稳健性研究的结构化概述。然后，我们深入了解稳健性的各种维度，跨技术，指标，嵌入和基准。最后，我们认为，鲁棒性应该是多维的，提供对当前研究的见解，确定文学中的差距，以建议值得追求这些差距的方向。

大型语言模型（LLM）已在一系列自然语言理解任务上实现了最先进的表现。但是，这些LLM可能依靠数据集偏差和文物作为预测的快捷方式。这极大地损害了他们的分布（OOD）概括和对抗性鲁棒性。在本文中，我们对最新发展的综述，这些发展解决了LLMS的鲁棒性挑战。我们首先介绍LLM的概念和鲁棒性挑战。然后，我们介绍了在LLM中识别快捷方式学习行为的方法，表征了快捷方式学习的原因以及引入缓解解决方案。最后，我们确定了关键挑战，并将这一研究线的联系引入其他方向。

快捷方式学习的问题在NLP中广为人知，并且近年来一直是重要的研究重点。数据中的意外相关性使模型能够轻松地求解旨在表现出高级语言理解和推理能力的任务。在本调查论文中，我们关注机器阅读理解的领域（MRC），这是展示高级语言理解的重要任务，这也遭受了一系列快捷方式。我们总结了用于测量和减轻快捷方式的可用技术，并以捷径研究进一步进展的建议结论。最重要的是，我们强调了MRC中缓解快捷方式的两个主要问题：缺乏公共挑战集，有效和可重复使用的评估的必要组成部分以及在其他领域中缺乏某些缓解技术。

数据增强是通过转换为机器学习的人工创建数据的人工创建，是一个跨机器学习学科的研究领域。尽管它对于增加模型的概括功能很有用，但它还可以解决许多其他挑战和问题，从克服有限的培训数据到正规化目标到限制用于保护隐私的数据的数量。基于对数据扩展的目标和应用的精确描述以及现有作品的分类法，该调查涉及用于文本分类的数据增强方法，并旨在为研究人员和从业者提供简洁而全面的概述。我们将100多种方法划分为12种不同的分组，并提供最先进的参考文献来阐述哪种方法可以通过将它们相互关联，从而阐述了哪种方法。最后，提供可能构成未来工作的基础的研究观点。

科学研究的基本目标是了解因果关系。然而，尽管因果关系在生活和社会科学中的重要作用，但在自然语言处理（NLP）中并不具有相同的重要性，而自然语言处理（NLP）传统上更加重视预测任务。这种区别开始逐渐消失，随着因果推理和语言处理的融合，跨学科研究的新兴领域。尽管如此，关于NLP因果关系的研究仍然散布在没有统一的定义，基准数据集的情况下，并清楚地表达了将因果推论应用于文本领域的挑战和机遇，并具有其独特的属性。在这项调查中，我们巩固了整个学术领域的研究，并将其置于更广泛的NLP景观中。我们介绍了用文本估算因果效应的统计挑战，其中包含文本用作结果，治疗或解决混杂问题的设置。此外，我们探讨了因果推理的潜在用途，以提高NLP模型的鲁棒性，公平性和解释性。因此，我们提供了NLP社区因果推断的统一概述。

众所周知，端到端的神经NLP体系结构很难理解，这引起了近年来为解释性建模的许多努力。模型解释的基本原则是忠诚，即，解释应准确地代表模型预测背后的推理过程。这项调查首先讨论了忠诚的定义和评估及其对解释性的意义。然后，我们通过将方法分为五类来介绍忠实解释的最新进展：相似性方法，模型内部结构的分析，基于反向传播的方法，反事实干预和自我解释模型。每个类别将通过其代表性研究，优势和缺点来说明。最后，我们从它们的共同美德和局限性方面讨论了上述所有方法，并反思未来的工作方向忠实的解释性。对于有兴趣研究可解释性的研究人员，这项调查将为该领域提供可访问且全面的概述，为进一步探索提供基础。对于希望更好地了解自己的模型的用户，该调查将是一项介绍性手册，帮助选择最合适的解释方法。

由于低资源域名，新任务以及需要大量培训数据的大规模神经网络的普及，最近，数据增强最近看到了对NLP的兴趣增加。尽管最近的高潮，但由于语言数据的离散性质所带来的挑战，这一领域仍然相对望远欠了。在本文中，我们通过以结构化方式概述文献来展示对NLP的全面和统一对NLP的数据。我们首先介绍和激励NLP的数据增强，然后讨论主要的方法论代表性方法。接下来，我们突出显示用于流行NLP应用程序和任务的技术。我们通过概述当前挑战和未来研究的指示来结束。总体而言，我们的论文旨在澄清现有文学的景观，以便NLP的数据增强，并激励该领域的其他工作。我们还提供了一个GitHub存储库，纸张列表将在https://github.com/styfeng/dataaug4nlp上不断更新

数据增强是自然语言处理（NLP）模型的鲁棒性评估的重要组成部分，以及增强他们培训的数据的多样性。在本文中，我们呈现NL-Cogmenter，这是一种新的参与式Python的自然语言增强框架，它支持创建两个转换（对数据的修改）和过滤器（根据特定功能的数据拆分）。我们描述了框架和初始的117个变换和23个过滤器，用于各种自然语言任务。我们通过使用其几个转换来分析流行自然语言模型的鲁棒性来证明NL-Upmenter的功效。基础架构，Datacards和稳健性分析结果在NL-Augmenter存储库上公开可用（\ url {https://github.com/gem-benchmark/nl-augmenter}）。

Recent methods demonstrate that data augmentation using counterfactual knowledge can teach models the causal structure of a task, leading to robust and generalizable models. However, such counterfactual data often has a limited scale and diversity if crowdsourced and is computationally expensive to extend to new perturbation types if generated using supervised methods. To address this, we introduce a new framework called DISCO for automatically generating high-quality counterfactual data at scale. DISCO engineers prompts to generate phrasal perturbations with a large general language model. Then, a task-specific teacher model filters the generation to distill high-quality counterfactual data. We show that learning with this counterfactual data yields a comparatively small student model that is 6% (absolute) more robust and generalizes 5% better across distributions than baselines on various challenging evaluations. This model is also 15% more sensitive in differentiating original and counterfactual examples, on three evaluation sets written by human workers and via human-AI collaboration.

Natural Language Generation (NLG) has improved exponentially in recent years thanks to the development of sequence-to-sequence deep learning technologies such as Transformer-based language models. This advancement has led to more fluent and coherent NLG, leading to improved development in downstream tasks such as abstractive summarization, dialogue generation and data-to-text generation. However, it is also apparent that deep learning based generation is prone to hallucinate unintended text, which degrades the system performance and fails to meet user expectations in many real-world scenarios. To address this issue, many studies have been presented in measuring and mitigating hallucinated texts, but these have never been reviewed in a comprehensive manner before. In this survey, we thus provide a broad overview of the research progress and challenges in the hallucination problem in NLG. The survey is organized into two parts: (1) a general overview of metrics, mitigation methods, and future directions; and (2) an overview of task-specific research progress on hallucinations in the following downstream tasks, namely abstractive summarization, dialogue generation, generative question answering, data-to-text generation, machine translation, and visual-language generation. This survey serves to facilitate collaborative efforts among researchers in tackling the challenge of hallucinated texts in NLG.

作为有效的策略，数据增强（DA）减轻了深度学习技术可能失败的数据稀缺方案。它广泛应用于计算机视觉，然后引入自然语言处理并实现了许多任务的改进。DA方法的主要重点之一是提高培训数据的多样性，从而帮助模型更好地推广到看不见的测试数据。在本调查中，我们根据增强数据的多样性，将DA方法框架为三类，包括释义，注释和采样。我们的论文根据上述类别，详细分析了DA方法。此外，我们还在NLP任务中介绍了他们的应用以及挑战。

Despite being responsible for state-of-the-art results in several computer vision and natural language processing tasks, neural networks have faced harsh criticism due to some of their current shortcomings. One of them is that neural networks are correlation machines prone to model biases within the data instead of focusing on actual useful causal relationships. This problem is particularly serious in application domains affected by aspects such as race, gender, and age. To prevent models from incurring on unfair decision-making, the AI community has concentrated efforts in correcting algorithmic biases, giving rise to the research area now widely known as fairness in AI. In this survey paper, we provide an in-depth overview of the main debiasing methods for fairness-aware neural networks in the context of vision and language research. We propose a novel taxonomy to better organize the literature on debiasing methods for fairness, and we discuss the current challenges, trends, and important future work directions for the interested researcher and practitioner.

具有大量偏见的数据集当前威胁要培训有关NLU任务的值得信赖的模型。尽管取得了巨大进展，但当前的偏见方法却过分依赖偏见属性的知识。但是，属性的​​定义是难以捉摸的，并且在不同的数据集上有所不同。此外，利用输入级别的这些属性到偏置缓解可能会留下内在属性与基本决策规则之间的差距。为了缩小这一差距并解放有关偏见的监督，我们建议将缓解偏见扩展到特征空间。因此，开发了一个新型模型，即恢复具有无知识（风险）的预期功能子空间。假设由各种偏见引起的快捷键特征是为了预测而无意的，则风险将其视为冗余特征。当研究较低的歧管以去除冗余时，风险表明，具有预期功能的极低维度子空间可以牢固地表示高度偏见的数据集。经验结果表明，我们的模型可以始终如一地提高模型的概括到分布式集合，并实现新的最新性能。

文本样式传输是自然语言生成中的重要任务，旨在控制生成的文本中的某些属性，例如礼貌，情感，幽默和许多其他特性。它在自然语言处理领域拥有悠久的历史，最近由于深神经模型带来的有希望的性能而重大关注。在本文中，我们对神经文本转移的研究进行了系统调查，自2017年首次神经文本转移工作以来跨越100多个代表文章。我们讨论了任务制定，现有数据集和子任务，评估，以及丰富的方法在存在并行和非平行数据存在下。我们还提供关于这项任务未来发展的各种重要主题的讨论。我们的策据纸张列表在https://github.com/zhijing-jin/text_style_transfer_survey

视觉表示学习在各种现实世界中无处不在，包括视觉理解，视频理解，多模式分析，人类计算机的互动和城市计算。由于出现了大量多模式的异质空间/时间/时空数据，因此在大数据时代，缺乏可解释性，鲁棒性和分布外的概括正在成为现有视觉模型的挑战。大多数现有方法倾向于符合原始数据/可变分布，而忽略了多模式知识背后的基本因果关系，该知识缺乏统一的指导和分析，并分析了为什么现代视觉表示学习方法很容易崩溃成数据偏见并具有有限的概括和认知能力。因此，受到人类水平代理人的强大推理能力的启发，近年来见证了巨大的努力，以发展因果推理范式，以良好的认知能力实现强大的代表性和模型学习。在本文中，我们对视觉表示学习的现有因果推理方法进行了全面审查，涵盖了基本理论，模型和数据集。还讨论了当前方法和数据集的局限性。此外，我们提出了一些预期的挑战，机会和未来的研究方向，用于基准视觉表示学习中的因果推理算法。本文旨在为这个新兴领域提供全面的概述，引起人们的注意，鼓励讨论，使发展新颖的因果推理方法，公开可用的基准和共识建设标准的紧迫性，以可靠的视觉表示和相关的真实实践。世界应用更有效。

日益增长的证据表明，由于NLP研究界的很大一部分，已经采用了最初被引入图像的对抗稳健性的经典概念。我们表明，在NLP的背景下，这一概念是有问题的，因为它考虑了一个狭隘的语言现象。在本文中，我们争论语义稳健性，与语言忠诚的人类概念更好。我们在偏差方面表征了语义稳健性，预计它将在模型中诱导。我们使用基于模板的生成试验台研究了一系列香草和强大的训练架构的语义稳健性。我们补充了经验证据的分析，尽管较难实施，语义稳健性可以提高性能％，为复杂语言现象提供保证，其中模型在经典感觉中的稳健失败。

尽管表现出色，但大型语言模型（LLMS）还是臭名昭著的缺陷，因为它们偏爱简单的，表面级的文本关系而不是问题的完全语义复杂性。该提案调查了该问题的共同点，其在训练领域之外概括的能力较弱。我们调查了各种研究方向，提供了模型泛化能力的估计，发现将其中一些措施纳入培训目标会导致神经模型的分布鲁棒性增强。基于这些发现，我们提出了未来的研究指导，以增强LLM的鲁棒性。

可解释的人工智能（XAI）中方法的动机通常包括检测，量化和缓解偏见，并为使机器学习模型更加公平而做出贡献。但是，确切的XAI方法可以如何帮助打击偏见。在本文中，我们简要回顾了NLP研究中的解释性和公平性的趋势，确定了当前的实践，其中采用了解释性方法来检测和减轻偏见，并调查了阻止XAI方法在解决公平问题中更广泛使用的障碍。

语言可以用作再现和执行有害刻板印象和偏差的手段，并被分析在许多研究中。在本文中，我们对自然语言处理中的性别偏见进行了304篇论文。我们分析了社会科学中性别及其类别的定义，并将其连接到NLP研究中性别偏见的正式定义。我们调查了在对性别偏见的研究中应用的Lexica和数据集，然后比较和对比方法来检测和减轻性别偏见。我们发现对性别偏见的研究遭受了四个核心限制。 1）大多数研究将性别视为忽视其流动性和连续性的二元变量。 2）大部分工作都在单机设置中进行英语或其他高资源语言进行。 3）尽管在NLP方法中对性别偏见进行了无数的论文，但我们发现大多数新开发的算法都没有测试他们的偏见模型，并无视他们的工作的伦理考虑。 4）最后，在这一研究线上发展的方法基本缺陷涵盖性别偏差的非常有限的定义，缺乏评估基线和管道。我们建议建议克服这些限制作为未来研究的指导。