快捷方式学习的问题在NLP中广为人知，并且近年来一直是重要的研究重点。数据中的意外相关性使模型能够轻松地求解旨在表现出高级语言理解和推理能力的任务。在本调查论文中，我们关注机器阅读理解的领域（MRC），这是展示高级语言理解的重要任务，这也遭受了一系列快捷方式。我们总结了用于测量和减轻快捷方式的可用技术，并以捷径研究进一步进展的建议结论。最重要的是，我们强调了MRC中缓解快捷方式的两个主要问题：缺乏公共挑战集，有效和可重复使用的评估的必要组成部分以及在其他领域中缺乏某些缓解技术。

由于NLP模型实现了基准测试的最先进的性能并获得了广泛的应用程序，因此确保在现实世界中的安全部署这些模型的安全部署，例如，确保模型对未经调用或具有挑战性的情景稳健。尽管具有越来越多的学习主题，但它在视觉和NLP等应用中分别探讨了，具有多种研究中的各种定义，评估和缓解策略。在本文中，我们的目标是提供对如何定义，测量和提高NLP鲁棒性的统一调查。我们首先连接多种稳健性的定义，然后统一各种各样的工作方面识别稳健性失败和评估模型的鲁棒性。相应地，我们呈现了数据驱动，模型驱动和基于归纳的缓解策略，具有如何有效地改善NLP模型中的鲁棒性的更系统的观点。最后，我们通过概述开放的挑战和未来方向来促进在这一领域的进一步研究。

大型语言模型（LLM）已在一系列自然语言理解任务上实现了最先进的表现。但是，这些LLM可能依靠数据集偏差和文物作为预测的快捷方式。这极大地损害了他们的分布（OOD）概括和对抗性鲁棒性。在本文中，我们对最新发展的综述，这些发展解决了LLMS的鲁棒性挑战。我们首先介绍LLM的概念和鲁棒性挑战。然后，我们介绍了在LLM中识别快捷方式学习行为的方法，表征了快捷方式学习的原因以及引入缓解解决方案。最后，我们确定了关键挑战，并将这一研究线的联系引入其他方向。

Multi-hop Machine reading comprehension is a challenging task with aim of answering a question based on disjoint pieces of information across the different passages. The evaluation metrics and datasets are a vital part of multi-hop MRC because it is not possible to train and evaluate models without them, also, the proposed challenges by datasets often are an important motivation for improving the existing models. Due to increasing attention to this field, it is necessary and worth reviewing them in detail. This study aims to present a comprehensive survey on recent advances in multi-hop MRC evaluation metrics and datasets. In this regard, first, the multi-hop MRC problem definition will be presented, then the evaluation metrics based on their multi-hop aspect will be investigated. Also, 15 multi-hop datasets have been reviewed in detail from 2017 to 2022, and a comprehensive analysis has been prepared at the end. Finally, open issues in this field have been discussed.

最近的自然语言处理（NLP）技术在基准数据集中实现了高性能，主要原因是由于深度学习性能的显着改善。研究界的进步导致了最先进的NLP任务的生产系统的巨大增强，例如虚拟助理，语音识别和情感分析。然而，随着对抗性攻击测试时，这种NLP系统仍然仍然失败。初始缺乏稳健性暴露于当前模型的语言理解能力中的令人不安的差距，当NLP系统部署在现实生活中时，会产生问题。在本文中，我们通过以各种维度的系统方式概述文献来展示了NLP稳健性研究的结构化概述。然后，我们深入了解稳健性的各种维度，跨技术，指标，嵌入和基准。最后，我们认为，鲁棒性应该是多维的，提供对当前研究的见解，确定文学中的差距，以建议值得追求这些差距的方向。

近年来，在挑战的多跳QA任务方面有令人印象深刻的进步。然而，当面对输入文本中的一些干扰时，这些QA模型可能会失败，并且它们进行多跳推理的可解释性仍然不确定。以前的逆势攻击作品通常编辑整个问题句，这对测试基于实体的多跳推理能力有限。在本文中，我们提出了一种基于多跳推理链的逆势攻击方法。我们将从查询实体开始的多跳推理链与构造的图表中的答案实体一起制定，这使我们能够将问题对齐到每个推理跳跃，从而攻击任何跃点。我们将问题分类为不同的推理类型和对应于所选推理跳的部分问题，以产生分散注意力的句子。我们在HotpotQA DataSet上的三个QA模型上测试我们的对抗方案。结果表明，对答案和支持事实预测的显着性能降低，验证了我们推理基于链条推理模型的攻击方法的有效性以及它们的脆弱性。我们的对抗重新培训进一步提高了这些模型的性能和鲁棒性。

Natural Language Generation (NLG) has improved exponentially in recent years thanks to the development of sequence-to-sequence deep learning technologies such as Transformer-based language models. This advancement has led to more fluent and coherent NLG, leading to improved development in downstream tasks such as abstractive summarization, dialogue generation and data-to-text generation. However, it is also apparent that deep learning based generation is prone to hallucinate unintended text, which degrades the system performance and fails to meet user expectations in many real-world scenarios. To address this issue, many studies have been presented in measuring and mitigating hallucinated texts, but these have never been reviewed in a comprehensive manner before. In this survey, we thus provide a broad overview of the research progress and challenges in the hallucination problem in NLG. The survey is organized into two parts: (1) a general overview of metrics, mitigation methods, and future directions; and (2) an overview of task-specific research progress on hallucinations in the following downstream tasks, namely abstractive summarization, dialogue generation, generative question answering, data-to-text generation, machine translation, and visual-language generation. This survey serves to facilitate collaborative efforts among researchers in tackling the challenge of hallucinated texts in NLG.

自动错误通常涉及培训数据和学习过程，调试机器学习模型很难。如果我们没有关于模型如何实际工作的线索，这变得更加困难。在这项调查中，我们审查了利用解释的论文使人类提供反馈和调试NLP模型。我们称这个问题解释为基础的人类调试（EBHD）。特别是，我们沿着EBHD的三个维度（错误上下文，工作流程和实验设置）分类和讨论现有工作，编译EBHD组件如何影响反馈提供商的调查结果，并突出可能是未来的研究方向的打开问题。

众所周知，端到端的神经NLP体系结构很难理解，这引起了近年来为解释性建模的许多努力。模型解释的基本原则是忠诚，即，解释应准确地代表模型预测背后的推理过程。这项调查首先讨论了忠诚的定义和评估及其对解释性的意义。然后，我们通过将方法分为五类来介绍忠实解释的最新进展：相似性方法，模型内部结构的分析，基于反向传播的方法，反事实干预和自我解释模型。每个类别将通过其代表性研究，优势和缺点来说明。最后，我们从它们的共同美德和局限性方面讨论了上述所有方法，并反思未来的工作方向忠实的解释性。对于有兴趣研究可解释性的研究人员，这项调查将为该领域提供可访问且全面的概述，为进一步探索提供基础。对于希望更好地了解自己的模型的用户，该调查将是一项介绍性手册，帮助选择最合适的解释方法。

视觉问题应答（VQA）是一个具有挑战性的任务，在计算机视觉和自然语言处理领域中引起了越来越多的关注。然而，目前的视觉问题回答具有语言偏差问题，这减少了模型的稳健性，对视觉问题的实际应用产生了不利影响。在本文中，我们首次对该领域进行了全面的审查和分析，并根据三个类别对现有方法进行分类，包括增强视觉信息，弱化语言前瞻，数据增强和培训策略。与此同时，依次介绍相关的代表方法，依次汇总和分析。揭示和分类语言偏见的原因。其次，本文介绍了主要用于测试的数据集，并报告各种现有方法的实验结果。最后，我们讨论了该领域的可能的未来研究方向。

开发对手挑战NLP系统的方法是提高模型性能和解释性的有前途的途径。在这里，我们描述了团队在第一个动态对抗数据收集（DADC）的任务1中“长角牛”的方法，该研讨会要求团队手动欺骗一个模型，以挖掘出挖掘的问题回答任务。我们的团队首先结束，模型错误率为62％。我们主张采用系统的，语言知情的方法来制定对抗性问题，并描述了试点实验的结果以及我们的官方提交。

许多最近的神经模型在机器阅读理解中表现出了显着的经验结果，但有时证据表明，有时这些模型利用数据集偏见来预测和无法推广样本外数据。尽管已经提出了许多其他方法来从计算角度（例如新体系结构或培训程序）解决此问题，但我们认为一种使研究人员发现偏见并在较早阶段调整数据或模型的方法将是有益的。因此，我们介绍了MRCLEN，该工具包检测到用户训练完整模型之前是否存在偏见。为了方便引入工具包，我们还提供了MRC中常见偏见的分类。

数据增强是通过转换为机器学习的人工创建数据的人工创建，是一个跨机器学习学科的研究领域。尽管它对于增加模型的概括功能很有用，但它还可以解决许多其他挑战和问题，从克服有限的培训数据到正规化目标到限制用于保护隐私的数据的数量。基于对数据扩展的目标和应用的精确描述以及现有作品的分类法，该调查涉及用于文本分类的数据增强方法，并旨在为研究人员和从业者提供简洁而全面的概述。我们将100多种方法划分为12种不同的分组，并提供最先进的参考文献来阐述哪种方法可以通过将它们相互关联，从而阐述了哪种方法。最后，提供可能构成未来工作的基础的研究观点。

大规模的预训练语言模型在广泛的自然语言理解（NLU）任务中取得了巨大的成功，甚至超过人类性能。然而，最近的研究表明，这些模型的稳健性可能受到精心制作的文本对抗例子的挑战。虽然已经提出了几个单独的数据集来评估模型稳健性，但仍缺少原则和全面的基准。在本文中，我们呈现对抗性胶水（AdvGlue），这是一个新的多任务基准，以定量和彻底探索和评估各种对抗攻击下现代大规模语言模型的脆弱性。特别是，我们系统地应用14种文本对抗的攻击方法来构建一个粘合的援助，这是由人类进一步验证的可靠注释。我们的调查结果总结如下。 （i）大多数现有的对抗性攻击算法容易发生无效或暧昧的对手示例，其中大约90％的含量改变原始语义含义或误导性的人的注册人。因此，我们执行仔细的过滤过程来策划高质量的基准。 （ii）我们测试的所有语言模型和强大的培训方法在AdvGlue上表现不佳，差价远远落后于良性准确性。我们希望我们的工作能够激励开发新的对抗攻击，这些攻击更加隐身，更加统一，以及针对复杂的对抗性攻击的新强大语言模型。 Advglue在https://adversarialglue.github.io提供。

自动问题应答（QA）系统的目的是以时间有效的方式向用户查询提供答案。通常在数据库（或知识库）或通常被称为语料库的文件集合中找到答案。在过去的几十年里，收购知识的扩散，因此生物医学领域的新科学文章一直是指数增长。因此，即使对于领域专家，也难以跟踪域中的所有信息。随着商业搜索引擎的改进，用户可以在某些情况下键入其查询并获得最相关的一小组文档，以及在某些情况下从文档中的相关片段。但是，手动查找所需信息或答案可能仍然令人疑惑和耗时。这需要开发高效的QA系统，该系统旨在为用户提供精确和精确的答案提供了生物医学领域的自然语言问题。在本文中，我们介绍了用于开发普通域QA系统的基本方法，然后彻底调查生物医学QA系统的不同方面，包括使用结构化数据库和文本集合的基准数据集和几种提出的方​​法。我们还探讨了当前系统的局限性，并探索潜在的途径以获得进一步的进步。

Despite being responsible for state-of-the-art results in several computer vision and natural language processing tasks, neural networks have faced harsh criticism due to some of their current shortcomings. One of them is that neural networks are correlation machines prone to model biases within the data instead of focusing on actual useful causal relationships. This problem is particularly serious in application domains affected by aspects such as race, gender, and age. To prevent models from incurring on unfair decision-making, the AI community has concentrated efforts in correcting algorithmic biases, giving rise to the research area now widely known as fairness in AI. In this survey paper, we provide an in-depth overview of the main debiasing methods for fairness-aware neural networks in the context of vision and language research. We propose a novel taxonomy to better organize the literature on debiasing methods for fairness, and we discuss the current challenges, trends, and important future work directions for the interested researcher and practitioner.

数据增强是自然语言处理（NLP）模型的鲁棒性评估的重要组成部分，以及增强他们培训的数据的多样性。在本文中，我们呈现NL-Cogmenter，这是一种新的参与式Python的自然语言增强框架，它支持创建两个转换（对数据的修改）和过滤器（根据特定功能的数据拆分）。我们描述了框架和初始的117个变换和23个过滤器，用于各种自然语言任务。我们通过使用其几个转换来分析流行自然语言模型的鲁棒性来证明NL-Upmenter的功效。基础架构，Datacards和稳健性分析结果在NL-Augmenter存储库上公开可用（\ url {https://github.com/gem-benchmark/nl-augmenter}）。

Question answering (QA) models for reading comprehension tend to learn shortcut solutions rather than the solutions intended by QA datasets. QA models that have learned shortcut solutions can achieve human-level performance in shortcut examples where shortcuts are valid, but these same behaviors degrade generalization potential on anti-shortcut examples where shortcuts are invalid. Various methods have been proposed to mitigate this problem, but they do not fully take the characteristics of shortcuts themselves into account. We assume that the learnability of shortcuts, i.e., how easy it is to learn a shortcut, is useful to mitigate the problem. Thus, we first examine the learnability of the representative shortcuts on extractive and multiple-choice QA datasets. Behavioral tests using biased training sets reveal that shortcuts that exploit answer positions and word-label correlations are preferentially learned for extractive and multiple-choice QA, respectively. We find that the more learnable a shortcut is, the flatter and deeper the loss landscape is around the shortcut solution in the parameter space. We also find that the availability of the preferred shortcuts tends to make the task easier to perform from an information-theoretic viewpoint. Lastly, we experimentally show that the learnability of shortcuts can be utilized to construct an effective QA training set; the more learnable a shortcut is, the smaller the proportion of anti-shortcut examples required to achieve comparable performance on shortcut and anti-shortcut examples. We claim that the learnability of shortcuts should be considered when designing mitigation methods.

虽然神经语言模型往往对自然语言理解（NLU）任务进行令人惊讶的令人惊讶，但它们的优势和局限性仍然很差。因此，受控的合成任务是用于诊断模型行为的越来越重要的资源。在这项工作中，我们专注于讲故事的理解，是NLU系统的核心竞争力。然而，讲故事的主要综合资源是Babi基准，缺乏可控任务生成的这种系统机制。我们开发Dyna-Babi，一种动态框架，提供对Babi中的任务生成的细粒度控制。我们通过构建一个组成概括的三项新任务来展示我们的想法，这是来自原始基准的重要评估设置。我们测试了为BABI开发的专用模型以及最先进的预训练方法，发现这两种方法都解决了原始任务（> 99％的精度），并且在组成泛化设置中都没有成功地成功地成功，表示原始培训数据的局限性。我们探索了增加原始数据的方法，发现，尽管多样化培训数据比简单地增加数据集尺寸更有用，但它仍然不足以驾驶鲁棒成分泛化（具有<70％的复杂组合物的精度）。我们的结果强调了高度可控任务发生器通过模型和数据开发的良性循环创建强大的NLU系统的重要性。

Existing question answering (QA) datasets fail to train QA systems to perform complex reasoning and provide explanations for answers. We introduce HOTPOTQA, a new dataset with 113k Wikipedia-based question-answer pairs with four key features: (1) the questions require finding and reasoning over multiple supporting documents to answer; (2) the questions are diverse and not constrained to any pre-existing knowledge bases or knowledge schemas; (3) we provide sentence-level supporting facts required for reasoning, allowing QA systems to reason with strong supervision and explain the predictions; (4) we offer a new type of factoid comparison questions to test QA systems' ability to extract relevant facts and perform necessary comparison. We show that HOTPOTQA is challenging for the latest QA systems, and the supporting facts enable models to improve performance and make explainable predictions.