虽然神经语言模型往往对自然语言理解（NLU）任务进行令人惊讶的令人惊讶，但它们的优势和局限性仍然很差。因此，受控的合成任务是用于诊断模型行为的越来越重要的资源。在这项工作中，我们专注于讲故事的理解，是NLU系统的核心竞争力。然而，讲故事的主要综合资源是Babi基准，缺乏可控任务生成的这种系统机制。我们开发Dyna-Babi，一种动态框架，提供对Babi中的任务生成的细粒度控制。我们通过构建一个组成概括的三项新任务来展示我们的想法，这是来自原始基准的重要评估设置。我们测试了为BABI开发的专用模型以及最先进的预训练方法，发现这两种方法都解决了原始任务（> 99％的精度），并且在组成泛化设置中都没有成功地成功地成功，表示原始培训数据的局限性。我们探索了增加原始数据的方法，发现，尽管多样化培训数据比简单地增加数据集尺寸更有用，但它仍然不足以驾驶鲁棒成分泛化（具有<70％的复杂组合物的精度）。我们的结果强调了高度可控任务发生器通过模型和数据开发的良性循环创建强大的NLU系统的重要性。

随着人工智能系统变得越来越强大和普遍，人们对机器的道德或缺乏道德的关注变得越来越关注。然而，向机器讲授道德是一项艰巨的任务，因为道德仍然是人类中最激烈的争论问题之一，更不用说AI了。但是，部署到数百万用户的现有AI系统已经在做出充满道德影响的决策，这构成了一个看似不可能的挑战：教学机器的道德意义，而人类继续努力努力。为了探索这一挑战，我们介绍了Delphi，这是一个基于深层神经网络的实验框架，直接训练了描述性道德判断，例如，“帮助朋友”通常是不错的，而“帮助朋友传播假新闻”不是。经验结果提供了对机器伦理的承诺和局限性的新见解。面对新的道德情况，德尔菲（Delphi）表现出强大的概括能力，而现成的神经网络模型表现出明显差的判断，包括不公正的偏见，证实了对明确教学机器的道德意义的必要性。然而，德尔菲并不完美，表现出对普遍性偏见和不一致的敏感性。尽管如此，我们还是展示了不完美的Delphi的积极用例，包括在其他不完美的AI系统中将其用作组件模型。重要的是，我们根据著名的道德理论来解释Delphi的运营化，这使我们提出了重要的未来研究问题。

培训和评估语言模型越来越多地要求构建元数据 - 多样化的策划数据收集，并具有清晰的出处。自然语言提示最近通过将现有的，有监督的数据集转换为多种新颖的预处理任务，突出了元数据策划的好处，从而改善了零击的概括。尽管将这些以数据为中心的方法转化为生物医学语言建模的通用域文本成功，但由于标记的生物医学数据集在流行的数据中心中的代表性大大不足，因此仍然具有挑战性。为了应对这一挑战，我们介绍了BigBio一个由126个以上的生物医学NLP数据集的社区库，目前涵盖12个任务类别和10多种语言。 BigBio通过对数据集及其元数据进行程序化访问来促进可再现的元数据策划，并与当前的平台兼容，以及时工程和端到端的几个/零射击语言模型评估。我们讨论了我们的任务架构协调，数据审核，贡献指南的过程，并概述了两个说明性用例：生物医学提示和大规模，多任务学习的零射门评估。 BigBio是一项持续的社区努力，可在https://github.com/bigscience-workshop/biomedical上获得。

快捷方式学习的问题在NLP中广为人知，并且近年来一直是重要的研究重点。数据中的意外相关性使模型能够轻松地求解旨在表现出高级语言理解和推理能力的任务。在本调查论文中，我们关注机器阅读理解的领域（MRC），这是展示高级语言理解的重要任务，这也遭受了一系列快捷方式。我们总结了用于测量和减轻快捷方式的可用技术，并以捷径研究进一步进展的建议结论。最重要的是，我们强调了MRC中缓解快捷方式的两个主要问题：缺乏公共挑战集，有效和可重复使用的评估的必要组成部分以及在其他领域中缺乏某些缓解技术。

For natural language understanding (NLU) technology to be maximally useful, it must be able to process language in a way that is not exclusive to a single task, genre, or dataset. In pursuit of this objective, we introduce the General Language Understanding Evaluation (GLUE) benchmark, a collection of tools for evaluating the performance of models across a diverse set of existing NLU tasks. By including tasks with limited training data, GLUE is designed to favor and encourage models that share general linguistic knowledge across tasks. GLUE also includes a hand-crafted diagnostic test suite that enables detailed linguistic analysis of models. We evaluate baselines based on current methods for transfer and representation learning and find that multi-task training on all tasks performs better than training a separate model per task. However, the low absolute performance of our best model indicates the need for improved general NLU systems.

自然语言推论（NLI）被认为是测试自然语言理解（NLU）的代表任务。在这项工作中，我们提出了一个可扩展的框架，以集体又分类地测试NLI（以及扩展，NLU）所需的不同逻辑推理能力。受行为测试的动机，我们创建了一个半合成的大型测试台（363模板，363K示例）和提供以下公用事业的相关框架：1）沿17个推理尺寸（包括务实推理）单独测试和分析推理能力，2 ）设计实验，以研究交叉能力信息内容（留出一个或者带来一个）; 3）合成性使我们能够控制伪影和偏见。从自由形式自然语言模板（使用清单）的自动测试用例实例化的继承的能力，以及明确的功能分类使我们能够扩展到（认知）更难的测试用例，同时改变自然语言的复杂性。通过我们对最先进的NLI系统的分析，我们观察到我们的基准确实很难（即使在额外资源训练中也是如此。一些能力脱颖而出。进一步的细粒度分析和微调实验揭示了对这些能力和模型的更多洞察力 - 支持和扩展之前的观察。在结束时，我们还执行用户学习，调查是否可以使用与他人相比的某些模型更好地利用行为信息。

最近已被证明大型语言模型在各种任务集中获得合理的零射普通化（Brown等，2020）。它已经假设这是语言模型的隐式多任务学习的结果，在语言模型中的预押（Radford等，2019）。可以通过明确的多任务学习直接引起零拍常规化？为了以缩放测试这个问题，我们开发一个系统，以便轻松地将任何自然语言任务映射到人类可读的提示表单中。我们转换一组大量的监督数据集，每个数据集都有多个提示，具有不同的措辞。这些提示的数据集允许基准测试模型执行完全看不见的任务的能力。我们介绍了一个普拉克尔编码器 - 解码器模型（Raffel等，2020; Lester等，2021），覆盖各种任务。该模型在多个标准数据集中达到强大的零点性能，通常优于其尺寸的型号超过16倍。此外，我们的方法对来自Big-替补基准测试的任务子集具有强烈性能，优于其尺寸的6倍。所有提示和培训的型号都可以在https://github.com/ bigscience-workshop / protectsource / httpsource / https：//huggingface.co/bigscience/t0pp。

Recent research shows synthetic data as a source of supervision helps pretrained language models (PLM) transfer learning to new target tasks/domains. However, this idea is less explored for spatial language. We provide two new data resources on multiple spatial language processing tasks. The first dataset is synthesized for transfer learning on spatial question answering (SQA) and spatial role labeling (SpRL). Compared to previous SQA datasets, we include a larger variety of spatial relation types and spatial expressions. Our data generation process is easily extendable with new spatial expression lexicons. The second one is a real-world SQA dataset with human-generated questions built on an existing corpus with SPRL annotations. This dataset can be used to evaluate spatial language processing models in realistic situations. We show pretraining with automatically generated data significantly improves the SOTA results on several SQA and SPRL benchmarks, particularly when the training data in the target domain is small.

最近的开放式域问题回答表明，新颖的测试问题之间的模型性能和那些在很大程度上与培训问题重叠的模型性能存在很大差异。然而，目前尚不清楚新颖的问题的哪些方面使他们成为挑战。在进行系统泛化的研究时，我们根据三个类别介绍和注释问题，这些类别测量了不同的水平和概括的种类：培训设定重叠，组成泛化（Comp-Gen）和新颖的实体概括（新实体）。在评估六个流行的参数和非参数模型时，我们发现，对于既定的自然问题和TriviaQA数据集，即使是Comp-Gen /新颖实体的最强的模型性能也是13.1 / 5.4％和9.6 / 1.5％，而与此相比降低对于完整的测试集 - 表示这些类型的问题所带来的挑战。此外，我们表明，虽然非参数模型可以相对良好地处理含有新颖实体的问题，但它们与那些需要组成泛化的问题斗争。最后，我们发现关键问题是：来自检索组件的级联错误，问题模式的频率和实体的频率。

叙事中的事件可以通过其参与者的基本状态理解为一致的整体。通常，这些参与者在叙述中没有明确提及，而是通过常识性或推论填写。理解叙述的模型应该能够推断出这些隐性参与者状态，以及有关这些状态对叙事的影响的原因。为了促进这一目标，我们介绍了一个新的众包参与者指出的数据集意大利面。该数据集包含有效的，可推断的参与者状态；对国家的反事实扰动；如果反事实是真实的，那么故事的变化将是必要的。我们介绍了三项基于州的推理任务，这些任务测试了一个故事何时由故事启用，修改一个反事实状态的故事，并解释给定经过修订的故事的最有可能的状态变化。我们的基准测试实验表明，尽管当今的LLM能够在某种程度上推理有关州的推理，但仍有很大的改进空间，这表明了未来研究的潜在途径。

Instruction tuning enables pretrained language models to perform new tasks from inference-time natural language descriptions. These approaches rely on vast amounts of human supervision in the form of crowdsourced datasets or user interactions. In this work, we introduce Unnatural Instructions: a large dataset of creative and diverse instructions, collected with virtually no human labor. We collect 64,000 examples by prompting a language model with three seed examples of instructions and eliciting a fourth. This set is then expanded by prompting the model to rephrase each instruction, creating a total of approximately 240,000 examples of instructions, inputs, and outputs. Experiments show that despite containing a fair amount of noise, training on Unnatural Instructions rivals the effectiveness of training on open-source manually-curated datasets, surpassing the performance of models such as T0++ and Tk-Instruct across various benchmarks. These results demonstrate the potential of model-generated data as a cost-effective alternative to crowdsourcing for dataset expansion and diversification.

众包NLP数据集的反复挑战是，在制作示例时，人类作家通常会依靠重复的模式，从而导致缺乏语言多样性。我们介绍了一种基于工人和AI协作的数据集创建的新方法，该方法汇集了语言模型的生成力量和人类的评估力量。从现有的数据集，自然语言推理（NLI）的Multinli开始，我们的方法使用数据集制图自动识别示例来证明具有挑战性的推理模式，并指示GPT-3撰写具有相似模式的新示例。然后，机器生成的示例会自动过滤，并最终由人类人群工人修订和标记。最终的数据集Wanli由107,885个NLI示例组成，并在现有的NLI数据集上呈现出独特的经验优势。值得注意的是，培训有关Wanli的模型，而不是Multinli（$ 4 $ $倍）可改善我们考虑的七个外域测试集的性能，包括汉斯（Hans）的11％和对抗性NLI的9％。此外，将Multinli与Wanli结合起来比将其与其他NLI增强集相结合更有效。我们的结果表明，自然语言生成技术的潜力是策划增强质量和多样性的NLP数据集。

This paper investigates models of event implications. Specifically, how well models predict entity state-changes, by targeting their understanding of physical attributes. Nominally, Large Language models (LLM) have been exposed to procedural knowledge about how objects interact, yet our benchmarking shows they fail to reason about the world. Conversely, we also demonstrate that existing approaches often misrepresent the surprising abilities of LLMs via improper task encodings and that proper model prompting can dramatically improve performance of reported baseline results across multiple tasks. In particular, our results indicate that our prompting technique is especially useful for unseen attributes (out-of-domain) or when only limited data is available.

Visual understanding goes well beyond object recognition. With one glance at an image, we can effortlessly imagine the world beyond the pixels: for instance, we can infer people's actions, goals, and mental states. While this task is easy for humans, it is tremendously difficult for today's vision systems, requiring higher-order cognition and commonsense reasoning about the world. We formalize this task as Visual Commonsense Reasoning. Given a challenging question about an image, a machine must answer correctly and then provide a rationale justifying its answer.Next, we introduce a new dataset, VCR, consisting of 290k multiple choice QA problems derived from 110k movie scenes. The key recipe for generating non-trivial and highquality problems at scale is Adversarial Matching, a new approach to transform rich annotations into multiple choice questions with minimal bias. Experimental results show that while humans find VCR easy (over 90% accuracy), state-of-the-art vision models struggle (∼45%).To move towards cognition-level understanding, we present a new reasoning engine, Recognition to Cognition Networks (R2C), that models the necessary layered inferences for grounding, contextualization, and reasoning. R2C helps narrow the gap between humans and machines (∼65%); still, the challenge is far from solved, and we provide analysis that suggests avenues for future work.

调查变压器模型的推理能力，并为他们发现新的具有挑战性的任务，这是一个非常感兴趣的主题。最近的研究发现这些模型在表演自然语言表达的正式逻辑理论上表现出令人惊讶的强烈。然而，这些研究的缺点是他们没有考虑到逻辑理论，当随机均匀抽样时，不一定导致硬实例。我们提出了一种新的方法，用于创建挑战算法推理数据集，其专注于自然语言可满足性（NLSAT）问题。关键的想法是利用良好命题SAT问题的经验采样以及语言的复杂性学习的洞察力。这种方法允许我们轻松地从硬实例区分，并系统地提高Ruletaker等现有推理基准的复杂性。我们发现，鉴于足够的训练数据，当前的变压器令人惊讶地稳健地解决了产生的NLSAT基本上增加的难度问题。它们还表现出一定程度的规模不变性 - 概括到更大尺寸和范围的问题的能力。然而，我们的结果也揭示了重要的局限性：仔细的培训数据采样对于建立更大问题的模型来说至关重要，变压器模型的“有限的规模不变性”表明他们远非学习强大的演绎推理算法。

Question-answering datasets require a broad set of reasoning skills. We show how to use question decompositions to teach language models these broad reasoning skills in a robust fashion. Specifically, we use widely available QDMR representations to programmatically create hard-to-cheat synthetic contexts for real questions in six multi-step reasoning datasets. These contexts are carefully designed to avoid reasoning shortcuts prevalent in real contexts that prevent models from learning the right skills. This results in a pretraining dataset, named TeaBReaC, containing 525K multi-step questions (with associated formal programs) covering about 900 reasoning patterns. We show that pretraining standard language models (LMs) on TeaBReaC before fine-tuning them on target datasets improves their performance by up to 13 F1 points across 4 multi-step QA datasets, with up to 21 point gain on more complex questions. The resulting models also demonstrate higher robustness, with a 5-8 F1 point improvement on two contrast sets. Furthermore, TeaBReaC pretraining substantially improves model performance and robustness even when starting with numerate LMs pretrained using recent methods (e.g., PReasM, POET). Our work thus shows how to effectively use decomposition-guided contexts to robustly teach multi-step reasoning.

基于变压器的语言模型最近在许多自然语言任务中取得了显着的结果。但是，通常通过利用大量培训数据来实现排行榜的性能，并且很少通过将明确的语言知识编码为神经模型。这使许多人质疑语言学对现代自然语言处理的相关性。在本文中，我介绍了几个案例研究，以说明理论语言学和神经语言模型仍然相互关联。首先，语言模型通过提供一个客观的工具来测量语义距离，这对语言学家很有用，语义距离很难使用传统方法。另一方面，语言理论通过提供框架和数据源来探究我们的语言模型，以了解语言理解的特定方面，从而有助于语言建模研究。本论文贡献了三项研究，探讨了语言模型中语法 - 听觉界面的不同方面。在论文的第一部分中，我将语言模型应用于单词类灵活性的问题。我将Mbert作为语义距离测量的来源，我提供了有利于将单词类灵活性分析为方向过程的证据。在论文的第二部分中，我提出了一种方法来测量语言模型中间层的惊奇方法。我的实验表明，包含形态句法异常的句子触发了语言模型早期的惊喜，而不是语义和常识异常。最后，在论文的第三部分中，我适应了一些心理语言学研究，以表明语言模型包含了论证结构结构的知识。总而言之，我的论文在自然语言处理，语言理论和心理语言学之间建立了新的联系，以为语言模型的解释提供新的观点。

数据增强是自然语言处理（NLP）模型的鲁棒性评估的重要组成部分，以及增强他们培训的数据的多样性。在本文中，我们呈现NL-Cogmenter，这是一种新的参与式Python的自然语言增强框架，它支持创建两个转换（对数据的修改）和过滤器（根据特定功能的数据拆分）。我们描述了框架和初始的117个变换和23个过滤器，用于各种自然语言任务。我们通过使用其几个转换来分析流行自然语言模型的鲁棒性来证明NL-Upmenter的功效。基础架构，Datacards和稳健性分析结果在NL-Augmenter存储库上公开可用（\ url {https://github.com/gem-benchmark/nl-augmenter}）。

Finetuning language models on a collection of datasets phrased as instructions has been shown to improve model performance and generalization to unseen tasks. In this paper we explore instruction finetuning with a particular focus on (1) scaling the number of tasks, (2) scaling the model size, and (3) finetuning on chain-of-thought data. We find that instruction finetuning with the above aspects dramatically improves performance on a variety of model classes (PaLM, T5, U-PaLM), prompting setups (zero-shot, few-shot, CoT), and evaluation benchmarks (MMLU, BBH, TyDiQA, MGSM, open-ended generation). For instance, Flan-PaLM 540B instruction-finetuned on 1.8K tasks outperforms PALM 540B by a large margin (+9.4% on average). Flan-PaLM 540B achieves state-of-the-art performance on several benchmarks, such as 75.2% on five-shot MMLU. We also publicly release Flan-T5 checkpoints, which achieve strong few-shot performance even compared to much larger models, such as PaLM 62B. Overall, instruction finetuning is a general method for improving the performance and usability of pretrained language models.

英国主导填字游戏，英国的主要填字游戏是推进寻求语义复杂，高度成分语言的NLP系统的有希望的目标。密码线索像流利的自然语言一样读，但是由两部分进行前列组成：一个定义和播放密码需要字符级操作。专家人类使用创造性的智能来解决隐秘，灵活地结合语言，世界和领域知识。在本文中，我们进行了两个主要贡献。首先，我们向NLP系统提供了一个充满挑战的新基准，以便在更具创造性，人类的方式处理组成语言的挑战新的基准。在显示三种非神经方法和T5之后，一种最先进的神经语言模型，无法实现良好的性能，我们提出了第二种主要贡献：一种新的课程方法，其中模型首先进行微调在相关任务，如解读单词。我们还介绍了一个具有挑战性的数据拆分，检查子字标记模型的元语言功能，并通过扰动线索的晶片部分来调查模型系统性，表明T5表现出与人类解决部分符合的行为策略。虽然我们的课程方法大大提高了T5基线，但我们最好的模型仍然无法概括为人类可以的程度。因此，隐秘填字游戏仍然是NLP系统的未解决挑战和未来创新的潜在来源。