使用良好形成的书面文本编译了当前可用的语法错误校正（GEC）数据集，将这些数据集的适用性限制为其他域，例如非正式的写作和对话框。在本文中，我们介绍了从开放式Chatbot对话中汲取的新颖平行GEC数据集;此数据集是我们的知识，将第一个GEC数据集定为会话设置。为了演示数据集的实用程序，我们使用注释的数据来微调最先进的GEC模型，从而提高了模型精度的16点。这在GEC模型中特别重要，因为模型精度被认为比GEC任务中的召回更重要，因为误报可能导致语言学习者的严重混乱。我们还提出了一个详细的注释方案，通过对可靠性的影响来排名错误，使我们的数据集两个可重复和可扩展。实验结果表明，我们的数据在提高了GEC模型性能方面的效果。

Grammatical Error Correction (GEC) is the task of automatically detecting and correcting errors in text. The task not only includes the correction of grammatical errors, such as missing prepositions and mismatched subject-verb agreement, but also orthographic and semantic errors, such as misspellings and word choice errors respectively. The field has seen significant progress in the last decade, motivated in part by a series of five shared tasks, which drove the development of rule-based methods, statistical classifiers, statistical machine translation, and finally neural machine translation systems which represent the current dominant state of the art. In this survey paper, we condense the field into a single article and first outline some of the linguistic challenges of the task, introduce the most popular datasets that are available to researchers (for both English and other languages), and summarise the various methods and techniques that have been developed with a particular focus on artificial error generation. We next describe the many different approaches to evaluation as well as concerns surrounding metric reliability, especially in relation to subjective human judgements, before concluding with an overview of recent progress and suggestions for future work and remaining challenges. We hope that this survey will serve as comprehensive resource for researchers who are new to the field or who want to be kept apprised of recent developments.

本文报告了建立在线语言学习工具的进步，以通过使用对话系统作为对话实践伙伴为学习者提供对话体验。我们的系统可以随时适应用户的语言水平。我们还提供自动语法错误反馈，以帮助用户从错误中学习。根据我们的第一个采用者，我们的系统娱乐和有用。此外，我们将为学习技术社区提供有关语言学习和语法校正的大规模对话数据集。我们的下一步是通过使用强化学习算法使我们的系统更适应用户配置文件。

在过去的十年中，对对话系统的兴趣已经大大增长。从扩展过程中，也有兴趣开发和改进意图分类和插槽填充模型，这是两个组件，这些组件通常在以任务为导向的对话框系统中使用。此外，良好的评估基准对于帮助比较和分析结合此类模型的系统很重要。不幸的是，该领域的许多文献仅限于对相对较少的基准数据集的分析。为了促进针对任务的对话系统的更强大的分析，我们对意图分类和插槽填充任务进行了公开可用数据集的调查。我们分类每个数据集的重要特征，并就每个数据集的适用性，优势和劣势进行讨论。我们的目标是，这项调查有助于提高这些数据集的可访问性，我们希望它们能够在未来评估意图分类和填充插槽模型中用于以任务为导向的对话框系统。

当前的语言模型可以产生高质量的文本。他们只是复制他们之前看到的文本，或者他们学习了普遍的语言抽象吗？要取笑这些可能性，我们介绍了乌鸦，这是一套评估生成文本的新颖性，专注于顺序结构（n-gram）和句法结构。我们将这些分析应用于四种神经语言模型（LSTM，变压器，变换器-XL和GPT-2）。对于本地结构 - 例如，单个依赖性 - 模型生成的文本比来自每个模型的测试集的人类生成文本的基线显着不那么新颖。对于大规模结构 - 例如，总句结构 - 模型生成的文本与人生成的基线一样新颖甚至更新颖，但模型仍然有时复制，在某些情况下，在训练集中重复超过1000字超过1,000字的通道。我们还表现了广泛的手动分析，表明GPT-2的新文本通常在形态学和语法中形成良好，但具有合理的语义问题（例如，是自相矛盾）。

语言教学的挑战之一是如何以有意义的方式组织有关语言语法的规则。这不仅需要教学技能，而且还需要对该语言有深刻的了解。虽然开发此类课程的综合材料以英语和一些广泛的语言提供，但对于许多其他语言，教师需要手动创建它们来满足学生的需求。这个过程具有挑战性，因为i）要求这样的专家可以访问并拥有必要的资源，ii）即使有这样的专家，描述了一种语言的所有复杂性，这是耗时的，容易出现遗漏。在本文中，我们提出了一个自动框架，旨在通过自动发现和可视化语法各个方面的描述来促进这一过程。具体而言，我们从自然文本语料库中提取描述，该语料库回答有关形态句法（学习单词顺序，协议，案例标记或单词形成）和语义（学习词汇的学习）的问题，并显示了说明性示例。我们将这种方法用于教授印度语言，卡纳达语和马拉地语，这些方法与英语不同，它们没有发达的教学资源，因此很可能会从这项练习中受益。为了评估提取材料的感知效用，我们获得了北美学校的语言教育者的帮助，这些教育者教这些语言进行手动评估。总体而言，教师认为这些材料是他们自己的课程准备甚至学习者评估的参考材料有趣的。

对话研究的最终目标是开发可以在交互式设置中有效使用的系统。为此，我们在第9对话系统技术挑战中介绍了对话框的交互式评估。该曲目由两个子任务组成。第一个子任务涉及建立知识接地的响应生成模型。第二个子任务旨在通过与真实用户的交互式设置进行评估，旨在将对话模型扩展到静态数据集之外。我们的曲目挑战参与者开发强大的响应生成模型，并探索将它们扩展到与真实用户的来回互动的策略。从静态语料库到交互式评估的发展引入了独特的挑战，并促进了对开放域对话系统的更全面评估。本文概述了曲目，包括方法和结果。此外，它提供了有关如何最佳评估开放域对话框模型的见解

One of the biggest challenges of natural language generation (NLG) is the proper handling of named entities. Named entities are a common source of grammar mistakes such as wrong prepositions, wrong article handling, or incorrect entity inflection. Without factoring linguistic representation, such errors are often underrepresented when evaluating on a small set of arbitrarily picked argument values, or when translating a dataset from a linguistically simpler language, like English, to a linguistically complex language, like Russian. However, for some applications, broadly precise grammatical correctness is critical -- native speakers may find entity-related grammar errors silly, jarring, or even offensive. To enable the creation of more linguistically diverse NLG datasets, we release a Corpus of Linguistically Significant Entities (CLSE) annotated by linguist experts. The corpus includes 34 languages and covers 74 different semantic types to support various applications from airline ticketing to video games. To demonstrate one possible use of CLSE, we produce an augmented version of the Schema-Guided Dialog Dataset, SGD-CLSE. Using the CLSE's entities and a small number of human translations, we create a linguistically representative NLG evaluation benchmark in three languages: French (high-resource), Marathi (low-resource), and Russian (highly inflected language). We establish quality baselines for neural, template-based, and hybrid NLG systems and discuss the strengths and weaknesses of each approach.

Knowledge-grounded dialogue systems powered by large language models often generate responses that, while fluent, are not attributable to a relevant source of information. Progress towards models that do not exhibit this issue requires evaluation metrics that can quantify its prevalence. To this end, we introduce the Benchmark for Evaluation of Grounded INteraction (BEGIN), comprised of 12k dialogue turns generated by neural dialogue systems trained on three knowledgegrounded dialogue corpora. We collect human annotations assessing the extent to which the models' responses can be attributed to the given background information. We then use BEGIN to analyze eight evaluation metrics. We find that these metrics rely on spurious correlations, do not reliably distinguish attributable abstractive responses from unattributable ones, and perform substantially worse when the knowledge source is longer. Our findings underscore the need for more sophisticated and robust evaluation metrics for knowledge-grounded dialogue. We make BEGIN publicly available at https://github.com/ google/BEGIN-dataset.

We present a corpus professionally annotated for grammatical error correction (GEC) and fluency edits in the Ukrainian language. To the best of our knowledge, this is the first GEC corpus for the Ukrainian language. We collected texts with errors (20,715 sentences) from a diverse pool of contributors, including both native and non-native speakers. The data cover a wide variety of writing domains, from text chats and essays to formal writing. Professional proofreaders corrected and annotated the corpus for errors relating to fluency, grammar, punctuation, and spelling. This corpus can be used for developing and evaluating GEC systems in Ukrainian. More generally, it can be used for researching multilingual and low-resource NLP, morphologically rich languages, document-level GEC, and fluency correction. The corpus is publicly available at https://github.com/grammarly/ua-gec

Dialect differences caused by regional, social, and economic barriers cause performance discrepancies for many groups of users of language technology. Fair, inclusive, and equitable language technology must critically be dialect invariant, meaning that performance remains constant over dialectal shifts. Current English systems often fall significantly short of this ideal since they are designed and tested on a single dialect: Standard American English. We introduce Multi-VALUE -- a suite of resources for evaluating and achieving English dialect invariance. We build a controllable rule-based translation system spanning 50 English dialects and a total of 189 unique linguistic features. Our translation maps Standard American English text to synthetic form of each dialect, which uses an upper-bound on the natural density of features in that dialect. First, we use this system to build stress tests for question answering, machine translation, and semantic parsing tasks. Stress tests reveal significant performance disparities for leading models on non-standard dialects. Second, we use this system as a data augmentation technique to improve the dialect robustness of existing systems. Finally, we partner with native speakers of Chicano and Indian English to release new gold-standard variants of the popular CoQA task.

数据增强是自然语言处理（NLP）模型的鲁棒性评估的重要组成部分，以及增强他们培训的数据的多样性。在本文中，我们呈现NL-Cogmenter，这是一种新的参与式Python的自然语言增强框架，它支持创建两个转换（对数据的修改）和过滤器（根据特定功能的数据拆分）。我们描述了框架和初始的117个变换和23个过滤器，用于各种自然语言任务。我们通过使用其几个转换来分析流行自然语言模型的鲁棒性来证明NL-Upmenter的功效。基础架构，Datacards和稳健性分析结果在NL-Augmenter存储库上公开可用（\ url {https://github.com/gem-benchmark/nl-augmenter}）。

在语言处理的神经方法上的最新进展引发了人们对建立智能开放域聊天机器人的兴趣的复兴。但是，即使是最先进的神经聊天机器人也无法在对话框中每个回合产生令人满意的响应。一个实用的解决方案是为相同上下文生成多个响应候选者，然后执行响应排名/选择以确定哪个候选者是最好的。先前的响应选择中的工作通常使用从现有对话框形成的合成数据来训练响应排名者，通过使用地面真理响应作为单个适当的响应并通过随机选择或使用对抗方法来构建不适当的响应。在这项工作中，我们策划了一个数据集，其中为适当的（正）和不适当（负）手动注释了为相同对话框上下文产生的多个响应发生器的响应。我们认为，这样的培训数据可以更好地匹配实际的用例示例，从而使模型能够有效地对响应进行排名。有了这个新数据集，我们对最先进的响应选择方法进行了系统的评估，并证明，使用多个积极候选者和使用手动验证的硬性负面候选者的两种策略都可以与使用相比，可以带来重大的绩效提高对抗性训练数据，例如，召回@1分别增加了3％和13％。

我们提出了一个基于深度学习的外语学习平台，命名为FreeLalky，因为使用人形机器人NAO和各种深入学习模型，他们会受到对外语言的焦虑的人。嵌入在NAO的基于角色的对话系统为用户提供了一个有趣和一致的多转对话。此外，语法纠错系统促进了用户语法技能的改进。因此，我们的系统支持基于角色对话的个性化学习，并使用语法错误反馈促进语法学习用户。此外，我们通过人类评估通过替换与NAO机器人的谈话来替换真正的人类，验证了FreeTalky是否提供了减轻卵杆菌的实际帮助。

基于变压器的语言模型最近在许多自然语言任务中取得了显着的结果。但是，通常通过利用大量培训数据来实现排行榜的性能，并且很少通过将明确的语言知识编码为神经模型。这使许多人质疑语言学对现代自然语言处理的相关性。在本文中，我介绍了几个案例研究，以说明理论语言学和神经语言模型仍然相互关联。首先，语言模型通过提供一个客观的工具来测量语义距离，这对语言学家很有用，语义距离很难使用传统方法。另一方面，语言理论通过提供框架和数据源来探究我们的语言模型，以了解语言理解的特定方面，从而有助于语言建模研究。本论文贡献了三项研究，探讨了语言模型中语法 - 听觉界面的不同方面。在论文的第一部分中，我将语言模型应用于单词类灵活性的问题。我将Mbert作为语义距离测量的来源，我提供了有利于将单词类灵活性分析为方向过程的证据。在论文的第二部分中，我提出了一种方法来测量语言模型中间层的惊奇方法。我的实验表明，包含形态句法异常的句子触发了语言模型早期的惊喜，而不是语义和常识异常。最后，在论文的第三部分中，我适应了一些心理语言学研究，以表明语言模型包含了论证结构结构的知识。总而言之，我的论文在自然语言处理，语言理论和心理语言学之间建立了新的联系，以为语言模型的解释提供新的观点。

In this paper, we present strong baselines for the task of Feedback Comment Generation for Writing Learning. Given a sentence and an error span, the task is to generate a feedback comment explaining the error. Sentences and feedback comments are both in English. We experiment with LLMs and also create multiple pseudo datasets for the task, investigating how it affects the performance of our system. We present our results for the task along with extensive analysis of the generated comments with the aim of aiding future studies in feedback comment generation for English language learners.

我们提出了一个开放域的社交聊天机器人Chirpy Cardinal。为了既有信息又有信息，我们的机器人以一种真实的，情感上的方式与用户聊天。通过将受控的神经产生与脚手架，手写的对话整合在一起，我们让用户和机器人都轮流推动对话，从而产生引人入胜且流利的体验。Chirpy Cardinal部署在Alexa奖Socialbot Grand Challenge的第四次迭代中，每天处理数千次对话，在9个机器人中排名第二，平均用户评级为3.58/5。

通常观察到的最先进的自然语言技术问题，例如亚马逊alexa和苹果公司，是他们的服务不会因语言障碍而扩展到大多数发展中国家的公民。这种种群因其语言缺乏可用资源来构建NLP产品。本文介绍了allwoz，一个多语言多域面向任务的客户服务对话框数据集覆盖八种语言：英语，普通话，韩语，越南语，印地语，法国，葡萄牙语和泰国。此外，我们通过使用mt5与元学习来创建多语言数据集的基准。

我们为自然主义儿童和以英文为指导的语音介绍了句法依赖性树库（Macwhinney，2000年）。我们的注释在很大程度上遵循了通用依赖项目的准则（UD（Zeman等，2022）），并详细扩展了对会话语音独有的词汇/句法结构（反对书面文本）。与现有的UD风格的口语库以及其他儿童互动的依赖性语料库相比，我们的数据集具有（大量）的大小（n tusterances = 44,744; n of单词= 233，907），并包含来自一个的语音总共有10名儿童覆盖了年龄范围（18-66个月）。使用此数据集，我们问：（1）针对书面域名量身定制的最先进的依赖解析器将如何为自发对话中的不同对话者的语音执行吗？ （2）解析器表现与孩子的发展阶段之间有什么关系？为了解决这些问题，在正在进行的工作中，我们使用基于图的基于图和过渡的解析器进行了彻底的依赖解析器评估，这些解析器具有不同的高参数化，并从三种不同类型的室外书面文本进行培训：新闻，推文和学习者：数据。

插槽填充和意图检测是诸如语音助手的会话代理的骨干，是有效的研究领域。尽管公开的基准上的最先进的技术，但令人印象深刻的性能，他们概括到现实情景的能力尚未得到证明。在这项工作中，我们提出了一种自然，一套简单的口语导向转换，应用于数据集的评估集，在保留话语的语义时引入人类口语变化。我们将大自然应用于共同的插槽填充和意图检测基准，并证明了自然集合的标准评估的简单扰动可以显着降低模型性能。通过我们的实验，我们证明了当自然运营商应用于评估流行基准的评估集时，模型精度可以降低至多40％。