学习者语料库收集L2学习者产生的语言数据，即第二或外语学习者。这种资源与第二语言采集研究，外语教学和自动语法纠错有关。但是，几乎没有焦点汉语作为外语（CFL）学习者的学习者语料库。因此，我们建议构建大规模的多维注释的中国学习者语料库。要构建语料库，我们首先获得CFL学习者生成的大量富有的富主题文本。然后我们设计一个注释方案，包括句子可接受性得分以及语法错误和基于流畅的校正。我们构建一个众群平台，有效地执行注释（https://yaclc.wenmind.net）。我们命名语料库yaclc（又一个中国学习者语料库）并将其释放为Cuge基准（http://cuge.baai.ac.cn）。通过分析语料库中的原始句子和注释，我们发现Yaclc具有相当大的尺寸和非常高的注释质量。我们希望这项语料库能够进一步加强中国国际教育和中国自动语法纠错的研究。

Grammatical Error Correction (GEC) is the task of automatically detecting and correcting errors in text. The task not only includes the correction of grammatical errors, such as missing prepositions and mismatched subject-verb agreement, but also orthographic and semantic errors, such as misspellings and word choice errors respectively. The field has seen significant progress in the last decade, motivated in part by a series of five shared tasks, which drove the development of rule-based methods, statistical classifiers, statistical machine translation, and finally neural machine translation systems which represent the current dominant state of the art. In this survey paper, we condense the field into a single article and first outline some of the linguistic challenges of the task, introduce the most popular datasets that are available to researchers (for both English and other languages), and summarise the various methods and techniques that have been developed with a particular focus on artificial error generation. We next describe the many different approaches to evaluation as well as concerns surrounding metric reliability, especially in relation to subjective human judgements, before concluding with an overview of recent progress and suggestions for future work and remaining challenges. We hope that this survey will serve as comprehensive resource for researchers who are new to the field or who want to be kept apprised of recent developments.

定义生成任务旨在自动在特定上下文中生成一个单词的定义。但是，由于缺乏针对不同复杂性的数据集，模型产生的定义往往会保持相同的复杂度。本文提出了为具有可控复杂性级别的单词生成定义的新任务。相应地，我们介绍了编译，一个数据集给出了有关中国定义的详细信息，并且每个定义都标有其复杂性级别。编译数据集包括74,303个单词和106,882个定义。据我们所知，它是中国定义生成任务的最大数据集。我们选择各种代表性生成方法作为此任务的基准和进行评估，这说明我们的数据集在协助模型生成不同的复杂性级别定义方面发挥了出色的作用。我们认为，编译数据集将使复杂性可控定义生成的进一步研究受益。

We present a corpus professionally annotated for grammatical error correction (GEC) and fluency edits in the Ukrainian language. To the best of our knowledge, this is the first GEC corpus for the Ukrainian language. We collected texts with errors (20,715 sentences) from a diverse pool of contributors, including both native and non-native speakers. The data cover a wide variety of writing domains, from text chats and essays to formal writing. Professional proofreaders corrected and annotated the corpus for errors relating to fluency, grammar, punctuation, and spelling. This corpus can be used for developing and evaluating GEC systems in Ukrainian. More generally, it can be used for researching multilingual and low-resource NLP, morphologically rich languages, document-level GEC, and fluency correction. The corpus is publicly available at https://github.com/grammarly/ua-gec

As natural language processing (NLP) for gender bias becomes a significant interdisciplinary topic, the prevalent data-driven techniques such as large-scale language models suffer from data inadequacy and biased corpus, especially for languages with insufficient resources such as Chinese. To this end, we propose a Chinese cOrpus foR Gender bIas Probing and Mitigation CORGI-PM, which contains 32.9k sentences with high-quality labels derived by following an annotation scheme specifically developed for gender bias in the Chinese context. Moreover, we address three challenges for automatic textual gender bias mitigation, which requires the models to detect, classify, and mitigate textual gender bias. We also conduct experiments with state-of-the-art language models to provide baselines. To our best knowledge, CORGI-PM is the first sentence-level Chinese corpus for gender bias probing and mitigation.

在本文中，我们介绍了CTC 2021的概述，这是针对母语人士的中文文本校正任务。我们详细描述了任务定义以及培训和评估的数据。我们还总结了该任务参与者调查的方法。我们希望为此任务收集和注释的数据集可以促进并加快该研究领域的未来发展。因此，伪培训数据，金标准验证数据和整个排行榜可在https://destwang.github.io/ctc2021-explorer/上在线公开获取。

低资源语言的自动语音识别（ASR）改善了语言少数群体的访问，以便人工智能（AI）提供的技术优势。在本文中，我们通过创建一个新的粤语数据集来解决香港广东语言的数据稀缺问题。我们的数据集多域粤语语料库（MDCC）由73.6小时的清洁阅读语音与成绩单配对，从香港的粤语有声读物收集。它结合了哲学，政治，教育，文化，生活方式和家庭领域，涵盖了广泛的主题。我们还查看所有现有的粤语数据集，并在两个最大的数据集（MDCC和公共语音ZH-HK）上执行实验。我们根据其语音类型，数据源，总大小和可用性分析现有数据集。使用Fairseq S2T变压器，最先进的ASR模型进行实验结果，显示了我们数据集的有效性。此外，我们通过在MDCC和常见的声音ZH-HK上应用多数据集学习来创建一个强大而强大的粤语ASR模型。

机器翻译（MT）的单词级质量估计（QE）旨在在不参考的情况下找出翻译句子中的潜在翻译错误。通常，关于文字级别量化宽松的传统作品旨在根据文章编辑工作来预测翻译质量，其中通过比较MT句子之间的单词来自动生成单词标签（“ OK”和“ BAD”）。通过翻译错误率（TER）工具包编辑的句子。虽然可以使用后编辑的工作来在一定程度上测量翻译质量，但我们发现它通常与人类对单词是否良好或翻译不良的判断相抵触。为了克服限制，我们首先创建了一个金色基准数据集，即\ emph {hjqe}（人类对质量估计的判断），专家翻译直接注释了对其判断的不良翻译单词。此外，为了进一步利用平行语料库，我们提出了使用两个标签校正策略的自我监督的预训练，即标记改进策略和基于树的注释策略，以使基于TER的人工量化量子ceper更接近\ emph {HJQE}。我们根据公开可用的WMT en-de和en-ZH Corpora进行实质性实验。结果不仅表明我们提出的数据集与人类的判断更加一致，而且还确认了提议的标签纠正策略的有效性。 。}

一些语法误差校正（GEC）系统结合了手工制作的规则并获得积极的结果。但是，手动定义规则是耗时和费力的。鉴于此，我们提出了一种方法来自动开采GEC的错误模板。错误模板是旨在识别文本错误的正则表达式。我们使用Web搜寻器从Internet获取此类错误模板。对于每个模板，我们通过使用语言模型困惑作为标准进一步选择相应的纠正措施。基于此方法，我们为中国GEC积累了1,119个错误模板。新提出的CTC-2021中国GEC基准的实验结果表明，梳理我们的误差模板可以有效地改善强GEC系统的性能，尤其是在两种错误类型上，培训数据很少。我们的错误模板可在\ url {https://github.com/hillzhang1999/gec_error_template}中获得。

语言教学的挑战之一是如何以有意义的方式组织有关语言语法的规则。这不仅需要教学技能，而且还需要对该语言有深刻的了解。虽然开发此类课程的综合材料以英语和一些广泛的语言提供，但对于许多其他语言，教师需要手动创建它们来满足学生的需求。这个过程具有挑战性，因为i）要求这样的专家可以访问并拥有必要的资源，ii）即使有这样的专家，描述了一种语言的所有复杂性，这是耗时的，容易出现遗漏。在本文中，我们提出了一个自动框架，旨在通过自动发现和可视化语法各个方面的描述来促进这一过程。具体而言，我们从自然文本语料库中提取描述，该语料库回答有关形态句法（学习单词顺序，协议，案例标记或单词形成）和语义（学习词汇的学习）的问题，并显示了说明性示例。我们将这种方法用于教授印度语言，卡纳达语和马拉地语，这些方法与英语不同，它们没有发达的教学资源，因此很可能会从这项练习中受益。为了评估提取材料的感知效用，我们获得了北美学校的语言教育者的帮助，这些教育者教这些语言进行手动评估。总体而言，教师认为这些材料是他们自己的课程准备甚至学习者评估的参考材料有趣的。

实现通用语言情报是自然语言处理的长期目标，标准评估基准发挥基本和指导作用。我们认为，对于通用语言智能评估，基准本身需要全面和系统。为此，我们提出了Cuge，一种中文语言理解和生成评估基准，具有以下特征：（1）分层基准框架，其中数据集主要选择和组织语言能力 - 任务数据集层次结构。 （2）多级评分策略，其中基于分层框架提供了不同级别的模型性能。为了促进CUGE，我们提供了一个公共排行榜，可以自定义，以支持灵活的模型判断标准。代表性预先训练的语言模型的评估结果表明了对通用语言智能的完善的充足空间。 Cuge在Cuge.baai.ac.cn上公开提供。

We describe the design and use of the Stanford CoreNLP toolkit, an extensible pipeline that provides core natural language analysis. This toolkit is quite widely used, both in the research NLP community and also among commercial and government users of open source NLP technology. We suggest that this follows from a simple, approachable design, straightforward interfaces, the inclusion of robust and good quality analysis components, and not requiring use of a large amount of associated baggage.

中国人在马来群岛各国的中国社区中突出特征。在这些国家，中国人经历了对当地语言和文化的调整过程，这导致每个国家发生中国变体。在本文中，我们对从五个马来群岛国家收集的中国新闻文本进行了定量分析看法。统计结果表明，这五个国家中使用的中国变体与现代中国大陆同行不同。同时，我们设法提取并分类了每个国家使用的几个中文单词。所有这些差异反映了中国人如何在海外发展，并证明了ROM当地社会和文化对中国发展的深远影响。

在这项研究中，我们研究了哪些程度专家和非专家在众包实验中就难度问题达成共识。我们要求非专家（瑞典语的第二语言学习者）和两组专家（瑞典语作为第二/外语的教师和CEFR专家）在众包实验中对多字表达式进行排名。我们发现，所有三个测试小组的最终排名都非常高，这表明在比较环境中产生的判断不受专业见解作为第二语言的专业见解的影响。

我们提出了带有核心注释的新语料库，俄罗斯核心语料库（Rucoco）。Rucoco的目的是获得大量注释的文本，同时保持高通道一致性。鲁科科（Rucoco）包含俄语的新闻文本，其中一部分是从头开始注释的，其余的机器生成的注释是由人类注释者完善的。我们的语料库的大小是一百万个单词，约有15万个提及。我们使语料库公开可用。

现有的多方对话数据集用于核心分辨率是新生的，许多挑战仍然没有解决。我们根据电视成绩单为此任务创建了一个大规模数据集，多语言多方CoreF（MMC）。由于使用多种语言的黄金质量字幕可用，我们建议重复注释以通过注释投影以其他语言（中文和Farsi）创建银色核心数据。在黄金（英语）数据上，现成的模型在MMC上的性能相对较差，这表明MMC比以前的数据集更广泛地覆盖多方核心。在银数据上，我们发现成功使用它进行数据增强和从头开始训练，这有效地模拟了零击的跨语性设置。

使用良好形成的书面文本编译了当前可用的语法错误校正（GEC）数据集，将这些数据集的适用性限制为其他域，例如非正式的写作和对话框。在本文中，我们介绍了从开放式Chatbot对话中汲取的新颖平行GEC数据集;此数据集是我们的知识，将第一个GEC数据集定为会话设置。为了演示数据集的实用程序，我们使用注释的数据来微调最先进的GEC模型，从而提高了模型精度的16点。这在GEC模型中特别重要，因为模型精度被认为比GEC任务中的召回更重要，因为误报可能导致语言学习者的严重混乱。我们还提出了一个详细的注释方案，通过对可靠性的影响来排名错误，使我们的数据集两个可重复和可扩展。实验结果表明，我们的数据在提高了GEC模型性能方面的效果。

While the NLP community is generally aware of resource disparities among languages, we lack research that quantifies the extent and types of such disparity. Prior surveys estimating the availability of resources based on the number of datasets can be misleading as dataset quality varies: many datasets are automatically induced or translated from English data. To provide a more comprehensive picture of language resources, we examine the characteristics of 156 publicly available NLP datasets. We manually annotate how they are created, including input text and label sources and tools used to build them, and what they study, tasks they address and motivations for their creation. After quantifying the qualitative NLP resource gap across languages, we discuss how to improve data collection in low-resource languages. We survey language-proficient NLP researchers and crowd workers per language, finding that their estimated availability correlates with dataset availability. Through crowdsourcing experiments, we identify strategies for collecting high-quality multilingual data on the Mechanical Turk platform. We conclude by making macro and micro-level suggestions to the NLP community and individual researchers for future multilingual data development.

即使在高度发达的国家，多达15-30％的人口只能理解使用基本词汇编写的文本。他们对日常文本的理解是有限的，这阻止了他们在社会中发挥积极作用，并就医疗保健，法律代表或民主选择做出明智的决定。词汇简化是一项自然语言处理任务，旨在通过更简单地替换复杂的词汇和表达方式来使每个人都可以理解文本，同时保留原始含义。在过去的20年中，它引起了极大的关注，并且已经针对各种语言提出了全自动词汇简化系统。该领域进步的主要障碍是缺乏用于构建和评估词汇简化系统的高质量数据集。我们提出了一个新的基准数据集，用于英语，西班牙语和（巴西）葡萄牙语中的词汇简化，并提供有关数据选择和注释程序的详细信息。这是第一个可直接比较三种语言的词汇简化系统的数据集。为了展示数据集的可用性，我们将两种具有不同体系结构（神经与非神经）的最先进的词汇简化系统适应所有三种语言（英语，西班牙语和巴西葡萄牙语），并评估他们的表演在我们的新数据集中。为了进行更公平的比较，我们使用多种评估措施来捕获系统功效的各个方面，并讨论其优势和缺点。我们发现，最先进的神经词汇简化系统优于所有三种语言中最先进的非神经词汇简化系统。更重要的是，我们发现最先进的神经词汇简化系统对英语的表现要比西班牙和葡萄牙语要好得多。

名义隐喻经常用于人类语言，并已被证明可以说服，表达情感和刺激兴趣。本文解决了中国名义上隐喻（NM）一代的问题。我们引入了一个新颖的多任务框架，该框架共同优化了三个任务：NM识别，NM组件识别和NM生成。隐喻识别模块能够执行自我训练程序，该程序从大型未标记的语料库中发现了新的隐喻，以进行NM生成。 NM组件识别模块在训练和条件下强调了这些NM组件上的成分，以获得更连贯的结果。为了训练NM识别和组件识别模块，我们构建了一个注释的语料库，该语料由6.3K句子组成，其中包含多种隐喻模式。自动指标表明，我们的方法可以产生具有良好可读性的多种隐喻，其中92％是新颖的隐喻比较。人类评估表明，我们的模型在一致性和创造力方面显着优于基准。