我们解决了神经机翻译中的两个域适应问题。首先，我们希望达到领域的稳健性，即培训数据的域名的良好质量，以及培训数据中的域名不间断。其次，我们希望我们的系统是Adaptive的，即，可以使用只有数百个域的平行句子来实现Finetune系统。在本文中，我们介绍了两个先前方法的新组合，文字自适应建模，解决了域的鲁棒性和荟萃学习，解决了域适应性，并且我们呈现了显示我们新组合改善这些属性的经验结果。

Neural Machine Translation (NMT) has obtained state-of-the art performance for several language pairs, while only using parallel data for training. Targetside monolingual data plays an important role in boosting fluency for phrasebased statistical machine translation, and we investigate the use of monolingual data for NMT. In contrast to previous work, which combines NMT models with separately trained language models, we note that encoder-decoder NMT architectures already have the capacity to learn the same information as a language model, and we explore strategies to train with monolingual data without changing the neural network architecture. By pairing monolingual training data with an automatic backtranslation, we can treat it as additional parallel training data, and we obtain substantial improvements on the WMT 15 task English↔German (+2.8-3.7 BLEU), and for the low-resourced IWSLT 14 task Turkish→English (+2.1-3.4 BLEU), obtaining new state-of-the-art results. We also show that fine-tuning on in-domain monolingual and parallel data gives substantial improvements for the IWSLT 15 task English→German.

机器翻译系统（MTS）是通过将文本或语音从一种语言转换为另一种语言的有效工具。在像印度这样的大型多语言环境中，对有效的翻译系统的需求变得显而易见，英语和一套印度语言（ILS）正式使用。与英语相反，由于语料库的不可用，IL仍然被视为低资源语言。为了解决不对称性质，多语言神经机器翻译（MNMT）系统会发展为在这个方向上的理想方法。在本文中，我们提出了一个MNMT系统，以解决与低资源语言翻译有关的问题。我们的模型包括两个MNMT系统，即用于英语印度（一对多），另一个用于指示英语（多一对多），其中包含15个语言对（30个翻译说明）的共享编码器码头。由于大多数IL对具有很少的平行语料库，因此不足以训练任何机器翻译模型。我们探索各种增强策略，以通过建议的模型提高整体翻译质量。最先进的变压器体系结构用于实现所提出的模型。大量数据的试验揭示了其优越性比常规模型的优势。此外，本文解决了语言关系的使用（在方言，脚本等方面），尤其是关于同一家族的高资源语言在提高低资源语言表现方面的作用。此外，实验结果还表明了ILS的倒退和域适应性的优势，以提高源和目标语言的翻译质量。使用所有这些关键方法，我们提出的模型在评估指标方面比基线模型更有效，即一组ILS的BLEU（双语评估研究）得分。

GPT-2和BERT展示了在各种自然语言处理任务上使用预训练的语言模型（LMS）的有效性。但是，在应用于资源丰富的任务时，LM微调通常会遭受灾难性的遗忘。在这项工作中，我们引入了一个协同的培训框架（CTNMT），该框架是将预训练的LMS集成到神经机器翻译（NMT）的关键。我们提出的CTNMT包括三种技术：a）渐近蒸馏，以确保NMT模型可以保留先前的预训练知识； b）动态的开关门，以避免灾难性忘记预训练的知识； c）根据计划的政策调整学习步伐的策略。我们在机器翻译中的实验表明，WMT14英语 - 德语对的CTNMT获得了最高3个BLEU得分，甚至超过了先前的最先进的预培训辅助NMT NMT的NMT。尽管对于大型WMT14英语法国任务，有400万句话，但我们的基本模型仍然可以显着改善最先进的变压器大型模型，超过1个BLEU得分。代码和模型可以从https://github.com/bytedance/neurst/tree/Master/Master/examples/ctnmt下载。

在任何翻译工作流程中，从源到目标的域知识保存至关重要。在翻译行业中，接收高度专业化的项目是很常见的，那里几乎没有任何平行的内域数据。在这种情况下，没有足够的内域数据来微调机器翻译（MT）模型，生成与相关上下文一致的翻译很具有挑战性。在这项工作中，我们提出了一种新颖的方法，用于域适应性，以利用最新的审计语言模型（LMS）来用于特定于域的MT的域数据增强，并模拟（a）的（a）小型双语数据集的域特征，或（b）要翻译的单语源文本。将这个想法与反翻译相结合，我们可以为两种用例生成大量的合成双语内域数据。为了进行调查，我们使用最先进的变压器体系结构。我们采用混合的微调来训练模型，从而显着改善了内域文本的翻译。更具体地说，在这两种情况下，我们提出的方法分别在阿拉伯语到英语对阿拉伯语言对上分别提高了大约5-6个BLEU和2-3 BLEU。此外，人类评估的结果证实了自动评估结果。

最近在单语数据和机器翻译（MT）进行微调的预培训方面取得了成功，但尚不清楚如何最好地利用预先训练的模型来完成给定的MT任务。本文在微调MT上的预训练模型时研究了冻结参数的好处和缺点。我们专注于1）微调仅在英语单语言数据的BART上训练的模型。2）微调一个模型，该模型对25种语言的单语言数据进行了培训，Mbart。对于Bart，我们通过冻结大多数模型参数并添加额外的位置嵌入来获得最佳性能。对于MBART，我们将大多数语言对的天真微调的性能与编码器以及大多数解码器搭配。编码器的注意参数对于微调最重要。当将自己限制为越南人对英语的室外训练套装时，我们看到了基线的最大进步。

不断增长的数据量导致更大的通用模型。通常遗漏特定用例，因为通用模型在域特定情况下往往表现不佳。我们的工作通过用于从通用域（并行文本）语料库的域名数据的方法解决了这个差距，用于机器翻译的任务。所提出的方法根据具有单孔域的特定数据集的余弦相似度在并行通用域数据中排列句子。然后，我们选择具有最高相似性分数的顶级k句，以培训调整的新机器翻译系统到特定的域数据。我们的实验结果表明，在通用或通用和域数据的混合训练的域内训练的模型训练的模型。也就是说，我们的方法以低计算成本和数据大小选择高质量的域特定培训实例。

交叉语言语音适应旨在解决利用多种丰富资源语言来构建低资源目标语言的模型的问题。由于低资源语言具有有限的培训数据，语音识别模型可以容易地过度装备。在本文中，我们建议使用适配器来研究多种适配器的性能，用于参数有效的交叉语音语音适应。基于我们以前的MetaAdapter，隐含地利用适配器，我们提出了一种名为SimAdapter的新算法，用于从Adapters明确学习知识。我们的算法利用了可以轻松集成到变压器结构中的适配器.METAADAPTER利用元学习将一般知识从训练数据转移到测试语言。 SimAdapter旨在使用适配器微调期间了解源语言与目标语言之间的相似性。我们在公共语音数据集中对五种低资源语言进行广泛的实验。结果表明，与强大的全型微调基线相比，我们的MetaAdapter和SimAdapter方法可以将WER减小2.98％和2.55％，只有2.5％和15.5％的培训参数。此外，我们还表明这两种新型算法可以集成，以便更好的性能，相对减少高达3.55％。

多语言语言模型（\ mllms），如mbert，xlm，xlm-r，\ textit {etc。}已成为一种可行的选择，使预先估计到大量语言的力量。鉴于他们的成功在零射击转移学习中，在（i）建立更大的\ mllms〜覆盖了大量语言（ii）创建覆盖更广泛的任务和语言来评估的详尽工作基准mllms〜（iii）分析单音零点，零拍摄交叉和双语任务（iv）对Monolingual的性能，了解\ mllms〜（v）增强（通常）学习的通用语言模式（如果有的话）有限的容量\ mllms〜以提高他们在已见甚至看不见语言的表现。在这项调查中，我们审查了现有的文学，涵盖了上述与\ MLLMS有关的广泛研究领域。根据我们的调查，我们建议您有一些未来的研究方向。

我们描述了JD Explore Academy对WMT 2022共享的一般翻译任务的提交。我们参加了所有高资源曲目和一条中型曲目，包括中文英语，德语英语，捷克语英语，俄语 - 英语和日语英语。我们通过扩大两个主要因素，即语言对和模型大小，即\ textbf {vega-mt}系统来推动以前的工作的极限 - 进行翻译的双向培训。至于语言对，我们将“双向”扩展到“多向”设置，涵盖所有参与语言，以利用跨语言的常识，并将其转移到下游双语任务中。至于型号尺寸，我们将变压器限制到拥有近47亿参数的极大模型，以完全增强我们VEGA-MT的模型容量。此外，我们采用数据增强策略，例如单语数据的循环翻译以及双语和单语数据的双向自我训练，以全面利用双语和单语言数据。为了使我们的Vega-MT适应通用域测试集，设计了概括调整。根据受约束系统的官方自动分数，根据图1所示的sacrebleu，我们在{zh-en（33.5），en-zh（49.7）（49.7），de-en（33.7）上获得了第一名-de（37.8），CS-EN（54.9），En-CS（41.4）和En-Ru（32.7）}，在{ru-en（45.1）和Ja-en（25.6）}和第三名上的第二名和第三名在{en-ja（41.5）}上； W.R.T彗星，我们在{zh-en（45.1），en-zh（61.7），de-en（58.0），en-de（63.2），cs-en（74.7），ru-en（ru-en（ru-en）上，我们获得了第一名64.9），en-ru（69.6）和en-ja（65.1）}，分别在{en-cs（95.3）和ja-en（40.6）}上的第二名。将发布模型，以通过GitHub和Omniforce平台来促进MT社区。

如何根据新出现的情况有效地调整神经电机翻译（NMT）模型而不会再培训？尽管神经机翻译成功，但更新部署的型号在线仍然是一个挑战。现有的非参数方法从数据库中检索类似的示例以指导翻译过程是有希望的，但容易被检索到的示例过度。在这项工作中，我们建议使用示例检索（Kster）进行内核平滑的翻译，这是一种在线调整神经计算机翻译模型的有效方法。域适应和多域机平移数据集的实验表明，即使没有昂贵的再培训，Kster也能够通过最佳现有在线适应方法实现1.1至1.5 BLEU分数的提高。代码和培训的型号在https://github.com/jiangqn/kster发布。

在各个领域（例如政治，健康和娱乐）中的真实和虚假新闻每天都通过在线社交媒体传播，需要对多个领域进行虚假新闻检测。其中，在政治和健康等特定领域中的虚假新闻对现实世界产生了更严重的潜在负面影响（例如，由Covid-19的错误信息引导的流行病）。先前的研究着重于多域假新闻检测，同样采矿和建模域之间的相关性。但是，这些多域方法遇到了SEESAW问题：某些域的性能通常会以损害其他域的性能而改善，这可能导致在特定领域的表现不满意。为了解决这个问题，我们建议一个用于假新闻检测（DITFEND）的域和实例级传输框架，这可以改善特定目标域的性能。为了传递粗粒域级知识，我们从元学习的角度训练了所有域数据的通用模型。为了传输细粒度的实例级知识并将一般模型调整到目标域，我们在目标域上训练语言模型，以评估每个数据实例在源域中的可传递性，并重新赢得每个实例的贡献。两个数据集上的离线实验证明了Ditfend的有效性。在线实验表明，在现实世界中，Ditfend对基本模型带来了更多改进。

我们提出了一种两阶段的培训方法，用于开发单个NMT模型，以翻译英语和英语的看不见的语言。对于第一阶段，我们将编码器模型初始化以鉴定XLM-R和Roberta的权重，然后对25种语言的平行数据进行多种语言微调。我们发现该模型可以推广到对看不见的语言的零击翻译。在第二阶段，我们利用这种概括能力从单语数据集生成合成的并行数据，然后用连续的反向翻译训练。最终模型扩展到了英语到许多方向，同时保持了多到英语的性能。我们称我们的方法为ecxtra（以英语为中心的跨语言（x）转移）。我们的方法依次利用辅助并行数据和单语言数据，并且在概念上很简单，仅在两个阶段都使用标准的跨熵目标。最终的ECXTRA模型对8种低资源语言的无监督NMT进行了评估，该语言为英语至哈萨克语（22.3> 10.4 bleu）以及其他15个翻译方向的竞争性能而获得了新的最先进。

This paper considers continual learning of large-scale pretrained neural machine translation model without accessing the previous training data or introducing model separation. We argue that the widely used regularization-based methods, which perform multi-objective learning with an auxiliary loss, suffer from the misestimate problem and cannot always achieve a good balance between the previous and new tasks. To solve the problem, we propose a two-stage training method based on the local features of the real loss. We first search low forgetting risk regions, where the model can retain the performance on the previous task as the parameters are updated, to avoid the catastrophic forgetting problem. Then we can continually train the model within this region only with the new training data to fit the new task. Specifically, we propose two methods to search the low forgetting risk regions, which are based on the curvature of loss and the impacts of the parameters on the model output, respectively. We conduct experiments on domain adaptation and more challenging language adaptation tasks, and the experimental results show that our method can achieve significant improvements compared with several strong baselines.

机器翻译历史上的重要突破之一是变压器模型的发展。不仅对于各种翻译任务，而且对于大多数其他NLP任务都是革命性的。在本文中，我们针对一个基于变压器的系统，该系统能够将德语用源句子转换为其英语的对应目标句子。我们对WMT'13数据集的新闻评论德语 - 英语并行句子进行实验。此外，我们研究了来自IWSLT'16数据集的培训中包含其他通用域数据以改善变压器模型性能的效果。我们发现，在培训中包括IWSLT'16数据集，有助于在WMT'13数据集的测试集中获得2个BLEU得分点。引入定性分析以分析通用域数据的使用如何有助于提高产生的翻译句子的质量。

我们介绍了双图：一种简单但有效的训练策略，以提高神经机器翻译（NMT）性能。它由两个程序组成：双向预处理和单向填充。这两个过程均使用SIMCUT，这是一种简单的正则化方法，迫使原始句子对的输出分布之间的一致性。在不利用额外的数据集通过反翻译或集成大规模预认证的模型的情况下，BI-Simcut可以在五个翻译基准（数据尺寸从160K到20.20万）中实现强大的翻译性能：EN-的BLEU得分为31.16，EN-> DE和38.37的BLEU得分为38.37 de-> en在IWSLT14数据集上，en-> de的30.78和35.15在WMT14数据集上进行DE-> en，而WMT17数据集中的ZH-> EN为27.17。 Simcut不是一种新方法，而是简化和适用于NMT的cutoff（Shen等，2020）的版本，可以将其视为基于扰动的方法。鉴于Simcut和Bi-Simcut的普遍性和简单性，我们认为它们可以作为未来NMT研究的强大基准。

我们对真正低资源语言的神经机翻译（NMT）进行了实证研究，并提出了一个训练课程，适用于缺乏并行培训数据和计算资源的情况，反映了世界上大多数世界语言和研究人员的现实致力于这些语言。以前，已经向低资源语言储存了使用后翻译（BT）和自动编码（AE）任务的无监督NMT。我们证明利用可比的数据和代码切换作为弱监管，与BT和AE目标相结合，即使仅使用适度的计算资源，低资源语言也会显着改进。在这项工作中提出的培训课程实现了Bleu分数，可通过+12.2 Bleu为古吉拉特和+3.7 Bleu为哈萨克斯培训的监督NMT培训，展示了弱势监督的巨大监督态度资源语言。在受到监督数据的培训时，我们的培训课程达到了索马里数据集（索马里29.3的BLEU的最先进的结果）。我们还观察到增加更多时间和GPU来培训可以进一步提高性能，强调报告在MT研究中的报告资源使用的重要性。

This paper demonstrates that multilingual denoising pre-training produces significant performance gains across a wide variety of machine translation (MT) tasks. We present mBART -a sequence-to-sequence denoising auto-encoder pre-trained on large-scale monolingual corpora in many languages using the BART objective . mBART is the first method for pre-training a complete sequence-to-sequence model by denoising full texts in multiple languages, while previous approaches have focused only on the encoder, decoder, or reconstructing parts of the text. Pre-training a complete model allows it to be directly fine tuned for supervised (both sentence-level and document-level) and unsupervised machine translation, with no task-specific modifications. We demonstrate that adding mBART initialization produces performance gains in all but the highest-resource settings, including up to 12 BLEU points for low resource MT and over 5 BLEU points for many document-level and unsupervised models. We also show it also enables new types of transfer to language pairs with no bi-text or that were not in the pre-training corpus, and present extensive analysis of which factors contribute the most to effective pre-training.

Domain adaptation is an effective solution to data scarcity in low-resource scenarios. However, when applied to token-level tasks such as bioNER, domain adaptation methods often suffer from the challenging linguistic characteristics that clinical narratives possess, which leads to unsatisfactory performance. In this paper, we present a simple yet effective hardness-guided domain adaptation (HGDA) framework for bioNER tasks that can effectively leverage the domain hardness information to improve the adaptability of the learnt model in low-resource scenarios. Experimental results on biomedical datasets show that our model can achieve significant performance improvement over the recently published state-of-the-art (SOTA) MetaNER model

Pre-training is an effective technique for ensuring robust performance on a variety of machine learning tasks. It typically depends on large-scale crawled corpora that can result in toxic or biased models. Such data can also be problematic with respect to copyright, attribution, and privacy. Pre-training with synthetic tasks and data is a promising way of alleviating such concerns since no real-world information is ingested by the model. Our goal in this paper is to understand what makes for a good pre-trained model when using synthetic resources. We answer this question in the context of neural machine translation by considering two novel approaches to translation model pre-training. Our first approach studies the effect of pre-training on obfuscated data derived from a parallel corpus by mapping words to a vocabulary of 'nonsense' tokens. Our second approach explores the effect of pre-training on procedurally generated synthetic parallel data that does not depend on any real human language corpus. Our empirical evaluation on multiple language pairs shows that, to a surprising degree, the benefits of pre-training can be realized even with obfuscated or purely synthetic parallel data. In our analysis, we consider the extent to which obfuscated and synthetic pre-training techniques can be used to mitigate the issue of hallucinated model toxicity.