现有的文档级神经计算机翻译（NMT）模型具有足够探索的不同上下文设置，为目标生成提供指导。但是，对于慷慨的上下文信息，对揭开更多样化的背景的注意力很少。在本文中，我们提出了一种选择性的内存增强神经文件翻译模型，以处理包含上下文的大假设空间的文档。具体而言，我们从训练语料库中检索类似的双语句子对来增强全局上下文，然后通过选择性机制扩展双流注意模型，以捕获本地上下文和不同的全局背景。这种统一的方法允许我们的模型在三个公开的文档级机器翻译数据集上优雅地培训，并且显着优于以前的文档级NMT型号。

Retrieval-augmented Neural Machine Translation models have been successful in many translation scenarios. Different from previous works that make use of mutually similar but redundant translation memories~(TMs), we propose a new retrieval-augmented NMT to model contrastively retrieved translation memories that are holistically similar to the source sentence while individually contrastive to each other providing maximal information gains in three phases. First, in TM retrieval phase, we adopt a contrastive retrieval algorithm to avoid redundancy and uninformativeness of similar translation pieces. Second, in memory encoding stage, given a set of TMs we propose a novel Hierarchical Group Attention module to gather both local context of each TM and global context of the whole TM set. Finally, in training phase, a Multi-TM contrastive learning objective is introduced to learn salient feature of each TM with respect to target sentence. Experimental results show that our framework obtains improvements over strong baselines on the benchmark datasets.

Directly training a document-to-document (Doc2Doc) neural machine translation (NMT) via Transformer from scratch, especially on small datasets usually fails to converge. Our dedicated probing tasks show that 1) both the absolute position and relative position information gets gradually weakened or even vanished once it reaches the upper encoder layers, and 2) the vanishing of absolute position information in encoder output causes the training failure of Doc2Doc NMT. To alleviate this problem, we propose a position-aware Transformer (P-Transformer) to enhance both the absolute and relative position information in both self-attention and cross-attention. Specifically, we integrate absolute positional information, i.e., position embeddings, into the query-key pairs both in self-attention and cross-attention through a simple yet effective addition operation. Moreover, we also integrate relative position encoding in self-attention. The proposed P-Transformer utilizes sinusoidal position encoding and does not require any task-specified position embedding, segment embedding, or attention mechanism. Through the above methods, we build a Doc2Doc NMT model with P-Transformer, which ingests the source document and completely generates the target document in a sequence-to-sequence (seq2seq) way. In addition, P-Transformer can be applied to seq2seq-based document-to-sentence (Doc2Sent) and sentence-to-sentence (Sent2Sent) translation. Extensive experimental results of Doc2Doc NMT show that P-Transformer significantly outperforms strong baselines on widely-used 9 document-level datasets in 7 language pairs, covering small-, middle-, and large-scales, and achieves a new state-of-the-art. Experimentation on discourse phenomena shows that our Doc2Doc NMT models improve the translation quality in both BLEU and discourse coherence. We make our code available on Github.

最近，作品数量表明，通过使用视觉信息，可以在一定程度上改进神经机器翻译（NMT）的性能。但是，这些结论中的大多数是根据基于有限的双语句子图像对的实验结果的分析得出的，例如Multi30k。在这类数据集中，必须通过手动注释的图像很好地表示一个双语平行句子对的内容，这与实际翻译情况不同。提出了一些先前的作品，以通过从退出的句子图像对中检索图像与主题模型来解决问题。但是，由于他们使用的句子图像对收集有限，因此很难处理其图像检索方法，并且很难证明视觉信息增强了NMT，而不是图像和图像的共发生句子。在本文中，我们提出了一种开放式摄影图像检索方法，以使用图像搜索引擎收集双语平行语料库的描述性图像。接下来，我们提出文本感知的专注视觉编码器，以过滤错误收集的噪声图像。多30K和其他两个翻译数据集的实验结果表明，我们提出的方法对强基础可取得重大改进。

变压器的令人印象深刻的性能归因于自我注意力，在每个位置都考虑了整个输入之间的依赖性。在这项工作中，我们改革了神经$ n $ gram模型，该模型仅着眼于每个位置的几个周围表示，其多头机制如Vaswani等人（2017年）。通过对序列到序列任务的实验，我们表明，用多头神经$ n $ gram在变压器中替换自我注意力可以比变压器实现可比性或更好的性能。从对我们提出的方法的各种分析中，我们发现多头神经$ n $ gram是互补的，它们的组合可以进一步提高香草变压器的性能。

变形金机对文本建模很重要。但是，由于输入文本长度的二次复杂性，它难以处理长文件。为了处理这个问题，我们提出了一种分层交互式变压器（高变压器），用于高效且有效的长文档建模。高变压器模型以分层方式模型，即首先了解句子表示，然后学习文档表示。它可以有效地降低复杂性，同时在每个句子的建模中捕获全局文档上下文。更具体地说，我们首先使用句子变压器来学习每个句子的表示。然后我们使用文档变形器从这些句子表示中模拟全局文档上下文。接下来，我们使用另一个句子变换器来使用全局文档上下文增强句子建模。最后，我们使用分层汇集方法获取文档嵌入。三个基准数据集的广泛实验验证了长文档建模中高变压器的效率和效力。

多语言机器翻译已被证明是一种有效的策略，可以用单个模型在多种语言之间进行翻译。但是，大多数研究都集中在多语言句子翻译上，而无需考虑跨不同语言生成长文档，这需要了解多语言上下文依赖性，并且通常更难。在本文中，我们首先是天真地纳入辅助多语言数据的辅助目标或源辅助数据对我们感兴趣的源目标对没有任何改进。在这一观察过程中，我们提出了一个名为多语言传递性（MTRAN）的新型框架，以在多语言模型中通过源辅助目标找到一个隐式的最佳途径。为了鼓励MTRANS，我们提出了一种称为三重平行数据（TPD）的新方法，该方法使用包含（源 - 载体，辅助目标和源目标）的平行三重线进行训练。然后，辅助语言充当枢轴，并自动促进隐式信息过渡流，从而更容易翻译。我们进一步提出了一个名为“双向多语言协议”（BI-Magree）的新颖框架，该框架鼓励不同语言之间的双向协议。为了鼓励Bi-Magree，我们提出了一种称为多语言Kullback-Leibler Divergence（MKL）的新颖方法，该方法迫使输入的输出分布具有相同的含义，但以不同的语言彼此一致。实验结果表明，我们的方法对三个文档翻译任务的强大基准进行了一致的改进：IWSLT2015 ZH-EN，DE-EN和VI-EN。我们的分析验证了MTRAN和BI-MAGREE的实用性和存在，我们的框架和方法对合成辅助数据有效。

语法纠错（GEC）是检测和纠正句子中语法错误的任务。最近，神经机翻译系统已成为这项任务的流行方法。然而，这些方法缺乏使用句法知识，这在语法错误的校正中起着重要作用。在这项工作中，我们提出了一种语法引导的GEC模型（SG-GEC），它采用图表注意机制来利用依赖树的句法知识。考虑到语法不正确的源句子的依赖性树可以提供不正确的语法知识，我们提出了一个依赖树修正任务来处理它。结合数据增强方法，我们的模型在不使用任何大型预先训练模型的情况下实现了强大的性能。我们评估我们在GEC任务的公共基准上的模型，实现了竞争结果。

变压器注意机制的二次计算和内存复杂性限制了对长序列建模的可扩展性。在本文中，我们提出了Luna，一种线性统一嵌套关注机制，使Softmax注意力具有两个嵌套线性关注功能，仅产生线性（与二次）的时间和空间复杂度相反。具体地，通过第一注意功能，LUNA将输入序列包装成固定长度的序列。然后，使用第二关注功能未包装包装序列。与更传统的关注机制相比，LUNA引入具有固定长度的附加序列作为输入和额外的相应输出，允许LUNA线性地进行关注操作，同时还存储足够的上下文信息。我们对三个序列建模任务的基准进行了广泛的评估：长上下文序列建模，神经机平移和大型预磨损的屏蔽语言建模。竞争甚至更好的实验结果表明了Luna的有效性和效率与各种各样相比

机器翻译历史上的重要突破之一是变压器模型的发展。不仅对于各种翻译任务，而且对于大多数其他NLP任务都是革命性的。在本文中，我们针对一个基于变压器的系统，该系统能够将德语用源句子转换为其英语的对应目标句子。我们对WMT'13数据集的新闻评论德语 - 英语并行句子进行实验。此外，我们研究了来自IWSLT'16数据集的培训中包含其他通用域数据以改善变压器模型性能的效果。我们发现，在培训中包括IWSLT'16数据集，有助于在WMT'13数据集的测试集中获得2个BLEU得分点。引入定性分析以分析通用域数据的使用如何有助于提高产生的翻译句子的质量。

我用Hunglish2语料库训练神经电脑翻译任务的模型。这项工作的主要贡献在培训NMT模型期间评估不同的数据增强方法。我提出了5种不同的增强方法，这些方法是结构感知的，这意味着而不是随机选择用于消隐或替换的单词，句子的依赖树用作增强的基础。我首先关于神经网络的详细文献综述，顺序建模，神经机翻译，依赖解析和数据增强。经过详细的探索性数据分析和Hunglish2语料库的预处理之后，我使用所提出的数据增强技术进行实验。匈牙利语的最佳型号达到了33.9的BLEU得分，而英国匈牙利最好的模型达到了28.6的BLEU得分。

虽然已经提出了许多背景感知神经机器转换模型在翻译中包含语境，但大多数模型在句子级别对齐的并行文档上培训结束到底。因为只有少数域（和语言对）具有此类文档级并行数据，所以我们无法在大多数域中执行准确的上下文感知转换。因此，我们通过将文档级语言模型结合到解码器中，提出了一种简单的方法将句子级转换模型转换为上下文感知模型。我们的上下文感知解码器仅在句子级并行语料库和单语演模板上构建;因此，不需要文档级并行数据。在理论上，这项工作的核心部分是使用上下文和当前句子之间的点亮互信息的语境信息的新颖表示。我们以三种语言对，英语到法语，英语到俄语，以及日语到英语，通过评估，通过评估以及对上下文意识翻译的对比测试。

我们研究了在循环机器翻译中对人体反馈的在线学习问题，其中人类翻译人员修改了机器生成的翻译，然后使用校正的翻译来改善神经电机翻译（NMT）系统。然而，以前的方法需要在线模型更新或额外的翻译记忆网络来实现高质量的性能，使它们在实践中不灵活和效率低下。在本文中，我们提出了一种新颖的非参数在线学习方法而不改变模型结构。这种方法引入了两个K-Cirelte-邻（KNN）模块：一个模块记住了人类反馈，这是人类翻译人员提供的正确句子，而另一个模块是自适应地平衡历史人体反馈和原始NMT模型的使用。在EMEA和JRC-ACQUIS基准上进行的实验表明，我们所提出的方法对翻译准确性的大量改进，并通过更少的人力校正操作实现更好的适应性能。

Recent work has improved language models (LMs) remarkably by equipping them with a non-parametric memory component. However, most existing approaches only introduce mem-ories at testing time or represent them using a separately trained encoder, resulting in suboptimal training of the language model. In this work, we present TRIME, a novel yet simple training approach designed for training LMs with memory augmentation. Our approach uses a training objective that directly takes in-batch examples as accessible memory. We also present new methods for memory construction and data batching, which are used for adapting to different sets of memories--local, long-term, and external memory--at testing time. We evaluate TRIME on multiple language modeling and machine translation benchmarks and show that it is able to achieve significant improvements across all the settings. Concretely, TRIME reduces the perplexity from 18.70 to 15.37 on WIKITEXT-103, by effectively leveraging a large memory set from the training corpus. Compared to standard LM training, TRIME adds negligible computational overhead and is compatible with different neural architectures, making it a versatile solution for training memory-augmented LMs.

众所周知，由出色的文档级神经机器翻译（NMT）模型产生的翻译是一致且连贯的。但是，像BLEU这样的现有句子级评估指标几乎无法反映模型在文档级别的性能。为了解决这个问题，我们在本文中提出了一种话语凝聚评估方法（DCOEM），并贡献了一个新的测试套件，该套件考虑了四个凝聚力的方式（参考，连接，替代和词汇凝聚力），以衡量文档翻译的凝聚力。最近的文档级NMT系统的评估结果表明，我们的方法在估计文档级别的翻译方面是实用且至关重要的。

我们介绍了双图：一种简单但有效的训练策略，以提高神经机器翻译（NMT）性能。它由两个程序组成：双向预处理和单向填充。这两个过程均使用SIMCUT，这是一种简单的正则化方法，迫使原始句子对的输出分布之间的一致性。在不利用额外的数据集通过反翻译或集成大规模预认证的模型的情况下，BI-Simcut可以在五个翻译基准（数据尺寸从160K到20.20万）中实现强大的翻译性能：EN-的BLEU得分为31.16，EN-> DE和38.37的BLEU得分为38.37 de-> en在IWSLT14数据集上，en-> de的30.78和35.15在WMT14数据集上进行DE-> en，而WMT17数据集中的ZH-> EN为27.17。 Simcut不是一种新方法，而是简化和适用于NMT的cutoff（Shen等，2020）的版本，可以将其视为基于扰动的方法。鉴于Simcut和Bi-Simcut的普遍性和简单性，我们认为它们可以作为未来NMT研究的强大基准。

在完全共享所有语言参数的多语言神经机器翻译模型中，通常使用人工语言令牌来指导转换为所需的目标语言。但是，最近的研究表明，预备语言代币有时无法将多语言神经机器翻译模型导航到正确的翻译方向，尤其是在零弹性翻译上。为了减轻此问题，我们提出了两种方法：语言嵌入实施例和语言意识的多头关注，以学习信息丰富的语言表示，以将翻译转换为正确的方向。前者体现了沿着从源到目标的信息流中的不同关键切换点的语言，旨在放大翻译方向引导信号。后者利用矩阵而不是向量来表示连续空间中的语言。矩阵分为多个头，以学习多个子空间中的语言表示。在两个数据集上进行大规模多语言神经机器翻译的实验结果表明，语言意识到的多头注意力受益于监督和零弹性翻译，并大大减轻了脱靶翻译问题。进一步的语言类型学预测实验表明，通过我们的方法学到的基于基质的语言表示能够捕获丰富的语言类型学特征。

神经机翻译模型假设可以通过自动关注网络从双语语料库中学到语法知识。但是，在弱监管中训练的注意网络实际上无法捕获句子的深层结构。当然，我们希望引入外部语法知识来指导注意力学习网络。因此，我们提出了一种新颖的，无参数依赖性缩放的自我关注网络，其将明确的句法依赖关系集成到注意网络中以驱逐注意力分布的分散。最后，提出了两种知识稀疏技术，以防止模型过度禁止嘈杂的句法依赖性。对IWSLT14德语和WMT16德语翻译任务的实验和广泛分析验证了我们方法的有效性。

Nowadays, time-stamped web documents related to a general news query floods spread throughout the Internet, and timeline summarization targets concisely summarizing the evolution trajectory of events along the timeline. Unlike traditional document summarization, timeline summarization needs to model the time series information of the input events and summarize important events in chronological order. To tackle this challenge, in this paper, we propose a Unified Timeline Summarizer (UTS) that can generate abstractive and extractive timeline summaries in time order. Concretely, in the encoder part, we propose a graph-based event encoder that relates multiple events according to their content dependency and learns a global representation of each event. In the decoder part, to ensure the chronological order of the abstractive summary, we propose to extract the feature of event-level attention in its generation process with sequential information remained and use it to simulate the evolutionary attention of the ground truth summary. The event-level attention can also be used to assist in extracting summary, where the extracted summary also comes in time sequence. We augment the previous Chinese large-scale timeline summarization dataset and collect a new English timeline dataset. Extensive experiments conducted on these datasets and on the out-of-domain Timeline 17 dataset show that UTS achieves state-of-the-art performance in terms of both automatic and human evaluations.

如何根据新出现的情况有效地调整神经电机翻译（NMT）模型而不会再培训？尽管神经机翻译成功，但更新部署的型号在线仍然是一个挑战。现有的非参数方法从数据库中检索类似的示例以指导翻译过程是有希望的，但容易被检索到的示例过度。在这项工作中，我们建议使用示例检索（Kster）进行内核平滑的翻译，这是一种在线调整神经计算机翻译模型的有效方法。域适应和多域机平移数据集的实验表明，即使没有昂贵的再培训，Kster也能够通过最佳现有在线适应方法实现1.1至1.5 BLEU分数的提高。代码和培训的型号在https://github.com/jiangqn/kster发布。