我们通过纳入通用依赖性（UD）的句法特征来瞄准直接零射击设置中的跨语言机器阅读理解（MRC）的任务，以及我们使用的关键功能是每个句子中的语法关系。虽然以前的工作已经证明了有效的语法引导MRC模型，但我们建议采用句子际句法关系，除了基本的句子关系外，还可以进一步利用MRC任务的多句子输入中的句法依赖性。在我们的方法中，我们构建了句子间依赖图（ISDG）连接依赖树以形成横跨句子的全局句法关系。然后，我们提出了编码全局依赖关系图的ISDG编码器，通过明确地通过一个跳和多跳依赖性路径来解决句子间关系。三个多语言MRC数据集（XQUAD，MLQA，Tydiqa-Goldp）的实验表明，我们仅对英语培训的编码器能够在涵盖8种语言的所有14个测试集中提高零射性能，最高可达3.8 F1 / 5.2 EM平均改善，以及某些语言的5.2 F1 / 11.2 em。进一步的分析表明，改进可以归因于跨语言上一致的句法路径上的注意力。

Multilingual BERT (mBERT) has demonstrated considerable cross-lingual syntactic ability, whereby it enables effective zero-shot cross-lingual transfer of syntactic knowledge. The transfer is more successful between some languages, but it is not well understood what leads to this variation and whether it fairly reflects difference between languages. In this work, we investigate the distributions of grammatical relations induced from mBERT in the context of 24 typologically different languages. We demonstrate that the distance between the distributions of different languages is highly consistent with the syntactic difference in terms of linguistic formalisms. Such difference learnt via self-supervision plays a crucial role in the zero-shot transfer performance and can be predicted by variation in morphosyntactic properties between languages. These results suggest that mBERT properly encodes languages in a way consistent with linguistic diversity and provide insights into the mechanism of cross-lingual transfer.

通常认为语言模型能够编码语法[Tenney等，2019； Jawahar等，2019； Hewitt和Manning，2019]。在本文中，我们提出了UPOA，这是一种无监督的组成分析模型，该模型仅基于以验证的语言模型学习为跨度分割的句法距离，仅基于自我发挥的权重矩阵来计算出OUT关联得分。我们进一步提出了一个增强的版本UPIO，该版本利用了内部关联和外部关联得分来估计跨度的可能性。使用UPOA和UPIO的实验揭示了自我注意机制中查询和密钥的线性投影矩阵在解析中起重要作用。因此，我们将无监督的模型扩展到了几个射击模型（FPOA，FPIO），这些模型使用一些注释的树来学习更好的线性投影矩阵进行解析。宾夕法尼亚河岸上的实验表明，我们的无监督解析模型UPIO实现了与短句子（长度<= 10）相当的结果。我们的几个解析模型FPIO接受了仅20棵带注释的树木的训练，优于前几种镜头解析方法，该方法接受了50棵带注释的树木的训练。交叉解析的实验表明，无监督和少数解析方法都比SPMRL大多数语言的先前方法都更好[Seddah等，2013]。

AMR到文本是NLP社区中旨在从抽象含义表示（AMR）图生成句子的关键技术之一。自2013年提出AMR以来，有关AMR到文本的研究越来越普遍，因为AMR作为自然语言的高级语义描述，由于AMR具有独特的优势，因此作为结构化数据的重要分支变得越来越普遍。在本文中，我们简要介绍了AMR到文本。首先，我们介绍了此技术的当前情况，并指出了它的困难。其次，根据先前研究中使用的方法，我们根据它们各自的机制将它们大致分为五个类别和预先训练的语言模型（PLM）。特别是，我们详细介绍了基于神经网络的方法，并介绍了AMR到文本的最新进展，该方法指的是AMR重建，解码器优化等。此外，我们介绍了AMR-TOXT的基准和评估方法。最终，我们提供了当前技术和未来研究的前景的摘要。

多语言语言模型（\ mllms），如mbert，xlm，xlm-r，\ textit {etc。}已成为一种可行的选择，使预先估计到大量语言的力量。鉴于他们的成功在零射击转移学习中，在（i）建立更大的\ mllms〜覆盖了大量语言（ii）创建覆盖更广泛的任务和语言来评估的详尽工作基准mllms〜（iii）分析单音零点，零拍摄交叉和双语任务（iv）对Monolingual的性能，了解\ mllms〜（v）增强（通常）学习的通用语言模式（如果有的话）有限的容量\ mllms〜以提高他们在已见甚至看不见语言的表现。在这项调查中，我们审查了现有的文学，涵盖了上述与\ MLLMS有关的广泛研究领域。根据我们的调查，我们建议您有一些未来的研究方向。

Much recent progress in applications of machine learning models to NLP has been driven by benchmarks that evaluate models across a wide variety of tasks. However, these broad-coverage benchmarks have been mostly limited to English, and despite an increasing interest in multilingual models, a benchmark that enables the comprehensive evaluation of such methods on a diverse range of languages and tasks is still missing. To this end, we introduce the Cross-lingual TRansfer Evaluation of Multilingual Encoders (XTREME) benchmark, a multi-task benchmark for evaluating the cross-lingual generalization capabilities of multilingual representations across 40 languages and 9 tasks. We demonstrate that while models tested on English reach human performance on many tasks, there is still a sizable gap in the performance of cross-lingually transferred models, particularly on syntactic and sentence retrieval tasks. There is also a wide spread of results across languages. We release the benchmark 1 to encourage research on cross-lingual learning methods that transfer linguistic knowledge across a diverse and representative set of languages and tasks.

在完全共享所有语言参数的多语言神经机器翻译模型中，通常使用人工语言令牌来指导转换为所需的目标语言。但是，最近的研究表明，预备语言代币有时无法将多语言神经机器翻译模型导航到正确的翻译方向，尤其是在零弹性翻译上。为了减轻此问题，我们提出了两种方法：语言嵌入实施例和语言意识的多头关注，以学习信息丰富的语言表示，以将翻译转换为正确的方向。前者体现了沿着从源到目标的信息流中的不同关键切换点的语言，旨在放大翻译方向引导信号。后者利用矩阵而不是向量来表示连续空间中的语言。矩阵分为多个头，以学习多个子空间中的语言表示。在两个数据集上进行大规模多语言神经机器翻译的实验结果表明，语言意识到的多头注意力受益于监督和零弹性翻译，并大大减轻了脱靶翻译问题。进一步的语言类型学预测实验表明，通过我们的方法学到的基于基质的语言表示能够捕获丰富的语言类型学特征。

数据饥饿的深度神经网络已经将自己作为许多NLP任务的标准建立为包括传统序列标记的标准。尽管他们在高资源语言上表现最先进的表现，但它们仍然落后于低资源场景的统计计数器。一个方法来反击攻击此问题是文本增强，即，从现有数据生成新的合成训练数据点。虽然NLP最近目睹了一种文本增强技术的负载，但该领域仍然缺乏对多种语言和序列标记任务的系统性能分析。为了填补这一差距，我们调查了三类文本增强方法，其在语法（例如，裁剪子句子），令牌（例如，随机字插入）和字符（例如，字符交换）级别上执行更改。我们系统地将它们与语音标记，依赖解析和语义角色标记的分组进行了比较，用于使用各种模型的各种语言系列，包括依赖于诸如MBERT的普赖金的多语言语境化语言模型的架构。增强最显着改善了解析，然后是语音标记和语义角色标记的依赖性解析。我们发现实验技术通常在形态上丰富的语言，而不是越南语等分析语言。我们的研究结果表明，增强技术可以进一步改善基于MBERT的强基线。我们将字符级方法标识为最常见的表演者，而同义词替换和语法增强仪提供不一致的改进。最后，我们讨论了最大依赖于任务，语言对和模型类型的结果。

致辞推理是自然语言处理中的关键问题之一，但标记数据的相对稀缺缺少英语以外的语言的进度。预先磨削的交叉模型是一种强大的语言不可知论者的来源，但它们的固有推理能力仍在积极研究。在这项工作中，我们设计了一种简单的方法来推理，将线性分类器列举为具有多针关注的重量。为了评估这种方法，我们通过在标准化管道内的先前工作中处理多种数据集来创建多语言WinoGrad模式语料库，并在样品外性能方面测量交叉语言泛化能力。该方法在近期监督和无人监督推理的最近监督和无监督的方法中表现得很竞争，即使在以零拍摄方式应用于其他语言。此外，我们证明大多数性能由所有研究的语言的相同小的注意头给出，这提供了在多语言编码器中的普遍推理能力的证据。

语法纠错（GEC）是检测和纠正句子中语法错误的任务。最近，神经机翻译系统已成为这项任务的流行方法。然而，这些方法缺乏使用句法知识，这在语法错误的校正中起着重要作用。在这项工作中，我们提出了一种语法引导的GEC模型（SG-GEC），它采用图表注意机制来利用依赖树的句法知识。考虑到语法不正确的源句子的依赖性树可以提供不正确的语法知识，我们提出了一个依赖树修正任务来处理它。结合数据增强方法，我们的模型在不使用任何大型预先训练模型的情况下实现了强大的性能。我们评估我们在GEC任务的公共基准上的模型，实现了竞争结果。

The word alignment task, despite its prominence in the era of statistical machine translation (SMT), is niche and under-explored today. In this two-part tutorial, we argue for the continued relevance for word alignment. The first part provides a historical background to word alignment as a core component of the traditional SMT pipeline. We zero-in on GIZA++, an unsupervised, statistical word aligner with surprising longevity. Jumping forward to the era of neural machine translation (NMT), we show how insights from word alignment inspired the attention mechanism fundamental to present-day NMT. The second part shifts to a survey approach. We cover neural word aligners, showing the slow but steady progress towards surpassing GIZA++ performance. Finally, we cover the present-day applications of word alignment, from cross-lingual annotation projection, to improving translation.

We propose a transition-based approach that, by training a single model, can efficiently parse any input sentence with both constituent and dependency trees, supporting both continuous/projective and discontinuous/non-projective syntactic structures. To that end, we develop a Pointer Network architecture with two separate task-specific decoders and a common encoder, and follow a multitask learning strategy to jointly train them. The resulting quadratic system, not only becomes the first parser that can jointly produce both unrestricted constituent and dependency trees from a single model, but also proves that both syntactic formalisms can benefit from each other during training, achieving state-of-the-art accuracies in several widely-used benchmarks such as the continuous English and Chinese Penn Treebanks, as well as the discontinuous German NEGRA and TIGER datasets.

As an important fine-grained sentiment analysis problem, aspect-based sentiment analysis (ABSA), aiming to analyze and understand people's opinions at the aspect level, has been attracting considerable interest in the last decade. To handle ABSA in different scenarios, various tasks are introduced for analyzing different sentiment elements and their relations, including the aspect term, aspect category, opinion term, and sentiment polarity. Unlike early ABSA works focusing on a single sentiment element, many compound ABSA tasks involving multiple elements have been studied in recent years for capturing more complete aspect-level sentiment information. However, a systematic review of various ABSA tasks and their corresponding solutions is still lacking, which we aim to fill in this survey. More specifically, we provide a new taxonomy for ABSA which organizes existing studies from the axes of concerned sentiment elements, with an emphasis on recent advances of compound ABSA tasks. From the perspective of solutions, we summarize the utilization of pre-trained language models for ABSA, which improved the performance of ABSA to a new stage. Besides, techniques for building more practical ABSA systems in cross-domain/lingual scenarios are discussed. Finally, we review some emerging topics and discuss some open challenges to outlook potential future directions of ABSA.

由于低资源语言缺乏培训数据，交叉语言机器阅读理解（XMRC）是挑战。最近的方法仅使用培训数据，以资源丰富的语言，如英语到微调大规模的跨语法预训练的语言模型。由于语言之间的巨大差异，仅由源语言微调的模型可能无法对目标语言表现良好。有趣的是，我们观察到，虽然先前方法预测的前1个结果可能经常无法达到地面真理答案，但是正确的答案通常包含在Top-K预测结果中。基于这种观察，我们开发了一种两级方法来提高模型性能。召回的第一阶段目标：我们设计一个艰难的学习（HL）算法，以最大化顶级预测包含准确答案的可能性。第二阶段专注于精确：开发了答案感知对比学习（AA-CL）机制，以了解准确答案和其他候选者之间的细差异。我们的广泛实验表明，我们的模型在两个交叉语言MRC基准数据集上显着优于一系列强大的基线。

在本文中，我们试图通过引入深度学习模型的句法归纳偏见来建立两所学校之间的联系。我们提出了两个归纳偏见的家族，一个家庭用于选区结构，另一个用于依赖性结构。选区归纳偏见鼓励深度学习模型使用不同的单位（或神经元）分别处理长期和短期信息。这种分离为深度学习模型提供了一种方法，可以从顺序输入中构建潜在的层次表示形式，即更高级别的表示由高级表示形式组成，并且可以分解为一系列低级表示。例如，在不了解地面实际结构的情况下，我们提出的模型学会通过根据其句法结构组成变量和运算符的表示来处理逻辑表达。另一方面，依赖归纳偏置鼓励模型在输入序列中找到实体之间的潜在关系。对于自然语言，潜在关系通常被建模为一个定向依赖图，其中一个单词恰好具有一个父节点和零或几个孩子的节点。将此约束应用于类似变压器的模型之后，我们发现该模型能够诱导接近人类专家注释的有向图，并且在不同任务上也优于标准变压器模型。我们认为，这些实验结果为深度学习模型的未来发展展示了一个有趣的选择。

Transformer-based models have pushed state of the art in many areas of NLP, but our understanding of what is behind their success is still limited. This paper is the first survey of over 150 studies of the popular BERT model. We review the current state of knowledge about how BERT works, what kind of information it learns and how it is represented, common modifications to its training objectives and architecture, the overparameterization issue and approaches to compression. We then outline directions for future research.

以前的工作主要侧重于改善NLU任务的交叉传输，具有多语言预用编码器（MPE），或提高与伯特的监督机器翻译的性能。然而，探索了，MPE是否可以有助于促进NMT模型的交叉传递性。在本文中，我们专注于NMT中的零射频转移任务。在此任务中，NMT模型培训，只有一个语言对的并行数据集和搁置架MPE，然后它直接测试在零拍语言对上。我们为此任务提出了Sixt，一个简单而有效的模型。 SIXT利用了两阶段培训计划利用MPE，并进一步改进了解离编码器和容量增强的解码器。使用此方法，SIMPT显着优于MBart，这是一个用于NMT的预磨削的多语言编码器解码器模型，平均改善了14个源语言的零拍摄的任何英语测试集上的7.1 BLEU。此外，培训计算成本和培训数据较少，我们的模型在15个任何英语测试组上实现了比Criss和M2M-100，两个强大的多语言NMT基线更好的性能。

语言模型是通过有限的输入集定义的，当我们尝试扩展支持语言的数量时，该输入会产生词汇瓶颈。解决此瓶颈会导致在嵌入矩阵中可以表示的与输出层中的计算问题之间的权衡。本文介绍了基于像素的语言编码器Pixel，这两个问题都没有遭受这些问题的影响。 Pixel是一种验证的语言模型，可将文本作为图像呈现，使基于拼字法相似性或像素的共激活的语言传输表示形式。 Pixel经过训练可以重建蒙版贴片的像素，而不是预测令牌上的分布。我们在与BERT相同的英语数据上为8600万参数像素模型预告，并对包括各种非拉丁语脚本在内的类型上多样化的语言中的句法和语义任务进行了评估。我们发现，Pixel在预读取数据中找不到的脚本上的句法和语义处理任务大大优于BERT，但是在使用拉丁文脚本时，Pixel比BERT稍弱。此外，我们发现像素对嘈杂的文本输入比bert更强大，进一步证实了用像素建模语言的好处。

我用Hunglish2语料库训练神经电脑翻译任务的模型。这项工作的主要贡献在培训NMT模型期间评估不同的数据增强方法。我提出了5种不同的增强方法，这些方法是结构感知的，这意味着而不是随机选择用于消隐或替换的单词，句子的依赖树用作增强的基础。我首先关于神经网络的详细文献综述，顺序建模，神经机翻译，依赖解析和数据增强。经过详细的探索性数据分析和Hunglish2语料库的预处理之后，我使用所提出的数据增强技术进行实验。匈牙利语的最佳型号达到了33.9的BLEU得分，而英国匈牙利最好的模型达到了28.6的BLEU得分。

在这项工作中，我们提出了一个系统的实证研究，专注于最先进的多语言编码器在跨越多种不同语言对的交叉语言文档和句子检索任务的适用性。我们首先将这些模型视为多语言文本编码器，并在无监督的ad-hoc句子和文档级CLIR中基准性能。与监督语言理解相比，我们的结果表明，对于无监督的文档级CLIR - 一个没有针对IR特定的微调 - 预训练的多语言编码器的相关性判断，平均未能基于CLWE显着优于早期模型。对于句子级检索，我们确实获得了最先进的性能：然而，通过多语言编码器来满足高峰分数，这些编码器已经进一步专注于监督的时尚，以便句子理解任务，而不是使用他们的香草'现货'变体。在这些结果之后，我们介绍了文档级CLIR的本地化相关性匹配，在那里我们独立地对文件部分进行了查询。在第二部分中，我们评估了在一系列零拍语言和域转移CLIR实验中的英语相关数据中进行微调的微调编码器精细调整的微调我们的结果表明，监督重新排名很少提高多语言变压器作为无监督的基数。最后，只有在域名对比度微调（即，同一域名，只有语言转移），我们设法提高排名质量。我们在目标语言中单次检索的交叉定向检索结果和结果（零拍摄）交叉传输之间的显着实证差异，这指出了在单机数据上训练的检索模型的“单声道过度装备”。