跨语言嵌入技术（CLWE）的技术在应对低资源语言的自然语言处理挑战方面起着基本作用。它的主要方法假设嵌入之间的关系可以由线性映射表示，但是没有探索该假设所存在的条件。这种研究差距最近变得非常危急，因为已经证明，放松映射是非线性的，在某些情况下可以提高性能。我们首次提出了一个理论分析，该分析将单词嵌入中编码的类比保存是一种必要且充分的条件，用于在这些嵌入之间的地面clwe映射是线性的。在一个涵盖十二种不同语言的五个代表性类比类别的新型跨语性类比数据集中，我们进行了实验，为我们的理论主张提供直接的经验支持。这些结果提供了对其他研究人员的观察结果的更多见解，并为制定更有效的跨语性代表性学习策略做出了贡献。

State-of-the-art natural language processing systems rely on supervision in the form of annotated data to learn competent models. These models are generally trained on data in a single language (usually English), and cannot be directly used beyond that language. Since collecting data in every language is not realistic, there has been a growing interest in crosslingual language understanding (XLU) and low-resource cross-language transfer. In this work, we construct an evaluation set for XLU by extending the development and test sets of the Multi-Genre Natural Language Inference Corpus (MultiNLI) to 15 languages, including low-resource languages such as Swahili and Urdu. We hope that our dataset, dubbed XNLI, will catalyze research in cross-lingual sentence understanding by providing an informative standard evaluation task. In addition, we provide several baselines for multilingual sentence understanding, including two based on machine translation systems, and two that use parallel data to train aligned multilingual bag-of-words and LSTM encoders. We find that XNLI represents a practical and challenging evaluation suite, and that directly translating the test data yields the best performance among available baselines.

跨域对齐在从机器翻译到转移学习的任务中起关键作用。最近，在单语嵌入中运行的纯监督方法已成功地用于推断双语词典而不依赖监督。但是，当前的最新方法仅关注点向量，尽管在表示单词时已证明分布嵌入可以嵌入更丰富的语义信息。在本文中，我们提出了与概率嵌入对齐的随机优化方法。最后，我们通过对齐单语言数据训练的单词嵌入方式来评估无监督单词翻译问题的方法。我们表明，所提出的方法在几种语言对的双语词典归纳任务上取得了良好的性能，并且比基于点矢量的方法更好。

虽然审慎的语言模型（PLM）主要用作通用文本编码器，可以对各种下游任务进行微调，但最近的工作表明它们也可以重新连接以产生高质量的单词表示（即静态单词）嵌入）并在类型级词汇任务中产生良好的性能。虽然现有的工作主要集中在单语和双语环境中PLM的词汇专业化，但在这项工作中，我们将大规模多语言变压器（例如MMTS，例如Mbert或XLM-R）公开，以此为大规模的多语言词法知识，并利用Babelnet作为易于获得的丰富来源。多语言和跨语性类型级词汇知识。具体来说，我们利用Babelnet的多语言合成器来创建$ 50 $语言的同义词对，然后对MMTS（Mbert和XLM-R）进行对比目标指导的词汇专业化程序。我们表明，如此庞大的多语言词汇专业化为两项标准的跨语性词汇任务，双语词典感应和跨语性单词相似性以及跨语性句子检索带来了巨大的收益。至关重要的是，我们观察到在专业化中看不见的语言的收益，表明多语言词汇专业化使得概括无词法约束。在一系列随后的受控实验中，我们证明了MMT对专业化语言中单词表示的预处理质量对性能的影响要比一组约束集的语言多样性更大。令人鼓舞的是，这表明涉及低资源语言的词汇任务从资源丰富的语言的词汇知识中受益最大，通常更多。

语言可以用作再现和执行有害刻板印象和偏差的手段，并被分析在许多研究中。在本文中，我们对自然语言处理中的性别偏见进行了304篇论文。我们分析了社会科学中性别及其类别的定义，并将其连接到NLP研究中性别偏见的正式定义。我们调查了在对性别偏见的研究中应用的Lexica和数据集，然后比较和对比方法来检测和减轻性别偏见。我们发现对性别偏见的研究遭受了四个核心限制。 1）大多数研究将性别视为忽视其流动性和连续性的二元变量。 2）大部分工作都在单机设置中进行英语或其他高资源语言进行。 3）尽管在NLP方法中对性别偏见进行了无数的论文，但我们发现大多数新开发的算法都没有测试他们的偏见模型，并无视他们的工作的伦理考虑。 4）最后，在这一研究线上发展的方法基本缺陷涵盖性别偏差的非常有限的定义，缺乏评估基线和管道。我们建议建议克服这些限制作为未来研究的指导。

非洲语言仍然滞留在自然语言处理技术的进步中，是缺乏代表性数据的一个原因，具有可以在语言之间传输信息的技术可以帮助减少缺乏数据问题。本文列车Setswana和Sepedi单语法向量，并使用Vecmap为Setsssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssswana-sepedi创建交叉语言嵌入式。 Word Embeddings是字向量，其代表单词作为连续浮动数字，其中语义类似的单词映射到N维空间中的附近点。 Word Embeddings的想法是基于分布假设，即在类似上下文中分发了语义类似的单词（Harris，1954）。通过学习两个单独训练的单丝矢量的共享矢量空间来利用单晶嵌入来利用单晶的嵌入，使得具有类似含义的单词由类似的载体表示。在本文中，我们调查Setswana-Sepedi单声道单词矢量的十字旋转嵌入。我们使用Vecmap中的无监督十字形嵌入式培训Setswana-Sepedi跨语言嵌入式。我们使用语义评估任务评估Setswana-Sepedi交叉词表示的质量。对于语义相似性任务，我们将单词和Simlex任务翻译成SetSwana和Sepedi。我们将此数据集发布为其他研究人员的这项工作的一部分。我们评估嵌入式的内在质量，以确定是否有改进单词嵌入的语义表示。

编码单词语义属性的密集词向量或“Word Embeddings”现在已成为机器翻译（MT），问题应答（QA），字感消解（WSD）和信息检索（IR）中的NLP任务的积分。在本文中，我们使用各种现有方法为14个印度语言创建多个单词嵌入。我们将这些嵌入的嵌入式为所有这些语言，萨姆萨姆，孟加拉，古吉拉蒂，印地教派，kannada，konkani，malayalam，marathi，尼泊尔，odiya，punjabi，梵语，泰米尔和泰雅古士在一个单一的存储库中。相对较新的方法，强调迎合上下文（BERT，ELMO等），表明了显着的改进，但需要大量资源来产生可用模型。我们释放使用上下文和非上下文方法生成的预训练嵌入。我们还使用Muse和XLM来培训所有上述语言的交叉语言嵌入。为了展示我们嵌入的效果，我们为所有这些语言评估了我们对XPOS，UPOS和NER任务的嵌入模型。我们使用8种不同的方法释放了436个型号。我们希望他们对资源受限的印度语言NLP有用。本文的标题是指最初在1924年出版的福斯特的着名小说“一段是印度”。

Cross-lingual transfer learning without labeled target language data or parallel text has been surprisingly effective in zero-shot cross-lingual classification, question answering, unsupervised machine translation, etc. However, some recent publications have claimed that domain mismatch prevents cross-lingual transfer, and their results show that unsupervised bilingual lexicon induction (UBLI) and unsupervised neural machine translation (UNMT) do not work well when the underlying monolingual corpora come from different domains (e.g., French text from Wikipedia but English text from UN proceedings). In this work, we show that a simple initialization regimen can overcome much of the effect of domain mismatch in cross-lingual transfer. We pre-train word and contextual embeddings on the concatenated domain-mismatched corpora, and use these as initializations for three tasks: MUSE UBLI, UN Parallel UNMT, and the SemEval 2017 cross-lingual word similarity task. In all cases, our results challenge the conclusions of prior work by showing that proper initialization can recover a large portion of the losses incurred by domain mismatch.

在线健康社区（OHC）是外行共享健康信息的主要渠道。为了分析OHC的健康消费者生成的内容（HCGC），确定外行使用的口语医学表达是一个至关重要的挑战。开放式和协作的消费者健康词汇（OAC CHV）是应对这种挑战的受控词汇。但是，OAC CHV仅以英语提供，将适用性限制在其他语言上。这项研究旨在提出一个跨语言自动识别框架，以将英语OAC CHV扩展为跨语言。我们的框架需要英语HCGC语料库和非英语（即本研究中的中文）HCGC语料库作为输入。使用Skip-gram算法确定两个单语词向量空间，以便每个空间在语言中编码来自外行的通用单词关联。基于等距假设，该框架将两个单语言空间归结为双语单词矢量空间，在该空间中，我们采用余弦相似性作为指标来识别跨语言的语义相似单词。在实验中，我们的框架表明，它可以有效地检索类似的医学术语，包括口语，跨语言，并进一步促进跨语言CHV的汇编。

知识库，例如Wikidata Amass大量命名实体信息，例如多语言标签，这些信息对于各种多语言和跨语义应用程序非常有用。但是，从信息一致性的角度来看，不能保证这样的标签可以跨语言匹配，从而极大地损害了它们对机器翻译等字段的有用性。在这项工作中，我们研究了单词和句子对准技术的应用，再加上匹配算法，以将从Wikidata提取的10种语言中提取的跨语性实体标签对齐。我们的结果表明，Wikidata的主标签之间的映射将通过任何使用的方法都大大提高（F1分数最高20美元）。我们展示了依赖句子嵌入的方法如何超过所有其他脚本，甚至在不同的脚本上。我们认为，这种技术在测量标签对的相似性上的应用，再加上富含高质量实体标签的知识库，是机器翻译的绝佳资产。

在这项工作中，我们提出了一个系统的实证研究，专注于最先进的多语言编码器在跨越多种不同语言对的交叉语言文档和句子检索任务的适用性。我们首先将这些模型视为多语言文本编码器，并在无监督的ad-hoc句子和文档级CLIR中基准性能。与监督语言理解相比，我们的结果表明，对于无监督的文档级CLIR - 一个没有针对IR特定的微调 - 预训练的多语言编码器的相关性判断，平均未能基于CLWE显着优于早期模型。对于句子级检索，我们确实获得了最先进的性能：然而，通过多语言编码器来满足高峰分数，这些编码器已经进一步专注于监督的时尚，以便句子理解任务，而不是使用他们的香草'现货'变体。在这些结果之后，我们介绍了文档级CLIR的本地化相关性匹配，在那里我们独立地对文件部分进行了查询。在第二部分中，我们评估了在一系列零拍语言和域转移CLIR实验中的英语相关数据中进行微调的微调编码器精细调整的微调我们的结果表明，监督重新排名很少提高多语言变压器作为无监督的基数。最后，只有在域名对比度微调（即，同一域名，只有语言转移），我们设法提高排名质量。我们在目标语言中单次检索的交叉定向检索结果和结果（零拍摄）交叉传输之间的显着实证差异，这指出了在单机数据上训练的检索模型的“单声道过度装备”。

跨语言嵌入（CLWE）已被证明在许多跨语性任务中有用。但是，大多数现有的学习Clwe的方法，包括具有上下文嵌入的方法是无知的。在这项工作中，我们提出了一个新颖的框架，以通过仅利用双语词典的跨语性信号来使上下文嵌入在感觉层面上。我们通过首先提出一种新颖的感知感知的跨熵损失来明确地提出一种新颖的感知跨熵损失来实现我们的框架。通过感知感知的跨熵损失预算的单语Elmo和BERT模型显示出对单词感官歧义任务的显着改善。然后，我们提出了一个感官对齐目标，除了跨语义模型预训练的感知感知跨熵损失以及几种语言对的跨语义模型（英语对德语/西班牙语/日本/中文）。与最佳的基线结果相比，我们的跨语言模型分别在零摄影，情感分类和XNLI任务上达到0.52％，2.09％和1.29％的平均绩效提高。

Word translation without parallel corpora has become feasible, rivaling the performance of supervised methods. Recent findings have shown that the accuracy and robustness of unsupervised word translation (UWT) can be improved by making use of visual observations, which are universal representations across languages. In this work, we investigate the potential of using not only visual observations but also pretrained language-image models for enabling a more efficient and robust UWT. Specifically, we develop a novel UWT method dubbed Word Alignment using Language-Image Pretraining (WALIP), which leverages visual observations via the shared embedding space of images and texts provided by CLIP models (Radford et al., 2021). WALIP has a two-step procedure. First, we retrieve word pairs with high confidences of similarity, computed using our proposed image-based fingerprints, which define the initial pivot for the word alignment. Second, we apply our robust Procrustes algorithm to estimate the linear mapping between two embedding spaces, which iteratively corrects and refines the estimated alignment. Our extensive experiments show that WALIP improves upon the state-of-the-art performance of bilingual word alignment for a few language pairs across different word embeddings and displays great robustness to the dissimilarity of language pairs or training corpora for two word embeddings.

翻译质量估计（QE）是预测机器翻译（MT）输出质量的任务，而无需任何参考。作为MT实际应用中的重要组成部分，这项任务已越来越受到关注。在本文中，我们首先提出了XLMRScore，这是一种基于使用XLM-Roberta（XLMR）模型计算的BertScore的简单无监督的QE方法，同时讨论了使用此方法发生的问题。接下来，我们建议两种减轻问题的方法：用未知令牌和预训练模型的跨语性对准替换未翻译的单词，以表示彼此之间的一致性单词。我们在WMT21 QE共享任务的四个低资源语言对上评估了所提出的方法，以及本文介绍的新的英语FARSI测试数据集。实验表明，我们的方法可以在两个零射击方案的监督基线中获得可比的结果，即皮尔森相关性的差异少于0.01，同时在所有低资源语言对中的平均低资源语言对中的无人看管竞争对手的平均水平超过8％的平均水平超过8％。 。

多语言语言模型（\ mllms），如mbert，xlm，xlm-r，\ textit {etc。}已成为一种可行的选择，使预先估计到大量语言的力量。鉴于他们的成功在零射击转移学习中，在（i）建立更大的\ mllms〜覆盖了大量语言（ii）创建覆盖更广泛的任务和语言来评估的详尽工作基准mllms〜（iii）分析单音零点，零拍摄交叉和双语任务（iv）对Monolingual的性能，了解\ mllms〜（v）增强（通常）学习的通用语言模式（如果有的话）有限的容量\ mllms〜以提高他们在已见甚至看不见语言的表现。在这项调查中，我们审查了现有的文学，涵盖了上述与\ MLLMS有关的广泛研究领域。根据我们的调查，我们建议您有一些未来的研究方向。

两个关键假设塑造了排名检索的通常视图：（1）搜索者可以为他们希望看到的文档中的疑问选择单词，并且（2）排名检索的文档就足以，因为搜索者将足够就足够了能够认识到他们希望找到的那些。当要搜索的文档处于搜索者未知的语言时，既不是真的。在这种情况下，需要跨语言信息检索（CLIR）。本章审查了艺术技术的交流信息检索，并概述了一些开放的研究问题。

潜在的Dirichlet分配（LDA）如潜在的概率主题模型已延伸到双语设置。其中几个扩展中的基本建模假设是输入语料库是文档对的形式，其成分文件共享单个主题分布。然而，对于类似的小型公司而言，这种假设是强大的，这些数据在基本上类似的文件，即又是最常见的或易于获得的。在本文中，我们通过提出配对的文档来具有分开的，但绑定的主题分布来放松此假设。 ％与配对文件的分布之间的绑定机制。我们建议界限的强度应该取决于每对对的语义相似性。估计以不同语言编写的文档的相似性，我们使用与浅层神经网络学习的交叉语言嵌入式。我们通过扩展两个主题模型来评估所提出的绑定机制：LDA的双语适应，该LDA假定单词袋输入和模型，该模型包含语义相干段的边界的形式的文本结构的一部分。为了评估新颖的主题模型的表现，我们对五种双语，英语文件的同类实验进行了内在和外在的实验，用法语，德语，意大利语，西班牙语和葡萄牙文档进行了英语文件的五种双语。结果展示了通过归一化的点亮互信息测量的主题一致性的方法的效率，以及通过困惑测量的泛化性能，并且在每个语言的交叉文档检索任务中的平均互惠级别方面对。

一些基于变压器的模型可以执行跨语言转移学习：这些模型可以通过一种语言对特定任务进行培训，并以另一种语言的同一任务给予相对良好的结果，尽管仅在单语任务中进行了预先培训。但是，关于这些基于变压器的模型是否学习跨语言的通用模式，目前尚无共识。我们提出了一种单词级的任务不可能的方法，以评估此类模型构建的上下文化表示的对齐方式。我们表明，与以前的方法相比，我们的方法提供了更准确的翻译成对，以评估单词级别对齐。我们的结果表明，基于多语言变压器模型的某些内部层优于其他明确对齐的表示，甚至根据多语言对齐的更严格的定义，更是如此。

As machine translation (MT) metrics improve their correlation with human judgement every year, it is crucial to understand the limitations of such metrics at the segment level. Specifically, it is important to investigate metric behaviour when facing accuracy errors in MT because these can have dangerous consequences in certain contexts (e.g., legal, medical). We curate ACES, a translation accuracy challenge set, consisting of 68 phenomena ranging from simple perturbations at the word/character level to more complex errors based on discourse and real-world knowledge. We use ACES to evaluate a wide range of MT metrics including the submissions to the WMT 2022 metrics shared task and perform several analyses leading to general recommendations for metric developers. We recommend: a) combining metrics with different strengths, b) developing metrics that give more weight to the source and less to surface-level overlap with the reference and c) explicitly modelling additional language-specific information beyond what is available via multilingual embeddings.

监督机器翻译的绝大多数评估指标，即（i）假设参考翻译的存在，（ii）受到人体得分的培训，或（iii）利用并行数据。这阻碍了其适用于此类监督信号的情况。在这项工作中，我们开发了完全无监督的评估指标。为此，我们利用评估指标，平行语料库开采和MT系统之间的相似性和协同作用。特别是，我们使用无监督的评估指标来开采伪并行数据，我们用来重塑缺陷的基础向量空间（以迭代方式），并诱导无监督的MT系统，然后提供伪引用作为伪参考作为在中的附加组件中的附加组件指标。最后，我们还从伪并行数据中诱导无监督的多语言句子嵌入。我们表明，我们完全无监督的指标是有效的，即，他们在5个评估数据集中的4个击败了受监督的竞争对手。