搜索是数字平台和应用程序中的关键功能之一，如电子词典，搜索引擎和电子商务平台。虽然某些语言的搜索功能是微不足道的，但是，考虑到其复杂的写作系统，Khmer Word搜索是具有挑战性的。单词的多个字符和不同的拼写实现对Khmer Word搜索功能的约束施加了约束。此外，拼写错误很常见，因为强大的拼写检查器在输入设备平台上不可能可用。这些挑战阻碍了在搜索嵌入式应用中使用了高棉语言。此外，由于缺乏用于高棉语言的Wordnet的词汇数据库，因此无法在单词之间建立语义关系，从而实现语义搜索。在本文中，我们向上述与高棉Word搜索相关的挑战提出了一系列强大的解决方案。所提出的解决方案包括字符阶级标准化，图形和基于音素的拼写检查器和Khmer Word语义模型。语义模型基于嵌入模型的单词培训，该模型在30亿字的语料库上培训，用于捕获单词之间的语义相似之处。

文本分类是标记开放式文本的自然语言处理中的基本任务之一，对各种应用有用，如情绪分析。在本文中，我们讨论了Khmer文本的各种分类方法，从传统的TF-IDF算法到支持向量机分类器到基于现代字的基于词嵌入的神经网络分类器，包括线性层模型，经常性神经网络和卷积神经网络。 Khmer Word嵌入式模型培训在3000万Khmer-Word语料库上，以构建用于培训三种不同神经网络分类器的字矢量表示。我们为多类和多标签文本分类任务评估了对新闻文章数据集的不同方法的性能。结果表明，使用Word嵌入模型的神经网络分类器始终如一地始终使用TF-IDF来表达传统分类器。与卷积网络和线性层网络相比，经常性神经网络分类器提供稍好的结果。

社交媒体用户生成的文本实际上是许多NLP任务的主要资源。但是，本文不遵循标准写作规则。此外，在书面通信中使用方言（例如摩洛哥阿拉伯语）增加了NLP任务的复杂性。方言是一种口头语言，没有标准拼字法，这会导致用户在写作时即兴拼写。因此，对于相同的词，我们可以找到多种形式的音译。随后，必须将这些不同的音译标准化为一种规范的单词形式。为了实现这一目标，我们利用了用YouTube评论生成的单词嵌入模型的强大性。此外，使用提供规范形式的摩洛哥阿拉伯方言词典，我们构建了一个规范化词典，我们称为Manorm。我们已经进行了几项实验，以证明Manorm的效率，这些实验表明其在方言归一化中有用。

在这个数字时代，几乎在每个学科中，人们都在使用自动化系统，这些系统以不同的自然语言以文档格式表示信息。结果，人们对找到，组织和分析这些文件的更好解决方案越来越兴趣。在本文中，我们提出了一个系统，该系统将使用神经词嵌入的百科全书知识（EK）群簇。 EK启用相关概念和神经词嵌入的表示，使我们能够处理相关性的上下文。在聚类过程中，所有文本文档都通过预处理阶段。通过使用EK和Word Embedding模型映射，从每个文档中提取了丰富的文本文档功能。生成了富集特征的TF-IDF加权载体。最后，使用流行的球形K-均值算法聚类文本文档。提出的系统通过Amharic文本语料库和Amharic Wikipedia数据进行了测试。测试结果表明，将EK与单词嵌入文档聚类的使用可提高仅使用EK的平均准确性。此外，改变班级的大小对准确性有重大影响。

本文介绍了Persian的HMBLOGS语料库，作为一种低资源语言。此语料库已根据波斯博客的空间的一段时间内基于大约15岁的近2000万博客帖子编制的，包括超过68亿令牌。可以声称，此语料库目前是最大的波斯语料库，这些语料库是为波斯语而独立制定的。该语料库以原始和预处理的形式呈现，并且基于预处理的语料库，产生了一些单词嵌入模型。通过提供的模型，将HMBlogs与波斯中可用的一些最重要的公司进行比较，结果表明了HMBLOGS语料库的优势。这些评估还提供了语料库，评估数据集，模型生产方法，不同的高参数甚至评估方法的重要性和影响。除了评估语料库及其产生的语言模型之外，该研究还提供了一个语义类比数据集。

两个关键假设塑造了排名检索的通常视图：（1）搜索者可以为他们希望看到的文档中的疑问选择单词，并且（2）排名检索的文档就足以，因为搜索者将足够就足够了能够认识到他们希望找到的那些。当要搜索的文档处于搜索者未知的语言时，既不是真的。在这种情况下，需要跨语言信息检索（CLIR）。本章审查了艺术技术的交流信息检索，并概述了一些开放的研究问题。

数据增强是自然语言处理（NLP）模型的鲁棒性评估的重要组成部分，以及增强他们培训的数据的多样性。在本文中，我们呈现NL-Cogmenter，这是一种新的参与式Python的自然语言增强框架，它支持创建两个转换（对数据的修改）和过滤器（根据特定功能的数据拆分）。我们描述了框架和初始的117个变换和23个过滤器，用于各种自然语言任务。我们通过使用其几个转换来分析流行自然语言模型的鲁棒性来证明NL-Upmenter的功效。基础架构，Datacards和稳健性分析结果在NL-Augmenter存储库上公开可用（\ url {https://github.com/gem-benchmark/nl-augmenter}）。

Logic Mill is a scalable and openly accessible software system that identifies semantically similar documents within either one domain-specific corpus or multi-domain corpora. It uses advanced Natural Language Processing (NLP) techniques to generate numerical representations of documents. Currently it leverages a large pre-trained language model to generate these document representations. The system focuses on scientific publications and patent documents and contains more than 200 million documents. It is easily accessible via a simple Application Programming Interface (API) or via a web interface. Moreover, it is continuously being updated and can be extended to text corpora from other domains. We see this system as a general-purpose tool for future research applications in the social sciences and other domains.

识别跨语言抄袭是挑战性的，特别是对于遥远的语言对和感知翻译。我们介绍了这项任务的新型多语言检索模型跨语言本体论（CL \ nobreakdash-osa）。 CL-OSA表示从开放知识图Wikidata获得的实体向量的文档。反对其他方法，Cl \ nobreakdash-osa不需要计算昂贵的机器翻译，也不需要使用可比较或平行语料库进行预培训。它可靠地歧义同音异义和缩放，以允许其应用于Web级文档集合。我们展示了CL-OSA优于从五个大局部多样化的测试语料中检索候选文档的最先进的方法，包括日语英语等遥控语言对。为了识别在角色级别的跨语言抄袭，CL-OSA主要改善了感觉识别翻译的检测。对于这些挑战性案例，CL-OSA在良好的Plagdet得分方面的表现超过了最佳竞争对手的比例超过两种。我们研究的代码和数据公开可用。

The relationship between words in a sentence often tells us more about the underlying semantic content of a document than its actual words, individually. In this work, we propose two novel algorithms, called Flexible Lexical Chain II and Fixed Lexical Chain II. These algorithms combine the semantic relations derived from lexical chains, prior knowledge from lexical databases, and the robustness of the distributional hypothesis in word embeddings as building blocks forming a single system. In short, our approach has three main contributions: (i) a set of techniques that fully integrate word embeddings and lexical chains; (ii) a more robust semantic representation that considers the latent relation between words in a document; and (iii) lightweight word embeddings models that can be extended to any natural language task. We intend to assess the knowledge of pre-trained models to evaluate their robustness in the document classification task. The proposed techniques are tested against seven word embeddings algorithms using five different machine learning classifiers over six scenarios in the document classification task. Our results show the integration between lexical chains and word embeddings representations sustain state-of-the-art results, even against more complex systems.

我们介绍Samanantar，是最大的公开可用的并行Corpora Collection，用于指示语言。该集合中的英语和11个上线语言之间总共包含4970万句对（来自两种语言系列）。具体而言，我们从现有的公共可用并行基层编译1240万句对，另外，从网络上挖掘3740万句对，导致4倍增加。我们通过组合许多语料库，工具和方法来挖掘网站的并行句子：（a）Web爬行单格式语料库，（b）文档OCR，用于从扫描的文档中提取句子，（c）用于对齐句子的多语言表示模型，以及（d）近似最近的邻居搜索搜索大量句子。人类评估新矿业的Corpora的样本验证了11种语言的高质量平行句子。此外，我们使用英语作为枢轴语言，从英式并行语料库中提取所有55个指示语言对之间的834百万句子对。我们培训了跨越Samanantar上所有这些语言的多语种NMT模型，这在公开可用的基准上表现出现有的模型和基准，例如弗洛雷斯，建立萨曼塔尔的效用。我们的数据和模型可在Https://indicnlp.ai4bharat.org/samanantar/上公开提供，我们希望他们能够帮助推进NMT和Multibingual NLP的研究。

拼写错误纠正是自然语言处理中具有很长历史的主题之一。虽然以前的研究取得了显着的结果，但仍然存在挑战。在越南语中，任务的最先进的方法从其相邻音节中介绍了一个音节的上下文。然而，该方法的准确性可能是不令人满意的，因为如果模型可能会失去上下文，如果两个（或更多）拼写错误彼此静置。在本文中，我们提出了一种纠正越南拼写错误的新方法。我们使用深入学习模型解决错误错误和拼写错误错误的问题。特别地，嵌入层由字节对编码技术提供支持。基于变压器架构的序列模型的序列使我们的方法与上一个问题不同于同一问题的方法。在实验中，我们用大型合成数据集训练模型，这是随机引入的拼写错误。我们使用现实数据集测试所提出的方法的性能。此数据集包含11,202个以9,341不同的越南句子中的人造拼写错误。实验结果表明，我们的方法达到了令人鼓舞的表现，检测到86.8％的误差，81.5％纠正，分别提高了最先进的方法5.6％和2.2％。

Grammatical Error Correction (GEC) is the task of automatically detecting and correcting errors in text. The task not only includes the correction of grammatical errors, such as missing prepositions and mismatched subject-verb agreement, but also orthographic and semantic errors, such as misspellings and word choice errors respectively. The field has seen significant progress in the last decade, motivated in part by a series of five shared tasks, which drove the development of rule-based methods, statistical classifiers, statistical machine translation, and finally neural machine translation systems which represent the current dominant state of the art. In this survey paper, we condense the field into a single article and first outline some of the linguistic challenges of the task, introduce the most popular datasets that are available to researchers (for both English and other languages), and summarise the various methods and techniques that have been developed with a particular focus on artificial error generation. We next describe the many different approaches to evaluation as well as concerns surrounding metric reliability, especially in relation to subjective human judgements, before concluding with an overview of recent progress and suggestions for future work and remaining challenges. We hope that this survey will serve as comprehensive resource for researchers who are new to the field or who want to be kept apprised of recent developments.

在这份技术报告中，我们介绍了数字写作助手（高效且智能编辑），该助手通过使用人工智能（AI）技术来促进用户更有效地编写更高质量的文本。以前的写作助理通常提供错误检查的功能（以检测和纠正拼写和语法错误）和有限的文本练习功能。随着大型神经语言模型的出现，一些系统支持自动完成句子或段落。在Effidit中，我们通过提供五个类别的功能来显着扩展写作助手的能力：文本完成，错误检查，文本抛光，关键字到句子（K2S）和云输入方法（Cloud IME）。在文本完成类别中，Effidit支持基于生成的句子完成，基于检索的句子完成和短语完成。相比之下，到目前为止，许多其他写作助理仅提供三个功能中的一两个。对于文本抛光，我们具有三个函数：（上下文感知）短语抛光，句子释义和句子扩展，而其他许多写作助手通常会在此类别中支持一两个功能。本报告的主要内容包括象征的主要模块，实施这些模块的方法以及一些关键方法的评估结果。

This work addresses an alternative approach for query expansion (QE) using a generative adversarial network (GAN) to enhance the effectiveness of information search in e-commerce. We propose a modified QE conditional GAN (mQE-CGAN) framework, which resolves keywords by expanding the query with a synthetically generated query that proposes semantic information from text input. We train a sequence-to-sequence transformer model as the generator to produce keywords and use a recurrent neural network model as the discriminator to classify an adversarial output with the generator. With the modified CGAN framework, various forms of semantic insights gathered from the query document corpus are introduced to the generation process. We leverage these insights as conditions for the generator model and discuss their effectiveness for the query expansion task. Our experiments demonstrate that the utilization of condition structures within the mQE-CGAN framework can increase the semantic similarity between generated sequences and reference documents up to nearly 10% compared to baseline models

几年的研究表明，在理论和实践中，机器学习系统容易受到对抗的例子。到目前为止，这种攻击主要有针对性的视觉模型，利用人类和机器感知之间的差距。虽然基于文本的模型也被对抗例子遭到攻击，但这种攻击努力保持语义意义和无法区分。在本文中，我们探讨了大类的对抗示例，可用于在黑盒设置中攻击基于文本的模型，而不会对输入进行任何人类可知的视觉修改。我们使用对人眼不可察觉的编码特异性扰动来操纵从神经计算机翻译管道到网络搜索引擎的各种自然语言处理（NLP）系统的输出。我们发现，通过单一的难以察觉的编码注射 - 代表一个无形的字符，同型角色，重新排序或删除 - 攻击者可以显着降低易受伤害的模型的性能，并且三次注射大多数型号可以在功能上打破。除了由Facebook，IBM和HuggingFace发布的开源模型之外，我们攻击目前部署的商业系统这一新颖的一系列攻击对许多语言处理系统提供了重大威胁：攻击者可以以目标方式影响系统而没有任何关于底层模型的假设。我们得出结论，基于文本的NLP系统需要仔细的输入消毒，就像传统应用程序一样，并且考虑到这样的系统现在正在迅速地部署，需要建筑师和运营商的紧急注意。

当查询使用不同的词汇表时，在大型临床本体中寻找概念可能是挑战。一种克服这个问题的搜索算法在概念归一化和本体匹配之类的应用中有用，其中概念可以以不同的方式引用，使用不同的同义词。在本文中，我们提出了一种基于深度学习的方法来构建大型临床本体的语义搜索系统。我们提出了一种三重型BERT模型和一种直接从本体产生培训数据的方法。该模型使用五个真实的基准数据集进行评估，结果表明，我们的方法在自由文本上实现了高结果，以概念和概念到概念搜索任务，并且优越所有基线方法。

科学出版物的产出成倍增长。因此，跟踪趋势和变化越来越具有挑战性。了解科学文档是下游任务的重要一步，例如知识图构建，文本挖掘和纪律分类。在这个研讨会中，我们从科学出版物的摘要中可以更好地理解关键字和键形酶提取。

过去十年互联网上可用的信息和信息量增加。该数字化导致自动应答系统需要从冗余和过渡知识源中提取富有成效的信息。这些系统旨在利用自然语言理解（NLU）从此巨型知识源到用户查询中最突出的答案，从而取决于问题答案（QA）字段。问题答案涉及但不限于用户问题映射的步骤，以获取相关查询，检索相关信息，从检索到的信息等找到最佳合适的答案等。当前对深度学习模型的当前改进估计所有这些任务的令人信服的性能改进。在本综述工作中，根据问题的类型，答案类型，证据答案来源和建模方法进行分析QA场的研究方向。此细节随后是自动问题生成，相似性检测和语言的低资源可用性等领域的开放挑战。最后，提出了对可用数据集和评估措施的调查。

Natural Language Understanding has seen an increasing number of publications in the last few years, especially after robust word embeddings models became prominent, when they proved themselves able to capture and represent semantic relationships from massive amounts of data. Nevertheless, traditional models often fall short in intrinsic issues of linguistics, such as polysemy and homonymy. Any expert system that makes use of natural language in its core, can be affected by a weak semantic representation of text, resulting in inaccurate outcomes based on poor decisions. To mitigate such issues, we propose a novel approach called Most Suitable Sense Annotation (MSSA), that disambiguates and annotates each word by its specific sense, considering the semantic effects of its context. Our approach brings three main contributions to the semantic representation scenario: (i) an unsupervised technique that disambiguates and annotates words by their senses, (ii) a multi-sense embeddings model that can be extended to any traditional word embeddings algorithm, and (iii) a recurrent methodology that allows our models to be re-used and their representations refined. We test our approach on six different benchmarks for the word similarity task, showing that our approach can produce state-of-the-art results and outperforms several more complex state-of-the-art systems.