自动学习的单词矢量表示，也称为“Word Embeddings”，正在成为越来越多的自然语言处理算法的基本构建块。有不同的方式和工具来构建Word Embeddings。大多数方法依赖于原始文本，施工项目是单词出现和/或字母n-grams。更详细的研究正在使用文本预处理后提取的额外语言特征。通过原始文本和字母n-gram构建的矢量表示，形态学明显地提供了形态。语法和语义研究可以从与每个单词相关联的诸如引理，语音，语法或语义依赖的其他特征（如引物）构建的矢量表示，更多。 Reterom项目的一个主要目标之一是开发罗马尼亚自然语言处理的先进技术，包括文本的形态，句法和语义分析。因此，我们计划开发开放式大型库的即用的Word Embeddings集合，每个设置的特征在于不同的参数：使用的特征（Wordforms，字母N-gram，Lemmas，Pose等），矢量长度，窗口/上下文大小和频率阈值。为此，先前创建了Corola语料库上的Word Embeddings集（基于Word Imperience）（p \ u {a} i \ c {s}和tufi \ c {s}，2018）是进一步增强的通过使用lemmas和言论之类的特定功能，从相同的语料库中学到了新的陈述。此外，为了更好地理解和探索向量，图形表示将通过自定义接口提供。

Natural Language Understanding has seen an increasing number of publications in the last few years, especially after robust word embeddings models became prominent, when they proved themselves able to capture and represent semantic relationships from massive amounts of data. Nevertheless, traditional models often fall short in intrinsic issues of linguistics, such as polysemy and homonymy. Any expert system that makes use of natural language in its core, can be affected by a weak semantic representation of text, resulting in inaccurate outcomes based on poor decisions. To mitigate such issues, we propose a novel approach called Most Suitable Sense Annotation (MSSA), that disambiguates and annotates each word by its specific sense, considering the semantic effects of its context. Our approach brings three main contributions to the semantic representation scenario: (i) an unsupervised technique that disambiguates and annotates words by their senses, (ii) a multi-sense embeddings model that can be extended to any traditional word embeddings algorithm, and (iii) a recurrent methodology that allows our models to be re-used and their representations refined. We test our approach on six different benchmarks for the word similarity task, showing that our approach can produce state-of-the-art results and outperforms several more complex state-of-the-art systems.

The relationship between words in a sentence often tells us more about the underlying semantic content of a document than its actual words, individually. In this work, we propose two novel algorithms, called Flexible Lexical Chain II and Fixed Lexical Chain II. These algorithms combine the semantic relations derived from lexical chains, prior knowledge from lexical databases, and the robustness of the distributional hypothesis in word embeddings as building blocks forming a single system. In short, our approach has three main contributions: (i) a set of techniques that fully integrate word embeddings and lexical chains; (ii) a more robust semantic representation that considers the latent relation between words in a document; and (iii) lightweight word embeddings models that can be extended to any natural language task. We intend to assess the knowledge of pre-trained models to evaluate their robustness in the document classification task. The proposed techniques are tested against seven word embeddings algorithms using five different machine learning classifiers over six scenarios in the document classification task. Our results show the integration between lexical chains and word embeddings representations sustain state-of-the-art results, even against more complex systems.

确保适当的标点符号和字母外壳是朝向应用复杂的自然语言处理算法的关键预处理步骤。这对于缺少标点符号和壳体的文本源，例如自动语音识别系统的原始输出。此外，简短的短信和微博的平台提供不可靠且经常错误的标点符号和套管。本调查概述了历史和最先进的技术，用于恢复标点符号和纠正单词套管。此外，突出了当前的挑战和研究方向。

语言的自动处理在我们的生活中普遍存在，经常在我们的决策中扮演核心角色，例如为我们的消息和邮件选择措辞，翻译我们的读物，甚至与我们进行完整的对话。单词嵌入是现代自然语言处理系统的关键组成部分。它们提供了一种词的表示，从而提高了许多应用程序的性能，从而是含义的表现。单词嵌入似乎可以捕捉到原始文本中单词的含义的外观，但与此同时，它们还提炼了刻板印象和社会偏见，后来传达给最终应用。这样的偏见可能是歧视性的。检测和减轻这些偏见，以防止自动化过程的歧视行为非常重要，因为它们的规模可能比人类更有害。目前，有许多工具和技术可以检测和减轻单词嵌入中的偏见，但是它们为没有技术技能的人的参与带来了许多障碍。碰巧的是，大多数偏见专家，无论是社会科学家还是对偏见有害，没有这样的技能的环境，并且由于技术障碍而无法参与偏见检测过程。我们研究了现有工具中的障碍，并与不同种类的用户探索了它们的可能性和局限性。通过此探索，我们建议开发一种专门旨在降低技术障碍的工具，并提供探索能力，以满足愿意审核这些技术的专家，科学家和一般人的要求。

我们提出了Rudsi，这是俄罗斯语言感官诱导（WSI）的新基准。该数据集是使用单词用法图（WUGS）的手动注释和半自动聚类创建的。与俄罗斯的先前WSI数据集不同，Rudsi完全由数据驱动（基于俄罗斯国家语料库的文本），没有对注释者强加的外部词感官。根据图聚类的参数，可以从原始注释中产生不同的导数数据集。我们报告了几种基线WSI方法在Rudsi上获得的性能，并讨论了改善这些分数的可能性。

自然语言处理（NLP）是一个人工智能领域，它应用信息技术来处理人类语言，在一定程度上理解并在各种应用中使用它。在过去的几年中，该领域已经迅速发展，现在采用了深层神经网络的现代变体来从大型文本语料库中提取相关模式。这项工作的主要目的是调查NLP在药理学领域的最新使用。正如我们的工作所表明的那样，NLP是药理学高度相关的信息提取和处理方法。它已被广泛使用，从智能搜索到成千上万的医疗文件到在社交媒体中找到对抗性药物相互作用的痕迹。我们将覆盖范围分为五个类别，以调查现代NLP方法论，常见的任务，相关的文本数据，知识库和有用的编程库。我们将这五个类别分为适当的子类别，描述其主要属性和想法，并以表格形式进行总结。最终的调查介绍了该领域的全面概述，对从业者和感兴趣的观察者有用。

Logic Mill is a scalable and openly accessible software system that identifies semantically similar documents within either one domain-specific corpus or multi-domain corpora. It uses advanced Natural Language Processing (NLP) techniques to generate numerical representations of documents. Currently it leverages a large pre-trained language model to generate these document representations. The system focuses on scientific publications and patent documents and contains more than 200 million documents. It is easily accessible via a simple Application Programming Interface (API) or via a web interface. Moreover, it is continuously being updated and can be extended to text corpora from other domains. We see this system as a general-purpose tool for future research applications in the social sciences and other domains.

Spanish is one of the most spoken languages in the globe, but not necessarily Spanish is written and spoken in the same way in different countries. Understanding local language variations can help to improve model performances on regional tasks, both understanding local structures and also improving the message's content. For instance, think about a machine learning engineer who automatizes some language classification task on a particular region or a social scientist trying to understand a regional event with echoes on social media; both can take advantage of dialect-based language models to understand what is happening with more contextual information hence more precision. This manuscript presents and describes a set of regionalized resources for the Spanish language built on four-year Twitter public messages geotagged in 26 Spanish-speaking countries. We introduce word embeddings based on FastText, language models based on BERT, and per-region sample corpora. We also provide a broad comparison among regions covering lexical and semantical similarities; as well as examples of using regional resources on message classification tasks.

注释数据是应用监督机器学习方法的要求，注释的质量对于结果至关重要。尤其是在处理不确定性多种多样的文化遗产藏品时，注释数据仍然是一项手动，艰巨的任务，由域专家执行。我们的项目始于两套已经注释的中世纪手稿图像，但是基于学术和语言差异，这些图像并不完整，并包含冲突的元数据。我们的目的是为组合数据集创建（1）一组统一的描述性标签，以及（2）对高质量的分层分类，可以用作监督机器学习的有价值的输入。为了实现这些目标，我们开发了一个视觉分析系统，以使中世纪主义者能够合并，正规化和扩展用于描述这些数据集的词汇。单词和图像嵌入的视觉接口以及数据集的注释的共发生，同时允许注释多个图像，建议注释标签候选者并支持组成标签的层次分类。我们的系统本身实现了一种半监督的方法，因为它根据中世纪主义者的反馈更新视觉表示，并且一系列用法场景记录了其对目标社区的价值。

我们描述了NordiaChange：挪威的第一个历史语义改变数据集。NordiaChange包括两个新的子集，覆盖了大约80个挪威名词，随着时间的推移，用分级语义变化手动注释。两个数据集都遵循相同的注释程序，可以互换地作为火车和彼此的测试分割。Nordiachange涵盖与战后事件，挪威石油和天然气发现以及技术发展有关的时间段。注释是使用DUREL框架和两个大型历史挪威语料库完成的。NordiaChange在允许许可证下全额发布，完成了原始注释数据和推断仪式单词使用图（DWUG）。

倾斜的新闻报道，也称为媒体偏见，可以严重影响新闻消费者的解释和对新闻作出反应。要自动识别偏见语言，我们提出了一种比较相关词语的上下文的探索方法。我们训练两个嵌入模型，一个在左翼的文本上，另一个在右翼新闻网点上。我们的假设是，嵌入空格中的单词的表示与非偏见的单词比偏见的单词更相似。潜在的想法是，不同新闻网点中的偏置词的背景比非偏见的单词更强烈地变化，因为根据其上下文，偏置单词的感知是不同的。虽然我们没有发现统计学意义要接受假设，但结果表明了这种方法的有效性。例如，在单词嵌入空间的线性映射之后，31％的单词具有最大距离可能导致偏差。为了改善结果，我们发现数据集需要明显更大，我们将进一步的方法作为未来的研究方向推出。据我们所知，本文介绍了第一个深入看，通过Word Embeddings测量的偏置词语的背景。

命名实体识别是一项信息提取任务，可作为其他自然语言处理任务的预处理步骤，例如机器翻译，信息检索和问题答案。命名实体识别能够识别专有名称以及开放域文本中的时间和数字表达式。对于诸如阿拉伯语，阿姆哈拉语和希伯来语之类的闪族语言，由于这些语言的结构严重变化，指定的实体识别任务更具挑战性。在本文中，我们提出了一个基于双向长期记忆的Amharic命名实体识别系统，并带有条件随机字段层。我们注释了一种新的Amharic命名实体识别数据集（8,070个句子，具有182,691个令牌），并将合成少数群体过度采样技术应用于我们的数据集，以减轻不平衡的分类问题。我们命名的实体识别系统的F_1得分为93％，这是Amharic命名实体识别的新最新结果。

The recently introduced continuous Skip-gram model is an efficient method for learning high-quality distributed vector representations that capture a large number of precise syntactic and semantic word relationships. In this paper we present several extensions that improve both the quality of the vectors and the training speed. By subsampling of the frequent words we obtain significant speedup and also learn more regular word representations. We also describe a simple alternative to the hierarchical softmax called negative sampling. An inherent limitation of word representations is their indifference to word order and their inability to represent idiomatic phrases. For example, the meanings of "Canada" and "Air" cannot be easily combined to obtain "Air Canada". Motivated by this example, we present a simple method for finding phrases in text, and show that learning good vector representations for millions of phrases is possible.

科学世界正在快速改变，新技术正在开发，新的趋势正在进行频率增加。本文介绍了对学术出版物进行科学分析的框架，这对监测研究趋势并确定潜在的创新至关重要。该框架采用并结合了各种自然语言处理技术，例如Word Embedding和主题建模。嵌入单词嵌入用于捕获特定于域的单词的语义含义。我们提出了两种新颖的科学出版物嵌入，即PUB-G和PUB-W，其能够在各种研究领域学习一般的语义含义以及特定于域的单词。此后，主题建模用于识别这些更大的研究领域内的研究主题集群。我们策划了一个出版物数据集，由两条会议组成，并从1995年到2020年的两项期刊从两个研究领域组成。实验结果表明，与其他基线嵌入式的基于主题连贯性，我们的PUB-G和PUB-W嵌入式与其他基线嵌入式相比优越。

最近有一项激烈的活动在嵌入非常高维和非线性数据结构的嵌入中，其中大部分在数据科学和机器学习文献中。我们分四部分调查这项活动。在第一部分中，我们涵盖了非线性方法，例如主曲线，多维缩放，局部线性方法，ISOMAP，基于图形的方法和扩散映射，基于内核的方法和随机投影。第二部分与拓扑嵌入方法有关，特别是将拓扑特性映射到持久图和映射器算法中。具有巨大增长的另一种类型的数据集是非常高维网络数据。第三部分中考虑的任务是如何将此类数据嵌入中等维度的向量空间中，以使数据适合传统技术，例如群集和分类技术。可以说，这是算法机器学习方法与统计建模（所谓的随机块建模）之间的对比度。在论文中，我们讨论了两种方法的利弊。调查的最后一部分涉及嵌入$ \ mathbb {r}^ 2 $，即可视化中。提出了三种方法：基于第一部分，第二和第三部分中的方法，$ t $ -sne，UMAP和大节。在两个模拟数据集上进行了说明和比较。一个由嘈杂的ranunculoid曲线组成的三胞胎，另一个由随机块模型和两种类型的节点产生的复杂性的网络组成。

识别跨语言抄袭是挑战性的，特别是对于遥远的语言对和感知翻译。我们介绍了这项任务的新型多语言检索模型跨语言本体论（CL \ nobreakdash-osa）。 CL-OSA表示从开放知识图Wikidata获得的实体向量的文档。反对其他方法，Cl \ nobreakdash-osa不需要计算昂贵的机器翻译，也不需要使用可比较或平行语料库进行预培训。它可靠地歧义同音异义和缩放，以允许其应用于Web级文档集合。我们展示了CL-OSA优于从五个大局部多样化的测试语料中检索候选文档的最先进的方法，包括日语英语等遥控语言对。为了识别在角色级别的跨语言抄袭，CL-OSA主要改善了感觉识别翻译的检测。对于这些挑战性案例，CL-OSA在良好的Plagdet得分方面的表现超过了最佳竞争对手的比例超过两种。我们研究的代码和数据公开可用。

本章提供了计算语言学方法的介绍，重点是它们在翻译实践和研究中的应用。它涵盖了在翻译背景下对语言数据收集，存储，索引和分析的计算模型，方法和工具，并讨论了该领域的主要方法论问题和挑战。虽然对现有计算语言学方法和工具的详尽审查超出了本章的范围，但我们描述了最具代表性的方法，并用典型应用的描述来说明它们。

社交媒体用户生成的文本实际上是许多NLP任务的主要资源。但是，本文不遵循标准写作规则。此外，在书面通信中使用方言（例如摩洛哥阿拉伯语）增加了NLP任务的复杂性。方言是一种口头语言，没有标准拼字法，这会导致用户在写作时即兴拼写。因此，对于相同的词，我们可以找到多种形式的音译。随后，必须将这些不同的音译标准化为一种规范的单词形式。为了实现这一目标，我们利用了用YouTube评论生成的单词嵌入模型的强大性。此外，使用提供规范形式的摩洛哥阿拉伯方言词典，我们构建了一个规范化词典，我们称为Manorm。我们已经进行了几项实验，以证明Manorm的效率，这些实验表明其在方言归一化中有用。

即使在高度发达的国家，多达15-30％的人口只能理解使用基本词汇编写的文本。他们对日常文本的理解是有限的，这阻止了他们在社会中发挥积极作用，并就医疗保健，法律代表或民主选择做出明智的决定。词汇简化是一项自然语言处理任务，旨在通过更简单地替换复杂的词汇和表达方式来使每个人都可以理解文本，同时保留原始含义。在过去的20年中，它引起了极大的关注，并且已经针对各种语言提出了全自动词汇简化系统。该领域进步的主要障碍是缺乏用于构建和评估词汇简化系统的高质量数据集。我们提出了一个新的基准数据集，用于英语，西班牙语和（巴西）葡萄牙语中的词汇简化，并提供有关数据选择和注释程序的详细信息。这是第一个可直接比较三种语言的词汇简化系统的数据集。为了展示数据集的可用性，我们将两种具有不同体系结构（神经与非神经）的最先进的词汇简化系统适应所有三种语言（英语，西班牙语和巴西葡萄牙语），并评估他们的表演在我们的新数据集中。为了进行更公平的比较，我们使用多种评估措施来捕获系统功效的各个方面，并讨论其优势和缺点。我们发现，最先进的神经词汇简化系统优于所有三种语言中最先进的非神经词汇简化系统。更重要的是，我们发现最先进的神经词汇简化系统对英语的表现要比西班牙和葡萄牙语要好得多。