时间和因果关系在确定事件之间的依赖关系方面发挥着重要作用。对事件之间的时间和因果关系进行分类有许多应用程序，例如生成事件时间表，事件摘要，文本征集和问题应答。时间和因果关系与彼此密切相关。因此，我们提出了一个联合模型，该模型包含时间和因果特征来执行因果关系分类。我们使用文本的句法结构来识别文本中的两个事件之间的时间和因果关系。我们从文本中提取语音标签序列，依赖关系标签序列和单词序列。我们提出了一个基于LSTM的模型，用于时间和因果关系分类，捕获三个编码特征之间的相互关系。对四个流行数据集的模型的评估产生了对时间和因果关系分类的有希望的结果。

作为人类认知的重要组成部分，造成效果关系频繁出现在文本中，从文本策划原因关系有助于建立预测任务的因果网络。现有的因果关系提取技术包括基于知识的，统计机器学习（ML）和基于深度学习的方法。每种方法都具有其优点和缺点。例如，基于知识的方法是可以理解的，但需要广泛的手动域知识并具有较差的跨域适用性。由于自然语言处理（NLP）工具包，统计机器学习方法更加自动化。但是，功能工程是劳动密集型的，工具包可能导致错误传播。在过去的几年里，由于其强大的代表学习能力和计算资源的快速增加，深入学习技术吸引了NLP研究人员的大量关注。它们的局限包括高计算成本和缺乏足够的注释培训数据。在本文中，我们对因果关系提取进行了综合调查。我们最初介绍了因果关系提取中存在的主要形式：显式的内部管制因果关系，隐含因果关系和间情态因果关系。接下来，我们列出了代理关系提取的基准数据集和建模评估方法。然后，我们介绍了三种技术的结构化概述了与他们的代表系统。最后，我们突出了潜在的方向存在现有的开放挑战。

当前的因果文本挖掘数据集在目标，数据覆盖率和注释方案中有所不同。这些不一致的努力阻止了建模能力和模型性能的公平比较。很少有数据集包含因果跨度注释，这是端到端因果提取所需的。因此，我们提出了Unicausal，这是跨三个任务的因果文本开采的统一基准：因果序列分类，因果效应跨度检测和因果对分类。我们合并了六个高质量人类注销语料库的注释和对齐注释，分别为每个任务分别为58,720、12,144和69,165个示例。由于因果关系的定义可以是主观的，因此我们的框架旨在允许研究人员处理某些或所有数据集和任务。作为初始基准，我们将BERT预培训模型调整为我们的任务并生成基线得分。对于序列分类，我们获得了70.10％的二进制F1得分，跨度检测获得了52.42％的宏F1得分，对成对分类获得了84.68％的二进制F1得分。

来自文本的采矿因果关系是一种复杂的和至关重要的自然语言理解任务，对应于人类认知。其解决方案的现有研究可以分为两种主要类别：基于特征工程和基于神经模型的方法。在本文中，我们发现前者具有不完整的覆盖范围和固有的错误，但提供了先验知识;虽然后者利用上下文信息，但其因果推断不足。为了处理限制，我们提出了一个名为MCDN的新型因果关系检测模型，明确地模拟因果关系，而且，利用两种方法的优势。具体而言，我们采用多头自我关注在Word级别获得语义特征，并在段级别推断出来的SCRN。据我们所知，关于因果关系任务，这是第一次应用关系网络。实验结果表明：1）该方法对因果区检测进行了突出的性能; 2）进一步分析表现出MCDN的有效性和稳健性。

随着信息技术的快速发展，在线平台已经产生了巨大的文本资源。作为一种特定形式的信息提取（即），事件提取（EE）由于其自动从人类语言提取事件的能力而增加了普及。但是，事件提取有限的文献调查。现有审查工作要么花费很多努力，用于描述各种方法的细节或专注于特定领域。本研究提供了全面概述了最先进的事件提取方法及其从文本的应用程序，包括闭域和开放式事件提取。这项调查的特点是它提供了适度复杂性的概要，避免涉及特定方法的太多细节。本研究侧重于讨论代表作品的常见角色，应用领域，优势和缺点，忽略各个方法的特殊性。最后，我们总结了常见问题，当前解决方案和未来的研究方向。我们希望这项工作能够帮助研究人员和从业者获得最近的事件提取的快速概述。

除了以实体为中心的知识之外，通常组织为知识图（千克），事件也是世界上的必不可少的知识，这触发了活动以kg（ekg）等事件为中心的知识表示形式的春天。它在许多机器学习和人工智能应用中起着越来越重要的作用，例如智能搜索，问答，推荐和文本生成。本文提供了历史，本体实例和应用视图的ekg综合调查。具体而言，要彻底地表征EKG，我们专注于其历史，定义，架构归纳，获取，相关代表图形/系统和应用程序。其中研究了发展过程和趋势。我们进一步总结了透视方向，以促进对EKG的未来研究。

自动言论（POS）标记是许多自然语言处理（NLP）任务的预处理步骤，例如名称实体识别（NER），语音处理，信息提取，单词sense sisse disampigation和Machine Translation。它已经在英语和欧洲语言方面取得了令人鼓舞的结果，但是使用印度语言，尤其是在Odia语言中，由于缺乏支持工具，资源和语言形态丰富性，因此尚未得到很好的探索。不幸的是，我们无法为ODIA找到一个开源POS标记，并且仅尝试为ODIA语言开发POS标记器的尝试。这项研究工作的主要贡献是介绍有条件的随机场（CRF）和基于深度学习的方法（CNN和双向长期短期记忆）来开发ODIA的语音部分。我们使用了一个公开访问的语料库，并用印度标准局（BIS）标签设定了数据集。但是，全球的大多数语言都使用了带有通用依赖项（UD）标签集注释的数据集。因此，要保持统一性，odia数据集应使用相同的标签集。因此，我们已经构建了一个从BIS标签集到UD标签集的简单映射。我们对CRF模型进行了各种特征集输入，观察到构造特征集的影响。基于深度学习的模型包括BI-LSTM网络，CNN网络，CRF层，角色序列信息和预训练的单词向量。通过使用卷积神经网络（CNN）和BI-LSTM网络提取角色序列信息。实施了神经序列标记模型的六种不同组合，并研究了其性能指标。已经观察到具有字符序列特征和预训练的单词矢量的BI-LSTM模型取得了显着的最新结果。

The rapid advancement of AI technology has made text generation tools like GPT-3 and ChatGPT increasingly accessible, scalable, and effective. This can pose serious threat to the credibility of various forms of media if these technologies are used for plagiarism, including scientific literature and news sources. Despite the development of automated methods for paraphrase identification, detecting this type of plagiarism remains a challenge due to the disparate nature of the datasets on which these methods are trained. In this study, we review traditional and current approaches to paraphrase identification and propose a refined typology of paraphrases. We also investigate how this typology is represented in popular datasets and how under-representation of certain types of paraphrases impacts detection capabilities. Finally, we outline new directions for future research and datasets in the pursuit of more effective paraphrase detection using AI.

Contextual word representations derived from large-scale neural language models are successful across a diverse set of NLP tasks, suggesting that they encode useful and transferable features of language. To shed light on the linguistic knowledge they capture, we study the representations produced by several recent pretrained contextualizers (variants of ELMo, the OpenAI transformer language model, and BERT) with a suite of seventeen diverse probing tasks. We find that linear models trained on top of frozen contextual representations are competitive with state-of-the-art task-specific models in many cases, but fail on tasks requiring fine-grained linguistic knowledge (e.g., conjunct identification). To investigate the transferability of contextual word representations, we quantify differences in the transferability of individual layers within contextualizers, especially between recurrent neural networks (RNNs) and transformers. For instance, higher layers of RNNs are more taskspecific, while transformer layers do not exhibit the same monotonic trend. In addition, to better understand what makes contextual word representations transferable, we compare language model pretraining with eleven supervised pretraining tasks. For any given task, pretraining on a closely related task yields better performance than language model pretraining (which is better on average) when the pretraining dataset is fixed. However, language model pretraining on more data gives the best results.

确保适当的标点符号和字母外壳是朝向应用复杂的自然语言处理算法的关键预处理步骤。这对于缺少标点符号和壳体的文本源，例如自动语音识别系统的原始输出。此外，简短的短信和微博的平台提供不可靠且经常错误的标点符号和套管。本调查概述了历史和最先进的技术，用于恢复标点符号和纠正单词套管。此外，突出了当前的挑战和研究方向。

The relationship between words in a sentence often tells us more about the underlying semantic content of a document than its actual words, individually. In this work, we propose two novel algorithms, called Flexible Lexical Chain II and Fixed Lexical Chain II. These algorithms combine the semantic relations derived from lexical chains, prior knowledge from lexical databases, and the robustness of the distributional hypothesis in word embeddings as building blocks forming a single system. In short, our approach has three main contributions: (i) a set of techniques that fully integrate word embeddings and lexical chains; (ii) a more robust semantic representation that considers the latent relation between words in a document; and (iii) lightweight word embeddings models that can be extended to any natural language task. We intend to assess the knowledge of pre-trained models to evaluate their robustness in the document classification task. The proposed techniques are tested against seven word embeddings algorithms using five different machine learning classifiers over six scenarios in the document classification task. Our results show the integration between lexical chains and word embeddings representations sustain state-of-the-art results, even against more complex systems.

Open Information Extraction (OpenIE) aims to extract relational tuples from open-domain sentences. Traditional rule-based or statistical models have been developed based on syntactic structures of sentences, identified by syntactic parsers. However, previous neural OpenIE models under-explore the useful syntactic information. In this paper, we model both constituency and dependency trees into word-level graphs, and enable neural OpenIE to learn from the syntactic structures. To better fuse heterogeneous information from both graphs, we adopt multi-view learning to capture multiple relationships from them. Finally, the finetuned constituency and dependency representations are aggregated with sentential semantic representations for tuple generation. Experiments show that both constituency and dependency information, and the multi-view learning are effective.

仇恨言论是一种在线骚扰的形式，涉及使用滥用语言，并且在社交媒体帖子中通常可以看到。这种骚扰主要集中在诸如宗教，性别，种族等的特定群体特征上，如今它既有社会和经济后果。文本文章中对滥用语言的自动检测一直是一项艰巨的任务，但最近它从科学界获得了很多兴趣。本文解决了在社交媒体中辨别仇恨内容的重要问题。我们在这项工作中提出的模型是基于LSTM神经网络体系结构的现有方法的扩展，我们在短文中适当地增强和微调以检测某些形式的仇恨语言，例如种族主义或性别歧视。最重要的增强是转换为由复发性神经网络（RNN）分类器组成的两阶段方案。将第一阶段的所有一Vs式分类器（OVR）分类器的输出组合在一起，并用于训练第二阶段分类器，最终决定了骚扰的类型。我们的研究包括对在16K推文的公共语料库中评估的第二阶段提出的几种替代方法的性能比较，然后对另一个数据集进行了概括研究。报道的结果表明，与当前的最新技术相比，在仇恨言论检测任务中，所提出的方案的分类质量出色。

尽管最近的抽象摘要有所改善，但大多数当前方法都会产生与源文档不一致的摘要，从而严重限制了其在现实世界应用中的信任和使用。最近的作品显示了使用文本或依赖性弧形识别事实错误识别的有希望的改进；但是，他们不会同时考虑整个语义图。为此，我们提出了Factgraph，该方法将文档分解为结构化含义表示（MR），更适合于事实评估。太太描述了核心语义概念及其关系，以规范形式汇总文档和摘要中的主要内容，并减少数据稀疏性。 Factgraph使用与结构感知适配器增强的图形编码器编码此类图，以根据图形连接性捕获概念之间的交互，以及使用基于适配器的文本编码器的文本表示。在不同基准上进行评估事实的实验表明，事实图的表现优于先前的方法高达15％。此外，Factgraph改善了识别内容可验证性错误的性能，并更好地捕获了附近级别的事实不一致。

Contextualized representation models such as ELMo (Peters et al., 2018a) and BERT (Devlin et al., 2018) have recently achieved state-of-the-art results on a diverse array of downstream NLP tasks. Building on recent token-level probing work, we introduce a novel edge probing task design and construct a broad suite of sub-sentence tasks derived from the traditional structured NLP pipeline. We probe word-level contextual representations from four recent models and investigate how they encode sentence structure across a range of syntactic, semantic, local, and long-range phenomena. We find that existing models trained on language modeling and translation produce strong representations for syntactic phenomena, but only offer comparably small improvements on semantic tasks over a non-contextual baseline.

网络世界中的信息安全是令人关切的主要原因，攻击表面的数量显着增加。网络上可用的漏洞，攻击，控件和建议的现有信息提供了代表知识并执行安全分析以减轻一些问题的机会。代表本体形式的安全知识有助于异常检测，威胁情报，推理和相关攻击的相关性归因等。这需要动态和自动丰富信息安全本体。然而，基于自然语言处理和ML模型的现有本体富集算法具有语文提取词，短语和句子的上下文提取问题。这激励了对遍历文本中的依赖路径的顺序深度学习架构的需求，并提取嵌入漏洞，威胁，控件，产品和其他安全相关概念和来自学习的路径表示的实例。在所提出的方法中，部署了在大型DBPedia数据集和Wikipedia语料库上培训的双向LSTMS与Universal Stank编码器一起培训，以丰富基于ISO 27001的信息安全本体。该模型在高性能计算（HPC）环境上进行培训并测试，以处理Wiki文本维度。当从本体论和网页实例的敲除概念测试以验证稳健性时，该方法产生了超过80％的测试精度。

开放信息提取（OpenIE）促进了独立于域的大型语料库的关系事实的发现。该技术很好地适合许多开放世界的自然语言理解场景，例如自动知识基础构建，开放域问答和明确的推理。由于深度学习技术的快速发展，已经提出了许多神经开放式体系结构并取得了可观的性能。在这项调查中，我们提供了有关状态神经开放模型的广泛概述，其关键设计决策，优势和劣势。然后，我们讨论当前解决方案的局限性以及OpenIE问题本身的开放问题。最后，我们列出了最近的趋势，这些趋势可以帮助扩大其范围和适用性，从而为Openie的未来研究设定了有希望的方向。据我们所知，本文是有关此特定主题的第一篇评论。

Annotation of multimedia data by humans is time-consuming and costly, while reliable automatic generation of semantic metadata is a major challenge. We propose a framework to extract semantic metadata from automatically generated video captions. As metadata, we consider entities, the entities' properties, relations between entities, and the video category. We employ two state-of-the-art dense video captioning models with masked transformer (MT) and parallel decoding (PVDC) to generate captions for videos of the ActivityNet Captions dataset. Our experiments show that it is possible to extract entities, their properties, relations between entities, and the video category from the generated captions. We observe that the quality of the extracted information is mainly influenced by the quality of the event localization in the video as well as the performance of the event caption generation.

本文通过自然应用程序对网页和元素分类来解决复杂结构数据的高效表示的问题。我们假设网页内部元素周围的上下文对问题的价值很高，目前正在被利用。本文旨在通过考虑到其上下文来解决将Web元素分类为DOM树的子树的问题。为实现这一目标，首先讨论当前在结构上工作的专家知识系统，如树 - LSTM。然后，我们向该模型提出上下文感知扩展。我们表明，在多级Web分类任务中，新模型实现了0.7973的平均F1分数。该模型为各种子树生成更好的表示，并且可以用于应用此类元素分类，钢筋在网上学习中的状态估计等。

开放信息提取（OpenIE）的最先进的神经方法通常以自回旋或基于谓词的方式迭代地提取三重态（或元组），以免产生重复。在这项工作中，我们提出了一种可以平等或更成功的问题的不同方法。也就是说，我们提出了一种新型的单通道方法，用于开放式启发，该方法受到计算机视觉的对象检测算法的启发。我们使用基于双方匹配的订单不足损失，迫使独特的预测和用于序列标签的仅基于变压器的纯编码体系结构。与质量指标和推理时间相比，与标准基准的最新模型相比，提出的方法更快，并且表现出卓越或类似的性能。我们的模型在CARB上的新最新性能为OIE2016评估，而推断的速度比以前的最新状态更快。我们还在两种语言的零弹奏设置中评估了模型的多语言版本，并引入了一种生成合成多语言数据的策略，以微调每个特定语言的模型。在这种情况下，我们在多语言Re-OIE2016上显示了15％的性能提高，葡萄牙语和西班牙语的F1达到75％。代码和型号可在https://github.com/sberbank-ai/detie上找到。