基于依赖性树的递归神经网络（Tree-RNN）在建模句子含义中普遍存在，因为它们有效地捕获非邻居词之间的语义关系。然而，识别具有相同单词和语法的语义不相似的句子对树-RNN仍然是一个挑战。该工作提出了使用依赖性解析中标识的语法关系类型对依赖树-RNN（DT-RNN）的改进。我们对语义相关性评分（SRS）的实验，并使用生病（涉及组建知识的句子）数据集显示令人鼓舞的结果的句子对中的文本征集（RTE）。该模型在DT-RNN模型上实现了RTE任务的分类精度的提高了2％。结果表明，Pearson的预期相似性分数和人类评级之间的Pearson和Spearman的相关措施高于标准DT-RNN。

本文通过自然应用程序对网页和元素分类来解决复杂结构数据的高效表示的问题。我们假设网页内部元素周围的上下文对问题的价值很高，目前正在被利用。本文旨在通过考虑到其上下文来解决将Web元素分类为DOM树的子树的问题。为实现这一目标，首先讨论当前在结构上工作的专家知识系统，如树 - LSTM。然后，我们向该模型提出上下文感知扩展。我们表明，在多级Web分类任务中，新模型实现了0.7973的平均F1分数。该模型为各种子树生成更好的表示，并且可以用于应用此类元素分类，钢筋在网上学习中的状态估计等。

Semantic word spaces have been very useful but cannot express the meaning of longer phrases in a principled way. Further progress towards understanding compositionality in tasks such as sentiment detection requires richer supervised training and evaluation resources and more powerful models of composition. To remedy this, we introduce a Sentiment Treebank. It includes fine grained sentiment labels for 215,154 phrases in the parse trees of 11,855 sentences and presents new challenges for sentiment compositionality. To address them, we introduce the Recursive Neural Tensor Network. When trained on the new treebank, this model outperforms all previous methods on several metrics. It pushes the state of the art in single sentence positive/negative classification from 80% up to 85.4%. The accuracy of predicting fine-grained sentiment labels for all phrases reaches 80.7%, an improvement of 9.7% over bag of features baselines. Lastly, it is the only model that can accurately capture the effects of negation and its scope at various tree levels for both positive and negative phrases.

基于神经网络的嵌入一直是创建文本的向量表示以捕获词汇和语义相似性和差异的主流方法。通常，现有的编码方法将标点符号视为微不足道的信息；因此，通常将它们视为预定义的令牌/单词或在预处理阶段消除。但是，标点符号可能在句子的语义中发挥重要作用，例如“让我们吃\ hl {，}奶奶”和“让我们吃奶奶”。我们假设标点符号表示模型将影响下游任务的性能。因此，我们提出了一种模型 - 不足的方法，该方法同时结合了句法和上下文信息，以提高情感分类任务的性能。我们通过对公开可用数据集进行实验来证实我们的发现，并提供案例研究，我们的模型就句子中的标点符号生成了表示。

We propose a transition-based approach that, by training a single model, can efficiently parse any input sentence with both constituent and dependency trees, supporting both continuous/projective and discontinuous/non-projective syntactic structures. To that end, we develop a Pointer Network architecture with two separate task-specific decoders and a common encoder, and follow a multitask learning strategy to jointly train them. The resulting quadratic system, not only becomes the first parser that can jointly produce both unrestricted constituent and dependency trees from a single model, but also proves that both syntactic formalisms can benefit from each other during training, achieving state-of-the-art accuracies in several widely-used benchmarks such as the continuous English and Chinese Penn Treebanks, as well as the discontinuous German NEGRA and TIGER datasets.

The rapid advancement of AI technology has made text generation tools like GPT-3 and ChatGPT increasingly accessible, scalable, and effective. This can pose serious threat to the credibility of various forms of media if these technologies are used for plagiarism, including scientific literature and news sources. Despite the development of automated methods for paraphrase identification, detecting this type of plagiarism remains a challenge due to the disparate nature of the datasets on which these methods are trained. In this study, we review traditional and current approaches to paraphrase identification and propose a refined typology of paraphrases. We also investigate how this typology is represented in popular datasets and how under-representation of certain types of paraphrases impacts detection capabilities. Finally, we outline new directions for future research and datasets in the pursuit of more effective paraphrase detection using AI.

在本文中，我们试图通过引入深度学习模型的句法归纳偏见来建立两所学校之间的联系。我们提出了两个归纳偏见的家族，一个家庭用于选区结构，另一个用于依赖性结构。选区归纳偏见鼓励深度学习模型使用不同的单位（或神经元）分别处理长期和短期信息。这种分离为深度学习模型提供了一种方法，可以从顺序输入中构建潜在的层次表示形式，即更高级别的表示由高级表示形式组成，并且可以分解为一系列低级表示。例如，在不了解地面实际结构的情况下，我们提出的模型学会通过根据其句法结构组成变量和运算符的表示来处理逻辑表达。另一方面，依赖归纳偏置鼓励模型在输入序列中找到实体之间的潜在关系。对于自然语言，潜在关系通常被建模为一个定向依赖图，其中一个单词恰好具有一个父节点和零或几个孩子的节点。将此约束应用于类似变压器的模型之后，我们发现该模型能够诱导接近人类专家注释的有向图，并且在不同任务上也优于标准变压器模型。我们认为，这些实验结果为深度学习模型的未来发展展示了一个有趣的选择。

Open Information Extraction (OpenIE) aims to extract relational tuples from open-domain sentences. Traditional rule-based or statistical models have been developed based on syntactic structures of sentences, identified by syntactic parsers. However, previous neural OpenIE models under-explore the useful syntactic information. In this paper, we model both constituency and dependency trees into word-level graphs, and enable neural OpenIE to learn from the syntactic structures. To better fuse heterogeneous information from both graphs, we adopt multi-view learning to capture multiple relationships from them. Finally, the finetuned constituency and dependency representations are aggregated with sentential semantic representations for tuple generation. Experiments show that both constituency and dependency information, and the multi-view learning are effective.

基于方面的情感分析（ABSA）涉及审查句子对给定方面的情感极性的识别。 RNN，LSTM和GRU等深度学习顺序模型是推断情感极性的当前最新方法。这些方法可以很好地捕获评论句子的单词之间的上下文关系。但是，这些方法在捕获长期依赖性方面微不足道。注意机制仅专注于句子的最关键部分，从而发挥着重要作用。在ABSA的情况下，方面位置起着至关重要的作用。在确定对该方面的情绪的同时，近乎方面的单词会做出更多的贡献。因此，我们提出了一种使用依赖解析树捕获基于位置信息的方法，并有助于注意机制。使用这种类型的位置信息通过简单的基于单词距离的位置增强了深度学习模型的性能。我们对Semeval'14数据集进行了实验，以证明基于ABSA的基于ABS的依赖关系的效果。

联合医疗关系提取是指由单个模型从医学文本中提取由实体和关系组成的三元组。解决方案之一是将此任务转换为顺序标记任务。但是，在现有的作品中，以线性方式表示和标记三元组的方法失败了，而将三元组组织为图形的方法面临着大量计算工作的挑战。在本文中，受到医学文本中类似树状的关系结构的启发，我们提出了一个名为“双向树”标签（BITT）的新颖方案，将医疗关系三元组成两条两条二进制树，并将树转换为单词级别的标签序列。基于BITT方案，我们开发了一个联合关系提取模型，以预测BITT标签并进一步提取医疗三元三元。我们的模型在两个医疗数据集上的最佳基准在F1分中优于2.0 \％和2.5 \％。更重要的是，我们的BITT方案的模型还可以在其他域的三个公共数据集中获得有希望的结果。

当使用深度学习技术对程序语言进行建模时，广泛采用了带有树或图形结构的神经网络，以捕获程序抽象语法树（AST）中的丰富结构信息。但是，计划中广泛存在长期/全球依赖性，大多数这些神经体系结构无法捕获这些依赖性。在本文中，我们提出了Tree-Transformer，这是一种新型的递归树结构神经网络，旨在克服上述局限性。树转化器利用两个多头注意单元来建模兄弟姐妹和父子节点对之间的依赖关系。此外，我们提出了一个双向传播策略，以允许节点信息向两个方向传递：沿树木的自下而上和自上而下。通过结合自下而上和自上而下的传播，树转化器可以同时学习全局上下文和有意义的节点特征。广泛的实验结果表明，我们的树转换器在具有树级和节点级别的预测任务中，在与程序相关的任务中优于现有基于树或基于图的神经网络，这表明Tree-Transformer在学习两个树级时都表现良好和节点级表示。

Deep Learning and Machine Learning based models have become extremely popular in text processing and information retrieval. However, the non-linear structures present inside the networks make these models largely inscrutable. A significant body of research has focused on increasing the transparency of these models. This article provides a broad overview of research on the explainability and interpretability of natural language processing and information retrieval methods. More specifically, we survey approaches that have been applied to explain word embeddings, sequence modeling, attention modules, transformers, BERT, and document ranking. The concluding section suggests some possible directions for future research on this topic.

网络世界中的信息安全是令人关切的主要原因，攻击表面的数量显着增加。网络上可用的漏洞，攻击，控件和建议的现有信息提供了代表知识并执行安全分析以减轻一些问题的机会。代表本体形式的安全知识有助于异常检测，威胁情报，推理和相关攻击的相关性归因等。这需要动态和自动丰富信息安全本体。然而，基于自然语言处理和ML模型的现有本体富集算法具有语文提取词，短语和句子的上下文提取问题。这激励了对遍历文本中的依赖路径的顺序深度学习架构的需求，并提取嵌入漏洞，威胁，控件，产品和其他安全相关概念和来自学习的路径表示的实例。在所提出的方法中，部署了在大型DBPedia数据集和Wikipedia语料库上培训的双向LSTMS与Universal Stank编码器一起培训，以丰富基于ISO 27001的信息安全本体。该模型在高性能计算（HPC）环境上进行培训并测试，以处理Wiki文本维度。当从本体论和网页实例的敲除概念测试以验证稳健性时，该方法产生了超过80％的测试精度。

We propose a unified neural network architecture and learning algorithm that can be applied to various natural language processing tasks including: part-of-speech tagging, chunking, named entity recognition, and semantic role labeling. This versatility is achieved by trying to avoid task-specific engineering and therefore disregarding a lot of prior knowledge. Instead of exploiting man-made input features carefully optimized for each task, our system learns internal representations on the basis of vast amounts of mostly unlabeled training data. This work is then used as a basis for building a freely available tagging system with good performance and minimal computational requirements.

We describe an approach for unsupervised learning of a generic, distributed sentence encoder. Using the continuity of text from books, we train an encoderdecoder model that tries to reconstruct the surrounding sentences of an encoded passage. Sentences that share semantic and syntactic properties are thus mapped to similar vector representations. We next introduce a simple vocabulary expansion method to encode words that were not seen as part of training, allowing us to expand our vocabulary to a million words. After training our model, we extract and evaluate our vectors with linear models on 8 tasks: semantic relatedness, paraphrase detection, image-sentence ranking, question-type classification and 4 benchmark sentiment and subjectivity datasets. The end result is an off-the-shelf encoder that can produce highly generic sentence representations that are robust and perform well in practice.

自动言论（POS）标记是许多自然语言处理（NLP）任务的预处理步骤，例如名称实体识别（NER），语音处理，信息提取，单词sense sisse disampigation和Machine Translation。它已经在英语和欧洲语言方面取得了令人鼓舞的结果，但是使用印度语言，尤其是在Odia语言中，由于缺乏支持工具，资源和语言形态丰富性，因此尚未得到很好的探索。不幸的是，我们无法为ODIA找到一个开源POS标记，并且仅尝试为ODIA语言开发POS标记器的尝试。这项研究工作的主要贡献是介绍有条件的随机场（CRF）和基于深度学习的方法（CNN和双向长期短期记忆）来开发ODIA的语音部分。我们使用了一个公开访问的语料库，并用印度标准局（BIS）标签设定了数据集。但是，全球的大多数语言都使用了带有通用依赖项（UD）标签集注释的数据集。因此，要保持统一性，odia数据集应使用相同的标签集。因此，我们已经构建了一个从BIS标签集到UD标签集的简单映射。我们对CRF模型进行了各种特征集输入，观察到构造特征集的影响。基于深度学习的模型包括BI-LSTM网络，CNN网络，CRF层，角色序列信息和预训练的单词向量。通过使用卷积神经网络（CNN）和BI-LSTM网络提取角色序列信息。实施了神经序列标记模型的六种不同组合，并研究了其性能指标。已经观察到具有字符序列特征和预训练的单词矢量的BI-LSTM模型取得了显着的最新结果。

由于在线学习和评估平台（例如Coursera，Udemy，Khan Academy等）的兴起，对论文（AES）和自动论文评分的自动评估（AES）已成为一个严重的问题。研究人员最近提出了许多用于自动评估的技术。但是，其中许多技术都使用手工制作的功能，因此从特征表示的角度受到限制。深度学习已成为机器学习中的新范式，可以利用大量数据并确定对论文评估有用的功能。为此，我们提出了一种基于复发网络（RNN）和卷积神经网络（CNN）的新型体系结构。在拟议的体系结构中，多通道卷积层从嵌入矢量和基本语义概念中学习并捕获单词n-gram的上下文特征，并使用max-pooling操作在论文级别形成特征向量。 RNN的变体称为双门复发单元（BGRU），用于访问以前和后续的上下文表示。该实验是对Kaggle上的八个数据集进行的，以实现AES的任务。实验结果表明，我们提出的系统比其他基于深度学习的AES系统以及其他最新AES系统的评分精度明显更高。

Word Mover的距离（WMD）计算单词和模型之间的距离与两个文本序列中的单词之间的移动成本相似。但是，它在句子相似性评估中没有提供良好的性能，因为它不包含单词重要性，并且在句子中未能将固有的上下文和结构信息纳入句子。提出了一种使用语法解析树（称为语法感知单词Mover的距离（SYNWMD））的改进的WMD方法，以解决这项工作中的这两个缺点。首先，基于从句子树的句法解析树中提取的一词共发生统计量建立了加权图。每个单词的重要性是从图形连接性推断出的。其次，在计算单词之间的距离时，考虑了单词的局部句法解析结构。为了证明拟议的SynWMD的有效性，我们对6个文本语义相似性（STS）数据集和4个句子分类数据集进行了实验。实验结果表明，SynWMD在STS任务上实现了最先进的性能。它还在句子分类任务上胜过其他基于WMD的方法。

点击诱饵和不一致新闻标题的自动检测对于维持网络的可靠性并提出了许多研究的关注。然而，当新闻标题包含上下文重要的主要值时，大多数现有方法表现不佳，例如数量或数量。在这项工作中，我们专注于这种特殊情况，并提出了一种基于神经关注的解决方案，它使用基于语音（POS）标签模式的分层关注网络，即普山的新型基本部分，从而了解新闻文章中的句子的有效表示。此外，我们研究了一个新的基本短语引导的注意力，它使用上下文重要的主要价值和邻近词的词嵌入。在两个公开的数据集进行的实验中，我们观察到提出的方法对基本价值观的适当意义并优于所有基线。彭山的烧蚀研究表明，基于基于POS标签的分层关注对于标题包含基数值的情况非常有效。

诱导顺序数据的潜在树结构是今天NLP研究景观的新出现趋势，主要是由最近的方法（如Gumbel LSTM和有序神经元）（LSTM）所普及。本文提出了Fasttrees，一种新的通用神经模块，用于快速序列编码。与最先前的作品不同，考虑到树归类所需的复发，我们的工作探讨了并行树归纳的概念，即，通过分层电感偏置的并行，非自动增加时尚的分层感应偏差。为此，我们提出的Fasttrees在四个建立良好的序列建模任务中实现了对LSTM的竞争或卓越的性能，即语言建模，逻辑推断，情感分析和自然语言推断。此外，我们表明FastTrees模块可以应用于增强变压器模型，实现三个序列转换任务（机器翻译，主语 - 动词协议和数学语言理解）实现性能增益，为模块化树感应模块铺平了道路。总的来说，我们以+ 4％的逻辑推理任务和数学语言理解+ 8％的现有最先进的模型。