最近，基于图形神经网络（GNN）的文本分类模型引起了越来越多的关注。大多数这些模型采用类似的网络范例，即使用预训练节点嵌入初始化和两层图卷积。在这项工作中，我们提出了Textrgnn，一种改进的GNN结构，它引入了剩余连接以加深卷积网络深度。我们的结构可以获得更广泛的节点接收领域，有效地抑制节点特征的过平滑。此外，我们将概率语言模型集成到图形节点嵌入的初始化中，从而可以更好地提取非图形语义信息。实验结果表明，我们的模型是一般和高效的。无论是语料库级别还是文本级别，它都可以显着提高分类准确性，并在各种文本分类数据集中实现SOTA性能。

Text classification is an important and classical problem in natural language processing. There have been a number of studies that applied convolutional neural networks (convolution on regular grid, e.g., sequence) to classification. However, only a limited number of studies have explored the more flexible graph convolutional neural networks (convolution on non-grid, e.g., arbitrary graph) for the task. In this work, we propose to use graph convolutional networks for text classification. We build a single text graph for a corpus based on word co-occurrence and document word relations, then learn a Text Graph Convolutional Network (Text GCN) for the corpus. Our Text GCN is initialized with one-hot representation for word and document, it then jointly learns the embeddings for both words and documents, as supervised by the known class labels for documents. Our experimental results on multiple benchmark datasets demonstrate that a vanilla Text GCN without any external word embeddings or knowledge outperforms state-of-the-art methods for text classification. On the other hand, Text GCN also learns predictive word and document embeddings. In addition, experimental results show that the improvement of Text GCN over state-of-the-art comparison methods become more prominent as we lower the percentage of training data, suggesting the robustness of Text GCN to less training data in text classification.

文本分类是自然语言处理（NLP）的主要任务。最近，图神经网络（GNN）已迅速发展，并应用于文本分类任务。作为一种特殊的图形数据，该树具有更简单的数据结构，可以为文本分类提供丰富的层次结构信息。受结构熵的启发，我们通过最小化结构熵并提出提示来构造图形的编码树，该提示旨在充分利用文本中包含的文本中包含的层次信息，以完成文本分类的任务。具体来说，我们首先为每个文本建立依赖关系解析图。然后，我们设计了一种结构熵最小化算法来解码图中的关键信息，并将每个图转换为其相应的编码树。基于编码树的层次结构，通过逐层更新编码树中的非叶子节点的表示来获得整个图的表示。最后，我们介绍了层次信息在文本分类中的有效性。实验结果表明，在具有简单的结构和很少的参数的同时，提示在流行基准测试上的最新方法优于最先进的方法。

文本分类任务的关键是语言表示和重要信息提取，并且有许多相关研究。近年来，文本分类中的图形神经网络（GNN）的研究逐渐出现并显示出其优势，但现有模型主要集中于直接将单词作为图形节点直接输入GNN模型，而忽略了不同级别的语义结构信息。样品。为了解决该问题，我们提出了一个新的层次图神经网络（HIEGNN），该图分别从Word级，句子级别和文档级别提取相应的信息。与几种基线方法相比，几个基准数据集的实验结果取得更好或相似的结果，这表明我们的模型能够从样品中获得更多有用的信息。

最近，图形神经网络（GNN）已被广泛用于文档分类。但是，大多数现有方法都基于没有句子级信息的静态词共同发生图，它构成了三个挑战：（1）字歧义，（2）字同义词和（3）动态上下文依赖性。为解决这些挑战，我们提出了一种用于归纳文档分类的新型GNN的稀疏结构学习模型。具体地，文档级图最初由句子级字共有图的不相交联盟生成。我们的模型收集了一系列连接句子之间的脱节单词的可训练边，并采用结构学习稀疏地选择具有动态上下文依赖性的边缘。具有稀疏结构的图形可以通过GNN共同利用文档中的本地和全局上下文信息。对于归纳学习，精致的文档图进一步馈入以端到端的方式的图形级分类和优化的一般读出函数。在几个现实世界数据集上的广泛实验表明，所提出的模型优于最先进的结果，并揭示了学习每个文档的稀疏结构的必要性。

尽管不断努力提高代码搜索的有效性和效率，但仍未解决两个问题。首先，编程语言具有固有的牢固结构链接，并且代码的特征是文本表单将省略其中包含的结构信息。其次，代码和查询之间存在潜在的语义关系，跨序列对齐代码和文本是具有挑战性的，因此在相似性匹配期间，向量在空间上保持一致。为了解决这两个问题，在本文中，提出了一个名为CSSAM的代码搜索模型（代码语义和结构注意匹配）。通过引入语义和结构匹配机制，CSSAM有效提取并融合了多维代码功能。具体而言，开发了交叉和残留层，以促进代码和查询的高纬度空间比对。通过利用残差交互，匹配模块旨在保留更多的代码语义和描述性功能，从而增强了代码及其相应查询文本之间的附着力。此外，为了提高模型对代码固有结构的理解，提出了一个名为CSRG的代码表示结构（代码语义表示图），用于共同表示抽象语法树节点和代码的数据流。根据两个包含540K和330K代码段的公开可用数据集的实验结果，CSSAM在两个数据集中分别在获得最高的SR@1/5/10，MRR和NDCG@50方面大大优于基本线。此外，进行消融研究是为了定量衡量CSSAM每个关键组成部分对代码搜索效率和有效性的影响，这为改进高级代码搜索解决方案提供了见解。

Graph convolutional networks (GCNs) are a powerful deep learning approach for graph-structured data. Recently, GCNs and subsequent variants have shown superior performance in various application areas on real-world datasets. Despite their success, most of the current GCN models are shallow, due to the over-smoothing problem.In this paper, we study the problem of designing and analyzing deep graph convolutional networks. We propose the GCNII, an extension of the vanilla GCN model with two simple yet effective techniques: Initial residual and Identity mapping. We provide theoretical and empirical evidence that the two techniques effectively relieves the problem of over-smoothing. Our experiments show that the deep GCNII model outperforms the state-of-the-art methods on various semi-and fullsupervised tasks. Code is available at https: //github.com/chennnM/GCNII.

Graph Convolutional Networks (GCNs) and their variants have experienced significant attention and have become the de facto methods for learning graph representations. GCNs derive inspiration primarily from recent deep learning approaches, and as a result, may inherit unnecessary complexity and redundant computation. In this paper, we reduce this excess complexity through successively removing nonlinearities and collapsing weight matrices between consecutive layers. We theoretically analyze the resulting linear model and show that it corresponds to a fixed low-pass filter followed by a linear classifier. Notably, our experimental evaluation demonstrates that these simplifications do not negatively impact accuracy in many downstream applications. Moreover, the resulting model scales to larger datasets, is naturally interpretable, and yields up to two orders of magnitude speedup over FastGCN.

Short text classification is a crucial and challenging aspect of Natural Language Processing. For this reason, there are numerous highly specialized short text classifiers. However, in recent short text research, State of the Art (SOTA) methods for traditional text classification, particularly the pure use of Transformers, have been unexploited. In this work, we examine the performance of a variety of short text classifiers as well as the top performing traditional text classifier. We further investigate the effects on two new real-world short text datasets in an effort to address the issue of becoming overly dependent on benchmark datasets with a limited number of characteristics. Our experiments unambiguously demonstrate that Transformers achieve SOTA accuracy on short text classification tasks, raising the question of whether specialized short text techniques are necessary.

图表是一个宇宙数据结构，广泛用于组织现实世界中的数据。像交通网络，社交和学术网络这样的各种实际网络网络可以由图表代表。近年来，目睹了在网络中代表顶点的快速发展，进入低维矢量空间，称为网络表示学习。表示学习可以促进图形数据上的新算法的设计。在本调查中，我们对网络代表学习的当前文献进行了全面审查。现有算法可以分为三组：浅埋模型，异构网络嵌入模型，图形神经网络的模型。我们为每个类别审查最先进的算法，并讨论这些算法之间的基本差异。调查的一个优点是，我们系统地研究了不同类别的算法底层的理论基础，这提供了深入的见解，以更好地了解网络表示学习领域的发展。

Predicting personality traits based on online posts has emerged as an important task in many fields such as social network analysis. One of the challenges of this task is assembling information from various posts into an overall profile for each user. While many previous solutions simply concatenate the posts into a long document and then encode the document by sequential or hierarchical models, they introduce unwarranted orders for the posts, which may mislead the models. In this paper, we propose a dynamic deep graph convolutional network (D-DGCN) to overcome the above limitation. Specifically, we design a learn-to-connect approach that adopts a dynamic multi-hop structure instead of a deterministic structure, and combine it with a DGCN module to automatically learn the connections between posts. The modules of post encoder, learn-to-connect, and DGCN are jointly trained in an end-to-end manner. Experimental results on the Kaggle and Pandora datasets show the superior performance of D-DGCN to state-of-the-art baselines. Our code is available at https://github.com/djz233/D-DGCN.

预期观众对某些文本的反应是社会的几个方面不可或缺的，包括政治，研究和商业行业。情感分析（SA）是一种有用的自然语言处理（NLP）技术，它利用词汇/统计和深度学习方法来确定不同尺寸的文本是否表现出正面，负面或中立的情绪。但是，目前缺乏工具来分析独立文本的组并从整体中提取主要情感。因此，当前的论文提出了一种新型算法，称为多层推文分析仪（MLTA），该算法使用多层网络（MLN）以图形方式对社交媒体文本进行了图形方式，以便更好地编码跨越独立的推文集的关系。与其他表示方法相比，图结构能够捕获复杂生态系统中有意义的关系。最先进的图形神经网络（GNN）用于从Tweet-MLN中提取信息，并根据提取的图形特征进行预测。结果表明，与标准的正面，负或中性相比，MLTA不仅可以从更大的可能情绪中预测，从而提供了更准确的情感，还允许对Twitter数据进行准确的组级预测。

Zero-Shot Learning has been a highlighted research topic in both vision and language areas. Recently, most existing methods adopt structured knowledge information to model explicit correlations among categories and use deep graph convolutional network to propagate information between different categories. However, it is difficult to add new categories to existing structured knowledge graph, and deep graph convolutional network suffers from over-smoothing problem. In this paper, we provide a new semantic enhanced knowledge graph that contains both expert knowledge and categories semantic correlation. Our semantic enhanced knowledge graph can further enhance the correlations among categories and make it easy to absorb new categories. To propagate information on the knowledge graph, we propose a novel Residual Graph Convolutional Network (ResGCN), which can effectively alleviate the problem of over-smoothing. Experiments conducted on the widely used large-scale ImageNet-21K dataset and AWA2 dataset show the effectiveness of our method, and establish a new state-of-the-art on zero-shot learning. Moreover, our results on the large-scale ImageNet-21K with various feature extraction networks show that our method has better generalization and robustness.

AMR到文本是NLP社区中旨在从抽象含义表示（AMR）图生成句子的关键技术之一。自2013年提出AMR以来，有关AMR到文本的研究越来越普遍，因为AMR作为自然语言的高级语义描述，由于AMR具有独特的优势，因此作为结构化数据的重要分支变得越来越普遍。在本文中，我们简要介绍了AMR到文本。首先，我们介绍了此技术的当前情况，并指出了它的困难。其次，根据先前研究中使用的方法，我们根据它们各自的机制将它们大致分为五个类别和预先训练的语言模型（PLM）。特别是，我们详细介绍了基于神经网络的方法，并介绍了AMR到文本的最新进展，该方法指的是AMR重建，解码器优化等。此外，我们介绍了AMR-TOXT的基准和评估方法。最终，我们提供了当前技术和未来研究的前景的摘要。

图形神经网络（GNN）已被密切应用于各种基于图的应用程序。尽管他们成功了，但手动设计行为良好的GNN需要巨大的人类专业知识。因此，发现潜在的最佳数据特异性GNN体系结构效率低下。本文提出了DFG-NAS，这是一种新的神经体系结构搜索（NAS）方法，可自动搜索非常深入且灵活的GNN体系结构。与大多数专注于微构造的方法不同，DFG-NAS突出了另一个设计级别：搜索有关原子传播的宏观构造（\ TextBf {\ Textbf {\ Texttt {p}}}）和转换（\ texttt {\ textttt {\ texttt {\ texttt {\ texttt { T}}）的操作被整合并组织到GNN中。为此，DFG-NAS为\ textbf {\ texttt {p-t}}}的排列和组合提出了一个新颖的搜索空间，该搜索空间是基于消息传播的散布，定义了四个自定义设计的宏观架构突变，并采用了进化性algorithm to to the Evolutionary algorithm进行有效的搜索。关于四个节点分类任务的实证研究表明，DFG-NAS优于最先进的手动设计和GNN的NAS方法。

近年来，图表表示学习越来越多地引起了越来越长的关注，特别是为了在节点和图表水平上学习对分类和建议任务的低维嵌入。为了能够在现实世界中的大规模图形数据上学习表示，许多研究专注于开发不同的抽样策略，以方便培训过程。这里，我们提出了一种自适应图策略驱动的采样模型（GPS），其中通过自适应相关计算实现了本地邻域中每个节点的影响。具体地，邻居的选择是由自适应策略算法指导的，直接贡献到消息聚合，节点嵌入更新和图级读出步骤。然后，我们从各种角度对图表分类任务进行全面的实验。我们所提出的模型在几个重要的基准测试中优于现有的3％-8％，实现了现实世界数据集的最先进的性能。

最近关于图表卷积网络（GCN）的研究表明，初始节点表示（即，第一次图卷积前的节点表示）很大程度上影响最终的模型性能。但是，在学习节点的初始表示时，大多数现有工作线性地组合了节点特征的嵌入，而不考虑特征之间的交互（或特征嵌入）。我们认为，当节点特征是分类时，例如，在许多实际应用程序中，如用户分析和推荐系统，功能交互通常会对预测分析进行重要信号。忽略它们将导致次优初始节点表示，从而削弱后续图表卷积的有效性。在本文中，我们提出了一个名为CatGCN的新GCN模型，当节点功能是分类时，为图表学习量身定制。具体地，我们将显式交互建模的两种方式集成到初始节点表示的学习中，即在每对节点特征上的本地交互建模和人工特征图上的全局交互建模。然后，我们通过基于邻域聚合的图形卷积来优化增强的初始节点表示。我们以端到端的方式训练CatGCN，并在半监督节点分类上展示它。来自腾讯和阿里巴巴数据集的三个用户分析的三个任务（预测用户年龄，城市和购买级别）的大量实验验证了CatGCN的有效性，尤其是在图表卷积之前执行特征交互建模的积极效果。

事实证明，信息提取方法可有效从结构化或非结构化数据中提取三重。以（头部实体，关系，尾部实体）形式组织这样的三元组的组织称为知识图（kgs）。当前的大多数知识图都是不完整的。为了在下游任务中使用kgs，希望预测kgs中缺少链接。最近，通过将实体和关系嵌入到低维的矢量空间中，旨在根据先前访问的三元组来预测三元组，从而对KGS表示不同的方法。根据如何独立或依赖对三元组进行处理，我们将知识图完成的任务分为传统和图形神经网络表示学习，并更详细地讨论它们。在传统的方法中，每个三重三倍将独立处理，并在基于GNN的方法中进行处理，三倍也考虑了他们的当地社区。查看全文

注意机制使图形神经网络（GNN）能够学习目标节点与其单跳邻居之间的注意力权重，从而进一步提高性能。但是，大多数现有的GNN都针对均匀图，其中每一层只能汇总单跳邻居的信息。堆叠多层网络引入了相当大的噪音，并且很容易导致过度平滑。我们在这里提出了一种多跃波异质邻域信息融合图表示方法（MHNF）。具体而言，我们提出了一个混合元自动提取模型，以有效提取多ihop混合邻居。然后，我们制定了一个跳级的异质信息聚合模型，该模型在同一混合Metapath中选择性地汇总了不同的跳跃邻域信息。最后，构建了分层语义注意融合模型（HSAF），该模型可以有效地整合不同的互动和不同的路径邻域信息。以这种方式，本文解决了汇总MultiHop邻里信息和学习目标任务的混合元数据的问题。这减轻了手动指定Metapaths的限制。此外，HSAF可以提取Metapaths的内部节点信息，并更好地整合存在不同级别的语义信息。真实数据集的实验结果表明，MHNF在最先进的基准中取得了最佳或竞争性能，仅1/10〜1/100参数和计算预算。我们的代码可在https://github.com/phd-lanyu/mhnf上公开获取。

保持个人特征和复杂的关系，广泛利用和研究了图表数据。通过更新和聚合节点的表示，能够捕获结构信息，图形神经网络（GNN）模型正在获得普及。在财务背景下，该图是基于实际数据构建的，这导致复杂的图形结构，因此需要复杂的方法。在这项工作中，我们在最近的财务环境中对GNN模型进行了全面的审查。我们首先将普通使用的财务图分类并总结每个节点的功能处理步骤。然后，我们总结了每个地图类型的GNN方法，每个区域的应用，并提出一些潜在的研究领域。