文本分类任务的关键是语言表示和重要信息提取，并且有许多相关研究。近年来，文本分类中的图形神经网络（GNN）的研究逐渐出现并显示出其优势，但现有模型主要集中于直接将单词作为图形节点直接输入GNN模型，而忽略了不同级别的语义结构信息。样品。为了解决该问题，我们提出了一个新的层次图神经网络（HIEGNN），该图分别从Word级，句子级别和文档级别提取相应的信息。与几种基线方法相比，几个基准数据集的实验结果取得更好或相似的结果，这表明我们的模型能够从样品中获得更多有用的信息。

文本分类是自然语言处理（NLP）的主要任务。最近，图神经网络（GNN）已迅速发展，并应用于文本分类任务。作为一种特殊的图形数据，该树具有更简单的数据结构，可以为文本分类提供丰富的层次结构信息。受结构熵的启发，我们通过最小化结构熵并提出提示来构造图形的编码树，该提示旨在充分利用文本中包含的文本中包含的层次信息，以完成文本分类的任务。具体来说，我们首先为每个文本建立依赖关系解析图。然后，我们设计了一种结构熵最小化算法来解码图中的关键信息，并将每个图转换为其相应的编码树。基于编码树的层次结构，通过逐层更新编码树中的非叶子节点的表示来获得整个图的表示。最后，我们介绍了层次信息在文本分类中的有效性。实验结果表明，在具有简单的结构和很少的参数的同时，提示在流行基准测试上的最新方法优于最先进的方法。

Graph Neural Networks (GNNs) have attracted increasing attention in recent years and have achieved excellent performance in semi-supervised node classification tasks. The success of most GNNs relies on one fundamental assumption, i.e., the original graph structure data is available. However, recent studies have shown that GNNs are vulnerable to the complex underlying structure of the graph, making it necessary to learn comprehensive and robust graph structures for downstream tasks, rather than relying only on the raw graph structure. In light of this, we seek to learn optimal graph structures for downstream tasks and propose a novel framework for semi-supervised classification. Specifically, based on the structural context information of graph and node representations, we encode the complex interactions in semantics and generate semantic graphs to preserve the global structure. Moreover, we develop a novel multi-measure attention layer to optimize the similarity rather than prescribing it a priori, so that the similarity can be adaptively evaluated by integrating measures. These graphs are fused and optimized together with GNN towards semi-supervised classification objective. Extensive experiments and ablation studies on six real-world datasets clearly demonstrate the effectiveness of our proposed model and the contribution of each component.

最近，图形神经网络（GNN）已被广泛用于文档分类。但是，大多数现有方法都基于没有句子级信息的静态词共同发生图，它构成了三个挑战：（1）字歧义，（2）字同义词和（3）动态上下文依赖性。为解决这些挑战，我们提出了一种用于归纳文档分类的新型GNN的稀疏结构学习模型。具体地，文档级图最初由句子级字共有图的不相交联盟生成。我们的模型收集了一系列连接句子之间的脱节单词的可训练边，并采用结构学习稀疏地选择具有动态上下文依赖性的边缘。具有稀疏结构的图形可以通过GNN共同利用文档中的本地和全局上下文信息。对于归纳学习，精致的文档图进一步馈入以端到端的方式的图形级分类和优化的一般读出函数。在几个现实世界数据集上的广泛实验表明，所提出的模型优于最先进的结果，并揭示了学习每个文档的稀疏结构的必要性。

最近，基于图形神经网络（GNN）的文本分类模型引起了越来越多的关注。大多数这些模型采用类似的网络范例，即使用预训练节点嵌入初始化和两层图卷积。在这项工作中，我们提出了Textrgnn，一种改进的GNN结构，它引入了剩余连接以加深卷积网络深度。我们的结构可以获得更广泛的节点接收领域，有效地抑制节点特征的过平滑。此外，我们将概率语言模型集成到图形节点嵌入的初始化中，从而可以更好地提取非图形语义信息。实验结果表明，我们的模型是一般和高效的。无论是语料库级别还是文本级别，它都可以显着提高分类准确性，并在各种文本分类数据集中实现SOTA性能。

尽管不断努力提高代码搜索的有效性和效率，但仍未解决两个问题。首先，编程语言具有固有的牢固结构链接，并且代码的特征是文本表单将省略其中包含的结构信息。其次，代码和查询之间存在潜在的语义关系，跨序列对齐代码和文本是具有挑战性的，因此在相似性匹配期间，向量在空间上保持一致。为了解决这两个问题，在本文中，提出了一个名为CSSAM的代码搜索模型（代码语义和结构注意匹配）。通过引入语义和结构匹配机制，CSSAM有效提取并融合了多维代码功能。具体而言，开发了交叉和残留层，以促进代码和查询的高纬度空间比对。通过利用残差交互，匹配模块旨在保留更多的代码语义和描述性功能，从而增强了代码及其相应查询文本之间的附着力。此外，为了提高模型对代码固有结构的理解，提出了一个名为CSRG的代码表示结构（代码语义表示图），用于共同表示抽象语法树节点和代码的数据流。根据两个包含540K和330K代码段的公开可用数据集的实验结果，CSSAM在两个数据集中分别在获得最高的SR@1/5/10，MRR和NDCG@50方面大大优于基本线。此外，进行消融研究是为了定量衡量CSSAM每个关键组成部分对代码搜索效率和有效性的影响，这为改进高级代码搜索解决方案提供了见解。

注意机制使图形神经网络（GNN）能够学习目标节点与其单跳邻居之间的注意力权重，从而进一步提高性能。但是，大多数现有的GNN都针对均匀图，其中每一层只能汇总单跳邻居的信息。堆叠多层网络引入了相当大的噪音，并且很容易导致过度平滑。我们在这里提出了一种多跃波异质邻域信息融合图表示方法（MHNF）。具体而言，我们提出了一个混合元自动提取模型，以有效提取多ihop混合邻居。然后，我们制定了一个跳级的异质信息聚合模型，该模型在同一混合Metapath中选择性地汇总了不同的跳跃邻域信息。最后，构建了分层语义注意融合模型（HSAF），该模型可以有效地整合不同的互动和不同的路径邻域信息。以这种方式，本文解决了汇总MultiHop邻里信息和学习目标任务的混合元数据的问题。这减轻了手动指定Metapaths的限制。此外，HSAF可以提取Metapaths的内部节点信息，并更好地整合存在不同级别的语义信息。真实数据集的实验结果表明，MHNF在最先进的基准中取得了最佳或竞争性能，仅1/10〜1/100参数和计算预算。我们的代码可在https://github.com/phd-lanyu/mhnf上公开获取。

图形神经网络（GNN）在解决图形结构数据（即网络）方面的各种分析任务方面已广受欢迎。典型的gnns及其变体遵循一种消息的方式，该方式通过网络拓扑沿网络拓扑的特征传播过程获得网络表示，然而，它们忽略了许多现实世界网络中存在的丰富文本语义（例如，局部单词序列）。现有的文本丰富网络方法通过主要利用内部信息（例如主题或短语/单词）来整合文本语义，这些信息通常无法全面地挖掘文本语义，从而限制了网络结构和文本语义之间的相互指导。为了解决这些问题，我们提出了一个具有外部知识（TEKO）的新型文本富裕的图形神经网络，以充分利用文本丰富的网络中的结构和文本信息。具体而言，我们首先提出一个灵活的异质语义网络，该网络结合了文档和实体之间的高质量实体和互动。然后，我们介绍两种类型的外部知识，即结构化的三胞胎和非结构化实体描述，以更深入地了解文本语义。我们进一步为构建的异质语义网络设计了互惠卷积机制，使网络结构和文本语义能够相互协作并学习高级网络表示。在四个公共文本丰富的网络以及一个大规模的电子商务搜索数据集上进行了广泛的实验结果，这说明了Teko优于最先进的基线。

Text classification is an important and classical problem in natural language processing. There have been a number of studies that applied convolutional neural networks (convolution on regular grid, e.g., sequence) to classification. However, only a limited number of studies have explored the more flexible graph convolutional neural networks (convolution on non-grid, e.g., arbitrary graph) for the task. In this work, we propose to use graph convolutional networks for text classification. We build a single text graph for a corpus based on word co-occurrence and document word relations, then learn a Text Graph Convolutional Network (Text GCN) for the corpus. Our Text GCN is initialized with one-hot representation for word and document, it then jointly learns the embeddings for both words and documents, as supervised by the known class labels for documents. Our experimental results on multiple benchmark datasets demonstrate that a vanilla Text GCN without any external word embeddings or knowledge outperforms state-of-the-art methods for text classification. On the other hand, Text GCN also learns predictive word and document embeddings. In addition, experimental results show that the improvement of Text GCN over state-of-the-art comparison methods become more prominent as we lower the percentage of training data, suggesting the robustness of Text GCN to less training data in text classification.

Multi-hop machine reading comprehension is a challenging task in natural language processing, which requires more reasoning ability across multiple documents. Spectral models based on graph convolutional networks grant inferring abilities and lead to competitive results. However, part of them still faces the challenge of analyzing the reasoning in a human-understandable way. Inspired by the concept of the Grandmother Cells in cognitive neuroscience, a spatial graph attention framework named ClueReader was proposed in this paper, imitating the procedure. This model is designed to assemble the semantic features in multi-level representations and automatically concentrate or alleviate information for reasoning via the attention mechanism. The name ClueReader is a metaphor for the pattern of the model: regard the subjects of queries as the start points of clues, take the reasoning entities as bridge points, consider the latent candidate entities as the grandmother cells, and the clues end up in candidate entities. The proposed model allows us to visualize the reasoning graph, then analyze the importance of edges connecting two entities and the selectivity in the mention and candidate nodes, which can be easier to be comprehended empirically. The official evaluations in the open-domain multi-hop reading dataset WikiHop and the Drug-drug Interactions dataset MedHop prove the validity of our approach and show the probability of the application of the model in the molecular biology domain.

图形神经网络（GNN）在学习强大的节点表示中显示了令人信服的性能，这些表现在保留节点属性和图形结构信息的强大节点表示中。然而，许多GNNS在设计有更深的网络结构或手柄大小的图形时遇到有效性和效率的问题。已经提出了几种采样算法来改善和加速GNN的培训，但他们忽略了解GNN性能增益的来源。图表数据中的信息的测量可以帮助采样算法来保持高价值信息，同时消除冗余信息甚至噪声。在本文中，我们提出了一种用于GNN的公制引导（MEGUIDE）子图学习框架。 MEGUIDE采用两种新颖的度量：功能平滑和连接失效距离，以指导子图采样和迷你批次的培训。功能平滑度专为分析节点的特征而才能保留最有价值的信息，而连接失败距离可以测量结构信息以控制子图的大小。我们展示了MEGUIDE在多个数据集上培训各种GNN的有效性和效率。

图表可以模拟实体之间的复杂交互，它在许多重要的应用程序中自然出现。这些应用程序通常可以投入到标准图形学习任务中，其中关键步骤是学习低维图表示。图形神经网络（GNN）目前是嵌入方法中最受欢迎的模型。然而，邻域聚合范例中的标准GNN患有区分\ EMPH {高阶}图形结构的有限辨别力，而不是\ EMPH {低位}结构。为了捕获高阶结构，研究人员求助于主题和开发的基于主题的GNN。然而，现有的基于主基的GNN仍然仍然遭受较少的辨别力的高阶结构。为了克服上述局限性，我们提出了一个新颖的框架，以更好地捕获高阶结构的新框架，铰接于我们所提出的主题冗余最小化操作员和注射主题组合的新颖框架。首先，MGNN生成一组节点表示W.R.T.每个主题。下一阶段是我们在图案中提出的冗余最小化，该主题在彼此相互比较并蒸馏出每个主题的特征。最后，MGNN通过组合来自不同图案的多个表示来执行节点表示的更新。特别地，为了增强鉴别的功率，MGNN利用重新注射功能来组合表示的函数w.r.t.不同的主题。我们进一步表明，我们的拟议体系结构增加了GNN的表现力，具有理论分析。我们展示了MGNN在节点分类和图形分类任务上的七个公共基准上表现出最先进的方法。

图形神经网络（GNN）是用于建模图数据的流行机器学习方法。许多GNN在同质图上表现良好，同时在异质图上表现不佳。最近，一些研究人员将注意力转移到设计GNN，以通过调整消息传递机制或扩大消息传递的接收场来设计GNN。与从模型设计的角度来减轻异性疾病问题的现有作品不同，我们建议通过重新布线结构来从正交角度研究异质图，以减少异质性并使传统GNN的表现更好。通过全面的经验研究和分析，我们验证了重新布线方法的潜力。为了充分利用其潜力，我们提出了一种名为Deep Hertophilly Graph Rewiring（DHGR）的方法，以通过添加同粒子边缘和修剪异质边缘来重新线图。通过比较节点邻居的标签/特征 - 分布的相似性来确定重新布线的详细方法。此外，我们为DHGR设计了可扩展的实现，以确保高效率。 DHRG可以轻松地用作任何GNN的插件模块，即图形预处理步骤，包括同型和异性的GNN，以提高其在节点分类任务上的性能。据我们所知，这是研究图形的第一部重新绘图图形的作品。在11个公共图数据集上进行的广泛实验证明了我们提出的方法的优势。

图表神经网络（GNN）基于故障诊断（FD）近年来收到了越来越多的关注，因为来自来自多个应用域的数据可以有利地表示为图。实际上，与传统的FD方法相比，这种特殊的代表性表格导致了卓越的性能。在本次审查中，给出了GNN，对故障诊断领域的潜在应用以及未来观点的简单介绍。首先，通过专注于它们的数据表示，即时间序列，图像和图形，回顾基于神经网络的FD方法。其次，引入了GNN的基本原则和主要架构，注意了图形卷积网络，图注意网络，图形样本和聚合，图形自动编码器和空间 - 时间图卷积网络。第三，通过详细实验验证基于GNN的最相关的故障诊断方法，结论是基于GNN的方法可以实现良好的故障诊断性能。最后，提供了讨论和未来的挑战。

图表神经网络（GNNS）最近提出了用于处理图形结构数据的神经网络结构。由于他们所采用的邻国聚合策略，现有的GNNS专注于捕获节点级信息并忽略高级信息。因此，现有的GNN受到本地置换不变性（LPI）问题引起的代表性限制。为了克服这些限制并丰富GNN捕获的特征，我们提出了一种新的GNN框架，称为两级GNN（TL-GNN）。这与节点级信息合并子图级信息。此外，我们提供了对LPI问题的数学分析，这表明子图级信息有利于克服与LPI相关的问题。还提出了一种基于动态编程算法的子图计数方法，并且该具有时间复杂度是O（n ^ 3），n是图的节点的数量。实验表明，TL-GNN优于现有的GNN，实现了最先进的性能。

Deep learning has revolutionized many machine learning tasks in recent years, ranging from image classification and video processing to speech recognition and natural language understanding. The data in these tasks are typically represented in the Euclidean space. However, there is an increasing number of applications where data are generated from non-Euclidean domains and are represented as graphs with complex relationships and interdependency between objects. The complexity of graph data has imposed significant challenges on existing machine learning algorithms. Recently, many studies on extending deep learning approaches for graph data have emerged. In this survey, we provide a comprehensive overview of graph neural networks (GNNs) in data mining and machine learning fields. We propose a new taxonomy to divide the state-of-the-art graph neural networks into four categories, namely recurrent graph neural networks, convolutional graph neural networks, graph autoencoders, and spatial-temporal graph neural networks. We further discuss the applications of graph neural networks across various domains and summarize the open source codes, benchmark data sets, and model evaluation of graph neural networks. Finally, we propose potential research directions in this rapidly growing field.

近年来，异构图形神经网络（HGNNS）一直在开花，但每个工作所使用的独特数据处理和评估设置会让他们的进步完全了解。在这项工作中，我们通过使用其官方代码，数据集，设置和超参数来展示12个最近的HGNN的系统再现，揭示了关于HGNN的进展的令人惊讶的结果。我们发现，由于设置不当，简单的均匀GNN，例如GCN和GAT在很大程度上低估了。具有适当输入的GAT通常可以匹配或优于各种场景的所有现有HGNN。为了促进稳健和可重复的HGNN研究，我们构建异构图形基准（HGB），由具有三个任务的11个不同数据集组成。 HGB标准化异构图数据分割，特征处理和性能评估的过程。最后，我们介绍了一个简单但非常强大的基线简单 - HGN - 这显着优于HGB上以前的所有模型 - 以加速未来HGNN的进步。

用于异质图嵌入的图形神经网络是通过探索异质图的异质性和语义来将节点投射到低维空间中。但是，一方面，大多数现有的异质图嵌入方法要么不足以对特定语义下的局部结构进行建模，要么在汇总信息时忽略异质性。另一方面，来自多种语义的表示形式未全面整合以获得多功能节点嵌入。为了解决该问题，我们通过引入多视图表示学习的概念，提出了一个具有多视图表示学习（名为MV-HETGNN）的异质图神经网络（称为MV-HETGNN）。所提出的模型由节点特征转换，特定于视图的自我图编码和自动多视图融合，以彻底学习复杂的结构和语义信息，以生成全面的节点表示。在三个现实世界的异质图数据集上进行的广泛实验表明，所提出的MV-HETGNN模型始终优于各种下游任务中所有最新的GNN基准，例如节点分类，节点群集和链接预测。

近三年来，异质图神经网络（HGNN）吸引了研究的兴趣。大多数现有的HGNN分为两类。一个类是基于元路径的HGNN，要么需要域知识才能手工制作元路径，要么花费大量时间和内存来自动构建元路径。另一个类不依赖元路径结构。它将均匀的卷积图神经网络（Conv-GNN）作为骨架，并通过引入节点型和边缘型依赖性参数将其扩展到异质图。不管元路径依赖性如何，大多数现有的HGNN都采用浅层探测器（例如GCN和GAT）来汇总邻里信息，并且可能有限地捕获高阶邻里信息的能力。在这项工作中，我们提出了两个异构图树网络模型：异质图树卷积网络（HETGTCN）和异质图树注意网络（HETGTAN），它们不依赖元路径来在两个节点特征和图形结构中编码异质性。在三个现实世界的异质图数据上进行了广泛的实验表明，所提出的HETGTCN和HETGTAN具有有效的效率，并且一致地超过了所有最先进的HGNN基准在半监视的节点分类任务上，并且可以深入不受损害的性能。

Graph neural network, as a powerful graph representation technique based on deep learning, has shown superior performance and attracted considerable research interest. However, it has not been fully considered in graph neural network for heterogeneous graph which contains different types of nodes and links. The heterogeneity and rich semantic information bring great challenges for designing a graph neural network for heterogeneous graph. Recently, one of the most exciting advancements in deep learning is the attention mechanism, whose great potential has been well demonstrated in various areas. In this paper, we first propose a novel heterogeneous graph neural network based on the hierarchical attention, including node-level and semantic-level attentions. Specifically, the node-level attention aims to learn the importance between a node and its metapath based neighbors, while the semantic-level attention is able to learn the importance of different meta-paths. With the learned importance from both node-level and semantic-level attention, the importance of node and meta-path can be fully considered. Then the proposed model can generate node embedding by aggregating features from meta-path based neighbors in a hierarchical manner. Extensive experimental results on three real-world heterogeneous graphs not only show the superior performance of our proposed model over the state-of-the-arts, but also demonstrate its potentially good interpretability for graph analysis.