属性网络上的节点分类是一项半监督任务，对于网络分析至关重要。通过将图形卷积网络（GCN）中的两个关键操作解耦，即具有转换和邻域聚合，截断的GCN的一些最新作品可以支持这些信息，以更深入地传播并实现高级性能。但是，它们遵循GCN的传统结构感知的传播策略，因此很难捕获节点的属性相关性，并对由两个端点属于不同类别的边缘描述的结构噪声敏感。为了解决这些问题，我们提出了一种新方法，称为“裂开式”传播，然后训练（PAMT）。关键思想是将属性相似性掩码整合到结构感知的传播过程中。这样，PAMT可以在传播过程中保留相邻节点的属性相关性，并有效地减少结构噪声的影响。此外，我们开发了一种迭代改进机制，以在改善培训性能的培训过程中更新相似性面罩。在四个现实世界数据集上进行的广泛实验证明了PAMT的出色性能和鲁棒性。

由于它们对处理图形结构数据的显着功率，图表卷积网络（GCNS）已广泛应用于各个领域。典型的GCN及其变体在同声源性假设下工作（即，具有相同类的节点容易彼此连接），同时忽略许多真实网络中存在的异源性（即，具有不同类别的节点倾向于形成边缘） 。现有方法通过主要聚集高阶邻域或梳理即时表示来处理异常的方法，这导致结果导致噪声和无关的信息。但这些方法没有改变在同性恋假设下工作的传播机制（这是GCN的基本部分）。这使得难以区分不同类别的节点的表示。为了解决这个问题，在本文中，我们设计了一种新的传播机制，可以根据节点对之间自动或异常改变传播和聚合过程。为了自适应地学习传播过程，我们在节点对之间引入两个奇妙程度的两个测量，这分别基于拓扑和属性信息来学习。然后，我们将学习的同音源于Graph卷积框架纳入图形卷积框架，该框架在端到端的架构中培训，使其能够超越奇妙的假设。更重要的是，我们理论上证明我们的模型可以根据他们的同意程度来限制节点之间的表示的相似性。 7个现实世界数据集的实验表明，这种新方法在异常或低意识下表现出最先进的方法，并在精梳性下获得竞争性能。

图表卷积网络（GCN）显示了探索图形表示的显着潜力。然而，GCN聚合机制无法通过异常概括到网络上的网络，其中大多数节点具有来自不同类别的邻居，该邻居通常存在于现实网络中。为了使GCN的传播和聚合机制适合于粗源性和异常的（甚至它们的混合物），我们将块建模引入GCN的框架，以便它可以实现“块导向的分类聚合”，并自动学习不同类别邻居的相应聚合规则。通过将块建模掺入聚合过程中，GCN能够根据其同音程度判别歧视来自同性恋和异交邻居的信息。我们将我们的算法与最先进的方法进行了比较了异证问题。经验结果证明了我们在异交数据集中现有方法的新方法的优越性，同时在同性恋数据集中保持竞争性能。

图形神经网络（GNN）在许多基于图的任务中表现出强大的表示能力。具体而言，由于其简单性和性能优势，GNN（例如APPNP）的解耦结构变得流行。但是，这些GNN的端到端培训使它们在计算和记忆消耗方面效率低下。为了应对这些局限性，在这项工作中，我们为图形神经网络提供了交替的优化框架，不需要端到端培训。在不同设置下进行的广泛实验表明，所提出的算法的性能与现有的最新算法相当，但具有更好的计算和记忆效率。此外，我们表明我们的框架可以利用优势来增强现有的脱钩GNN。

近年来，图形变压器在各种图形学习任务上表现出了优势。但是，现有图形变压器的复杂性与节点的数量二次缩放，因此难以扩展到具有数千个节点的图形。为此，我们提出了一个邻域聚集图变压器（Nagphormer），该变压器可扩展到具有数百万节点的大图。在将节点特征馈送到变压器模型中之前，Nagphormer构造令牌由称为Hop2Token的邻域聚合模块为每个节点。对于每个节点，Hop2token聚合从每个跳跃到表示形式的邻域特征，从而产生一系列令牌向量。随后，不同HOP信息的结果序列是变压器模型的输入。通过将每个节点视为一个序列，可以以迷你批量的方式训练Nagphormer，从而可以扩展到大图。 Nagphormer进一步开发了基于注意力的读数功能，以便学习每个跳跃的重要性。我们在各种流行的基准测试中进行了广泛的实验，包括六个小数据集和三个大数据集。结果表明，Nagphormer始终优于现有的图形变压器和主流图神经网络。

异质图卷积网络在解决异质网络数据的各种网络分析任务方面已广受欢迎，从链接预测到节点分类。但是，大多数现有作品都忽略了多型节点之间的多重网络的关系异质性，而在元路径中，元素嵌入中关系的重要性不同，这几乎无法捕获不同关系跨不同关系的异质结构信号。为了应对这一挑战，这项工作提出了用于异质网络嵌入的多重异质图卷积网络（MHGCN）。我们的MHGCN可以通过多层卷积聚合自动学习多重异质网络中不同长度的有用的异质元路径相互作用。此外，我们有效地将多相关结构信号和属性语义集成到学习的节点嵌入中，并具有无监督和精选的学习范式。在具有各种网络分析任务的五个现实世界数据集上进行的广泛实验表明，根据所有评估指标，MHGCN与最先进的嵌入基线的优势。

Graph Neural Networks (GNNs) have attracted increasing attention in recent years and have achieved excellent performance in semi-supervised node classification tasks. The success of most GNNs relies on one fundamental assumption, i.e., the original graph structure data is available. However, recent studies have shown that GNNs are vulnerable to the complex underlying structure of the graph, making it necessary to learn comprehensive and robust graph structures for downstream tasks, rather than relying only on the raw graph structure. In light of this, we seek to learn optimal graph structures for downstream tasks and propose a novel framework for semi-supervised classification. Specifically, based on the structural context information of graph and node representations, we encode the complex interactions in semantics and generate semantic graphs to preserve the global structure. Moreover, we develop a novel multi-measure attention layer to optimize the similarity rather than prescribing it a priori, so that the similarity can be adaptively evaluated by integrating measures. These graphs are fused and optimized together with GNN towards semi-supervised classification objective. Extensive experiments and ablation studies on six real-world datasets clearly demonstrate the effectiveness of our proposed model and the contribution of each component.

最近关于图表卷积网络（GCN）的研究表明，初始节点表示（即，第一次图卷积前的节点表示）很大程度上影响最终的模型性能。但是，在学习节点的初始表示时，大多数现有工作线性地组合了节点特征的嵌入，而不考虑特征之间的交互（或特征嵌入）。我们认为，当节点特征是分类时，例如，在许多实际应用程序中，如用户分析和推荐系统，功能交互通常会对预测分析进行重要信号。忽略它们将导致次优初始节点表示，从而削弱后续图表卷积的有效性。在本文中，我们提出了一个名为CatGCN的新GCN模型，当节点功能是分类时，为图表学习量身定制。具体地，我们将显式交互建模的两种方式集成到初始节点表示的学习中，即在每对节点特征上的本地交互建模和人工特征图上的全局交互建模。然后，我们通过基于邻域聚合的图形卷积来优化增强的初始节点表示。我们以端到端的方式训练CatGCN，并在半监督节点分类上展示它。来自腾讯和阿里巴巴数据集的三个用户分析的三个任务（预测用户年龄，城市和购买级别）的大量实验验证了CatGCN的有效性，尤其是在图表卷积之前执行特征交互建模的积极效果。

图形神经网络（GNNS）在学习归属图中显示了很大的力量。但是，GNNS从源节点利用遥控器的信息仍然是一个挑战。此外，常规GNN要求将图形属性作为输入，因此它们无法应用于纯图。在论文中，我们提出了名为G-GNNS（GNN的全局信息）的新模型来解决上述限制。首先，通过无监督的预训练获得每个节点的全局结构和属性特征，其保留与节点相关联的全局信息。然后，使用全局功能和原始网络属性，我们提出了一个并行GNN的并行框架来了解这些功能的不同方面。所提出的学习方法可以应用于普通图和归属图。广泛的实验表明，G-GNNS可以在三个标准评估图上优于其他最先进的模型。特别是，我们的方法在学习归属图表时建立了Cora（84.31 \％）和PubMed（80.95 \％）的新基准记录。

图形神经网络已成为从图形结构数据学习的不可缺少的工具之一，并且它们的实用性已在各种各样的任务中显示。近年来，建筑设计的巨大改进，导致各种预测任务的性能更好。通常，这些神经架构在同一层中使用可知的权重矩阵组合节点特征聚合和特征转换。这使得分析从各种跳过的节点特征和神经网络层的富有效力来挑战。由于不同的图形数据集显示在特征和类标签分布中的不同级别和异常级别，因此必须了解哪些特征对于没有任何先前信息的预测任务是重要的。在这项工作中，我们将节点特征聚合步骤和深度与图形神经网络分离，并经验分析了不同的聚合特征在预测性能中发挥作用。我们表明，并非通过聚合步骤生成的所有功能都很有用，并且通常使用这些较少的信息特征可能对GNN模型的性能有害。通过我们的实验，我们表明学习这些功能的某些子集可能会导致各种数据集的性能更好。我们建议使用Softmax作为常规器，并从不同跳距的邻居聚合的功能的“软选择器”;和L2 - GNN层的标准化。结合这些技术，我们呈现了一个简单浅的模型，特征选择图神经网络（FSGNN），并经验展示所提出的模型比九个基准数据集中的最先进的GNN模型实现了可比或甚至更高的准确性节点分类任务，具有显着的改进，可达51.1％。

图表学习目的旨在将节点内容与图形结构集成以学习节点/图表示。然而，发现许多现有的图形学习方法在具有高异性级别的数据上不能很好地工作，这是不同类标签之间很大比例的边缘。解决这个问题的最新努力集中在改善消息传递机制上。但是，尚不清楚异质性是否确实会损害图神经网络（GNNS）的性能。关键是要展现一个节点与其直接邻居之间的关系，例如它们是异性还是同质性？从这个角度来看，我们在这里研究了杂质表示在披露连接节点之间的关系之前/之后的杂音表示的作用。特别是，我们提出了一个端到端框架，该框架既学习边缘的类型（即异性/同质性），并利用边缘类型的信息来提高图形神经网络的表现力。我们以两种不同的方式实施此框架。具体而言，为了避免通过异质边缘传递的消息，我们可以通过删除边缘分类器鉴定的异性边缘来优化图形结构。另外，可以利用有关异性邻居的存在的信息进行特征学习，因此，设计了一种混合消息传递方法来汇总同质性邻居，并根据边缘分类使异性邻居多样化。广泛的实验表明，在整个同质级别的多个数据集上，通过在多个数据集上提出的框架对GNN的绩效提高了显着提高。

灵感来自深度学习的广泛成功，已经提出了图表神经网络（GNNS）来学习表达节点表示，并在各种图形学习任务中表现出有希望的性能。然而，现有的努力主要集中在提供相对丰富的金色标记节点的传统半监督设置。虽然数据标签是难以忍受的事实令人生畏的事实并且需要强化领域知识，但特别是在考虑图形结构数据的异质性时，它通常是不切实际的。在几次半监督的环境下，大多数现有GNN的性能不可避免地受到过度装备和过天际问题的破坏，在很大程度上由于标记数据的短缺。在本文中，我们提出了一种配备有新型元学习算法的解耦的网络架构来解决这个问题。从本质上讲，我们的框架META-PN通过META学习的标签传播策略在未标记节点上乘坐高质量的伪标签，这有效增强了稀缺标记的数据，同时在培训期间启用大型接受领域。广泛的实验表明，与各种基准数据集上的现有技术相比，我们的方法提供了简单且实质性的性能。

图形神经网络（GNNS）由于图形数据的规模和模型参数的数量呈指数增长，因此限制了它们在实际应用中的效用，因此往往会遭受高计算成本。为此，最近的一些作品着重于用彩票假设（LTH）稀疏GNN，以降低推理成本，同时保持绩效水平。但是，基于LTH的方法具有两个主要缺点：1）它们需要对密集模型进行详尽且迭代的训练，从而产生了极大的训练计算成本，2）它们仅修剪图形结构和模型参数，但忽略了节点功能维度，存在大量冗余。为了克服上述局限性，我们提出了一个综合的图形渐进修剪框架，称为CGP。这是通过在一个训练过程中设计在训练图周期修剪范式上进行动态修剪GNN来实现的。与基于LTH的方法不同，提出的CGP方法不需要重新训练，这大大降低了计算成本。此外，我们设计了一个共同策略，以全面地修剪GNN的所有三个核心元素：图形结构，节点特征和模型参数。同时，旨在完善修剪操作，我们将重生过程引入我们的CGP框架，以重新建立修剪但重要的连接。提出的CGP通过在6个GNN体系结构中使用节点分类任务进行评估，包括浅层模型（GCN和GAT），浅但深度散发模型（SGC和APPNP）以及Deep Models（GCNII和RESGCN），总共有14个真实图形数据集，包括来自挑战性开放图基准的大规模图数据集。实验表明，我们提出的策略在匹配时大大提高了训练和推理效率，甚至超过了现有方法的准确性。

Graph convolutional networks (GCNs) are a powerful deep learning approach for graph-structured data. Recently, GCNs and subsequent variants have shown superior performance in various application areas on real-world datasets. Despite their success, most of the current GCN models are shallow, due to the over-smoothing problem.In this paper, we study the problem of designing and analyzing deep graph convolutional networks. We propose the GCNII, an extension of the vanilla GCN model with two simple yet effective techniques: Initial residual and Identity mapping. We provide theoretical and empirical evidence that the two techniques effectively relieves the problem of over-smoothing. Our experiments show that the deep GCNII model outperforms the state-of-the-art methods on various semi-and fullsupervised tasks. Code is available at https: //github.com/chennnM/GCNII.

本文研究了跨网络节点分类的问题，以克服单个网络中标记的数据的不足。它旨在利用部分标记的源网络中的标签信息来帮助完全未标记或部分标记的目标网络中的节点分类。由于跨网络的域转移，现有的单网络学习方法无法解决此问题。一些多网络学习方法在很大程度上依赖于跨网络连接的存在，因此对于此问题是不适用的。为了解决这个问题，我们提出了一种小说\ textColor {black} {graph}通过利用对抗域的适应和图形卷积的技术来传递学习框架。它由两个组成部分组成：半监督的学习组件和一个对抗域的适应性组件。前者的目标是通过源网络和目标网络的给定标签信息学习类别的歧视节点表示，而后者则有助于减轻源和目标域之间的分布差异以促进知识传递。对现实世界数据集的广泛经验评估表明，ADAGCN可以在源网络上以低标签速率成功传输类信息，并且源和目标域之间的差异很大。复制实验结果的源代码可在https://github.com/daiquanyu/adagcn上获得。

图形神经网络（GNN）在许多基于图的应用程序中取得了巨大成功。但是，巨大的尺寸和高稀疏度的图表阻碍了其在工业场景下的应用。尽管为大规模图提出了一些可扩展的GNN，但它们为每个节点采用固定的$ k $ hop邻域，因此在稀疏区域内采用大型繁殖深度时面临过度光滑的问题。为了解决上述问题，我们提出了一种新的GNN体系结构 - 图形注意多层感知器（GAMLP），该架构可以捕获不同图形知识范围之间的基本相关性。我们已经与天使平台部署了GAMLP，并进一步评估了现实世界数据集和大规模工业数据集的GAMLP。这14个图数据集的广泛实验表明，GAMLP在享有高可扩展性和效率的同时，达到了最先进的性能。具体来说，在我们的大规模腾讯视频数据集上的预测准确性方面，它的表现优于1.3 \％，同时达到了高达$ 50 \ times $ triending的速度。此外，它在开放图基准的最大同质和异质图（即OGBN-PAPERS100M和OGBN-MAG）的排行榜上排名第一。

Graph Neural Networks (GNNs) have been widely applied in the semi-supervised node classification task, where a key point lies in how to sufficiently leverage the limited but valuable label information. Most of the classical GNNs solely use the known labels for computing the classification loss at the output. In recent years, several methods have been designed to additionally utilize the labels at the input. One part of the methods augment the node features via concatenating or adding them with the one-hot encodings of labels, while other methods optimize the graph structure by assuming neighboring nodes tend to have the same label. To bring into full play the rich information of labels, in this paper, we present a label-enhanced learning framework for GNNs, which first models each label as a virtual center for intra-class nodes and then jointly learns the representations of both nodes and labels. Our approach could not only smooth the representations of nodes belonging to the same class, but also explicitly encode the label semantics into the learning process of GNNs. Moreover, a training node selection technique is provided to eliminate the potential label leakage issue and guarantee the model generalization ability. Finally, an adaptive self-training strategy is proposed to iteratively enlarge the training set with more reliable pseudo labels and distinguish the importance of each pseudo-labeled node during the model training process. Experimental results on both real-world and synthetic datasets demonstrate our approach can not only consistently outperform the state-of-the-arts, but also effectively smooth the representations of intra-class nodes.

图形神经网络（GNN）是用于建模图数据的流行机器学习方法。许多GNN在同质图上表现良好，同时在异质图上表现不佳。最近，一些研究人员将注意力转移到设计GNN，以通过调整消息传递机制或扩大消息传递的接收场来设计GNN。与从模型设计的角度来减轻异性疾病问题的现有作品不同，我们建议通过重新布线结构来从正交角度研究异质图，以减少异质性并使传统GNN的表现更好。通过全面的经验研究和分析，我们验证了重新布线方法的潜力。为了充分利用其潜力，我们提出了一种名为Deep Hertophilly Graph Rewiring（DHGR）的方法，以通过添加同粒子边缘和修剪异质边缘来重新线图。通过比较节点邻居的标签/特征 - 分布的相似性来确定重新布线的详细方法。此外，我们为DHGR设计了可扩展的实现，以确保高效率。 DHRG可以轻松地用作任何GNN的插件模块，即图形预处理步骤，包括同型和异性的GNN，以提高其在节点分类任务上的性能。据我们所知，这是研究图形的第一部重新绘图图形的作品。在11个公共图数据集上进行的广泛实验证明了我们提出的方法的优势。

众所周知，图形神经网络（GNN）的成功高度依赖于丰富的人类通知数据，这在实践中努力获得，并且并非总是可用的。当只有少数标记的节点可用时，如何开发高效的GNN仍在研究。尽管已证明自我训练对于半监督学习具有强大的功能，但其在图形结构数据上的应用可能会失败，因为（1）不利用较大的接收场来捕获远程节点相互作用，这加剧了传播功能的难度 - 标记节点到未标记节点的标签模式； （2）有限的标记数据使得在不同节点类别中学习良好的分离决策边界而不明确捕获基本的语义结构，这是一项挑战。为了解决捕获信息丰富的结构和语义知识的挑战，我们提出了一个新的图数据增强框架，AGST（增强图自训练），该框架由两个新的（即结构和语义）增强模块构建。 GST骨干。在这项工作中，我们研究了这个新颖的框架是否可以学习具有极有限标记节点的有效图预测模型。在有限标记节点数据的不同情况下，我们对半监督节点分类进行全面评估。实验结果证明了新的数据增强框架对节点分类的独特贡献，几乎没有标记的数据。

Graph Neural Networks (GNNs) have achieved promising performance on a wide range of graph-based tasks. Despite their success, one severe limitation of GNNs is the over-smoothing issue (indistinguishable representations of nodes in different classes). In this work, we present a systematic and quantitative study on the over-smoothing issue of GNNs. First, we introduce two quantitative metrics, MAD and MADGap, to measure the smoothness and oversmoothness of the graph nodes representations, respectively. Then, we verify that smoothing is the nature of GNNs and the critical factor leading to over-smoothness is the low information-to-noise ratio of the message received by the nodes, which is partially determined by the graph topology. Finally, we propose two methods to alleviate the oversmoothing issue from the topological view: (1) MADReg which adds a MADGap-based regularizer to the training objective; (2) AdaEdge which optimizes the graph topology based on the model predictions. Extensive experiments on 7 widely-used graph datasets with 10 typical GNN models show that the two proposed methods are effective for relieving the over-smoothing issue, thus improving the performance of various GNN models.