数据增强可帮助神经网络通过放大培训集来更好地推广，但它仍然是如何有效增强图数据以增强GNN的性能的开放问题（图形神经网络）。虽然大多数现有图形常规程序专注于通过添加/删除边缘来操纵图形拓扑结构，但我们提供了一种增强节点功能以获得更好性能的方法。我们提出标志（图中的免费大规模对抗动力增强），它在训练期间迭代地增强了基于梯度的对冲扰动的节点特征。通过使模型不变地在输入数据中的小波动中，我们的方法有助于模型推广到分布外的样本，并在测试时间提高模型性能。标志是图形数据的通用方法，它普遍存在节点分类，链路预测和图形分类任务中。标志也是非常灵活和可扩展的，并且可以使用任意GNN骨架和大规模数据集进行可部署。我们通过广泛的实验和消融研究证明了我们方法的功效和稳定性。我们还提供了直观的观察，以更深入地了解我们的方法。

图形神经网络（GNNS）在学习的图形结构化数据中显示了包含节点/边缘特征信息的图表，应用于社交网络，推荐，欺诈检测和知识图形推理。在这方面，过去已经提出了各种策略，以改善GNN的富有效率。例如，一个简单的选项是通过扩展HID-DIN维度或增加GNN层的数量来简单地增加参数大小。然而，更宽的隐藏层可以容易地导致过度拟合，逐步添加更多GNN层可能导致过度的过度。在本文中，我们提出了一种模型 - 不可知方法，即图形神经网络（NGNN）中的网络，允许任意GNN模型通过使模型更深的模型来提高模型容量。然而，除了添加或加宽GNN层，NGNN通过在每个GNN层内插入非线性前馈神经网络层来加深GNN模型。在OGBN - 产品数据上应用于Graphsage基础GNN的NGNN分析表明它可以将模型保持对节点特征或图形结构扰动的稳定性。此外，对节点分类和链路预测任务的广泛评估结果表明，NGNN在不同的GNN架构上可靠地工作。对于实例，它可以提高OGBN-Products上的GraphSage的测试精度，并提高了@ 100分数ogbl-ppa上的密封率为7.08％，并且Propsage + Edge-Attr在ogbl-ppi上的Hits @ 20分数达到6.22％。在此提交时，它实现了OGB链路预测排行榜上的两个第一个位置。

数据增强已广泛用于图像数据和语言数据，但仍然探索图形神经网络（GNN）。现有方法专注于从全局视角增强图表数据，并大大属于两个类型：具有特征噪声注入的结构操纵和对抗训练。但是，最近的图表数据增强方法忽略了GNNS“消息传递机制的本地信息的重要性。在这项工作中，我们介绍了本地增强，这通过其子图结构增强了节点表示的局部。具体而言，我们将数据增强模拟为特征生成过程。鉴于节点的功能，我们的本地增强方法了解其邻居功能的条件分布，并生成更多邻居功能，以提高下游任务的性能。基于本地增强，我们进一步设计了一个新颖的框架：La-GNN，可以以即插即用的方式应用于任何GNN模型。广泛的实验和分析表明，局部增强一致地对各种基准的各种GNN架构始终如一地产生性能改进。

图形神经网络（GNNS）在建模图形结构数据方面表明了它们的能力。但是，实际图形通常包含结构噪声并具有有限的标记节点。当在这些图表中培训时，GNN的性能会显着下降，这阻碍了许多应用程序的GNN。因此，与有限标记的节点开发抗噪声GNN是重要的。但是，这是一个相当有限的工作。因此，我们研究了在具有有限标记节点的嘈杂图中开发鲁棒GNN的新问题。我们的分析表明，嘈杂的边缘和有限的标记节点都可能损害GNN的消息传递机制。为减轻这些问题，我们提出了一种新颖的框架，该框架采用嘈杂的边缘作为监督，以学习去噪和密集的图形，这可以减轻或消除嘈杂的边缘，并促进GNN的消息传递，以缓解有限标记节点的问题。生成的边缘还用于规则地将具有标记平滑度的未标记节点的预测规范化，以更好地列车GNN。实验结果对现实世界数据集展示了在具有有限标记节点的嘈杂图中提出框架的稳健性。

图形结构的数据集通常具有不规则的图表尺寸和连接，渲染使用最近的数据增强技术，例如混合，困难。为了解决这一挑战，我们在名为曲线图移植的图形级别提供了第一个混合图形增强方法，其在数据空间中混合了不规则图。要在图形的各种尺度上定义，我们的方法将子结构标识为可以保留本地信息的混合单元。由于没有特殊考虑上下文的​​基于混合的方法易于产生噪声样本，因此我们的方法明确地使用节点显着信息来选择有意义的子图并自适应地确定标签。我们在多个图形分类基准数据集中广泛地验证了我们多样化的GNN架构，来自不同尺寸的各种图形域。实验结果显示了我们对其他基本数据增强基线的方法的一致优势。我们还证明了曲线图移植在鲁棒性和模型校准方面提高了性能。

Recent works have impressively demonstrated that there exists a subnetwork in randomly initialized convolutional neural networks (CNNs) that can match the performance of the fully trained dense networks at initialization, without any optimization of the weights of the network (i.e., untrained networks). However, the presence of such untrained subnetworks in graph neural networks (GNNs) still remains mysterious. In this paper we carry out the first-of-its-kind exploration of discovering matching untrained GNNs. With sparsity as the core tool, we can find \textit{untrained sparse subnetworks} at the initialization, that can match the performance of \textit{fully trained dense} GNNs. Besides this already encouraging finding of comparable performance, we show that the found untrained subnetworks can substantially mitigate the GNN over-smoothing problem, hence becoming a powerful tool to enable deeper GNNs without bells and whistles. We also observe that such sparse untrained subnetworks have appealing performance in out-of-distribution detection and robustness of input perturbations. We evaluate our method across widely-used GNN architectures on various popular datasets including the Open Graph Benchmark (OGB).

A lot of theoretical and empirical evidence shows that the flatter local minima tend to improve generalization. Adversarial Weight Perturbation (AWP) is an emerging technique to efficiently and effectively find such minima. In AWP we minimize the loss w.r.t. a bounded worst-case perturbation of the model parameters thereby favoring local minima with a small loss in a neighborhood around them. The benefits of AWP, and more generally the connections between flatness and generalization, have been extensively studied for i.i.d. data such as images. In this paper, we extensively study this phenomenon for graph data. Along the way, we first derive a generalization bound for non-i.i.d. node classification tasks. Then we identify a vanishing-gradient issue with all existing formulations of AWP and we propose a new Weighted Truncated AWP (WT-AWP) to alleviate this issue. We show that regularizing graph neural networks with WT-AWP consistently improves both natural and robust generalization across many different graph learning tasks and models.

从消息传递机制中受益，图形神经网络（GNN）在图形数据上的繁荣任务上已经成功。但是，最近的研究表明，攻击者可以通过恶意修改图形结构来灾难性地降低GNN的性能。解决此问题的直接解决方案是通过在两个末端节点的成对表示之间学习度量函数来建模边缘权重，该指标函数试图将低权重分配给对抗边缘。现有方法使用监督GNN学到的原始功能或表示形式来对边缘重量进行建模。但是，两种策略都面临着一些直接问题：原始特征不能代表节点的各种特性（例如结构信息），而受监督的GNN学到的表示可能会遭受分类器在中毒图上的差异性能。我们需要携带特征信息和尽可能糊状的结构信息并且对结构扰动不敏感的表示形式。为此，我们提出了一条名为stable的无监督管道，以优化图形结构。最后，我们将精心设计的图输入到下游分类器中。对于这一部分，我们设计了一个高级GCN，可显着增强香草GCN的鲁棒性，而不会增加时间复杂性。在四个现实世界图基准上进行的广泛实验表明，稳定的表现优于最先进的方法，并成功防御各种攻击。

自我监督的学习提供了一个有希望的途径，消除了在图形上的代表学习中的昂贵标签信息的需求。然而，为了实现最先进的性能，方法通常需要大量的负例，并依赖于复杂的增强。这可能是昂贵的，特别是对于大图。为了解决这些挑战，我们介绍了引导的图形潜伏（BGRL） - 通过预测输入的替代增强来学习图表表示学习方法。 BGRL仅使用简单的增强，并减轻了对否定例子对比的需求，因此通过设计可扩展。 BGRL胜过或匹配现有的几种建立的基准，同时降低了内存成本的2-10倍。此外，我们表明，BGR1可以缩放到半监督方案中的数亿个节点的极大的图表 - 实现最先进的性能并改善监督基线，其中表示仅通过标签信息而塑造。特别是，我们的解决方案以BGRL为中心，将kdd杯2021的开放图基准的大规模挑战组成了一个获奖条目，在比所有先前可用的基准更大的级别的图形订单上，从而展示了我们方法的可扩展性和有效性。

Graph Neural Networks (GNNs) have been widely applied in the semi-supervised node classification task, where a key point lies in how to sufficiently leverage the limited but valuable label information. Most of the classical GNNs solely use the known labels for computing the classification loss at the output. In recent years, several methods have been designed to additionally utilize the labels at the input. One part of the methods augment the node features via concatenating or adding them with the one-hot encodings of labels, while other methods optimize the graph structure by assuming neighboring nodes tend to have the same label. To bring into full play the rich information of labels, in this paper, we present a label-enhanced learning framework for GNNs, which first models each label as a virtual center for intra-class nodes and then jointly learns the representations of both nodes and labels. Our approach could not only smooth the representations of nodes belonging to the same class, but also explicitly encode the label semantics into the learning process of GNNs. Moreover, a training node selection technique is provided to eliminate the potential label leakage issue and guarantee the model generalization ability. Finally, an adaptive self-training strategy is proposed to iteratively enlarge the training set with more reliable pseudo labels and distinguish the importance of each pseudo-labeled node during the model training process. Experimental results on both real-world and synthetic datasets demonstrate our approach can not only consistently outperform the state-of-the-arts, but also effectively smooth the representations of intra-class nodes.

图形神经网络（GNN）是用于建模图数据的流行机器学习方法。许多GNN在同质图上表现良好，同时在异质图上表现不佳。最近，一些研究人员将注意力转移到设计GNN，以通过调整消息传递机制或扩大消息传递的接收场来设计GNN。与从模型设计的角度来减轻异性疾病问题的现有作品不同，我们建议通过重新布线结构来从正交角度研究异质图，以减少异质性并使传统GNN的表现更好。通过全面的经验研究和分析，我们验证了重新布线方法的潜力。为了充分利用其潜力，我们提出了一种名为Deep Hertophilly Graph Rewiring（DHGR）的方法，以通过添加同粒子边缘和修剪异质边缘来重新线图。通过比较节点邻居的标签/特征 - 分布的相似性来确定重新布线的详细方法。此外，我们为DHGR设计了可扩展的实现，以确保高效率。 DHRG可以轻松地用作任何GNN的插件模块，即图形预处理步骤，包括同型和异性的GNN，以提高其在节点分类任务上的性能。据我们所知，这是研究图形的第一部重新绘图图形的作品。在11个公共图数据集上进行的广泛实验证明了我们提出的方法的优势。

鉴于他们的普及和应用程序的多样性，图形神经网络（GNNS）越来越重要。然而，对对抗性袭击的脆弱性的现有研究依赖于相对较小的图形。我们解决了这个差距并研究了如何在规模攻击和捍卫GNN。我们提出了两个稀疏感知的一阶优化攻击，尽管优化了在节点数量中的许多参数上优化了有效的表示。我们表明，普通的替代损失并不适合全球对GNN的攻击。我们的替代品可以加倍攻击力量。此外，为了提高GNNS的可靠性，我们设计了强大的聚合函数，软中位，导致所有尺度的有效防御。我们评估了我们的攻击和防御与图形的标准GNN，与以前的工作相比大于100倍以上。我们甚至通过将技术扩展到可伸缩的GNN来进一步缩放一个数量级。

图形神经网络（GNNS）由于图形数据的规模和模型参数的数量呈指数增长，因此限制了它们在实际应用中的效用，因此往往会遭受高计算成本。为此，最近的一些作品着重于用彩票假设（LTH）稀疏GNN，以降低推理成本，同时保持绩效水平。但是，基于LTH的方法具有两个主要缺点：1）它们需要对密集模型进行详尽且迭代的训练，从而产生了极大的训练计算成本，2）它们仅修剪图形结构和模型参数，但忽略了节点功能维度，存在大量冗余。为了克服上述局限性，我们提出了一个综合的图形渐进修剪框架，称为CGP。这是通过在一个训练过程中设计在训练图周期修剪范式上进行动态修剪GNN来实现的。与基于LTH的方法不同，提出的CGP方法不需要重新训练，这大大降低了计算成本。此外，我们设计了一个共同策略，以全面地修剪GNN的所有三个核心元素：图形结构，节点特征和模型参数。同时，旨在完善修剪操作，我们将重生过程引入我们的CGP框架，以重新建立修剪但重要的连接。提出的CGP通过在6个GNN体系结构中使用节点分类任务进行评估，包括浅层模型（GCN和GAT），浅但深度散发模型（SGC和APPNP）以及Deep Models（GCNII和RESGCN），总共有14个真实图形数据集，包括来自挑战性开放图基准的大规模图数据集。实验表明，我们提出的策略在匹配时大大提高了训练和推理效率，甚至超过了现有方法的准确性。

图表神经网络（GNNS）在半监督学习场景中取得了显着的成功。图形神经网络中的消息传递机制有助于未标记的节点收集标记邻居的监督信号。在这项工作中，我们调查了一项广泛采用的半监督学习方法之一的一致性正则化的一致性，可以帮助提高图形神经网络的性能。我们重新审视图形神经网络的两种一致性正则化方法。一个是简单的一致性正则化（SCR），另一个是均值是均值 - 教师一致性正则化（MCR）。我们将一致性正则化方法与两个最先进的GNN结合起来并在OGBN-Products数据集上进行实验。通过一致性正常化，可以在具有和无外数据的OGBN-Products数据集中提高最先进的GNN的性能0.3％。

鉴于在现实世界应用中大规模图的流行率，训练神经模型的存储和时间引起了人们的关注。为了减轻关注点，我们提出和研究图形神经网络（GNNS）的图形凝结问题。具体而言，我们旨在将大型原始图凝结成一个小的，合成的和高度信息的图，以便在小图和大图上训练的GNN具有可比性的性能。我们通过优化梯度匹配损失并设计一种凝结节点期货和结构信息的策略来模仿原始图上的GNN训练轨迹，以解决凝结问题。广泛的实验证明了所提出的框架在将不同的图形数据集凝结成信息较小的较小图中的有效性。特别是，我们能够在REDDIT上近似于95.3％的原始测试准确性，Flickr的99.8％和CiteSeer的99.0％，同时将其图形尺寸降低了99.9％以上，并且可以使用冷凝图来训练各种GNN架构Code在https://github.com/chandlerbang/gcond上发布。

Graph machine learning has been extensively studied in both academia and industry. Although booming with a vast number of emerging methods and techniques, most of the literature is built on the in-distribution hypothesis, i.e., testing and training graph data are identically distributed. However, this in-distribution hypothesis can hardly be satisfied in many real-world graph scenarios where the model performance substantially degrades when there exist distribution shifts between testing and training graph data. To solve this critical problem, out-of-distribution (OOD) generalization on graphs, which goes beyond the in-distribution hypothesis, has made great progress and attracted ever-increasing attention from the research community. In this paper, we comprehensively survey OOD generalization on graphs and present a detailed review of recent advances in this area. First, we provide a formal problem definition of OOD generalization on graphs. Second, we categorize existing methods into three classes from conceptually different perspectives, i.e., data, model, and learning strategy, based on their positions in the graph machine learning pipeline, followed by detailed discussions for each category. We also review the theories related to OOD generalization on graphs and introduce the commonly used graph datasets for thorough evaluations. Finally, we share our insights on future research directions. This paper is the first systematic and comprehensive review of OOD generalization on graphs, to the best of our knowledge.

基于图形神经网络（GNN）方法最近已成为处理图数据的流行工具，因为它们能够合并结构信息。GNNS性能的唯一障碍是缺乏标记数据。图像和文本数据的数据增强技术无法用于图形数据，因为图形数据的复杂和非欧几里得结构。这一差距迫使研究人员将注意力转向开发图形数据的数据增强技术。大多数提出的图形数据增强（GDA）技术都是特定于任务的。在本文中，我们根据不同的图形任务调查了现有的GDA技术。这项调查不仅提供了GDA研究界的参考，而且还向其他领域的研究人员提供了必要的信息。

无监督的图形表示学习是图形数据的非琐碎主题。在结构化数据的无监督代表学习中对比学习和自我监督学习的成功激发了图表上的类似尝试。使用对比损耗的当前无监督的图形表示学习和预培训主要基于手工增强图数据之间的对比度。但是，由于不可预测的不变性，图数据增强仍然没有很好地探索。在本文中，我们提出了一种新颖的协作图形神经网络对比学习框架（CGCL），它使用多个图形编码器来观察图形。不同视图观察的特征充当了图形编码器之间对比学习的图表增强，避免了任何扰动以保证不变性。 CGCL能够处理图形级和节点级表示学习。广泛的实验表明CGCL在无监督的图表表示学习中的优势以及图形表示学习的手工数据增强组合的非必要性。

图形神经网络（GNNS）由于其强大的表示能力而广泛用于图形结构化数据处理。通常认为，GNNS可以隐式消除非预测性的噪音。但是，对图神经网络中隐式降解作用的分析仍然开放。在这项工作中，我们进行了一项全面的理论研究，并分析了隐式denoising在GNN中发生的何时以及为什么发生。具体而言，我们研究噪声矩阵的收敛性。我们的理论分析表明，隐式转化很大程度上取决于连接性，图形大小和GNN体系结构。此外，我们通过扩展图形信号降解问题来正式定义并提出对抗图信号denoising（AGSD）问题。通过解决这样的问题，我们得出了一个可靠的图形卷积，可以增强节点表示的平滑度和隐式转化效果。广泛的经验评估验证了我们的理论分析和我们提出的模型的有效性。

In the last few years, graph neural networks (GNNs) have become the standard toolkit for analyzing and learning from data on graphs. This emerging field has witnessed an extensive growth of promising techniques that have been applied with success to computer science, mathematics, biology, physics and chemistry. But for any successful field to become mainstream and reliable, benchmarks must be developed to quantify progress. This led us in March 2020 to release a benchmark framework that i) comprises of a diverse collection of mathematical and real-world graphs, ii) enables fair model comparison with the same parameter budget to identify key architectures, iii) has an open-source, easy-to-use and reproducible code infrastructure, and iv) is flexible for researchers to experiment with new theoretical ideas. As of December 2022, the GitHub repository has reached 2,000 stars and 380 forks, which demonstrates the utility of the proposed open-source framework through the wide usage by the GNN community. In this paper, we present an updated version of our benchmark with a concise presentation of the aforementioned framework characteristics, an additional medium-sized molecular dataset AQSOL, similar to the popular ZINC, but with a real-world measured chemical target, and discuss how this framework can be leveraged to explore new GNN designs and insights. As a proof of value of our benchmark, we study the case of graph positional encoding (PE) in GNNs, which was introduced with this benchmark and has since spurred interest of exploring more powerful PE for Transformers and GNNs in a robust experimental setting.