尽管图形神经网络（GNNS）领域的进步，但目前仅使用少量数据集来评估新模型。这种持续依赖少数数据集提供了对模型之间的性能差异的最小见解，对于可能具有与用作学术基准的数据集有很大不同的工业从业人员而言，尤其具有挑战性。在Google在GNN基础架构和开源软件方面的工作过程中，我们试图开发改进的基准，这些基准可健壮，可调，可扩展且可推广。在这项工作中，我们介绍了GraphWorld，这是一种新的方法和系统，用于对任何可疑的GNN任务进行任意大量的合成图种群进行基准测试GNN模型。 GraphWorld允许用户有效地生成具有数百万个统计上不同数据集的世界。它可访问，可扩展且易于使用。 GraphWorld可以在没有专门硬件的情况下在一台计算机上运行，​​也可以轻松地扩展到在任意群集或云框架上运行。使用GraphWorld，用户对Graph Generator参数具有细粒度的控制，并且可以使用内置的超参数调整基准测试任意GNN模型。我们从GraphWorld实验中介绍了有关数以百亿个基准数据集中数以万计的GNN模型的性能特征的见解。我们进一步表明，GraphWorld有效地探索了标准基准测试的基准数据集空间区域，从而揭示了在历史上无法获得的模型之间的比较。使用GraphWorld，我们还能够研究图形属性与任务性能指标之间的关系，这对于经典的现实基准集合而言，这几乎是不可能的。

We present the OPEN GRAPH BENCHMARK (OGB), a diverse set of challenging and realistic benchmark datasets to facilitate scalable, robust, and reproducible graph machine learning (ML) research. OGB datasets are large-scale, encompass multiple important graph ML tasks, and cover a diverse range of domains, ranging from social and information networks to biological networks, molecular graphs, source code ASTs, and knowledge graphs. For each dataset, we provide a unified evaluation protocol using meaningful application-specific data splits and evaluation metrics. In addition to building the datasets, we also perform extensive benchmark experiments for each dataset. Our experiments suggest that OGB datasets present significant challenges of scalability to large-scale graphs and out-of-distribution generalization under realistic data splits, indicating fruitful opportunities for future research. Finally, OGB provides an automated end-to-end graph ML pipeline that simplifies and standardizes the process of graph data loading, experimental setup, and model evaluation. OGB will be regularly updated and welcomes inputs from the community. OGB datasets as well as data loaders, evaluation scripts, baseline code, and leaderboards are publicly available at https://ogb.stanford.edu.

In the last few years, graph neural networks (GNNs) have become the standard toolkit for analyzing and learning from data on graphs. This emerging field has witnessed an extensive growth of promising techniques that have been applied with success to computer science, mathematics, biology, physics and chemistry. But for any successful field to become mainstream and reliable, benchmarks must be developed to quantify progress. This led us in March 2020 to release a benchmark framework that i) comprises of a diverse collection of mathematical and real-world graphs, ii) enables fair model comparison with the same parameter budget to identify key architectures, iii) has an open-source, easy-to-use and reproducible code infrastructure, and iv) is flexible for researchers to experiment with new theoretical ideas. As of December 2022, the GitHub repository has reached 2,000 stars and 380 forks, which demonstrates the utility of the proposed open-source framework through the wide usage by the GNN community. In this paper, we present an updated version of our benchmark with a concise presentation of the aforementioned framework characteristics, an additional medium-sized molecular dataset AQSOL, similar to the popular ZINC, but with a real-world measured chemical target, and discuss how this framework can be leveraged to explore new GNN designs and insights. As a proof of value of our benchmark, we study the case of graph positional encoding (PE) in GNNs, which was introduced with this benchmark and has since spurred interest of exploring more powerful PE for Transformers and GNNs in a robust experimental setting.

图神经网络（GNN）在节点分类任务上取得了巨大成功。尽管对开发和评估GNN具有广泛的兴趣，但它们已经通过有限的基准数据集进行了评估。结果，现有的GNN评估缺乏来自图的各种特征的细粒分析。在此激励的情况下，我们对合成图生成器进行了广泛的实验，该实验可以生成具有控制特征以进行细粒分析的图形。我们的实证研究阐明了带有节点类标签的真实图形标签的四个主要特征的GNN的优势和劣势，即1）类规模分布（平衡与失衡），2）等级之间的边缘连接比例（均质VS之间）异性词），3）属性值（偏见与随机），4）图形大小（小与大）。此外，为了促进对GNN的未来研究，我们公开发布了我们的代码库，该代码库允许用户用各种图表评估各种GNN。我们希望这项工作为未来的研究提供有趣的见解。

Pre-publication draft of a book to be published byMorgan & Claypool publishers. Unedited version released with permission. All relevant copyrights held by the author and publisher extend to this pre-publication draft.

Graph classification is an important area in both modern research and industry. Multiple applications, especially in chemistry and novel drug discovery, encourage rapid development of machine learning models in this area. To keep up with the pace of new research, proper experimental design, fair evaluation, and independent benchmarks are essential. Design of strong baselines is an indispensable element of such works. In this thesis, we explore multiple approaches to graph classification. We focus on Graph Neural Networks (GNNs), which emerged as a de facto standard deep learning technique for graph representation learning. Classical approaches, such as graph descriptors and molecular fingerprints, are also addressed. We design fair evaluation experimental protocol and choose proper datasets collection. This allows us to perform numerous experiments and rigorously analyze modern approaches. We arrive to many conclusions, which shed new light on performance and quality of novel algorithms. We investigate application of Jumping Knowledge GNN architecture to graph classification, which proves to be an efficient tool for improving base graph neural network architectures. Multiple improvements to baseline models are also proposed and experimentally verified, which constitutes an important contribution to the field of fair model comparison.

图形神经网络（GNN）已在许多图分析任务（例如节点分类和链接预测）上实现了最新结果。然而，事实证明，图形群集等图形上的重要无监督问题对GNN的进步具有更大的抵抗力。图群集的总体目标与GNN中的节点合并相同 - 这是否意味着GNN池方法在聚类图上做得很好？令人惊讶的是，答案是没有的 - 当前的GNN合并方法通常无法恢复群集结构，而在简单的基线（例如应用于学习的表示形式上的K-均值）良好工作的情况下。我们通过仔细设计一组实验来进一步研究，以研究图形结构和属性数据中的不同信噪比情景。为了解决这些方法在聚类中的性能不佳，我们引入了深层模块化网络（DMON），这是一种受群集质量模块化量度启发的无监督池方法，并显示了它如何解决现实世界图的挑战性聚类结构的恢复。同样，在现实世界中，我们表明DMON产生的高质量簇与地面真相标签密切相关，从而实现了最先进的结果，比不同指标的其他合并方法提高了40％以上。

图形神经网络（GNN）在处理图形结构数据的问题上表现出巨大的希望。 GNNS的独特点之一是它们的灵活性适应多个问题，这不仅导致广泛的适用性，而且在为特定问题找到最佳模型或加速技术时会带来重要的挑战。此类挑战的一个例子在于一个事实，即GNN模型或加速技术的准确性或有效性通常取决于基础图的结构。在本文中，为了解决图形依赖性加速的问题，我们提出了预后，这是一个数据驱动的模型，可以通过检查输入图来预测给定GNN模型在任意特征图上运行的GNN训练时间指标。这样的预测是基于先前使用多样化的合成图数据集经过离线训练的回归做出的。在实践中，我们的方法允许做出明智的决定，以用于特定问题的设计。在本文中，为特定用例定义并应用了构建预后的方法，其中有助于确定哪种图表更好。我们的结果表明，预后有助于在多种广泛使用的GNN模型（例如GCN，GIN，GAT或GRAPHSAGE）中随机选择图表的平均速度为1.22倍。

图形神经网络（GNNS）通过考虑其内在的几何形状来扩展神经网络的成功到图形结构化数据。尽管根据图表学习基准的集合，已经对开发具有卓越性能的GNN模型进行了广泛的研究，但目前尚不清楚其探测给定模型的哪些方面。例如，他们在多大程度上测试模型利用图形结构与节点特征的能力？在这里，我们开发了一种原则性的方法来根据$ \ textit {敏感性配置文件} $进行基准测试数据集，该方法基于由于图形扰动的集合而导致的GNN性能变化了多少。我们的数据驱动分析提供了对GNN利用哪些基准测试数据特性的更深入的了解。因此，我们的分类法可以帮助选择和开发适当的图基准测试，并更好地评估未来的GNN方法。最后，我们在$ \ texttt {gtaxogym} $软件包中的方法和实现可扩展到多个图形预测任务类型和未来数据集。

基于1-HOP邻居之间的消息传递（MP）范式交换信息的图形神经网络（GNN），以在每一层构建节点表示。原则上，此类网络无法捕获在图形上学习给定任务的可能或必需的远程交互（LRI）。最近，人们对基于变压器的图的开发产生了越来越多的兴趣，这些方法可以考虑超出原始稀疏结构以外的完整节点连接，从而实现了LRI的建模。但是，仅依靠1跳消息传递的MP-gnn与位置特征表示形式结合使用时通常在几个现有的图形基准中表现得更好，因此，限制了Transferter类似体系结构的感知效用和排名。在这里，我们介绍了5个图形学习数据集的远程图基准（LRGB）：Pascalvoc-SP，Coco-SP，PCQM-Contact，Peptides-Func和肽结构，可以说需要LRI推理以在给定的任务中实现强大的性能。我们基准测试基线GNN和Graph Transformer网络，以验证捕获长期依赖性的模型在这些任务上的性能明显更好。因此，这些数据集适用于旨在捕获LRI的MP-GNN和Graph Transformer架构的基准测试和探索。

图表表示学习是一种快速增长的领域，其中一个主要目标是在低维空间中产生有意义的图形表示。已经成功地应用了学习的嵌入式来执行各种预测任务，例如链路预测，节点分类，群集和可视化。图表社区的集体努力提供了数百种方法，但在所有评估指标下没有单一方法擅长，例如预测准确性，运行时间，可扩展性等。该调查旨在通过考虑算法来评估嵌入方法的所有主要类别的图表变体，参数选择，可伸缩性，硬件和软件平台，下游ML任务和多样化数据集。我们使用包含手动特征工程，矩阵分解，浅神经网络和深图卷积网络的分类法组织了图形嵌入技术。我们使用广泛使用的基准图表评估了节点分类，链路预测，群集和可视化任务的这些类别算法。我们在Pytorch几何和DGL库上设计了我们的实验，并在不同的多核CPU和GPU平台上运行实验。我们严格地审查了各种性能指标下嵌入方法的性能，并总结了结果。因此，本文可以作为比较指南，以帮助用户选择最适合其任务的方法。

标记为图形结构数据的分类任务具有许多重要的应用程序，从社交建议到财务建模。深度神经网络越来越多地用于图形上的节点分类，其中具有相似特征的节点必须给出相同的标签。图形卷积网络（GCN）是如此广泛研究的神经网络体系结构，在此任务上表现良好。但是，对GCN的强大链接攻击攻击最近表明，即使对训练有素的模型进行黑框访问，培训图中也存在哪些链接（或边缘）。在本文中，我们提出了一种名为LPGNET的新神经网络体系结构，用于对具有隐私敏感边缘的图形进行培训。 LPGNET使用新颖的设计为训练过程中的图形结构提供了新颖的设计，为边缘提供了差异隐私（DP）保证。我们从经验上表明，LPGNET模型通常位于提供隐私和效用之间的最佳位置：它们比使用不使用边缘信息的“琐碎”私人体系结构（例如，香草MLP）和针对现有的链接策略攻击更好的弹性可以提供更好的实用性。使用完整边缘结构的香草GCN。 LPGNET还与DPGCN相比，LPGNET始终提供更好的隐私性权衡，这是我们大多数评估的数据集中将差异隐私改造为常规GCN的最新机制。

Establishing open and general benchmarks has been a critical driving force behind the success of modern machine learning techniques. As machine learning is being applied to broader domains and tasks, there is a need to establish richer and more diverse benchmarks to better reflect the reality of the application scenarios. Graph learning is an emerging field of machine learning that urgently needs more and better benchmarks. To accommodate the need, we introduce Graph Learning Indexer (GLI), a benchmark curation platform for graph learning. In comparison to existing graph learning benchmark libraries, GLI highlights two novel design objectives. First, GLI is designed to incentivize \emph{dataset contributors}. In particular, we incorporate various measures to minimize the effort of contributing and maintaining a dataset, increase the usability of the contributed dataset, as well as encourage attributions to different contributors of the dataset. Second, GLI is designed to curate a knowledge base, instead of a plain collection, of benchmark datasets. We use multiple sources of meta information to augment the benchmark datasets with \emph{rich characteristics}, so that they can be easily selected and used in downstream research or development. The source code of GLI is available at \url{https://github.com/Graph-Learning-Benchmarks/gli}.

图形嵌入是图形节点到一组向量的转换。良好的嵌入应捕获图形拓扑，节点与节点的关系以及有关图，其子图和节点的其他相关信息。如果实现了这些目标，则嵌入是网络中有意义的，可理解的，可理解的压缩表示形式，可用于其他机器学习工具，例如节点分类，社区检测或链接预测。主要的挑战是，需要确保嵌入很好地描述图形的属性。结果，选择最佳嵌入是一项具有挑战性的任务，并且通常需要领域专家。在本文中，我们在现实世界网络和人为生成的网络上进行了一系列广泛的实验，并使用选定的图嵌入算法进行了一系列的实验。根据这些实验，我们制定了两个一般结论。首先，如果需要在运行实验之前选择一种嵌入算法，则Node2Vec是最佳选择，因为它在我们的测试中表现最好。话虽如此，在所有测试中都没有单一的赢家，此外，大多数嵌入算法都具有应该调整并随机分配的超参数。因此，如果可能的话，我们对从业者的主要建议是生成几个问题的嵌入，然后使用一个通用框架，该框架为无监督的图形嵌入比较提供了工具。该框架（最近在文献中引入并在GitHub存储库中很容易获得）将分歧分数分配给嵌入，以帮助区分好的分数和不良的分数。

Learning fair graph representations for downstream applications is becoming increasingly important, but existing work has mostly focused on improving fairness at the global level by either modifying the graph structure or objective function without taking into account the local neighborhood of a node. In this work, we formally introduce the notion of neighborhood fairness and develop a computational framework for learning such locally fair embeddings. We argue that the notion of neighborhood fairness is more appropriate since GNN-based models operate at the local neighborhood level of a node. Our neighborhood fairness framework has two main components that are flexible for learning fair graph representations from arbitrary data: the first aims to construct fair neighborhoods for any arbitrary node in a graph and the second enables adaption of these fair neighborhoods to better capture certain application or data-dependent constraints, such as allowing neighborhoods to be more biased towards certain attributes or neighbors in the graph.Furthermore, while link prediction has been extensively studied, we are the first to investigate the graph representation learning task of fair link classification. We demonstrate the effectiveness of the proposed neighborhood fairness framework for a variety of graph machine learning tasks including fair link prediction, link classification, and learning fair graph embeddings. Notably, our approach achieves not only better fairness but also increases the accuracy in the majority of cases across a wide variety of graphs, problem settings, and metrics.

近年来，异构图形神经网络（HGNNS）一直在开花，但每个工作所使用的独特数据处理和评估设置会让他们的进步完全了解。在这项工作中，我们通过使用其官方代码，数据集，设置和超参数来展示12个最近的HGNN的系统再现，揭示了关于HGNN的进展的令人惊讶的结果。我们发现，由于设置不当，简单的均匀GNN，例如GCN和GAT在很大程度上低估了。具有适当输入的GAT通常可以匹配或优于各种场景的所有现有HGNN。为了促进稳健和可重复的HGNN研究，我们构建异构图形基准（HGB），由具有三个任务的11个不同数据集组成。 HGB标准化异构图数据分割，特征处理和性能评估的过程。最后，我们介绍了一个简单但非常强大的基线简单 - HGN - 这显着优于HGB上以前的所有模型 - 以加速未来HGNN的进步。

图形神经网络已成为从图形结构数据学习的不可缺少的工具之一，并且它们的实用性已在各种各样的任务中显示。近年来，建筑设计的巨大改进，导致各种预测任务的性能更好。通常，这些神经架构在同一层中使用可知的权重矩阵组合节点特征聚合和特征转换。这使得分析从各种跳过的节点特征和神经网络层的富有效力来挑战。由于不同的图形数据集显示在特征和类标签分布中的不同级别和异常级别，因此必须了解哪些特征对于没有任何先前信息的预测任务是重要的。在这项工作中，我们将节点特征聚合步骤和深度与图形神经网络分离，并经验分析了不同的聚合特征在预测性能中发挥作用。我们表明，并非通过聚合步骤生成的所有功能都很有用，并且通常使用这些较少的信息特征可能对GNN模型的性能有害。通过我们的实验，我们表明学习这些功能的某些子集可能会导致各种数据集的性能更好。我们建议使用Softmax作为常规器，并从不同跳距的邻居聚合的功能的“软选择器”;和L2 - GNN层的标准化。结合这些技术，我们呈现了一个简单浅的模型，特征选择图神经网络（FSGNN），并经验展示所提出的模型比九个基准数据集中的最先进的GNN模型实现了可比或甚至更高的准确性节点分类任务，具有显着的改进，可达51.1％。

学术界和工业广泛研究了图形机器学习。然而，作为图表学习繁荣的文献，具有大量的新兴方法和技术，它越来越难以手动设计用于不同的图形相关任务的最佳机器学习算法。为了解决挑战，自动化图形机器学习，目的是在没有手动设计的不同图表任务/数据中发现最好的图形任务/数据的最佳超参数和神经架构配置，正在增加研究界的越来越多的关注。在本文中，我们广泛地讨论了自动化图形机方法，涵盖了用于图形机学习的超参数优化（HPO）和神经架构搜索（NAS）。我们简要概述了专为Traph Machine学习或自动化机器学习而设计的现有库，进一步深入介绍AutoGL，我们的专用和世界上第一个用于自动图形机器学习的开放源库。最后但并非最不重要的是，我们分享了对自动图形机学习的未来研究方向的见解。本文是对自动图形机学习的方法，图书馆以及方向的第一个系统和全面讨论。

Graph Neural Networks (GNNs) have been predominant for graph learning tasks; however, recent studies showed that a well-known graph algorithm, Label Propagation (LP), combined with a shallow neural network can achieve comparable performance to GNNs in semi-supervised node classification on graphs with high homophily. In this paper, we show that this approach falls short on graphs with low homophily, where nodes often connect to the nodes of the opposite classes. To overcome this, we carefully design a combination of a base predictor with LP algorithm that enjoys a closed-form solution as well as convergence guarantees. Our algorithm first learns the class compatibility matrix and then aggregates label predictions using LP algorithm weighted by class compatibilities. On a wide variety of benchmarks, we show that our approach achieves the leading performance on graphs with various levels of homophily. Meanwhile, it has orders of magnitude fewer parameters and requires less execution time. Empirical evaluations demonstrate that simple adaptations of LP can be competitive in semi-supervised node classification in both homophily and heterophily regimes.

图形神经网络（GNNS）从节点功能和输入图拓扑中利用信号来改善节点分类任务性能。然而，这些模型倾向于在异细胞图上表现不良，其中连接的节点具有不同的标记。最近提出了GNNS横跨具有不同程度的同性恋级别的图表。其中，依赖于多项式图滤波器的模型已经显示了承诺。我们观察到这些多项式图滤波器模型的解决方案也是过度确定的方程式系统的解决方案。它表明，在某些情况下，模型需要学习相当高的多项式。在调查中，我们发现由于其设计而在学习此类多项式的拟议模型。为了缓解这个问题，我们执行图表的特征分解，并建议学习作用于频谱的不同子集的多个自适应多项式滤波器。理论上和经验证明我们所提出的模型学习更好的过滤器，从而提高了分类准确性。我们研究了我们提出的模型的各个方面，包括利用潜在多项式滤波器的依义组分的数量以及节点分类任务上的各个多项式的性能的依赖性。我们进一步表明，我们的模型通过在大图中评估来扩展。我们的模型在最先进的模型上实现了高达5％的性能增益，并且通常优于现有的基于多项式滤波器的方法。