图形神经网络（GNN）在处理图形结构数据的问题上表现出巨大的希望。 GNNS的独特点之一是它们的灵活性适应多个问题，这不仅导致广泛的适用性，而且在为特定问题找到最佳模型或加速技术时会带来重要的挑战。此类挑战的一个例子在于一个事实，即GNN模型或加速技术的准确性或有效性通常取决于基础图的结构。在本文中，为了解决图形依赖性加速的问题，我们提出了预后，这是一个数据驱动的模型，可以通过检查输入图来预测给定GNN模型在任意特征图上运行的GNN训练时间指标。这样的预测是基于先前使用多样化的合成图数据集经过离线训练的回归做出的。在实践中，我们的方法允许做出明智的决定，以用于特定问题的设计。在本文中，为特定用例定义并应用了构建预后的方法，其中有助于确定哪种图表更好。我们的结果表明，预后有助于在多种广泛使用的GNN模型（例如GCN，GIN，GAT或GRAPHSAGE）中随机选择图表的平均速度为1.22倍。

在过去的几年中，已经开发了图形绘图技术，目的是生成美学上令人愉悦的节点链接布局。最近，利用可区分损失功能的使用已为大量使用梯度下降和相关优化算法铺平了道路。在本文中，我们提出了一个用于开发图神经抽屉（GND）的新框架，即依靠神经计算来构建有效且复杂的图的机器。 GND是图形神经网络（GNN），其学习过程可以由任何提供的损失函数（例如图形图中通常使用的损失函数）驱动。此外，我们证明，该机制可以由通过前馈神经网络计算的损失函数来指导，并根据表达美容特性的监督提示，例如交叉边缘的最小化。在这种情况下，我们表明GNN可以通过位置功能很好地丰富与未标记的顶点处理。我们通过为边缘交叉构建损失函数来提供概念验证，并在提议的框架下工作的不同GNN模型之间提供定量和定性的比较。

在许多现实世界应用中，基于图表编辑距离（GED）等指标（GED）等图表之间计算相似性得分的能力很重要。计算精确的GED值通常是一个NP硬性问题，传统算法通常在准确性和效率之间实现不令人满意的权衡。最近，图形神经网络（GNNS）为该任务提供了数据驱动的解决方案，该解决方案更有效，同时保持小图中的预测准确性（每图约10个节点）相似性计算。现有的基于GNN的方法分别嵌入了两个图（缺乏低水平的横向互动）或用于整个图表对（冗余和耗时）的部署跨冲突相互作用，在图中的节点数量增加。在本文中，我们着重于大规模图的相似性计算，并提出了“嵌入式磨合匹配”框架cosimgnn，该框架首先嵌入和粗大图形具有自适应池操作，然后在污垢的图表上部署细粒度的相互作用，以便在污垢的图形上进行污垢的互动最终相似性得分。此外，我们创建了几个合成数据集，这些数据集为图形相似性计算提供了新的基准测试。已经进行了有关合成数据集和现实世界数据集的详细实验，并且Cosimgnn实现了最佳性能，而推理时间最多是以前的Etab-The-The-The-ART的1/3。

图表表示学习是一种快速增长的领域，其中一个主要目标是在低维空间中产生有意义的图形表示。已经成功地应用了学习的嵌入式来执行各种预测任务，例如链路预测，节点分类，群集和可视化。图表社区的集体努力提供了数百种方法，但在所有评估指标下没有单一方法擅长，例如预测准确性，运行时间，可扩展性等。该调查旨在通过考虑算法来评估嵌入方法的所有主要类别的图表变体，参数选择，可伸缩性，硬件和软件平台，下游ML任务和多样化数据集。我们使用包含手动特征工程，矩阵分解，浅神经网络和深图卷积网络的分类法组织了图形嵌入技术。我们使用广泛使用的基准图表评估了节点分类，链路预测，群集和可视化任务的这些类别算法。我们在Pytorch几何和DGL库上设计了我们的实验，并在不同的多核CPU和GPU平台上运行实验。我们严格地审查了各种性能指标下嵌入方法的性能，并总结了结果。因此，本文可以作为比较指南，以帮助用户选择最适合其任务的方法。

Graph classification is an important area in both modern research and industry. Multiple applications, especially in chemistry and novel drug discovery, encourage rapid development of machine learning models in this area. To keep up with the pace of new research, proper experimental design, fair evaluation, and independent benchmarks are essential. Design of strong baselines is an indispensable element of such works. In this thesis, we explore multiple approaches to graph classification. We focus on Graph Neural Networks (GNNs), which emerged as a de facto standard deep learning technique for graph representation learning. Classical approaches, such as graph descriptors and molecular fingerprints, are also addressed. We design fair evaluation experimental protocol and choose proper datasets collection. This allows us to perform numerous experiments and rigorously analyze modern approaches. We arrive to many conclusions, which shed new light on performance and quality of novel algorithms. We investigate application of Jumping Knowledge GNN architecture to graph classification, which proves to be an efficient tool for improving base graph neural network architectures. Multiple improvements to baseline models are also proposed and experimentally verified, which constitutes an important contribution to the field of fair model comparison.

As the interest to Graph Neural Networks (GNNs) is growing, the importance of benchmarking and performance characterization studies of GNNs is increasing. So far, we have seen many studies that investigate and present the performance and computational efficiency of GNNs. However, the work done so far has been carried out using a few high-level GNN frameworks. Although these frameworks provide ease of use, they contain too many dependencies to other existing libraries. The layers of implementation details and the dependencies complicate the performance analysis of GNN models that are built on top of these frameworks, especially while using architectural simulators. Furthermore, different approaches on GNN computation are generally overlooked in prior characterization studies, and merely one of the common computational models is evaluated. Based on these shortcomings and needs that we observed, we developed a benchmark suite that is framework independent, supporting versatile computational models, easily configurable and can be used with architectural simulators without additional effort. Our benchmark suite, which we call gSuite, makes use of only hardware vendor's libraries and therefore it is independent of any other frameworks. gSuite enables performing detailed performance characterization studies on GNN Inference using both contemporary GPU profilers and architectural GPU simulators. To illustrate the benefits of our new benchmark suite, we perform a detailed characterization study with a set of well-known GNN models with various datasets; running gSuite both on a real GPU card and a timing-detailed GPU simulator. We also implicate the effect of computational models on performance. We use several evaluation metrics to rigorously measure the performance of GNN computation.

尽管图形神经网络（GNNS）领域的进步，但目前仅使用少量数据集来评估新模型。这种持续依赖少数数据集提供了对模型之间的性能差异的最小见解，对于可能具有与用作学术基准的数据集有很大不同的工业从业人员而言，尤其具有挑战性。在Google在GNN基础架构和开源软件方面的工作过程中，我们试图开发改进的基准，这些基准可健壮，可调，可扩展且可推广。在这项工作中，我们介绍了GraphWorld，这是一种新的方法和系统，用于对任何可疑的GNN任务进行任意大量的合成图种群进行基准测试GNN模型。 GraphWorld允许用户有效地生成具有数百万个统计上不同数据集的世界。它可访问，可扩展且易于使用。 GraphWorld可以在没有专门硬件的情况下在一台计算机上运行，​​也可以轻松地扩展到在任意群集或云框架上运行。使用GraphWorld，用户对Graph Generator参数具有细粒度的控制，并且可以使用内置的超参数调整基准测试任意GNN模型。我们从GraphWorld实验中介绍了有关数以百亿个基准数据集中数以万计的GNN模型的性能特征的见解。我们进一步表明，GraphWorld有效地探索了标准基准测试的基准数据集空间区域，从而揭示了在历史上无法获得的模型之间的比较。使用GraphWorld，我们还能够研究图形属性与任务性能指标之间的关系，这对于经典的现实基准集合而言，这几乎是不可能的。

图神经网络（GNN）在节点分类任务上取得了巨大成功。尽管对开发和评估GNN具有广泛的兴趣，但它们已经通过有限的基准数据集进行了评估。结果，现有的GNN评估缺乏来自图的各种特征的细粒分析。在此激励的情况下，我们对合成图生成器进行了广泛的实验，该实验可以生成具有控制特征以进行细粒分析的图形。我们的实证研究阐明了带有节点类标签的真实图形标签的四个主要特征的GNN的优势和劣势，即1）类规模分布（平衡与失衡），2）等级之间的边缘连接比例（均质VS之间）异性词），3）属性值（偏见与随机），4）图形大小（小与大）。此外，为了促进对GNN的未来研究，我们公开发布了我们的代码库，该代码库允许用户用各种图表评估各种GNN。我们希望这项工作为未来的研究提供有趣的见解。

We investigate the representation power of graph neural networks in the semisupervised node classification task under heterophily or low homophily, i.e., in networks where connected nodes may have different class labels and dissimilar features. Many popular GNNs fail to generalize to this setting, and are even outperformed by models that ignore the graph structure (e.g., multilayer perceptrons). Motivated by this limitation, we identify a set of key designs-ego-and neighbor-embedding separation, higher-order neighborhoods, and combination of intermediate representations-that boost learning from the graph structure under heterophily. We combine them into a graph neural network, H 2 GCN, which we use as the base method to empirically evaluate the effectiveness of the identified designs. Going beyond the traditional benchmarks with strong homophily, our empirical analysis shows that the identified designs increase the accuracy of GNNs by up to 40% and 27% over models without them on synthetic and real networks with heterophily, respectively, and yield competitive performance under homophily.

我们提出了一个框架，该框架会自动将不可缩放的GNN转换为基于预典型的GNN，该GNN对于大型图表有效且可扩展。我们框架的优势是两倍。1）它通过将局部特征聚合与其图形卷积中的重量学习分开，2）通过将其边缘分解为小型图形，将其有效地在GPU上进行了预先执行，将各种局部特征聚合与重量学习分开，将各种局部特征聚合从重量学习中分离出来，从而使各种不可估计的GNN转换为大规模图表。和平衡的集合。通过大规模图的广泛实验，我们证明了转化的GNN在训练时间内的运行速度比现有的GNN更快，同时实现了最先进的GNN的竞争精度。因此，我们的转型框架为可伸缩GNN的未来研究提供了简单有效的基础。

Deep learning has revolutionized many machine learning tasks in recent years, ranging from image classification and video processing to speech recognition and natural language understanding. The data in these tasks are typically represented in the Euclidean space. However, there is an increasing number of applications where data are generated from non-Euclidean domains and are represented as graphs with complex relationships and interdependency between objects. The complexity of graph data has imposed significant challenges on existing machine learning algorithms. Recently, many studies on extending deep learning approaches for graph data have emerged. In this survey, we provide a comprehensive overview of graph neural networks (GNNs) in data mining and machine learning fields. We propose a new taxonomy to divide the state-of-the-art graph neural networks into four categories, namely recurrent graph neural networks, convolutional graph neural networks, graph autoencoders, and spatial-temporal graph neural networks. We further discuss the applications of graph neural networks across various domains and summarize the open source codes, benchmark data sets, and model evaluation of graph neural networks. Finally, we propose potential research directions in this rapidly growing field.

最近，作为基于图形机器学习的骨干的图形神经网络（GNN）展示了各个域（例如，电子商务）的巨大成功。然而，由于基于高稀疏和不规则的图形操作，GNN的性能通常不令人满意。为此，我们提出，TC-GNN，基于GNN加速框架的第一个GPU张量核心单元（TCU）。核心思想是将“稀疏”GNN计算与“密集”TCU进行调和。具体地，我们对主流GNN计算框架中的稀疏操作进行了深入的分析。我们介绍了一种新颖的稀疏图翻译技术，便于TCU处理稀疏GNN工作量。我们还实现了一个有效的CUDA核心和TCU协作设计，以充分利用GPU资源。我们将TC-GNN与Pytorch框架完全集成，以便于编程。严格的实验在各种GNN型号和数据集设置的最先进的深图库框架上平均显示了1.70倍的加速。

图形神经网络（GNN）在学习强大的节点表示中显示了令人信服的性能，这些表现在保留节点属性和图形结构信息的强大节点表示中。然而，许多GNNS在设计有更深的网络结构或手柄大小的图形时遇到有效性和效率的问题。已经提出了几种采样算法来改善和加速GNN的培训，但他们忽略了解GNN性能增益的来源。图表数据中的信息的测量可以帮助采样算法来保持高价值信息，同时消除冗余信息甚至噪声。在本文中，我们提出了一种用于GNN的公制引导（MEGUIDE）子图学习框架。 MEGUIDE采用两种新颖的度量：功能平滑和连接失效距离，以指导子图采样和迷你批次的培训。功能平滑度专为分析节点的特征而才能保留最有价值的信息，而连接失败距离可以测量结构信息以控制子图的大小。我们展示了MEGUIDE在多个数据集上培训各种GNN的有效性和效率。

图形神经网络（GNNS）依赖于图形结构来定义聚合策略，其中每个节点通过与邻居的信息组合来更新其表示。已知GNN的限制是，随着层数的增加，信息被平滑，压扁并且节点嵌入式变得无法区分，对性能产生负面影响。因此，实用的GNN模型雇用了几层，只能在每个节点周围的有限邻域利用图形结构。不可避免地，实际的GNN不会根据图的全局结构捕获信息。虽然有几种研究GNNS的局限性和表达性，但是关于图形结构数据的实际应用的问题需要全局结构知识，仍然没有答案。在这项工作中，我们通过向几个GNN模型提供全球信息并观察其对下游性能的影响来认证解决这个问题。我们的研究结果表明，全球信息实际上可以为共同的图形相关任务提供显着的好处。我们进一步确定了一项新的正规化策略，导致所有考虑的任务的平均准确性提高超过5％。

Graph Neural Networks (GNNs) achieve state-of-the-art performance on graph-structured data across numerous domains. Their underlying ability to represent nodes as summaries of their vicinities has proven effective for homophilous graphs in particular, in which same-type nodes tend to connect. On heterophilous graphs, in which different-type nodes are likely connected, GNNs perform less consistently, as neighborhood information might be less representative or even misleading. On the other hand, GNN performance is not inferior on all heterophilous graphs, and there is a lack of understanding of what other graph properties affect GNN performance. In this work, we highlight the limitations of the widely used homophily ratio and the recent Cross-Class Neighborhood Similarity (CCNS) metric in estimating GNN performance. To overcome these limitations, we introduce 2-hop Neighbor Class Similarity (2NCS), a new quantitative graph structural property that correlates with GNN performance more strongly and consistently than alternative metrics. 2NCS considers two-hop neighborhoods as a theoretically derived consequence of the two-step label propagation process governing GCN's training-inference process. Experiments on one synthetic and eight real-world graph datasets confirm consistent improvements over existing metrics in estimating the accuracy of GCN- and GAT-based architectures on the node classification task.

In the last few years, graph neural networks (GNNs) have become the standard toolkit for analyzing and learning from data on graphs. This emerging field has witnessed an extensive growth of promising techniques that have been applied with success to computer science, mathematics, biology, physics and chemistry. But for any successful field to become mainstream and reliable, benchmarks must be developed to quantify progress. This led us in March 2020 to release a benchmark framework that i) comprises of a diverse collection of mathematical and real-world graphs, ii) enables fair model comparison with the same parameter budget to identify key architectures, iii) has an open-source, easy-to-use and reproducible code infrastructure, and iv) is flexible for researchers to experiment with new theoretical ideas. As of December 2022, the GitHub repository has reached 2,000 stars and 380 forks, which demonstrates the utility of the proposed open-source framework through the wide usage by the GNN community. In this paper, we present an updated version of our benchmark with a concise presentation of the aforementioned framework characteristics, an additional medium-sized molecular dataset AQSOL, similar to the popular ZINC, but with a real-world measured chemical target, and discuss how this framework can be leveraged to explore new GNN designs and insights. As a proof of value of our benchmark, we study the case of graph positional encoding (PE) in GNNs, which was introduced with this benchmark and has since spurred interest of exploring more powerful PE for Transformers and GNNs in a robust experimental setting.

图表神经网络（GNN）基于故障诊断（FD）近年来收到了越来越多的关注，因为来自来自多个应用域的数据可以有利地表示为图。实际上，与传统的FD方法相比，这种特殊的代表性表格导致了卓越的性能。在本次审查中，给出了GNN，对故障诊断领域的潜在应用以及未来观点的简单介绍。首先，通过专注于它们的数据表示，即时间序列，图像和图形，回顾基于神经网络的FD方法。其次，引入了GNN的基本原则和主要架构，注意了图形卷积网络，图注意网络，图形样本和聚合，图形自动编码器和空间 - 时间图卷积网络。第三，通过详细实验验证基于GNN的最相关的故障诊断方法，结论是基于GNN的方法可以实现良好的故障诊断性能。最后，提供了讨论和未来的挑战。

图形神经网络（GNNS）由于图形数据的规模和模型参数的数量呈指数增长，因此限制了它们在实际应用中的效用，因此往往会遭受高计算成本。为此，最近的一些作品着重于用彩票假设（LTH）稀疏GNN，以降低推理成本，同时保持绩效水平。但是，基于LTH的方法具有两个主要缺点：1）它们需要对密集模型进行详尽且迭代的训练，从而产生了极大的训练计算成本，2）它们仅修剪图形结构和模型参数，但忽略了节点功能维度，存在大量冗余。为了克服上述局限性，我们提出了一个综合的图形渐进修剪框架，称为CGP。这是通过在一个训练过程中设计在训练图周期修剪范式上进行动态修剪GNN来实现的。与基于LTH的方法不同，提出的CGP方法不需要重新训练，这大大降低了计算成本。此外，我们设计了一个共同策略，以全面地修剪GNN的所有三个核心元素：图形结构，节点特征和模型参数。同时，旨在完善修剪操作，我们将重生过程引入我们的CGP框架，以重新建立修剪但重要的连接。提出的CGP通过在6个GNN体系结构中使用节点分类任务进行评估，包括浅层模型（GCN和GAT），浅但深度散发模型（SGC和APPNP）以及Deep Models（GCNII和RESGCN），总共有14个真实图形数据集，包括来自挑战性开放图基准的大规模图数据集。实验表明，我们提出的策略在匹配时大大提高了训练和推理效率，甚至超过了现有方法的准确性。

Pre-publication draft of a book to be published byMorgan & Claypool publishers. Unedited version released with permission. All relevant copyrights held by the author and publisher extend to this pre-publication draft.

机器学习，在深入学习的进步，在过去分析时间序列方面表现出巨大的潜力。但是，在许多情况下，可以通过将其结合到学习方法中可能改善预测的附加信息。这对于由例如例如传感器位置的传感器网络而产生的数据至关重要。然后，可以通过通过图形结构建模，以及顺序（时间）信息来利用这种空间信息。适应深度学习的最新进展在各种图形相关任务中表明了有希望的潜力。但是，这些方法尚未在很大程度上适用于时间序列相关任务。具体而言，大多数尝试基本上围绕空间 - 时间图形神经网络巩固了时间序列预测的小序列长度。通常，这些架构不适合包含大数据序列的回归或分类任务。因此，在这项工作中，我们使用图形神经网络的好处提出了一种能够在多变量时间序列回归任务中处理这些长序列的架构。我们的模型在包含地震波形的两个地震数据集上进行测试，其中目标是预测在一组站的地面摇动的强度测量。我们的研究结果表明了我们的方法的有希望的结果，这是深入讨论的额外消融研究。