持久图（PDS）通常以同源性类别的死亡和出生为特征，以提供图形结构的拓扑表示，通常在机器学习任务中有用。先前的作品依靠单个图形签名来构建PD。在本文中，我们探讨了多尺度图标志家族的使用，以增强拓扑特征的鲁棒性。我们提出了一个深度学习体系结构来处理该集合的输入。基准图分类数据集上的实验表明，与使用图神经网络的最新方法相比，我们所提出的架构优于其他基于同源的方法，并实现其他基于同源的方法，并实现竞争性能。此外，我们的方法可以轻松地应用于大尺寸的输入图，因为它不会遭受有限的可伸缩性，这对于图内核方法可能是一个问题。

拓扑数据分析（TDA）的主要挑战之一是从机器学习算法直接可用的持久图中提取功能。实际上，持久性图是R2中的本质上（多级）点，并且不能以直接的方式视为向量。在本文中，我们介绍了持平性器，这是一个接受持久图作为输入的第一变压器神经网络架构。坚持不懈的体系结构显着优于古典合成基准数据集上以前的拓扑神经网络架构。此外，它满足了通用近似定理。这使我们能够介绍一种用于拓扑机学习的第一解释方法，我们在两个示例中探讨。

时间序列分析中产生的最重要的问题之一是分叉或变化点检测。也就是说，给定时间序列的集合在不同的参数上，何时基础动力系统的结构发生了变化？对于此任务，我们转向拓扑数据分析（TDA）的领域，该领域编码有关数据形状和结构的信息。近年来，利用TDA的工具用于信号处理任务（称为拓扑信号处理（TSP）（TSP））的想法在很大程度上通过标准管道获得了很多关注，该标准管道计算出Takens嵌入产生的点云的持久同源性。但是，此过程受到计算时间的限制，因为在这种情况下生成的简单复合物很大，但也有很多冗余数据。因此，我们求助于编码吸引子结构的最新方法，该方法构建了代表有关何时在状态空间区域之间动态系统传递的信息的序数分区网络（OPN）。结果是一个加权图，其结构编码有关基础吸引子的信息。我们以前的工作开始寻找以TDA适合的方式包装OPN信息的方法。但是，这项工作仅使用网络结构，而没有采取任何行动来编码其他加权信息。在本文中，我们采取下一步：构建管道来分析使用TDA的加权OPN，并表明该框架为系统中的噪声或扰动提供了更大的弹性，并提高了动态状态检测的准确性。

本文介绍了持续的Weisfeiler-Lehman随机步行方案（缩写为PWLR），用于图形表示，这是一个新型的数学框架，可生成具有离散和连续节点特征的图形的可解释的低维表示。提出的方案有效地结合了归一化的Weisfeiler-Lehman程序，在图形上随机行走以及持续的同源性。因此，我们整合了图形的三个不同属性，即局部拓扑特征，节点度和全局拓扑不变，同时保留图形扰动的稳定性。这概括了Weisfeiler-Lehman过程的许多变体，这些变体主要用于嵌入具有离散节点标签的图形。经验结果表明，可以有效地利用这些表示形式与最新的技术产生可比较的结果，以分类具有离散节点标签的图形，并在对具有连续节点特征的人分类中增强性能。

在过去十年中，图形内核引起了很多关注，并在结构化数据上发展成为一种快速发展的学习分支。在过去的20年中，该领域发生的相当大的研究活动导致开发数十个图形内核，每个图形内核都对焦于图形的特定结构性质。图形内核已成功地成功地在广泛的域中，从社交网络到生物信息学。本调查的目标是提供图形内核的文献的统一视图。特别是，我们概述了各种图形内核。此外，我们对公共数据集的几个内核进行了实验评估，并提供了比较研究。最后，我们讨论图形内核的关键应用，并概述了一些仍有待解决的挑战。

图形内核是历史上最广泛使用的图形分类任务的技术。然而，由于图的手工制作的组合特征，这些方法具有有限的性能。近年来，由于其性能卓越，图形神经网络（GNNS）已成为与下游图形相关任务的最先进的方法。大多数GNN基于消息传递神经网络（MPNN）框架。然而，最近的研究表明，MPNN不能超过Weisfeiler-Lehman（WL）算法在图形同构术中的力量。为了解决现有图形内核和GNN方法的限制，在本文中，我们提出了一种新的GNN框架，称为\ Texit {内核图形神经网络}（Kernnns），该框架将图形内核集成到GNN的消息传递过程中。通过卷积神经网络（CNNS）中的卷积滤波器的启发，KERGNNS采用可训练的隐藏图作为绘图过滤器，该绘图过滤器与子图组合以使用图形内核更新节点嵌入式。此外，我们表明MPNN可以被视为Kergnns的特殊情况。我们将Kergnns应用于多个与图形相关的任务，并使用交叉验证来与基准进行公平比较。我们表明，与现有的现有方法相比，我们的方法达到了竞争性能，证明了增加GNN的表现能力的可能性。我们还表明，KERGNNS中的训练有素的图形过滤器可以揭示数据集的本地图形结构，与传统GNN模型相比，显着提高了模型解释性。

近年来，基于Weisfeiler-Leman算法的算法和神经架构，是一个众所周知的Graph同构问题的启发式问题，它成为具有图形和关系数据的机器学习的强大工具。在这里，我们全面概述了机器学习设置中的算法的使用，专注于监督的制度。我们讨论了理论背景，展示了如何将其用于监督的图形和节点表示学习，讨论最近的扩展，并概述算法的连接（置换 - ）方面的神经结构。此外，我们概述了当前的应用和未来方向，以刺激进一步的研究。

Machine learning on graphs is an important and ubiquitous task with applications ranging from drug design to friendship recommendation in social networks. The primary challenge in this domain is finding a way to represent, or encode, graph structure so that it can be easily exploited by machine learning models. Traditionally, machine learning approaches relied on user-defined heuristics to extract features encoding structural information about a graph (e.g., degree statistics or kernel functions). However, recent years have seen a surge in approaches that automatically learn to encode graph structure into low-dimensional embeddings, using techniques based on deep learning and nonlinear dimensionality reduction. Here we provide a conceptual review of key advancements in this area of representation learning on graphs, including matrix factorization-based methods, random-walk based algorithms, and graph neural networks. We review methods to embed individual nodes as well as approaches to embed entire (sub)graphs. In doing so, we develop a unified framework to describe these recent approaches, and we highlight a number of important applications and directions for future work.

In computer-aided drug discovery (CADD), virtual screening (VS) is used for identifying the drug candidates that are most likely to bind to a molecular target in a large library of compounds. Most VS methods to date have focused on using canonical compound representations (e.g., SMILES strings, Morgan fingerprints) or generating alternative fingerprints of the compounds by training progressively more complex variational autoencoders (VAEs) and graph neural networks (GNNs). Although VAEs and GNNs led to significant improvements in VS performance, these methods suffer from reduced performance when scaling to large virtual compound datasets. The performance of these methods has shown only incremental improvements in the past few years. To address this problem, we developed a novel method using multiparameter persistence (MP) homology that produces topological fingerprints of the compounds as multidimensional vectors. Our primary contribution is framing the VS process as a new topology-based graph ranking problem by partitioning a compound into chemical substructures informed by the periodic properties of its atoms and extracting their persistent homology features at multiple resolution levels. We show that the margin loss fine-tuning of pretrained Triplet networks attains highly competitive results in differentiating between compounds in the embedding space and ranking their likelihood of becoming effective drug candidates. We further establish theoretical guarantees for the stability properties of our proposed MP signatures, and demonstrate that our models, enhanced by the MP signatures, outperform state-of-the-art methods on benchmark datasets by a wide and highly statistically significant margin (e.g., 93% gain for Cleves-Jain and 54% gain for DUD-E Diverse dataset).

Graph classification is an important area in both modern research and industry. Multiple applications, especially in chemistry and novel drug discovery, encourage rapid development of machine learning models in this area. To keep up with the pace of new research, proper experimental design, fair evaluation, and independent benchmarks are essential. Design of strong baselines is an indispensable element of such works. In this thesis, we explore multiple approaches to graph classification. We focus on Graph Neural Networks (GNNs), which emerged as a de facto standard deep learning technique for graph representation learning. Classical approaches, such as graph descriptors and molecular fingerprints, are also addressed. We design fair evaluation experimental protocol and choose proper datasets collection. This allows us to perform numerous experiments and rigorously analyze modern approaches. We arrive to many conclusions, which shed new light on performance and quality of novel algorithms. We investigate application of Jumping Knowledge GNN architecture to graph classification, which proves to be an efficient tool for improving base graph neural network architectures. Multiple improvements to baseline models are also proposed and experimentally verified, which constitutes an important contribution to the field of fair model comparison.

图形神经网络（GNNS）依赖于图形结构来定义聚合策略，其中每个节点通过与邻居的信息组合来更新其表示。已知GNN的限制是，随着层数的增加，信息被平滑，压扁并且节点嵌入式变得无法区分，对性能产生负面影响。因此，实用的GNN模型雇用了几层，只能在每个节点周围的有限邻域利用图形结构。不可避免地，实际的GNN不会根据图的全局结构捕获信息。虽然有几种研究GNNS的局限性和表达性，但是关于图形结构数据的实际应用的问题需要全局结构知识，仍然没有答案。在这项工作中，我们通过向几个GNN模型提供全球信息并观察其对下游性能的影响来认证解决这个问题。我们的研究结果表明，全球信息实际上可以为共同的图形相关任务提供显着的好处。我们进一步确定了一项新的正规化策略，导致所有考虑的任务的平均准确性提高超过5％。

我们考虑了$ d $维图像的新拓扑效率化，该图像通过在计算持久性之前与各种过滤器进行卷积。将卷积滤波器视为图像中的图案，结果卷积的持久图描述了图案在整个图像中分布的方式。我们称之为卷积持久性的管道扩展了拓扑结合图像数据中模式的能力。的确，我们证明（通常说）对于任何两个图像，人们都可以找到某些过滤器，它们会为其产生不同的持久图，以便给定图像的所有可能的卷积持久性图的收集是一个不变的不变性。通过表现出卷积的持久性是另一种拓扑不变的持续性副学变换的特殊情况，这证明了这一点。卷积持久性的其他优势是提高噪声的稳定性和鲁棒性，对数据依赖性矢量化的更大灵活性以及对具有较大步幅向量的卷积的计算复杂性降低。此外，我们还有一套实验表明，即使人们使用随机过滤器并通过仅记录其总持久性，卷积大大提高了持久性的预测能力，即使一个人使用随机过滤器并将结果图进行量化。

特征提取是图分析中的重要任务。这些特征向量（称为图形描述符）用于基于下游矢量空间的图形分析模型。过去证明了这个想法，基于光谱的图形描述符提供了最新的分类准确性。但是，要计算有意义的描述符的已知算法不会扩展到大图，因为：（1）它们需要将整个图存储在内存中，并且（2）最终用户无法控制算法的运行时。在本文中，我们提出流算法以大约计算三个不同的图形描述符，以捕获图的基本结构。在边缘流上操作使我们避免将整个图存储在内存中，并控制样本大小使我们能够将算法的运行时间保持在所需的范围内。我们通过分析近似误差和分类精度来证明所提出的描述符的功效。我们的可扩展算法计算图形的描述符，并在几分钟之内具有数百万个边缘。此外，这些描述符得出的预测精度可与最新方法相当，但只能使用25％的记忆来计算。

Deep learning has revolutionized many machine learning tasks in recent years, ranging from image classification and video processing to speech recognition and natural language understanding. The data in these tasks are typically represented in the Euclidean space. However, there is an increasing number of applications where data are generated from non-Euclidean domains and are represented as graphs with complex relationships and interdependency between objects. The complexity of graph data has imposed significant challenges on existing machine learning algorithms. Recently, many studies on extending deep learning approaches for graph data have emerged. In this survey, we provide a comprehensive overview of graph neural networks (GNNs) in data mining and machine learning fields. We propose a new taxonomy to divide the state-of-the-art graph neural networks into four categories, namely recurrent graph neural networks, convolutional graph neural networks, graph autoencoders, and spatial-temporal graph neural networks. We further discuss the applications of graph neural networks across various domains and summarize the open source codes, benchmark data sets, and model evaluation of graph neural networks. Finally, we propose potential research directions in this rapidly growing field.

最近有一项激烈的活动在嵌入非常高维和非线性数据结构的嵌入中，其中大部分在数据科学和机器学习文献中。我们分四部分调查这项活动。在第一部分中，我们涵盖了非线性方法，例如主曲线，多维缩放，局部线性方法，ISOMAP，基于图形的方法和扩散映射，基于内核的方法和随机投影。第二部分与拓扑嵌入方法有关，特别是将拓扑特性映射到持久图和映射器算法中。具有巨大增长的另一种类型的数据集是非常高维网络数据。第三部分中考虑的任务是如何将此类数据嵌入中等维度的向量空间中，以使数据适合传统技术，例如群集和分类技术。可以说，这是算法机器学习方法与统计建模（所谓的随机块建模）之间的对比度。在论文中，我们讨论了两种方法的利弊。调查的最后一部分涉及嵌入$ \ mathbb {r}^ 2 $，即可视化中。提出了三种方法：基于第一部分，第二和第三部分中的方法，$ t $ -sne，UMAP和大节。在两个模拟数据集上进行了说明和比较。一个由嘈杂的ranunculoid曲线组成的三胞胎，另一个由随机块模型和两种类型的节点产生的复杂性的网络组成。

Graph神经网络（GNN）最近已成为使用图的机器学习的主要范式。对GNNS的研究主要集中于消息传递神经网络（MPNNS）的家族。与同构的Weisfeiler-Leman（WL）测试类似，这些模型遵循迭代的邻域聚合过程以更新顶点表示，并通过汇总顶点表示来更新顶点图表。尽管非常成功，但在过去的几年中，对MPNN进行了深入的研究。因此，需要新颖的体系结构，这将使该领域的研究能够脱离MPNN。在本文中，我们提出了一个新的图形神经网络模型，即所谓的$ \ pi $ -gnn，该模型学习了每个图的“软”排列（即双随机）矩阵，从而将所有图形投影到一个共同的矢量空间中。学到的矩阵在输入图的顶点上强加了“软”顺序，并基于此顺序，将邻接矩阵映射到向量中。这些向量可以被送入完全连接或卷积的层，以应对监督的学习任务。在大图的情况下，为了使模型在运行时间和记忆方面更有效，我们进一步放松了双随机矩阵，以使其排列随机矩阵。我们从经验上评估了图形分类和图形回归数据集的模型，并表明它与最新模型达到了性能竞争。

In recent years, using a self-supervised learning framework to learn the general characteristics of graphs has been considered a promising paradigm for graph representation learning. The core of self-supervised learning strategies for graph neural networks lies in constructing suitable positive sample selection strategies. However, existing GNNs typically aggregate information from neighboring nodes to update node representations, leading to an over-reliance on neighboring positive samples, i.e., homophilous samples; while ignoring long-range positive samples, i.e., positive samples that are far apart on the graph but structurally equivalent samples, a problem we call "neighbor bias." This neighbor bias can reduce the generalization performance of GNNs. In this paper, we argue that the generalization properties of GNNs should be determined by combining homogeneous samples and structurally equivalent samples, which we call the "GC combination hypothesis." Therefore, we propose a topological signal-driven self-supervised method. It uses a topological information-guided structural equivalence sampling strategy. First, we extract multiscale topological features using persistent homology. Then we compute the structural equivalence of node pairs based on their topological features. In particular, we design a topological loss function to pull in non-neighboring node pairs with high structural equivalence in the representation space to alleviate neighbor bias. Finally, we use the joint training mechanism to adjust the effect of structural equivalence on the model to fit datasets with different characteristics. We conducted experiments on the node classification task across seven graph datasets. The results show that the model performance can be effectively improved using a strategy of topological signal enhancement.

在半导体制造中，晶圆地图缺陷模式为设施维护和产量管理提供了关键信息，因此缺陷模式的分类是制造过程中最重要的任务之一。在本文中，我们提出了一种新颖的方式来表示缺陷模式作为有限维矢量的形状，该矢量将用作分类神经网络算法的输入。主要思想是使用拓扑数据分析（TDA）的持续同源性理论提取每种模式的拓扑特征。通过使用模拟数据集进行的一些实验，我们表明，与使用卷积神经网络（CNN）的方法相比，所提出的方法在训练方面更快，更有效地训练，这是晶圆映射缺陷模式分类的最常见方法。此外，当训练数据的数量不够并且不平衡时，我们的方法优于基于CNN的方法。

异质图具有多个节点和边缘类型，并且在语义上比同质图更丰富。为了学习这种复杂的语义，许多用于异质图的图形神经网络方法使用Metapaths捕获节点之间的多跳相互作用。通常，非目标节点的功能未纳入学习过程。但是，可以存在涉及多个节点或边缘的非线性高阶相互作用。在本文中，我们提出了Simplicial Graph注意网络（SGAT），这是一种简单的复杂方法，可以通过将非目标节点的特征放在简单上来表示这种高阶相互作用。然后，我们使用注意机制和上邻接来生成表示。我们凭经验证明了方法在异质图数据集上使用节点分类任务的方法的功效，并进一步显示了SGAT通过采用随机节点特征来提取结构信息的能力。数值实验表明，SGAT的性能优于其他当前最新的异质图学习方法。

Link prediction is a key problem for network-structured data. Link prediction heuristics use some score functions, such as common neighbors and Katz index, to measure the likelihood of links. They have obtained wide practical uses due to their simplicity, interpretability, and for some of them, scalability. However, every heuristic has a strong assumption on when two nodes are likely to link, which limits their effectiveness on networks where these assumptions fail. In this regard, a more reasonable way should be learning a suitable heuristic from a given network instead of using predefined ones. By extracting a local subgraph around each target link, we aim to learn a function mapping the subgraph patterns to link existence, thus automatically learning a "heuristic" that suits the current network. In this paper, we study this heuristic learning paradigm for link prediction. First, we develop a novel γ-decaying heuristic theory. The theory unifies a wide range of heuristics in a single framework, and proves that all these heuristics can be well approximated from local subgraphs. Our results show that local subgraphs reserve rich information related to link existence. Second, based on the γ-decaying theory, we propose a new method to learn heuristics from local subgraphs using a graph neural network (GNN). Its experimental results show unprecedented performance, working consistently well on a wide range of problems.