分层神经网络（SNN）是一种在捆上运行的图形神经网络（GNN），该对象是在这些空间之间在其节点和边缘和线性图上与矢量空间配合矢量空间的对象。 SNN已被证明具有有用的理论特性，可帮助解决异性和光滑过度引起的问题。这些模型固有的一种并发症是找到解决任务的良好支架。先前的作品提出了两种截然相反的方法：基于域知识手动构建捆扎，并使用基于梯度的方法端对端学习捆绑。但是，域知识通常不足，而学习捆绑可能会导致过度拟合和重要的计算开销。在这项工作中，我们提出了一种计算带动束带的新型方法，它从黎曼几何形状中汲取灵感：我们利用歧管假设来计算流形和图形感知的正交图，从而最佳地对齐相邻数据点的切线空间。我们表明，与以前的SNN模型相比，这种方法的计算开销较少。总体而言，这项工作提供了代数拓扑结构与差异几何形状之间的有趣联系，我们希望它能朝这个方向引发未来的研究。

图形卷积网络是一类流行的深神经网络算法，在许多关系学习任务中都表现出成功。尽管它们取得了成功，但图形卷积网络仍表现出许多特殊的特征，包括偏见学习过度平滑和同质性功能，由于这些算法的复杂性质，这些功能不容易被诊断出来。我们建议通过研究捆卷卷积网络的神经切线内核来弥合这一差距，这是图形卷积网络的拓扑概括。为此，我们得出了捆卷卷网络的神经切线内核的参数化，该内部的卷积网络将函数分为两个部分：一个由图形确定的正向扩散过程驱动，另一个由节点对节点激活的复合效应确定的部分。输出层。这种以几何为重点的推导产生了许多直接见解，我们会详细讨论。

Many scientific fields study data with an underlying structure that is a non-Euclidean space. Some examples include social networks in computational social sciences, sensor networks in communications, functional networks in brain imaging, regulatory networks in genetics, and meshed surfaces in computer graphics. In many applications, such geometric data are large and complex (in the case of social networks, on the scale of billions), and are natural targets for machine learning techniques. In particular, we would like to use deep neural networks, which have recently proven to be powerful tools for a broad range of problems from computer vision, natural language processing, and audio analysis. However, these tools have been most successful on data with an underlying Euclidean or grid-like structure, and in cases where the invariances of these structures are built into networks used to model them.Geometric deep learning is an umbrella term for emerging techniques attempting to generalize (structured) deep neural models to non-Euclidean domains such as graphs and manifolds. The purpose of this paper is to overview different examples of geometric deep learning problems and present available solutions, key difficulties, applications, and future research directions in this nascent field.

尽管近期图形神经网络（GNN）成功，但常见的架构通常表现出显着的限制，包括对过天飞机，远程依赖性和杂散边缘的敏感性，例如，由于图形异常或对抗性攻击。至少部分地解决了一个简单的透明框架内的这些问题，我们考虑了一个新的GNN层系列，旨在模仿和整合两个经典迭代算法的更新规则，即近端梯度下降和迭代重复最小二乘（IRLS）。前者定义了一个可扩展的基础GNN架构，其免受过性的，而仍然可以通过允许任意传播步骤捕获远程依赖性。相反，后者产生了一种新颖的注意机制，该注意机制被明确地锚定到底层端到端能量函数，以及相对于边缘不确定性的稳定性。当结合时，我们获得了一个非常简单而强大的模型，我们在包括标准化基准，与异常扰动的图形，具有异化的图形和涉及远程依赖性的图形的不同方案的极其简单而强大的模型。在此过程中，我们与已明确为各个任务设计的SOTA GNN方法进行比较，实现竞争或卓越的节点分类准确性。我们的代码可以在https://github.com/fftyyy/twirls获得。

A prominent paradigm for graph neural networks is based on the message passing framework. In this framework, information communication is realized only between neighboring nodes. The challenge of approaches that use this paradigm is to ensure efficient and accurate \textit{long distance communication} between nodes, as deep convolutional networks are prone to over-smoothing. In this paper, we present a novel method based on time derivative graph diffusion (TIDE), with a learnable time parameter. Our approach allows to adapt the spatial extent of diffusion across different tasks and network channels, thus enabling medium and long-distance communication efficiently. Furthermore, we show that our architecture directly enables local message passing and thus inherits from the expressive power of local message passing approaches. We show that on widely used graph benchmarks we achieve comparable performance and on a synthetic mesh dataset we outperform state-of-the-art methods like GCN or GRAND by a significant margin.

简单的复合物可以看作是图形的高维概括，这些图表一次在不同分辨率下的顶点之间明确编码多路有序关系。这个概念是检测数据的较高拓扑特征的核心，图形仅编码成对关系的图形仍然遗忘。尽管已尝试将图形神经网络（GNN）扩展到简单复杂设置，但这些方法并未固有地利用网络的基本拓扑结构。我们提出了一个图形卷积模型，用于学习由简单复合物的$ K $学术特征参数化的学习功能。通过频谱操纵其组合$ k $二维的霍奇laplacians，提议的模型可以实现基础简单复合物的学习拓扑特征，特别是，每个$ k $ simplex的距离与最接近的“最佳” $ k $ k $ - $ k $ - $ k $ - th $ k $ - ，有效地提供同源性本地化的替代方案。

由于其几何特性，双曲线空间可以支持树木和图形结构化数据的高保真嵌入。结果，已经开发了各种双曲线网络，这些网络在许多任务上都超过了欧几里得网络：例如双曲线图卷积网络（GCN）在某些图形学习任务上的表现可以胜过香草GCN。但是，大多数现有的双曲线网络都是复杂的，计算昂贵的，并且在数值上不稳定 - 由于这些缺点，它们无法扩展到大图。提出了越来越多的双曲线网络，越来越不清楚什么关键组成部分使模型行为。在本文中，我们提出了HYLA，这是一种简单而最小的方法，用于在网络中使用双曲线空间：Hyla地图一次从双曲空空间从嵌入荷兰的嵌入到欧几里得空间，并通过双曲线空间中的Laplacian操作员的特征函数。我们在图形学习任务上评估HYLA，包括节点分类和文本分类，其中HYLA可以与任何图神经网络一起使用。当与线性模型一起使用时，HYLA对双曲线网络和其他基线显示出显着改善。

图形神经网络（GNN）在许多基于图的任务中表现出强大的表示能力。具体而言，由于其简单性和性能优势，GNN（例如APPNP）的解耦结构变得流行。但是，这些GNN的端到端培训使它们在计算和记忆消耗方面效率低下。为了应对这些局限性，在这项工作中，我们为图形神经网络提供了交替的优化框架，不需要端到端培训。在不同设置下进行的广泛实验表明，所提出的算法的性能与现有的最新算法相当，但具有更好的计算和记忆效率。此外，我们表明我们的框架可以利用优势来增强现有的脱钩GNN。

图形神经网络（GNNS）在各种基于图形的应用中显示了优势。大多数现有的GNNS假设图形结构的强大奇妙并应用邻居的置换不变本地聚合以学习每个节点的表示。然而，它们未能概括到异质图，其中大多数相邻节点具有不同的标签或特征，并且相关节点远处。最近的几项研究通过组合中央节点的隐藏表示（即，基于多跳的方法）的多个跳数来解决这个问题，或者基于注意力分数对相邻节点进行排序（即，基于排名的方法）来解决这个问题。结果，这些方法具有一些明显的限制。一方面，基于多跳的方法没有明确区分相关节点的大量多跳社区，导致严重的过平滑问题。另一方面，基于排名的模型不与结束任务进行联合优化节点排名，并导致次优溶液。在这项工作中，我们呈现图表指针神经网络（GPNN）来解决上述挑战。我们利用指针网络从大量的多跳邻域选择最相关的节点，这根据与中央节点的关系来构造有序序列。然后应用1D卷积以从节点序列中提取高级功能。 GPNN中的基于指针网络的Ranker是以端到端的方式与其他部件进行联合优化的。在具有异质图的六个公共节点分类数据集上进行了广泛的实验。结果表明，GPNN显着提高了最先进方法的分类性能。此外，分析还揭示了拟议的GPNN在过滤出无关邻居并减少过平滑的特权。

虽然图形神经网络（GNNS）最近成为用于建模关系数据的事实标准，但它们对图形节点或边缘特征的可用性产生了强烈的假设。然而，在许多现实世界应用中，功能仅部分可用;例如，在社交网络中，年龄和性别仅适用于一小部分用户。我们介绍了一种用于处理基于Dirichlet能量最小化的图形机学习应用中缺失特征的一般方法，并导致图表上的扩散型微分方程。该等方程的离散化产生了一种简单，快速且可伸缩的算法，我们调用特征传播。我们通过实验表明，所提出的方法在七个常见节点分类基准测试中优于先前的方法，并且可以承受令人惊讶的缺失特点率：平均而言，当缺少99％的功能时，我们只观察到约4％的相对精度下降。此外，在单个GPU上运行$ \ SIM $ 2.5M节点和$ \ SIM $ 123M边缘，只需10秒即可在单个GPU上运行。

光谱图神经网络是基于图信号过滤器的一种图神经网络（GNN）。一些能够学习任意光谱过滤器的模型最近出现了。但是，很少有作品分析光谱GNN的表达能力。本文理论上研究了光谱GNNS的表现力。我们首先证明，即使没有非线性的光谱GNN也可以产生任意的图形信号，并给出了两个条件以达到普遍性。它们是：1）图Laplacian的多个特征值和2）节点特征中没有缺失的频率组件。我们还建立了光谱GNN的表达能力与图形同构（GI）测试之间的联系，后者通常用于表征空间GNNS的表达能力。此外，我们从优化的角度研究了具有相同表达能力的不同光谱GNN之间的经验性能差异，并激发了其重量函数对应于光谱中图信号密度的正交基础的使用。受分析的启发，我们提出了Jacobiconv，该雅各比基的正交性和灵活性使用了雅各比的基础，以适应广泛的重量功能。 Jacobiconv抛弃了非线性，同时在合成和现实世界数据集上都超过了所有基线。

通过递归将整个社区的节点特征汇总，空间图卷积运算符已被宣布为图形神经网络（GNNS）成功的关键。然而，尽管GNN方法跨任务和应用程序进行了繁殖，但此聚合操作对其性能的影响尚未得到广泛的分析。实际上，尽管努力主要集中于优化神经网络的体系结构，但更少的工作试图表征（a）不同类别的空间卷积操作员，（b）特定类别的选择如何与数据的属性相关，以及（c）它对嵌入空间的几何形状的影响。在本文中，我们建议通过将现有操作员分为两个主要类（对称性与行规范的空间卷积）来回答所有三个问题，并展示它们如何转化为数据性质的不同隐性偏见。最后，我们表明，这种聚合操作员实际上是可调的，并且明确的制度在其中某些操作员（因此，嵌入几何形状）的某些选择可能更合适。

Deep learning has revolutionized many machine learning tasks in recent years, ranging from image classification and video processing to speech recognition and natural language understanding. The data in these tasks are typically represented in the Euclidean space. However, there is an increasing number of applications where data are generated from non-Euclidean domains and are represented as graphs with complex relationships and interdependency between objects. The complexity of graph data has imposed significant challenges on existing machine learning algorithms. Recently, many studies on extending deep learning approaches for graph data have emerged. In this survey, we provide a comprehensive overview of graph neural networks (GNNs) in data mining and machine learning fields. We propose a new taxonomy to divide the state-of-the-art graph neural networks into four categories, namely recurrent graph neural networks, convolutional graph neural networks, graph autoencoders, and spatial-temporal graph neural networks. We further discuss the applications of graph neural networks across various domains and summarize the open source codes, benchmark data sets, and model evaluation of graph neural networks. Finally, we propose potential research directions in this rapidly growing field.

近年来，基于Weisfeiler-Leman算法的算法和神经架构，是一个众所周知的Graph同构问题的启发式问题，它成为具有图形和关系数据的机器学习的强大工具。在这里，我们全面概述了机器学习设置中的算法的使用，专注于监督的制度。我们讨论了理论背景，展示了如何将其用于监督的图形和节点表示学习，讨论最近的扩展，并概述算法的连接（置换 - ）方面的神经结构。此外，我们概述了当前的应用和未来方向，以刺激进一步的研究。

由于问题过度问题，大多数现有的图形神经网络只能使用其固有有限的聚合层捕获有限的依赖性。为了克服这一限制，我们提出了一种新型的图形卷积，称为图形隐式非线性扩散（GIND），该卷积隐含地可以访问邻居的无限啤酒花，同时具有非线性扩散的自适应聚集特征，以防止过度张开。值得注意的是，我们表明，学到的表示形式可以正式化为显式凸优化目标的最小化器。有了这个属性，我们可以从优化的角度从理论上表征GIND的平衡。更有趣的是，我们可以通过修改相应的优化目标来诱导新的结构变体。具体而言，我们可以将先前的特性嵌入到平衡中，并引入跳过连接以促进训练稳定性。广泛的实验表明，GIND擅长捕获长期依赖性，并且在具有非线性扩散的同粒细胞和异性图上表现良好。此外，我们表明，我们模型的优化引起的变体可以提高性能并提高训练稳定性和效率。结果，我们的GIND在节点级别和图形级任务上都获得了重大改进。

最小化能量的动力系统在几何和物理学中无处不在。我们为GNN提出了一个梯度流框架，其中方程遵循可学习能量的最陡峭下降的方向。这种方法允许从多粒子的角度来解释GNN的演变，以通过对称“通道混合”矩阵的正和负特征值在特征空间中学习吸引力和排斥力。我们对溶液进行光谱分析，并得出结论，梯度流量图卷积模型可以诱导以图高频为主导的动力学，这对于异性数据集是理想的。我们还描述了对常见GNN体系结构的结构约束，从而将其解释为梯度流。我们进行了彻底的消融研究，以证实我们的理论分析，并在现实世界同质和异性数据集上显示了简单和轻量级模型的竞争性能。

图形神经网络（GNN）已被证明可以实现竞争结果，以解决与图形相关的任务，例如节点和图形分类，链接预测和节点以及各种域中的图形群集。大多数GNN使用消息传递框架，因此称为MPNN。尽管有很有希望的结果，但据报道，MPNN会遭受过度平滑，过度阵型和不足的影响。文献中已经提出了图形重新布线和图形池作为解决这些局限性的解决方案。但是，大多数最先进的图形重新布线方法无法保留该图的全局拓扑，因此没有可区分（电感），并且需要调整超参数。在本文中，我们提出了Diffwire，这是一个在MPNN中进行图形重新布线的新型框架，它通过利用LOV \'ASZ绑定来原理，完全可区分且无参数。我们的方法通过提出两个新的，mpnns中的新的互补层来提供统一的图形重新布线：首先，ctlayer，一个学习通勤时间并将其用作边缘重新加权的相关函数；其次，Gaplayer是优化光谱差距的图层，具体取决于网络的性质和手头的任务。我们从经验上验证了我们提出的方法的价值，并使用基准数据集分别验证了这些层的每个层以进行图形分类。 Diffwire将通勤时间的可学习性汇集到相关的曲率定义，为发展更具表现力的MPNN的发展打开了大门。

单纯性神经网络（SNN）最近被出现为图表学习中最新方向，这扩大了从节点空间到图形上的单纯复合体的卷积体系结构的想法。在目前的实践中，单纯复合资源允许我们描述高阶交互和多节点图结构的节点中的节点之间的成对关系进行预先定位通过在卷积操作和新块Hodge-Laplacian之间建立连接时，我们提出了第一个用于链接预测的SNN。我们的新块单纯性复杂神经网络（BSCNET）模型通过系统地掺入不同尺寸的多个高阶图结构之间的突出相互作用来推广现有的图形卷积网络（GCN）框架。我们讨论BSCNET背后的理论基础，并说明了其在八个现实世界和合成数据集上的链接预测的实用性。我们的实验表明，BSCNETS在保持低计算成本的同时优于最先进的模型，同时保持最高的余量。最后，我们展示了BSCnets作为追踪Covid-19等传染病传播的新有前途的替代品，并测量医疗保障风险缓解策略的有效性。

图表学习目的旨在将节点内容与图形结构集成以学习节点/图表示。然而，发现许多现有的图形学习方法在具有高异性级别的数据上不能很好地工作，这是不同类标签之间很大比例的边缘。解决这个问题的最新努力集中在改善消息传递机制上。但是，尚不清楚异质性是否确实会损害图神经网络（GNNS）的性能。关键是要展现一个节点与其直接邻居之间的关系，例如它们是异性还是同质性？从这个角度来看，我们在这里研究了杂质表示在披露连接节点之间的关系之前/之后的杂音表示的作用。特别是，我们提出了一个端到端框架，该框架既学习边缘的类型（即异性/同质性），并利用边缘类型的信息来提高图形神经网络的表现力。我们以两种不同的方式实施此框架。具体而言，为了避免通过异质边缘传递的消息，我们可以通过删除边缘分类器鉴定的异性边缘来优化图形结构。另外，可以利用有关异性邻居的存在的信息进行特征学习，因此，设计了一种混合消息传递方法来汇总同质性邻居，并根据边缘分类使异性邻居多样化。广泛的实验表明，在整个同质级别的多个数据集上，通过在多个数据集上提出的框架对GNN的绩效提高了显着提高。

Pre-publication draft of a book to be published byMorgan & Claypool publishers. Unedited version released with permission. All relevant copyrights held by the author and publisher extend to this pre-publication draft.