图表神经网络（GNNS）最近已经证明了在各种基于网络的任务中表现出良好的基于​​网络的任务，例如分散控制和资源分配，并为这些任务提供传统上在这方面挑战的计算有效方法。然而，与许多基于神经网络的系统一样，GNN易于在其输入上移动和扰动，其可以包括节点属性和图形结构。为了使它们更有用的真实应用程序，重要的是确保其稳健性后部署。通过控制GNN滤波器的LIPSChitz常数相对于节点属性来激励，我们建议约束GNN过滤器组的频率响应。我们使用连续频率响应约束将该配方扩展到动态图形设置，并通过方案方法解决问题的轻松变体。这允许在采样约束上使用相同的计算上有效的算法，这为PAC-Sique提供了在GNN的稳定性上使用方案优化的结果提供了PAC样式的保证。我们还突出了该设置和GNN稳定性与图形扰动之间的重要联系，并提供了实验结果，证明了我们方法的功效和宽广。

图形神经网络（GNNS）是由图形卷积和叉指非线性组成的层组成的深度卷积架构。由于其不变性和稳定性属性，GNN在网络数据的学习陈述中被证明是成功的。但是，训练它们需要矩阵计算，这对于大图可能是昂贵的。为了解决这个限制，我们研究了GNN横跨图形转移的能力。我们考虑图形，这是加权和随机图形的图形限制和生成模型，以定义图形卷积和GNNS - Graphon卷曲和Graphon神经网络（WNNS）的限制对象 - 我们用作图形卷曲的生成模型和GNNS。我们表明，这些石墨源区和WNN可以通过图形滤波器和来自加权和随机图中的它们采样的GNN来近似。使用这些结果，我们将导出误差界限，用于跨越此类图形传输图形过滤器和GNN。这些界限表明，可转换性随着图尺寸的增加而增加，并且揭示了在GNN中的可转换性和光谱分辨率之间的折衷，其被点亮的非线性缓解。这些发现经验在电影推荐和分散机器人控制中的数值实验中进行了经验验证。

图形神经网络（GNNS）使用图形卷积来利用网络不向导并从网络数据中学习有意义的特征表示。但是，在大规模图中，卷积以高计算成本产生，导致可伸缩性限制。在本文中，我们考虑了学习图形神经网络（WNN）的问题 - GNN的极限对象 - 通过训练从Graphon采样的图形上，我们考虑了学习GragraN神经网络（WNN）的问题。在平滑性条件下，我们表明：（i）GNN和WNN上的学习步骤之间的预期距离随图形的尺寸渐近地降低，并且（ii）在一系列生长图上训练时，梯度下降遵循WNN的学习方向。受这些结果的启发，我们提出了一种新型算法，以学习大规模图的GNN，从中等数量的节点开始，在训练过程中依次增加了图的大小。该算法是在分散的控制问题上进一步基准的，在该问题下，它以降低的计算成本保留了与大规模对应物相当的性能。

We introduce an architecture for processing signals supported on hypergraphs via graph neural networks (GNNs), which we call a Hyper-graph Expansion Neural Network (HENN), and provide the first bounds on the stability and transferability error of a hypergraph signal processing model. To do so, we provide a framework for bounding the stability and transferability error of GNNs across arbitrary graphs via spectral similarity. By bounding the difference between two graph shift operators (GSOs) in the positive semi-definite sense via their eigenvalue spectrum, we show that this error depends only on the properties of the GNN and the magnitude of spectral similarity of the GSOs. Moreover, we show that existing transferability results that assume the graphs are small perturbations of one another, or that the graphs are random and drawn from the same distribution or sampled from the same graphon can be recovered using our approach. Thus, both GNNs and our HENNs (trained using normalized Laplacians as graph shift operators) will be increasingly stable and transferable as the graphs become larger. Experimental results illustrate the importance of considering multiple graph representations in HENN, and show its superior performance when transferability is desired.

随机图神经网络（SGNN）是信息处理体系结构，可从随机图中学习表示表示。 SGNN受到预期性能的培训，这不能保证围绕最佳期望的特定输出实现的偏差。为了克服这个问题，我们为SGNN提出了一个方差约束优化问题，平衡了预期的性能和随机偏差。通过使用梯度下降和梯度上升的双变量更新SGNN参数，进行了交替的原始双偶学习过程，该过程通过更新SGNN参数来解决问题。为了表征方差约束学习的明确效应，我们对SGNN输出方差进行理论分析，并确定随机鲁棒性和歧视能力之间的权衡。我们进一步分析了方差约束优化问题的二元性差距以及原始双重学习过程的融合行为。前者表示双重变换引起的最优性损失，后者是迭代算法的限制误差，这两者都保证了方差约束学习的性能。通过数值模拟，我们证实了我们的理论发现，并观察到具有可控标准偏差的强劲预期性能。

在本文中，我们研究了考虑基础图的扰动的聚集图神经网络（ag-gnns）的稳定性。 Agg-gnn是一种混合体系结构，在图上定义了信息，但是在图形移位算子上进行了几次扩散后，在节点上的欧几里得CNN对其进行了处理。我们为与通用Agg-GNN关联的映射运算符得出稳定性界限，并指定了该操作员可以稳定变形的条件。我们证明稳定性边界是由在每个节点上作用的CNN的第一层中过滤器的属性定义的。此外，我们表明聚集的数量，滤波器的选择性和稳定性常数的大小之间存在密切的关系。我们还得出结论，在Agg-gnns中，映射运算符的选择性仅在CNN阶段的第一层中与过滤器的属性相关。这显示了相对于选择GNN的稳定性的实质性差异，其中所有层中过滤器的选择性受其稳定性的约束。我们提供了证实结果得出的结果的数值证据，测试了考虑不同幅度扰动的现实生活应用方案中的ag-gnn的行为。

我们研究光谱图卷积神经网络（GCNN），其中过滤器被定义为通过功能计算的图形移位算子（GSO）的连续函数。光谱GCNN不是针对一个特定图的量身定制的，可以在不同的图之间传输。因此，研究GCNN的可传递性很重要：网络在代表相同现象的不同图上具有大致相同影响的能力。如果测试集中的图与训练集中的图形相同，则可传递性可确保在某些图上进行训练的GCNN概括。在本文中，我们考虑了基于Graphon分析的可转让性模型。图形是图形的极限对象，在图形范式中，如果两者都近似相同的图形，则两个图表示相同的现象。我们的主要贡献可以总结如下：1）我们证明，在近似于同一图形的图的图下，任何具有连续过滤器的固定GCNN都是可以转移的，2）我们证明了近似于未结合的图形换档运算符的图形，该图是在本文中定义的，和3）我们获得了非反应近似结果，证明了GCNN的线性稳定性。这扩展了当前的最新结果，这些结果显示了在近似界图子的图下显示多项式过滤器的渐近可传递性。

在本文中，我们为基于非交换代数的代数神经网络（ALGNN）提供稳定性结果。 ALGNN是堆叠的分层结构，每个层都与代数信号模型（ASM）相关联，由代数，矢量空间和同态性。信号被建模为矢量空间的元素，过滤器是代数中的元素，而同态则可以实现过滤器作为混凝土操作员。我们研究了代数过滤器在非交换代数对同态扰动中的稳定性，并提供了保证稳定性的条件。我们表明，轮班运算符和偏移和扰动之间的换向性不会影响稳定体系结构的属性。这提供了一个问题，即转移不变性是否是保证稳定性的卷积体系结构的必要属性。此外，我们表明，尽管非交换代数中过滤器的频率响应在交换代数中与过滤器相对于过滤器表现出很大的差异，但它们的稳定过滤器的衍生物具有相似的行为。

为时空网络数据设计和分析学习模型对于包括预测，异常检测和多机构协调等任务非常重要。图形卷积神经网络（GCNN）是一种从时间不变的网络数据中学习的既定方法。图卷积操作提供了一种原则方法来汇总多分辨率信息。但是，将卷积原则性学习和各自的分析扩展到时空结构域是具有挑战性的，因为时空数据具有更多的固有依赖性。因此，需要更高的灵活性来捕获空间和时间依赖性以学习有意义的高阶表示。在这里，我们利用产品图来表示数据中的时空依赖性，并引入图表时间卷积神经网络（GTCNN）作为有原则的体系结构来帮助学习。提出的方法可以与任何类型的产品图一起使用，我们还引入了参数产品图，以学习时空耦合。卷积原理进一步允许与GCNN相似的数学障碍。特别是，稳定性结果表明GTCNN在空间扰动上是稳定的，但是在可区分性和鲁棒性之间存在隐含的权衡。即，模型越复杂，稳定较小。基准数据集的广泛数值结果证实了我们的发现，并显示GTCNN与最先进的解决方案相比有利。我们预计，GTCNN将成为更复杂的模型的起点，这些模型可以实现良好的性能，但从根本上讲是基础的。

In this paper we propose a pooling approach for convolutional information processing on graphs relying on the theory of graphons and limits of dense graph sequences. We present three methods that exploit the induced graphon representation of graphs and graph signals on partitions of [0, 1]2 in the graphon space. As a result we derive low dimensional representations of the convolutional operators, while a dimensionality reduction of the signals is achieved by simple local interpolation of functions in L2([0, 1]). We prove that those low dimensional representations constitute a convergent sequence of graphs and graph signals, respectively. The methods proposed and the theoretical guarantees that we provide show that the reduced graphs and signals inherit spectral-structural properties of the original quantities. We evaluate our approach with a set of numerical experiments performed on graph neural networks (GNNs) that rely on graphon pooling. We observe that graphon pooling performs significantly better than other approaches proposed in the literature when dimensionality reduction ratios between layers are large. We also observe that when graphon pooling is used we have, in general, less overfitting and lower computational cost.

Spectral methods provide consistent estimators for community detection in dense graphs. However, their performance deteriorates as the graphs become sparser. In this work we consider a random graph model that can produce graphs at different levels of sparsity, and we show that graph neural networks can outperform spectral methods on sparse graphs. We illustrate the results with numerical examples in both synthetic and real graphs.

散射变换是一种基于多层的小波的深度学习架构，其充当卷积神经网络的模型。最近，几种作品引入了非欧几里德设置的散射变换的概括，例如图形。我们的工作通过基于非常一般的非对称小波来引入图形的窗口和非窗口几何散射变换来构建这些结构。我们表明，这些不对称的图形散射变换具有许多与其对称对应的相同的理论保证。结果，所提出的结构统一并扩展了许多现有图散射架构的已知理论结果。在这样做时，这项工作有助于通过引入具有可提供稳定性和不变性保证的大型网络，帮助弥合几何散射和其他图形神经网络之间的差距。这些结果为未来的图形结构数据奠定了基础，对具有学习过滤器的图形结构数据，并且还可以证明具有理想的理论特性。

Pre-publication draft of a book to be published byMorgan & Claypool publishers. Unedited version released with permission. All relevant copyrights held by the author and publisher extend to this pre-publication draft.

图卷积学习导致了各个领域的许多令人兴奋的发现。但是，在某些应用中，传统图不足以捕获数据的结构和复杂性。在这种情况下，多编码自然出现是可以嵌入复杂动力学的离散结构。在本文中，我们开发了有关多编码的卷积信息处理，并引入了卷积多编码神经网络（MGNN）。为了捕获每个多数边缘内外的信息传播的复杂动力学，我们正式化了一个卷积信号处理模型，从而定义了多格画上信号，过滤和频率表示的概念。利用该模型，我们开发了多个学习架构，包括采样程序以降低计算复杂性。引入的体系结构用于最佳无线资源分配和仇恨言语本地化任务，从而比传统的图形神经网络的性能提高了。

图神经网络（GNN）正在在各种应用领域中实现出色的性能。但是，GNN容易受到输入数据中的噪声和对抗性攻击。在噪音和对抗性攻击方面使GNN坚固是一个重要的问题。现有的GNN防御方法在计算上是要求的，并且不可扩展。在本文中，我们提出了一个通用框架，用于鲁棒化的GNN称为加权laplacian GNN（RWL-GNN）。该方法将加权图拉普拉斯学习与GNN实现结合在一起。所提出的方法受益于Laplacian矩阵的积极半定义特性，具有光滑度和潜在特征，通过制定统一的优化框架，从而确保丢弃对抗性/嘈杂的边缘，并适当加权图中的相关连接。为了进行演示，实验是通过图形卷积神经网络（GCNN）体系结构进行的，但是，所提出的框架很容易适合任何现有的GNN体系结构。使用基准数据集的仿真结果建立了所提出方法的疗效，无论是准确性还是计算效率。可以在https://github.com/bharat-runwal/rwl-gnn上访问代码。

从原始理论上明确定义的频谱图卷积到随后的空间扰动消息传递模型，空间局部（在顶点域中）充当大多数图形神经网络（GNN）的基本原理。在频谱图卷积中，过滤器由多项式近似，其中$ k $-oder多项式涵盖$ k $ -hop邻居。在消息传递中，聚合中使用的各种邻居定义实际上是对空间局部信息的广泛探索。对于学习节点表示，拓扑距离似乎是必要的，因为它表征了节点之间的基本关系。但是，对于学习整个图表的陈述，是必要的吗？在这项工作中，我们表明，不需要这样的原则，它会阻碍大多数现有的GNN，从有效地编码图形结构。通过删除它，以及多项式滤波器的限制，由此产生的新架构在学习图表表示上显着提高了性能。我们还研究了图谱对信号的影响，并将各种现有改进解释为不同的频谱平滑技术。它用作空间理解，以定量测量频谱对输入信号的影响，与众所周知的光谱理解为高/低通滤波器。更重要的是，它在开发强大的图形表示模型上阐明了光线。

最新提出的基于变压器的图形模型的作品证明了香草变压器用于图形表示学习的不足。要了解这种不足，需要研究变压器的光谱分析是否会揭示其对其表现力的见解。类似的研究已经确定，图神经网络（GNN）的光谱分析为其表现力提供了额外的观点。在这项工作中，我们系统地研究并建立了变压器领域中的空间和光谱域之间的联系。我们进一步提供了理论分析，并证明了变压器中的空间注意机制无法有效捕获所需的频率响应，因此，固有地限制了其在光谱空间中的表现力。因此，我们提出了feta，该框架旨在在整个图形频谱（即图形的实际频率成分）上进行注意力类似于空间空间中的注意力。经验结果表明，FETA在标准基准的所有任务中为香草变压器提供均匀的性能增益，并且可以轻松地扩展到具有低通特性的基于GNN的模型（例如GAT）。

Research in Graph Signal Processing (GSP) aims to develop tools for processing data defined on irregular graph domains. In this paper we first provide an overview of core ideas in GSP and their connection to conventional digital signal processing, along with a brief historical perspective to highlight how concepts recently developed in GSP build on top of prior research in other areas. We then summarize recent advances in developing basic GSP tools, including methods for sampling, filtering or graph learning. Next, we review progress in several application areas using GSP, including processing and analysis of sensor network data, biological data, and applications to image processing and machine learning.

Although theoretical properties such as expressive power and over-smoothing of graph neural networks (GNN) have been extensively studied recently, its convergence property is a relatively new direction. In this paper, we investigate the convergence of one powerful GNN, Invariant Graph Network (IGN) over graphs sampled from graphons. We first prove the stability of linear layers for general $k$-IGN (of order $k$) based on a novel interpretation of linear equivariant layers. Building upon this result, we prove the convergence of $k$-IGN under the model of \citet{ruiz2020graphon}, where we access the edge weight but the convergence error is measured for graphon inputs. Under the more natural (and more challenging) setting of \citet{keriven2020convergence} where one can only access 0-1 adjacency matrix sampled according to edge probability, we first show a negative result that the convergence of any IGN is not possible. We then obtain the convergence of a subset of IGNs, denoted as IGN-small, after the edge probability estimation. We show that IGN-small still contains function class rich enough that can approximate spectral GNNs arbitrarily well. Lastly, we perform experiments on various graphon models to verify our statements.

图表卷积网络（GCNS）由于图形学习任务的优异性能，因此引起了感兴趣的激增，但也显示出对抗对抗攻击的脆弱性。在本文中，研究了有效的曲线图结构攻击以破坏傅立叶域中的图形光谱滤波器。我们基于图拉普拉斯的特征值来定义光谱距离，以测量光谱滤波器的破坏。然后，我们通过同时最大化任务特定的攻击目标和所提出的光谱距离来生成边缘扰动。实验表明，在训练和测试时间都表现出拟议的攻击中所提出的攻击的显着效果。我们的定性分析显示了攻击行为与谱分布的强加变化之间的连接，这提供了最大化光谱距离的经验证据是改变空间域中图形结构的结构特性和傅立叶中的频率分量的有效方式领域。