在本文中,我们研究了考虑基础图的扰动的聚集图神经网络(ag-gnns)的稳定性。 Agg-gnn是一种混合体系结构,在图上定义了信息,但是在图形移位算子上进行了几次扩散后,在节点上的欧几里得CNN对其进行了处理。我们为与通用Agg-GNN关联的映射运算符得出稳定性界限,并指定了该操作员可以稳定变形的条件。我们证明稳定性边界是由在每个节点上作用的CNN的第一层中过滤器的属性定义的。此外,我们表明聚集的数量,滤波器的选择性和稳定性常数的大小之间存在密切的关系。我们还得出结论,在Agg-gnns中,映射运算符的选择性仅在CNN阶段的第一层中与过滤器的属性相关。这显示了相对于选择GNN的稳定性的实质性差异,其中所有层中过滤器的选择性受其稳定性的约束。我们提供了证实结果得出的结果的数值证据,测试了考虑不同幅度扰动的现实生活应用方案中的ag-gnn的行为。
translated by 谷歌翻译
在本文中,我们为基于非交换代数的代数神经网络(ALGNN)提供稳定性结果。 ALGNN是堆叠的分层结构,每个层都与代数信号模型(ASM)相关联,由代数,矢量空间和同态性。信号被建模为矢量空间的元素,过滤器是代数中的元素,而同态则可以实现过滤器作为混凝土操作员。我们研究了代数过滤器在非交换代数对同态扰动中的稳定性,并提供了保证稳定性的条件。我们表明,轮班运算符和偏移和扰动之间的换向性不会影响稳定体系结构的属性。这提供了一个问题,即转移不变性是否是保证稳定性的卷积体系结构的必要属性。此外,我们表明,尽管非交换代数中过滤器的频率响应在交换代数中与过滤器相对于过滤器表现出很大的差异,但它们的稳定过滤器的衍生物具有相似的行为。
translated by 谷歌翻译
In this paper we propose a pooling approach for convolutional information processing on graphs relying on the theory of graphons and limits of dense graph sequences. We present three methods that exploit the induced graphon representation of graphs and graph signals on partitions of [0, 1]2 in the graphon space. As a result we derive low dimensional representations of the convolutional operators, while a dimensionality reduction of the signals is achieved by simple local interpolation of functions in L2([0, 1]). We prove that those low dimensional representations constitute a convergent sequence of graphs and graph signals, respectively. The methods proposed and the theoretical guarantees that we provide show that the reduced graphs and signals inherit spectral-structural properties of the original quantities. We evaluate our approach with a set of numerical experiments performed on graph neural networks (GNNs) that rely on graphon pooling. We observe that graphon pooling performs significantly better than other approaches proposed in the literature when dimensionality reduction ratios between layers are large. We also observe that when graphon pooling is used we have, in general, less overfitting and lower computational cost.
translated by 谷歌翻译
图卷积学习导致了各个领域的许多令人兴奋的发现。但是,在某些应用中,传统图不足以捕获数据的结构和复杂性。在这种情况下,多编码自然出现是可以嵌入复杂动力学的离散结构。在本文中,我们开发了有关多编码的卷积信息处理,并引入了卷积多编码神经网络(MGNN)。为了捕获每个多数边缘内外的信息传播的复杂动力学,我们正式化了一个卷积信号处理模型,从而定义了多格画上信号,过滤和频率表示的概念。利用该模型,我们开发了多个学习架构,包括采样程序以降低计算复杂性。引入的体系结构用于最佳无线资源分配和仇恨言语本地化任务,从而比传统的图形神经网络的性能提高了。
translated by 谷歌翻译
图形神经网络(GNNS)是由图形卷积和叉指非线性组成的层组成的深度卷积架构。由于其不变性和稳定性属性,GNN在网络数据的学习陈述中被证明是成功的。但是,训练它们需要矩阵计算,这对于大图可能是昂贵的。为了解决这个限制,我们研究了GNN横跨图形转移的能力。我们考虑图形,这是加权和随机图形的图形限制和生成模型,以定义图形卷积和GNNS - Graphon卷曲和Graphon神经网络(WNNS)的限制对象 - 我们用作图形卷曲的生成模型和GNNS。我们表明,这些石墨源区和WNN可以通过图形滤波器和来自加权和随机图中的它们采样的GNN来近似。使用这些结果,我们将导出误差界限,用于跨越此类图形传输图形过滤器和GNN。这些界限表明,可转换性随着图尺寸的增加而增加,并且揭示了在GNN中的可转换性和光谱分辨率之间的折衷,其被点亮的非线性缓解。这些发现经验在电影推荐和分散机器人控制中的数值实验中进行了经验验证。
translated by 谷歌翻译
We introduce an architecture for processing signals supported on hypergraphs via graph neural networks (GNNs), which we call a Hyper-graph Expansion Neural Network (HENN), and provide the first bounds on the stability and transferability error of a hypergraph signal processing model. To do so, we provide a framework for bounding the stability and transferability error of GNNs across arbitrary graphs via spectral similarity. By bounding the difference between two graph shift operators (GSOs) in the positive semi-definite sense via their eigenvalue spectrum, we show that this error depends only on the properties of the GNN and the magnitude of spectral similarity of the GSOs. Moreover, we show that existing transferability results that assume the graphs are small perturbations of one another, or that the graphs are random and drawn from the same distribution or sampled from the same graphon can be recovered using our approach. Thus, both GNNs and our HENNs (trained using normalized Laplacians as graph shift operators) will be increasingly stable and transferable as the graphs become larger. Experimental results illustrate the importance of considering multiple graph representations in HENN, and show its superior performance when transferability is desired.
translated by 谷歌翻译
随机图神经网络(SGNN)是信息处理体系结构,可从随机图中学习表示表示。 SGNN受到预期性能的培训,这不能保证围绕最佳期望的特定输出实现的偏差。为了克服这个问题,我们为SGNN提出了一个方差约束优化问题,平衡了预期的性能和随机偏差。通过使用梯度下降和梯度上升的双变量更新SGNN参数,进行了交替的原始双偶学习过程,该过程通过更新SGNN参数来解决问题。为了表征方差约束学习的明确效应,我们对SGNN输出方差进行理论分析,并确定随机鲁棒性和歧视能力之间的权衡。我们进一步分析了方差约束优化问题的二元性差距以及原始双重学习过程的融合行为。前者表示双重变换引起的最优性损失,后者是迭代算法的限制误差,这两者都保证了方差约束学习的性能。通过数值模拟,我们证实了我们的理论发现,并观察到具有可控标准偏差的强劲预期性能。
translated by 谷歌翻译
图形神经网络(GNNS)使用图形卷积来利用网络不向导并从网络数据中学习有意义的特征表示。但是,在大规模图中,卷积以高计算成本产生,导致可伸缩性限制。在本文中,我们考虑了学习图形神经网络(WNN)的问题 - GNN的极限对象 - 通过训练从Graphon采样的图形上,我们考虑了学习GragraN神经网络(WNN)的问题。在平滑性条件下,我们表明:(i)GNN和WNN上的学习步骤之间的预期距离随图形的尺寸渐近地降低,并且(ii)在一系列生长图上训练时,梯度下降遵循WNN的学习方向。受这些结果的启发,我们提出了一种新型算法,以学习大规模图的GNN,从中等数量的节点开始,在训练过程中依次增加了图的大小。该算法是在分散的控制问题上进一步基准的,在该问题下,它以降低的计算成本保留了与大规模对应物相当的性能。
translated by 谷歌翻译
我们研究光谱图卷积神经网络(GCNN),其中过滤器被定义为通过功能计算的图形移位算子(GSO)的连续函数。光谱GCNN不是针对一个特定图的量身定制的,可以在不同的图之间传输。因此,研究GCNN的可传递性很重要:网络在代表相同现象的不同图上具有大致相同影响的能力。如果测试集中的图与训练集中的图形相同,则可传递性可确保在某些图上进行训练的GCNN概括。在本文中,我们考虑了基于Graphon分析的可转让性模型。图形是图形的极限对象,在图形范式中,如果两者都近似相同的图形,则两个图表示相同的现象。我们的主要贡献可以总结如下:1)我们证明,在近似于同一图形的图的图下,任何具有连续过滤器的固定GCNN都是可以转移的,2)我们证明了近似于未结合的图形换档运算符的图形,该图是在本文中定义的,和3)我们获得了非反应近似结果,证明了GCNN的线性稳定性。这扩展了当前的最新结果,这些结果显示了在近似界图子的图下显示多项式过滤器的渐近可传递性。
translated by 谷歌翻译
图表神经网络(GNNS)最近已经证明了在各种基于网络的任务中表现出良好的基于​​网络的任务,例如分散控制和资源分配,并为这些任务提供传统上在这方面挑战的计算有效方法。然而,与许多基于神经网络的系统一样,GNN易于在其输入上移动和扰动,其可以包括节点属性和图形结构。为了使它们更有用的真实应用程序,重要的是确保其稳健性后部署。通过控制GNN滤波器的LIPSChitz常数相对于节点属性来激励,我们建议约束GNN过滤器组的频率响应。我们使用连续频率响应约束将该配方扩展到动态图形设置,并通过方案方法解决问题的轻松变体。这允许在采样约束上使用相同的计算上有效的算法,这为PAC-Sique提供了在GNN的稳定性上使用方案优化的结果提供了PAC样式的保证。我们还突出了该设置和GNN稳定性与图形扰动之间的重要联系,并提供了实验结果,证明了我们方法的功效和宽广。
translated by 谷歌翻译
散射变换是一种基于多层的小波的深度学习架构,其充当卷积神经网络的模型。最近,几种作品引入了非欧几里德设置的散射变换的概括,例如图形。我们的工作通过基于非常一般的非对称小波来引入图形的窗口和非窗口几何散射变换来构建这些结构。我们表明,这些不对称的图形散射变换具有许多与其对称对应的相同的理论保证。结果,所提出的结构统一并扩展了许多现有图散射架构的已知理论结果。在这样做时,这项工作有助于通过引入具有可提供稳定性和不变性保证的大型网络,帮助弥合几何散射和其他图形神经网络之间的差距。这些结果为未来的图形结构数据奠定了基础,对具有学习过滤器的图形结构数据,并且还可以证明具有理想的理论特性。
translated by 谷歌翻译
为时空网络数据设计和分析学习模型对于包括预测,异常检测和多机构协调等任务非常重要。图形卷积神经网络(GCNN)是一种从时间不变的网络数据中学习的既定方法。图卷积操作提供了一种原则方法来汇总多分辨率信息。但是,将卷积原则性学习和各自的分析扩展到时空结构域是具有挑战性的,因为时空数据具有更多的固有依赖性。因此,需要更高的灵活性来捕获空间和时间依赖性以学习有意义的高阶表示。在这里,我们利用产品图来表示数据中的时空依赖性,并引入图表时间卷积神经网络(GTCNN)作为有原则的体系结构来帮助学习。提出的方法可以与任何类型的产品图一起使用,我们还引入了参数产品图,以学习时空耦合。卷积原理进一步允许与GCNN相似的数学障碍。特别是,稳定性结果表明GTCNN在空间扰动上是稳定的,但是在可区分性和鲁棒性之间存在隐含的权衡。即,模型越复杂,稳定较小。基准数据集的广泛数值结果证实了我们的发现,并显示GTCNN与最先进的解决方案相比有利。我们预计,GTCNN将成为更复杂的模型的起点,这些模型可以实现良好的性能,但从根本上讲是基础的。
translated by 谷歌翻译
消息传递神经网络(MPNN)自从引入卷积神经网络以泛滥到图形结构的数据以来,人们的受欢迎程度急剧上升,现在被认为是解决各种以图形为中心的最先进的工具问题。我们研究图形分类和回归中MPNN的概括误差。我们假设不同类别的图是从不同的随机图模型中采样的。我们表明,当在从这种分布中采样的数据集上训练MPNN时,概括差距会增加MPNN的复杂性,并且不仅相对于训练样本的数量,而且还会减少节点的平均数量在图中。这表明,只要图形很大,具有高复杂性的MPNN如何从图形的小数据集中概括。概括结合是从均匀收敛结果得出的,该结果表明,应用于图的任何MPNN近似于该图离散的几何模型上应用的MPNN。
translated by 谷歌翻译
Although theoretical properties such as expressive power and over-smoothing of graph neural networks (GNN) have been extensively studied recently, its convergence property is a relatively new direction. In this paper, we investigate the convergence of one powerful GNN, Invariant Graph Network (IGN) over graphs sampled from graphons. We first prove the stability of linear layers for general $k$-IGN (of order $k$) based on a novel interpretation of linear equivariant layers. Building upon this result, we prove the convergence of $k$-IGN under the model of \citet{ruiz2020graphon}, where we access the edge weight but the convergence error is measured for graphon inputs. Under the more natural (and more challenging) setting of \citet{keriven2020convergence} where one can only access 0-1 adjacency matrix sampled according to edge probability, we first show a negative result that the convergence of any IGN is not possible. We then obtain the convergence of a subset of IGNs, denoted as IGN-small, after the edge probability estimation. We show that IGN-small still contains function class rich enough that can approximate spectral GNNs arbitrarily well. Lastly, we perform experiments on various graphon models to verify our statements.
translated by 谷歌翻译
Deep learning-based approaches have been developed to solve challenging problems in wireless communications, leading to promising results. Early attempts adopted neural network architectures inherited from applications such as computer vision. They often yield poor performance in large scale networks (i.e., poor scalability) and unseen network settings (i.e., poor generalization). To resolve these issues, graph neural networks (GNNs) have been recently adopted, as they can effectively exploit the domain knowledge, i.e., the graph topology in wireless communications problems. GNN-based methods can achieve near-optimal performance in large-scale networks and generalize well under different system settings, but the theoretical underpinnings and design guidelines remain elusive, which may hinder their practical implementations. This paper endeavors to fill both the theoretical and practical gaps. For theoretical guarantees, we prove that GNNs achieve near-optimal performance in wireless networks with much fewer training samples than traditional neural architectures. Specifically, to solve an optimization problem on an $n$-node graph (where the nodes may represent users, base stations, or antennas), GNNs' generalization error and required number of training samples are $\mathcal{O}(n)$ and $\mathcal{O}(n^2)$ times lower than the unstructured multi-layer perceptrons. For design guidelines, we propose a unified framework that is applicable to general design problems in wireless networks, which includes graph modeling, neural architecture design, and theory-guided performance enhancement. Extensive simulations, which cover a variety of important problems and network settings, verify our theory and the effectiveness of the proposed design framework.
translated by 谷歌翻译
图形神经网络(GNNS)是图形处理的广泛连接主义模型。它们对每个节点及其邻居进行迭代消息传递操作,以解决分类/群集任务 - 在某些节点或整个图表上 - 无论其订单如何,都会收集所有此类消息。尽管属于该类的各种模型之间的差异,但大多数基于本地聚合机制和直观地采用相同的计算方案,并直观地,本地计算框架主要负责GNN的表现力。在本文中,我们证明了Weisfeiler - Lehman测试在恰好对应于原始GNN模型上定义的展开等价的图表节点上引起了等效关系。因此,原始GNN的表现力的结果可以扩展到一般GNN,其在​​温和条件下可以证明能够以概率和最高的任何精度近似于朝向展开等价的图表中的任何功能。
translated by 谷歌翻译
我们为特殊神经网络架构,称为运营商复发性神经网络的理论分析,用于近似非线性函数,其输入是线性运算符。这些功能通常在解决方案算法中出现用于逆边值问题的问题。传统的神经网络将输入数据视为向量,因此它们没有有效地捕获与对应于这种逆问题中的数据的线性运算符相关联的乘法结构。因此,我们介绍一个类似标准的神经网络架构的新系列,但是输入数据在向量上乘法作用。由较小的算子出现在边界控制中的紧凑型操作员和波动方程的反边值问题分析,我们在网络中的选择权重矩阵中促进结构和稀疏性。在描述此架构后,我们研究其表示属性以及其近似属性。我们还表明,可以引入明确的正则化,其可以从所述逆问题的数学分析导出,并导致概括属性上的某些保证。我们观察到重量矩阵的稀疏性改善了概括估计。最后,我们讨论如何将运营商复发网络视为深度学习模拟,以确定诸如用于从边界测量的声波方程中重建所未知的WAVESTED的边界控制的算法算法。
translated by 谷歌翻译
大规模结构化数据的有效表示,进攻,分析和可视化在图形上引起了很多关注。到目前为止,大多数文献都集中在实现的信号上。但是,信号通常在傅立叶域中稀疏,并且可以使用其光谱组件的复杂信封来获得更多信息和紧凑的表示形式,而不是原始的真实价值信号。出于这一事实的激励,在这项工作中,我们将图形卷积神经网络(GCN)推广到复杂域,从而得出了允许将复杂值的图形移位运算符(GSO)纳入图形过滤器(GF)和过程的理论。复杂值图形信号(GS)。开发的理论可以处理时空复杂的网络过程。我们证明,相对于基础图支持的扰动,传输误差的界限以及通过乘积层传播的界限,复合物值GCN是稳定的。然后,我们将复杂的GCN应用于电网状态预测,电网网络攻击检测和定位。
translated by 谷歌翻译
散射变换是一种基于小波的多层转换,最初是作为卷积神经网络(CNN)的模型引入的,它在我们对这些网络稳定性和不变性属性的理解中发挥了基础作用。随后,人们普遍兴趣将CNN的成功扩展到具有非欧盟结构的数据集,例如图形和歧管,从而导致了几何深度学习的新兴领域。为了提高我们对这个新领域中使用的体系结构的理解,几篇论文提出了对非欧几里得数据结构(如无方向的图形和紧凑的Riemannian歧管)的散射转换的概括。在本文中,我们介绍了一个通用的统一模型,用于测量空间上的几何散射。我们提出的框架包括以前的几何散射作品作为特殊情况,但也适用于更通用的设置,例如有向图,签名图和带边界的歧管。我们提出了一个新标准,该标准可以识别哪些有用表示应该不变的组,并表明该标准足以确保散射变换具有理想的稳定性和不变性属性。此外,我们考虑从随机采样未知歧管获得的有限度量空间。我们提出了两种构造数据驱动图的方法,在该图上相关的图形散射转换近似于基础歧管上的散射变换。此外,我们使用基于扩散图的方法来证明这些近似值之一的收敛速率的定量估计值,因为样品点的数量趋向于无穷大。最后,我们在球形图像,有向图和高维单细胞数据上展示了方法的实用性。
translated by 谷歌翻译
在本文中,我们通过图形函数的关键代数条件(称为\ textIt {置换兼容性})完全回答上述问题,该函数将图形和图形的特征​​与功能约束相关联。我们证明:(i)GNN作为图形函数必然是兼容的; (ii)相反,当限制具有不同节点特征的输入图上时,任何置换兼容函数都可以由GNN生成; (iii)对于任意节点特征(不一定是不同),一个简单的功能增强方案足以生成GNN置换兼容函数; (iv)可以通过仅检查二次功能约束,而不是对所有排列的详尽搜索来验证置换兼容性; (v)GNN可以生成\ textIt {any}图形函数,一旦我们以节点身份增强节点特征,从而超越了图同构和置换兼容性。上面的表征铺平了正式研究GNN和其他算法程序之间复杂联系的路径。例如,我们的表征意味着许多自然图问题,例如最小值值,最大流量值,最大值尺寸和最短路径,可以使用简单的功能增强来生成GNN。相比之下,每当GNN无法生成具有相同特征的置换函数时,著名的Weisfeiler-Lehman图形测试就会失败。我们分析的核心是一种新的表示定理,它标识了GNN的基础函数。这使我们能够将目标图函数的属性转化为GNN聚合函数的属性。
translated by 谷歌翻译