在本文中,我们研究了考虑基础图的扰动的聚集图神经网络(ag-gnns)的稳定性。 Agg-gnn是一种混合体系结构,在图上定义了信息,但是在图形移位算子上进行了几次扩散后,在节点上的欧几里得CNN对其进行了处理。我们为与通用Agg-GNN关联的映射运算符得出稳定性界限,并指定了该操作员可以稳定变形的条件。我们证明稳定性边界是由在每个节点上作用的CNN的第一层中过滤器的属性定义的。此外,我们表明聚集的数量,滤波器的选择性和稳定性常数的大小之间存在密切的关系。我们还得出结论,在Agg-gnns中,映射运算符的选择性仅在CNN阶段的第一层中与过滤器的属性相关。这显示了相对于选择GNN的稳定性的实质性差异,其中所有层中过滤器的选择性受其稳定性的约束。我们提供了证实结果得出的结果的数值证据,测试了考虑不同幅度扰动的现实生活应用方案中的ag-gnn的行为。
translated by 谷歌翻译
在本文中,我们为基于非交换代数的代数神经网络(ALGNN)提供稳定性结果。 ALGNN是堆叠的分层结构,每个层都与代数信号模型(ASM)相关联,由代数,矢量空间和同态性。信号被建模为矢量空间的元素,过滤器是代数中的元素,而同态则可以实现过滤器作为混凝土操作员。我们研究了代数过滤器在非交换代数对同态扰动中的稳定性,并提供了保证稳定性的条件。我们表明,轮班运算符和偏移和扰动之间的换向性不会影响稳定体系结构的属性。这提供了一个问题,即转移不变性是否是保证稳定性的卷积体系结构的必要属性。此外,我们表明,尽管非交换代数中过滤器的频率响应在交换代数中与过滤器相对于过滤器表现出很大的差异,但它们的稳定过滤器的衍生物具有相似的行为。
translated by 谷歌翻译
图卷积学习导致了各个领域的许多令人兴奋的发现。但是,在某些应用中,传统图不足以捕获数据的结构和复杂性。在这种情况下,多编码自然出现是可以嵌入复杂动力学的离散结构。在本文中,我们开发了有关多编码的卷积信息处理,并引入了卷积多编码神经网络(MGNN)。为了捕获每个多数边缘内外的信息传播的复杂动力学,我们正式化了一个卷积信号处理模型,从而定义了多格画上信号,过滤和频率表示的概念。利用该模型,我们开发了多个学习架构,包括采样程序以降低计算复杂性。引入的体系结构用于最佳无线资源分配和仇恨言语本地化任务,从而比传统的图形神经网络的性能提高了。
translated by 谷歌翻译
图形神经网络(GNNS)是由图形卷积和叉指非线性组成的层组成的深度卷积架构。由于其不变性和稳定性属性,GNN在网络数据的学习陈述中被证明是成功的。但是,训练它们需要矩阵计算,这对于大图可能是昂贵的。为了解决这个限制,我们研究了GNN横跨图形转移的能力。我们考虑图形,这是加权和随机图形的图形限制和生成模型,以定义图形卷积和GNNS - Graphon卷曲和Graphon神经网络(WNNS)的限制对象 - 我们用作图形卷曲的生成模型和GNNS。我们表明,这些石墨源区和WNN可以通过图形滤波器和来自加权和随机图中的它们采样的GNN来近似。使用这些结果,我们将导出误差界限,用于跨越此类图形传输图形过滤器和GNN。这些界限表明,可转换性随着图尺寸的增加而增加,并且揭示了在GNN中的可转换性和光谱分辨率之间的折衷,其被点亮的非线性缓解。这些发现经验在电影推荐和分散机器人控制中的数值实验中进行了经验验证。
translated by 谷歌翻译
随机图神经网络(SGNN)是信息处理体系结构,可从随机图中学习表示表示。 SGNN受到预期性能的培训,这不能保证围绕最佳期望的特定输出实现的偏差。为了克服这个问题,我们为SGNN提出了一个方差约束优化问题,平衡了预期的性能和随机偏差。通过使用梯度下降和梯度上升的双变量更新SGNN参数,进行了交替的原始双偶学习过程,该过程通过更新SGNN参数来解决问题。为了表征方差约束学习的明确效应,我们对SGNN输出方差进行理论分析,并确定随机鲁棒性和歧视能力之间的权衡。我们进一步分析了方差约束优化问题的二元性差距以及原始双重学习过程的融合行为。前者表示双重变换引起的最优性损失,后者是迭代算法的限制误差,这两者都保证了方差约束学习的性能。通过数值模拟,我们证实了我们的理论发现,并观察到具有可控标准偏差的强劲预期性能。
translated by 谷歌翻译
散射变换是一种基于多层的小波的深度学习架构,其充当卷积神经网络的模型。最近,几种作品引入了非欧几里德设置的散射变换的概括,例如图形。我们的工作通过基于非常一般的非对称小波来引入图形的窗口和非窗口几何散射变换来构建这些结构。我们表明,这些不对称的图形散射变换具有许多与其对称对应的相同的理论保证。结果,所提出的结构统一并扩展了许多现有图散射架构的已知理论结果。在这样做时,这项工作有助于通过引入具有可提供稳定性和不变性保证的大型网络,帮助弥合几何散射和其他图形神经网络之间的差距。这些结果为未来的图形结构数据奠定了基础,对具有学习过滤器的图形结构数据,并且还可以证明具有理想的理论特性。
translated by 谷歌翻译
图表神经网络(GNNS)最近已经证明了在各种基于网络的任务中表现出良好的基于​​网络的任务,例如分散控制和资源分配,并为这些任务提供传统上在这方面挑战的计算有效方法。然而,与许多基于神经网络的系统一样,GNN易于在其输入上移动和扰动,其可以包括节点属性和图形结构。为了使它们更有用的真实应用程序,重要的是确保其稳健性后部署。通过控制GNN滤波器的LIPSChitz常数相对于节点属性来激励,我们建议约束GNN过滤器组的频率响应。我们使用连续频率响应约束将该配方扩展到动态图形设置,并通过方案方法解决问题的轻松变体。这允许在采样约束上使用相同的计算上有效的算法,这为PAC-Sique提供了在GNN的稳定性上使用方案优化的结果提供了PAC样式的保证。我们还突出了该设置和GNN稳定性与图形扰动之间的重要联系,并提供了实验结果,证明了我们方法的功效和宽广。
translated by 谷歌翻译
图形神经网络(GNNS)使用图形卷积来利用网络不向导并从网络数据中学习有意义的特征表示。但是,在大规模图中,卷积以高计算成本产生,导致可伸缩性限制。在本文中,我们考虑了学习图形神经网络(WNN)的问题 - GNN的极限对象 - 通过训练从Graphon采样的图形上,我们考虑了学习GragraN神经网络(WNN)的问题。在平滑性条件下,我们表明:(i)GNN和WNN上的学习步骤之间的预期距离随图形的尺寸渐近地降低,并且(ii)在一系列生长图上训练时,梯度下降遵循WNN的学习方向。受这些结果的启发,我们提出了一种新型算法,以学习大规模图的GNN,从中等数量的节点开始,在训练过程中依次增加了图的大小。该算法是在分散的控制问题上进一步基准的,在该问题下,它以降低的计算成本保留了与大规模对应物相当的性能。
translated by 谷歌翻译
我们研究光谱图卷积神经网络(GCNN),其中过滤器被定义为通过功能计算的图形移位算子(GSO)的连续函数。光谱GCNN不是针对一个特定图的量身定制的,可以在不同的图之间传输。因此,研究GCNN的可传递性很重要:网络在代表相同现象的不同图上具有大致相同影响的能力。如果测试集中的图与训练集中的图形相同,则可传递性可确保在某些图上进行训练的GCNN概括。在本文中,我们考虑了基于Graphon分析的可转让性模型。图形是图形的极限对象,在图形范式中,如果两者都近似相同的图形,则两个图表示相同的现象。我们的主要贡献可以总结如下:1)我们证明,在近似于同一图形的图的图下,任何具有连续过滤器的固定GCNN都是可以转移的,2)我们证明了近似于未结合的图形换档运算符的图形,该图是在本文中定义的,和3)我们获得了非反应近似结果,证明了GCNN的线性稳定性。这扩展了当前的最新结果,这些结果显示了在近似界图子的图下显示多项式过滤器的渐近可传递性。
translated by 谷歌翻译
为时空网络数据设计和分析学习模型对于包括预测,异常检测和多机构协调等任务非常重要。图形卷积神经网络(GCNN)是一种从时间不变的网络数据中学习的既定方法。图卷积操作提供了一种原则方法来汇总多分辨率信息。但是,将卷积原则性学习和各自的分析扩展到时空结构域是具有挑战性的,因为时空数据具有更多的固有依赖性。因此,需要更高的灵活性来捕获空间和时间依赖性以学习有意义的高阶表示。在这里,我们利用产品图来表示数据中的时空依赖性,并引入图表时间卷积神经网络(GTCNN)作为有原则的体系结构来帮助学习。提出的方法可以与任何类型的产品图一起使用,我们还引入了参数产品图,以学习时空耦合。卷积原理进一步允许与GCNN相似的数学障碍。特别是,稳定性结果表明GTCNN在空间扰动上是稳定的,但是在可区分性和鲁棒性之间存在隐含的权衡。即,模型越复杂,稳定较小。基准数据集的广泛数值结果证实了我们的发现,并显示GTCNN与最先进的解决方案相比有利。我们预计,GTCNN将成为更复杂的模型的起点,这些模型可以实现良好的性能,但从根本上讲是基础的。
translated by 谷歌翻译
消息传递神经网络(MPNN)自从引入卷积神经网络以泛滥到图形结构的数据以来,人们的受欢迎程度急剧上升,现在被认为是解决各种以图形为中心的最先进的工具问题。我们研究图形分类和回归中MPNN的概括误差。我们假设不同类别的图是从不同的随机图模型中采样的。我们表明,当在从这种分布中采样的数据集上训练MPNN时,概括差距会增加MPNN的复杂性,并且不仅相对于训练样本的数量,而且还会减少节点的平均数量在图中。这表明,只要图形很大,具有高复杂性的MPNN如何从图形的小数据集中概括。概括结合是从均匀收敛结果得出的,该结果表明,应用于图的任何MPNN近似于该图离散的几何模型上应用的MPNN。
translated by 谷歌翻译
我们为特殊神经网络架构,称为运营商复发性神经网络的理论分析,用于近似非线性函数,其输入是线性运算符。这些功能通常在解决方案算法中出现用于逆边值问题的问题。传统的神经网络将输入数据视为向量,因此它们没有有效地捕获与对应于这种逆问题中的数据的线性运算符相关联的乘法结构。因此,我们介绍一个类似标准的神经网络架构的新系列,但是输入数据在向量上乘法作用。由较小的算子出现在边界控制中的紧凑型操作员和波动方程的反边值问题分析,我们在网络中的选择权重矩阵中促进结构和稀疏性。在描述此架构后,我们研究其表示属性以及其近似属性。我们还表明,可以引入明确的正则化,其可以从所述逆问题的数学分析导出,并导致概括属性上的某些保证。我们观察到重量矩阵的稀疏性改善了概括估计。最后,我们讨论如何将运营商复发网络视为深度学习模拟,以确定诸如用于从边界测量的声波方程中重建所未知的WAVESTED的边界控制的算法算法。
translated by 谷歌翻译
散射变换是一种基于小波的多层转换,最初是作为卷积神经网络(CNN)的模型引入的,它在我们对这些网络稳定性和不变性属性的理解中发挥了基础作用。随后,人们普遍兴趣将CNN的成功扩展到具有非欧盟结构的数据集,例如图形和歧管,从而导致了几何深度学习的新兴领域。为了提高我们对这个新领域中使用的体系结构的理解,几篇论文提出了对非欧几里得数据结构(如无方向的图形和紧凑的Riemannian歧管)的散射转换的概括。在本文中,我们介绍了一个通用的统一模型,用于测量空间上的几何散射。我们提出的框架包括以前的几何散射作品作为特殊情况,但也适用于更通用的设置,例如有向图,签名图和带边界的歧管。我们提出了一个新标准,该标准可以识别哪些有用表示应该不变的组,并表明该标准足以确保散射变换具有理想的稳定性和不变性属性。此外,我们考虑从随机采样未知歧管获得的有限度量空间。我们提出了两种构造数据驱动图的方法,在该图上相关的图形散射转换近似于基础歧管上的散射变换。此外,我们使用基于扩散图的方法来证明这些近似值之一的收敛速率的定量估计值,因为样品点的数量趋向于无穷大。最后,我们在球形图像,有向图和高维单细胞数据上展示了方法的实用性。
translated by 谷歌翻译
神经网络的经典发展主要集中在有限维欧基德空间或有限组之间的学习映射。我们提出了神经网络的概括,以学习映射无限尺寸函数空间之间的运算符。我们通过一类线性积分运算符和非线性激活函数的组成制定运营商的近似,使得组合的操作员可以近似复杂的非线性运算符。我们证明了我们建筑的普遍近似定理。此外,我们介绍了四类运算符参数化:基于图形的运算符,低秩运算符,基于多极图形的运算符和傅里叶运算符,并描述了每个用于用每个计算的高效算法。所提出的神经运营商是决议不变的:它们在底层函数空间的不同离散化之间共享相同的网络参数,并且可以用于零击超分辨率。在数值上,与现有的基于机器学习的方法,达西流程和Navier-Stokes方程相比,所提出的模型显示出卓越的性能,而与传统的PDE求解器相比,与现有的基于机器学习的方法有关的基于机器学习的方法。
translated by 谷歌翻译
Many scientific fields study data with an underlying structure that is a non-Euclidean space. Some examples include social networks in computational social sciences, sensor networks in communications, functional networks in brain imaging, regulatory networks in genetics, and meshed surfaces in computer graphics. In many applications, such geometric data are large and complex (in the case of social networks, on the scale of billions), and are natural targets for machine learning techniques. In particular, we would like to use deep neural networks, which have recently proven to be powerful tools for a broad range of problems from computer vision, natural language processing, and audio analysis. However, these tools have been most successful on data with an underlying Euclidean or grid-like structure, and in cases where the invariances of these structures are built into networks used to model them.Geometric deep learning is an umbrella term for emerging techniques attempting to generalize (structured) deep neural models to non-Euclidean domains such as graphs and manifolds. The purpose of this paper is to overview different examples of geometric deep learning problems and present available solutions, key difficulties, applications, and future research directions in this nascent field.
translated by 谷歌翻译
大规模结构化数据的有效表示,进攻,分析和可视化在图形上引起了很多关注。到目前为止,大多数文献都集中在实现的信号上。但是,信号通常在傅立叶域中稀疏,并且可以使用其光谱组件的复杂信封来获得更多信息和紧凑的表示形式,而不是原始的真实价值信号。出于这一事实的激励,在这项工作中,我们将图形卷积神经网络(GCN)推广到复杂域,从而得出了允许将复杂值的图形移位运算符(GSO)纳入图形过滤器(GF)和过程的理论。复杂值图形信号(GS)。开发的理论可以处理时空复杂的网络过程。我们证明,相对于基础图支持的扰动,传输误差的界限以及通过乘积层传播的界限,复合物值GCN是稳定的。然后,我们将复杂的GCN应用于电网状态预测,电网网络攻击检测和定位。
translated by 谷歌翻译
这项工作提供了有关图消息传递神经网络(GMPNNS)(例如图形神经网络(GNNS))的第一个理论研究,以执行归纳性脱离分布(OOD)链接预测任务,在部署(测试)(测试))图大小比训练图大。我们首先证明了非反应界限,表明基于GMPNN获得的基于置换 - 等值的(结构)节点嵌入的链接预测变量可以随着测试图变大,可以收敛到随机猜测。然后,我们提出了一个理论上的GMPNN,该GMPNN输出结构性成对(2节点)嵌入,并证明非扰动边界表明,随着测试图的增长,这些嵌入量会收敛到连续函数的嵌入,以保留其预测链接的能力。随机图上的经验结果表明与我们的理论结果一致。
translated by 谷歌翻译
我们考虑多用户无线网络中的资源管理问题,可以将其视为优化网络范围的公用事业功能,这受到整个网络用户长期平均性能的限制。我们提出了一种以国家功能为算法来解决上述无线电资源管理(RRM)问题的算法,在此问题中,与瞬时网络状态相同,RRM策略将其作为输入的双重变量集,这些变量对应于约束,这些变量取决于多少,这些变量取决于多少,这些变量取决于多少。执行过程中违反约束。从理论上讲,我们表明,拟议的国有算法会导致可行且近乎最佳的RRM决策。此外,着重于使用图神经网络(GNN)参数化的无线功率控制问题,我们证明了所提出的RRM算法优于基线方法的优越性,跨基线方法。
translated by 谷歌翻译
我们研究了仅当仅可用的嘈杂数据时,重建神经网络反问题的解决方案的问题。我们假设问题可以用无限可逆的无限前向操作员建模。然后,我们将该正向操作员限制为有限维空间,以使逆向Lipschitz连续。对于逆操作员,我们证明存在一个神经网络,该神经网络是操作员的健壮到噪声近似。此外,我们表明可以从适当的干扰培训数据中学到这些神经网络。我们证明了这种方法对实践感兴趣的各种反向问题的可接受性。给出了支持理论发现的数值示例。
translated by 谷歌翻译
我们研究了使用动力学系统的流量图相对于输入指数的某些置换的函数的近似值。这种不变的功能包括涉及图像任务的经过研究的翻译不变性功能,但还包含许多在科学和工程中找到新兴应用程序的置换不变函数。我们证明了通过受控的模棱两可的动态系统的通用近似的足够条件,可以将其视为具有对称约束的深度残留网络的一般抽象。这些结果不仅意味着用于对称函数近似的各种常用神经网络体系结构的通用近似,而且还指导设计具有近似值保证的架构的设计,以保证涉及新对称要求的应用。
translated by 谷歌翻译