在本文中，我们为基于非交换代数的代数神经网络（ALGNN）提供稳定性结果。 ALGNN是堆叠的分层结构，每个层都与代数信号模型（ASM）相关联，由代数，矢量空间和同态性。信号被建模为矢量空间的元素，过滤器是代数中的元素，而同态则可以实现过滤器作为混凝土操作员。我们研究了代数过滤器在非交换代数对同态扰动中的稳定性，并提供了保证稳定性的条件。我们表明，轮班运算符和偏移和扰动之间的换向性不会影响稳定体系结构的属性。这提供了一个问题，即转移不变性是否是保证稳定性的卷积体系结构的必要属性。此外，我们表明，尽管非交换代数中过滤器的频率响应在交换代数中与过滤器相对于过滤器表现出很大的差异，但它们的稳定过滤器的衍生物具有相似的行为。

在本文中，我们研究了考虑基础图的扰动的聚集图神经网络（ag-gnns）的稳定性。 Agg-gnn是一种混合体系结构，在图上定义了信息，但是在图形移位算子上进行了几次扩散后，在节点上的欧几里得CNN对其进行了处理。我们为与通用Agg-GNN关联的映射运算符得出稳定性界限，并指定了该操作员可以稳定变形的条件。我们证明稳定性边界是由在每个节点上作用的CNN的第一层中过滤器的属性定义的。此外，我们表明聚集的数量，滤波器的选择性和稳定性常数的大小之间存在密切的关系。我们还得出结论，在Agg-gnns中，映射运算符的选择性仅在CNN阶段的第一层中与过滤器的属性相关。这显示了相对于选择GNN的稳定性的实质性差异，其中所有层中过滤器的选择性受其稳定性的约束。我们提供了证实结果得出的结果的数值证据，测试了考虑不同幅度扰动的现实生活应用方案中的ag-gnn的行为。

In this paper we propose a pooling approach for convolutional information processing on graphs relying on the theory of graphons and limits of dense graph sequences. We present three methods that exploit the induced graphon representation of graphs and graph signals on partitions of [0, 1]2 in the graphon space. As a result we derive low dimensional representations of the convolutional operators, while a dimensionality reduction of the signals is achieved by simple local interpolation of functions in L2([0, 1]). We prove that those low dimensional representations constitute a convergent sequence of graphs and graph signals, respectively. The methods proposed and the theoretical guarantees that we provide show that the reduced graphs and signals inherit spectral-structural properties of the original quantities. We evaluate our approach with a set of numerical experiments performed on graph neural networks (GNNs) that rely on graphon pooling. We observe that graphon pooling performs significantly better than other approaches proposed in the literature when dimensionality reduction ratios between layers are large. We also observe that when graphon pooling is used we have, in general, less overfitting and lower computational cost.

图卷积学习导致了各个领域的许多令人兴奋的发现。但是，在某些应用中，传统图不足以捕获数据的结构和复杂性。在这种情况下，多编码自然出现是可以嵌入复杂动力学的离散结构。在本文中，我们开发了有关多编码的卷积信息处理，并引入了卷积多编码神经网络（MGNN）。为了捕获每个多数边缘内外的信息传播的复杂动力学，我们正式化了一个卷积信号处理模型，从而定义了多格画上信号，过滤和频率表示的概念。利用该模型，我们开发了多个学习架构，包括采样程序以降低计算复杂性。引入的体系结构用于最佳无线资源分配和仇恨言语本地化任务，从而比传统的图形神经网络的性能提高了。

We introduce an architecture for processing signals supported on hypergraphs via graph neural networks (GNNs), which we call a Hyper-graph Expansion Neural Network (HENN), and provide the first bounds on the stability and transferability error of a hypergraph signal processing model. To do so, we provide a framework for bounding the stability and transferability error of GNNs across arbitrary graphs via spectral similarity. By bounding the difference between two graph shift operators (GSOs) in the positive semi-definite sense via their eigenvalue spectrum, we show that this error depends only on the properties of the GNN and the magnitude of spectral similarity of the GSOs. Moreover, we show that existing transferability results that assume the graphs are small perturbations of one another, or that the graphs are random and drawn from the same distribution or sampled from the same graphon can be recovered using our approach. Thus, both GNNs and our HENNs (trained using normalized Laplacians as graph shift operators) will be increasingly stable and transferable as the graphs become larger. Experimental results illustrate the importance of considering multiple graph representations in HENN, and show its superior performance when transferability is desired.

我们研究光谱图卷积神经网络（GCNN），其中过滤器被定义为通过功能计算的图形移位算子（GSO）的连续函数。光谱GCNN不是针对一个特定图的量身定制的，可以在不同的图之间传输。因此，研究GCNN的可传递性很重要：网络在代表相同现象的不同图上具有大致相同影响的能力。如果测试集中的图与训练集中的图形相同，则可传递性可确保在某些图上进行训练的GCNN概括。在本文中，我们考虑了基于Graphon分析的可转让性模型。图形是图形的极限对象，在图形范式中，如果两者都近似相同的图形，则两个图表示相同的现象。我们的主要贡献可以总结如下：1）我们证明，在近似于同一图形的图的图下，任何具有连续过滤器的固定GCNN都是可以转移的，2）我们证明了近似于未结合的图形换档运算符的图形，该图是在本文中定义的，和3）我们获得了非反应近似结果，证明了GCNN的线性稳定性。这扩展了当前的最新结果，这些结果显示了在近似界图子的图下显示多项式过滤器的渐近可传递性。

图形神经网络（GNNS）是由图形卷积和叉指非线性组成的层组成的深度卷积架构。由于其不变性和稳定性属性，GNN在网络数据的学习陈述中被证明是成功的。但是，训练它们需要矩阵计算，这对于大图可能是昂贵的。为了解决这个限制，我们研究了GNN横跨图形转移的能力。我们考虑图形，这是加权和随机图形的图形限制和生成模型，以定义图形卷积和GNNS - Graphon卷曲和Graphon神经网络（WNNS）的限制对象 - 我们用作图形卷曲的生成模型和GNNS。我们表明，这些石墨源区和WNN可以通过图形滤波器和来自加权和随机图中的它们采样的GNN来近似。使用这些结果，我们将导出误差界限，用于跨越此类图形传输图形过滤器和GNN。这些界限表明，可转换性随着图尺寸的增加而增加，并且揭示了在GNN中的可转换性和光谱分辨率之间的折衷，其被点亮的非线性缓解。这些发现经验在电影推荐和分散机器人控制中的数值实验中进行了经验验证。

散射变换是一种基于多层的小波的深度学习架构，其充当卷积神经网络的模型。最近，几种作品引入了非欧几里德设置的散射变换的概括，例如图形。我们的工作通过基于非常一般的非对称小波来引入图形的窗口和非窗口几何散射变换来构建这些结构。我们表明，这些不对称的图形散射变换具有许多与其对称对应的相同的理论保证。结果，所提出的结构统一并扩展了许多现有图散射架构的已知理论结果。在这样做时，这项工作有助于通过引入具有可提供稳定性和不变性保证的大型网络，帮助弥合几何散射和其他图形神经网络之间的差距。这些结果为未来的图形结构数据奠定了基础，对具有学习过滤器的图形结构数据，并且还可以证明具有理想的理论特性。

为时空网络数据设计和分析学习模型对于包括预测，异常检测和多机构协调等任务非常重要。图形卷积神经网络（GCNN）是一种从时间不变的网络数据中学习的既定方法。图卷积操作提供了一种原则方法来汇总多分辨率信息。但是，将卷积原则性学习和各自的分析扩展到时空结构域是具有挑战性的，因为时空数据具有更多的固有依赖性。因此，需要更高的灵活性来捕获空间和时间依赖性以学习有意义的高阶表示。在这里，我们利用产品图来表示数据中的时空依赖性，并引入图表时间卷积神经网络（GTCNN）作为有原则的体系结构来帮助学习。提出的方法可以与任何类型的产品图一起使用，我们还引入了参数产品图，以学习时空耦合。卷积原理进一步允许与GCNN相似的数学障碍。特别是，稳定性结果表明GTCNN在空间扰动上是稳定的，但是在可区分性和鲁棒性之间存在隐含的权衡。即，模型越复杂，稳定较小。基准数据集的广泛数值结果证实了我们的发现，并显示GTCNN与最先进的解决方案相比有利。我们预计，GTCNN将成为更复杂的模型的起点，这些模型可以实现良好的性能，但从根本上讲是基础的。

Many scientific fields study data with an underlying structure that is a non-Euclidean space. Some examples include social networks in computational social sciences, sensor networks in communications, functional networks in brain imaging, regulatory networks in genetics, and meshed surfaces in computer graphics. In many applications, such geometric data are large and complex (in the case of social networks, on the scale of billions), and are natural targets for machine learning techniques. In particular, we would like to use deep neural networks, which have recently proven to be powerful tools for a broad range of problems from computer vision, natural language processing, and audio analysis. However, these tools have been most successful on data with an underlying Euclidean or grid-like structure, and in cases where the invariances of these structures are built into networks used to model them.Geometric deep learning is an umbrella term for emerging techniques attempting to generalize (structured) deep neural models to non-Euclidean domains such as graphs and manifolds. The purpose of this paper is to overview different examples of geometric deep learning problems and present available solutions, key difficulties, applications, and future research directions in this nascent field.

随机图神经网络（SGNN）是信息处理体系结构，可从随机图中学习表示表示。 SGNN受到预期性能的培训，这不能保证围绕最佳期望的特定输出实现的偏差。为了克服这个问题，我们为SGNN提出了一个方差约束优化问题，平衡了预期的性能和随机偏差。通过使用梯度下降和梯度上升的双变量更新SGNN参数，进行了交替的原始双偶学习过程，该过程通过更新SGNN参数来解决问题。为了表征方差约束学习的明确效应，我们对SGNN输出方差进行理论分析，并确定随机鲁棒性和歧视能力之间的权衡。我们进一步分析了方差约束优化问题的二元性差距以及原始双重学习过程的融合行为。前者表示双重变换引起的最优性损失，后者是迭代算法的限制误差，这两者都保证了方差约束学习的性能。通过数值模拟，我们证实了我们的理论发现，并观察到具有可控标准偏差的强劲预期性能。

神经网络的经典发展主要集中在有限维欧基德空间或有限组之间的学习映射。我们提出了神经网络的概括，以学习映射无限尺寸函数空间之间的运算符。我们通过一类线性积分运算符和非线性激活函数的组成制定运营商的近似，使得组合的操作员可以近似复杂的非线性运算符。我们证明了我们建筑的普遍近似定理。此外，我们介绍了四类运算符参数化：基于图形的运算符，低秩运算符，基于多极图形的运算符和傅里叶运算符，并描述了每个用于用每个计算的高效算法。所提出的神经运营商是决议不变的：它们在底层函数空间的不同离散化之间共享相同的网络参数，并且可以用于零击超分辨率。在数值上，与现有的基于机器学习的方法，达西流程和Navier-Stokes方程相比，所提出的模型显示出卓越的性能，而与传统的PDE求解器相比，与现有的基于机器学习的方法有关的基于机器学习的方法。

我们为特殊神经网络架构，称为运营商复发性神经网络的理论分析，用于近似非线性函数，其输入是线性运算符。这些功能通常在解决方案算法中出现用于逆边值问题的问题。传统的神经网络将输入数据视为向量，因此它们没有有效地捕获与对应于这种逆问题中的数据的线性运算符相关联的乘法结构。因此，我们介绍一个类似标准的神经网络架构的新系列，但是输入数据在向量上乘法作用。由较小的算子出现在边界控制中的紧凑型操作员和波动方程的反边值问题分析，我们在网络中的选择权重矩阵中促进结构和稀疏性。在描述此架构后，我们研究其表示属性以及其近似属性。我们还表明，可以引入明确的正则化，其可以从所述逆问题的数学分析导出，并导致概括属性上的某些保证。我们观察到重量矩阵的稀疏性改善了概括估计。最后，我们讨论如何将运营商复发网络视为深度学习模拟，以确定诸如用于从边界测量的声波方程中重建所未知的WAVESTED的边界控制的算法算法。

我们研究了以模型为简单络合物的抽象拓扑空间支撑的处理信号的线性过滤器，可以解释为解释节点，边缘，三角形面的图形的概括等，以处理此类信号，我们开发了定义为Matrix polynomials的简单卷积过滤器下霍德·拉普拉斯人的下部和上部。首先，我们研究了这些过滤器的特性，并表明它们是线性和转移不变的，以及置换和定向等效的。这些过滤器也可以以低计算复杂性的分布式方式实现，因为它们仅涉及（多个回合）上层和下相邻简单之间的简单转移。其次，着眼于边缘流，我们研究了这些过滤器的频率响应，并研究了如何使用Hodge分类来描述梯度，卷曲和谐波频率。我们讨论了这些频率如何对应于霍德拉普拉斯（Hodge laplacian）的下部和上等耦合以及上的核心，并且可以通过我们的滤波器设计独立调整。第三，我们研究设计简单卷积过滤器并讨论其相对优势的不同程序。最后，我们在几种应用中证实了简单过滤器：提取简单信号的不同频率组件，以denoise边缘流量以及分析金融市场和交通网络。

最近的实证工作表明，由卷积神经网络（CNNS）启发的分层卷积核（CNNS）显着提高了内核方法​​在图像分类任务中的性能。对这些架构成功的广泛解释是它们编码适合自然图像的假设类。然而，了解卷积架构中近似和泛化之间的精确相互作用仍然是一个挑战。在本文中，我们考虑均匀分布在超立方体上的协变量（图像像素）的程式化设置，并完全表征由单层卷积，汇集和下采样操作组成的内核的RKH。然后，我们使用这些内核通过标准内部产品内核来研究内核方法的样本效率的增益。特别是，我们展示了1）卷积层通过将RKHS限制为“本地”功能来打破维度的诅咒; 2）局部汇集偏置朝向低频功能，这是较小的翻译稳定; 3）下采样可以修改高频成粒空间，但留下了大致不变的低频部分。值得注意的是，我们的结果量化了选择适应目标函数的架构如何导致样本复杂性的大量改善。

Research in Graph Signal Processing (GSP) aims to develop tools for processing data defined on irregular graph domains. In this paper we first provide an overview of core ideas in GSP and their connection to conventional digital signal processing, along with a brief historical perspective to highlight how concepts recently developed in GSP build on top of prior research in other areas. We then summarize recent advances in developing basic GSP tools, including methods for sampling, filtering or graph learning. Next, we review progress in several application areas using GSP, including processing and analysis of sensor network data, biological data, and applications to image processing and machine learning.

Many applications, such as system identification, classification of time series, direct and inverse problems in partial differential equations, and uncertainty quantification lead to the question of approximation of a non-linear operator between metric spaces $\mathfrak{X}$ and $\mathfrak{Y}$. We study the problem of determining the degree of approximation of such operators on a compact subset $K_\mathfrak{X}\subset \mathfrak{X}$ using a finite amount of information. If $\mathcal{F}: K_\mathfrak{X}\to K_\mathfrak{Y}$, a well established strategy to approximate $\mathcal{F}(F)$ for some $F\in K_\mathfrak{X}$ is to encode $F$ (respectively, $\mathcal{F}(F)$) in terms of a finite number $d$ (repectively $m$) of real numbers. Together with appropriate reconstruction algorithms (decoders), the problem reduces to the approximation of $m$ functions on a compact subset of a high dimensional Euclidean space $\mathbb{R}^d$, equivalently, the unit sphere $\mathbb{S}^d$ embedded in $\mathbb{R}^{d+1}$. The problem is challenging because $d$, $m$, as well as the complexity of the approximation on $\mathbb{S}^d$ are all large, and it is necessary to estimate the accuracy keeping track of the inter-dependence of all the approximations involved. In this paper, we establish constructive methods to do this efficiently; i.e., with the constants involved in the estimates on the approximation on $\mathbb{S}^d$ being $\mathcal{O}(d^{1/6})$. We study different smoothness classes for the operators, and also propose a method for approximation of $\mathcal{F}(F)$ using only information in a small neighborhood of $F$, resulting in an effective reduction in the number of parameters involved.

Koopman运算符是无限维的运算符，可全球线性化非线性动态系统，使其光谱信息可用于理解动态。然而，Koopman运算符可以具有连续的光谱和无限维度的子空间，使得它们的光谱信息提供相当大的挑战。本文介绍了具有严格融合的数据驱动算法，用于从轨迹数据计算Koopman运算符的频谱信息。我们引入了残余动态模式分解（ResDMD），它提供了第一种用于计算普通Koopman运算符的Spectra和PseudtoStra的第一种方案，无需光谱污染。使用解析器操作员和RESDMD，我们还计算与测量保存动态系统相关的光谱度量的平滑近似。我们证明了我们的算法的显式收敛定理，即使计算连续频谱和离散频谱的密度，也可以实现高阶收敛即使是混沌系统。我们展示了在帐篷地图，高斯迭代地图，非线性摆，双摆，洛伦茨系统和11美元延长洛伦兹系统的算法。最后，我们为具有高维状态空间的动态系统提供了我们的算法的核化变体。这使我们能够计算与具有20,046维状态空间的蛋白质分子的动态相关的光谱度量，并计算出湍流流过空气的误差界限的非线性Koopman模式，其具有雷诺数为$> 10 ^ 5 $。一个295,122维的状态空间。

小组卷积神经网络（G-CNN）是卷积神经网络（CNN）的概括，通过在其体系结构中明确编码旋转和排列，在广泛的技术应用中脱颖而出。尽管G-CNN的成功是由它们的\ emph {emplapicit}对称偏见驱动的，但最近的一项工作表明，\ emph {隐式}对特定体系结构的偏差是理解过度参数化神经网的概​​括的关键。在这种情况下，我们表明，通过梯度下降训练了二进制分类的$ L $ layer全宽线性G-CNN，将二进制分类收敛到具有低级别傅立叶矩阵系数的解决方案，并由$ 2/l $ -schatten矩阵规范正规化。我们的工作严格概括了先前对线性CNN的隐性偏差对线性G-CNN的隐性分析，包括所有有限组，包括非交换组的挑战性设置（例如排列），以及无限组的频段限制G-CNN 。我们通过在各个组上实验验证定理，并在经验上探索更现实的非线性网络，该网络在局部捕获了相似的正则化模式。最后，我们通过不确定性原理提供了对傅立叶空间隐式正则化的直观解释。

Pre-publication draft of a book to be published byMorgan & Claypool publishers. Unedited version released with permission. All relevant copyrights held by the author and publisher extend to this pre-publication draft.