We propose a principled way to define Gaussian process priors on various sets of unweighted graphs: directed or undirected, with or without loops. We endow each of these sets with a geometric structure, inducing the notions of closeness and symmetries, by turning them into a vertex set of an appropriate metagraph. Building on this, we describe the class of priors that respect this structure and are analogous to the Euclidean isotropic processes, like squared exponential or Mat\'ern. We propose an efficient computational technique for the ostensibly intractable problem of evaluating these priors' kernels, making such Gaussian processes usable within the usual toolboxes and downstream applications. We go further to consider sets of equivalence classes of unweighted graphs and define the appropriate versions of priors thereon. We prove a hardness result, showing that in this case, exact kernel computation cannot be performed efficiently. However, we propose a simple Monte Carlo approximation for handling moderately sized cases. Inspired by applications in chemistry, we illustrate the proposed techniques on a real molecular property prediction task in the small data regime.

高斯过程可以说是空间统计中最重要的模型类别。他们编码有关建模功能的先前信息，可用于精确或近似贝叶斯推断。在许多应用中，尤其是在物理科学和工程中，以及在诸如地统计和神经科学等领域，对对称性的不变性是人们可以考虑的先前信息的最基本形式之一。高斯工艺与这种对称性的协方差的不变性导致了对此类空间平稳性概念的最自然概括。在这项工作中，我们开发了建设性和实用的技术，用于在在对称的背景下产生的一大批非欧基人空间上构建固定的高斯工艺。我们的技术使（i）以实用的方式计算（i）计算在此类空间上定义的先验和后高斯过程中的协方差内核和（ii）。这项工作分为两部分，每个部分涉及不同的技术考虑：第一部分研究紧凑的空间，而第二部分研究的非紧密空间具有某些结构。我们的贡献使我们研究的非欧亚人高斯流程模型与标准高斯流程软件包中可用的良好计算技术兼容，从而使从业者可以访问它们。

贝叶斯优化是一种数据高效技术，可用于机器人中的控制参数调整，参数策略适应和结构设计。这些问题中的许多问题需要优化在非欧几里德域上定义的函数，如球体，旋转组或正向矩阵的空间。为此，必须在感兴趣的空间内之前或等效地定义内核的高斯进程。有效内核通常反映它们定义的空间的几何形状，但设计它们通常是非微不足道的。基于随机部分微分方程和Laplace-Beltrami运营商的频谱理论，最近在Riemannian Mat'En内核的工作，提供了朝向构建此类几何感知内核的承诺途径。在本文中，我们研究了在机器人中的兴趣流动上实施这些内核的技术，展示了它们在一组人工基准函数上的性能，并说明了各种机器人应用的几何感知贝叶斯优化，覆盖方向控制，可操纵性优化，和运动规划，同时显示其提高性能。

高斯工艺是能够以代表不确定性的方式学习未知功能的机器学习模型，从而促进了最佳决策系统的构建。由于渴望部署新颖的科学领域的高斯过程，一种迅速增长的研究线路集中于建设性地扩展这些模型来处理非欧几里德域，包括黎曼歧管，例如球形和托尔。我们提出了概括这一类的技术，以模拟黎曼歧管上的矢量字段，这在物理科学中的许多应用领域都很重要。为此，我们介绍了构建规范独立核的一般配方，它诱导高斯矢量字段，即矢量值高斯工艺与几何形状相干，从标量值riemannian内核。我们扩展了标准高斯过程培训方法，例如变分推理，以此设置。这使得旨在使用标准方法培训的Riemannian歧管上的矢量值高斯流程，并使它们可以访问机器学习从业者。

Many scientific fields study data with an underlying structure that is a non-Euclidean space. Some examples include social networks in computational social sciences, sensor networks in communications, functional networks in brain imaging, regulatory networks in genetics, and meshed surfaces in computer graphics. In many applications, such geometric data are large and complex (in the case of social networks, on the scale of billions), and are natural targets for machine learning techniques. In particular, we would like to use deep neural networks, which have recently proven to be powerful tools for a broad range of problems from computer vision, natural language processing, and audio analysis. However, these tools have been most successful on data with an underlying Euclidean or grid-like structure, and in cases where the invariances of these structures are built into networks used to model them.Geometric deep learning is an umbrella term for emerging techniques attempting to generalize (structured) deep neural models to non-Euclidean domains such as graphs and manifolds. The purpose of this paper is to overview different examples of geometric deep learning problems and present available solutions, key difficulties, applications, and future research directions in this nascent field.

这篇综述的目的是将读者介绍到图表内，以将其应用于化学信息学中的分类问题。图内核是使我们能够推断分子的化学特性的功能，可以帮助您完成诸如寻找适合药物设计的化合物等任务。内核方法的使用只是一种特殊的两种方式量化了图之间的相似性。我们将讨论限制在这种方法上，尽管近年来已经出现了流行的替代方法，但最著名的是图形神经网络。

散射变换是一种基于小波的多层转换，最初是作为卷积神经网络（CNN）的模型引入的，它在我们对这些网络稳定性和不变性属性的理解中发挥了基础作用。随后，人们普遍兴趣将CNN的成功扩展到具有非欧盟结构的数据集，例如图形和歧管，从而导致了几何深度学习的新兴领域。为了提高我们对这个新领域中使用的体系结构的理解，几篇论文提出了对非欧几里得数据结构（如无方向的图形和紧凑的Riemannian歧管）的散射转换的概括。在本文中，我们介绍了一个通用的统一模型，用于测量空间上的几何散射。我们提出的框架包括以前的几何散射作品作为特殊情况，但也适用于更通用的设置，例如有向图，签名图和带边界的歧管。我们提出了一个新标准，该标准可以识别哪些有用表示应该不变的组，并表明该标准足以确保散射变换具有理想的稳定性和不变性属性。此外，我们考虑从随机采样未知歧管获得的有限度量空间。我们提出了两种构造数据驱动图的方法，在该图上相关的图形散射转换近似于基础歧管上的散射变换。此外，我们使用基于扩散图的方法来证明这些近似值之一的收敛速率的定量估计值，因为样品点的数量趋向于无穷大。最后，我们在球形图像，有向图和高维单细胞数据上展示了方法的实用性。

马尔可夫链是一类概率模型，在定量科学中已广泛应用。这部分是由于它们的多功能性，但是可以通过分析探测的便利性使其更加复杂。本教程为马尔可夫连锁店提供了深入的介绍，并探索了它们与图形和随机步行的联系。我们利用从线性代数和图形论的工具来描述不同类型的马尔可夫链的过渡矩阵，特别着眼于探索与这些矩阵相对应的特征值和特征向量的属性。提出的结果与机器学习和数据挖掘中的许多方法有关，我们在各个阶段描述了这些方法。本文并没有本身就成为一项新颖的学术研究，而是提出了一些已知结果的集合以及一些新概念。此外，该教程的重点是向读者提供直觉，而不是正式的理解，并且仅假定对线性代数和概率理论的概念的基本曝光。因此，来自各种学科的学生和研究人员可以访问它。

图表表示学习有许多现实世界应用，从超级分辨率的成像，3D计算机视觉到药物重新扫描，蛋白质分类，社会网络分析。图表数据的足够表示对于图形结构数据的统计或机器学习模型的学习性能至关重要。在本文中，我们提出了一种用于图形数据的新型多尺度表示系统，称为抽取帧的图形数据，其在图表上形成了本地化的紧密框架。抽取的帧系统允许在粗粒链上存储图形数据表示，并在每个比例的多个尺度处处理图形数据，数据存储在子图中。基于此，我们通过建设性数据驱动滤波器组建立用于在多分辨率下分解和重建图数据的抽取G-Framewelet变换。图形帧构建基于基于链的正交基础，支持快速图傅里叶变换。由此，我们为抽取的G-Frameword变换或FGT提供了一种快速算法，该算法具有线性计算复杂度O（n），用于尺寸N的图表。用数值示例验证抽取的帧谱和FGT的理论，用于随机图形。现实世界应用的效果是展示的，包括用于交通网络的多分辨率分析，以及图形分类任务的图形神经网络。

Linear partial differential equations (PDEs) are an important, widely applied class of mechanistic models, describing physical processes such as heat transfer, electromagnetism, and wave propagation. In practice, specialized numerical methods based on discretization are used to solve PDEs. They generally use an estimate of the unknown model parameters and, if available, physical measurements for initialization. Such solvers are often embedded into larger scientific models or analyses with a downstream application such that error quantification plays a key role. However, by entirely ignoring parameter and measurement uncertainty, classical PDE solvers may fail to produce consistent estimates of their inherent approximation error. In this work, we approach this problem in a principled fashion by interpreting solving linear PDEs as physics-informed Gaussian process (GP) regression. Our framework is based on a key generalization of a widely-applied theorem for conditioning GPs on a finite number of direct observations to observations made via an arbitrary bounded linear operator. Crucially, this probabilistic viewpoint allows to (1) quantify the inherent discretization error; (2) propagate uncertainty about the model parameters to the solution; and (3) condition on noisy measurements. Demonstrating the strength of this formulation, we prove that it strictly generalizes methods of weighted residuals, a central class of PDE solvers including collocation, finite volume, pseudospectral, and (generalized) Galerkin methods such as finite element and spectral methods. This class can thus be directly equipped with a structured error estimate and the capability to incorporate uncertain model parameters and observations. In summary, our results enable the seamless integration of mechanistic models as modular building blocks into probabilistic models.

近年来，基于Weisfeiler-Leman算法的算法和神经架构，是一个众所周知的Graph同构问题的启发式问题，它成为具有图形和关系数据的机器学习的强大工具。在这里，我们全面概述了机器学习设置中的算法的使用，专注于监督的制度。我们讨论了理论背景，展示了如何将其用于监督的图形和节点表示学习，讨论最近的扩展，并概述算法的连接（置换 - ）方面的神经结构。此外，我们概述了当前的应用和未来方向，以刺激进一步的研究。

高斯过程（GPS）提供了对图表的推理和学习的原则和直接的方法。然而，缺乏用于时空建模的正义的图形内核已经备份了在图形问题中的使用。我们在图形上利用随机偏微分方程（SPDES）和GPS之间的显式链接，并导出捕获空间和时间交互的不可分离的时空图形内核。我们制定了随机热方程和波动方程的图形核。我们展示通过为图形提供新颖的时空GP建模的新型工具，我们在特征扩散，振荡和其他复杂交互中的实际应用中优先于现有的图形内核。

在非参数回归中，落在欧几里德空间的限制子集中是常见的。基于典型的内核的方法，不考虑收集观察的域的内在几何学可能产生次优效果。在本文中，我们专注于在高斯过程（GP）模型的背景下解决这个问题，提出了一种新的基于Graplacian的GPS（GL-GPS），该GPS（GL-GPS），该GPS（GL-GPS）学习尊重输入域几何的协方差。随着热核的难以计算地，我们使用Prop Laplacian（GL）的有限许多特征方来近似协方差。 GL由内核构成，仅取决于输入的欧几里德坐标。因此，我们可以从关于内核的完整知识中受益，以通过NYSTR \“{o} M型扩展来将协方差结构扩展到新到达的样本。我们为GL-GP方法提供了实质性的理论支持，并说明了性能提升各种应用。

在过去十年中，图形内核引起了很多关注，并在结构化数据上发展成为一种快速发展的学习分支。在过去的20年中，该领域发生的相当大的研究活动导致开发数十个图形内核，每个图形内核都对焦于图形的特定结构性质。图形内核已成功地成功地在广泛的域中，从社交网络到生物信息学。本调查的目标是提供图形内核的文献的统一视图。特别是，我们概述了各种图形内核。此外，我们对公共数据集的几个内核进行了实验评估，并提供了比较研究。最后，我们讨论图形内核的关键应用，并概述了一些仍有待解决的挑战。

这项调查旨在提供线性模型及其背后的理论的介绍。我们的目标是对读者进行严格的介绍，并事先接触普通最小二乘。在机器学习中，输出通常是输入的非线性函数。深度学习甚至旨在找到需要大量计算的许多层的非线性依赖性。但是，这些算法中的大多数都基于简单的线性模型。然后，我们从不同视图中描述线性模型，并找到模型背后的属性和理论。线性模型是回归问题中的主要技术，其主要工具是最小平方近似，可最大程度地减少平方误差之和。当我们有兴趣找到回归函数时，这是一个自然的选择，该回归函数可以最大程度地减少相应的预期平方误差。这项调查主要是目的的摘要，即线性模型背后的重要理论的重要性，例如分布理论，最小方差估计器。我们首先从三种不同的角度描述了普通的最小二乘，我们会以随机噪声和高斯噪声干扰模型。通过高斯噪声，该模型产生了可能性，因此我们引入了最大似然估计器。它还通过这种高斯干扰发展了一些分布理论。最小二乘的分布理论将帮助我们回答各种问题并引入相关应用。然后，我们证明最小二乘是均值误差的最佳无偏线性模型，最重要的是，它实际上接近了理论上的极限。我们最终以贝叶斯方法及以后的线性模型结束。

Research in Graph Signal Processing (GSP) aims to develop tools for processing data defined on irregular graph domains. In this paper we first provide an overview of core ideas in GSP and their connection to conventional digital signal processing, along with a brief historical perspective to highlight how concepts recently developed in GSP build on top of prior research in other areas. We then summarize recent advances in developing basic GSP tools, including methods for sampling, filtering or graph learning. Next, we review progress in several application areas using GSP, including processing and analysis of sensor network data, biological data, and applications to image processing and machine learning.

我们介绍了一种新颖的谐波分析，用于在函数上定义的函数，随机步行操作员是基石。作为第一步，我们将随机步行操作员的一组特征向量作为非正交傅里叶类型的功能，用于通过定向图。我们通过将从其Dirichlet能量获得的随机步行操作员的特征向量的变化与其相关的特征值的真实部分连接来发现频率解释。从这个傅立叶基础，我们可以进一步继续，并在有向图中建立多尺度分析。通过将Coifman和MagGioni扩展到定向图，我们提出了一种冗余小波变换和抽取的小波变换。因此，我们对导向图的谐波分析的发展导致我们考虑应用于突出了我们框架效率的指示图的图形上的半监督学习问题和信号建模问题。

We propose a novel method for constructing wavelet transforms of functions defined on the vertices of an arbitrary finite weighted graph. Our approach is based on defining scaling using the the graph analogue of the Fourier domain, namely the spectral decomposition of the discrete graph Laplacian L. Given a wavelet generating kernel g and a scale parameter t, we define the scaled wavelet operator T t g = g(tL). The spectral graph wavelets are then formed by localizing this operator by applying it to an indicator function. Subject to an admissibility condition on g, this procedure defines an invertible transform. We explore the localization properties of the wavelets in the limit of fine scales. Additionally, we present a fast Chebyshev polynomial approximation algorithm for computing the transform that avoids the need for diagonalizing L. We highlight potential applications of the transform through examples of wavelets on graphs corresponding to a variety of different problem domains.

Pre-publication draft of a book to be published byMorgan & Claypool publishers. Unedited version released with permission. All relevant copyrights held by the author and publisher extend to this pre-publication draft.

In applications such as social, energy, transportation, sensor, and neuronal networks, high-dimensional data naturally reside on the vertices of weighted graphs. The emerging field of signal processing on graphs merges algebraic and spectral graph theoretic concepts with computational harmonic analysis to process such signals on graphs. In this tutorial overview, we outline the main challenges of the area, discuss different ways to define graph spectral domains, which are the analogues to the classical frequency domain, and highlight the importance of incorporating the irregular structures of graph data domains when processing signals on graphs. We then review methods to generalize fundamental operations such as filtering, translation, modulation, dilation, and downsampling to the graph setting, and survey the localized, multiscale transforms that have been proposed to efficiently extract information from high-dimensional data on graphs. We conclude with a brief discussion of open issues and possible extensions.