图形信号处理（GSP）中的基本前提是，将目标信号的成对（反）相关性作为边缘权重以用于图形过滤。但是，现有的快速图抽样方案仅针对描述正相关的正图设计和测试。在本文中，我们表明，对于具有强固有抗相关的数据集，合适的图既包含正边缘和负边缘。作为响应，我们提出了一种以平衡签名图的概念为中心的线性时间签名的图形采样方法。具体而言，给定的经验协方差数据矩阵$ \ bar {\ bf {c}} $，我们首先学习一个稀疏的逆矩阵（Graph laplacian）$ \ MATHCAL {l} $对应于签名图$ \ Mathcal $ \ Mathcal {G} $ 。我们为平衡签名的图形$ \ Mathcal {g} _b $ - 近似$ \ Mathcal {g} $通过Edge Exge Exgement Exgmentation -As Graph频率组件定义Laplacian $ \ Mathcal {L} _b $的特征向量。接下来，我们选择样品以将低通滤波器重建误差分为两个步骤最小化。我们首先将Laplacian $ \ Mathcal {L} _b $的所有Gershgorin圆盘左端对齐，最小的EigenValue $ \ lambda _ {\ min}（\ Mathcal {l} _b）$通过相似性转换$ \ MATHCAL $ \ MATHCAL} s \ Mathcal {l} _b \ s^{ - 1} $，利用最新的线性代数定理，称为gershgorin disc perfect perfect对齐（GDPA）。然后，我们使用以前的快速gershgorin盘式对齐采样（GDAS）方案对$ \ Mathcal {L} _p $进行采样。实验结果表明，我们签名的图形采样方法在各种数据集上明显优于现有的快速采样方案。

在半监督的基于图的二进制分类器学习中，假设标签信号$ \ mathbf {x} $相对于相似性，则使用已知标签的子集$ \ hat {x} _i $来推断未知标签图形由拉普拉斯矩阵指定。当将标签$ x_i $限制为二进制值时，问题是NP-HARD。虽然可以在多项式时间内使用乘数的交替方向方法（ADMM）在多项式时间内解决常规半准编程放松（SDR），但投射候选矩阵$ \ mathbf {m mathbf {m mathbf {m} $的复杂性-definite（PSD）锥（$ \ Mathbf {M} \ succeq 0 $）每个迭代仍然很高。在本文中，我们利用一种称为Gershgorin Disc Perfect Alignment（GDPA）的最新线性代数理论，我们通过求解一系列线性程序（LP）提出了一种快速投影方法。具体而言，我们首先将SDR重新铸造为二元，其中可行的解决方案$ \ mathbf {h} \ succeq 0 $解释为与平衡签名的图相对应的laplacian矩阵减去最后一个节点。为了达到图表平衡，我们将最后一个节点分为两个，每个节点保留了原始的正 /负边缘，从而导致新的laplacian $ \ bar {\ mathbf {h}} $。我们在解决方案$ \ bar {\ mathbf {h}} $上放置sdr dual，然后替换PSD锥约束$ \ bar {\ Mathbf {h} \ succeq 0 $，具有从GDPA衍生的线性约束 - 可确保足够的条件 - 确保足够的条件$ \ bar {\ mathbf {h}} $是psd-因此，优化成为LP，每次迭代。最后，我们从融合解决方案$ \ bar {\ mathbf {h}} $中提取预测标签。实验表明，我们的算法在下一个最快的方案中享受了$ 28 \ times $速度，同时达到了可比的标签预测性能。

In applications such as social, energy, transportation, sensor, and neuronal networks, high-dimensional data naturally reside on the vertices of weighted graphs. The emerging field of signal processing on graphs merges algebraic and spectral graph theoretic concepts with computational harmonic analysis to process such signals on graphs. In this tutorial overview, we outline the main challenges of the area, discuss different ways to define graph spectral domains, which are the analogues to the classical frequency domain, and highlight the importance of incorporating the irregular structures of graph data domains when processing signals on graphs. We then review methods to generalize fundamental operations such as filtering, translation, modulation, dilation, and downsampling to the graph setting, and survey the localized, multiscale transforms that have been proposed to efficiently extract information from high-dimensional data on graphs. We conclude with a brief discussion of open issues and possible extensions.

Research in Graph Signal Processing (GSP) aims to develop tools for processing data defined on irregular graph domains. In this paper we first provide an overview of core ideas in GSP and their connection to conventional digital signal processing, along with a brief historical perspective to highlight how concepts recently developed in GSP build on top of prior research in other areas. We then summarize recent advances in developing basic GSP tools, including methods for sampling, filtering or graph learning. Next, we review progress in several application areas using GSP, including processing and analysis of sensor network data, biological data, and applications to image processing and machine learning.

我们的目标是有效地计算输入图中的节点的低维潜在坐标 - 称为图形嵌入 - 用于后续数据处理，例如群集。专注于在连续歧管上解释为均匀样品的有限图（称为歧管图），我们利用现有的快速极端特征向量计算算法来快速执行。我们首先为稀疏矩阵配对构成普遍的特征值问题，其中$ \ a = \ l - \ mu \ q + \ epsilon \ i $是图表拉普拉斯$ \ l \ l的总和断开双跳差异矩阵$ \ q $。特征向量$ \ v $最小化瑞利商$ \ frac {\ v ^ {\ top} \ top} \ a \ a \ v} $，从而最大限度地降低$ 1 $ -hop邻居距离，同时最大化断开连接2美元之间的距离$ -hop邻居，保留图形结构。矩阵$ \ b = \ text {diag}（\ {\ b_i \}），然后选择定义特征向量正交性，以便采样域中的边界/内部节点具有相同的广义度。 $ k $ -dimensional潜在的$ n $ graph节点是$（\ a，\ b）$的$ k $概括的特征向量，在$ \ co（n）$中使用lobpcg，其中$ k \ ll n $。实验表明，我们的嵌入是文献中最快的，同时为歧管图产生了最佳聚类性能。

我们介绍了一种新颖的谐波分析，用于在函数上定义的函数，随机步行操作员是基石。作为第一步，我们将随机步行操作员的一组特征向量作为非正交傅里叶类型的功能，用于通过定向图。我们通过将从其Dirichlet能量获得的随机步行操作员的特征向量的变化与其相关的特征值的真实部分连接来发现频率解释。从这个傅立叶基础，我们可以进一步继续，并在有向图中建立多尺度分析。通过将Coifman和MagGioni扩展到定向图，我们提出了一种冗余小波变换和抽取的小波变换。因此，我们对导向图的谐波分析的发展导致我们考虑应用于突出了我们框架效率的指示图的图形上的半监督学习问题和信号建模问题。

在县粒度上预测每年农作物的产量对于国家粮食生产和价格稳定至关重要。在本文中，为了实现更好的作物产量预测，利用最新的图形信号处理（GSP）工具来利用相邻县之间的空间相关性，我们通过图形光谱滤波来证明相关的特征，这些特征是深度学习预测模型的输入。具体而言，我们首先构建一个具有边缘权重的组合图，该图可以通过公制学习编码土壤和位置特征的县对县的相似性。然后，我们通过最大的后验（MAP）配方使用图形laplacian正常化程序（GLR）来定性特征。我们关注的挑战是估算关键的权重参数$ \ mu $，交易忠诚度和GLR，这是噪声差异的函数，以无监督的方式。我们首先使用发现局部恒定区域的图集集合检测（GCD）过程直接从噪声浪费的图形信号估算噪声方差。然后，我们通过通过偏置变化分析来计算最佳$ \ mu $最大程度地减少近似平方误差函数。收集到的USDA数据的实验结果表明，使用DeNo的特征作为输入，可以明显改善作物产量预测模型的性能。

我们研究了以模型为简单络合物的抽象拓扑空间支撑的处理信号的线性过滤器，可以解释为解释节点，边缘，三角形面的图形的概括等，以处理此类信号，我们开发了定义为Matrix polynomials的简单卷积过滤器下霍德·拉普拉斯人的下部和上部。首先，我们研究了这些过滤器的特性，并表明它们是线性和转移不变的，以及置换和定向等效的。这些过滤器也可以以低计算复杂性的分布式方式实现，因为它们仅涉及（多个回合）上层和下相邻简单之间的简单转移。其次，着眼于边缘流，我们研究了这些过滤器的频率响应，并研究了如何使用Hodge分类来描述梯度，卷曲和谐波频率。我们讨论了这些频率如何对应于霍德拉普拉斯（Hodge laplacian）的下部和上等耦合以及上的核心，并且可以通过我们的滤波器设计独立调整。第三，我们研究设计简单卷积过滤器并讨论其相对优势的不同程序。最后，我们在几种应用中证实了简单过滤器：提取简单信号的不同频率组件，以denoise边缘流量以及分析金融市场和交通网络。

在本文中，我们考虑了一个$ {\ rm u}（1）$ - 连接图，也就是说，每个方向的边缘都赋予了一个单位模量复杂的数字，该数字在方向翻转下简单地结合了。当时，组合laplacian的自然替代品是所谓的磁性拉普拉斯（Hermitian Matrix），其中包括有关图形连接的信息。连接图和磁性拉普拉斯人出现，例如在角度同步问题中。在较大且密集的图的背景下，我们在这里研究了磁性拉普拉斯的稀疏器，即基于边缘很少的子图的光谱近似值。我们的方法依赖于使用自定义的确定点过程对跨越森林（MTSF）进行取样，这是一种比偏爱多样性的边缘的分布。总而言之，MTSF是一个跨越子图，其连接的组件是树或周期根的树。后者部分捕获了连接图的角不一致，因此提供了一种压缩连接中包含的信息的方法。有趣的是，当此连接图具有弱不一致的周期时，可以通过使用循环弹出的随机行走来获得此分布的样本。我们为选择Laplacian的自然估计量提供了统计保证，并调查了我们的Sparsifier在两个应用中的实际应用。

马尔可夫链是一类概率模型，在定量科学中已广泛应用。这部分是由于它们的多功能性，但是可以通过分析探测的便利性使其更加复杂。本教程为马尔可夫连锁店提供了深入的介绍，并探索了它们与图形和随机步行的联系。我们利用从线性代数和图形论的工具来描述不同类型的马尔可夫链的过渡矩阵，特别着眼于探索与这些矩阵相对应的特征值和特征向量的属性。提出的结果与机器学习和数据挖掘中的许多方法有关，我们在各个阶段描述了这些方法。本文并没有本身就成为一项新颖的学术研究，而是提出了一些已知结果的集合以及一些新概念。此外，该教程的重点是向读者提供直觉，而不是正式的理解，并且仅假定对线性代数和概率理论的概念的基本曝光。因此，来自各种学科的学生和研究人员可以访问它。

Kernel matrices, as well as weighted graphs represented by them, are ubiquitous objects in machine learning, statistics and other related fields. The main drawback of using kernel methods (learning and inference using kernel matrices) is efficiency -- given $n$ input points, most kernel-based algorithms need to materialize the full $n \times n$ kernel matrix before performing any subsequent computation, thus incurring $\Omega(n^2)$ runtime. Breaking this quadratic barrier for various problems has therefore, been a subject of extensive research efforts. We break the quadratic barrier and obtain $\textit{subquadratic}$ time algorithms for several fundamental linear-algebraic and graph processing primitives, including approximating the top eigenvalue and eigenvector, spectral sparsification, solving linear systems, local clustering, low-rank approximation, arboricity estimation and counting weighted triangles. We build on the recent Kernel Density Estimation framework, which (after preprocessing in time subquadratic in $n$) can return estimates of row/column sums of the kernel matrix. In particular, we develop efficient reductions from $\textit{weighted vertex}$ and $\textit{weighted edge sampling}$ on kernel graphs, $\textit{simulating random walks}$ on kernel graphs, and $\textit{importance sampling}$ on matrices to Kernel Density Estimation and show that we can generate samples from these distributions in $\textit{sublinear}$ (in the support of the distribution) time. Our reductions are the central ingredient in each of our applications and we believe they may be of independent interest. We empirically demonstrate the efficacy of our algorithms on low-rank approximation (LRA) and spectral sparsification, where we observe a $\textbf{9x}$ decrease in the number of kernel evaluations over baselines for LRA and a $\textbf{41x}$ reduction in the graph size for spectral sparsification.

We consider the nonlinear inverse problem of learning a transition operator $\mathbf{A}$ from partial observations at different times, in particular from sparse observations of entries of its powers $\mathbf{A},\mathbf{A}^2,\cdots,\mathbf{A}^{T}$. This Spatio-Temporal Transition Operator Recovery problem is motivated by the recent interest in learning time-varying graph signals that are driven by graph operators depending on the underlying graph topology. We address the nonlinearity of the problem by embedding it into a higher-dimensional space of suitable block-Hankel matrices, where it becomes a low-rank matrix completion problem, even if $\mathbf{A}$ is of full rank. For both a uniform and an adaptive random space-time sampling model, we quantify the recoverability of the transition operator via suitable measures of incoherence of these block-Hankel embedding matrices. For graph transition operators these measures of incoherence depend on the interplay between the dynamics and the graph topology. We develop a suitable non-convex iterative reweighted least squares (IRLS) algorithm, establish its quadratic local convergence, and show that, in optimal scenarios, no more than $\mathcal{O}(rn \log(nT))$ space-time samples are sufficient to ensure accurate recovery of a rank-$r$ operator $\mathbf{A}$ of size $n \times n$. This establishes that spatial samples can be substituted by a comparable number of space-time samples. We provide an efficient implementation of the proposed IRLS algorithm with space complexity of order $O(r n T)$ and per-iteration time complexity linear in $n$. Numerical experiments for transition operators based on several graph models confirm that the theoretical findings accurately track empirical phase transitions, and illustrate the applicability and scalability of the proposed algorithm.

In recent years, spectral clustering has become one of the most popular modern clustering algorithms. It is simple to implement, can be solved efficiently by standard linear algebra software, and very often outperforms traditional clustering algorithms such as the k-means algorithm. On the first glance spectral clustering appears slightly mysterious, and it is not obvious to see why it works at all and what it really does. The goal of this tutorial is to give some intuition on those questions. We describe different graph Laplacians and their basic properties, present the most common spectral clustering algorithms, and derive those algorithms from scratch by several different approaches. Advantages and disadvantages of the different spectral clustering algorithms are discussed.

图形卷积网络（GCN）已被证明是一个有力的概念，在过去几年中，已成功应用于许多领域的各种任务。在这项工作中，我们研究了为GCN定义铺平道路的理论，包括经典图理论的相关部分。我们还讨论并在实验上证明了GCN的关键特性和局限性，例如由样品的统计依赖性引起的，该图由图的边缘引入，这会导致完整梯度的估计值偏置。我们讨论的另一个限制是Minibatch采样对模型性能的负面影响。结果，在参数更新期间，在整个数据集上计算梯度，从而破坏了对大图的可扩展性。为了解决这个问题，我们研究了替代方法，这些方法允许在每次迭代中仅采样一部分数据，可以安全地学习良好的参数。我们重现了KIPF等人的工作中报告的结果。并提出一个灵感签名的实现，这是一种无抽样的minibatch方法。最终，我们比较了基准数据集上的两个实现，证明它们在半监督节点分类任务的预测准确性方面是可比的。

随机块模型（SBM）是一个随机图模型，其连接不同的顶点组不同。它被广泛用作研究聚类和社区检测的规范模型，并提供了肥沃的基础来研究组合统计和更普遍的数据科学中出现的信息理论和计算权衡。该专着调查了最近在SBM中建立社区检测的基本限制的最新发展，无论是在信息理论和计算方案方面，以及各种恢复要求，例如精确，部分和弱恢复。讨论的主要结果是在Chernoff-Hellinger阈值中进行精确恢复的相转换，Kesten-Stigum阈值弱恢复的相变，最佳的SNR - 单位信息折衷的部分恢复以及信息理论和信息理论之间的差距计算阈值。该专着给出了在寻求限制时开发的主要算法的原则推导，特别是通过绘制绘制，半定义编程，（线性化）信念传播，经典/非背带频谱和图形供电。还讨论了其他块模型的扩展，例如几何模型和一些开放问题。

在经典曲线图中，给定实值曲线图信号，其曲线图傅里叶变换通常被定义为信号和图表拉普拉斯的每个特征向量之间的内部产品。不幸的是，在矢量值图表信号的情况下，该定义在数学上没有数学上有效，然而，在最先进的图表学习建模和分析中是典型的操作数。因此，寻求向矢量值信号解码的广义转换，因此本文的主要目的是本文的主要目的。探索了几次尝试，并且还发现在邻接等级的分层水平下进行转换，有助于更容易提高信号的光谱特性。拟议的方法被引入为一个新工具，协助图表学习模型的诊断和分析行为。

我们研究了估计多元高斯分布中的精度矩阵的问题，其中所有部分相关性都是非负面的，也称为多变量完全阳性的顺序阳性（$ \ mathrm {mtp} _2 $）。近年来，这种模型得到了重大关注，主要是由于有趣的性质，例如，无论底层尺寸如何，最大似然估计值都存在于两个观察。我们将此问题作为加权$ \ ell_1 $ -norm正常化高斯的最大似然估计下$ \ mathrm {mtp} _2 $约束。在此方向上，我们提出了一种新颖的预计牛顿样算法，该算法包含精心设计的近似牛顿方向，这导致我们具有与一阶方法相同的计算和内存成本的算法。我们证明提出的预计牛顿样算法会聚到问题的最小值。从理论和实验中，我们进一步展示了我们使用加权$ \ ell_1 $ -norm的制剂的最小化器能够正确地恢复基础精密矩阵的支持，而无需在$ \ ell_1 $ -norm中存在不连贯状态方法。涉及合成和实世界数据的实验表明，我们所提出的算法从计算时间透视比最先进的方法显着更有效。最后，我们在金融时序数据中应用我们的方法，这些数据对于显示积极依赖性，在那里我们在学习金融网络上的模块间值方面观察到显着性能。

Graph clustering is a fundamental problem in unsupervised learning, with numerous applications in computer science and in analysing real-world data. In many real-world applications, we find that the clusters have a significant high-level structure. This is often overlooked in the design and analysis of graph clustering algorithms which make strong simplifying assumptions about the structure of the graph. This thesis addresses the natural question of whether the structure of clusters can be learned efficiently and describes four new algorithmic results for learning such structure in graphs and hypergraphs. All of the presented theoretical results are extensively evaluated on both synthetic and real-word datasets of different domains, including image classification and segmentation, migration networks, co-authorship networks, and natural language processing. These experimental results demonstrate that the newly developed algorithms are practical, effective, and immediately applicable for learning the structure of clusters in real-world data.

The stochastic block model (SBM) is a random graph model with planted clusters. It is widely employed as a canonical model to study clustering and community detection, and provides generally a fertile ground to study the statistical and computational tradeoffs that arise in network and data sciences.This note surveys the recent developments that establish the fundamental limits for community detection in the SBM, both with respect to information-theoretic and computational thresholds, and for various recovery requirements such as exact, partial and weak recovery (a.k.a., detection). The main results discussed are the phase transitions for exact recovery at the Chernoff-Hellinger threshold, the phase transition for weak recovery at the Kesten-Stigum threshold, the optimal distortion-SNR tradeoff for partial recovery, the learning of the SBM parameters and the gap between information-theoretic and computational thresholds.The note also covers some of the algorithms developed in the quest of achieving the limits, in particular two-round algorithms via graph-splitting, semi-definite programming, linearized belief propagation, classical and nonbacktracking spectral methods. A few open problems are also discussed.

我们提出了一种新的形式的傅立叶分析以及相关的信号处理概念，该信号（或数据）由边缘加权的定向无环图（DAGS）索引。这意味着我们的傅立叶基础产生了我们定义的适当的转移和卷积操作员的概念。 DAG是捕获数据之间因果关系的常见模型，而我们的框架在这​​种转变，卷积和傅立叶变换中仅是从DAG中的前辈计算出来的。傅立叶变换需要DAG的传递闭合，根据边缘重量的解释，可能会为此形式。示例包括影响水平，距离或污染分布。我们的框架与先前的GSP不同：它特定于DAG和杠杆，并扩展了Moebius反转的经典理论。对于原型应用，我们考虑DAGS建模动态网络，其中边缘会随着时间而变化。具体而言，我们对感染的传播对从现实世界接触数据获得的DAG进行建模，并从样品中学习感染信号，假设傅立叶域中的稀疏性。