我们提出了一种凸锥程序，可推断随机点产品图（RDPG）的潜在概率矩阵。优化问题最大化Bernoulli最大似然函数，增加核规范正则化术语。双重问题具有特别良好的形式，与众所周知的SemideFinite程序放松MaxCut问题有关。使用原始双功率条件，我们绑定了原始和双解决方案的条目和等级。此外，我们在轻微的技术假设下绑定了最佳目标值并证明了略微修改模型的概率估计的渐近一致性。我们对合成RDPG的实验不仅恢复了自然集群，而且还揭示了原始数据的下面的低维几何形状。我们还证明该方法在空手道俱乐部图表和合成美国参议图中恢复潜在结构，并且可以扩展到最多几百个节点的图表。

The affine rank minimization problem consists of finding a matrix of minimum rank that satisfies a given system of linear equality constraints. Such problems have appeared in the literature of a diverse set of fields including system identification and control, Euclidean embedding, and collaborative filtering. Although specific instances can often be solved with specialized algorithms, the general affine rank minimization problem is NP-hard, because it contains vector cardinality minimization as a special case.In this paper, we show that if a certain restricted isometry property holds for the linear transformation defining the constraints, the minimum rank solution can be recovered by solving a convex optimization problem, namely the minimization of the nuclear norm over the given affine space. We present several random ensembles of equations where the restricted isometry property holds with overwhelming probability, provided the codimension of the subspace is Ω(r(m + n) log mn), where m, n are the dimensions of the matrix, and r is its rank.The techniques used in our analysis have strong parallels in the compressed sensing framework. We discuss how affine rank minimization generalizes this pre-existing concept and outline a dictionary relating concepts from cardinality minimization to those of rank minimization. We also discuss several algorithmic approaches to solving the norm minimization relaxations, and illustrate our results with numerical examples.

Network data are ubiquitous in modern machine learning, with tasks of interest including node classification, node clustering and link prediction. A frequent approach begins by learning an Euclidean embedding of the network, to which algorithms developed for vector-valued data are applied. For large networks, embeddings are learned using stochastic gradient methods where the sub-sampling scheme can be freely chosen. Despite the strong empirical performance of such methods, they are not well understood theoretically. Our work encapsulates representation methods using a subsampling approach, such as node2vec, into a single unifying framework. We prove, under the assumption that the graph is exchangeable, that the distribution of the learned embedding vectors asymptotically decouples. Moreover, we characterize the asymptotic distribution and provided rates of convergence, in terms of the latent parameters, which includes the choice of loss function and the embedding dimension. This provides a theoretical foundation to understand what the embedding vectors represent and how well these methods perform on downstream tasks. Notably, we observe that typically used loss functions may lead to shortcomings, such as a lack of Fisher consistency.

社区检测是网络科学中的一个基本问题。在本文中，我们考虑了从$ HyperGraph $ $ $ $ $ $ $ $ $ $ $ $ $ $ $（HSBM）中绘制的HyperGraphs中的社区检测，重点是精确的社区恢复。在整个超图未知的情况下，我们研究了多项式时间算法以进行社区检测的性能。取而代之的是，我们获得了$相似性$ $ $ $ $ $ $ w $，其中$ w_ {ij} $报告包含$ i $和$ j $的超补品的数量。在此信息模型下，Kim，Bandeira和Goemans [KBG18]确定了信息理论阈值，以进行精确恢复，并提出了他们认为是最佳的半决赛编程松弛。在本文中，我们确认了这个猜想。我们还表明，一种简单，高效的光谱算法是最佳的，将光谱算法作为选择方法。我们对光谱算法的分析至关重要地依赖于$ w $的特征向量上的强$ entrywise $界限。我们的边界灵感来自Abbe，Fan，Wang和Zhong [AFWZ20]的工作，他们开发了具有独立条目的对称矩阵的特征向量的进入界。尽管相似性矩阵的依赖性结构复杂，但我们证明了相似的入口保证。

随机块模型（SBM）是一个随机图模型，其连接不同的顶点组不同。它被广泛用作研究聚类和社区检测的规范模型，并提供了肥沃的基础来研究组合统计和更普遍的数据科学中出现的信息理论和计算权衡。该专着调查了最近在SBM中建立社区检测的基本限制的最新发展，无论是在信息理论和计算方案方面，以及各种恢复要求，例如精确，部分和弱恢复。讨论的主要结果是在Chernoff-Hellinger阈值中进行精确恢复的相转换，Kesten-Stigum阈值弱恢复的相变，最佳的SNR - 单位信息折衷的部分恢复以及信息理论和信息理论之间的差距计算阈值。该专着给出了在寻求限制时开发的主要算法的原则推导，特别是通过绘制绘制，半定义编程，（线性化）信念传播，经典/非背带频谱和图形供电。还讨论了其他块模型的扩展，例如几何模型和一些开放问题。

我们提出了对学度校正随机块模型（DCSBM）的合适性测试。该测试基于调整后的卡方统计量，用于测量$ n $多项式分布的组之间的平等性，该分布具有$ d_1，\ dots，d_n $观测值。在网络模型的背景下，多项式的数量（$ n $）的数量比观测值数量（$ d_i $）快得多，与节点$ i $的度相对应，因此设置偏离了经典的渐近学。我们表明，只要$ \ {d_i \} $的谐波平均值生长到无穷大，就可以使统计量在NULL下分配。顺序应用时，该测试也可以用于确定社区数量。该测试在邻接矩阵的压缩版本上进行操作，因此在学位上有条件，因此对大型稀疏网络具有高度可扩展性。我们结合了一个新颖的想法，即在测试$ K $社区时根据$（k+1）$ - 社区分配来压缩行。这种方法在不牺牲计算效率的情况下增加了顺序应用中的力量，我们证明了它在恢复社区数量方面的一致性。由于测试统计量不依赖于特定的替代方案，因此其效用超出了顺序测试，可用于同时测试DCSBM家族以外的各种替代方案。特别是，我们证明该测试与具有社区结构的潜在可变性网络模型的一般家庭一致。

众所周知，许多网络系统，例如电网，大脑和舆论动态社交网络，都可以遵守保护法。这种现象的例子包括电网中的基尔乔夫法律和社交网络中的意见共识。网络系统中的保护定律可以建模为$ x = b^{*} y $的平衡方程，其中$ b^{*} $的稀疏模式捕获了网络的连接，$ y，x \在\ mathbb {r}^p $中分别是节点上“电势”和“注入流”的向量。节点电位$ y $会导致跨边缘的流量，并且在节点上注入的流量$ x $是网络动力学的无关紧要的。在几个实用的系统中，网络结构通常是未知的，需要从数据估算。为此，可以访问节点电位$ y $的样本，但只有节点注射$ x $的统计信息。在这个重要问题的激励下，我们研究了$ n $ y $ y $ y $ y $ y $ y $ y $ y $ b^{*} $稀疏结构的估计，假设节点注射$ x $遵循高斯分布，并带有已知的发行协方差$ \ sigma_x $。我们建议在高维度中为此问题的新$ \ ell_ {1} $ - 正则最大似然估计器，网络的大小$ p $大于样本量$ n $。我们表明，此优化问题是目标中的凸，并接受了独特的解决方案。在新的相互不一致的条件下，我们在三重$（n，p，d）$上建立了足够的条件，对于$ b^{*} $的精确稀疏恢复是可能的； $ d $是图的程度。我们还建立了在元素最大，Frobenius和运营商规范中回收$ b^{*} $的保证。最后，我们通过对拟议估计量对合成和现实世界数据的性能进行实验验证来补充这些理论结果。

通过学习网络节点的欧几里德嵌入的欧几里德嵌入，求解求解任务的常用方法，例如节点分类或链路预测，从该欧几里德嵌入可以应用常规机器学习方法。对于诸如DeadWalk和Node2VEC等无人驾驶的随机漫游方法，在嵌入向量上为丢失添加$ \ ell_2 $罚款，导致下游任务性能提高。在本文中，我们研究了这一正规化的影响，并证明，在图中的交换性假设下，它渐近地导致学习核算型惩罚的石墨朗。特别地，惩罚的确切形式取决于随机梯度下降中使用的所使用的分配方法来学习嵌入。我们还经验地说明了将节点协变量转换为$ \ ell_2 $正则化Node2vec Embeddings导致可比性，如果不是以非线性方式合并节点协变量和网络结构的方法。

随机奇异值分解（RSVD）是用于计算大型数据矩阵截断的SVD的一类计算算法。给定A $ n \ times n $对称矩阵$ \ mathbf {m} $，原型RSVD算法输出通过计算$ \ mathbf {m mathbf {m} $的$ k $引导singular vectors的近似m}^{g} \ mathbf {g} $;这里$ g \ geq 1 $是一个整数，$ \ mathbf {g} \ in \ mathbb {r}^{n \ times k} $是一个随机的高斯素描矩阵。在本文中，我们研究了一般的“信号加上噪声”框架下的RSVD的统计特性，即，观察到的矩阵$ \ hat {\ mathbf {m}} $被认为是某种真实但未知的加法扰动信号矩阵$ \ mathbf {m} $。我们首先得出$ \ ell_2 $（频谱规范）和$ \ ell_ {2 \ to \ infty} $（最大行行列$ \ ell_2 $ norm）$ \ hat {\ hat {\ Mathbf {M}} $和信号矩阵$ \ Mathbf {M} $的真实单数向量。这些上限取决于信噪比（SNR）和功率迭代$ g $的数量。观察到一个相变现象，其中较小的SNR需要较大的$ g $值以保证$ \ ell_2 $和$ \ ell_ {2 \ to \ fo \ infty} $ distances的收敛。我们还表明，每当噪声矩阵满足一定的痕量生长条件时，这些相变发生的$ g $的阈值都会很清晰。最后，我们得出了近似奇异向量的行波和近似矩阵的进入波动的正常近似。我们通过将RSVD的几乎最佳性能保证在应用于三个统计推断问题的情况下，即社区检测，矩阵完成和主要的组件分析，并使用缺失的数据来说明我们的理论结果。

在这项工作中，我们研究了具有对抗性节点损坏的随机块模型中社区发现的问题。我们的主要结果是一种有效的算法，该算法可以忍受$ \ epsilon $ - 损坏和达到错误$ o（\ epsilon） + e^{ - \ frac {c} {2} {2}（1 \ pm o（1））} $其中$ c =（\ sqrt {a} - \ sqrt {b}）^2 $是信噪比，$ a/n $和$ b/n $是互发和intra-intra-intra-社区连接概率分别。这些界限基本上与无损坏的SBM的最小值相匹配。我们还为$ \ mathbb {z} _2 $ -Synchronization提供了可靠的算法。我们算法的核心是一个新的半决赛程序，它使用全局信息来鲁棒提高粗糙聚类的准确性。此外，我们表明我们的算法是双重的，因为它们在更具挑战性的噪声模型中起作用，该模型将对抗性腐败与无限制的单调变化混合在一起，从半随机模型中。

The stochastic block model (SBM) is a random graph model with planted clusters. It is widely employed as a canonical model to study clustering and community detection, and provides generally a fertile ground to study the statistical and computational tradeoffs that arise in network and data sciences.This note surveys the recent developments that establish the fundamental limits for community detection in the SBM, both with respect to information-theoretic and computational thresholds, and for various recovery requirements such as exact, partial and weak recovery (a.k.a., detection). The main results discussed are the phase transitions for exact recovery at the Chernoff-Hellinger threshold, the phase transition for weak recovery at the Kesten-Stigum threshold, the optimal distortion-SNR tradeoff for partial recovery, the learning of the SBM parameters and the gap between information-theoretic and computational thresholds.The note also covers some of the algorithms developed in the quest of achieving the limits, in particular two-round algorithms via graph-splitting, semi-definite programming, linearized belief propagation, classical and nonbacktracking spectral methods. A few open problems are also discussed.

我们开发了一种高效的随机块模型中的弱恢复算法。该算法与随机块模型的Vanilla版本的最佳已知算法的统计保证匹配。从这个意义上讲，我们的结果表明，随机块模型没有稳健性。我们的工作受到最近的银行，Mohanty和Raghavendra（SODA 2021）的工作，为相应的区别问题提供了高效的算法。我们的算法及其分析显着脱离了以前的恢复。关键挑战是我们算法的特殊优化景观：种植的分区可能远非最佳意义，即完全不相关的解决方案可以实现相同的客观值。这种现象与PCA的BBP相转变的推出效应有关。据我们所知，我们的算法是第一个在非渐近设置中存在这种推出效果的鲁棒恢复。我们的算法是基于凸优化的框架的实例化（与平方和不同的不同），这对于其他鲁棒矩阵估计问题可能是有用的。我们的分析的副产物是一种通用技术，其提高了任意强大的弱恢复算法的成功（输入的随机性）从恒定（或缓慢消失）概率以指数高概率。

We consider a problem of considerable practical interest: the recovery of a data matrix from a sampling of its entries. Suppose that we observe m entries selected uniformly at random from a matrix M . Can we complete the matrix and recover the entries that we have not seen?We show that one can perfectly recover most low-rank matrices from what appears to be an incomplete set of entries. We prove that if the number m of sampled entries obeys m ≥ C n 1.2 r log n for some positive numerical constant C, then with very high probability, most n × n matrices of rank r can be perfectly recovered by solving a simple convex optimization program. This program finds the matrix with minimum nuclear norm that fits the data. The condition above assumes that the rank is not too large. However, if one replaces the 1.2 exponent with 1.25, then the result holds for all values of the rank. Similar results hold for arbitrary rectangular matrices as well. Our results are connected with the recent literature on compressed sensing, and show that objects other than signals and images can be perfectly reconstructed from very limited information.

我们调查与高斯的混合的数据分享共同但未知，潜在虐待协方差矩阵的数据。我们首先考虑具有两个等级大小的组件的高斯混合，并根据最大似然估计导出最大切割整数程序。当样品的数量在维度下线性增长时，我们证明其解决方案实现了最佳的错误分类率，直到对数因子。但是，解决最大切割问题似乎是在计算上棘手的。为了克服这一点，我们开发了一种高效的频谱算法，该算法达到最佳速率，但需要一种二次样本量。虽然这种样本复杂性比最大切割问题更差，但我们猜测没有多项式方法可以更好地执行。此外，我们收集了支持统计计算差距存在的数值和理论证据。最后，我们将MAX-CUT程序概括为$ k $ -means程序，该程序处理多组分混合物的可能性不平等。它享有相似的最优性保证，用于满足运输成本不平等的分布式的混合物，包括高斯和强烈的对数的分布。

分析大型随机矩阵的浓度是多种领域的常见任务。给定独立的随机变量，许多工具可用于分析随机矩阵，其条目在变量中是线性的，例如基质 - 伯恩斯坦不平等。但是，在许多应用中，我们需要分析其条目是变量中多项式的随机矩阵。这些自然出现在光谱算法的分析中，例如霍普金斯等人。 [Stoc 2016]，Moitra-Wein [Stoc 2019]；并根据正方形层次结构的总和（例如Barak等。 [FOCS 2016]，Jones等。 [焦点2021]。在这项工作中，我们基于Paulin-Mackey-Tropp（概率Annals of Poylibity of Poyliby of 2016]，我们提出了一个通用框架来获得此类界限。 Efron-Stein不等式通过另一个简单（但仍然是随机）矩阵的范围来界定随机矩阵的规范，我们将其视为通过“区分”起始矩阵而引起的。通过递归区分，我们的框架减少了分析更简单的矩阵的主要任务。对于Rademacher变量，这些简单的矩阵实际上是确定性的，因此，分析它们要容易得多。对于一般的非拉多巴纳变量，任务减少到标量浓度，这要容易得多。此外，在多项式矩阵的设置中，我们的结果推广了Paulin-Mackey-Tropp的工作。使用我们的基本框架，我们在文献中恢复了简单的“张量网络”和“密集图矩阵”的已知界限。使用我们的一般框架，我们得出了“稀疏图矩阵”的边界，琼斯等人最近才获得。 [焦点2021]使用痕量功率方法的非平地应用，并且是其工作中的核心组成部分。我们希望我们的框架对涉及非线性随机矩阵浓度现象的其他应用有帮助。

在许多应用程序（例如运动锦标赛或推荐系统）中，我们可以使用该数据，包括一组$ n $项目（或玩家）之间的成对比较。目的是使用这些数据来推断每个项目和/或其排名的潜在强度。此问题的现有结果主要集中在由单个比较图$ g $组成的设置上。但是，存在成对比较数据随时间发展的场景（例如体育比赛）。这种动态设置的理论结果相对有限，是本文的重点。我们研究\ emph {翻译同步}问题的扩展，到动态设置。在此设置中，我们给出了一系列比较图$（g_t）_ {t \ in \ mathcal {t}} $，其中$ \ nathcal {t} \ subset [0,1] $是代表时间的网格域，对于每个项目$ i $和time $ t \ in \ mathcal {t} $，有一个关联的未知强度参数$ z^*_ {t，i} \ in \ mathbb {r} $。我们的目标是恢复，以$ t \在\ Mathcal {t} $中，强度向量$ z^*_ t =（z^*_ {t，1}，\ cdots，z^*_ {t，n}） $从$ z^*_ {t，i} -z^*_ {t，j} $的噪声测量值中，其中$ \ {i，j \} $是$ g_t $中的边缘。假设$ z^*_ t $在$ t $中顺利地演变，我们提出了两个估计器 - 一个基于平滑度的最小二乘方法，另一个基于对合适平滑度操作员低频本质空间的投影。对于两个估计器，我们为$ \ ell_2 $估计错误提供有限的样本范围，假设$ g_t $已连接到\ mathcal {t} $中的所有$ t \网格尺寸$ | \ MATHCAL {T} | $。我们通过有关合成和真实数据的实验来补充理论发现。

光谱聚类是网络中广泛使用的社区检测方法之一。然而，大型网络为其中的特征值分解带来了计算挑战。在本文中，我们研究了从统计角度使用随机草图算法的光谱聚类，在那里我们通常假设网络数据是从随机块模型生成的，这些模型不一定是完整等级的。为此，我们首先使用最近开发的草图算法来获得两个随机谱聚类算法，即基于随机投影和基于随机采样的光谱聚类。然后，我们在群体邻接矩阵的近似误差，错误分类误差和链路概率矩阵的估计误差方面研究得到的算法的理论界限。事实证明，在温和条件下，随机谱聚类算法导致与原始光谱聚类算法相同的理论界。我们还将结果扩展到校正的程度校正的随机块模型。数值实验支持我们的理论发现并显示随机化方法的效率。一个名为rclusct的新R包是开发的，并提供给公众。

在机器学习或统计中，通常希望减少高维空间$ \ mathbb {r} ^ d $的数据点样本的维度。本文介绍了一种维度还原方法，其中嵌入坐标是作为半定程序无限尺寸模拟的溶液获得的正半定核的特征向量。这种嵌入是自适应和非线性的。我们对学习内核的弱者和强烈的平滑假设讨论了这个问题。我们的方法的主要特点是在两种情况下存在嵌入坐标的样本延伸公式。该外推公式产生内核矩阵的延伸到数据相关的Mercer内核功能。我们的经验结果表明，与光谱嵌入方法相比，该嵌入方法对异常值的影响更加稳健。

网络数据通常在各种应用程序中收集，代表感兴趣的功能之间直接测量或统计上推断的连接。在越来越多的域中，这些网络会随着时间的流逝而收集，例如不同日子或多个主题之间的社交媒体平台用户之间的交互，例如在大脑连接性的多主体研究中。在分析多个大型网络时，降低降低技术通常用于将网络嵌入更易于处理的低维空间中。为此，我们通过专门的张量分解来开发用于网络集合的主组件分析（PCA）的框架，我们将半对称性张量PCA或SS-TPCA术语。我们得出计算有效的算法来计算我们提出的SS-TPCA分解，并在标准的低级别信号加噪声模型下建立方法的统计效率。值得注意的是，我们表明SS-TPCA具有与经典矩阵PCA相同的估计精度，并且与网络中顶点数的平方根成正比，而不是预期的边缘数。我们的框架继承了古典PCA的许多优势，适用于广泛的无监督学习任务，包括识别主要网络，隔离有意义的更改点或外出观察，以及表征最不同边缘的“可变性网络”。最后，我们证明了我们的提案对模拟数据的有效性以及经验法律研究的示例。用于建立我们主要一致性结果的技术令人惊讶地简单明了，可能会在其他各种网络分析问题中找到使用。

我们提供匹配的Under $ \ sigma ^ 2 / \ log（d / n）$的匹配的上下界限为最低$ \ ell_1 $ -norm插值器，a.k.a.基础追踪。我们的结果紧紧达到可忽略的术语，而且是第一个暗示噪声最小范围内插值的渐近一致性，因为各向同性特征和稀疏的地面真理。我们的工作对最低$ \ ell_2 $ -norm插值的“良性接收”进行了补充文献，其中才能在特征有效地低维时实现渐近一致性。