A fundamental procedure in the analysis of massive datasets is the construction of similarity graphs. Such graphs play a key role for many downstream tasks, including clustering, classification, graph learning, and nearest neighbor search. For these tasks, it is critical to build graphs which are sparse yet still representative of the underlying data. The benefits of sparsity are twofold: firstly, constructing dense graphs is infeasible in practice for large datasets, and secondly, the runtime of downstream tasks is directly influenced by the sparsity of the similarity graph. In this work, we present $\textit{Stars}$: a highly scalable method for building extremely sparse graphs via two-hop spanners, which are graphs where similar points are connected by a path of length at most two. Stars can construct two-hop spanners with significantly fewer similarity comparisons, which are a major bottleneck for learning based models where comparisons are expensive to evaluate. Theoretically, we demonstrate that Stars builds a graph in nearly-linear time, where approximate nearest neighbors are contained within two-hop neighborhoods. In practice, we have deployed Stars for multiple data sets allowing for graph building at the $\textit{Tera-Scale}$, i.e., for graphs with tens of trillions of edges. We evaluate the performance of Stars for clustering and graph learning, and demonstrate 10~1000-fold improvements in pairwise similarity comparisons compared to different baselines, and 2~10-fold improvement in running time without quality loss.

图神经网络（GNN）是非欧盟数据的强大深度学习方法。流行的GNN是通信算法（MPNNS），它们在本地图中汇总并结合了信号。但是，浅的mpnns倾向于错过远程信号，并且在某些异质图上表现不佳，而深度mpnns可能会遇到过度平滑或过度阵型等问题。为了减轻此类问题，现有的工作通常会从欧几里得数据上训练神经网络或修改图形结构中借用归一化技术。然而，这些方法在理论上并不是很好地理解，并且可能会提高整体计算复杂性。在这项工作中，我们从光谱图嵌入中汲取灵感，并提出$ \ texttt {powerembed} $ - 一种简单的层归一化技术来增强mpnns。我们显示$ \ texttt {powerembed} $可以证明图形运算符的顶部 - $ k $引导特征向量，该算子可以防止过度光滑，并且对图形拓扑是不可知的；同时，它产生了从本地功能到全球信号的表示列表，避免了过度阵列。我们将$ \ texttt {powerembed} $应用于广泛的模拟和真实图表，并展示其竞争性能，尤其是对于异性图。

我们提出了一种动态网络采样方案，以优化随机块模型（SBM）的块恢复，如果观察整个图的昂贵，则它非常昂贵。从理论上讲，我们通过Chernoff信息提供了建议的Chernoff最佳动态抽样方案的理由。实际上，我们根据不同域中的几个真实数据集评估了我们方法的性能。理论上和实际结果都表明，我们的方法可以识别对块结构影响最大的顶点，以便只能检查它们之间是否有边缘以节省大量资源，但仍能恢复块结构。

更多数据有助于我们推广到任务。但是实际数据集可以包含分布（OOD）数据；这可以以异质性的形式出现，例如类内变异性，也可以以时间变化或概念漂移的形式出现。我们在此类问题上展示了一种反直觉现象：任务的概括误差可能是OOD样本数量的非单调函数；少数OOD样品可以改善概括，但是如果OOD样品的数量超出了阈值，则概括误差可能会恶化。我们还表明，如果我们知道哪些样品是OOD，则使用目标和OOD样品之间的加权目标确保概括误差单调减少。我们使用线性分类器在CIFAR-10上的合成数据集和中型神经网络上使用线性分类器演示和分析了此问题。

匹配问题的图表寻求在两个图形的节点之间找到对齐，这最小化了邻接分歧的数量。解决图表匹配越来越重要，因为它在运营研究，计算机视觉，神经科学等中的应用程序。然而，当前最先进的算法效率低，匹配非常大的图形，尽管它们产生了良好的准确性。这些算法的主要计算瓶颈是线性分配问题，必须在每次迭代时解决。在本文中，我们利用最近的最佳运输领域的进步来取代接受的线性分配算法的使用。我们呈现山羊，对最先进的图形匹配近似算法“常见问题”（Vogelstein，2015）的修改，用CuSuri（2013）的“光速最优传输”方法替换其线性和分配步骤。该修改提供了对速度和经验匹配精度的改进。在模拟和实际数据示例中匹配图表中对该方法的有效性进行了说明。

什么是学习？ 20美元^ {st} Centure的学习理论形式化 - 这是人工智能中沉淀的革命 - 主要是在$ \ mathit {in-diversion} $学习，即在假设训练数据被取样的假设下学习与评估分布相同的分配。这种假设使这些理论不足以表征21美元^ $ {st} MENTURE的现实世界数据问题，其通常是通过与培训数据分布（称为公共学习）不同的评估分布来表征。因此，我们通过放松这种假设来对现有可读性的正式定义进行小小的变化。然后，我们介绍$ \ MATHBF {学习\效率} $（LE）来量化学习者能够利用给定问题的数据的金额，无论它是一个或分发的问题如何。然后，我们定义并证明了可读性的广义概念之间的关系，并展示了该框架是如何足够一般的，以表征传输，多任务，元，持续和终身学习。我们希望本统一有助于弥合现实世界问题的实证实践与理论指导之间的差距。最后，因为生物学学习继续胜过机器学习算法的某些挑战，我们讨论了这一框架VI的局限性 - \'A-is-is-is-is-is-is-is-vis，它的形式化生物学学习能力，旨在为未来研究的多个途径。

在本文中，我们提出了一种称为单式图形编码器嵌入的闪电快速图形嵌入方法。它具有线性计算复杂性和在标准PC上几分钟内处理数十亿个边缘的能力 - 使其成为大型图形处理的理想候选者。它适用于邻接矩阵或图形laplacian，可以看作是光谱嵌入的转换。在随机图模型下，图编码器嵌入每个顶点大致分布正态分布，渐近地收敛到其平均值。我们展示了三个应用程序：顶点分类，顶点聚类和图形引导程序。在每种情况下，图形编码器嵌入都表现出无与伦比的计算优势。

深度网络和决策林（如随机森林和渐变升级树）分别是用于结构化和表格数据的主要机器学习方法。许多论文在一个或两个不同的域（例如，在100个不同的表格数据设置上）经验上比较了大量分类器（例如，在100个不同的表格数据设置）上。然而，使用最具当代最佳实践的仔细概念和经验比较这两种策略尚未进行。概念上，我们说明两者都可以盈利地被视为“分区和投票”方案。具体地，他们俩学习的表示空间是将特征空间分区到凸多台的联合中。对于推理，每个都决定从激活节点的投票。该配方允许统一对这些方法之间关系的基本理解。凭经验，我们对数百个表格数据设置以及多个视觉和听觉设置进行比较这两种策略。我们的重点是在大多数10,000个样本的数据集上，它代表了大部分科学和生物医学数据集。一般而言，我们发现森林在表格和结构化数据（视觉和试镜）上以小样本尺寸的表现，而深网络在具有较大样本尺寸的结构化数据上更好地进行。这表明可以通过进一步结合森林和网络的进一步结合来实现两种情况的进一步提升。我们将继续在未来几个月内修改此技术报告，并更新结果。

This paper introduces the subgraph nomination inference task, in which example subgraphs of interest are used to query a network for similarly interesting subgraphs. This type of problem appears time and again in real world problems connected to, for example, user recommendation systems and structural retrieval tasks in social and biological/connectomic networks. We formally define the subgraph nomination framework with an emphasis on the notion of a user-in-the-loop in the subgraph nomination pipeline. In this setting, a user can provide additional post-nomination light supervision that can be incorporated into the retrieval task. After introducing and formalizing the retrieval task, we examine the nuanced effect that user-supervision can have on performance, both analytically and across real and simulated data examples.

学习排名 - 制作特定于查询的项目的排名列表以及一组监督项目 - 是一个普遍兴趣的问题。我们认为的设置是没有分析描述构成良好排名的设置。取而代之的是，我们有一个包含（目标项目，有趣的项目集）对的表示和监督信息的集合。我们在仿真中进行了分析证明，在实际数据示例中，当监督与“这几个相似的项目相似”时，通过使用整数线性程序组合表示来进行排名是有效的。尽管这项提名任务是相当普遍的，但对于特异性，我们从图表中的顶点提名的角度介绍了我们的方法论。本文描述的方法是模型不可知论。