比较图形等结构的对象是许多学习任务中涉及的基本操作。为此，基于最优传输（OT）的Gromov-Wasserstein（GW）距离已被证明可以成功处理相关对象的特定性质。更具体地说，通过节点连接关系，GW在图表上运行，视为特定空间上的概率测量。在OT的核心处是质量守恒的想法，这在两个被认为的图表中的所有节点之间施加了耦合。我们在本文中争辩说，这种财产可能对图形字典或分区学习等任务有害，我们通过提出新的半轻松的Gromov-Wasserstein发散来放松它。除了立即计算福利之外，我们讨论其属性，并表明它可以导致有效的图表字典学习算法。我们经验展示其对图形上的复杂任务的相关性，例如分区，聚类和完成。

作为度量度量空间的有效度量，Gromov-Wasserstein（GW）距离显示了匹配结构化数据（例如点云和图形）问题的潜力。但是，由于其较高的计算复杂性，其实践中的应用受到限制。为了克服这一挑战，我们提出了一种新颖的重要性稀疏方法，称为SPAR-GW，以有效地近似GW距离。特别是，我们的方法没有考虑密集的耦合矩阵，而是利用一种简单但有效的采样策略来构建稀疏的耦合矩阵，并使用几个计算进行更新。我们证明了所提出的SPAR-GW方法适用于GW距离，并以任意地面成本适用于GW距离，并且将复杂性从$ \ Mathcal {o}（n^4）$降低到$ \ Mathcal {o}（n^{2） +\ delta}）$对于任意的小$ \ delta> 0 $。另外，该方法可以扩展到近似GW距离的变体，包括熵GW距离，融合的GW距离和不平衡的GW距离。实验表明，在合成和现实世界任务中，我们的SPAR-GW对最先进的方法的优越性。

本文介绍了一个新颖而通用的框架，以利用最佳运输工具来解决监督标记的图形预测的旗舰任务。我们将问题提出为融合Gromov-Wasserstein（FGW）损失的回归，并提出了一个依靠FGW Barycenter的预测模型，该模型的权重取决于输入。首先，我们基于内核脊回归引入了一个非参数估计量，该估计量得到了理论结果，例如一致性和过量风险绑定。接下来，我们提出了一个可解释的参数模型，其中Barycenter权重用神经网络建模，并进一步学习了FGW Barycenter的图形。数值实验表明了该方法的强度及其在模拟数据上标记的图形空间以及难以实现的代谢识别问题上插值的能力，在这种情况下，它几乎没有工程学才能达到非常好的性能。

In this paper, we study the design and analysis of a class of efficient algorithms for computing the Gromov-Wasserstein (GW) distance tailored to large-scale graph learning tasks. Armed with the Luo-Tseng error bound condition~\citep{luo1992error}, two proposed algorithms, called Bregman Alternating Projected Gradient (BAPG) and hybrid Bregman Proximal Gradient (hBPG) enjoy the convergence guarantees. Upon task-specific properties, our analysis further provides novel theoretical insights to guide how to select the best-fit method. As a result, we are able to provide comprehensive experiments to validate the effectiveness of our methods on a host of tasks, including graph alignment, graph partition, and shape matching. In terms of both wall-clock time and modeling performance, the proposed methods achieve state-of-the-art results.

近年来，基于Weisfeiler-Leman算法的算法和神经架构，是一个众所周知的Graph同构问题的启发式问题，它成为具有图形和关系数据的机器学习的强大工具。在这里，我们全面概述了机器学习设置中的算法的使用，专注于监督的制度。我们讨论了理论背景，展示了如何将其用于监督的图形和节点表示学习，讨论最近的扩展，并概述算法的连接（置换 - ）方面的神经结构。此外，我们概述了当前的应用和未来方向，以刺激进一步的研究。

在用于图形结构数据的几台机器学习任务中，所考虑的图形可以由不同数量的节点组成。因此，需要设计汇集方法，该方法将不同大小的图形表示聚合到固定大小的表示，其可以用于下游任务，例如图形分类。现有的图形池池方法没有关于图形表示的相似性和其汇总版的保证。在这项工作中，我们通过提出流池来解决这些限制，通过最小化其Wassersein距离，通过最佳地将图形表示的统计数据统计到其汇集的对应物。这是通过对汇集的图形表示来执行Wasserstein梯度流来实现的。我们提出了我们的方法，可以通过任何基础成本考虑表示空间的几何形状。该实施依赖于与最近提出的隐式差异化方案的Wasserstein距离的计算。我们的汇集方法可用于自动分化，可以集成在端到端的深度学习架构中。此外，流量池是不变的，因此可以与GNN中的置换设备提取层组合，以便获得与节点的排序无关的预测。实验结果表明，与现有在图形分类任务中的现有汇集方法相比，我们的方法导致性能增加。

最佳运输（OT）理论下潜许多新兴机器学习（ML）方法现在解决了各种任务，例如生成建模，转移学习和信息检索。然而，这些后者通常会在传统的OT设置上具有两个分布，同时留下更一般的多边缘OT配方，稍微探索。在本文中，我们研究了多边缘OT（MMOT）问题，并通过促进关于耦合的结构信息，统一其伞下的几种流行的OT方法。我们表明将这种结构信息结合到MMOT中，在允许我们在数值上解决它的不同凸（DC）编程问题的实例。尽管后一级的计算成本高，但DC优化提供的解决方案通常与使用当前采用的优化方案获得的解决方案一样定性。

对象之间的良好距离和相似性度量的选择对于许多机器学习方法很重要。因此，近年来已经开发了许多度量学习算法，主要用于欧几里得数据，以提高分类或聚类方法的性能。但是，由于难以在归因图之间建立可计算，高效和可区分的距离，尽管社区的浓厚兴趣，但很少开发适合图形的度量学习算法。在本文中，我们通过提出一个新的简单图表学习 - SGML-模型，该模型几乎没有基于简单的图形卷积神经网络-SGCN-和最佳传输理论元素。该模型使我们能够与标记（属性）图的数据库建立适当的距离，以提高简单分类算法（例如$ k $ -nn）的性能。可以快速训练这个距离，同时保持良好的表现，如本文中提出的实验研究所示。

Pre-publication draft of a book to be published byMorgan & Claypool publishers. Unedited version released with permission. All relevant copyrights held by the author and publisher extend to this pre-publication draft.

约束的张量和矩阵分子化模型允许从多道数据中提取可解释模式。因此，对于受约束的低秩近似度的可识别性特性和有效算法是如此重要的研究主题。这项工作涉及低秩近似的因子矩阵的列，以众所周知的和可能的过度顺序稀疏，该模型包括基于字典的低秩近似（DLRA）。虽然早期的贡献集中在候选列字典内的发现因子列，即一稀疏的近似值，这项工作是第一个以大于1的稀疏性解决DLRA。我建议专注于稀疏编码的子问题，在解决DLRA时出现的混合稀疏编码（MSC）以交替的优化策略在解决DLRA时出现。提供了基于稀疏编码启发式的几种算法（贪婪方法，凸起放松）以解决MSC。在模拟数据上评估这些启发式的性能。然后，我展示了如何基于套索来调整一个有效的MSC求解器，以计算高光谱图像处理和化学测量学的背景下的基于词典的基于矩阵分解和规范的多adic分解。这些实验表明，DLRA扩展了低秩近似的建模能力，有助于降低估计方差并提高估计因子的可识别性和可解释性。

比较可能不同的度量测量空间的结构化数据是机器学习中的一项基本任务，例如应用程序分类。 Gromov-Wasserstein（GW）差异基于最佳运输，在结构化数据之间制定了耦合，从而通过对齐阶层内几何形状来解决不同结构之间的无与伦比。尽管有效的\ emph {local}求解器（例如条件梯度和sindhorn）可用，但固有的非凸性仍然可以防止可进行处理，并且现有的下限不足以供实际使用。为了解决这个问题，我们从与二次任务问题的联系中汲取灵感，并提出正交的Gromov-Wasserstein（OGW）差异作为GW的代理。它承认具有$ \ mathcal {o}（n^3）$复杂性的有效和\ emph {封闭形式}下限，并直接扩展到Fused Gromov-Wasserstein（FGW）距离，将节点特征纳入耦合。合成数据集和现实世界数据集的广泛实验都显示了我们的下限的紧密度，并且OGW及其下限都有效地提供了准确的预测和满意的Barycenters图形集。

最佳运输（OT）背后的匹配原理在机器学习中起着越来越重要的作用，这一趋势可以观察到ot被用来消除应用程序中的数据集（例如，单细胞基因组学）或用于改善更复杂的方法（例如，平衡平衡）注意变形金刚或自我监督的学习）。为了扩展到更具挑战性的问题，越来越多的共识要求求解器可以在数百万而不是数千点上运作。在\ cite {scetbon2021lowrank}中提倡的低级最佳运输方法（LOT）方法在这方面有几个诺言，并被证明可以补充更确定的熵正则化方法，能够将自己插入更复杂的管道中，例如Quadratic OT。批次将低成本耦合的搜索限制在具有低位级等级的耦合方面，在感兴趣的情况下产生线性时间算法。但是，只有在比较感兴趣的属性时，只有将批次方法视为熵正则化的合法竞争者，这些诺言才能实现，记分卡通常包含理论属性（统计复杂性和与其他方法）或实际方面（偏见，偏见，偏见，依据，，依据，统计复杂性和关系）高参数调整，初始化）。我们针对本文中的每个领域，以巩固计算OT中低级别方法的影响。

图表比较涉及识别图之间的相似性和异化。主要障碍是图形的未知对准，以及缺乏准确和廉价的比较度量。在这项工作中，我们引入过滤器图距离。它是一种基于最佳的传输距离，其通过滤波图信号的概率分布驱动图表比较。这产生了高度灵活的距离，能够在观察到的图表中优先考虑不同的光谱信息，为比较度量提供广泛的选择。我们通过计算图表置换来解决图表对齐问题，该置换最小化了我们的新滤波器距离，这隐含地解决了曲线图比较问题。然后，我们提出了一种新的近似成本函数，这些函数避免了曲线图比较固有的许多计算困难，并且允许利用镜面梯度下降等快速算法，而不会严重牺牲性能。我们终于提出了一种衍生自镜面梯度下降的随机版本的新型算法，其适应对准问题的非凸性，在性能准确性和速度之间提供良好的折衷。图表对准和分类的实验表明，通过滤波图距离所获得的灵活性可以对性能产生显着影响，而近似成本提供的速度差异使得适用于实际设置的框架。

在数据集中定义样本之间有意义的距离是机器学习中的一个基本问题。最佳传输（OT）在样品之间提高特征（“地面度量”）到几何意义上的距离之间的距离。但是，通常没有直接的地面度量选择。有监督的地面度量学习方法存在，但需要标记的数据。在没有标签的情况下，仅保留临时地面指标。因此，无监督的地面学习是启用数据驱动的OT应用程序的基本问题。在本文中，我们首次通过同时计算样本之间和数据集功能之间的OT距离来提出规范答案。这些距离矩阵自然出现，作为函数映射接地指标的正奇异向量。我们提供标准以确保这些奇异向量的存在和独特性。然后，我们使用随机近似和熵正则化引入可扩展的计算方法以在高维设置中近似它们。最后，我们在单细胞RNA测序数据集上展示了Wasserstein奇异向量。

我们介绍了联合多维缩放，这是一种无监督的歧管比对的新方法，该方法从两个不同的域中映射数据集，没有数据集中的数据实例之间没有任何已知的对应关系，以绘制到一个常见的低维欧几里得空间。我们的方法集成了多维缩放（MDS）和Wasserstein Procrusteres分析成一个关节优化问题，以同时生成数据的等距嵌入数据，并从两个不同数据集中学习实例之间的对应关系，而仅需要内部范围内的成对差异差异作为输入。这种独特的特征使我们的方法适用于数据集，而无需访问输入功能，例如求解不精确的图形匹配问题。我们提出了一种交替优化方案，以解决可以完全受益于MDS和Wasserstein Procrustes的优化技术的问题。我们证明了方法在几种应用中的有效性，包括两个数据集的联合可视化，无监督的异质域的适应性，图形匹配和蛋白质结构比对。

We introduce and analyze NetOTC, a procedure for the comparison and soft alignment of weighted networks. Given two networks and a cost function relating their vertices, NetOTC finds an appropriate coupling of their associated random walks having minimum expected cost. The minimizing cost provides a numerical measure of the difference between the networks, while the optimal transport plan itself provides interpretable, probabilistic alignments of the vertices and edges of the two networks. The cost function employed can be based, for example, on vertex degrees, externally defined features, or Euclidean embeddings. Coupling of the full random walks, rather than their stationary distributions, ensures that NetOTC captures local and global information about the given networks. NetOTC applies to networks of different size and structure, and does not the require specification of free parameters. NetOTC respects edges, in the sense that vertex pairs in the given networks are aligned with positive probability only if they are adjacent in the given networks. We investigate a number of theoretical properties of NetOTC that support its use, including metric properties of the minimizing cost and its connection with short- and long-run average cost. In addition, we introduce a new notion of factor for weighted networks, and establish a close connection between factors and NetOTC. Complementing the theory, we present simulations and numerical experiments showing that NetOTC is competitive with, and sometimes superior to, other optimal transport-based network comparison methods in the literature. In particular, NetOTC shows promise in identifying isomorphic networks using a local (degree-based) cost function.

近年来，图表匹配中有一系列的研究活动，旨在在两个图表中找到节点的对应关系，并位于许多人工智能应用的核心。然而，匹配具有部分重叠的异构图形仍然是现实世界应用中的具有挑战性的问题。本文提出了第一种实用的学习 - 匹配方法来满足这一挑战。该提出的无监督方法采用新的部分OT范例同时学习运输计划和节点嵌入。在一对一的方式中，整个学习过程被分解成一系列易于解决的子过程，每个子程序仅处理单个类型节点的对齐。还提出了一种搜索传输质量的机制。实验结果表明，所提出的方法优于最先进的图形匹配方法。

计算分布之间的最佳传输（OT）耦合在机器学习中起着越来越重要的作用。虽然可以将OT问题求解为线性程序，但添加熵平滑项会导致求解器对离群值更快，更强大，可区分且易于并行化。 Sinkhorn固定点算法是这些方法的基石，结果，已经进行了多次尝试以缩短其运行时，例如退火，动量或加速度。本文的前提是，\ textit {initialization}的sindhorn算法受到了相对较少的关注，可能是由于两个先入为主的：由于正规化的ot问题是凸的，因此可能不值得制定量身定制的初始化，因为\ textit {\ textit { }保证工作；其次，由于sindhorn算法在端到端管道中通常是区分的，因此数据依赖性初始化可能会通过展开迭代而获得的偏差梯度估计。我们挑战了这种传统的观点，并表明精心选择的初始化可能会导致巨大的加速，并且不会偏向梯度，这些梯度是通过隐式分化计算的。我们详细介绍如何使用1D或高斯设置中的已知结果从封闭形式或近似OT解决方案中恢复初始化。我们从经验上表明，这些初始化可以在现成的情况下使用，几乎没有调整，并且导致各种OT问题的速度持续加速。

不平衡最佳传输（UOT）扩展了最佳传输（OT），以考虑质量变化以比较分布。这是使IT在ML应用程序中成功的至关重要，使其对数据标准化和异常值具有强大。基线算法陷入沉降，但其收敛速度可能比OT更慢。在这项工作中，我们确定了这种缺陷的原因，即缺乏迭代的全球正常化，其等效地对应于双口电的翻译。我们的第一款贡献利用了这种想法来开发一种可怕的加速陷阱算法（为UOT开发了一种可怕的陷阱算法（创建了“翻译不变的烟囱”），弥合了与OT的计算间隙。我们的第二次贡献侧重于1-D UOT，并提出了一个适用于这种翻译不变制剂的弗兰克 - 沃尔夫求解器。每个步骤的线性oracle都能求解1-D OT问题，从而导致每个迭代的线性时间复杂度。我们的最后贡献将这种方法扩展到计算1-D措施的UOT BaryCenter。数值模拟展示这三种方法带来的收敛速度改进。

Graphons are general and powerful models for generating graphs of varying size. In this paper, we propose to directly model graphons using neural networks, obtaining Implicit Graphon Neural Representation (IGNR). Existing work in modeling and reconstructing graphons often approximates a target graphon by a fixed resolution piece-wise constant representation. Our IGNR has the benefit that it can represent graphons up to arbitrary resolutions, and enables natural and efficient generation of arbitrary sized graphs with desired structure once the model is learned. Furthermore, we allow the input graph data to be unaligned and have different sizes by leveraging the Gromov-Wasserstein distance. We first demonstrate the effectiveness of our model by showing its superior performance on a graphon learning task. We then propose an extension of IGNR that can be incorporated into an auto-encoder framework, and demonstrate its good performance under a more general setting of graphon learning. We also show that our model is suitable for graph representation learning and graph generation.