图形神经网络(GNNS)是图形处理的广泛连接主义模型。它们对每个节点及其邻居进行迭代消息传递操作,以解决分类/群集任务 - 在某些节点或整个图表上 - 无论其订单如何,都会收集所有此类消息。尽管属于该类的各种模型之间的差异,但大多数基于本地聚合机制和直观地采用相同的计算方案,并直观地,本地计算框架主要负责GNN的表现力。在本文中,我们证明了Weisfeiler - Lehman测试在恰好对应于原始GNN模型上定义的展开等价的图表节点上引起了等效关系。因此,原始GNN的表现力的结果可以扩展到一般GNN,其在​​温和条件下可以证明能够以概率和最高的任何精度近似于朝向展开等价的图表中的任何功能。
translated by 谷歌翻译
近年来,基于Weisfeiler-Leman算法的算法和神经架构,是一个众所周知的Graph同构问题的启发式问题,它成为具有图形和关系数据的机器学习的强大工具。在这里,我们全面概述了机器学习设置中的算法的使用,专注于监督的制度。我们讨论了理论背景,展示了如何将其用于监督的图形和节点表示学习,讨论最近的扩展,并概述算法的连接(置换 - )方面的神经结构。此外,我们概述了当前的应用和未来方向,以刺激进一步的研究。
translated by 谷歌翻译
我们提出了一个新的图形神经网络,我们称为AgentNet,该网络专为图形级任务而设计。 AgentNet的灵感来自子宫性算法,具有独立于图形大小的计算复杂性。代理Net的体系结构从根本上与已知图神经网络的体系结构不同。在AgentNet中,一些受过训练的\ textit {神经代理}智能地行走图,然后共同决定输出。我们提供了对AgentNet的广泛理论分析:我们表明,代理可以学会系统地探索其邻居,并且AgentNet可以区分某些甚至3-WL无法区分的结构。此外,AgentNet能够将任何两个图形分开,这些图在子图方面完全不同。我们通过在难以辨认的图和现实图形分类任务上进行合成实验来确认这些理论结果。在这两种情况下,我们不仅与标准GNN相比,而且与计算更昂贵的GNN扩展相比。
translated by 谷歌翻译
图形神经网络(GNNS)是关于图形机器学习问题的深度学习架构。最近已经表明,GNN的富有效力可以精确地由组合Weisfeiler-Leman算法和有限可变计数逻辑来表征。该对应关系甚至导致了对应于更高维度的WL算法的新的高阶GNN。本文的目的是解释GNN的这些描述性特征。
translated by 谷歌翻译
Graph Neural Networks (GNNs) are an effective framework for representation learning of graphs. GNNs follow a neighborhood aggregation scheme, where the representation vector of a node is computed by recursively aggregating and transforming representation vectors of its neighboring nodes. Many GNN variants have been proposed and have achieved state-of-the-art results on both node and graph classification tasks. However, despite GNNs revolutionizing graph representation learning, there is limited understanding of their representational properties and limitations. Here, we present a theoretical framework for analyzing the expressive power of GNNs to capture different graph structures. Our results characterize the discriminative power of popular GNN variants, such as Graph Convolutional Networks and GraphSAGE, and show that they cannot learn to distinguish certain simple graph structures. We then develop a simple architecture that is provably the most expressive among the class of GNNs and is as powerful as the Weisfeiler-Lehman graph isomorphism test. We empirically validate our theoretical findings on a number of graph classification benchmarks, and demonstrate that our model achieves state-of-the-art performance. * Equal contribution. † Work partially performed while in Tokyo, visiting Prof. Ken-ichi Kawarabayashi.
translated by 谷歌翻译
在本文中,我们通过图形函数的关键代数条件(称为\ textIt {置换兼容性})完全回答上述问题,该函数将图形和图形的特征​​与功能约束相关联。我们证明:(i)GNN作为图形函数必然是兼容的; (ii)相反,当限制具有不同节点特征的输入图上时,任何置换兼容函数都可以由GNN生成; (iii)对于任意节点特征(不一定是不同),一个简单的功能增强方案足以生成GNN置换兼容函数; (iv)可以通过仅检查二次功能约束,而不是对所有排列的详尽搜索来验证置换兼容性; (v)GNN可以生成\ textIt {any}图形函数,一旦我们以节点身份增强节点特征,从而超越了图同构和置换兼容性。上面的表征铺平了正式研究GNN和其他算法程序之间复杂联系的路径。例如,我们的表征意味着许多自然图问题,例如最小值值,最大流量值,最大值尺寸和最短路径,可以使用简单的功能增强来生成GNN。相比之下,每当GNN无法生成具有相同特征的置换函数时,著名的Weisfeiler-Lehman图形测试就会失败。我们分析的核心是一种新的表示定理,它标识了GNN的基础函数。这使我们能够将目标图函数的属性转化为GNN聚合函数的属性。
translated by 谷歌翻译
消息传递神经网络(MPNNS)是由于其简单性和可扩展性而大部分地进行图形结构数据的深度学习的领先架构。不幸的是,有人认为这些架构的表现力有限。本文提出了一种名为Comifariant Subgraph聚合网络(ESAN)的新颖框架来解决这个问题。我们的主要观察是,虽然两个图可能无法通过MPNN可区分,但它们通常包含可区分的子图。因此,我们建议将每个图形作为由某些预定义策略导出的一组子图,并使用合适的等分性架构来处理它。我们为图同构同构同构造的1立维Weisfeiler-Leman(1-WL)测试的新型变体,并在这些新的WL变体方面证明了ESAN的表达性下限。我们进一步证明,我们的方法增加了MPNNS和更具表现力的架构的表现力。此外,我们提供了理论结果,描述了设计选择诸如子图选择政策和等效性神经结构的设计方式如何影响我们的架构的表现力。要处理增加的计算成本,我们提出了一种子图采样方案,可以将其视为我们框架的随机版本。关于真实和合成数据集的一套全面的实验表明,我们的框架提高了流行的GNN架构的表现力和整体性能。
translated by 谷歌翻译
图表学习方法的理论分析通常假设输入图的完全观察。由于实践中的可扩展性问题,这种假设可能对处理任何大小的图表都不有用。在这项工作中,我们在部分观察设置中开发了图形分类问题的理论框架(即,子图采样)。在图形限制理论中配备了洞察力,我们提出了一种新的图形分类模型,用于在随机采样的子图和新颖的拓扑上工作,以表征模型的可颂扬性。我们的理论框架在图形上提供了迷你批量学习的理论验证,并导致新的学习 - 理论上的泛化界限以及尺寸概括地,而不是输入的假设。
translated by 谷歌翻译
尽管(消息通话)图形神经网络在图形或一般关系数据上近似置换量等函数方面具有明显的局限性,但更具表现力的高阶图神经网络不会扩展到大图。他们要么在$ k $ - 订单张量子上操作,要么考虑所有$ k $ - 节点子图,这意味着在内存需求中对$ k $的指数依赖,并且不适合图形的稀疏性。通过为图同构问题引入新的启发式方法,我们设计了一类通用的,置换式的图形网络,与以前的体系结构不同,该网络在表达性和可伸缩性之间提供了细粒度的控制,并适应了图的稀疏性。这些体系结构与监督节点和图形级别的标准高阶网络以及回归体系中的标准高阶图网络相比大大减少了计算时间,同时在预测性能方面显着改善了标准图神经网络和图形内核体系结构。
translated by 谷歌翻译
深度学习技术的普及更新了能够处理可以使用图形的复杂结构的神经结构的兴趣,由图形神经网络(GNN)的启发。我们将注意力集中在最初提出的Scarselli等人的GNN模型上。 2009,通过迭代扩散过程编码图表的节点的状态,即在学习阶段,必须在每个时期计算,直到达到学习状态转换功能的固定点,传播信息邻近节点。基于拉格朗日框架的约束优化,我们提出了一种在GNNS中学习的新方法。学习转换功能和节点状态是联合过程的结果,其中通过约束满足机制隐含地表达了状态会聚过程,避免了迭代巨头程序和网络展开。我们的计算结构在由权重组成的伴随空间中搜索拉格朗日的马鞍点,节点状态变量和拉格朗日乘法器。通过加速扩散过程的多个约束层进一步增强了该过程。实验分析表明,该方法在几个基准上的流行模型有利地比较。
translated by 谷歌翻译
学习优化是一个快速增长的领域,旨在使用机器学习(ML)来解决优化问题或改善现有的优化算法。特别是,图形神经网络(GNN)被认为是用于优化问题的合适ML模型,其变量和约束是置换的 - 例如线性程序(LP)。尽管文献报道了令人鼓舞的数值结果,但本文确定了将GNN应用于解决LP的理论基础。给定LPS的任何尺寸限制,我们构造了一个GNN,该GNN将不同的LP映射到不同的输出。我们表明,正确构建的GNN可以可靠地预测广泛类别中每个LP的可行性,界限和最佳解决方案。我们的证明是基于最近发现的Weisfeiler-Lehman同构测试与GNN之间的联系。为了验证我们的结果,我们培训了一个简单的GNN,并提出了将LP映射到其可行性和解决方案中的准确性。
translated by 谷歌翻译
图形神经网络(GNN)是旨在处理图表上图和信号的学习模型。最受欢迎,最成功的GNN是基于消息传递方案的基础。在区分两个非同构图时,这种方案固有地具有有限的表达能力。在本文中,我们依靠覆盖空间的理论来充分表征GNN无法区分的图形类别。然后,我们生成任意生成许多无法通过GNN来区分的非同构图,导致GraphCovers数据集。我们还表明,数据集中没有可区分的图的数量随节点的数量增长。最后,我们在几个GNN体系结构上测试GraphCovers数据集,表明它们都无法区分其包含的任何两个图。
translated by 谷歌翻译
在本文中,我们提供了一种使用图形神经网络(GNNS)的理论,用于多节点表示学习(我们有兴趣学习一组多个节点的表示)。我们知道GNN旨在学习单节点表示。当我们想学习涉及多个节点的节点集表示时,先前作品中的常见做法是直接将GNN学习的多节点表示与节点集的关节表示。在本文中,我们显示了这种方法的基本限制,即无法捕获节点集中节点之间的依赖性,并且认为直接聚合各个节点表示不会导致多个节点的有效关节表示。然后,我们注意到,以前的一些成功的工作作品用于多节点表示学习,包括密封,距离编码和ID-GNN,所有使用的节点标记。这些方法根据应用GNN之前的与目标节点集的关系,首先标记图中的节点。然后,在标记的图表中获得的节点表示被聚合到节点集表示中。通过调查其内部机制,我们将这些节点标记技术统一到单个和最基本的形式,即标记技巧。我们证明,通过标记技巧,可以获得足够富有表现力的GNN学习最具表现力的节点集表示,因此原则上可以解决节点集的任何联合学习任务。关于一个重要的双节点表示学习任务,链接预测,验证了我们理论的实验。我们的工作建立了使用GNN在节点集上使用GNN进行联合预测任务的理论基础。
translated by 谷歌翻译
图形神经网络(GNNS)具有有限的表现力量,无法正确代表许多图形类。虽然更具表现力的图表表示学习(GRL)替代方案可以区分其中一些类,但它们明显难以实现,可能不会很好地扩展,并且尚未显示在现实世界任务中优于经过良好调整的GNN。因此,设计简单,可扩展和表现力的GRL架构,也实现了现实世界的改进仍然是一个开放的挑战。在这项工作中,我们展示了图形重建的程度 - 从其子图重建图形 - 可以减轻GRL架构目前面临的理论和实际问题。首先,我们利用图形重建来构建两个新的表达图表表示。其次,我们展示了图形重建如何提升任何GNN架构的表现力,同时是一个(可证明的)强大的归纳偏见,用于侵略性的侵略性。凭经验,我们展示了重建如何提高GNN的表现力 - 同时保持其与顶点的排列的不变性 - 通过解决原始GNN的七个图形属性任务而无法解决。此外,我们展示了如何在九世界基准数据集中提升最先进的GNN性能。
translated by 谷歌翻译
消息传递神经网络(MPNNs)是格拉夫神经网络(GNN)的一个常见的类型,其中,每个节点的表示是通过聚集从表示其直接邻居(消息)类似于一个星形图案递归计算。 MPNNs的呼吁是有效的,可扩展的,怎么样,曾经它们的表现是由一阶Weisfeiler雷曼同构测试(1-WL)的上界。对此,之前的作品提出在可扩展性的成本极富表现力的模型,有时泛化性能。我们的工作表示这两个政权:我们介绍抬升任何MPNN更加传神,具有可扩展性有限的开销,大大提高了实用性能的总体框架。我们从星星图案一般的子模式(例如,K-egonets)在MPNNs扩展本地聚合实现这一点:在我们的框架中,每个节点表示被计算为周边诱发子的编码,而不是唯一的近邻编码(即一个明星)。我们选择子编码器是一个GNN(主要是MPNNs,考虑到可扩展性)来设计用作一个包装掀任何GNN的总体框架。我们把我们提出的方法GNN-AK(GNN为核心),作为框架用GNNS更换内核类似于卷积神经网络。从理论上讲,我们表明,我们的框架比1和2-WL确实更强大,并且不超过3-WL那么强大。我们还设计子取样策略,可大大降低内存占用和提高速度的同时保持性能。我们的方法将大利润率多家知名图形ML任务新的国家的最先进的性能;具体地,0.08 MAE锌,74.79%和86.887%的准确度上CIFAR10和分别PATTERN。
translated by 谷歌翻译
Knowledge graphs, modeling multi-relational data, improve numerous applications such as question answering or graph logical reasoning. Many graph neural networks for such data emerged recently, often outperforming shallow architectures. However, the design of such multi-relational graph neural networks is ad-hoc, driven mainly by intuition and empirical insights. Up to now, their expressivity, their relation to each other, and their (practical) learning performance is poorly understood. Here, we initiate the study of deriving a more principled understanding of multi-relational graph neural networks. Namely, we investigate the limitations in the expressive power of the well-known Relational GCN and Compositional GCN architectures and shed some light on their practical learning performance. By aligning both architectures with a suitable version of the Weisfeiler-Leman test, we establish under which conditions both models have the same expressive power in distinguishing non-isomorphic (multi-relational) graphs or vertices with different structural roles. Further, by leveraging recent progress in designing expressive graph neural networks, we introduce the $k$-RN architecture that provably overcomes the expressiveness limitations of the above two architectures. Empirically, we confirm our theoretical findings in a vertex classification setting over small and large multi-relational graphs.
translated by 谷歌翻译
最近出现了许多子图增强图神经网络(GNN),可证明增强了标准(消息通话)GNN的表达能力。但是,对这些方法之间的相互关系和weisfeiler层次结构的关系有限。此外,当前的方法要么使用给定尺寸的所有子图,要随机均匀地对其进行采样,或者使用手工制作的启发式方法,而不是学习以数据驱动的方式选择子图。在这里,我们提供了一种统一的方法来研究此类体系结构,通过引入理论框架并扩展了亚图增强GNN的已知表达结果。具体而言,我们表明,增加子图的大小总是会增加表达能力,并通过将它们与已建立的$ k \ text { - } \ Mathsf {Wl} $ hierArchy联系起来,从而更好地理解其局限性。此外,我们还使用最近通过复杂的离散概率分布进行反向传播的方法探索了学习对子图进行采样的不同方法。从经验上讲,我们研究了不同子图增强的GNN的预测性能,表明我们的数据驱动体系结构与非DATA驱动的亚图增强图形神经网络相比,在标准基准数据集上提高了对标准基准数据集的预测准确性,同时减少了计算时间。
translated by 谷歌翻译
近年来,图形神经网络(GNNS)被出现为一个强大的神经结构,以学习在监督的端到端时尚中的节点和图表的矢量表示。到目前为止,只有经验评估GNNS - 显示有希望的结果。以下工作从理论的角度调查了GNN,并将它们与1美元 - 二维韦斯美犬 - Leman Graph同构Heuristic(1美元-WL)相关联。我们表明GNNS在区分非同义(子)图表中,GNN具有与1美元-WL相同的表现力。因此,这两种算法也具有相同的缺点。基于此,我们提出了GNN的概括,所谓的$ k $ -dimensional gnns($ k $ -gnns),这可以考虑多个尺度的高阶图结构。这些高阶结构在社交网络和分子图的表征中起重要作用。我们的实验评估证实了我们的理论调查结果,并确认了更高阶信息在图形分类和回归的任务中有用。
translated by 谷歌翻译
本文研究了辍学图神经网络(DAVERGNNS),一种旨在克服标准GNN框架的局限性的新方法。在DAMPGNNS中,我们在输入图上执行多个GNN运行,其中一些节点随机且独立地在这些运行中丢弃。然后,我们将这些运行的结果结合起来获得最终结果。我们证明DAMPGNN可以区分无法通过GNN的消息分隔的各种图形邻域。我们导出了确保可靠分布辍学所需的运行数量的理论界限,我们证明了有关DACKGNNS的表现能力和限制的若干特性。我们在实验上验证了我们对表现力的理论结果。此外,我们表明DOWNNNS在已建立的GNN基准上表现得很竞争。
translated by 谷歌翻译
Recent work shows that the expressive power of Graph Neural Networks (GNNs) in distinguishing non-isomorphic graphs is exactly the same as that of the Weisfeiler-Lehman (WL) graph test. In particular, they show that the WL test can be simulated by GNNs. However, those simulations involve neural networks for the 'combine' function of size polynomial or even exponential in the number of graph nodes $n$, as well as feature vectors of length linear in $n$. We present an improved simulation of the WL test on GNNs with \emph{exponentially} lower complexity. In particular, the neural network implementing the combine function in each node has only a polylogarithmic number of parameters in $n$, and the feature vectors exchanged by the nodes of GNN consists of only $O(\log n)$ bits. We also give logarithmic lower bounds for the feature vector length and the size of the neural networks, showing the (near)-optimality of our construction.
translated by 谷歌翻译