在时间图上的表示学习吸引了大量的研究注意力,因为它在各种各样的现实应用程序中的基本重要性。尽管许多研究成功地获得了时间依赖的表示,但它仍然面临重大挑战。一方面,大多数现有方法都以一定的曲率限制了嵌入空间。然而,实际上,潜在的几何形状随着时间的推移而变化的曲率超球,零曲率欧几里得和负曲率双曲空间发生了变化。另一方面,这些方法通常需要丰富的标签来学习时间表示,从而明显限制了它们在真实应用程序的未标记图中的广泛使用。为了弥合这一差距,我们首次尝试研究一般的Riemannian空间中自我监督的时间图表示学习的问题,从而支持随时间变化的曲率在超球,欧几里得和双曲线空间之间转移。在本文中,我们提出了一种新颖的自我监督的Riemannian图神经网络(SEXTRGNN)。具体而言,我们设计了具有理论上的时间编码的曲率变化的Riemannian GNN,并随着时间的推移制定功能性曲率,以模拟正,零和负曲率空间之间的演变转换。为了启用自我监督的学习,我们提出了一种新颖的重新处理自我对比的方法,探索Riemannian空间本身而无需增强,并提出了一种基于边缘的自我监督的曲率学习,并使用RICCI曲率进行。广泛的实验表明了SelfRGNN的优越性,此外,案例研究表明了现实中时间图的时变曲率。
translated by 谷歌翻译
图表表示学习近年来收到了增加的注意。大多数现有方法忽略了图形结构的复杂性,并限制了单个恒定曲率表示空间中的图形,这仅适用于特定类型的图形结构。此外,这些方法遵循监督或半监督的学习范例,从而显着限制其在实际应用中的未标记图中的部署。为了解决这些上述限制,我们首次尝试研究混合曲率空间中的自我监督的图表表示学习。在本文中,我们提出了一种新颖的自我监督的混合曲率图神经网络(SelfMGNN)。我们不是在一个单一的恒定曲率空间上工作,我们通过多个riemannian组件空间的笛卡尔乘积构建混合曲率空间,并设计分层注意机制,用于学习和融合这些组件空间的表示。为了实现自我超标学习,我们提出了一种新的双重对比方法。混合曲率的黎曼空间实际上为对比学习提供了多个黎曼观点。我们介绍了一个riemananian投影机来揭示这些观点,并利用精心设计的riemananian判别者,以便在里莫安尼亚视图中单独和跨越对比学习。最后,广泛的实验表明SelfMGNN捕获了现实中的复杂图形结构,优于最先进的基线。
translated by 谷歌翻译
Continual graph learning routinely finds its role in a variety of real-world applications where the graph data with different tasks come sequentially. Despite the success of prior works, it still faces great challenges. On the one hand, existing methods work with the zero-curvature Euclidean space, and largely ignore the fact that curvature varies over the coming graph sequence. On the other hand, continual learners in the literature rely on abundant labels, but labeling graph in practice is particularly hard especially for the continuously emerging graphs on-the-fly. To address the aforementioned challenges, we propose to explore a challenging yet practical problem, the self-supervised continual graph learning in adaptive Riemannian spaces. In this paper, we propose a novel self-supervised Riemannian Graph Continual Learner (RieGrace). In RieGrace, we first design an Adaptive Riemannian GCN (AdaRGCN), a unified GCN coupled with a neural curvature adapter, so that Riemannian space is shaped by the learnt curvature adaptive to each graph. Then, we present a Label-free Lorentz Distillation approach, in which we create teacher-student AdaRGCN for the graph sequence. The student successively performs intra-distillation from itself and inter-distillation from the teacher so as to consolidate knowledge without catastrophic forgetting. In particular, we propose a theoretically grounded Generalized Lorentz Projection for the contrastive distillation in Riemannian space. Extensive experiments on the benchmark datasets show the superiority of RieGrace, and additionally, we investigate on how curvature changes over the graph sequence.
translated by 谷歌翻译
Graph convolutional networks (GCNs) are powerful frameworks for learning embeddings of graph-structured data. GCNs are traditionally studied through the lens of Euclidean geometry. Recent works find that non-Euclidean Riemannian manifolds provide specific inductive biases for embedding hierarchical or spherical data. However, they cannot align well with data of mixed graph topologies. We consider a larger class of pseudo-Riemannian manifolds that generalize hyperboloid and sphere. We develop new geodesic tools that allow for extending neural network operations into geodesically disconnected pseudo-Riemannian manifolds. As a consequence, we derive a pseudo-Riemannian GCN that models data in pseudo-Riemannian manifolds of constant nonzero curvature in the context of graph neural networks. Our method provides a geometric inductive bias that is sufficiently flexible to model mixed heterogeneous topologies like hierarchical graphs with cycles. We demonstrate the representational capabilities of this method by applying it to the tasks of graph reconstruction, node classification and link prediction on a series of standard graphs with mixed topologies. Empirical results demonstrate that our method outperforms Riemannian counterparts when embedding graphs of complex topologies.
translated by 谷歌翻译
Hyperbolic space is emerging as a promising learning space for representation learning, owning to its exponential growth volume. Compared with the flat Euclidean space, the curved hyperbolic space is far more ambient and embeddable, particularly for datasets with implicit tree-like architectures, such as hierarchies and power-law distributions. On the other hand, the structure of a real-world network is usually intricate, with some regions being tree-like, some being flat, and others being circular. Directly embedding heterogeneous structural networks into a homogeneous embedding space unavoidably brings inductive biases and distortions. Inspiringly, the discrete curvature can well describe the local structure of a node and its surroundings, which motivates us to investigate the information conveyed by the network topology explicitly in improving geometric learning. To this end, we explore the properties of the local discrete curvature of graph topology and the continuous global curvature of embedding space. Besides, a Hyperbolic Curvature-aware Graph Neural Network, HCGNN, is further proposed. In particular, HCGNN utilizes the discrete curvature to lead message passing of the surroundings and adaptively adjust the continuous curvature simultaneously. Extensive experiments on node classification and link prediction tasks show that the proposed method outperforms various competitive models by a large margin in both high and low hyperbolic graph data. Case studies further illustrate the efficacy of discrete curvature in finding local clusters and alleviating the distortion caused by hyperbolic geometry.
translated by 谷歌翻译
归因网络上的异常检测最近在许多研究领域(例如控制论异常检测和财务欺诈检测)受到了越来越多的关注。随着深度学习在图表表示上的广泛应用,现有的方法选择将欧几里得图编码器作为骨架进行应用,这可能会失去重要的层次结构信息,尤其是在复杂的网络中。为了解决这个问题,我们建议使用双曲线自我监督对比度学习有效的异常检测框架。具体而言,我们首先通过执行子图抽样进行数据增强。然后,我们通过指数映射和对数映射利用双曲线空间中的分层信息,并通过通过区分过程从负对中减去正对的分数来获得异常得分。最后,在四个现实世界数据集上进行的广泛实验表明,我们的方法在代表性基线方法上的表现优越。
translated by 谷歌翻译
双曲线神经网络由于对几个图形问题的有希望的结果,包括节点分类和链接预测,因此最近引起了极大的关注。取得成功的主要原因是双曲空间在捕获图数据集的固有层次结构方面的有效性。但是,在非层次数据集方面,它们在概括,可伸缩性方面受到限制。在本文中,我们对双曲线网络进行了完全正交的观点。我们使用Poincar \'e磁盘对双曲线几何形状进行建模,并将其视为磁盘本身是原始的切线空间。这使我们能够用欧几里院近似替代非尺度的M \“ Obius Gyrovector操作,因此将整个双曲线模型简化为具有双曲线归一化功能的欧几里得模型。它仍然在Riemannian歧管中起作用,因此我们称其为伪poincar \'e框架。我们将非线性双曲线归一化应用于当前的最新均质和多关系图网络,与欧几里得和双曲线对应物相比,性能的显着改善。这项工作的主要影响在于其在欧几里得空间中捕获层次特征的能力,因此可以替代双曲线网络而不会损失性能指标,同时利用欧几里得网络的功能,例如可解释性和有效执行各种模型组件。
translated by 谷歌翻译
图形神经网络(GNNS)传统上由于1)建模邻域和2)保留不对称,因此由于1)的显着挑战,传统上具有较差的图形(DIGRAPH)的性能。在本文中,我们通过利用从多订购和分区社区的双曲线协作学习以及由社会心理因素的启发的常规方来解决传统GNN中的这些挑战。我们所产生的形式主义,Digraph双曲线网络(D-Hypr)学习双曲线空间中的节点表示,以避免真实世界的结构和语义扭曲。我们对4个任务进行全面的实验:链路预测,节点分类,标志预测和嵌入可视化。D-HYPR在大多数任务和数据集上统计上显着优于本领域的当前状态,同时实现竞争性能。我们的代码和数据将可用。
translated by 谷歌翻译
在异质图上的自我监督学习(尤其是对比度学习)方法可以有效地摆脱对监督数据的依赖。同时,大多数现有的表示学习方法将异质图嵌入到欧几里得或双曲线的单个几何空间中。这种单个几何视图通常不足以观察由于其丰富的语义和复杂结构而观察到异质图的完整图片。在这些观察结果下,本文提出了一种新型的自我监督学习方法,称为几何对比度学习(GCL),以更好地表示监督数据是不可用时的异质图。 GCL同时观察了从欧几里得和双曲线观点的异质图,旨在强烈合并建模丰富的语义和复杂结构的能力,这有望为下游任务带来更多好处。 GCL通过在局部局部和局部全球语义水平上对比表示两种几何视图之间的相互信息。在四个基准数据集上进行的广泛实验表明,在三个任务上,所提出的方法在包括节点分类,节点群集和相似性搜索在内的三个任务上都超过了强基础,包括无监督的方法和监督方法。
translated by 谷歌翻译
由于其独立性与标签及其稳健性的独立性,自我监督的学习最近引起了很多关注。目前关于本主题的研究主要使用诸如图形结构的静态信息,但不能很好地捕获诸如边缘时间戳的动态信息。现实图形通常是动态的,这意味着节点之间的交互发生在特定时间。本文提出了一种自我监督的动态图形表示学习框架(DYSUBC),其定义了一个时间子图对比学学习任务,以同时学习动态图的结构和进化特征。具体地,首先提出了一种新的时间子图采样策略,其将动态图的每个节点作为中心节点提出,并使用邻域结构和边缘时间戳来采样相应的时间子图。然后根据在编码每个子图中的节点之后,根据中心节点上的邻域节点的影响设计子图表示功能。最后,定义了结构和时间对比损失,以最大化节点表示和时间子图表示之间的互信息。五个现实数据集的实验表明(1)DySubc比下游链路预测任务中的两个图形对比学习模型和四个动态图形表示学习模型更好地表现出更好的相关基线,(2)使用时间信息不能使用只有更有效的子图,还可以通过时间对比损失来学习更好的表示。
translated by 谷歌翻译
知识图(kg)嵌入在实体的学习表示和链接预测任务的关系方面表现出很大的力量。以前的工作通常将KG嵌入到单个几何空间中,例如欧几里得空间(零弯曲),双曲空间(负弯曲)或超透明空间(积极弯曲),以维持其特定的几何结构(例如,链,层次结构和环形结构)。但是,KGS的拓扑结构似乎很复杂,因为它可能同时包含多种类型的几何结构。因此,将kg嵌入单个空间中,无论欧几里得空间,双曲线空间或透明空间,都无法准确捕获KGS的复杂结构。为了克服这一挑战,我们提出了几何相互作用知识图嵌入(GIE),该图形嵌入了,该图形在欧几里得,双曲线和超级空间之间进行了交互学习的空间结构。从理论上讲,我们提出的GIE可以捕获一组更丰富的关系信息,模型键推理模式,并启用跨实体的表达语义匹配。三个完善的知识图完成基准的实验结果表明,我们的GIE以更少的参数实现了最先进的性能。
translated by 谷歌翻译
由于其几何特性,双曲线空间可以支持树木和图形结构化数据的高保真嵌入。结果,已经开发了各种双曲线网络,这些网络在许多任务上都超过了欧几里得网络:例如双曲线图卷积网络(GCN)在某些图形学习任务上的表现可以胜过香草GCN。但是,大多数现有的双曲线网络都是复杂的,计算昂贵的,并且在数值上不稳定 - 由于这些缺点,它们无法扩展到大图。提出了越来越多的双曲线网络,越来越不清楚什么关键组成部分使模型行为。在本文中,我们提出了HYLA,这是一种简单而最小的方法,用于在网络中使用双曲线空间:Hyla地图一次从双曲空空间从嵌入荷兰的嵌入到欧几里得空间,并通过双曲线空间中的Laplacian操作员的特征函数。我们在图形学习任务上评估HYLA,包括节点分类和文本分类,其中HYLA可以与任何图神经网络一起使用。当与线性模型一起使用时,HYLA对双曲线网络和其他基线显示出显着改善。
translated by 谷歌翻译
最近,对时间变化的知识图或时间知识图(TKG)的学术兴趣越来越高。先前的研究表明,使用历史信息的TKG推理的多种方法。但是,在不同时间戳上此类信息中对层次结构的关注较少。鉴于TKG是基于时间的一系列知识图,因此序列中的年代学衍生了图之间的层次结构。此外,每个知识图都有其层次结构级别,可能相互不同。为了解决TKG中的这些层次结构特征,我们提出了HyperVC,它利用比欧几里得空间更好地编码层次结构的双曲线空间。不同时间戳上知识图之间的时间顺序结构是通过将知识图作为矢量嵌入通用双曲线空间中的矢量来表示的。此外,通过调整其实体和关系的双曲线嵌入的曲率来表示,知识图的各种层次级别。四个基准数据集的实验显示出很大的改进,尤其是在层次级别较高的数据集上。
translated by 谷歌翻译
图形结构化数据通常在自然界中具有动态字符,例如,在许多现实世界中,链接和节点的添加。近年来见证了对这种图形数据进行建模的动态图神经网络所支付的越来越多的注意力,几乎所有现有方法都假设,当建立新的链接时,应通过学习时间动态来传播邻居节点的嵌入。新的信息。但是,这种方法遭受了这样的限制,如果新连接引入的节点包含嘈杂的信息,那么将其知识传播到其他节点是不可靠的,甚至导致模型崩溃。在本文中,我们提出了Adanet:通过增强动态图神经网络的强化知识适应框架。与以前的方法相反,一旦添加了新链接,就立即更新邻居节点的嵌入方式,Adanet试图自适应地确定由于涉及的新链接而应更新哪些节点。考虑到是否更新一个邻居节点的嵌入的决定将对其他邻居节点产生很大的影响,因此,我们将节点更新的选择作为序列决策问题,并通过强化学习解决此问题。通过这种方式,我们可以将知识自适应地传播到其他节点,以学习健壮的节点嵌入表示。据我们所知,我们的方法构成了通过强化学习的动态图神经网络来探索强大知识适应的首次尝试。在三个基准数据集上进行的广泛实验表明,Adanet可以实现最新的性能。此外,我们通过在数据集中添加不同程度的噪声来执行实验,并定量和定性地说明ADANET的鲁棒性。
translated by 谷歌翻译
Knowledge graph embedding (KGE) is a increasingly popular technique that aims to represent entities and relations of knowledge graphs into low-dimensional semantic spaces for a wide spectrum of applications such as link prediction, knowledge reasoning and knowledge completion. In this paper, we provide a systematic review of existing KGE techniques based on representation spaces. Particularly, we build a fine-grained classification to categorise the models based on three mathematical perspectives of the representation spaces: (1) Algebraic perspective, (2) Geometric perspective, and (3) Analytical perspective. We introduce the rigorous definitions of fundamental mathematical spaces before diving into KGE models and their mathematical properties. We further discuss different KGE methods over the three categories, as well as summarise how spatial advantages work over different embedding needs. By collating the experimental results from downstream tasks, we also explore the advantages of mathematical space in different scenarios and the reasons behind them. We further state some promising research directions from a representation space perspective, with which we hope to inspire researchers to design their KGE models as well as their related applications with more consideration of their mathematical space properties.
translated by 谷歌翻译
大数据学习为人工智能(AI)带来了成功,但是注释和培训成本很昂贵。将来,对小数据的学习是AI的最终目的之一,它要求机器识别依靠小数据作为人类的目标和场景。一系列的机器学习模型正在进行这种方式,例如积极学习,几乎没有学习,深度聚类。但是,其概括性能几乎没有理论保证。此外,它们的大多数设置都是被动的,也就是说,标签分布由一个指定的采样方案明确控制。这项调查遵循PAC(可能是近似正确)框架下的不可知论活动采样,以分析使用有监督和无监督的时尚对小数据学习的概括误差和标签复杂性。通过这些理论分析,我们从两个几何学角度对小数据学习模型进行了分类:欧几里得和非欧几里得(双曲线)平均表示,在此还提供了优化解决方案和讨论。稍后,然后总结了一些可能从小型数据学习中受益的潜在学习方案,还分析了它们的潜在学习方案。最后,还调查了一些具有挑战性的应用程序,例如计算机视觉,自然语言处理可能会受益于小型数据学习。
translated by 谷歌翻译
Graphs are ubiquitous in nature and can therefore serve as models for many practical but also theoretical problems. For this purpose, they can be defined as many different types which suitably reflect the individual contexts of the represented problem. To address cutting-edge problems based on graph data, the research field of Graph Neural Networks (GNNs) has emerged. Despite the field's youth and the speed at which new models are developed, many recent surveys have been published to keep track of them. Nevertheless, it has not yet been gathered which GNN can process what kind of graph types. In this survey, we give a detailed overview of already existing GNNs and, unlike previous surveys, categorize them according to their ability to handle different graph types and properties. We consider GNNs operating on static and dynamic graphs of different structural constitutions, with or without node or edge attributes. Moreover, we distinguish between GNN models for discrete-time or continuous-time dynamic graphs and group the models according to their architecture. We find that there are still graph types that are not or only rarely covered by existing GNN models. We point out where models are missing and give potential reasons for their absence.
translated by 谷歌翻译
嵌入现实世界网络提出挑战,因为它不清楚如何识别其潜在的几何形状。嵌入了诸如无尺度网络的辅音网络,以欧几里德空间显示出造成的扭曲。将无缝的网络嵌入到双曲线空间提供令人兴奋的替代方案,但在将各种网络与潜在几何图中嵌入不同的几何形状时,扭曲的障碍。我们提出了一种归纳模型,可以利用GCNS和琐碎束的表现力来学习有或没有节点特征的网络的归纳节点表示。琐碎的束是一种简单的纤维束的情况,这是全球的空间,其基础空间和光纤的产品空间。基础空间和纤维的坐标可用于表达产生边缘的分类和抵消因子。因此,该模型能够学习可以表达这些因素的嵌入物。在实践中,与Euclidean和双曲线GCN相比,它会减少链路预测和节点分类的错误。
translated by 谷歌翻译
对比学习在图表学习领域表现出了巨大的希望。通过手动构建正/负样本,大多数图对比度学习方法依赖于基于矢量内部产品的相似性度量标准来区分图形表示样品。但是,手工制作的样品构建(例如,图表的节点或边缘的扰动)可能无法有效捕获图形的固有局部结构。同样,基于矢量内部产品的相似性度量标准无法完全利用图形的局部结构来表征图差。为此,在本文中,我们提出了一种基于自适应子图生成的新型对比度学习框架,以实现有效且强大的自我监督图表示学习,并且最佳传输距离被用作子绘图之间的相似性度量。它的目的是通过捕获图的固有结构来生成对比样品,并根据子图的特征和结构同时区分样品。具体而言,对于每个中心节点,通过自适应学习关系权重与相应邻域的节点,我们首先开发一个网络来生成插值子图。然后,我们分别构建来自相同和不同节点的子图的正和负对。最后,我们采用两种类型的最佳运输距离(即Wasserstein距离和Gromov-Wasserstein距离)来构建结构化的对比损失。基准数据集上的广泛节点分类实验验证了我们的图形对比学习方法的有效性。
translated by 谷歌翻译
时间图代表实体之间的动态关系,并发生在许多现实生活中的应用中,例如社交网络,电子商务,通信,道路网络,生物系统等。他们需要根据其生成建模和表示学习的研究超出与静态图有关的研究。在这项调查中,我们全面回顾了近期针对处理时间图提出的神经时间依赖图表的学习和生成建模方法。最后,我们确定了现有方法的弱点,并讨论了我们最近发表的论文提格的研究建议[24]。
translated by 谷歌翻译