双曲线神经网络由于对几个图形问题的有希望的结果，包括节点分类和链接预测，因此最近引起了极大的关注。取得成功的主要原因是双曲空间在捕获图数据集的固有层次结构方面的有效性。但是，在非层次数据集方面，它们在概括，可伸缩性方面受到限制。在本文中，我们对双曲线网络进行了完全正交的观点。我们使用Poincar \'e磁盘对双曲线几何形状进行建模，并将其视为磁盘本身是原始的切线空间。这使我们能够用欧几里院近似替代非尺度的M \“ Obius Gyrovector操作，因此将整个双曲线模型简化为具有双曲线归一化功能的欧几里得模型。它仍然在Riemannian歧管中起作用，因此我们称其为伪poincar \'e框架。我们将非线性双曲线归一化应用于当前的最新均质和多关系图网络，与欧几里得和双曲线对应物相比，性能的显着改善。这项工作的主要影响在于其在欧几里得空间中捕获层次特征的能力，因此可以替代双曲线网络而不会损失性能指标，同时利用欧几里得网络的功能，例如可解释性和有效执行各种模型组件。

双曲线网络在涉及各个领域的层次数据集（例如计算机视觉，图形分析和自然语言处理）的几个领域中显示出对其欧几里得对应物的显着改进。但是，由于（i）对加速深度学习硬件的不可易度性，（ii）由于夸张空间关闭而消失的梯度以及（iii）由于本地切线空间和频繁映射而导致的信息丢失，因此它们在实践中的采用仍然受到限制。完全双曲线空间。为了解决这些问题，我们建议使用Taylor系列扩展对双曲线操作员进行近似，这使我们能够将计算昂贵的切线和余弦双曲线功能重新调整为更有效的多项式型号。这使我们能够保留保留双曲线空间层次解剖结构的好处，同时保持对当前加速深度学习基础设施的可伸缩性。多项式配方还使我们能够利用欧几里得网络中的进步，例如梯度剪辑和relu激活，以避免由于经常在切线空间和双曲空间之间进行切换而消除梯度并消除错误。我们对图形分析和计算机视觉域中标准基准测试的经验评估表明，在记忆和时间复杂性方面，我们的多项式公式与欧几里得体系结构一样可扩展，同时提供的结果与双曲线模型一样有效。此外，由于我们解决了消失的梯度和信息丢失，我们的配方还显示出对基线的大幅改进。

Graph convolutional networks (GCNs) are powerful frameworks for learning embeddings of graph-structured data. GCNs are traditionally studied through the lens of Euclidean geometry. Recent works find that non-Euclidean Riemannian manifolds provide specific inductive biases for embedding hierarchical or spherical data. However, they cannot align well with data of mixed graph topologies. We consider a larger class of pseudo-Riemannian manifolds that generalize hyperboloid and sphere. We develop new geodesic tools that allow for extending neural network operations into geodesically disconnected pseudo-Riemannian manifolds. As a consequence, we derive a pseudo-Riemannian GCN that models data in pseudo-Riemannian manifolds of constant nonzero curvature in the context of graph neural networks. Our method provides a geometric inductive bias that is sufficiently flexible to model mixed heterogeneous topologies like hierarchical graphs with cycles. We demonstrate the representational capabilities of this method by applying it to the tasks of graph reconstruction, node classification and link prediction on a series of standard graphs with mixed topologies. Empirical results demonstrate that our method outperforms Riemannian counterparts when embedding graphs of complex topologies.

将包含文本和不同边缘类型的文本的信息节点连接的异质网络通常用于在各种现实世界应用程序中存储和处理信息。图形神经网络（GNNS）及其双曲线变体提供了一种有希望的方法，可以通过邻域聚集和分层特征提取在低维的潜在空间中编码此类网络。但是，这些方法通常忽略Metapath结构和可用的语义信息。此外，这些方法对训练数据中存在的噪声很敏感。为了解决这些局限性，在本文中，我们提出了富含文本的稀疏双曲图卷积网络（TESH-GCN），以使用语义信号捕获图形的Metapath结构，并进一步改善大型异质图中的预测。在TESH-GCN中，我们提取语义节点信息，该信息连接信号是从稀疏的双曲线图卷积层中从稀疏邻接张量中提取相关节点的局部邻域和图形级Metapath特征。这些提取的功能与语言模型的语义特征（用于鲁棒性）结合使用，用于最终下游任务。各种异质图数据集的实验表明，我们的模型在链接预测任务上的大幅度优于当前最新方法。我们还报告说，与现有的双曲线方法相比，训练时间和模型参数均减少了，通过重新的双曲线图卷积。此外，我们通过在图形结构和文本中使用不同级别的模拟噪声来说明模型的鲁棒性，并通过分析提取的Metapaths来解释Tesh-GCN的预测机制。

Hyperbolic space is emerging as a promising learning space for representation learning, owning to its exponential growth volume. Compared with the flat Euclidean space, the curved hyperbolic space is far more ambient and embeddable, particularly for datasets with implicit tree-like architectures, such as hierarchies and power-law distributions. On the other hand, the structure of a real-world network is usually intricate, with some regions being tree-like, some being flat, and others being circular. Directly embedding heterogeneous structural networks into a homogeneous embedding space unavoidably brings inductive biases and distortions. Inspiringly, the discrete curvature can well describe the local structure of a node and its surroundings, which motivates us to investigate the information conveyed by the network topology explicitly in improving geometric learning. To this end, we explore the properties of the local discrete curvature of graph topology and the continuous global curvature of embedding space. Besides, a Hyperbolic Curvature-aware Graph Neural Network, HCGNN, is further proposed. In particular, HCGNN utilizes the discrete curvature to lead message passing of the surroundings and adaptively adjust the continuous curvature simultaneously. Extensive experiments on node classification and link prediction tasks show that the proposed method outperforms various competitive models by a large margin in both high and low hyperbolic graph data. Case studies further illustrate the efficacy of discrete curvature in finding local clusters and alleviating the distortion caused by hyperbolic geometry.

知识图（kg）嵌入在实体的学习表示和链接预测任务的关系方面表现出很大的力量。以前的工作通常将KG嵌入到单个几何空间中，例如欧几里得空间（零弯曲），双曲空间（负弯曲）或超透明空间（积极弯曲），以维持其特定的几何结构（例如，链，层次结构和环形结构）。但是，KGS的拓扑结构似乎很复杂，因为它可能同时包含多种类型的几何结构。因此，将kg嵌入单个空间中，无论欧几里得空间，双曲线空间或透明空间，都无法准确捕获KGS的复杂结构。为了克服这一挑战，我们提出了几何相互作用知识图嵌入（GIE），该图形嵌入了，该图形在欧几里得，双曲线和超级空间之间进行了交互学习的空间结构。从理论上讲，我们提出的GIE可以捕获一组更丰富的关系信息，模型键推理模式，并启用跨实体的表达语义匹配。三个完善的知识图完成基准的实验结果表明，我们的GIE以更少的参数实现了最先进的性能。

由于其几何特性，双曲线空间可以支持树木和图形结构化数据的高保真嵌入。结果，已经开发了各种双曲线网络，这些网络在许多任务上都超过了欧几里得网络：例如双曲线图卷积网络（GCN）在某些图形学习任务上的表现可以胜过香草GCN。但是，大多数现有的双曲线网络都是复杂的，计算昂贵的，并且在数值上不稳定 - 由于这些缺点，它们无法扩展到大图。提出了越来越多的双曲线网络，越来越不清楚什么关键组成部分使模型行为。在本文中，我们提出了HYLA，这是一种简单而最小的方法，用于在网络中使用双曲线空间：Hyla地图一次从双曲空空间从嵌入荷兰的嵌入到欧几里得空间，并通过双曲线空间中的Laplacian操作员的特征函数。我们在图形学习任务上评估HYLA，包括节点分类和文本分类，其中HYLA可以与任何图神经网络一起使用。当与线性模型一起使用时，HYLA对双曲线网络和其他基线显示出显着改善。

两视图知识图（kgs）共同表示两个组成部分：抽象和常识概念的本体论观点，以及针对本体论概念实例化的特定实体的实例视图。因此，这些kg包含来自实例视图的本体学和周期性的分层的异质结构。尽管KG中有这些不同的结构，但最新的嵌入KG的作品假设整个KG仅属于两个观点之一，但并非同时属于。对于寻求将KG视为两种视图的作品，假定实例和本体论的观点属于相同的几何空间，例如所有嵌入在同一欧几里得空间中的节点或非欧盟产品空间，不再是合理的。对于两视图kg，图表的不同部分显示出不同的结构。为了解决这个问题，我们定义并构建了一个双几何空间嵌入模型（DGS），该模型通过将KG的不同部分嵌入不同的几何空间中，该模型使用复杂的非欧盟几何几何空间进行对两视图KGS进行建模。 DGS利用球形空间，双曲线空间及其在统一框架中学习嵌入的框架中的相交空间。此外，对于球形空间，我们提出了直接在球形空间中运行的新型封闭的球形空间操作员，而无需映射到近似切线空间。公共数据集上的实验表明，DGS在KG完成任务上的先前最先进的基线模型明显优于先前的基线模型，这表明了其在KGS中更好地建模异质结构的能力。

图形神经网络（GNNS）传统上由于1）建模邻域和2）保留不对称，因此由于1）的显着挑战，传统上具有较差的图形（DIGRAPH）的性能。在本文中，我们通过利用从多订购和分区社区的双曲线协作学习以及由社会心理因素的启发的常规方来解决传统GNN中的这些挑战。我们所产生的形式主义，Digraph双曲线网络（D-Hypr）学习双曲线空间中的节点表示，以避免真实世界的结构和语义扭曲。我们对4个任务进行全面的实验：链路预测，节点分类，标志预测和嵌入可视化。D-HYPR在大多数任务和数据集上统计上显着优于本领域的当前状态，同时实现竞争性能。我们的代码和数据将可用。

The choice of geometric space for knowledge graph (KG) embeddings can have significant effects on the performance of KG completion tasks. The hyperbolic geometry has been shown to capture the hierarchical patterns due to its tree-like metrics, which addressed the limitations of the Euclidean embedding models. Recent explorations of the complex hyperbolic geometry further improved the hyperbolic embeddings for capturing a variety of hierarchical structures. However, the performance of the hyperbolic KG embedding models for non-transitive relations is still unpromising, while the complex hyperbolic embeddings do not deal with multi-relations. This paper aims to utilize the representation capacity of the complex hyperbolic geometry in multi-relational KG embeddings. To apply the geometric transformations which account for different relations and the attention mechanism in the complex hyperbolic space, we propose to use the fast Fourier transform (FFT) as the conversion between the real and complex hyperbolic space. Constructing the attention-based transformations in the complex space is very challenging, while the proposed Fourier transform-based complex hyperbolic approaches provide a simple and effective solution. Experimental results show that our methods outperform the baselines, including the Euclidean and the real hyperbolic embedding models.

在时间图上的表示学习吸引了大量的研究注意力，因为它在各种各样的现实应用程序中的基本重要性。尽管许多研究成功地获得了时间依赖的表示，但它仍然面临重大挑战。一方面，大多数现有方法都以一定的曲率限制了嵌入空间。然而，实际上，潜在的几何形状随着时间的推移而变化的曲率超球，零曲率欧几里得和负曲率双曲空间发生了变化。另一方面，这些方法通常需要丰富的标签来学习时间表示，从而明显限制了它们在真实应用程序的未标记图中的广泛使用。为了弥合这一差距，我们首次尝试研究一般的Riemannian空间中自我监督的时间图表示学习的问题，从而支持随时间变化的曲率在超球，欧几里得和双曲线空间之间转移。在本文中，我们提出了一种新颖的自我监督的Riemannian图神经网络（SEXTRGNN）。具体而言，我们设计了具有理论上的时间编码的曲率变化的Riemannian GNN，并随着时间的推移制定功能性曲率，以模拟正，零和负曲率空间之间的演变转换。为了启用自我监督的学习，我们提出了一种新颖的重新处理自我对比的方法，探索Riemannian空间本身而无需增强，并提出了一种基于边缘的自我监督的曲率学习，并使用RICCI曲率进行。广泛的实验表明了SelfRGNN的优越性，此外，案例研究表明了现实中时间图的时变曲率。

In recent years, graph neural networks (GNNs) have emerged as a promising tool for solving machine learning problems on graphs. Most GNNs are members of the family of message passing neural networks (MPNNs). There is a close connection between these models and the Weisfeiler-Leman (WL) test of isomorphism, an algorithm that can successfully test isomorphism for a broad class of graphs. Recently, much research has focused on measuring the expressive power of GNNs. For instance, it has been shown that standard MPNNs are at most as powerful as WL in terms of distinguishing non-isomorphic graphs. However, these studies have largely ignored the distances between the representations of nodes/graphs which are of paramount importance for learning tasks. In this paper, we define a distance function between nodes which is based on the hierarchy produced by the WL algorithm, and propose a model that learns representations which preserve those distances between nodes. Since the emerging hierarchy corresponds to a tree, to learn these representations, we capitalize on recent advances in the field of hyperbolic neural networks. We empirically evaluate the proposed model on standard node and graph classification datasets where it achieves competitive performance with state-of-the-art models.

嵌入现实世界网络提出挑战，因为它不清楚如何识别其潜在的几何形状。嵌入了诸如无尺度网络的辅音网络，以欧几里德空间显示出造成的扭曲。将无缝的网络嵌入到双曲线空间提供令人兴奋的替代方案，但在将各种网络与潜在几何图中嵌入不同的几何形状时，扭曲的障碍。我们提出了一种归纳模型，可以利用GCNS和琐碎束的表现力来学习有或没有节点特征的网络的归纳节点表示。琐碎的束是一种简单的纤维束的情况，这是全球的空间，其基础空间和光纤的产品空间。基础空间和纤维的坐标可用于表达产生边缘的分类和抵消因子。因此，该模型能够学习可以表达这些因素的嵌入物。在实践中，与Euclidean和双曲线GCN相比，它会减少链路预测和节点分类的错误。

事实证明，信息提取方法可有效从结构化或非结构化数据中提取三重。以（头部实体，关系，尾部实体）形式组织这样的三元组的组织称为知识图（kgs）。当前的大多数知识图都是不完整的。为了在下游任务中使用kgs，希望预测kgs中缺少链接。最近，通过将实体和关系嵌入到低维的矢量空间中，旨在根据先前访问的三元组来预测三元组，从而对KGS表示不同的方法。根据如何独立或依赖对三元组进行处理，我们将知识图完成的任务分为传统和图形神经网络表示学习，并更详细地讨论它们。在传统的方法中，每个三重三倍将独立处理，并在基于GNN的方法中进行处理，三倍也考虑了他们的当地社区。查看全文

图表表示学习近年来收到了增加的注意。大多数现有方法忽略了图形结构的复杂性，并限制了单个恒定曲率表示空间中的图形，这仅适用于特定类型的图形结构。此外，这些方法遵循监督或半监督的学习范例，从而显着限制其在实际应用中的未标记图中的部署。为了解决这些上述限制，我们首次尝试研究混合曲率空间中的自我监督的图表表示学习。在本文中，我们提出了一种新颖的自我监督的混合曲率图神经网络（SelfMGNN）。我们不是在一个单一的恒定曲率空间上工作，我们通过多个riemannian组件空间的笛卡尔乘积构建混合曲率空间，并设计分层注意机制，用于学习和融合这些组件空间的表示。为了实现自我超标学习，我们提出了一种新的双重对比方法。混合曲率的黎曼空间实际上为对比学习提供了多个黎曼观点。我们介绍了一个riemananian投影机来揭示这些观点，并利用精心设计的riemananian判别者，以便在里莫安尼亚视图中单独和跨越对比学习。最后，广泛的实验表明SelfMGNN捕获了现实中的复杂图形结构，优于最先进的基线。

3D对象的点云具有固有的组成性质，可以将简单的部分组装成逐渐复杂的形状以形成整个对象。明确捕获这种部分整体层次结构是一个长期的目标，以建立有效的模型，但其树状的性质使这项任务变得难以捉摸。在本文中，我们建议将点云分类器的特征嵌入双曲线空间中，并明确规范空间以说明零件整体结构。双曲线空间是唯一可以成功嵌入层次结构的树状性质的空间。这导致了对点云分类的最先进的监督模型的性能的实质性改善。

异质图卷积网络在解决异质网络数据的各种网络分析任务方面已广受欢迎，从链接预测到节点分类。但是，大多数现有作品都忽略了多型节点之间的多重网络的关系异质性，而在元路径中，元素嵌入中关系的重要性不同，这几乎无法捕获不同关系跨不同关系的异质结构信号。为了应对这一挑战，这项工作提出了用于异质网络嵌入的多重异质图卷积网络（MHGCN）。我们的MHGCN可以通过多层卷积聚合自动学习多重异质网络中不同长度的有用的异质元路径相互作用。此外，我们有效地将多相关结构信号和属性语义集成到学习的节点嵌入中，并具有无监督和精选的学习范式。在具有各种网络分析任务的五个现实世界数据集上进行的广泛实验表明，根据所有评估指标，MHGCN与最先进的嵌入基线的优势。

图表可以模拟实体之间的复杂交互，它在许多重要的应用程序中自然出现。这些应用程序通常可以投入到标准图形学习任务中，其中关键步骤是学习低维图表示。图形神经网络（GNN）目前是嵌入方法中最受欢迎的模型。然而，邻域聚合范例中的标准GNN患有区分\ EMPH {高阶}图形结构的有限辨别力，而不是\ EMPH {低位}结构。为了捕获高阶结构，研究人员求助于主题和开发的基于主题的GNN。然而，现有的基于主基的GNN仍然仍然遭受较少的辨别力的高阶结构。为了克服上述局限性，我们提出了一个新颖的框架，以更好地捕获高阶结构的新框架，铰接于我们所提出的主题冗余最小化操作员和注射主题组合的新颖框架。首先，MGNN生成一组节点表示W.R.T.每个主题。下一阶段是我们在图案中提出的冗余最小化，该主题在彼此相互比较并蒸馏出每个主题的特征。最后，MGNN通过组合来自不同图案的多个表示来执行节点表示的更新。特别地，为了增强鉴别的功率，MGNN利用重新注射功能来组合表示的函数w.r.t.不同的主题。我们进一步表明，我们的拟议体系结构增加了GNN的表现力，具有理论分析。我们展示了MGNN在节点分类和图形分类任务上的七个公共基准上表现出最先进的方法。

近年来，异构图形神经网络（HGNNS）一直在开花，但每个工作所使用的独特数据处理和评估设置会让他们的进步完全了解。在这项工作中，我们通过使用其官方代码，数据集，设置和超参数来展示12个最近的HGNN的系统再现，揭示了关于HGNN的进展的令人惊讶的结果。我们发现，由于设置不当，简单的均匀GNN，例如GCN和GAT在很大程度上低估了。具有适当输入的GAT通常可以匹配或优于各种场景的所有现有HGNN。为了促进稳健和可重复的HGNN研究，我们构建异构图形基准（HGB），由具有三个任务的11个不同数据集组成。 HGB标准化异构图数据分割，特征处理和性能评估的过程。最后，我们介绍了一个简单但非常强大的基线简单 - HGN - 这显着优于HGB上以前的所有模型 - 以加速未来HGNN的进步。

在异质图上的自我监督学习（尤其是对比度学习）方法可以有效地摆脱对监督数据的依赖。同时，大多数现有的表示学习方法将异质图嵌入到欧几里得或双曲线的单个几何空间中。这种单个几何视图通常不足以观察由于其丰富的语义和复杂结构而观察到异质图的完整图片。在这些观察结果下，本文提出了一种新型的自我监督学习方法，称为几何对比度学习（GCL），以更好地表示监督数据是不可用时的异质图。 GCL同时观察了从欧几里得和双曲线观点的异质图，旨在强烈合并建模丰富的语义和复杂结构的能力，这有望为下游任务带来更多好处。 GCL通过在局部局部和局部全球语义水平上对比表示两种几何视图之间的相互信息。在四个基准数据集上进行的广泛实验表明，在三个任务上，所提出的方法在包括节点分类，节点群集和相似性搜索在内的三个任务上都超过了强基础，包括无监督的方法和监督方法。