The choice of geometric space for knowledge graph (KG) embeddings can have significant effects on the performance of KG completion tasks. The hyperbolic geometry has been shown to capture the hierarchical patterns due to its tree-like metrics, which addressed the limitations of the Euclidean embedding models. Recent explorations of the complex hyperbolic geometry further improved the hyperbolic embeddings for capturing a variety of hierarchical structures. However, the performance of the hyperbolic KG embedding models for non-transitive relations is still unpromising, while the complex hyperbolic embeddings do not deal with multi-relations. This paper aims to utilize the representation capacity of the complex hyperbolic geometry in multi-relational KG embeddings. To apply the geometric transformations which account for different relations and the attention mechanism in the complex hyperbolic space, we propose to use the fast Fourier transform (FFT) as the conversion between the real and complex hyperbolic space. Constructing the attention-based transformations in the complex space is very challenging, while the proposed Fourier transform-based complex hyperbolic approaches provide a simple and effective solution. Experimental results show that our methods outperform the baselines, including the Euclidean and the real hyperbolic embedding models.

知识图（kg）嵌入在实体的学习表示和链接预测任务的关系方面表现出很大的力量。以前的工作通常将KG嵌入到单个几何空间中，例如欧几里得空间（零弯曲），双曲空间（负弯曲）或超透明空间（积极弯曲），以维持其特定的几何结构（例如，链，层次结构和环形结构）。但是，KGS的拓扑结构似乎很复杂，因为它可能同时包含多种类型的几何结构。因此，将kg嵌入单个空间中，无论欧几里得空间，双曲线空间或透明空间，都无法准确捕获KGS的复杂结构。为了克服这一挑战，我们提出了几何相互作用知识图嵌入（GIE），该图形嵌入了，该图形在欧几里得，双曲线和超级空间之间进行了交互学习的空间结构。从理论上讲，我们提出的GIE可以捕获一组更丰富的关系信息，模型键推理模式，并启用跨实体的表达语义匹配。三个完善的知识图完成基准的实验结果表明，我们的GIE以更少的参数实现了最先进的性能。

Knowledge graph embedding (KGE) is a increasingly popular technique that aims to represent entities and relations of knowledge graphs into low-dimensional semantic spaces for a wide spectrum of applications such as link prediction, knowledge reasoning and knowledge completion. In this paper, we provide a systematic review of existing KGE techniques based on representation spaces. Particularly, we build a fine-grained classification to categorise the models based on three mathematical perspectives of the representation spaces: (1) Algebraic perspective, (2) Geometric perspective, and (3) Analytical perspective. We introduce the rigorous definitions of fundamental mathematical spaces before diving into KGE models and their mathematical properties. We further discuss different KGE methods over the three categories, as well as summarise how spatial advantages work over different embedding needs. By collating the experimental results from downstream tasks, we also explore the advantages of mathematical space in different scenarios and the reasons behind them. We further state some promising research directions from a representation space perspective, with which we hope to inspire researchers to design their KGE models as well as their related applications with more consideration of their mathematical space properties.

最近，对时间变化的知识图或时间知识图（TKG）的学术兴趣越来越高。先前的研究表明，使用历史信息的TKG推理的多种方法。但是，在不同时间戳上此类信息中对层次结构的关注较少。鉴于TKG是基于时间的一系列知识图，因此序列中的年代学衍生了图之间的层次结构。此外，每个知识图都有其层次结构级别，可能相互不同。为了解决TKG中的这些层次结构特征，我们提出了HyperVC，它利用比欧几里得空间更好地编码层次结构的双曲线空间。不同时间戳上知识图之间的时间顺序结构是通过将知识图作为矢量嵌入通用双曲线空间中的矢量来表示的。此外，通过调整其实体和关系的双曲线嵌入的曲率来表示，知识图的各种层次级别。四个基准数据集的实验显示出很大的改进，尤其是在层次级别较高的数据集上。

双曲线神经网络由于对几个图形问题的有希望的结果，包括节点分类和链接预测，因此最近引起了极大的关注。取得成功的主要原因是双曲空间在捕获图数据集的固有层次结构方面的有效性。但是，在非层次数据集方面，它们在概括，可伸缩性方面受到限制。在本文中，我们对双曲线网络进行了完全正交的观点。我们使用Poincar \'e磁盘对双曲线几何形状进行建模，并将其视为磁盘本身是原始的切线空间。这使我们能够用欧几里院近似替代非尺度的M \“ Obius Gyrovector操作，因此将整个双曲线模型简化为具有双曲线归一化功能的欧几里得模型。它仍然在Riemannian歧管中起作用，因此我们称其为伪poincar \'e框架。我们将非线性双曲线归一化应用于当前的最新均质和多关系图网络，与欧几里得和双曲线对应物相比，性能的显着改善。这项工作的主要影响在于其在欧几里得空间中捕获层次特征的能力，因此可以替代双曲线网络而不会损失性能指标，同时利用欧几里得网络的功能，例如可解释性和有效执行各种模型组件。

捕获关系的构图模式是知识图表完成中的重要任务。它还是迈向多跳推理的基本步骤，以了解学到的知识。以前，已经开发了几种基于旋转的翻译方法来使用一系列复值对角线矩阵的产品来模拟复合关系。然而，这些方法倾向于对复合关系进行几种超薄假设，例如，强迫他们独立于实体和缺乏语义等级的交换。为了系统地解决这些问题，我们开发了一种新颖的知识图形嵌入方法，命名为密集，为复杂的关系模式提供改进的建模方案。特别地，我们的方法将每个关系分解成SO（3）基于基于组的旋转操作员和三维（3-D）欧几里德空间中的缩放操作员。这种设计原理导致我们的方法的几个优点：（1）对于复合关系，相应的对角线关系矩阵可以是非换向的，反映了现实世界应用中的主要情景; （2）我们的模型保留了关系运营和实体嵌入之间的自然互动; （3）缩放操作为实体的内在语义层次结构提供建模电力; （4）在参数大小和培训时间方面，以高计算效率实现致密的增强效果; （5）欧几里德空间中的建模实体而不是四元数空间，保持关系模式的直接几何解释。多个基准知识图上的实验结果表明，密集优于当前最先进的模型，以缺少链路预测，尤其是对复合关系。

两视图知识图（kgs）共同表示两个组成部分：抽象和常识概念的本体论观点，以及针对本体论概念实例化的特定实体的实例视图。因此，这些kg包含来自实例视图的本体学和周期性的分层的异质结构。尽管KG中有这些不同的结构，但最新的嵌入KG的作品假设整个KG仅属于两个观点之一，但并非同时属于。对于寻求将KG视为两种视图的作品，假定实例和本体论的观点属于相同的几何空间，例如所有嵌入在同一欧几里得空间中的节点或非欧盟产品空间，不再是合理的。对于两视图kg，图表的不同部分显示出不同的结构。为了解决这个问题，我们定义并构建了一个双几何空间嵌入模型（DGS），该模型通过将KG的不同部分嵌入不同的几何空间中，该模型使用复杂的非欧盟几何几何空间进行对两视图KGS进行建模。 DGS利用球形空间，双曲线空间及其在统一框架中学习嵌入的框架中的相交空间。此外，对于球形空间，我们提出了直接在球形空间中运行的新型封闭的球形空间操作员，而无需映射到近似切线空间。公共数据集上的实验表明，DGS在KG完成任务上的先前最先进的基线模型明显优于先前的基线模型，这表明了其在KGS中更好地建模异质结构的能力。

最近，链接预测问题，也称为知识图完成，已经吸引了大量的研究。即使最近的型号很少试图通过在低维度中嵌入知识图表来实现相对良好的性能，即目前最先进的模型的最佳结果是以大大提高嵌入的维度的成本赚取的。然而，这导致在巨大知识库的情况下导致过度舒服和更重要的可扩展性问题。灵感灵感来自变压器模型的变体提供的深度学习的进步，因为它的自我关注机制，在本文中，我们提出了一种基于IT的模型来解决上述限制。在我们的模型中，自我关注是将查询依赖预测应用于实体和关系的关键，并捕获它们之间的相互信息，以获得来自低维嵌入的高度富有表现力的表现。两种标准链路预测数据集，FB15K-237和WN18RR的经验结果表明，我们的模型比我们三个最近最近期的最新竞争对手实现了相当的性能或更好的性能，其维度的重大减少了76.3％平均嵌入。

知识图完成（KGC）旨在发现知识图（KGS）中实体之间的缺失关系。大多数先前的KGC工作都集中在实体和关系的学习表现上。然而，通常需要更高维度的嵌入空间才能获得更好的推理能力，这会导致更大的模型大小，并阻碍对现实世界中的问题的适用性（例如，大规模kgs或移动/边缘计算）。在这项工作中提出了一种称为GreenKGC的轻型模块化的KGC解决方案，以解决此问题。 GreenKGC由三个模块组成：1）表示学习，2）特征修剪和3）决策学习。在模块1中，我们利用现有的KG嵌入模型来学习实体和关系的高维表示。在模块2中，KG分为几个关系组，然后分为一个特征修剪过程，以找到每个关系组的最判别特征。最后，将分类器分配给每个关系组，以应对模块3中KGC任务的低维三功能原始的高维嵌入型号尺寸较小。此外，我们对两个三重分类数据集进行了实验，以证明相同的方法可以推广到更多任务。

We study the problem of learning representations of entities and relations in knowledge graphs for predicting missing links. The success of such a task heavily relies on the ability of modeling and inferring the patterns of (or between) the relations. In this paper, we present a new approach for knowledge graph embedding called RotatE, which is able to model and infer various relation patterns including: symmetry/antisymmetry, inversion, and composition. Specifically, the RotatE model defines each relation as a rotation from the source entity to the target entity in the complex vector space. In addition, we propose a novel self-adversarial negative sampling technique for efficiently and effectively training the RotatE model. Experimental results on multiple benchmark knowledge graphs show that the proposed RotatE model is not only scalable, but also able to infer and model various relation patterns and significantly outperform existing state-of-the-art models for link prediction.

知识图嵌入（KGE）旨在将实体和关系映射到低维空间，并成为知识图完成的\ textit {de-facto}标准。大多数现有的KGE方法都受到稀疏挑战的困扰，在这种挑战中，很难预测在知识图中频繁的实体。在这项工作中，我们提出了一个新颖的框架KRACL，以减轻具有图表和对比度学习的KG中广泛的稀疏性。首先，我们建议知识关系网络（KRAT）通过同时将相邻的三元组投射到不同的潜在空间，并通过注意机制共同汇总信息来利用图形上下文。 KRAT能够捕获不同上下文三联的微妙的语义信息和重要性，并利用知识图中的多跳信息。其次，我们通过将对比度损失与跨熵损失相结合，提出知识对比损失，这引入了更多的负样本，从而丰富了对稀疏实体的反馈。我们的实验表明，KRACL在各种标准知识基准中取得了卓越的结果，尤其是在WN18RR和NELL-995上，具有大量低级内实体。广泛的实验还具有KRACL在处理稀疏知识图和鲁棒性三元组的鲁棒性方面的有效性。

事实证明，信息提取方法可有效从结构化或非结构化数据中提取三重。以（头部实体，关系，尾部实体）形式组织这样的三元组的组织称为知识图（kgs）。当前的大多数知识图都是不完整的。为了在下游任务中使用kgs，希望预测kgs中缺少链接。最近，通过将实体和关系嵌入到低维的矢量空间中，旨在根据先前访问的三元组来预测三元组，从而对KGS表示不同的方法。根据如何独立或依赖对三元组进行处理，我们将知识图完成的任务分为传统和图形神经网络表示学习，并更详细地讨论它们。在传统的方法中，每个三重三倍将独立处理，并在基于GNN的方法中进行处理，三倍也考虑了他们的当地社区。查看全文

Graph convolutional networks (GCNs) are powerful frameworks for learning embeddings of graph-structured data. GCNs are traditionally studied through the lens of Euclidean geometry. Recent works find that non-Euclidean Riemannian manifolds provide specific inductive biases for embedding hierarchical or spherical data. However, they cannot align well with data of mixed graph topologies. We consider a larger class of pseudo-Riemannian manifolds that generalize hyperboloid and sphere. We develop new geodesic tools that allow for extending neural network operations into geodesically disconnected pseudo-Riemannian manifolds. As a consequence, we derive a pseudo-Riemannian GCN that models data in pseudo-Riemannian manifolds of constant nonzero curvature in the context of graph neural networks. Our method provides a geometric inductive bias that is sufficiently flexible to model mixed heterogeneous topologies like hierarchical graphs with cycles. We demonstrate the representational capabilities of this method by applying it to the tasks of graph reconstruction, node classification and link prediction on a series of standard graphs with mixed topologies. Empirical results demonstrate that our method outperforms Riemannian counterparts when embedding graphs of complex topologies.

知识图形嵌入（KGE）由于其在自动知识图（kg）完成和知识驱动的任务中的潜力而引起了很大的关注。然而，最近的KGE模型遭受了高训练成本和大存储空间，因此限制了他们在现实世界应用中的实用性。为了解决这一挑战，根据对比学习领域的最新发现，我们提出了一种名为硬度感知的低维嵌入（HALE）的新型KGE训练框架。除了传统的负面采样而不是传统的负面采样，我们基于查询采样设计一个新的损失功能，可以平衡两个重要的培训目标，对齐和均匀性。此外，我们分析了近期低维双曲模型的硬度感知，并提出了一种轻量级硬度感知激活机制，可以帮助KGE模型关注硬实例并加速收敛。实验结果表明，在有限的训练时间，HALE可以有效地提高KGE模型在五个常用的数据集中的性能和训练速度。在训练后，训练的模型可以在几分钟后获得高预测精度，与低维度和高维条件的最先进模型相比，竞争力。

知识图嵌入（KGE）的有效性在很大程度上取决于建模固有关系模式和映射属性的能力。但是，现有方法只能以不足的建模能力捕获其中的一些。在这项工作中，我们提出了一个名为House的更强大的KGE框架，该框架涉及基于两种家庭转换的新型参数化：（1）住户旋转以实现建模关系模式的较高能力；（2）处理复杂关系映射属性的住户预测。从理论上讲，房屋能够同时建模关键的关系模式和映射属性。此外，房屋是对现有基于旋转的模型的概括，同时将旋转扩展到高维空间。从经验上讲，House在五个基准数据集上实现了新的最新性能。我们的代码可在https://github.com/anrep/house上找到。

翻译，旋转和缩放是图像处理中三个常用的几何操作操作。此外，其中一些成功用于开发有效的知识图嵌入（KGE）模型，例如transe和旋转。受协同作用的启发，我们通过利用这项工作中的所有三项操作提出了一个新的KGE模型。由于翻译，旋转和缩放操作被级联形成一个复合的操作，因此新模型被命名为复合。通过在小组理论的框架中铸造复合物，我们表明，基于得分功能的KGE模型是复合的特殊情况。Compounde将简单的基于距离的关系扩展到与关系有关的化合物操作上的头部和/或尾部实体。为了证明化合物的有效性，我们对三个流行的KG完成数据集进行了实验。实验结果表明，复合者始终达到了现状的性能。

Hyperbolic space is emerging as a promising learning space for representation learning, owning to its exponential growth volume. Compared with the flat Euclidean space, the curved hyperbolic space is far more ambient and embeddable, particularly for datasets with implicit tree-like architectures, such as hierarchies and power-law distributions. On the other hand, the structure of a real-world network is usually intricate, with some regions being tree-like, some being flat, and others being circular. Directly embedding heterogeneous structural networks into a homogeneous embedding space unavoidably brings inductive biases and distortions. Inspiringly, the discrete curvature can well describe the local structure of a node and its surroundings, which motivates us to investigate the information conveyed by the network topology explicitly in improving geometric learning. To this end, we explore the properties of the local discrete curvature of graph topology and the continuous global curvature of embedding space. Besides, a Hyperbolic Curvature-aware Graph Neural Network, HCGNN, is further proposed. In particular, HCGNN utilizes the discrete curvature to lead message passing of the surroundings and adaptively adjust the continuous curvature simultaneously. Extensive experiments on node classification and link prediction tasks show that the proposed method outperforms various competitive models by a large margin in both high and low hyperbolic graph data. Case studies further illustrate the efficacy of discrete curvature in finding local clusters and alleviating the distortion caused by hyperbolic geometry.

完成知识三胞胎的任务具有广泛的下游应用程序。结构和语义信息在知识图完成中起着重要作用。与以前依靠知识图的结构或语义的方法不同，我们建议将语义共同嵌入知识三胞胎的自然语言描述及其结构信息。我们的方法通过对概率结构化损失进行微调预训练的语言模型来嵌入完成任务的知识图，其中语言模型的正向通过捕获语义和损失重建结构。我们对各种知识图基准的广泛实验证明了我们方法的最新性能。我们还表明，由于语义的更好使用，我们的方法可以显着提高低资源制度的性能。代码和数据集可在https://github.com/pkusjh/lass上找到。

最近公布的知识图形嵌入模型的实施，培训和评估的异质性已经公平和彻底的比较困难。为了评估先前公布的结果的再现性，我们在Pykeen软件包中重新实施和评估了21个交互模型。在这里，我们概述了哪些结果可以通过其报告的超参数再现，这只能以备用的超参数再现，并且无法再现，并且可以提供洞察力，以及为什么会有这种情况。然后，我们在四个数据集上进行了大规模的基准测试，其中数千个实验和24,804 GPU的计算时间。我们展示了最佳实践，每个模型的最佳配置以及可以通过先前发布的最佳配置进行改进的洞察。我们的结果强调了模型架构，训练方法，丢失功能和逆关系显式建模的组合对于模型的性能来说至关重要，而不仅由模型架构决定。我们提供了证据表明，在仔细配置时，若干架构可以获得对最先进的结果。我们制定了所有代码，实验配置，结果和分析，导致我们在https://github.com/pykeen/pykeen和https://github.com/pykeen/benchmarking中获得的解释

当前的最佳性能模型用于知识图推理（KGR）将几何学对象或概率分布引入嵌入实体，并将一阶逻辑（fol）查询引入低维矢量空间。它们可以总结为中心尺寸框架（点/框/锥，β/高斯分布等）。但是，它们具有有限的逻辑推理能力。而且很难概括到各种功能，因为中心和大小是一对一的约束，无法具有多个中心或尺寸。为了应对这些挑战，我们相反提出了一个名为“特征逻辑嵌入框架Flex”的新颖的KGR框架，这是第一个KGR框架，它不仅可以真正处理所有运营，包括连词，析取，否定，否定等等，而且还支持各种操作特征空间。具体而言，特征逻辑框架的逻辑部分是基于向量逻辑的，它自然地对所有FOL操作进行了建模。实验表明，FLEX在基准数据集上明显优于现有的最新方法。