负抽样（NS）损失在学习知识图嵌入（KGE）中起着重要的作用，以处理大量实体。但是，适当地选择了KGE降低没有超参数的降解，例如NS损失中的余量和负样本的数量。目前，经验超参数调整以计算时间为代价解决了这个问题。为了解决这个问题，我们理论上分析了NS损失，以帮助高参数调整，并了解NS损失在KGE学习中的更好使用。我们的理论分析表明，具有限制值范围的评分方法，例如transe和旋转，需要适当调整边缘项或与没有限制值范围（例如恢复，复杂和散布）的负相同样本的数量。我们还提出了从理论方面研究的KGE中专门用于NS损失的亚采样方法。我们对FB15K-237，WN18RR和Yago3-10数据集的经验分析表明，实际训练的模型的结果与我们的理论发现一致。

最近公布的知识图形嵌入模型的实施，培训和评估的异质性已经公平和彻底的比较困难。为了评估先前公布的结果的再现性，我们在Pykeen软件包中重新实施和评估了21个交互模型。在这里，我们概述了哪些结果可以通过其报告的超参数再现，这只能以备用的超参数再现，并且无法再现，并且可以提供洞察力，以及为什么会有这种情况。然后，我们在四个数据集上进行了大规模的基准测试，其中数千个实验和24,804 GPU的计算时间。我们展示了最佳实践，每个模型的最佳配置以及可以通过先前发布的最佳配置进行改进的洞察。我们的结果强调了模型架构，训练方法，丢失功能和逆关系显式建模的组合对于模型的性能来说至关重要，而不仅由模型架构决定。我们提供了证据表明，在仔细配置时，若干架构可以获得对最先进的结果。我们制定了所有代码，实验配置，结果和分析，导致我们在https://github.com/pykeen/pykeen和https://github.com/pykeen/benchmarking中获得的解释

知识库完成（KBC）最近是一个非常活跃的领域。最近的一些KBCPAPER提出了建筑变化，新的培训方法甚至新的配方。KBC系统通常在标准基准数据集上进行评估：FB15K，FB15K-237，WN18，WN18RR和Yago3-10。大多数现有方法在这些数据集中为每个正实例训练少量的负样本，以节省计算成本。本文讨论了最近的发展如何使我们能够使用所有可用的负样本进行培训。我们表明，使用所有可用的负样本进行培训时，复杂的复合物在所有数据集上都具有近乎最先进的性能。我们称这种方法为复杂V2。我们还强调了最近在文献中提出的各种乘法KBC方法如何受益于这种训练制度，并且在大多数数据集上的性能方面都无法区分。根据这些发现，我们的工作要求重新评估其个人价值。

知识图形嵌入（KGE）由于其在自动知识图（kg）完成和知识驱动的任务中的潜力而引起了很大的关注。然而，最近的KGE模型遭受了高训练成本和大存储空间，因此限制了他们在现实世界应用中的实用性。为了解决这一挑战，根据对比学习领域的最新发现，我们提出了一种名为硬度感知的低维嵌入（HALE）的新型KGE训练框架。除了传统的负面采样而不是传统的负面采样，我们基于查询采样设计一个新的损失功能，可以平衡两个重要的培训目标，对齐和均匀性。此外，我们分析了近期低维双曲模型的硬度感知，并提出了一种轻量级硬度感知激活机制，可以帮助KGE模型关注硬实例并加速收敛。实验结果表明，在有限的训练时间，HALE可以有效地提高KGE模型在五个常用的数据集中的性能和训练速度。在训练后，训练的模型可以在几分钟后获得高预测精度，与低维度和高维条件的最先进模型相比，竞争力。

捕获关系的构图模式是知识图表完成中的重要任务。它还是迈向多跳推理的基本步骤，以了解学到的知识。以前，已经开发了几种基于旋转的翻译方法来使用一系列复值对角线矩阵的产品来模拟复合关系。然而，这些方法倾向于对复合关系进行几种超薄假设，例如，强迫他们独立于实体和缺乏语义等级的交换。为了系统地解决这些问题，我们开发了一种新颖的知识图形嵌入方法，命名为密集，为复杂的关系模式提供改进的建模方案。特别地，我们的方法将每个关系分解成SO（3）基于基于组的旋转操作员和三维（3-D）欧几里德空间中的缩放操作员。这种设计原理导致我们的方法的几个优点：（1）对于复合关系，相应的对角线关系矩阵可以是非换向的，反映了现实世界应用中的主要情景; （2）我们的模型保留了关系运营和实体嵌入之间的自然互动; （3）缩放操作为实体的内在语义层次结构提供建模电力; （4）在参数大小和培训时间方面，以高计算效率实现致密的增强效果; （5）欧几里德空间中的建模实体而不是四元数空间，保持关系模式的直接几何解释。多个基准知识图上的实验结果表明，密集优于当前最先进的模型，以缺少链路预测，尤其是对复合关系。

知识图（kgs）由于能够存储适用于许多领域的关系知识的能力，因此有助于多种应用。尽管在创造和维护方面进行了巨大的努力，但即使是最大的公斤也远非完整。因此，KG完成（KGC）已成为KG研究最关键的任务之一。最近，该领域的大量文献围绕着使用图神经网络（GNN）学习强大的嵌入，从而利用KGS中的拓扑结构。具体而言，已经做出了专门的努力，以扩展GNN，通常是为简单的同质和单一相关图设计的，以通过设计更复杂的聚合方案而不是相邻节点（关键的节点）（通过设计更复杂的聚合方案）（为GNN绩效）适当利用多关系信息。这些方法的成功自然归因于GNN在简单的多层感知器（MLP）模型上使用，这是由于它们的附加聚合功能。在这项工作中，我们发现简单的MLP模型能够达到与GNN的可比性能，这表明聚集可能并不像以前那样重要。通过进一步的探索，我们显示出仔细的评分功能和损失功能设计对KGC模型性能的影响要大得多，并且实际上不需要聚集。这表明了评分功能设计，损失功能设计和先前工作中的聚集结合，并有很有希望的见解当今最先进的KGC方法的可伸缩性，以及对KGC任务更合适的聚合设计的仔细注意明天。该实现可在线获得：https：//github.com/juanhui28/are_mpnns_helpful。

知识图嵌入模型已成为机器学习的重要领域。这些模型在知识图中提供了实体和关系的潜在表示，然后可以在下游机器学习任务（例如链接预测）中使用。这些模型的学习过程可以通过对比正面和负三元组来执行。虽然所有千克的三元组都被认为是正的，但负三元三联通常不容易获得。因此，获得的采样方法的选择在知识图嵌入模型的性能和有效性中起着至关重要的作用。当前的大多数方法从基础知识图中实体的随机分布中获取负面样本，这些样本通常还包括毫无意义的三元组。其他已知方法使用对抗技术或生成神经网络，从而降低了过程的效率。在本文中，我们提出了一种方法，以产生有关实体的可用互补知识的信息负面样本。特别是，预训练的语言模型用于通过利用实体之间的距离来形成邻里群集，以通过其文本信息获得符号实体的表示。我们的全面评估证明了拟议方法在基准知识图上具有链接预测任务的文本信息的有效性。

我们提出了使用多级蒙特卡罗（MLMC）方法的变分推理的差异减少框架。我们的框架是基于Reparameterized梯度估计的梯度估计，并在优化中从过去更新历史记录获得的“回收”参数。此外，我们的框架还提供了一种基于随机梯度下降（SGD）的新优化算法，其自适应地估计根据梯度方差的比率用于梯度估计的样本大小。理论上，通过我们的方法，梯度估计器的方差随着优化进行而降低，并且学习率调度器函数有助于提高收敛。我们还表明，就\ Texit {信噪比}比率而言，我们的方法可以通过提高初始样本大小来提高学习速率调度器功能的梯度估计的质量。最后，我们确认我们的方法通过使用多个基准数据集的基线方法的实验比较来实现更快的收敛性并降低梯度估计器的方差，并降低了与其他方法相比的其他方法。

大多数知识图（kgs）是不完整的，这激发了一个重要的研究主题，以自动补充知识图。但是，对知识图完成（KGC）模型的评估通常会忽略不完整性 - 测试集中的事实对所有未知三重态进行了排名，这些三胞胎可能包含大量不包括KG中的丢失事实。将所有未知的三胞胎视为false被称为封闭世界的假设。这种封闭世界的假设可能会对评估指标的公平性和一致性产生负面影响。在本文中，我们研究了在更现实的环境下的KGC评估，即开放世界的假设，其中未知的三胞胎被认为包括许多未包含在培训或测试集中的缺失事实。对于当前最常用的指标，例如平均值等级（MRR）和HITS@K，我们指出，在开放世界假设下，它们的行为可能是出乎意料的。具体而言，由于没有太多缺失的事实，它们的数字就模型的真实强度显示出对数趋势，因此，在反映真正的模型改进方面，度量增加可能微不足道。此外，考虑到这一方差，我们表明报告数字中的降解可能会导致不同模型之间的不正确比较，因为更强的模型可能具有较低的度量。我们在理论上和实验上都验证了现象。最后，我们建议解决此问题的可能原因和解决方案。我们的代码和数据可在https://github.com/graphpku/open-world-kg上找到。

知识库完成在这项工作中被制定为二进制分类问题，其中使用知识图中的相关链接（KGS）培训XGBoost二进制分类器。新方法名为KGBoost，采用模块化设计，并尝试找到硬阴性样本，以便培训强大的分类器以进行缺失链路预测。我们在多个基准数据集中进行实验，并证明KGBoost在大多数数据集中优于最先进的方法。此外，与端到端优化训练的模型相比，kgboost在低维设置下运行良好，以便允许更小的型号尺寸。

张量分解和基于距离的模型在知识图完成（KGC）中起重要作用。但是，KGC方法中的关系矩阵通常会引起高模型的复杂性，并具有过度拟合的高风险。作为一种补救措施，研究人员提出了各种不同的正规化器，例如张量核定常正规器。我们的动机是基于以下观察，即先前的工作仅着眼于参数空间的“大小”，同时留下隐含的语义信息广泛不受欢迎。为了解决这个问题，我们提出了一个新的正常化程序，即均衡规则器（ER），可以通过利用隐式语义信息来抑制过度拟合。具体而言，ER可以通过使用头部和尾部实体之间的语义模棱两可来增强模型的概括能力。此外，它是基于距离的模型和基于张量分解的模型的通用解决方案。实验结果表明，对最先进的关系预测方法有了明显的重大改进。

虽然知识图表包含各种实体的丰富语义知识和它们之间的关系信息，但时间知识图（TKG）进一步表明实体随时间的相互作用。为了研究如何更好地模范TKG，自动时间知识图完成（TKGC）已经获得了很大的兴趣。最近的TKGC方法旨在整合先进的深度学习技术，例如注意机制和变压器，提高模型性能。然而，我们发现与采用各种复杂模块相比，更有利的是更好地利用沿时间轴的全部时间信息。在本文中，我们为TKGC提出了一个简单但强大的图形编码器Targcn。 targcn是参数效率，它广泛利用了整个时间上下文的信息。我们在三个基准数据集执行实验。与最先进的模型相比，我们的模型可以在GDELT数据集中实现42％以上的相对改善。同时，它优于ICEWS05-15数据集的最强大的基线，参数减少约为18.5％。

由于其无监督的性质和下游任务的信息性特征表示，实例歧视自我监督的代表学习受到了受到关注的。在实践中，它通常使用比监督类的数量更多的负样本。然而，现有分析存在不一致;从理论上讲，大量的负样本在下游监督任务上降低了分类性能，同时凭经验，它们提高了性能。我们提供了一种新颖的框架，用于使用优惠券收集器的问题分析关于负样本的经验结果。我们的界限可以通过增加负样本的数量来隐立地纳入自我监督损失中的下游任务的监督损失。我们确认我们的拟议分析持有现实世界基准数据集。

最近，链接预测问题，也称为知识图完成，已经吸引了大量的研究。即使最近的型号很少试图通过在低维度中嵌入知识图表来实现相对良好的性能，即目前最先进的模型的最佳结果是以大大提高嵌入的维度的成本赚取的。然而，这导致在巨大知识库的情况下导致过度舒服和更重要的可扩展性问题。灵感灵感来自变压器模型的变体提供的深度学习的进步，因为它的自我关注机制，在本文中，我们提出了一种基于IT的模型来解决上述限制。在我们的模型中，自我关注是将查询依赖预测应用于实体和关系的关键，并捕获它们之间的相互信息，以获得来自低维嵌入的高度富有表现力的表现。两种标准链路预测数据集，FB15K-237和WN18RR的经验结果表明，我们的模型比我们三个最近最近期的最新竞争对手实现了相当的性能或更好的性能，其维度的重大减少了76.3％平均嵌入。

实体类型预测是知识图中的一个重要问题（kg）研究。在这项工作中提出了一种新的KG实体类型预测方法，名为Core（复杂的空间回归和嵌入）。所提出的核心方法利用两个复杂空间嵌入模型的表现力;即，旋转和复杂的模型。它使用旋转或复杂地将实体和类型嵌入两个不同的复杂空间中。然后，我们推导了一个复杂的回归模型来链接这两个空格。最后，介绍了一种优化嵌入和回归参数的机制。实验表明，核心优于代表性KG实体型推理数据集的基准测试方法。分析了各种实体型预测方法的强度和弱点。

知识图嵌入（KGE）方法已从广泛的AI社区（包括自然语言处理（NLP））中引起了极大的关注，用于文本生成，分类和上下文诱导。用少数维度嵌入大量的相互关系，需要在认知和计算方面进行适当的建模。最近，开发了有关自然语言的认知和计算方面的许多目标功能。其中包括最新的线性方法，双线性，具有歧管的内核，投影 - 空间和类似推断。但是，这种模型的主要挑战在于它们的损失函数，将关系嵌入的维度与相应的实体维度相关联。当错误估计对应物时，这导致对实体之间相应关系的预测不准确。 Bordes等人发表的Proje Kge由于计算复杂性低和模型改进的高潜力，在所有翻译和双线性相互作用的同时，在捕获实体非线性的同时，都改善了这项工作。基准知识图（KGS）（例如FB15K和WN18）的实验结果表明，所提出的方法使用线性和双线性方法以及其他最新功能的方法在实体预测任务中的最新模型优于最先进的模型。另外，为该模型提出了平行处理结构，以提高大型kg的可伸缩性。还解释了不同自适应聚类和新提出的抽样方法的影响，这被证明可以有效提高知识图完成的准确性。

In statistical relational learning, the link prediction problem is key to automatically understand the structure of large knowledge bases. As in previous studies, we propose to solve this problem through latent factorization. However, here we make use of complex valued embeddings. The composition of complex embeddings can handle a large variety of binary relations, among them symmetric and antisymmetric relations. Compared to state-of-the-art models such as Neural Tensor Network and Holographic Embeddings, our approach based on complex embeddings is arguably simpler, as it only uses the Hermitian dot product, the complex counterpart of the standard dot product between real vectors. Our approach is scalable to large datasets as it remains linear in both space and time, while consistently outperforming alternative approaches on standard link prediction benchmarks. 1

Sparsity of formal knowledge and roughness of non-ontological construction make sparsity problem particularly prominent in Open Knowledge Graphs (OpenKGs). Due to sparse links, learning effective representation for few-shot entities becomes difficult. We hypothesize that by introducing negative samples, a contrastive learning (CL) formulation could be beneficial in such scenarios. However, existing CL methods model KG triplets as binary objects of entities ignoring the relation-guided ternary propagation patterns and they are too generic, i.e., they ignore zero-shot, few-shot and synonymity problems that appear in OpenKGs. To address this, we propose TernaryCL, a CL framework based on ternary propagation patterns among head, relation and tail. TernaryCL designs Contrastive Entity and Contrastive Relation to mine ternary discriminative features with both negative entities and relations, introduces Contrastive Self to help zero- and few-shot entities learn discriminative features, Contrastive Synonym to model synonymous entities, and Contrastive Fusion to aggregate graph features from multiple paths. Extensive experiments on benchmarks demonstrate the superiority of TernaryCL over state-of-the-art models.

We study the problem of learning representations of entities and relations in knowledge graphs for predicting missing links. The success of such a task heavily relies on the ability of modeling and inferring the patterns of (or between) the relations. In this paper, we present a new approach for knowledge graph embedding called RotatE, which is able to model and infer various relation patterns including: symmetry/antisymmetry, inversion, and composition. Specifically, the RotatE model defines each relation as a rotation from the source entity to the target entity in the complex vector space. In addition, we propose a novel self-adversarial negative sampling technique for efficiently and effectively training the RotatE model. Experimental results on multiple benchmark knowledge graphs show that the proposed RotatE model is not only scalable, but also able to infer and model various relation patterns and significantly outperform existing state-of-the-art models for link prediction.

多模式实体对齐旨在确定两个不同的多模式知识图之间的等效实体，这些实体由与实体相关的结构三元组和图像组成。大多数先前的作品都集中在如何利用和编码不同模式中的信息，而由于模态异质性，因此在实体对齐中利用多模式知识并不是微不足道的。在本文中，我们提出了基于多模式对比度学习的实体比对模型McLea，以获得多模式实体对准的有效联合表示。与以前的工作不同，麦克莱尔（McLea）考虑了面向任务的模式，并为每个实体表示形式建模模式间关系。特别是，麦克莱（McLea）首先从多种模式中学习多个单独的表示，然后进行对比学习以共同对模式内和模式间相互作用进行建模。广泛的实验结果表明，在受监督和无监督的设置下，MCLEA在公共数据集上优于公共数据集的最先进的基线。