尽管使用知识图形嵌入式（KGE），但对于可能会扰乱其预期行为的安全漏洞很少。我们研究了对KGE模型进行链路预测的数据中毒攻击。这些攻击在训练时间进行工艺对抗性添加或删除，以在测试时间造型失败。要选择对抗性删除，我们建议使用来自可解释的机器学习的模型 - 无人实例归因方法，该模型 - 无可争议的机器学习，该模型算法识别对神经模型对测试实例的预测最大的培训实例。我们使用这些有影响力的三元组作为对抗性缺失。我们进一步提出了一种启发式方法，以取代各种有影响力的三倍的两个实体中的一个以产生对抗性添加。我们的实验表明，该拟议的策略优于KGE模型的最先进的数据中毒攻击，并通过基线的攻击达到62％，提高MRR降级。

我们研究了对知识图中链路预测任务的知识图形嵌入（KGE）模型产生数据中毒攻击的问题。为了毒害KGE模型，我们建议利用他们通过知识图中的对称性，反演和构图等关系模式捕获的归纳能力。具体而言，为了降低模型对目标事实的预测信心，建议改善模型对一系列诱饵事实的预测信心。因此，我们通过不同的推理模式来制作对逆势的添加能够改善模型对诱饵事实上的预测信心。我们的实验表明，拟议的中毒攻击在四个KGE模型上倾斜的最先进的基座，用于两个公共数据集。我们还发现基于对称模式的攻击遍历了所有模型 - 数据集合，指示KGE模型对此模式的灵敏度。

最近公布的知识图形嵌入模型的实施，培训和评估的异质性已经公平和彻底的比较困难。为了评估先前公布的结果的再现性，我们在Pykeen软件包中重新实施和评估了21个交互模型。在这里，我们概述了哪些结果可以通过其报告的超参数再现，这只能以备用的超参数再现，并且无法再现，并且可以提供洞察力，以及为什么会有这种情况。然后，我们在四个数据集上进行了大规模的基准测试，其中数千个实验和24,804 GPU的计算时间。我们展示了最佳实践，每个模型的最佳配置以及可以通过先前发布的最佳配置进行改进的洞察。我们的结果强调了模型架构，训练方法，丢失功能和逆关系显式建模的组合对于模型的性能来说至关重要，而不仅由模型架构决定。我们提供了证据表明，在仔细配置时，若干架构可以获得对最先进的结果。我们制定了所有代码，实验配置，结果和分析，导致我们在https://github.com/pykeen/pykeen和https://github.com/pykeen/benchmarking中获得的解释

We study the problem of explaining link predictions in the Knowledge Graph Embedding (KGE) models. We propose an example-based approach that exploits the latent space representation of nodes and edges in a knowledge graph to explain predictions. We evaluated the importance of identified triples by observing progressing degradation of model performance upon influential triples removal. Our experiments demonstrate that this approach to generate explanations outperforms baselines on KGE models for two publicly available datasets.

Link prediction for knowledge graphs is the task of predicting missing relationships between entities. Previous work on link prediction has focused on shallow, fast models which can scale to large knowledge graphs. However, these models learn less expressive features than deep, multi-layer modelswhich potentially limits performance. In this work we introduce ConvE, a multi-layer convolutional network model for link prediction, and report state-of-the-art results for several established datasets. We also show that the model is highly parameter efficient, yielding the same performance as DistMult and R-GCN with 8x and 17x fewer parameters. Analysis of our model suggests that it is particularly effective at modelling nodes with high indegree -which are common in highlyconnected, complex knowledge graphs such as Freebase and YAGO3. In addition, it has been noted that the WN18 and FB15k datasets suffer from test set leakage, due to inverse relations from the training set being present in the test sethowever, the extent of this issue has so far not been quantified. We find this problem to be severe: a simple rule-based model can achieve state-of-the-art results on both WN18 and FB15k. To ensure that models are evaluated on datasets where simply exploiting inverse relations cannot yield competitive results, we investigate and validate several commonly used datasets -deriving robust variants where necessary. We then perform experiments on these robust datasets for our own and several previously proposed models, and find that ConvE achieves state-of-the-art Mean Reciprocal Rank across most datasets.

In this paper we show the surprising effectiveness of a simple observed features model in comparison to latent feature models on two benchmark knowledge base completion datasets, FB15K and WN18. We also compare latent and observed feature models on a more challenging dataset derived from FB15K, and additionally coupled with textual mentions from a web-scale corpus. We show that the observed features model is most effective at capturing the information present for entity pairs with textual relations, and a combination of the two combines the strengths of both model types.

Knowledge graph embedding (KGE), which maps entities and relations in a knowledge graph into continuous vector spaces, has achieved great success in predicting missing links in knowledge graphs. However, knowledge graphs often contain incomplete triples that are difficult to inductively infer by KGEs. To address this challenge, we resort to analogical inference and propose a novel and general self-supervised framework AnKGE to enhance KGE models with analogical inference capability. We propose an analogical object retriever that retrieves appropriate analogical objects from entity-level, relation-level, and triple-level. And in AnKGE, we train an analogy function for each level of analogical inference with the original element embedding from a well-trained KGE model as input, which outputs the analogical object embedding. In order to combine inductive inference capability from the original KGE model and analogical inference capability enhanced by AnKGE, we interpolate the analogy score with the base model score and introduce the adaptive weights in the score function for prediction. Through extensive experiments on FB15k-237 and WN18RR datasets, we show that AnKGE achieves competitive results on link prediction task and well performs analogical inference.

In statistical relational learning, the link prediction problem is key to automatically understand the structure of large knowledge bases. As in previous studies, we propose to solve this problem through latent factorization. However, here we make use of complex valued embeddings. The composition of complex embeddings can handle a large variety of binary relations, among them symmetric and antisymmetric relations. Compared to state-of-the-art models such as Neural Tensor Network and Holographic Embeddings, our approach based on complex embeddings is arguably simpler, as it only uses the Hermitian dot product, the complex counterpart of the standard dot product between real vectors. Our approach is scalable to large datasets as it remains linear in both space and time, while consistently outperforming alternative approaches on standard link prediction benchmarks. 1

最近，链接预测问题，也称为知识图完成，已经吸引了大量的研究。即使最近的型号很少试图通过在低维度中嵌入知识图表来实现相对良好的性能，即目前最先进的模型的最佳结果是以大大提高嵌入的维度的成本赚取的。然而，这导致在巨大知识库的情况下导致过度舒服和更重要的可扩展性问题。灵感灵感来自变压器模型的变体提供的深度学习的进步，因为它的自我关注机制，在本文中，我们提出了一种基于IT的模型来解决上述限制。在我们的模型中，自我关注是将查询依赖预测应用于实体和关系的关键，并捕获它们之间的相互信息，以获得来自低维嵌入的高度富有表现力的表现。两种标准链路预测数据集，FB15K-237和WN18RR的经验结果表明，我们的模型比我们三个最近最近期的最新竞争对手实现了相当的性能或更好的性能，其维度的重大减少了76.3％平均嵌入。

实体类型预测是知识图中的一个重要问题（kg）研究。在这项工作中提出了一种新的KG实体类型预测方法，名为Core（复杂的空间回归和嵌入）。所提出的核心方法利用两个复杂空间嵌入模型的表现力;即，旋转和复杂的模型。它使用旋转或复杂地将实体和类型嵌入两个不同的复杂空间中。然后，我们推导了一个复杂的回归模型来链接这两个空格。最后，介绍了一种优化嵌入和回归参数的机制。实验表明，核心优于代表性KG实体型推理数据集的基准测试方法。分析了各种实体型预测方法的强度和弱点。

知识图嵌入（KGE）旨在将实体和关系映射到低维空间，并成为知识图完成的\ textit {de-facto}标准。大多数现有的KGE方法都受到稀疏挑战的困扰，在这种挑战中，很难预测在知识图中频繁的实体。在这项工作中，我们提出了一个新颖的框架KRACL，以减轻具有图表和对比度学习的KG中广泛的稀疏性。首先，我们建议知识关系网络（KRAT）通过同时将相邻的三元组投射到不同的潜在空间，并通过注意机制共同汇总信息来利用图形上下文。 KRAT能够捕获不同上下文三联的微妙的语义信息和重要性，并利用知识图中的多跳信息。其次，我们通过将对比度损失与跨熵损失相结合，提出知识对比损失，这引入了更多的负样本，从而丰富了对稀疏实体的反馈。我们的实验表明，KRACL在各种标准知识基准中取得了卓越的结果，尤其是在WN18RR和NELL-995上，具有大量低级内实体。广泛的实验还具有KRACL在处理稀疏知识图和鲁棒性三元组的鲁棒性方面的有效性。

We study the problem of learning representations of entities and relations in knowledge graphs for predicting missing links. The success of such a task heavily relies on the ability of modeling and inferring the patterns of (or between) the relations. In this paper, we present a new approach for knowledge graph embedding called RotatE, which is able to model and infer various relation patterns including: symmetry/antisymmetry, inversion, and composition. Specifically, the RotatE model defines each relation as a rotation from the source entity to the target entity in the complex vector space. In addition, we propose a novel self-adversarial negative sampling technique for efficiently and effectively training the RotatE model. Experimental results on multiple benchmark knowledge graphs show that the proposed RotatE model is not only scalable, but also able to infer and model various relation patterns and significantly outperform existing state-of-the-art models for link prediction.

安全分析师在调查攻击，新兴的网络威胁或最近发现的漏洞后准备威胁分析。关于恶意软件攻击和广告系列的威胁情报在博客文章，报告，分析和推文上分享，并具有不同的技术细节。其他安全分析师使用这种情报来告知他们新兴威胁，妥协指标，攻击方法和预防措施。它统称为威胁智能，通常是一种非结构化格式，因此，无缝集成到现有的IDPS系统中，具有挑战性。在本文中，我们提出了一个汇总并结合CTI的框架 - 公开可用的网络威胁智能信息。使用知识图以结构化的格式提取并存储该信息，以便可以与其他安全分析师进行大规模保留威胁智能的语义。我们建议第一个半监督的开源知识图（KG）框架Tinker捕获网络威胁信息及其上下文。在修补匠之后，我们生成一个网络智能知识图（CTI-KG）。我们使用不同的用例及其应用于安全分析师的应用来证明CTI-KG的功效。

大多数知识图嵌入技术将实体和谓词视为单独的嵌入矩阵，使用聚合函数来构建输入三重的表示。但是，这些聚集是有损的，即它们没有捕获原始三元组的语义，例如谓词中包含的信息。为了消除这些缺点，当前方法从头开始学习三重嵌入，而无需利用预训练模型的实体和谓词嵌入。在本文中，我们通过从预训练的知识图嵌入中创建弱监督信号来设计一种新型的微调方法来学习三重嵌入。我们开发了一种从知识图中自动采样三联的方法，并从预训练的嵌入模型中估算了它们的成对相似性。然后将这些成对的相似性得分馈送到类似暹罗的神经结构中，以微调三重表示。我们在两个广泛研究的知识图上评估了所提出的方法，并在三重分类和三重聚类任务上显示出对其他最先进的三重嵌入方法的一致改进。

知识图形嵌入（KGE）由于其在自动知识图（kg）完成和知识驱动的任务中的潜力而引起了很大的关注。然而，最近的KGE模型遭受了高训练成本和大存储空间，因此限制了他们在现实世界应用中的实用性。为了解决这一挑战，根据对比学习领域的最新发现，我们提出了一种名为硬度感知的低维嵌入（HALE）的新型KGE训练框架。除了传统的负面采样而不是传统的负面采样，我们基于查询采样设计一个新的损失功能，可以平衡两个重要的培训目标，对齐和均匀性。此外，我们分析了近期低维双曲模型的硬度感知，并提出了一种轻量级硬度感知激活机制，可以帮助KGE模型关注硬实例并加速收敛。实验结果表明，在有限的训练时间，HALE可以有效地提高KGE模型在五个常用的数据集中的性能和训练速度。在训练后，训练的模型可以在几分钟后获得高预测精度，与低维度和高维条件的最先进模型相比，竞争力。

知识图完成（KGC）旨在发现知识图（KGS）中实体之间的缺失关系。大多数先前的KGC工作都集中在实体和关系的学习表现上。然而，通常需要更高维度的嵌入空间才能获得更好的推理能力，这会导致更大的模型大小，并阻碍对现实世界中的问题的适用性（例如，大规模kgs或移动/边缘计算）。在这项工作中提出了一种称为GreenKGC的轻型模块化的KGC解决方案，以解决此问题。 GreenKGC由三个模块组成：1）表示学习，2）特征修剪和3）决策学习。在模块1中，我们利用现有的KG嵌入模型来学习实体和关系的高维表示。在模块2中，KG分为几个关系组，然后分为一个特征修剪过程，以找到每个关系组的最判别特征。最后，将分类器分配给每个关系组，以应对模块3中KGC任务的低维三功能原始的高维嵌入型号尺寸较小。此外，我们对两个三重分类数据集进行了实验，以证明相同的方法可以推广到更多任务。

本文介绍了$ \ mu \ text {kg} $，一个开源python库，用于在知识图上进行表示。 $ \ mu \ text {kg} $支持通过多源知识图（以及单个知识图），多个深度学习库（Pytorch和Tensorflow2），多个嵌入任务（链接预​​测，实体对准，实体键入，实体键入），支持联合表示。 ，以及多源链接预测）以及多个并行计算模式（多进程和多GPU计算）。它目前实现26个流行知识图嵌入模型，并支持16个基准数据集。 $ \ mu \ text {kg} $提供了具有不同任务的简化管道的嵌入技术的高级实现。它还带有高质量的文档，以易于使用。 $ \ mu \ text {kg} $比现有的知识图嵌入库更全面。它对于对各种嵌入模型和任务进行彻底比较和分析非常有用。我们表明，共同学习的嵌入可以极大地帮助知识驱动的下游任务，例如多跳知识图形答案。我们将与相关字段中的最新发展保持一致，并将其纳入$ \ mu \ text {kg} $中。

学术知识图（KGS）提供了代表科学出版物编码的知识的丰富的结构化信息来源。随着出版的科学文学的庞大，包括描述科学概念的过多的非均匀实体和关系，这些公斤本质上是不完整的。我们呈现Exbert，一种利用预先训练的变压器语言模型来执行学术知识图形完成的方法。我们将知识图形的三元组模型为文本并执行三重分类（即，属于KG或不属于KG）。评估表明，在三重分类，链路预测和关系预测的任务中，Exbert在三个学术kg完成数据集中表现出其他基线。此外，我们将两个学术数据集作为研究界的资源，从公共公共公报和在线资源中收集。

知识库完成（KBC）最近是一个非常活跃的领域。最近的一些KBCPAPER提出了建筑变化，新的培训方法甚至新的配方。KBC系统通常在标准基准数据集上进行评估：FB15K，FB15K-237，WN18，WN18RR和Yago3-10。大多数现有方法在这些数据集中为每个正实例训练少量的负样本，以节省计算成本。本文讨论了最近的发展如何使我们能够使用所有可用的负样本进行培训。我们表明，使用所有可用的负样本进行培训时，复杂的复合物在所有数据集上都具有近乎最先进的性能。我们称这种方法为复杂V2。我们还强调了最近在文献中提出的各种乘法KBC方法如何受益于这种训练制度，并且在大多数数据集上的性能方面都无法区分。根据这些发现，我们的工作要求重新评估其个人价值。

知识图形嵌入研究主要集中在两个最小的规范部门代数，$ \ mathbb {r} $和$ \ mathbb {c} $。最近的结果表明，四元增值嵌入的三线性产品可以是解决链路预测的更有效手段。此外，基于真实嵌入的卷曲的模型通常会产生最先进的链路预测结果。在本文中，我们调查了一种卷积操作的组成，具有超量用乘法。我们提出了四个方法qmult，amult，convic和convo来解决链路预测问题。 Qmult和Omult可以被视为先前最先进方法的四元数和octonion扩展，包括Distmult和复杂。 Convic和Convo在Qmult和Omlult上建立在剩余学习框架的方式中包括卷积操作。我们在七个链路预测数据集中评估了我们的方法，包括WN18RR，FB15K-237和YAGO3-10。实验结果表明，随着知识图的规模和复杂性的增长，学习超复分价值的矢量表示的益处变得更加明显。 Convo优于MRR的FB15K-237上的最先进的方法，命中@ 1并点击@ 3，而Qmult，Omlult，Convic和Convo在所有度量标准中的Yago3-10上的最终倾斜的方式。结果还表明，通过预测平均可以进一步改善链路预测性能。为了培养可重复的研究，我们提供了开源的方法，包括培训和评估脚本以及佩戴型模型。