知识图嵌入模型已成为机器学习的重要领域。这些模型在知识图中提供了实体和关系的潜在表示，然后可以在下游机器学习任务（例如链接预测）中使用。这些模型的学习过程可以通过对比正面和负三元组来执行。虽然所有千克的三元组都被认为是正的，但负三元三联通常不容易获得。因此，获得的采样方法的选择在知识图嵌入模型的性能和有效性中起着至关重要的作用。当前的大多数方法从基础知识图中实体的随机分布中获取负面样本，这些样本通常还包括毫无意义的三元组。其他已知方法使用对抗技术或生成神经网络，从而降低了过程的效率。在本文中，我们提出了一种方法，以产生有关实体的可用互补知识的信息负面样本。特别是，预训练的语言模型用于通过利用实体之间的距离来形成邻里群集，以通过其文本信息获得符号实体的表示。我们的全面评估证明了拟议方法在基准知识图上具有链接预测任务的文本信息的有效性。

知识嵌入（KE）通过将实体和关系嵌入连续的向量空间来表示知识图（kg）。现有方法主要基于结构或基于描述。基于结构的方法学习保留KGS固有结构的表示。它们不能很好地代表具有有限结构信息的现实世界中的丰富长尾实体。基于描述的方法利用文本信息和语言模型。朝这个方向迈出的先前方法几乎不能胜过基于结构的结构，并且遇到了昂贵的负面抽样和限制性描述需求等问题。在本文中，我们提出了LMKE，该LMKE采用语言模型来得出知识嵌入，旨在既富集了长尾实体的表示形式又旨在解决先前的基于描述的方法的问题。我们通过对比度学习框架制定基于描述的KE学习，以提高培训和评估的效率。实验结果表明，LMKE在链接预测和三重分类的KE基准上实现了最先进的性能，尤其是对于长尾实体。

学术知识图（KGS）提供了代表科学出版物编码的知识的丰富的结构化信息来源。随着出版的科学文学的庞大，包括描述科学概念的过多的非均匀实体和关系，这些公斤本质上是不完整的。我们呈现Exbert，一种利用预先训练的变压器语言模型来执行学术知识图形完成的方法。我们将知识图形的三元组模型为文本并执行三重分类（即，属于KG或不属于KG）。评估表明，在三重分类，链路预测和关系预测的任务中，Exbert在三个学术kg完成数据集中表现出其他基线。此外，我们将两个学术数据集作为研究界的资源，从公共公共公报和在线资源中收集。

知识库完成在这项工作中被制定为二进制分类问题，其中使用知识图中的相关链接（KGS）培训XGBoost二进制分类器。新方法名为KGBoost，采用模块化设计，并尝试找到硬阴性样本，以便培训强大的分类器以进行缺失链路预测。我们在多个基准数据集中进行实验，并证明KGBoost在大多数数据集中优于最先进的方法。此外，与端到端优化训练的模型相比，kgboost在低维设置下运行良好，以便允许更小的型号尺寸。

知识图表（kg）的表示学习模型已被证明是有效地编码结构信息并在kgs上进行推理。在本文中，我们提出了一种用于知识图表表示学习的新型预训练 - 然后微调框架，其中kg模型首先用三重分类任务预先培训，然后在特定的下游任务上进行判别微调作为实体类型预测和实体对齐。借鉴典型的预训练语言模型学习深层语境化词表示的一般思想，我们提出了学习预先训练的kg表示与目标三重编码的结构和上下文三元组。实验结果表明，微调SCOP不仅优于下游任务组合的基线的结果，而且还避免了特定于特定的特定模型设计和参数培训。

最近公布的知识图形嵌入模型的实施，培训和评估的异质性已经公平和彻底的比较困难。为了评估先前公布的结果的再现性，我们在Pykeen软件包中重新实施和评估了21个交互模型。在这里，我们概述了哪些结果可以通过其报告的超参数再现，这只能以备用的超参数再现，并且无法再现，并且可以提供洞察力，以及为什么会有这种情况。然后，我们在四个数据集上进行了大规模的基准测试，其中数千个实验和24,804 GPU的计算时间。我们展示了最佳实践，每个模型的最佳配置以及可以通过先前发布的最佳配置进行改进的洞察。我们的结果强调了模型架构，训练方法，丢失功能和逆关系显式建模的组合对于模型的性能来说至关重要，而不仅由模型架构决定。我们提供了证据表明，在仔细配置时，若干架构可以获得对最先进的结果。我们制定了所有代码，实验配置，结果和分析，导致我们在https://github.com/pykeen/pykeen和https://github.com/pykeen/benchmarking中获得的解释

知识图（kgs）将世界知识建模为结构三元组是不可避免的。多模式知识图（MMKGS）仍然存在此类问题。因此，知识图完成（KGC）对于预测现有KG中缺失的三元组至关重要。至于现有的KGC方法，基于嵌入的方法依靠手动设计来利用多模式信息，而基于芬太尼的方法在链接预​​测中并不优于基于嵌入的方法。为了解决这些问题，我们提出了一个Visualbert增强知识图完成模型（简称VBKGC）。 VBKGC可以为实体捕获深层融合的多模式信息，并将其集成到KGC模型中。此外，我们通过设计一种称为Twins Twins负抽样的新的负抽样策略来实现KGC模型的共同设计和负抽样。双胞胎阴性采样适用于多模式场景，可以对齐实体的不同嵌入。我们进行了广泛的实验，以显示VBKGC在链接预测任务上的出色表现，并进一步探索VBKGC。

Knowledge graph embedding (KGE), which maps entities and relations in a knowledge graph into continuous vector spaces, has achieved great success in predicting missing links in knowledge graphs. However, knowledge graphs often contain incomplete triples that are difficult to inductively infer by KGEs. To address this challenge, we resort to analogical inference and propose a novel and general self-supervised framework AnKGE to enhance KGE models with analogical inference capability. We propose an analogical object retriever that retrieves appropriate analogical objects from entity-level, relation-level, and triple-level. And in AnKGE, we train an analogy function for each level of analogical inference with the original element embedding from a well-trained KGE model as input, which outputs the analogical object embedding. In order to combine inductive inference capability from the original KGE model and analogical inference capability enhanced by AnKGE, we interpolate the analogy score with the base model score and introduce the adaptive weights in the score function for prediction. Through extensive experiments on FB15k-237 and WN18RR datasets, we show that AnKGE achieves competitive results on link prediction task and well performs analogical inference.

链路预测在知识图中起着重要作用，这是许多人工智能任务的重要资源，但它通常受不完整的限制。在本文中，我们提出了知识图表BERT for Link预测，名为LP-BERT，其中包含两个培训阶段：多任务预训练和知识图微调。预训练策略不仅使用掩码语言模型（MLM）来学习上下文语料库的知识，还引入掩模实体模型（MEM）和掩模关系模型（MRM），其可以通过预测语义来学习三元组的关系信息基于实体和关系元素。结构化三维关系信息可以转换为非结构化语义信息，可以将其与上下文语料库信息一起集成到培训模型中。在微调阶段，灵感来自对比学习，我们在样本批量中进行三样式的负面取样，这大大增加了负采样的比例，同时保持训练时间几乎不变。此外，我们提出了一种基于Triples的逆关系的数据增强方法，以进一步增加样本分集。我们在WN18RR和UMLS数据集上实现最先进的结果，特别是HITS @ 10指示器从WN18RR数据集上的先前最先进的结果提高了5 \％。

Sparsity of formal knowledge and roughness of non-ontological construction make sparsity problem particularly prominent in Open Knowledge Graphs (OpenKGs). Due to sparse links, learning effective representation for few-shot entities becomes difficult. We hypothesize that by introducing negative samples, a contrastive learning (CL) formulation could be beneficial in such scenarios. However, existing CL methods model KG triplets as binary objects of entities ignoring the relation-guided ternary propagation patterns and they are too generic, i.e., they ignore zero-shot, few-shot and synonymity problems that appear in OpenKGs. To address this, we propose TernaryCL, a CL framework based on ternary propagation patterns among head, relation and tail. TernaryCL designs Contrastive Entity and Contrastive Relation to mine ternary discriminative features with both negative entities and relations, introduces Contrastive Self to help zero- and few-shot entities learn discriminative features, Contrastive Synonym to model synonymous entities, and Contrastive Fusion to aggregate graph features from multiple paths. Extensive experiments on benchmarks demonstrate the superiority of TernaryCL over state-of-the-art models.

知识图完成（KGC）旨在发现知识图（KGS）中实体之间的缺失关系。大多数先前的KGC工作都集中在实体和关系的学习表现上。然而，通常需要更高维度的嵌入空间才能获得更好的推理能力，这会导致更大的模型大小，并阻碍对现实世界中的问题的适用性（例如，大规模kgs或移动/边缘计算）。在这项工作中提出了一种称为GreenKGC的轻型模块化的KGC解决方案，以解决此问题。 GreenKGC由三个模块组成：1）表示学习，2）特征修剪和3）决策学习。在模块1中，我们利用现有的KG嵌入模型来学习实体和关系的高维表示。在模块2中，KG分为几个关系组，然后分为一个特征修剪过程，以找到每个关系组的最判别特征。最后，将分类器分配给每个关系组，以应对模块3中KGC任务的低维三功能原始的高维嵌入型号尺寸较小。此外，我们对两个三重分类数据集进行了实验，以证明相同的方法可以推广到更多任务。

Knowledge graphs (KG) have served as the key component of various natural language processing applications. Commonsense knowledge graphs (CKG) are a special type of KG, where entities and relations are composed of free-form text. However, previous works in KG completion and CKG completion suffer from long-tail relations and newly-added relations which do not have many know triples for training. In light of this, few-shot KG completion (FKGC), which requires the strengths of graph representation learning and few-shot learning, has been proposed to challenge the problem of limited annotated data. In this paper, we comprehensively survey previous attempts on such tasks in the form of a series of methods and applications. Specifically, we first introduce FKGC challenges, commonly used KGs, and CKGs. Then we systematically categorize and summarize existing works in terms of the type of KGs and the methods. Finally, we present applications of FKGC models on prediction tasks in different areas and share our thoughts on future research directions of FKGC.

We study the problem of learning representations of entities and relations in knowledge graphs for predicting missing links. The success of such a task heavily relies on the ability of modeling and inferring the patterns of (or between) the relations. In this paper, we present a new approach for knowledge graph embedding called RotatE, which is able to model and infer various relation patterns including: symmetry/antisymmetry, inversion, and composition. Specifically, the RotatE model defines each relation as a rotation from the source entity to the target entity in the complex vector space. In addition, we propose a novel self-adversarial negative sampling technique for efficiently and effectively training the RotatE model. Experimental results on multiple benchmark knowledge graphs show that the proposed RotatE model is not only scalable, but also able to infer and model various relation patterns and significantly outperform existing state-of-the-art models for link prediction.

知识图嵌入（KGE）旨在将实体和关系映射到低维空间，并成为知识图完成的\ textit {de-facto}标准。大多数现有的KGE方法都受到稀疏挑战的困扰，在这种挑战中，很难预测在知识图中频繁的实体。在这项工作中，我们提出了一个新颖的框架KRACL，以减轻具有图表和对比度学习的KG中广泛的稀疏性。首先，我们建议知识关系网络（KRAT）通过同时将相邻的三元组投射到不同的潜在空间，并通过注意机制共同汇总信息来利用图形上下文。 KRAT能够捕获不同上下文三联的微妙的语义信息和重要性，并利用知识图中的多跳信息。其次，我们通过将对比度损失与跨熵损失相结合，提出知识对比损失，这引入了更多的负样本，从而丰富了对稀疏实体的反馈。我们的实验表明，KRACL在各种标准知识基准中取得了卓越的结果，尤其是在WN18RR和NELL-995上，具有大量低级内实体。广泛的实验还具有KRACL在处理稀疏知识图和鲁棒性三元组的鲁棒性方面的有效性。

知识图嵌入（KGE）方法已从广泛的AI社区（包括自然语言处理（NLP））中引起了极大的关注，用于文本生成，分类和上下文诱导。用少数维度嵌入大量的相互关系，需要在认知和计算方面进行适当的建模。最近，开发了有关自然语言的认知和计算方面的许多目标功能。其中包括最新的线性方法，双线性，具有歧管的内核，投影 - 空间和类似推断。但是，这种模型的主要挑战在于它们的损失函数，将关系嵌入的维度与相应的实体维度相关联。当错误估计对应物时，这导致对实体之间相应关系的预测不准确。 Bordes等人发表的Proje Kge由于计算复杂性低和模型改进的高潜力，在所有翻译和双线性相互作用的同时，在捕获实体非线性的同时，都改善了这项工作。基准知识图（KGS）（例如FB15K和WN18）的实验结果表明，所提出的方法使用线性和双线性方法以及其他最新功能的方法在实体预测任务中的最新模型优于最先进的模型。另外，为该模型提出了平行处理结构，以提高大型kg的可伸缩性。还解释了不同自适应聚类和新提出的抽样方法的影响，这被证明可以有效提高知识图完成的准确性。

如今，知识图（KGS）一直在AI相关的应用中发挥关键作用。尽管尺寸大，但现有的公斤远非完全和全面。为了不断丰富KG，通常使用自动知识结构和更新机制，这不可避免地带来充足的噪音。然而，大多数现有知识图形嵌入（KGE）方法假设KGS中的所有三重事实都是正确的，并且在不考虑噪声和知识冲突的情况下将实体和关系投入到低维空间。这将导致kgs的低质量和不可靠的表示。为此，本文提出了一般的多任务加固学习框架，这可以大大缓解嘈杂的数据问题。在我们的框架中，我们利用强化学习来选择高质量的知识三分石，同时过滤出嘈杂的。此外，为了充分利用语义类似的关系之间的相关性，在具有多任务学习的集体方式中训练了类似关系的三重选择过程。此外，我们扩展了流行的KGE Models Transe，Distmult，与所提出的框架耦合和旋转。最后，实验验证表明，我们的方法能够增强现有的KGE模型，可以在嘈杂的情景中提供更强大的KGS表示。

知识图，例如Wikidata，包括结构和文本知识，以表示知识。对于图形嵌入和语言模型的两种方式中的每种方法都可以学习预测新型结构知识的模式。很少有方法与模式结合学习和推断，而这些现有的方法只能部分利用结构和文本知识的相互作用。在我们的方法中，我们以单个方式的现有强烈表示为基础，并使用超复杂代数来表示（i），（i），单模式嵌入以及（ii），不同方式之间的相互作用及其互补的知识表示手段。更具体地说，我们建议4D超复合数的二脑和四个元素表示，以整合四个模态，即结构知识图形嵌入，单词级表示（例如\ word2vec，fastText，fastText），句子级表示（句子transformer）和文档级表示（句子级别）（句子级别）（句子级表示）（句子变压器，doc2vec）。我们的统一矢量表示通过汉密尔顿和二脑产物进行标记的边缘的合理性，从而对不同模态之间的成对相互作用进行建模。对标准基准数据集的广泛实验评估显示了我们两个新模型的优越性，除了稀疏的结构知识外，还可以提高链接预测任务中的性能。

通过嵌入式表示知识图（KGE）近年来一直是研究热点。现实知识图主要与时间相关，而大多数现有的KGE算法忽略了时间信息。一些现有方法直接或间接编码时间信息，忽略时间戳分布的平衡，这大大限制了时间知识图完成的性能（KGC）。在本文中，基于直接编码时间信息框架提出了一种时间KGC方法，并且给定的时间片被视为用于平衡时间戳分布的最优选的粒度。大量关于从现实世界提取的时间知识图形数据集的实验证明了我们方法的有效性。

完成知识三胞胎的任务具有广泛的下游应用程序。结构和语义信息在知识图完成中起着重要作用。与以前依靠知识图的结构或语义的方法不同，我们建议将语义共同嵌入知识三胞胎的自然语言描述及其结构信息。我们的方法通过对概率结构化损失进行微调预训练的语言模型来嵌入完成任务的知识图，其中语言模型的正向通过捕获语义和损失重建结构。我们对各种知识图基准的广泛实验证明了我们方法的最新性能。我们还表明，由于语义的更好使用，我们的方法可以显着提高低资源制度的性能。代码和数据集可在https://github.com/pkusjh/lass上找到。

链路预测是预测知识图的实体之间缺失关系的任务。最近的链路预测工作已经尝试通过在神经网络架构中使用更多层来提供增加链路预测精度的模型。在本文中，我们提出了一种精炼知识图的新方法，从而可以使用相对快速的翻译模型更准确地执行链路预测操作。翻译链接预测模型，如Transe，Transh，Transd，而不是深度学习方法的复杂性较小。我们的方法使用知识图中的关系和实体的层次结构将实体信息作为辅助节点添加到图形中，并将它们连接到包含在其层级中的该信息的节点。我们的实验表明，我们的方法可以显着提高H @ 10的翻译链路预测方法的性能，MRR，MRR。