知识图嵌入（KGE）模型是一种有效且流行的方法，可以通过多关系数据来表示和理由。先前的研究表明，KGE模型对高参数设置敏感，并且合适的选择依赖于数据集。在本文中，我们探索了高参数优化（HPO），以获取非常大的知识图，其中评估单个超参数配置的成本过高。先前的研究经常通过使用各种启发式方法来避免这种成本。例如，通过在子图上进行训练或使用更少的时期。我们系统地讨论并评估了这种启发式方法和其他低成本近似技术的质量和成本节省。根据我们的发现，我们引入了Grash，这是一种有效的大规模KGE的多保真HPO算法，结合了图形和时代还原技术并以多个富裕性的储蓄率组合。我们进行了一项实验研究，发现Grash以低成本（总共三个完整的训练运行）在大图上获得最先进的结果。

最近公布的知识图形嵌入模型的实施，培训和评估的异质性已经公平和彻底的比较困难。为了评估先前公布的结果的再现性，我们在Pykeen软件包中重新实施和评估了21个交互模型。在这里，我们概述了哪些结果可以通过其报告的超参数再现，这只能以备用的超参数再现，并且无法再现，并且可以提供洞察力，以及为什么会有这种情况。然后，我们在四个数据集上进行了大规模的基准测试，其中数千个实验和24,804 GPU的计算时间。我们展示了最佳实践，每个模型的最佳配置以及可以通过先前发布的最佳配置进行改进的洞察。我们的结果强调了模型架构，训练方法，丢失功能和逆关系显式建模的组合对于模型的性能来说至关重要，而不仅由模型架构决定。我们提供了证据表明，在仔细配置时，若干架构可以获得对最先进的结果。我们制定了所有代码，实验配置，结果和分析，导致我们在https://github.com/pykeen/pykeen和https://github.com/pykeen/benchmarking中获得的解释

将知识图嵌入到低维空间中是将方法（例如链接预测或节点分类）应用于这些数据库的流行方法。就计算时间和空间而言，这种嵌入过程非常昂贵。其部分原因是对超参数的优化，涉及从大型超参数空间中反复，引导或蛮力选择反复采样，并测试所得嵌入的质量。但是，并非该搜索空间中的所有超参数都同样重要。实际上，在先验了解超参数的相对重要性的情况下，可以完全从搜索中消除一些，而不会显着影响输出嵌入的整体质量。为此，我们进行了SOBOL灵敏度分析，以评估调整不同超参数对嵌入质量方差的影响。这是通过进行数千个嵌入试验来实现的，每次测量不同的超参数构型产生的嵌入质量。我们使用此模型为每个高参数生成SOBOL灵敏度指数，对这些超参数配置的嵌入质量进行了回归。通过评估SOBOL指数之间的相关性，我们发现具有不同数据集特征的知识图之间的超参数敏感性的显着差异是这些不一致的可能原因。作为这项工作的另一个贡献，我们确定了UMLS知识图中的几个关系，这些关系可能会通过逆关系导致数据泄漏，并得出并存在该图的泄漏射击变体的UMLS-43。

近年来，人们对少量知识图（FKGC）的兴趣日益增加，该图表旨在推断出关于该关系的一些参考三元组，从而推断出不见了的查询三倍。现有FKGC方法的主要重点在于学习关系表示，可以反映查询和参考三元组共享的共同信息。为此，这些方法从头部和尾部实体的直接邻居中学习实体对表示，然后汇总参考实体对的表示。但是，只有从直接邻居那里学到的实体对代表可能具有较低的表现力，当参与实体稀疏直接邻居或与其他实体共享一个共同的当地社区。此外，仅仅对头部和尾部实体的语义信息进行建模不足以准确推断其关系信息，尤其是当它们具有多个关系时。为了解决这些问题，我们提出了一个特定于关系的上下文学习（RSCL）框架，该框架利用了三元组的图形上下文，以学习全球和本地关系特定的表示形式，以使其几乎没有相关关系。具体而言，我们首先提取每个三倍的图形上下文，这可以提供长期实体关系依赖性。为了编码提取的图形上下文，我们提出了一个分层注意网络，以捕获三元组的上下文信息并突出显示实体的有价值的本地邻里信息。最后，我们设计了一个混合注意聚合器，以评估全球和本地级别的查询三元组的可能性。两个公共数据集的实验结果表明，RSCL的表现优于最先进的FKGC方法。

自动化封路计优化（HPO）已经获得了很大的普及，并且是大多数自动化机器学习框架的重要成分。然而，设计HPO算法的过程仍然是一个不系统和手动的过程：确定了现有工作的限制，提出的改进是 - 即使是专家知识的指导 - 仍然是一定任意的。这很少允许对哪些算法分量的驾驶性能进行全面了解，并且承载忽略良好算法设计选择的风险。我们提出了一个原理的方法来实现应用于多倍性HPO（MF-HPO）的自动基准驱动算法设计的原则方法：首先，我们正式化包括的MF-HPO候选的丰富空间，但不限于普通的HPO算法，然后呈现可配置的框架覆盖此空间。要自动和系统地查找最佳候选者，我们遵循通过优化方法，并通过贝叶斯优化搜索算法候选的空间。我们挑战是否必须通过执行消融分析来挑战所发现的设计选择或可以通过更加天真和更简单的设计。我们观察到使用相对简单的配置，在某些方式中比建立的方法更简单，只要某些关键配置参数具有正确的值，就可以很好地执行得很好。

本文介绍了$ \ mu \ text {kg} $，一个开源python库，用于在知识图上进行表示。 $ \ mu \ text {kg} $支持通过多源知识图（以及单个知识图），多个深度学习库（Pytorch和Tensorflow2），多个嵌入任务（链接预​​测，实体对准，实体键入，实体键入），支持联合表示。 ，以及多源链接预测）以及多个并行计算模式（多进程和多GPU计算）。它目前实现26个流行知识图嵌入模型，并支持16个基准数据集。 $ \ mu \ text {kg} $提供了具有不同任务的简化管道的嵌入技术的高级实现。它还带有高质量的文档，以易于使用。 $ \ mu \ text {kg} $比现有的知识图嵌入库更全面。它对于对各种嵌入模型和任务进行彻底比较和分析非常有用。我们表明，共同学习的嵌入可以极大地帮助知识驱动的下游任务，例如多跳知识图形答案。我们将与相关字段中的最新发展保持一致，并将其纳入$ \ mu \ text {kg} $中。

知识图（KG）通常不完整，我们经常希望推断出现有的新事实。这可以被认为是二进制分类问题;我们的目标是预测新事实是真或假的。不幸的是，我们通常只有积极的例子（已知事实），但我们也需要负面的例子来训练分类器。要解决此问题，通常使用负面采样策略生成否定示例。但是，这可以产生可能降低性能的假否定，是计算昂贵的，并且不会产生校准的分类概率。在本文中，我们提出了一种培训程序，通过向损失函数添加新的正则化术语来消除对负面采样的需要。我们的两个关系嵌入模型（DISTMULT和简单）的结果显示了我们的提案的优点。

We address the challenge of building domain-specific knowledge models for industrial use cases, where labelled data and taxonomic information is initially scarce. Our focus is on inductive link prediction models as a basis for practical tools that support knowledge engineers with exploring text collections and discovering and linking new (so-called open-world) entities to the knowledge graph. We argue that - though neural approaches to text mining have yielded impressive results in the past years - current benchmarks do not reflect the typical challenges encountered in the industrial wild properly. Therefore, our first contribution is an open benchmark coined IRT2 (inductive reasoning with text) that (1) covers knowledge graphs of varying sizes (including very small ones), (2) comes with incidental, low-quality text mentions, and (3) includes not only triple completion but also ranking, which is relevant for supporting experts with discovery tasks. We investigate two neural models for inductive link prediction, one based on end-to-end learning and one that learns from the knowledge graph and text data in separate steps. These models compete with a strong bag-of-words baseline. The results show a significant advance in performance for the neural approaches as soon as the available graph data decreases for linking. For ranking, the results are promising, and the neural approaches outperform the sparse retriever by a wide margin.

大多数知识图嵌入技术将实体和谓词视为单独的嵌入矩阵，使用聚合函数来构建输入三重的表示。但是，这些聚集是有损的，即它们没有捕获原始三元组的语义，例如谓词中包含的信息。为了消除这些缺点，当前方法从头开始学习三重嵌入，而无需利用预训练模型的实体和谓词嵌入。在本文中，我们通过从预训练的知识图嵌入中创建弱监督信号来设计一种新型的微调方法来学习三重嵌入。我们开发了一种从知识图中自动采样三联的方法，并从预训练的嵌入模型中估算了它们的成对相似性。然后将这些成对的相似性得分馈送到类似暹罗的神经结构中，以微调三重表示。我们在两个广泛研究的知识图上评估了所提出的方法，并在三重分类和三重聚类任务上显示出对其他最先进的三重嵌入方法的一致改进。

传统的静态知识图形在关系数据中的模型实体作为节点，由特定关系类型的边缘连接。然而，信息和知识不断发展，并且时间动态出现，预计会影响未来的情况。在时间知识图中，通过用时间戳或时间范围配备每个边缘，将时间信息集成到图表中。已经引入了基于嵌入的方法，以便在时间知识图上引入链接预测，但它们主要缺乏可解释性和可理解的推理链。特别是，它们通常不设计用于处理涉及未来时间戳的链路预测 - 事件预测。我们解决了对时间知识图表链接预测的任务，并介绍了一种基于通过时间随机散步提取的时间逻辑规则的可解释的框架。我们在三个基准数据集中比较Tlogic与最先进的基线，并显示出更好的整体性能，而我们的方法还提供了保留时间一致性的解释。此外，与基于最先进的嵌入的方法相比，TLOGIC在具有普通词汇表的相关数据集转移到相关的数据集中，TLOGIC在归纳规则中运行良好。

实体类型预测是知识图中的一个重要问题（kg）研究。在这项工作中提出了一种新的KG实体类型预测方法，名为Core（复杂的空间回归和嵌入）。所提出的核心方法利用两个复杂空间嵌入模型的表现力;即，旋转和复杂的模型。它使用旋转或复杂地将实体和类型嵌入两个不同的复杂空间中。然后，我们推导了一个复杂的回归模型来链接这两个空格。最后，介绍了一种优化嵌入和回归参数的机制。实验表明，核心优于代表性KG实体型推理数据集的基准测试方法。分析了各种实体型预测方法的强度和弱点。

我们根据生态毒理学风险评估中使用的主要数据来源创建了知识图表。我们已经将这种知识图表应用于风险评估中的重要任务，即化学效果预测。我们已经评估了在该预测任务的各种几何，分解和卷积模型中嵌入模型的九个知识图形嵌入模型。我们表明，使用知识图形嵌入可以提高与神经网络的效果预测的准确性。此外，我们已经实现了一种微调架构，它将知识图形嵌入到效果预测任务中，并导致更好的性能。最后，我们评估知识图形嵌入模型的某些特征，以阐明各个模型性能。

参数服务器（PSS）促进用于大型机器学习任务的分布式培训。在本文中，我们认为现有的PSS是表现出非统一参数访问的任务的低效;他们的表现甚至可能落后于单节点基线。我们确定了这种非统一访问的两个主要来源：偏斜和抽样。现有的PSS不适合管理歪斜，因为它们统一地对所有参数应用相同的参数管理技术。它们对采样效率低下，因为PS对相关的随机访问感知并且无法利用局部性。为了克服这些性能限制，我们介绍了NUP，一种新的PS架构，（i）集成了多种管理技术，并采用了每个参数的合适技术，并且（ii）通过合适的采样基元和采样方案直接支持对受控质量进行采样。 - 效率折磨。在我们的实验研究中，NUPs优于现有的PSS，最多一种数量级，并在多台机器学习任务中提供了直线可扩展性。

学术知识图（KGS）提供了代表科学出版物编码的知识的丰富的结构化信息来源。随着出版的科学文学的庞大，包括描述科学概念的过多的非均匀实体和关系，这些公斤本质上是不完整的。我们呈现Exbert，一种利用预先训练的变压器语言模型来执行学术知识图形完成的方法。我们将知识图形的三元组模型为文本并执行三重分类（即，属于KG或不属于KG）。评估表明，在三重分类，链路预测和关系预测的任务中，Exbert在三个学术kg完成数据集中表现出其他基线。此外，我们将两个学术数据集作为研究界的资源，从公共公共公报和在线资源中收集。

知识图嵌入模型已成为机器学习的重要领域。这些模型在知识图中提供了实体和关系的潜在表示，然后可以在下游机器学习任务（例如链接预测）中使用。这些模型的学习过程可以通过对比正面和负三元组来执行。虽然所有千克的三元组都被认为是正的，但负三元三联通常不容易获得。因此，获得的采样方法的选择在知识图嵌入模型的性能和有效性中起着至关重要的作用。当前的大多数方法从基础知识图中实体的随机分布中获取负面样本，这些样本通常还包括毫无意义的三元组。其他已知方法使用对抗技术或生成神经网络，从而降低了过程的效率。在本文中，我们提出了一种方法，以产生有关实体的可用互补知识的信息负面样本。特别是，预训练的语言模型用于通过利用实体之间的距离来形成邻里群集，以通过其文本信息获得符号实体的表示。我们的全面评估证明了拟议方法在基准知识图上具有链接预测任务的文本信息的有效性。

知识图（kg）完成是一项重要任务，它极大地使许多领域的知识发现受益（例如生物医学研究）。近年来，学习kg嵌入以执行此任务的嵌入引起了很大的关注。尽管KG嵌入方法成功，但它们主要使用负抽样，从而增加了计算复杂性以及由于封闭的世界假设而引起的偏见预测。为了克服这些局限性，我们提出了\ textbf {kg-nsf}，这是一个基于嵌入向量的互相关矩阵学习kg嵌入的无负抽样框架。结果表明，所提出的方法在收敛速度更快的同时，将可比较的链接预测性能与基于阴性采样的方法达到了可比性的预测性能。

最近，链接预测问题，也称为知识图完成，已经吸引了大量的研究。即使最近的型号很少试图通过在低维度中嵌入知识图表来实现相对良好的性能，即目前最先进的模型的最佳结果是以大大提高嵌入的维度的成本赚取的。然而，这导致在巨大知识库的情况下导致过度舒服和更重要的可扩展性问题。灵感灵感来自变压器模型的变体提供的深度学习的进步，因为它的自我关注机制，在本文中，我们提出了一种基于IT的模型来解决上述限制。在我们的模型中，自我关注是将查询依赖预测应用于实体和关系的关键，并捕获它们之间的相互信息，以获得来自低维嵌入的高度富有表现力的表现。两种标准链路预测数据集，FB15K-237和WN18RR的经验结果表明，我们的模型比我们三个最近最近期的最新竞争对手实现了相当的性能或更好的性能，其维度的重大减少了76.3％平均嵌入。

XGBoost是一种可扩展的树升压算法，已证明对许多实际兴趣的预测任务有效，特别是使用表格数据集。HyperParameter调整可以进一步提高预测性能，但与神经网络不同，大型数据集上许多模型的全批量培训可能是耗时的。由于（i）数据集大小与培训时间之间存在强大的线性关系，（ii）XGBoost模型满足排名假设，（iii）低保真模型可以发现有前途的封路数据配置，我们展示了统一的分支使得一个简单的快速基准，通过使用数据子集作为保真维度来加快大型XGBoost模型的调整。我们展示了该基线对大型表格数据集的效力，范围为15-70美元\ Mathrm {GB}美元。

神经网络的最新进步已经解决了常见的图表问题，例如链路预测，节点分类，节点聚类，通过将实体和关系的嵌入和关系开发到向量空间中来看。绘图嵌入式对图中存在的结构信息进行编码。然后，编码嵌入式可用于预测图中的缺失链接。然而，获得图表的最佳嵌入可以是嵌入式系统中的计算具有挑战性的任务。我们在这项工作中专注的两种技术是1）节点嵌入来自随机步行的方法和2）知识图形嵌入。随机播放的嵌入物是计算地廉价的，但是是次优的，而知识图形嵌入物表现更好，但是计算得昂贵。在这项工作中，我们研究了转换从基于随机步行方法获得的节点嵌入的转换模型，以直接从知识图方法获得的嵌入，而不会增加计算成本。广泛的实验表明，所提出的变换模型可用于实时解决链路预测。

Numerous models have tried to effectively embed knowledge graphs in low dimensions. Among the state-of-the-art methods, Graph Neural Network (GNN) models provide structure-aware representations of knowledge graphs. However, they often utilize the information of relations and their interactions with entities inefficiently. Moreover, most state-of-the-art knowledge graph embedding models suffer from scalability issues because of assigning high-dimensional embeddings to entities and relations. To address the above limitations, we propose a scalable general knowledge graph encoder that adaptively involves a powerful tensor decomposition method in the aggregation function of RGCN, a well-known relational GNN model. Specifically, the parameters of a low-rank core projection tensor, used to transform neighborhood entities in the encoder, are shared across relations to benefit from multi-task learning and incorporate relations information effectively. Besides, we propose a low-rank estimation of the core tensor using CP decomposition to compress the model, which is also applicable, as a regularization method, to other similar linear models. We evaluated our model on knowledge graph completion as a common downstream task. We train our model for using a new loss function based on contrastive learning, which relieves the training limitation of the 1-N method on huge graphs. We improved RGCN performance on FB15-237 by 0.42% with considerably lower dimensionality of embeddings.