课堂表达学习是可解释的监督机器学习的分支，越来越重要。在描述逻辑中的类表达式学习的大多数现有方法是搜索算法或基于硬规则的。特别地，基于细化运营商的方法遭受可扩展性问题，因为它们依赖于启发式功能来探索每个学习问题的大搜索空间。我们提出了一系列新的方法，我们配合了合成方法。此系列的实例是从提供的示例中直接计算类表达式。因此，它们不受基于搜索方法的运行时限制，也不存在于基于硬规则的方法的缺乏灵活性。我们研究了这种新型方法的三个实例，该方法使用轻量级神经网络架构从积极的例子组合中综合类表达式。他们对四个基准数据集的评估结果表明，它们可以在平均水平上有效地合成相对于输入示例的高质量类表达。此外，与最先进的方法的比较Celoe和Eltl表明我们在大型本体中实现了更好的F措施。为了重现性目的，我们提供了我们的实施以及在HTTPS://github.com/conceptLengtlearner/nces的公共Github存储库中的预先训练模型
translated by 谷歌翻译
2021-11-08
知识图中的节点是一个重要任务，例如，预测缺失类型的实体，预测哪些分子导致癌症，或预测哪种药物是有前途的治疗候选者。虽然黑匣子型号经常实现高预测性能，但它们只是hoc后和本地可解释的，并且不允许学习模型轻松丰富域知识。为此，已经提出了学习描述了来自正和否定示例的逻辑概念。然而，学习这种概念通常需要很长时间，最先进的方法为文字数据值提供有限的支持，尽管它们对于许多应用是至关重要的。在本文中，我们提出了Evolearner - 学习ALCQ（D）的进化方法，它是与合格基数限制（Q）和数据属性配对的补充（ALC）的定语语言和数据属性（D）。我们为初始群体贡献了一种新颖的初始化方法：从正示例开始（知识图中的节点），我们执行偏见随机散步并将它们转换为描述逻辑概念。此外，我们通过在决定分割数据的位置时，通过最大化信息增益来提高数据属性的支持。我们表明，我们的方法在结构化机器学习的基准框架SML - 台阶上显着优于现有技术。我们的消融研究证实，这是由于我们的新颖初始化方法和对数据属性的支持。
translated by 谷歌翻译
人工智能代理必须从周围环境中学到学习，并了解所学习的知识，以便做出决定。虽然从数据的最先进的学习通常使用子符号分布式表示，但是使用用于知识表示的一阶逻辑语言，推理通常在更高的抽象级别中有用。结果，将符号AI和神经计算结合成神经符号系统的尝试已经增加。在本文中，我们呈现了逻辑张量网络（LTN），一种神经组织形式和计算模型，通过引入许多值的端到端可分别的一阶逻辑来支持学习和推理，称为真实逻辑作为表示语言深入学习。我们表明LTN为规范提供了统一的语言，以及多个AI任务的计算，如数据聚类，多标签分类，关系学习，查询应答，半监督学习，回归和嵌入学习。我们使用TensorFlow2的许多简单的解释例实施和说明上述每个任务。关键词：神经组音恐怖症，深度学习和推理，许多值逻辑。
translated by 谷歌翻译
最近公布的知识图形嵌入模型的实施，培训和评估的异质性已经公平和彻底的比较困难。为了评估先前公布的结果的再现性，我们在Pykeen软件包中重新实施和评估了21个交互模型。在这里，我们概述了哪些结果可以通过其报告的超参数再现，这只能以备用的超参数再现，并且无法再现，并且可以提供洞察力，以及为什么会有这种情况。然后，我们在四个数据集上进行了大规模的基准测试，其中数千个实验和24,804 GPU的计算时间。我们展示了最佳实践，每个模型的最佳配置以及可以通过先前发布的最佳配置进行改进的洞察。我们的结果强调了模型架构，训练方法，丢失功能和逆关系显式建模的组合对于模型的性能来说至关重要，而不仅由模型架构决定。我们提供了证据表明，在仔细配置时，若干架构可以获得对最先进的结果。我们制定了所有代码，实验配置，结果和分析，导致我们在https://github.com/pykeen/pykeen和https://github.com/pykeen/benchmarking中获得的解释
translated by 谷歌翻译
归纳逻辑编程（ILP）是一种机器学习的形式。ILP的目标是诱导推广培训示例的假设（一组逻辑规则）。随着ILP转30，我们提供了对该领域的新介绍。我们介绍了必要的逻辑符号和主要学习环境;描述ILP系统的构建块;比较几个维度的几个系统;描述四个系统（Aleph，Tilde，Aspal和Metagol）;突出关键应用领域;最后，总结了未来研究的当前限制和方向。
translated by 谷歌翻译
机器学习方法尤其是深度神经网络取得了巨大的成功，但其中许多往往依赖于一些标记的样品进行训练。在真实世界的应用中，我们经常需要通过例如具有新兴预测目标和昂贵的样本注释的动态上下文来解决样本短缺。因此，低资源学习，旨在学习具有足够资源（特别是培训样本）的强大预测模型，现在正在被广泛调查。在所有低资源学习研究中，许多人更喜欢以知识图（kg）的形式利用一些辅助信息，这对于知识表示变得越来越受欢迎，以减少对标记样本的依赖。在这项调查中，我们非常全面地审查了90美元的报纸关于两个主要的低资源学习设置 - 零射击学习（ZSL）的预测，从未出现过训练，而且很少拍摄的学习（FSL）预测的新类仅具有可用的少量标记样本。我们首先介绍了ZSL和FSL研究中使用的KGS以及现有的和潜在的KG施工解决方案，然后系统地分类和总结了KG感知ZSL和FSL方法，将它们划分为不同的范例，例如基于映射的映射，数据增强，基于传播和基于优化的。我们接下来呈现了不同的应用程序，包括计算机视觉和自然语言处理中的kg增强预测任务，还包括kg完成的任务，以及每个任务的一些典型评估资源。我们最终讨论了一些关于新学习和推理范式的方面的一些挑战和未来方向，以及高质量的KGs的建设。
translated by 谷歌翻译
我们根据生态毒理学风险评估中使用的主要数据来源创建了知识图表。我们已经将这种知识图表应用于风险评估中的重要任务，即化学效果预测。我们已经评估了在该预测任务的各种几何，分解和卷积模型中嵌入模型的九个知识图形嵌入模型。我们表明，使用知识图形嵌入可以提高与神经网络的效果预测的准确性。此外，我们已经实现了一种微调架构，它将知识图形嵌入到效果预测任务中，并导致更好的性能。最后，我们评估知识图形嵌入模型的某些特征，以阐明各个模型性能。
translated by 谷歌翻译
越来越多的语义资源提供了人类知识的宝贵储存;但是，错误条目的概率随着尺寸的增加而增加。因此，识别给定知识库的潜在虚假部分的方法正在成为越来越重要的感兴趣领域。在这项工作中，我们展示了对仅结构的链接分析方法的系统评估是否可以提供可扩展手段，以检测可能的异常，以及潜在的有趣的新颖关系候选者。在八种不同的语义资源中评估十三方法，包括基因本体，食品本体，海洋本体论和类似，我们证明了仅限结构的链接分析可以为数据集的子集提供可扩展的异常检测。此外，我们证明，通过考虑符号节点嵌入，可以获得预测（链接）的说明，使得该方法的该分支可能比黑盒更有价值。据我们所知，这是目前，来自不同域的语义资源的不同类型链路分析方法的适用性最广泛的系统研究之一。
translated by 谷歌翻译
人们如何思考，感受和行为，主要是对其人格特征的代表。通过意识到我们正在与之打交道或决定处理的个人的个性特征，无论其类型如何，人们都可以胜任地改善这种关系。随着基于互联网的通信基础架构（社交网络，论坛等）的兴起，那里发生了相当多的人类通信。这种交流中最突出的工具是以书面和口语形式的语言，可以忠实地编码个人的所有基本人格特征。基于文本的自动人格预测（APP）是基于生成/交换的文本内容的个人个性的自动预测。本文提出了一种基于文本的应用程序的新型知识的方法，该方法依赖于五大人格特征。为此，给定文本，知识图是一组相互联系的概念描述，是通过将输入文本的概念与DBPEDIA知识基础条目匹配的。然后，由于实现了更强大的表示，该图被DBPEDIA本体论，NRC情感强度词典和MRC心理语言数据库信息丰富。之后，现在是输入文本的知识渊博的替代方案的知识图被嵌入以产生嵌入矩阵。最后，为了执行人格预测，将最终的嵌入矩阵喂入四个建议的深度学习模型，这些模型基于卷积神经网络（CNN），简单的复发性神经网络（RNN），长期短期记忆（LSTM）和双向长短短短术语内存（Bilstm）。结果表明，所有建议的分类器中的预测准确度有了显着改善。
translated by 谷歌翻译
访问公共知识库中可用的大量信息可能对那些不熟悉的SPARQL查询语言的用户可能很复杂。SPARQL中自然语言提出的问题的自动翻译有可能克服这个问题。基于神经机翻译的现有系统非常有效，但在识别出识别出训练集的词汇（OOV）的单词中很容易失败。查询大型本体的时，这是一个严重的问题。在本文中，我们将命名实体链接，命名实体识别和神经计算机翻译相结合，以将自然语言问题的自动转换为SPARQL查询。我们凭经验证明，我们的方法比在纪念碑，QALD-9和LC-QUAD V1上运行实验，我们的方法比现有方法更有效，并且对OOV单词进行了更有效的，并且是现有的方法，这些方法是众所周知的DBPedia的相关数据集。
translated by 谷歌翻译
在大规模不完整的知识图（kgs）上回答复杂的一阶逻辑（fol）查询是一项重要但挑战性的任务。最近的进步将逻辑查询和KG实体嵌入了相同的空间，并通过密集的相似性搜索进行查询。但是，先前研究中设计的大多数逻辑运算符不满足经典逻辑的公理系统，从而限制了其性能。此外，这些逻辑运算符被参数化，因此需要许多复杂的查询作为训练数据，在大多数现实世界中，这些数据通常很难收集甚至无法访问。因此，我们提出了Fuzzqe，这是一种基于模糊逻辑的逻辑查询嵌入框架，用于回答KGS上的查询。 Fuzzqe遵循模糊逻辑以原则性和无学习的方式定义逻辑运算符，在这种方式中，只有实体和关系嵌入才需要学习。 Fuzzqe可以从标记为训练的复杂逻辑查询中进一步受益。在两个基准数据集上进行的广泛实验表明，与最先进的方法相比，Fuzzqe在回答FOL查询方面提供了明显更好的性能。此外，只有KG链接预测训练的Fuzzqe可以实现与经过额外复杂查询数据训练的人的可比性能。
translated by 谷歌翻译
全球DataSphere快速增加，预计将达到20251年的175个Zettabytes。但是，大多数内容都是非结构化的，并且无法通过机器可以理解。将此数据构建到知识图中，使得智能应用程序具有诸如深度问题的智能应用，推荐系统，语义搜索等。知识图是一种新兴技术，允许使用内容与上下文一起逻辑推理和揭示新的洞察。因此，它提供了必要的语法和推理语义，使得能够解决复杂的医疗保健，安全，金融机构，经济学和业务问题。作为一项结果，企业正在努力建设和维护知识图表，以支持各种下游应用。手动方法太贵了。自动化方案可以降低建设知识图的成本，高达15-250次。本文批评了最先进的自动化技术，以自主地生成近乎人类的近乎人类的质量。此外，它突出了需要解决的不同研究问题，以提供高质量的知识图表
translated by 谷歌翻译
外部知识（A.K.A.侧面信息）在零拍摄学习（ZSL）中起着关键作用，该角色旨在预测从未出现在训练数据中的看不见的类。已被广泛调查了几种外部知识，例如文本和属性，但他们独自受到不完整的语义。因此，一些最近的研究提出了由于其高度富有效力和代表知识的兼容性而使用知识图表（千克）。但是，ZSL社区仍然缺乏用于学习和比较不同外部知识设置和基于不同的KG的ZSL方法的标准基准。在本文中，我们提出了六个资源，涵盖了三个任务，即零拍摄图像分类（ZS-IMGC），零拍摄关系提取（ZS-RE）和零拍KG完成（ZS-KGC）。每个资源都有一个正常的zsl基准标记和包含从文本到属性的kg的kg，从关系知识到逻辑表达式。我们已清楚地介绍了这些资源，包括其建设，统计数据格式和使用情况W.r.t.不同的ZSL方法。更重要的是，我们进行了一项全面的基准研究，具有两个通用和最先进的方法，两种特定方法和一种可解释方法。我们讨论并比较了不同的ZSL范式W.R.T.不同的外部知识设置，并发现我们的资源具有开发更高级ZSL方法的巨大潜力，并为应用KGS进行增强机学习的更多解决方案。所有资源都可以在https://github.com/china-uk-zsl/resources_for_kzsl上获得。
translated by 谷歌翻译
我们提出了一种调查，其中在构建具有神经网络的模型时包括现有科学知识的方式。纳入领域知识不仅仅是构建科学助理，而且还有许多其他领域，涉及使用人机协作了解数据的其他领域。在许多这样的情况下，基于机器的模型结构可以显着地利用具有以足够精确的形式编码的域的人人类知识。本文审查了通过更改的域名知识：输入，丢失功能和深网络的架构。分类是为了便于阐述：在实践中，我们预计将采用这种变化的组合。在每个类别中，我们描述了所显示的技术，以产生深度神经网络性能的显着变化。
translated by 谷歌翻译
在本文中，我们建立了模糊和优惠语义之间的联系，用于描述逻辑和自组织地图，这些地图已被提出为可能的候选人来解释类别概括的心理机制。特别是，我们表明，在训练之后的自组织地图的输入/输出行为可以通过模糊描述逻辑解释以及基于概念 - 方面的多次方法语义来描述逻辑解释以及考虑偏好的优先解释关于不同的概念，最近提出了排名和加权污染描述逻辑。可以通过模型检查模糊或优先解释来证明网络的属性。从模糊解释开始，我们还为此神经网络模型提供了概率账户。
translated by 谷歌翻译
图表表示学习是一种快速增长的领域，其中一个主要目标是在低维空间中产生有意义的图形表示。已经成功地应用了学习的嵌入式来执行各种预测任务，例如链路预测，节点分类，群集和可视化。图表社区的集体努力提供了数百种方法，但在所有评估指标下没有单一方法擅长，例如预测准确性，运行时间，可扩展性等。该调查旨在通过考虑算法来评估嵌入方法的所有主要类别的图表变体，参数选择，可伸缩性，硬件和软件平台，下游ML任务和多样化数据集。我们使用包含手动特征工程，矩阵分解，浅神经网络和深图卷积网络的分类法组织了图形嵌入技术。我们使用广泛使用的基准图表评估了节点分类，链路预测，群集和可视化任务的这些类别算法。我们在Pytorch几何和DGL库上设计了我们的实验，并在不同的多核CPU和GPU平台上运行实验。我们严格地审查了各种性能指标下嵌入方法的性能，并总结了结果。因此，本文可以作为比较指南，以帮助用户选择最适合其任务的方法。
translated by 谷歌翻译
随着移动通信技术的快速发展，人类的移动轨迹由互联网服务提供商（ISP）和应用服务提供商（ASP）大规模收集。另一方面，知识图（kg）的上升范式为我们提供了一个有希望的解决方案，可以从大规模轨迹数据提取结构化的“知识”。在本文中，我们基于知识图技术专注于建模用户的时空移动模式，并根据从多个源以凝聚力的方式提取的“知识”，预测用户的未来运动。具体来说，我们提出了一种新型知识图中，即时空城市知识图（STKG），其中活动轨迹，场地的类别信息和时间信息都是由STKG中不同关系类型的事实共同建模。移动预测问题转换为知识图表在STKG中完成问题。此外，提出了一种具有精心设计的评分功能的复杂嵌入模型，以衡量STKG中的事实的合理性，以解决知识图形完成问题，这考虑了移动性模式的时间动态，并利用POI类别作为辅助信息和背景知识。广泛的评估确认我们模型在预测用户方面的高精度与最先进的算法相比，S'Mobility，即，提高了5.04％的准确性。此外，POI类别作为背景知识和辅助信息被证实通过在准确性方面提高了3.85％的性能，有助于提高。另外，实验表明，与现有方法相比，我们的所提出的方法通过将计算时间降低43.12％以上。
translated by 谷歌翻译
知识图表（KGS）是真实世界事实的结构化表示，是融合人类知识的智能数据库，可以帮助机器模仿人类问题的方法。然而，由于快速迭代的性质以及数据的不完整，KGs通常是巨大的，并且在公斤上有不可避免的事实。对于知识图链接的预测是针对基于现有的知识推理来完成缺少事实的任务。广泛研究了两个主要的研究流：一个学习可以捕获潜在模式的实体和关系的低维嵌入，以及通过采矿逻辑规则的良好解释性。不幸的是，以前的研究很少关注异质的KG。在本文中，我们提出了一种将基于嵌入的学习和逻辑规则挖掘结合的模型，以推断在KG上。具体地，我们研究了从节点程度的角度涉及各种类型的实体和关系的异构kg中的缺失链接的问题。在实验中，我们证明了我们的DegreEmbed模型优于对现实世界的数据集的国家的最先进的方法。同时，我们模型开采的规则具有高质量和可解释性。
translated by 谷歌翻译
仇恨言论是一种在线骚扰的形式，涉及使用滥用语言，并且在社交媒体帖子中通常可以看到。这种骚扰主要集中在诸如宗教，性别，种族等的特定群体特征上，如今它既有社会和经济后果。文本文章中对滥用语言的自动检测一直是一项艰巨的任务，但最近它从科学界获得了很多兴趣。本文解决了在社交媒体中辨别仇恨内容的重要问题。我们在这项工作中提出的模型是基于LSTM神经网络体系结构的现有方法的扩展，我们在短文中适当地增强和微调以检测某些形式的仇恨语言，例如种族主义或性别歧视。最重要的增强是转换为由复发性神经网络（RNN）分类器组成的两阶段方案。将第一阶段的所有一Vs式分类器（OVR）分类器的输出组合在一起，并用于训练第二阶段分类器，最终决定了骚扰的类型。我们的研究包括对在16K推文的公共语料库中评估的第二阶段提出的几种替代方法的性能比较，然后对另一个数据集进行了概括研究。报道的结果表明，与当前的最新技术相比，在仇恨言论检测任务中，所提出的方案的分类质量出色。
translated by 谷歌翻译
在这项工作中，我们审查并评估了一个具有公开可用和广泛使用的数据集的深度学习知识追踪（DLKT）模型，以及学习编程的新型学生数据集。评估的DLKT模型已重新实现，用于评估先前报告的结果的可重复性和可复制性。我们测试在与模型的主要架构上独立于模型的比较模型中找到的不同输入和输出层变化，以及在某些研究中隐含地和明确地使用的不同最大尝试计数选项。几个指标用于反映评估知识追踪模型的质量。评估的知识追踪模型包括Vanilla-DKT，两个长短期内存深度知识跟踪（LSTM-DKT）变体，两个动态键值存储器网络（DKVMN）变体，以及自我细致的知识跟踪（SAKT）。我们评估Logistic回归，贝叶斯知识跟踪（BKT）和简单的非学习模型作为基准。我们的结果表明，DLKT模型一般优于非DLKT模型，DLKT模型之间的相对差异是微妙的，并且在数据集之间经常变化。我们的研究结果还表明，通常的纯模型，例如平均预测，比更复杂的知识追踪模型更好地表现出更好的性能，尤其是在准确性方面。此外，我们的公制和封路数据分析显示，用于选择最佳模型的度量标准对模型的性能有明显的影响，并且该度量选择可以影响模型排名。我们还研究了输入和输出层变化的影响，过滤出长期尝试序列，以及随机性和硬件等非模型属性。最后，我们讨论模型性能可重量和相关问题。我们的模型实现，评估代码和数据作为本工作的一部分发布。
translated by 谷歌翻译