人工智能代理必须从周围环境中学到学习,并了解所学习的知识,以便做出决定。虽然从数据的最先进的学习通常使用子符号分布式表示,但是使用用于知识表示的一阶逻辑语言,推理通常在更高的抽象级别中有用。结果,将符号AI和神经计算结合成神经符号系统的尝试已经增加。在本文中,我们呈现了逻辑张量网络(LTN),一种神经组织形式和计算模型,通过引入许多值的端到端可分别的一阶逻辑来支持学习和推理,称为真实逻辑作为表示语言深入学习。我们表明LTN为规范提供了统一的语言,以及多个AI任务的计算,如数据聚类,多标签分类,关系学习,查询应答,半监督学习,回归和嵌入学习。我们使用TensorFlow2的许多简单的解释例实施和说明上述每个任务。关键词:神经组音恐怖症,深度学习和推理,许多值逻辑。
translated by 谷歌翻译
Two approaches to AI, neural networks and symbolic systems, have been proven very successful for an array of AI problems. However, neither has been able to achieve the general reasoning ability required for human-like intelligence. It has been argued that this is due to inherent weaknesses in each approach. Luckily, these weaknesses appear to be complementary, with symbolic systems being adept at the kinds of things neural networks have trouble with and vice-versa. The field of neural-symbolic AI attempts to exploit this asymmetry by combining neural networks and symbolic AI into integrated systems. Often this has been done by encoding symbolic knowledge into neural networks. Unfortunately, although many different methods for this have been proposed, there is no common definition of an encoding to compare them. We seek to rectify this problem by introducing a semantic framework for neural-symbolic AI, which is then shown to be general enough to account for a large family of neural-symbolic systems. We provide a number of examples and proofs of the application of the framework to the neural encoding of various forms of knowledge representation and neural network. These, at first sight disparate approaches, are all shown to fall within the framework's formal definition of what we call semantic encoding for neural-symbolic AI.
translated by 谷歌翻译
归纳逻辑编程(ILP)是一种机器学习的形式。ILP的目标是诱导推广培训示例的假设(一组逻辑规则)。随着ILP转30,我们提供了对该领域的新介绍。我们介绍了必要的逻辑符号和主要学习环境;描述ILP系统的构建块;比较几个维度的几个系统;描述四个系统(Aleph,Tilde,Aspal和Metagol);突出关键应用领域;最后,总结了未来研究的当前限制和方向。
translated by 谷歌翻译
推理,学习和决策的整合是构建更多普通AI系统的关键。作为朝这个方向的一步,我们提出了一种新颖的神经逻辑架构,可以解决电感逻辑编程(ILP)和深增强学习(RL)问题。我们的体系结构通过分配权重来谓词而不是规则来定义一阶逻辑程序的受限但呈现的连续空间。因此,它是完全可分的,可以用梯度下降有效地培训。此外,在与演员批评算法的深度RL设置中,我们提出了一种新颖的高效评论家建筑。与ILP和RL问题的最先进方法相比,我们的命题实现了出色的性能,同时能够提供完全可解释的解决方案和更好地缩放,特别是在测试阶段。
translated by 谷歌翻译
尽管在现代的机器学习算法的最新进展,其内在机制的不透明仍是采用的障碍。在人工智能系统灌输信心和信任,解释的人工智能已成为提高现代机器学习算法explainability的响应。归纳逻辑程序(ILP),符号人工智能的子场中,起着产生,因为它的直观的逻辑驱动框架的可解释的解释有希望的作用。 ILP有效利用绎推理产生从实例和背景知识解释的一阶分句理论。然而,在发展中通过ILP需要启发方法的几个挑战,在实践中他们的成功应用来解决。例如,现有的ILP系统通常拥有广阔的解空间,以及感应解决方案是对噪声和干扰非常敏感。本次调查总结在ILP的最新进展和统计关系学习和神经象征算法的讨论,其中提供给ILP协同意见。继最新进展的严格审查,我们划定观察的挑战,突出对发展不言自明的人工智能系统进一步ILP动机研究的潜在途径。
translated by 谷歌翻译
神经符号(NESY)集成将符号推理与神经网络(NNS)结合在一起,用于需要感知和推理的任务。大多数NESY系统都依赖于逻辑知识的持续放松,并且在模型管道中没有做出离散决策。此外,这些方法假定给出了符号规则。在本文中,我们提出了深入的符号学习(DSL),这是一个学习NESY函数的NESY系统,即,(集合)感知函数的组成,将连续数据映射到离散符号,以及一组符号功能符号。 DSL同时学习感知和符号功能,同时仅接受其组成(NESY功能)训练。 DSL的关键新颖性是它可以创建内部(可解释的)符号表示形式,并将其映射到可区分的NN学习管道中的感知输入。自动选择创建的符号以生成最能解释数据的符号函数。我们提供实验分析,以证实DSL在同时学习感知和符号功能中的功效。
translated by 谷歌翻译
我们提出了神经概率软逻辑(NEUPSL),这是一种新型的神经符号(NESY)框架,将最新的象征性推理与对深神经网络的低水平感知结合在一起。为了明确建模神经和符号表示之间的边界,我们引入了基于NESY Energy模型,这是一个结合神经和符号推理的基于能量的一般模型。使用此框架,我们展示了如何无缝整合神经和符号参数学习和推理。我们进行广泛的经验评估,并表明NEUPSL优于关节推断的现有方法,并且在几乎所有设置中的差异都显着降低。
translated by 谷歌翻译
我们概述了在其知识表示和声明问题解决的应用中的视角下的时间逻辑编程。这些程序是将通常规则与时间模态运算符组合的结果,如线性时间时间逻辑(LTL)。我们专注于最近的非单调形式主义的结果​​称为时间平衡逻辑(电话),该逻辑(电话)为LTL的全语法定义,但是基于平衡逻辑执行模型选择标准,答案集编程的众所周知的逻辑表征(ASP )。我们获得了稳定模型语义的适当延伸,以进行任意时间公式的一般情况。我们记得电话和单调基础的基本定义,这里的时间逻辑 - 和那里(THT),并研究无限和有限迹线之间的差异。我们还提供其他有用的结果,例如将转换成其他形式主义,如量化的平衡逻辑或二阶LTL,以及用于基于自动机计算的时间稳定模型的一些技术。在第二部分中,我们专注于实际方面,定义称为较近ASP的时间逻辑程序的句法片段,并解释如何在求解器Telingo的构建中被利用。
translated by 谷歌翻译
当前独立于域的经典计划者需要问题域和实例作为输入的符号模型,从而导致知识采集瓶颈。同时,尽管深度学习在许多领域都取得了重大成功,但知识是在与符号系统(例如计划者)不兼容的亚符号表示中编码的。我们提出了Latplan,这是一种无监督的建筑,结合了深度学习和经典计划。只有一组未标记的图像对,显示了环境中允许的过渡子集(训练输入),Latplan学习了环境的完整命题PDDL动作模型。稍后,当给出代表初始状态和目标状态(计划输入)的一对图像时,Latplan在符号潜在空间中找到了目标状态的计划,并返回可视化的计划执行。我们使用6个计划域的基于图像的版本来评估LATPLAN:8个插头,15个式嘴,Blockworld,Sokoban和两个LightsOut的变体。
translated by 谷歌翻译
即使机器学习算法已经在数据科学中发挥了重要作用,但许多当前方法对输入数据提出了不现实的假设。由于不兼容的数据格式,或数据集中的异质,分层或完全缺少的数据片段,因此很难应用此类方法。作为解决方案,我们提出了一个用于样本表示,模型定义和培训的多功能,统一的框架,称为“ Hmill”。我们深入审查框架构建和扩展的机器学习的多个范围范式。从理论上讲,为HMILL的关键组件的设计合理,我们将通用近似定理的扩展显示到框架中实现的模型所实现的所有功能的集合。本文还包含有关我们实施中技术和绩效改进的详细讨论,该讨论将在MIT许可下发布供下载。该框架的主要资产是其灵活性,它可以通过相同的工具对不同的现实世界数据源进行建模。除了单独观察到每个对象的一组属性的标准设置外,我们解释了如何在框架中实现表示整个对象系统的图表中的消息推断。为了支持我们的主张,我们使用框架解决了网络安全域的三个不同问题。第一种用例涉及来自原始网络观察结果的IoT设备识别。在第二个问题中,我们研究了如何使用以有向图表示的操作系统的快照可以对恶意二进制文件进行分类。最后提供的示例是通过网络中实体之间建模域黑名单扩展的任务。在所有三个问题中,基于建议的框架的解决方案可实现与专业方法相当的性能。
translated by 谷歌翻译
机器学习通常以经典的概率理论为前提,这意味着聚集是基于期望的。现在有多种原因可以激励人们将经典概率理论作为机器学习的数学基础。我们系统地检查了一系列强大而丰富的此类替代品,即各种称为光谱风险度量,Choquet积分或Lorentz规范。我们提出了一系列的表征结果,并演示了使这个光谱家族如此特别的原因。在此过程中,我们证明了所有连贯的风险度量的自然分层,从它们通过利用重新安排不变性Banach空间理论的结果来诱导的上层概率。我们凭经验证明了这种新的不确定性方法如何有助于解决实用的机器学习问题。
translated by 谷歌翻译
最近的工作表明,我们可以在学习系统中使用逻辑背景知识来弥补缺乏标记的培训数据。许多这样的方法通过创建编码此知识的损失函数来起作用。但是,即使在测试时间仍然有用,逻辑通常在训练后会被丢弃。相反,我们通过额外的计算步骤来完善预测来确保神经网络预测能够满足知识。我们介绍了可区分的改进功能,该功能找到了接近原始预测的校正预测。我们研究了如何有效有效地计算这些完善功能。使用新算法,我们结合了改进函数,以找到任何复杂性的逻辑公式的完善预测。该算法在复杂的SAT配方中发现了最佳的改进,以较少的迭代率明显更少,并且经常发现梯度下降无法进行的解决方案。
translated by 谷歌翻译
我们提出了一种有效的可解释的神经象征模型来解决感应逻辑编程(ILP)问题。在该模型中,该模型是由在分层结构中组织的一组元规则构建的,通过学习嵌入来匹配元规则的事实和身体谓词来发明一阶规则。为了实例化它,我们专门设计了一种表现型通用元规则集,并证明了它们产生的喇叭条件的片段。在培训期间,我们注入了控制的\ PW {gumbel}噪声以避免本地最佳,并采用可解释性 - 正则化术语来进一步指导融合到可解释规则。我们在针对几种最先进的方法上证明我们对各种任务(ILP,视觉基因组,强化学习)的模型进行了验证。
translated by 谷歌翻译
形状约束语言(SHACL)是通过验证图表上的某些形状来验证RDF数据的最新W3C推荐语言。先前的工作主要集中在验证问题上,并且仅针对SHACL的简化版本研究了对设计和优化目的至关重要的可满足性和遏制的标准决策问题。此外,SHACL规范不能定义递归定义的约束的语义,这导致文献中提出了几种替代性递归语义。尚未研究这些不同语义与重要决策问题之间的相互作用。在本文中,我们通过向新的一阶语言(称为SCL)的翻译提供了对SHACL的不同特征的全面研究,该语言精确地捕获了SHACL的语义。我们还提出了MSCL,这是SCL的二阶扩展,它使我们能够在单个形式的逻辑框架中定义SHACL的主要递归语义。在这种语言中,我们还提供了对过滤器约束的有效处理,这些滤镜经常在相关文献中被忽略。使用此逻辑,我们为不同的SHACL片段的可满足性和遏制决策问题提供了(联合)可决定性和复杂性结果的详细图。值得注意的是,我们证明这两个问题对于完整的语言都是不可避免的,但是即使面对递归,我们也提供了有趣的功能的可决定性组合。
translated by 谷歌翻译
在本文中,我们介绍了概率打字的自然扣除计算TPTND,旨在推理和获得概率计算过程的可信赖性能,例如那些基本的当前AI应用程序。TPTND中的衍生性被解释为从给定的分类分布中提取具有一定频率的$ n $输出样本的过程。我们将框架内的信任正式化为对这种频率和预期概率之间距离的假设测试形式。演算的主要优点是呈现这种可信度可检查的概念。我们介绍了TPTND的证明理论语义,并说明了结构性和元看属性,特别关注安全性。我们激励其在自动分类算法验证中的使用。
translated by 谷歌翻译
逻辑神经网络(LNNS)是一种结合神经网络学习能力和正式逻辑能力的能力的体系结构。LLNS为程序员提供了通过逻辑公式隐式修改神经网络的基础结构的能力。在本文中,我们利用此抽象来扩展LNN,以通过一阶理论支持平等和功能符号。这种扩展通过显着增加了他们可以解决的问题的类型来提高LNN的功能。作为概念的证明,我们为IBM的LNN库增加了对平等的一阶理论的支持,并演示了此引入如何允许LNN库现在推理出表达式而无需做出独特的名称假设。
translated by 谷歌翻译
我们在答案集编程(ASP)中,提供了全面的可变实例化或接地的理论基础。在ASP的建模语言的语义上构建,我们在(固定点)运营商方面介绍了接地算法的正式表征。专用良好的运营商扮演了一个主要作用,其相关模型提供了划定接地结果以及随机简化的语义指导。我们地址呈现出一种竞技级逻辑程序,该程序包含递归聚合,从而达到现有ASP建模语言的范围。这伴随着一个普通算法框架,详细说明递归聚集体的接地。给定的算法基本上对应于ASP接地器Gringo中使用的算法。
translated by 谷歌翻译
从建模和复杂性角度来看,跨不同范围领域的统计关系表示的行为已成为研究的焦点领域。 2018年,Jaeger和Schulte将分布家族作为关键特性提出了预测性,以确保边际推断与域大小无关。但是,Jaeger和Schulte认为该域仅以其大小为特征。这项贡献将投影率的概念从域大小索引的分布家族到从数据库中进行扩展数据的函数。这使得投影率可用于采用结构化输入的大量应用程序。我们将投影性分配家庭的已知吸引人属性转移到新环境中。此外,我们证明了对无限域的投影率与分布之间的对应关系,我们用来将其统一和推广到无限域中的统计关系表示。最后,我们使用扩展的投影率概念来定义进一步的加强,我们称之为$ \ sigma $ - 标题性,并允许在保留投影率的同时以不同的模式使用相同的表示。
translated by 谷歌翻译
主张神经符号人工智能(NESY)断言,将深度学习与象征性推理相结合将导致AI更强大,而不是本身。像深度学习一样成功,人们普遍认为,即使我们最好的深度学习系统也不是很擅长抽象推理。而且,由于推理与语言密不可分,因此具有直觉的意义,即自然语言处理(NLP)将成为NESY特别适合的候选人。我们对实施NLP实施NESY的研究进行了结构化审查,目的是回答Nesy是否确实符合其承诺的问题:推理,分布概括,解释性,学习和从小数据的可转让性以及新的推理到新的域。我们研究了知识表示的影响,例如规则和语义网络,语言结构和关系结构,以及隐式或明确的推理是否有助于更高的承诺分数。我们发现,将逻辑编译到神经网络中的系统会导致满足最NESY的目标,而其他因素(例如知识表示或神经体系结构的类型)与实现目标没有明显的相关性。我们发现在推理的定义方式上,特别是与人类级别的推理有关的许多差异,这会影响有关模型架构的决策并推动结论,这些结论在整个研究中并不总是一致的。因此,我们倡导采取更加有条不紊的方法来应用人类推理的理论以及适当的基准的发展,我们希望这可以更好地理解该领域的进步。我们在GitHub上提供数据和代码以进行进一步分析。
translated by 谷歌翻译
最近已经提出了几个查询和分数来解释对ML模型的个人预测。鉴于ML型号的灵活,可靠和易于应用的可解释性方法,我们预见了需要开发声明语言以自然地指定不同的解释性查询。我们以原则的方式通过源于逻辑,称为箔,允许表达许多简单但重要的解释性查询,并且可以作为更具表现力解释性语言的核心来实现这一语言。我们研究箔片查询的两类ML模型的计算复杂性经常被视为容易解释:决策树和OBDD。由于ML模型的可能输入的数量是尺寸的指数,因此箔评估问题的易易性是精细的,但是可以通过限制模型的结构或正在评估的箔片段来实现。我们还以高级声明语言包装的箔片的原型实施,并执行实验,表明可以在实践中使用这种语言。
translated by 谷歌翻译