布雷特认为,神经编码隐喻是大脑所做事情的无效基础。在这里,我们认为这是一个不充分的指南,用于构建人工智能,学习在复杂,不断变化的环境中实现短期和长期目标。
translated by 谷歌翻译
强化学习领域(RL)面临着越来越具有组合复杂性的挑战性领域。对于RL代理来解决这些挑战,它必须能够有效地进行规划。先前的工作通常结合非特定的计划算法(例如树搜索)来利用环境的显式模型。最近,已经提出了一种新的方法家族,通过在函数逼近器(例如树形结构神经网络)中通过归纳偏差提供结构来学习如何规划,通过无模型RL算法进行端到端训练。 。在本文中,我们更进一步,并且凭经验证明,除了卷积网络和LSTM之类的标准神经网络组件之外没有特殊结构的完全无模型方法,可以学习展示通常与基于模型的计划器相关的许多特征。我们衡量我们的代理人在规划方面的有效性,以便在组合和不可逆转的状态空间,其数据效率以及利用额外思考时间的能力方面进行推广。我们发现我们的代理具有许多人可能期望在规划算法中找到的特征。此外,它超越了最先进的组合领域,如推箱子,并且优于其他无模型方法,利用强大的归纳偏向规划。
translated by 谷歌翻译
生物感知中的注意机制被认为选择感知信息的子集以用于更复杂的处理,这将对所有感觉输入执行禁止。然而,在计算机视觉中,尽管软注意力成功,其中信息被重新加权和聚合,但从未被过滤掉,因此对硬注意力的探索相对较少,其中一些信息被选择性地忽略。在这里,我们介绍了一种新的方法,以便在最近发布的视觉问题回答数据集中获得非常具有竞争力的性能,在某些情况下超过类似的软注意力架构,同时完全忽略某些功能。尽管认为困难机制是不可微分的,但我们发现特征量与语义相关性相关,并为我们机制的注意选择标准提供了有用的信号。因为硬注意选择输入信息的重要特征,所以它也比类似的软注意机制更有效。这对于使用非局部成对运算的近期方法尤其重要,其中计算和存储器成本在特征集的大小上是二次的。
translated by 谷歌翻译
错误算法(BP)的反向传播通常被认为是不可能在真实大脑中实现的。然而,最近机器学习和人工智能中的深度网络的成功启发了理解大脑如何跨多层学习的建议,以及它如何实现过热的BP。到目前为止,这些提案都没有严格评估过BP指导的深度学习已被证明是关键的任务,或者是比简单的全连接网络更有条理的体系结构。在这里,我们首先提出了在数据集上扩展生物学动机的深度学习模型的结果,这些数据集需要具有适当架构的深度网络以达到良好的性能。我们在MNIST,CIFAR-10和ImageNet数据集上展示结果,探索目标传播(TP)和反馈对齐(FA)算法的变体,并探索全连接和局部连接架构的性能。我们还引入了差异目标传播(DTP)的无重量传递变量,以从倒数第二层去除反向传播。其中许多算法都适用于MNIST,但对于CIFAR和ImageNet,我们发现TP和FA变体的性能明显差于BP,特别是对于由局部连接单元组成的网络,这就打开了关于是否需要新架构和算法来扩展这些方法的问题。我们的结果和实施细节有助于为未来生物学激励的深度学习计划建立基线。
translated by 谷歌翻译
神经网络是否可以学习抽象推理,或者它们是否只是在表面统计上是最近辩论的话题。在这里,我们提出了adataset和挑战,旨在探索抽象推理,受到众所周知的人类智商测试的启发。为了应对这一挑战,模型必须应对各种一般化的“制度”,其中训练和测试数据以不同的方式定义。我们展示了诸如ResNets之类的流行模型,即使在培训和测试集的差别很小的情况下也是如此,并且我们提出了一种新颖的架构,其结构旨在鼓励推理,但效果明显更好。当我们改变测试问题和训练数据的不同方式时,我们发现我们的模型在某些形式的泛化中显然是有效的,但在其他形式上则显着较弱。我们进一步表明,如果模型的预测符合其答案的符号解释,那么该模型的推广能力会显着提高。总而言之,我们引入并探索了在神经网络中测量和诱导更强的抽象推理的方法。我们可自由使用的数据集应该推动这方面的进一步发展。
translated by 谷歌翻译
我们介绍了一种深度强化学习(RL)的方法,通过结构化感知和关系推理提高了传统方法的效率,泛化能力和可解释性。它使用自我注意来迭代地推理场景中的关系并引导模型。 - 免费政策。我们的研究结果表明,在一个名为Box-World的新型导航和规划任务中,我们的代理人找到了可解决的解决方案,这些解决方案在样本复杂性方面提高了基线,能够推广到比在训练期间更复杂的场景,以及整体性能。在“星际争霸II”学习环境中,我们的经纪人在六款迷你游戏中实现了最先进的性能 - 超过了四位人类大师的表现。通过考虑建筑感应偏差,我们的工作为克服深度RL中的重要但顽固的挑战开辟了新的方向。
translated by 谷歌翻译
基于记忆的神经网络通过利用长时间记忆信息的能力来建模时态数据。然而,目前还不清楚是否能够用他们记忆中的信息进行复杂的关系推理。在这里,我们首先确认我们的直觉,即标准内存架构可能会在严重涉及理解实体连接方式的任务中挣扎 - 即涉及关系推理的任务。然后,我们通过使用一个新的内存模块 - 一个\ textit {关系内存核心}(RMC)来改善这些缺陷 - 它采用了多头点产品注意力,允许记忆进行交互。最后,我们在一系列任务中测试RMC,这些任务可以从顺序信息中更有能力的关系推理中获益,并且在RL域(例如Mini PacMan),程序评估和语言建模中显示出巨大的收益,从而实现最先进的结果。 WikiText-103,Project Gutenberg和GigaWorddatasets。
translated by 谷歌翻译
人工智能(AI)最近经历了复兴,在视觉,语言,控制和决策等关键领域取得了重大进展。部分原因在于廉价数据和廉价的计算资源,它们符合深度学习的自然优势。然而,在许多不同压力下发展的人类智能的许多定义特征仍然是当前方法所无法实现的。特别是,超越一个人的经验 - 从人类智慧中获得人类智慧的标志 - 仍然是现代人工智能的一项艰巨挑战。以下是部分立场文件,部分审查和部分统一。认为组合概括必须是人工智能达到人类能力的首要任务,结构化表征和计算是实现这一目标的关键。就像生物学使用自然和培养合作一样,我们拒绝“手工工程”和“端到端”学习之间的错误选择,而是主张从其互补优势中获益的方法。我们探索在深度学习架构中如何使用关系归纳偏差可以促进对实体,关系和组成它们的规则的学习。我们为AI工具包提供了一个新的构建模块,它具有强大的关系引导偏差 - 图形网络 - 它概括和扩展了在图形上运行的神经网络的各种方法,并提供了一个简单的界面来操纵结构化知识和生产结构化行为。我们讨论图网络如何支持关系推理和组合泛化,为更复杂,可解释和灵活的推理模式奠定基础。作为本文的参考,我们发布了一个用于构建图形网络的开源软件库,并演示了如何在实践中使用它们。
translated by 谷歌翻译
关系推理是一般智能行为的核心组成部分,但已证明神经网络难以学习。在本文中,我们描述了如何使用关系网络(RN)作为一个简单的即插即用模块来解决从根本上依赖于关系推理的问题。我们在三个任务上测试了增强型网络:使用名为CLEVR的具有挑战性的数据集进行视觉问题回答,我们在其上实现了最先进的超人类表现;使用bAbI套件的基于文本的问题回答;关于动态物理系统的复杂推理。然后,使用名为Sort-of-CLEVR的acuted数据集,我们表明强大的卷积网络没有解决关系问题的一般能力,但是当用RN增强时可以增加这种能力。我们的工作展示了如何配备RN模块的深度学习架构可以隐含地发现和学习关于实体及其关系的理论。
translated by 谷歌翻译
Adam算法在大规模机器学习中变得非常流行。在凸性条件下,已经证明它具有依赖于adata的$ O(\ sqrt {T})$后悔限制,其中$ T $是时间范围。然而,是否可以利用强凸性来进一步改善性能仍然是一个悬而未决的问题。在本文中,我们通过开发一个Adam的变体(称为SAdam)来给出一个肯定性的答案,该变体实现了对于强凸函数的adata依赖的$ O(\ log T)$后悔限制。一个重要的想法是保持一个更快的衰减但受控制的步长,以利用强凸性。此外,在高参数的特殊配置下,我们的SAdam简化为SC-RMSprop,这是最近提出的用于强凸函数的RMSprop的变体,我们为其提供了第一个依赖于数据的对数后悔边界。优化凸函数和训练深度网络的实证结果证明了我们方法的有效性。
translated by 谷歌翻译