布雷特认为,神经编码隐喻是大脑所做事情的无效基础。在这里,我们认为这是一个不充分的指南,用于构建人工智能,学习在复杂,不断变化的环境中实现短期和长期目标。
translated by 谷歌翻译
深度神经网络(DNN)在多个处理阶段转换刺激,以产生可用于解决复杂任务的表示,例如图像中的对象识别。然而,完全理解他们如何实现这一目标仍然是难以捉摸的。生物神经网络的复杂性基本上超过了DNN的复杂性,使得理解他们所学习的表示更具挑战性。因此,机器学习和计算神经科学都面临着共同的挑战:我们如何分析它们的表示以理解它们如何解决互补问题?我们回顾了计算神经科学家开发的数据分析概念和技术如何用于分析DNN中的表示,反过来,最近开发的DNN分析技术如何有助于理解生物神经网络中的表示。我们探索了两个领域之间协同作用的机会,例如使用DNN作为神经科学的计算机模型系统,以及这种协同作用如何导致关于生物神经网络的操作原理的新假设。
translated by 谷歌翻译
神经网络是否可以学习抽象推理,或者它们是否只是在表面统计上是最近辩论的话题。在这里,我们提出了adataset和挑战,旨在探索抽象推理,受到众所周知的人类智商测试的启发。为了应对这一挑战,模型必须应对各种一般化的“制度”,其中训练和测试数据以不同的方式定义。我们展示了诸如ResNets之类的流行模型,即使在培训和测试集的差别很小的情况下也是如此,并且我们提出了一种新颖的架构,其结构旨在鼓励推理,但效果明显更好。当我们改变测试问题和训练数据的不同方式时,我们发现我们的模型在某些形式的泛化中显然是有效的,但在其他形式上则显着较弱。我们进一步表明,如果模型的预测符合其答案的符号解释,那么该模型的推广能力会显着提高。总而言之,我们引入并探索了在神经网络中测量和诱导更强的抽象推理的方法。我们可自由使用的数据集应该推动这方面的进一步发展。
translated by 谷歌翻译
We present Spectral Inference Networks, a framework for learning eigenfunctions of linear operators by stochastic optimization. Spectral Inference Networks generalize Slow Feature Analysis to generic symmetric operators, and are closely related to Variational Monte Carlo methods from computational physics. As such, they can be a powerful tool for unsupervised representation learning from video or graph-structured data. We cast training Spectral Inference Networks as a bilevel optimization problem, which allows for online learning of multiple eigenfunc-tions. We show results of training Spectral Inference Networks on problems in quantum mechanics and feature learning for videos on synthetic datasets. Our results demonstrate that Spectral Inference Networks accurately recover eigen-functions of linear operators and can discover interpretable representations from video in a fully unsupervised manner.
translated by 谷歌翻译
关系推理是一般智能行为的核心组成部分,但已证明神经网络难以学习。在本文中,我们描述了如何使用关系网络(RN)作为一个简单的即插即用模块来解决从根本上依赖于关系推理的问题。我们在三个任务上测试了增强型网络:使用名为CLEVR的具有挑战性的数据集进行视觉问题回答,我们在其上实现了最先进的超人类表现;使用bAbI套件的基于文本的问题回答;关于动态物理系统的复杂推理。然后,使用名为Sort-of-CLEVR的acuted数据集,我们表明强大的卷积网络没有解决关系问题的一般能力,但是当用RN增强时可以增加这种能力。我们的工作展示了如何配备RN模块的深度学习架构可以隐含地发现和学习关于实体及其关系的理论。
translated by 谷歌翻译
深度神经网络已经成为一种广泛使用的有效手段,可以解决复杂的现实问题。然而,将这些应用于安全关键系统的主要障碍是在提供关于其行为的正式保证方面存在很大困难。我们提出了一种新颖,可扩展且高效的技术,用于验证深度神经网络(或提供计数器示例)的属性。该技术基于单纯形法,扩展到处理非凸整流线性单元(ReLU)激活函数,这是许多现代神经网络中的关键成分。验证程序作为一个整体处理神经网络,而不做任何简化假设。我们对用于无人驾驶飞机的下一代机载防撞系统(ACAS Xu)的原型深度神经网络实现评估了我们的技术。结果表明,我们的技术可以成功地证明网络的属性比使用现有方法验证的最大网络大一个数量级。
translated by 谷歌翻译
Generative Adversarial Networks have shown remarkable success in learning a distribution that faithfully recovers a reference distribution in its entirety. However, in some cases, we may want to only learn some aspects (e.g., cluster or manifold structure), while modifying others (e.g., style, orientation or dimension). In this work, we propose an approach to learn generative models across such incomparable spaces, and demonstrate how to steer the learned distribution towards target properties. A key component of our model is the Gromov-Wasserstein distance, a notion of discrepancy that compares distributions relationally rather than absolutely. While this framework subsumes current generative models in identically reproducing distributions, its inherent flexibility allows application to tasks in manifold learning, relational learning and cross-domain learning.
translated by 谷歌翻译
本文涉及在图形模型中估计模型参数。将其描述为信息几何优化问题,并引入包含额外元参数的解剖梯度下降策略。我们表明,我们的方法是图形模型中用于学习的着名EM方法的强有力替代方案。实际上,我们基于自然梯度的策略导致学习最终目标函数的最佳参数,而不是试图拟合可能与真实不对应的分布。我们支持我们的理论发现与金融市场中的趋势检测问题,并表明学习模型表现出更好的传统实践方法,并且不易过度拟合。
translated by 谷歌翻译
我们在最近普及的分散执行(CTDE)制度的集中培训中探索基于价值的多智能体强化学习(MARL)任务解决方案。然而,VDN和QMIX是代表性的例子,它将联合行动 - 价值函数的因子分解为分散执行的个体化。 VDN和QMIX仅解决可分解的MARL任务的分数,因为它们在诸如可加性和单调性之类的因素中具有结构约束。在本文中,我们提出了一种新的MARL分解方法,即QTRAN,它没有这种结构约束,并采用了一种新的方法将原始的联合作用 - 值函数转换为易于分解的函数,具有相同的优化。 QTRAN保证比VDN或QMIX更通用的因子分解,因此比以前的方法覆盖了更广泛的MARL任务类。多域Gaussian-squeeze和modifiedpredator-prey任务的Ourexperiments展示了QTRAN在游戏中的特殊大规模优越性能,其收益更加积极地惩罚非合作行为。
translated by 谷歌翻译
我们给出了过度约束的回归问题的第一维降维方法。 Tukey损失函数$ \ | y \ | _M = \ sum_i M(y_i)$有剩余误差的$ M(y_i)\ approx | y_i | ^ p $ $ $ y_i $小于规定阈值$ \ tau $,但是$ M(y_i)$对于错误$ | y_i |变为常量> \ tau $。我们的结果取决于一个新的结构结果,建设性地证明,对于任何$ d $ -dimensional子空间$ L \ subset \ mathbb {R} ^ n $,有一个固定的有界大小的坐标子集,包含每个$ y \ in L $,关于Tukey损失函数的所有大坐标,$ y $。我们的方法将给定的Tukey回归问题减少到较小的加权版本,whosesolution对于原始问题是可证明的良好近似解。我们的减少是快速,简单和易于实现的,并且我们使用现有的启发式解算器为小版本提供了证明其实用性的经验结果。我们还给出了指数时间算法,给出了可证明的解决方案,并且硬度结果表明在最坏的情况下不太可能出现显着的加速。
translated by 谷歌翻译