内嗅皮质中的网格细胞，以及位置，速度和边界细胞，是大脑中空间表征组织的主要贡献者。在这篇文章中，我们介绍了一种新的理论和算法框架，能够从输入刺激的统计数据中解释六边形网格状响应模式的出现。我们证明该模式是神经元的最小方差编码的结果。新颖性在于通过现代框架理论语言，特别是等角框架的编码问题的形成，提供关于六边形网格感受域的最优性的新见解。所提出的模型克服了当前吸引子和振荡模型的一些关键限制。它基于对Hebbian学习的广泛接受和测试的假设，提供了一种简化的基于皮质的框架，其不需要在突触连接（吸引子模型）中存在速度驱动的振荡（振荡模型）或平移对称性。我们进一步证明所提出的编码机制自然地将刺激的移位，旋转和缩放映射到网格单元的感知域的形状上，给出了在环境线索转换下重新映射的网格细胞的实验证据的直接解释。
translated by 谷歌翻译
随着用于训练深度学习（DL）模型的模型和数据集的扩展，系统架构师面临着新的挑战，其中之一就是内存容量瓶颈，其中加速器设备内的有限物理内存限制了可以研究的算法。我们提出了以内存为中心的深度学习系统，它可以透明地扩展加速器可用的内存容量，同时还为并行训练提供快速的设备间通信。我们的提议在设备端互连中本地聚合了一个存储器模块池，这些存储器模块与主机接口分离，并作为透明存储器容量扩展的载体。与传统系统相比，我们的提议在8个DL应用上实现了平均2.8倍的加速，并将系统内存容量提高到数十TB。
translated by 谷歌翻译
复杂的环境提供结构化但可变的感官输入。为了从这些环境中获取信息，生物体必须发展正确预测未知刺激的后果的能力，并对这些预测采取行动。我们提出了神经网络的进化路径，将无机构从反应行为引导到简单的主动行为，从简单的主动行为到基于感应的行为。通过体外和实验室实验，我们定义了网络中必需的最小条件，其中生物体的定时依赖性可塑性来自反应性的顶部反应行为。我们的结果支持小进化系统的存在和四个必要条件，允许体现神经网络从最初的反应策略发展预测和归纳能力。我们将这些条件扩展到更一般的结构。
translated by 谷歌翻译
在过去的二十年中，人们已经付出了很多努力来表征储层计算系统表现出所谓的回声和衰落记忆特性的情况。这些重要特征对于全球油藏系统解决方案的存在和连续性而言，是数学上的术语。本文对该研究进行了补充，其中对于离散时间确定性输入的非常一般类别，对储层过滤器的不同性进行了充分表征。差异的局部性质允许形成条件，以确保可区分的地球和全球存在，并且通过褪色的记忆解决方案，其与现有关于回声状态属性的输入依赖性质的研究相关联。利用泰勒定理在分析案例中构造了具有半无限离散时间输入的储层过滤器的Volterra型系列表示，并提供了相应的近似界。最后，作为这些结果的推论显示，任何衰落记忆滤波器可以通过具有有限记忆的有限Volterra级数均匀近似。
translated by 谷歌翻译
深度尖峰神经网络（SNN）支持异步事件驱动计算，大规模并行性，并显示出提高其同步模拟对应的能量效率的巨大潜力。然而，在设计SNN学习规则时，神经编码的注意力不足。值得注意的是，时间信用分配已经在速率编码的尖峰输入上进行，导致学习效率低下。在本文中，我们引入了一种新的基于尖峰的速率编码深度SNN学习规则，其中每个神经元的尖峰数被用作梯度反向传播的替代。我们通过在UCI机器学习和MNIST手写数字数据集上训练深度尖峰多层感知器（MLP）和尖峰卷积神经网络（CNN）来评估所提出的学习规则。我们展示了所提出的学习规则在allbenchmark数据集上实现了最先进的精度。所提出的学习规则允许将延迟，尖峰速率和硬件约束引入到SNN学习中，这优于间接方法，其中传统的人工神经网络首先被训练然后被转换为SNN。因此，它允许直接部署到神经形态硬件并支持有效推理。值得注意的是，在我们的实验中，只有10个模拟时间步长，当训练时施加相同的延迟约束时，MNIST数据集的测试精度达到98.40％。
translated by 谷歌翻译
在集体机器人系统中，为复杂任务自动生成控制器仍然是一个具有挑战性的问题。复杂机器人行为的开放式演变可能是一种可能的解决方案，其中模式形成和自组织的内在驱动因素可能被证明是重要的。我们通过将预测网络作为与行动选择网络配对的世界模型进行演化，在集体机器人系统中实现这种驱动。良好预测给予适应性，这导致偏向易于预测的环境和以紧急模式形式的行为，即最小企业的环境。对于新兴模式的不同质量，没有任务依赖的偏见或任何其他明确的预测。需要对动作，传感器模型和环境进行有效配置以刺激复杂行为的出现。我们研究自组装，以增加场景的复杂性，同时将我们的模拟复杂性限制在agrid世界，以管理这种方法的可行性。我们研究了不同群体密度和环境形状对出现模式的影响。此外，我们研究了进化如何偏向于所需模式的出现。我们通过对组装模式造成损害并观察自组织的自我修复过程来分析所产生的自组装行为的弹性。总之，我们进化了群体行为以进行弹性自组装并成功地设计了自组织模拟。在未来的工作中，我们计划将我们的方法转移到一群真实的机器人身上。
translated by 谷歌翻译
进化算法已被广泛用于一系列随机优化问题。在大多数研究中，目标是优化解决方案的预期质量。受约束性违反具有极大破坏性影响的现实问题的启发，我们考虑了背包问题的一种变体，即利用最大$ $ alpha $的小概率违反背包容量限制的约束下利润最大化。这个问题被称为机会约束的背包问题，而且机会约束优化问题迄今为止在进化计算文献中很少受到关注。我们展示了如何在通过进化算法解决这些问题时使用流行的偏差等值，如Chebyshev不等式和Chernoff边界作为解决方案评估的一部分，并将我们的算法的有效性与广泛的机会约束背包实例进行比较。
translated by 谷歌翻译
机器学习理论和实践的最新趋势，从最先进的高斯过程的设计到随机梯度下降（SGD）下的神经网络（DNN）的收敛性分析，已经发现它很有效地研究了广泛的随机神经网络。这些方法的核心是这种网络的某些扩展限制。我们通过引入可以表达大多数神经网络计算的直线\ emph {张量程序}的概念来统一这些结果，并且当它的张量大且随机化时我们表征其缩放限制。从我们的框架如下（1）随机神经网络的收敛到高斯过程的体系结构，如复原神经网络，卷积神经网络，残余网络，注意力及其任何组合，有或没有批量归一化;（2）条件下的emph {梯度独立性假设} - 反向传播中的权重可以假定为与前向传递中的权重无关 - 导致梯度动态的正确计算，而不能进行校正; （3）神经切线核的收敛性，这是最近提出的用于在梯度下降中预测神经网络的训练动态的核，在（1）无划分归一化的所有架构的初始化中。在数学上，我们的框架足够通用，可以产生经典随机矩阵结果，如半圆和马丘科 - 帕斯特定律，以及神经网络Jacobiansingular值的最新结果。我们希望我们的工作开辟了设计更强大的高斯过程，初始化方案以避免梯度爆炸/消失，以及更深入地理解现代建筑中的SGD动力学的方法。
translated by 谷歌翻译
替换盒（S-box）是经常用于加密算法设计的非线性对象。高质量S盒的设计是一个令人感兴趣的问题，引起了很多关注。近年来已经进行了许多尝试以使用启发式方法来设计S盒，但结果远远不同于先前已知的最佳获得的S盒。不幸的是，大部分努力都用于探索不同的算法和适应度函数，同时很少注意理解为什么这个问题难以启发。在本文中，我们进行健身景观分析，以更好地理解为什么这个问题很难解决。除此之外，我们发现几乎每个初始起点都有自己的局部最优，尽管网络高度互联。
translated by 谷歌翻译
深度神经网络模型最初受到神经生物学的启发，已成为机器学习和人工智能的强大工具，通过学习示例，它们可用于近似函数和动力学。在这里，我们简要介绍神经网络模型和生物学家的深度学习。我们介绍了前馈和循环网络，并解释了这种建模框架的表现力和用于设置参数的反向传播算法。最后，我们考虑深度神经网络可以帮助我们理解大脑的计算。
translated by 谷歌翻译