具有复发性不对称耦合的神经网络对于了解如何在大脑中编码情节记忆很重要。在这里，我们将广泛的突触整合窗口的实验性观察整合到连续时间动力学中的序列检索模型中。理论上通过得出神经动力学中的雅可比矩阵的随机基质理论来研究具有非正态神经元相互作用的模型。这些光谱具有几个不同的特征，例如围绕原点的旋转对称性以及光谱边界内嵌套空隙的出现。因此，光谱密度高度不均匀地分布在复杂平面中。随机矩阵理论还可以预测过渡到混乱。特别是，混乱的边缘为记忆的顺序检索提供了计算益处。我们的工作提供了与任意时间延迟的时间隔离相关性的系统研究，因此可以激发对广泛记忆模型的未来研究，甚至可以激发生物学时间序列的大数据分析。
translated by 谷歌翻译
经常性神经网络（RNNS）是强大的动态模型，广泛用于机器学习（ML）和神经科学。之前的理论作品集中在具有添加剂相互作用的RNN上。然而，门控 - 即乘法 - 相互作用在真神经元中普遍存在，并且也是ML中最佳性能RNN的中心特征。在这里，我们表明Gating提供灵活地控制集体动态的两个突出特征：i）时间尺寸和ii）维度。栅极控制时间尺度导致新颖的稳定状态，网络用作灵活积分器。与以前的方法不同，Gating允许这种重要功能而没有参数微调或特殊对称。门还提供一种灵活的上下文相关机制来重置存储器跟踪，从而补充存储器功能。调制维度的栅极可以诱导新颖的不连续的混沌转变，其中输入将稳定的系统推向强的混沌活动，与通常稳定的输入效果相比。在这种转变之上，与添加剂RNN不同，关键点（拓扑复杂性）的增殖与混沌动力学的外观解耦（动态复杂性）。丰富的动态总结在相图中，从而为ML从业者提供了一个原理参数初始化选择的地图。
translated by 谷歌翻译
我们考虑受限制的Boltzmann机器（RBMS）在非结构化的数据集上培训，由虚构的数据集进行，该数据集由明确的模糊但不可用的“原型”，我们表明，RBM可以学习原型的临界样本大小，即机器可以成功播放作为一种生成模型或作为分类器，根据操作程序。通常，评估关键的样本大小（可能与数据集的质量相关）仍然是机器学习中的一个开放问题。在这里，限制随机理论，其中浅网络就足够了，大母细胞场景是正确的，我们利用RBM和Hopfield网络之间的正式等价，以获得突出区域中突出区域的神经架构的相图控制参数（即，原型的数量，训练集的训练集的神经元数量，大小和质量的数量），其中可以实现学习。我们的调查是通过基于无序系统的统计学机械的分析方法领导的，结果通过广泛的蒙特卡罗模拟进一步证实。
translated by 谷歌翻译
在随机抽样方法中，马尔可夫链蒙特卡洛算法是最重要的。在随机行走都市方案中，我们利用分析方法和数值方法的结合研究了它们的收敛性能。我们表明，偏离目标稳态分布的偏差特征是定位过渡的函数，这是定义随机步行的尝试跳跃的特征长度。该过渡大大改变了误差，而误差是通过不完整的收敛引入的，并区分了两个方案，其中弛豫机制分别受扩散和排斥分别受到限制。
translated by 谷歌翻译
我们认为越来越复杂的矩阵去噪和贝叶斯最佳设置中的文章学习模型，在挑战性的政权中，在矩阵推断出与系统尺寸线性的排名增加。这与大多数现有的文献相比，与低秩（即常数级别）制度相关的文献相反。我们首先考虑一类旋转不变的矩阵去噪，使用来自随机矩阵理论的标准技术来计算的互动信息和最小均方误差。接下来，我们分析了字典学习的更具挑战性模式。为此，我们将复制方法与随机矩阵理论一起介绍了复制品方法的新组合，共同矩阵理论，Coined光谱副本方法。它允许我们猜测隐藏表示与字典学习问题的嘈杂数据之间的相互信息的变分形式，以及定量最佳重建误差的重叠。所提出的方法从$ \ theta（n ^ 2）$（矩阵条目）到$ \ theta（n）$（特征值或奇异值）减少自由度的数量，并产生的互信息的库仑气体表示让人想起物理学中的矩阵模型。主要成分是使用Harishchandra-Itzykson-Zuber球形积分，结合新的复制对称解耦Ansatz，在特定重叠矩阵的特征值（或奇异值）的概率分布的水平上。
translated by 谷歌翻译
深神经网络（DNN）是用于压缩和蒸馏信息的强大工具。由于它们的规模和复杂性，通常涉及数十亿间相互作用的内部自由度，精确分析方法通常会缩短。这种情况下的共同策略是识别平均潜在的快速微观变量的不稳定行为的缓慢自由度。在这里，我们在训练结束时识别在过度参数化的深卷积神经网络（CNNS）中发生的尺度的分离。它意味着神经元预激活与几乎高斯的方式与确定性潜在内核一起波动。在对于具有无限许多频道的CNN来说，这些内核是惰性的，对于有限的CNNS，它们以分析的方式通过数据适应和学习数据。由此产生的深度学习的热力学理论产生了几种深度非线性CNN玩具模型的准确预测。此外，它还提供了新的分析和理解CNN的方法。
translated by 谷歌翻译
我们通过投影仪操作员研究较大尺寸的连续动态系统的嵌入。我们称这种技术PED，动态系统的投影嵌入，因为动态的稳定固定点通过从较高尺寸空间的投影回收。在本文中，我们提供了一种通用定义，并证明对于特定类型的Rank-1的投影仪操作者，均匀的平均场投影仪，运动方程成为动态系统的平均场逼近。虽然一般来说，嵌入取决于指定的变量排序，但对于均匀平均字段投影仪而不是真的。此外，我们证明原始稳定的固定点保持稳定的动态的定点，鞍点保持鞍座，但不稳定的固定点变成马鞍。
translated by 谷歌翻译
二元erceptron是非凸优化的监督学习的基本模型，这是流行深度学习的根源。二进制Perceptron能够通过计算二进制突触的边际概率来实现随机高维数据的分类。算法不稳定性与模型的平衡分析之间的关系仍然难以捉摸。这里，我们通过表明算法定点周围的不稳定性条件与用于打破自由能量功能的副本对称鞍点解决方案的不稳定性相同的关系来建立关系。因此，我们的分析提供了促进促进更复杂的神经网络的非凸学学习动态和统计力学特性之间的差距的见解。
translated by 谷歌翻译
我们研究了重整化组（RG）和深神经网络之间的类比，其中随后的神经元层类似于沿RG的连续步骤。特别地，我们通过在抽取RG下明确计算在DIMIMATION RG下的一个和二维insing模型中的相对熵或kullback-leibler发散，以及作为深度的函数的前馈神经网络中的相对熵或kullback-leibler发散。我们观察到单调增加到参数依赖性渐近值的定性相同的行为。在量子场理论方面，单调增加证实了相对熵和C定理之间的连接。对于神经网络，渐近行为可能对机器学习中的各种信息最大化方法以及解开紧凑性和概括性具有影响。此外，虽然我们考虑的二维误操作模型和随机神经网络都表现出非差异临界点，但是对任何系统的相位结构的相对熵看起来不敏感。从这个意义上讲，需要更精细的探针以充分阐明这些模型中的信息流。
translated by 谷歌翻译
在神经网络的文献中，Hebbian学习传统上是指Hopfield模型及其概括存储原型的程序（即仅经历过一次形成突触矩阵的确定模式）。但是，机器学习中的“学习”一词是指机器从提供的数据集中提取功能的能力（例如，由这些原型的模糊示例制成），以制作自己的不可用原型的代表。在这里，给定一个示例示例，我们定义了一个有监督的学习协议，通过该协议可以通过该协议来推断原型，并检测到正确的控制参数（包括数据集的大小和质量）以描绘系统性能的相图。我们还证明，对于无结构数据集，配备了该监督学习规则的Hopfield模型等同于受限的Boltzmann机器，这表明了最佳且可解释的培训例程。最后，这种方法被推广到结构化的数据集：我们在分析的数据集中突出显示了一个准剥离组织（让人联想到复制对称性 - 对称性），因此，我们为其（部分）分开，为其（部分）删除层引入了一个附加的“复制性隐藏层”，该证明可以将MNIST分类从75％提高到95％，并提供有关深度体系结构的新观点。
translated by 谷歌翻译
我们介绍了一种确定全局特征解耦的方法，并显示其适用于提高数据分析性能的适用性，并开放了新的场所以进行功能传输。我们提出了一种新的形式主义，该形式主义是基于沿特征梯度遵循轨迹来定义对子曼群的转换的。通过这些转换，我们定义了一个归一化，我们证明，它允许解耦可区分的特征。通过将其应用于采样矩，我们获得了用于正骨的准分析溶液，正尾肌肉是峰度的归一化版本，不仅与平均值和方差相关，而且还与偏度相关。我们将此方法应用于原始数据域和过滤器库的输出中，以基于全局描述符的回归和分类问题，与使用经典（未删除）描述符相比，性能得到一致且显着的改进。
translated by 谷歌翻译
我们开发了一种多尺度方法，以从实验或模拟中观察到的物理字段或配置的数据集估算高维概率分布。通过这种方式，我们可以估计能量功能（或哈密顿量），并有效地在从统计物理学到宇宙学的各个领域中生成多体系统的新样本。我们的方法 - 小波条件重新归一化组（WC-RG） - 按比例进行估算，以估算由粗粒磁场来调节的“快速自由度”的条件概率的模型。这些概率分布是由与比例相互作用相关的能量函数建模的，并以正交小波为基础表示。 WC-RG将微观能量函数分解为各个尺度上的相互作用能量之和，并可以通过从粗尺度到细度来有效地生成新样品。近相变，它避免了直接估计和采样算法的“临界减速”。理论上通过结合RG和小波理论的结果来解释这一点，并为高斯和$ \ varphi^4 $字段理论进行数值验证。我们表明，多尺度WC-RG基于能量的模型比局部电位模型更通用，并且可以在所有长度尺度上捕获复杂的多体相互作用系统的物理。这是针对反映宇宙学中暗物质分布的弱透镜镜头的，其中包括与长尾概率分布的长距离相互作用。 WC-RG在非平衡系统中具有大量的潜在应用，其中未知基础分布{\ it先验}。最后，我们讨论了WC-RG和深层网络体系结构之间的联系。
translated by 谷歌翻译
简单的动态模型可以在大型网络中产生复杂的行为。这些行为通常可以在由网络网络捕获的各种物理系统中观察到。在这里，我们描述了一种现象，其中尺寸自始终产生由于动力学不稳定性而产生的力场。这可以被理解为在有效潜力的最小值之间的不稳定（“隆隆声”）隧道机构。我们将该集体和非触发效果成为“Lyapunov力”，即使完整系统具有与系统尺寸指数呈指数呈指数呈指数增长的均衡点的星座，使系统朝向全局最小的潜在功能。我们研究的系统具有简单的映射到流量网络，其等于电流驱动的映像器。该机制在纳米级物理学中对其物理相关性进行了吸引力，以及在优化中可能的应用，新颖的蒙特卡罗方案和机器学习。
translated by 谷歌翻译
Despite the widespread practical success of deep learning methods, our theoretical understanding of the dynamics of learning in deep neural networks remains quite sparse. We attempt to bridge the gap between the theory and practice of deep learning by systematically analyzing learning dynamics for the restricted case of deep linear neural networks. Despite the linearity of their input-output map, such networks have nonlinear gradient descent dynamics on weights that change with the addition of each new hidden layer. We
translated by 谷歌翻译
备忘录是一种非线性的两端电气元件，具有内存特征和纳米级特性，使我们能够设计出非常高密度的人工神经网络。为了增强内存属性，我们应该使用能够这样做的数学框架等数学框架。在这里，我们首先提出了两个神经元上的分数阶突触耦合Hopfield神经网络，然后将模型扩展到具有环形结构的神经网络，该神经网络由N子网络神经元组成，从而增加了网络中的同步。研究了平衡点稳定性的必要条件，突出了稳定性对分数值值和神经元数的依赖性。数值模拟和分叉分析以及Lyapunov指数在两种神经元的情况下进行了证实，该情况证实了理论发现，表明当系统的分数增加时，可能会导致混乱的途径。在N-Neuron情况下，据揭示了稳定性取决于子网络的结构和数量。
translated by 谷歌翻译
计算科学和统计推断中的许多应用都需要计算有关具有未知归一化常数的复杂高维分布以及这些常数的估计。在这里，我们开发了一种基于从简单的基本分布生成样品，沿着速度场生成的流量运输的方法，并沿这些流程线执行平均值。这种非平衡重要性采样（NEIS）策略是直接实施的，可用于具有任意目标分布的计算。在理论方面，我们讨论了如何将速度场定制到目标，并建立所提出的估计器是一个完美的估计器，具有零变化。我们还通过将基本分布映射到目标上，通过传输图绘制了NEIS和方法之间的连接。在计算方面，我们展示了如何使用深度学习来代表神经网络，并将其训练为零方差最佳。这些结果在高维示例上进行了数值说明，我们表明训练速度场可以将NEIS估计量的方差降低至6个数量级，而不是Vanilla估计量。我们还表明，NEIS在这些示例上的表现要比NEAL的退火重要性采样（AIS）更好。
translated by 谷歌翻译
最近在J. Math中引入的分配流程。成像和视觉58/2（2017）构成了一种高维动态系统，其在基本统计歧管上发展，并执行任何度量空间中给出的数据的上下文标记（分类）。给定图形的顶点索引数据点并定义邻域的系统。这些邻域与非负重量参数一起定义标签分配的演变的正则化，通过由信息几何的仿射电子连接引起的几何平均来定义对数据点的数量。关于进化游戏动态，分配流程可以被称为由几何平均耦合的复制器方程的大型系统。本文在重量参数上建立了保证连续时间分配流程的重量参数（标签）的融合，最多可忽略不计在实际数据的实际数据时不会遇到的情况。此外，我们对流动的吸引子分类并量化相应的吸引力盆地。这为分配流提供了会聚保证，该分配流程扩展到不同时间分配流程，这些流量是应用跑步-Kutta-munthe-KAAS方案的用于分配流的数值几何集成。若干反作用例说明违反条件可能需要关于上下文数据分类的分配流的不利行为。
translated by 谷歌翻译
神经网络是高维非线性动力学系统，通过许多相互连接的单元的协调活动来处理信息。了解生物学和机器学习网络的功能和学习如何需要了解这种协调活动的结构，该信息包含在单元之间的跨跨构象中的信息。尽管动态平均场理论（DMFT）阐明了随机神经网络的几个特征，特别是它们可以产生混乱活动，但现有的DMFT方法不支持跨跨化的计算。我们通过通过两点腔法扩展DMFT方法来解决这个长期存在的问题。这首先揭示了活动协调的几个空间和时间特征，包括有效维度，定义为协方差矩阵频谱的参与率。我们的结果提供了一个一般的分析框架，用于研究随机神经网络中集体活动的结构，更广泛地，在具有猝灭障碍的高维非线性动力学系统中。
translated by 谷歌翻译
众所周知，HEBB的学习探索了帕夫洛夫的古典条件，而前者在过去几十年中进行了广泛的建模（例如，通过Hopfield模型和无数的主题变化），因为后者的建模在很大程度上保持了很大的含糊状态。远的;此外，完全缺乏这两个支柱之间的桥梁。实现该目标的主要困难置于所涉及的信息的本质上不同的范围：帕夫洛夫的理论是关于\ emph {concepts}之间的相关性（动态地）存储在突触矩阵中，这是由狗和一个戒指主演的著名实验所体现的钟;相反，HEBB的理论是关于相邻神经元对之间的相关性，如著名的陈述{\ em神经元一起发射汇合的}所总结。在本文中，我们依靠随机过程理论以及通过langevin方程进行神经和突触动力学模型，以证明 - 只要我们保持神经元和突触的时间表的大量分裂，Pavlov机制就会自发地发生并最终产生至恢复Hebbian内核的突触重量。
translated by 谷歌翻译
Koopman运算符是无限维的运算符，可全球线性化非线性动态系统，使其光谱信息可用于理解动态。然而，Koopman运算符可以具有连续的光谱和无限维度的子空间，使得它们的光谱信息提供相当大的挑战。本文介绍了具有严格融合的数据驱动算法，用于从轨迹数据计算Koopman运算符的频谱信息。我们引入了残余动态模式分解（ResDMD），它提供了第一种用于计算普通Koopman运算符的Spectra和PseudtoStra的第一种方案，无需光谱污染。使用解析器操作员和RESDMD，我们还计算与测量保存动态系统相关的光谱度量的平滑近似。我们证明了我们的算法的显式收敛定理，即使计算连续频谱和离散频谱的密度，也可以实现高阶收敛即使是混沌系统。我们展示了在帐篷地图，高斯迭代地图，非线性摆，双摆，洛伦茨系统和11美元延长洛伦兹系统的算法。最后，我们为具有高维状态空间的动态系统提供了我们的算法的核化变体。这使我们能够计算与具有20,046维状态空间的蛋白质分子的动态相关的光谱度量，并计算出湍流流过空气的误差界限的非线性Koopman模式，其具有雷诺数为$> 10 ^ 5 $。一个295,122维的状态空间。
translated by 谷歌翻译