简单的动态模型可以在大型网络中产生复杂的行为。这些行为通常可以在由网络网络捕获的各种物理系统中观察到。在这里，我们描述了一种现象，其中尺寸自始终产生由于动力学不稳定性而产生的力场。这可以被理解为在有效潜力的最小值之间的不稳定（“隆隆声”）隧道机构。我们将该集体和非触发效果成为“Lyapunov力”，即使完整系统具有与系统尺寸指数呈指数呈指数呈指数增长的均衡点的星座，使系统朝向全局最小的潜在功能。我们研究的系统具有简单的映射到流量网络，其等于电流驱动的映像器。该机制在纳米级物理学中对其物理相关性进行了吸引力，以及在优化中可能的应用，新颖的蒙特卡罗方案和机器学习。
translated by 谷歌翻译
我们通过投影仪操作员研究较大尺寸的连续动态系统的嵌入。我们称这种技术PED，动态系统的投影嵌入，因为动态的稳定固定点通过从较高尺寸空间的投影回收。在本文中，我们提供了一种通用定义，并证明对于特定类型的Rank-1的投影仪操作者，均匀的平均场投影仪，运动方程成为动态系统的平均场逼近。虽然一般来说，嵌入取决于指定的变量排序，但对于均匀平均字段投影仪而不是真的。此外，我们证明原始稳定的固定点保持稳定的动态的定点，鞍点保持鞍座，但不稳定的固定点变成马鞍。
translated by 谷歌翻译
经常性神经网络（RNNS）是强大的动态模型，广泛用于机器学习（ML）和神经科学。之前的理论作品集中在具有添加剂相互作用的RNN上。然而，门控 - 即乘法 - 相互作用在真神经元中普遍存在，并且也是ML中最佳性能RNN的中心特征。在这里，我们表明Gating提供灵活地控制集体动态的两个突出特征：i）时间尺寸和ii）维度。栅极控制时间尺度导致新颖的稳定状态，网络用作灵活积分器。与以前的方法不同，Gating允许这种重要功能而没有参数微调或特殊对称。门还提供一种灵活的上下文相关机制来重置存储器跟踪，从而补充存储器功能。调制维度的栅极可以诱导新颖的不连续的混沌转变，其中输入将稳定的系统推向强的混沌活动，与通常稳定的输入效果相比。在这种转变之上，与添加剂RNN不同，关键点（拓扑复杂性）的增殖与混沌动力学的外观解耦（动态复杂性）。丰富的动态总结在相图中，从而为ML从业者提供了一个原理参数初始化选择的地图。
translated by 谷歌翻译
在随机抽样方法中，马尔可夫链蒙特卡洛算法是最重要的。在随机行走都市方案中，我们利用分析方法和数值方法的结合研究了它们的收敛性能。我们表明，偏离目标稳态分布的偏差特征是定位过渡的函数，这是定义随机步行的尝试跳跃的特征长度。该过渡大大改变了误差，而误差是通过不完整的收敛引入的，并区分了两个方案，其中弛豫机制分别受扩散和排斥分别受到限制。
translated by 谷歌翻译
深度学习的概括分析通常假定训练会收敛到固定点。但是，最近的结果表明，实际上，用随机梯度下降优化的深神经网络的权重通常无限期振荡。为了减少理论和实践之间的这种差异，本文着重于神经网络的概括，其训练动力不一定会融合到固定点。我们的主要贡献是提出一个统计算法稳定性（SAS）的概念，该算法将经典算法稳定性扩展到非convergergent算法并研究其与泛化的联系。与传统的优化和学习理论观点相比，这种崇高的理论方法可导致新的见解。我们证明，学习算法的时间复杂行为的稳定性与其泛化有关，并在经验上证明了损失动力学如何为概括性能提供线索。我们的发现提供了证据表明，即使训练无限期继续并且权重也不会融合，即使训练持续进行训练，训练更好地概括”的网络也是如此。
translated by 谷歌翻译
具有复发性不对称耦合的神经网络对于了解如何在大脑中编码情节记忆很重要。在这里，我们将广泛的突触整合窗口的实验性观察整合到连续时间动力学中的序列检索模型中。理论上通过得出神经动力学中的雅可比矩阵的随机基质理论来研究具有非正态神经元相互作用的模型。这些光谱具有几个不同的特征，例如围绕原点的旋转对称性以及光谱边界内嵌套空隙的出现。因此，光谱密度高度不均匀地分布在复杂平面中。随机矩阵理论还可以预测过渡到混乱。特别是，混乱的边缘为记忆的顺序检索提供了计算益处。我们的工作提供了与任意时间延迟的时间隔离相关性的系统研究，因此可以激发对广泛记忆模型的未来研究，甚至可以激发生物学时间序列的大数据分析。
translated by 谷歌翻译
Despite the widespread practical success of deep learning methods, our theoretical understanding of the dynamics of learning in deep neural networks remains quite sparse. We attempt to bridge the gap between the theory and practice of deep learning by systematically analyzing learning dynamics for the restricted case of deep linear neural networks. Despite the linearity of their input-output map, such networks have nonlinear gradient descent dynamics on weights that change with the addition of each new hidden layer. We
translated by 谷歌翻译
我们开发了一种多尺度方法，以从实验或模拟中观察到的物理字段或配置的数据集估算高维概率分布。通过这种方式，我们可以估计能量功能（或哈密顿量），并有效地在从统计物理学到宇宙学的各个领域中生成多体系统的新样本。我们的方法 - 小波条件重新归一化组（WC-RG） - 按比例进行估算，以估算由粗粒磁场来调节的“快速自由度”的条件概率的模型。这些概率分布是由与比例相互作用相关的能量函数建模的，并以正交小波为基础表示。 WC-RG将微观能量函数分解为各个尺度上的相互作用能量之和，并可以通过从粗尺度到细度来有效地生成新样品。近相变，它避免了直接估计和采样算法的“临界减速”。理论上通过结合RG和小波理论的结果来解释这一点，并为高斯和$ \ varphi^4 $字段理论进行数值验证。我们表明，多尺度WC-RG基于能量的模型比局部电位模型更通用，并且可以在所有长度尺度上捕获复杂的多体相互作用系统的物理。这是针对反映宇宙学中暗物质分布的弱透镜镜头的，其中包括与长尾概率分布的长距离相互作用。 WC-RG在非平衡系统中具有大量的潜在应用，其中未知基础分布{\ it先验}。最后，我们讨论了WC-RG和深层网络体系结构之间的联系。
translated by 谷歌翻译
我们介绍了一个名为统计信息的神经网络（SINN）的机器学习框架，用于从数据中学习随机动力学。从理论上讲，这种新的架构是受到随机系统的通用近似定理的启发，我们在本文中介绍了它，以及用于随机建模的投影手术形式。我们设计了训练神经网络模型的机制，以重现目标随机过程的正确\ emph {统计}行为。数值模拟结果表明，受过良好训练的SINN可以可靠地近似马尔可夫和非马克维亚随机动力学。我们证明了SINN对粗粒问题和过渡动力学的建模的适用性。此外，我们表明可以在时间粗粒的数据上训练所获得的减少阶模型，因此非常适合稀有事实模拟。
translated by 谷歌翻译
储层计算是一种使用高维动力系统或\ emph {Reservoir}的机器学习范式，以近似和预测时间序列数据。可以通过从电子电路中构造储层来增强储层计算机的规模，速度和功率使用，并且一些实验研究证明了这一方向的希望。但是，设计质量储层需要精确理解此类电路如何处理和存储信息。我们分析了包括线性元件（电阻器，电感器和电容器）和称为MEMRISTOR的非线性记忆元件的电子储层的可行性和最佳设计。我们提供了有关这些储层的可行性的分析结果，并通过检查它们可以近似的输入输出关系的类型来对其计算属性进行系统的表征。这使我们能够设计具有最佳属性的储层。通过引入储层的总线性和非线性计算能力的衡量标准，我们能够设计其总计算能力随系统尺寸广泛规模的电子电路。我们的电子储层可以以可能直接在硬件中实现的形式匹配或超过常规“ Echo State Network”储层的性能。
translated by 谷歌翻译
量子哈密顿学习和量子吉布斯采样的双重任务与物理和化学中的许多重要问题有关。在低温方案中，这些任务的算法通常会遭受施状能力，例如因样本或时间复杂性差而遭受。为了解决此类韧性，我们将量子自然梯度下降的概括引入了参数化的混合状态，并提供了稳健的一阶近似算法，即量子 - 固定镜下降。我们使用信息几何学和量子计量学的工具证明了双重任务的数据样本效率，因此首次将经典Fisher效率的开创性结果推广到变异量子算法。我们的方法扩展了以前样品有效的技术，以允许模型选择的灵活性，包括基于量子汉密尔顿的量子模型，包括基于量子的模型，这些模型可能会规避棘手的时间复杂性。我们的一阶算法是使用经典镜下降二元性的新型量子概括得出的。两种结果都需要特殊的度量选择，即Bogoliubov-Kubo-Mori度量。为了从数值上测试我们提出的算法，我们将它们的性能与现有基准进行了关于横向场ISING模型的量子Gibbs采样任务的现有基准。最后，我们提出了一种初始化策略，利用几何局部性来建模状态的序列（例如量子 - 故事过程）的序列。我们从经验上证明了它在实际和想象的时间演化的经验上，同时定义了更广泛的潜在应用。
translated by 谷歌翻译
In my previous article I mentioned for the first time that a classical neural network may have quantum properties as its own structure may be entangled. The question one may ask now is whether such a quantum property can be used to entangle other systems? The answer should be yes, as shown in what follows.
translated by 谷歌翻译
我们开发一种方法来构造来自表示基本上非线性（或不可连锁的）动态系统的数据集构成低维预测模型，其中具有由有限许多频率的外部强制进行外部矫正的双曲线线性部分。我们的数据驱动，稀疏，非线性模型获得为低维，吸引动力系统的光谱子纤维（SSM）的降低的动态的延长正常形式。我们说明了数据驱动的SSM降低了高维数值数据集的功率和涉及梁振荡，涡旋脱落和水箱中的晃动的实验测量。我们发现，在未加工的数据上培训的SSM减少也在额外的外部强制下准确预测非线性响应。
translated by 谷歌翻译
本文介绍了使用LangeVin方法的市场回报的非线性动态的易嬗变模型。由于相互作用潜力的非线性，模型承认小型和大返回波动的制度。 Langevin Dynamics映射到等效量子机械（QM）系统上。从超对称量子力学（SUSY QM）的借用思路，该QM系统的参数化地态波函数（WF）用作模型的直接输入，也可以解决非线性Langevin电位。使用双组分高斯混合物作为具有非对称双阱潜力的地态WF，产生具有可解释参数的易解的低参数模型，称为NES（非平衡偏斜）模型。然后使用基于对称的方式以分析易行的方式查找模型的时间依赖性解。附加近似值引起了NES模型的最终实际版本，其中实际测量和风险中性返回分布由三个组件高斯混合给出。这在NES模型中，通过三个黑人价格的混合产生了封闭形式的近似，以便为良性或良好的市场环境的选择价格提供准确的校准，同时仅使用单个波动性参数。这些结果与诸如局部，随机或粗糙的波动模型等大多数其他选项定价模型的鲜明对比，需要更复杂的噪声规格来适应市场数据。
translated by 谷歌翻译
我们考虑受限制的Boltzmann机器（RBMS）在非结构化的数据集上培训，由虚构的数据集进行，该数据集由明确的模糊但不可用的“原型”，我们表明，RBM可以学习原型的临界样本大小，即机器可以成功播放作为一种生成模型或作为分类器，根据操作程序。通常，评估关键的样本大小（可能与数据集的质量相关）仍然是机器学习中的一个开放问题。在这里，限制随机理论，其中浅网络就足够了，大母细胞场景是正确的，我们利用RBM和Hopfield网络之间的正式等价，以获得突出区域中突出区域的神经架构的相图控制参数（即，原型的数量，训练集的训练集的神经元数量，大小和质量的数量），其中可以实现学习。我们的调查是通过基于无序系统的统计学机械的分析方法领导的，结果通过广泛的蒙特卡罗模拟进一步证实。
translated by 谷歌翻译
经典算法通常对于解决非障碍最小值的非凸优化问题通常无效。在本文中，我们通过利用量子隧道的全局效应来探讨非凸优化的量子加速。具体而言，我们引入了一种称为量子隧道步行（QTW）的量子算法，并将其应用于局部最小值大约全局最小值的非凸问题。我们表明，当不同局部最小值较高但薄且最小值平坦时，QTW在经典随机梯度下降（SGD）上实现了量子加速。基于此观察结果，我们构建了一个特定的双孔景观，其中经典算法无法有效地击中一个目标，但是QTW可以在已知井附近提供适当的初始状态时可以很好地击中一个目标。最后，我们通过数值实验证实了我们的发现。
translated by 谷歌翻译
优化在离散变量上的高度复杂的成本/能源功能是不同科学学科和行业的许多公开问题的核心。一个主要障碍是在硬实例中的某些变量子集之间的出现，导致临界减慢或集体冻结了已知的随机本地搜索策略。通常需要指数计算工作来解冻这种变量，并探索配置空间的其他看不见的区域。在这里，我们通过开发自适应梯度的策略来介绍一个量子启发的非本球非识别蒙特卡罗（NMC）算法，可以有效地学习成本函数的关键实例的几何特征。该信息随行使用，以构造空间不均匀的热波动，用于以各种长度尺度集体未填充变量，规避昂贵的勘探与开发权衡。我们将算法应用于两个最具挑战性的组合优化问题：随机k可满足（K-SAT）附近计算阶段转换和二次分配问题（QAP）。我们在专业的确定性求解器和通用随机求解器上观察到显着的加速和鲁棒性。特别是，对于90％的随机4-SAT实例，我们发现了最佳专用确定性算法无法访问的解决方案，该算法（SP）具有最强的10％实例的解决方案质量的大小提高。我们还通过最先进的通用随机求解器（APT）显示出在最先进的通用随机求解器（APT）上的时间到溶液的两个数量级改善。
translated by 谷歌翻译
FIG. 1. Schematic diagram of a Variational Quantum Algorithm (VQA). The inputs to a VQA are: a cost function C(θ), with θ a set of parameters that encodes the solution to the problem, an ansatz whose parameters are trained to minimize the cost, and (possibly) a set of training data {ρ k } used during the optimization. Here, the cost can often be expressed in the form in Eq. ( 3), for some set of functions {f k }. Also, the ansatz is shown as a parameterized quantum circuit (on the left), which is analogous to a neural network (also shown schematically on the right). At each iteration of the loop one uses a quantum computer to efficiently estimate the cost (or its gradients). This information is fed into a classical computer that leverages the power of optimizers to navigate the cost landscape C(θ) and solve the optimization problem in Eq. ( 1). Once a termination condition is met, the VQA outputs an estimate of the solution to the problem. The form of the output depends on the precise task at hand. The red box indicates some of the most common types of outputs.
translated by 谷歌翻译
非线性自适应控制理论中的一个关键假设是系统的不确定性可以在一组已知基本函数的线性跨度中表示。虽然该假设导致有效的算法，但它将应用限制为非常特定的系统类别。我们介绍一种新的非参数自适应算法，其在参数上学习无限尺寸密度，以取消再现内核希尔伯特空间中的未知干扰。令人惊讶的是，所产生的控制输入承认，尽管其底层无限尺寸结构，但是尽管它的潜在无限尺寸结构实现了其实施的分析表达。虽然这种自适应输入具有丰富和富有敏感性的 - 例如，传统的线性参数化 - 其计算复杂性随时间线性增长，使其比其参数对应力相对较高。利用随机傅里叶特征的理论，我们提供了一种有效的随机实现，该实现恢复了经典参数方法的复杂性，同时可透明地保留非参数输入的表征性。特别地，我们的显式范围仅取决于系统的基础参数，允许我们所提出的算法有效地缩放到高维系统。作为该方法的说明，我们展示了随机近似算法学习由牛顿重力交互的十点批量组成的60维系统的预测模型的能力。
translated by 谷歌翻译
我们研究了重整化组（RG）和深神经网络之间的类比，其中随后的神经元层类似于沿RG的连续步骤。特别地，我们通过在抽取RG下明确计算在DIMIMATION RG下的一个和二维insing模型中的相对熵或kullback-leibler发散，以及作为深度的函数的前馈神经网络中的相对熵或kullback-leibler发散。我们观察到单调增加到参数依赖性渐近值的定性相同的行为。在量子场理论方面，单调增加证实了相对熵和C定理之间的连接。对于神经网络，渐近行为可能对机器学习中的各种信息最大化方法以及解开紧凑性和概括性具有影响。此外，虽然我们考虑的二维误操作模型和随机神经网络都表现出非差异临界点，但是对任何系统的相位结构的相对熵看起来不敏感。从这个意义上讲，需要更精细的探针以充分阐明这些模型中的信息流。
translated by 谷歌翻译