当前的深度神经网络被高度参数化（多达数十亿个连接权重）和非线性。然而，它们几乎可以通过梯度下降算法的变体完美地拟合数据，并达到预测准确性的意外水平，而不会过度拟合。这些是巨大的结果，无视统计学习的预测，并对非凸优化构成概念性挑战。在本文中，我们使用来自无序系统的统计物理学的方法来分析非凸二进制二进制神经网络模型中过度参数化的计算后果，该模型对从结构上更简单但“隐藏”网络产生的数据进行了培训。随着连接权重的增加，我们遵循误差损失函数不同最小值的几何结构的变化，并将其与学习和概括性能相关联。当解决方案开始存在时，第一次过渡发生在所谓的插值点（完美拟合变得可能）。这种过渡反映了典型溶液的特性，但是它是尖锐的最小值，难以采样。差距后，发生了第二个过渡，并具有不同类型的“非典型”结构的不连续外观：重量空间的宽区域，这些区域特别是解决方案密度且具有良好的泛化特性。两种解决方案共存，典型的解决方案的呈指数数量，但是从经验上讲，我们发现有效的算法采样了非典型，稀有的算法。这表明非典型相变是学习的相关阶段。与该理论建议的可观察到的现实网络的数值测试结果与这种情况一致。

深度学习的成功揭示了神经网络对整个科学的应用潜力，并开辟了基本的理论问题。特别地，基于梯度方法的简单变体的学习算法能够找到高度非凸损函数的近最佳最佳最小值，是神经网络的意外特征。此外，这种算法即使在存在噪声的情况下也能够适合数据，但它们具有出色的预测能力。若干经验结果表明了通过算法实现的最小值的所谓平坦度与概括性性能之间的可再现相关性。同时，统计物理结果表明，在非透露网络中，多个窄的最小值可能与较少数量的宽扁平最小值共存，这概括了很好。在这里，我们表明，从“高边缘”（即局部稳健的）配置，从最小值的聚结会出现宽平坦的结构。尽管与零保证金相比具有呈指数稀有的稀有性，但高利润最小值倾向于集中在特定地区。这些最小值又被较小且较小的边距的其他解决方案包围，导致长距离的溶液区域密集。我们的分析还提供了一种替代分析方法，用于估计扁平最小值，当算法开始找到解决方案时，随着模型参数的数量变化。

在神经网络的经验风险景观中扁平最小值的性质已经讨论了一段时间。越来越多的证据表明他们对尖锐物质具有更好的泛化能力。首先，我们讨论高斯混合分类模型，并分析显示存在贝叶斯最佳点估算器，其对应于属于宽平区域的最小值。可以通过直接在分类器（通常是独立的）或学习中使用的可分解损耗函数上应用最大平坦度算法来找到这些估计器。接下来，我们通过广泛的数值验证将分析扩展到深度学习场景。使用两种算法，熵-SGD和复制-SGD，明确地包括在优化目标中，所谓的非局部平整度措施称为本地熵，我们一直提高常见架构的泛化误差（例如Resnet，CeffectnNet）。易于计算的平坦度测量显示与测试精度明确的相关性。

我们通过将其基于实现功能空间而不是参数空间的几何形状来系统地研究深度神经网络景观的方法。将分类器分组到等效类中，我们开发了一个标准化的参数化，其中所有对称性都被删除，从而导致环形拓扑。在这个空间上，我们探讨了误差景观而不是损失。这使我们能够得出有意义的概念，即最小化器的平坦度和连接它们的地球通道的概念。使用不同的优化算法，这些算法采样具有不同平坦度的最小化器，我们研究模式连接性和相对距离。测试各种最先进的体系结构和基准数据集，我们确认了平面度和泛化性能之间的相关性；我们进一步表明，在功能空间中，minima彼此更近，并且连接它们的大地测量学的屏障很小。我们还发现，通过梯度下降的变体发现的最小化器可以通过由参数空间中的两个直线组成的零误差路径连接，即带有单个弯曲的多边形链。我们观察到具有二进制权重和激活的神经网络中相似的定性结果，这为在这种情况下的连通性提供了第一个结果之一。我们的结果取决于对称性的去除，并且与对简单浅层模型进行的一些分析研究所描述的丰富现象学非常吻合。

我们考虑受限制的Boltzmann机器（RBMS）在非结构化的数据集上培训，由虚构的数据集进行，该数据集由明确的模糊但不可用的“原型”，我们表明，RBM可以学习原型的临界样本大小，即机器可以成功播放作为一种生成模型或作为分类器，根据操作程序。通常，评估关键的样本大小（可能与数据集的质量相关）仍然是机器学习中的一个开放问题。在这里，限制随机理论，其中浅网络就足够了，大母细胞场景是正确的，我们利用RBM和Hopfield网络之间的正式等价，以获得突出区域中突出区域的神经架构的相图控制参数（即，原型的数量，训练集的训练集的神经元数量，大小和质量的数量），其中可以实现学习。我们的调查是通过基于无序系统的统计学机械的分析方法领导的，结果通过广泛的蒙特卡罗模拟进一步证实。

在神经网络的文献中，Hebbian学习传统上是指Hopfield模型及其概括存储原型的程序（即仅经历过一次形成突触矩阵的确定模式）。但是，机器学习中的“学习”一词是指机器从提供的数据集中提取功能的能力（例如，由这些原型的模糊示例制成），以制作自己的不可用原型的代表。在这里，给定一个示例示例，我们定义了一个有监督的学习协议，通过该协议可以通过该协议来推断原型，并检测到正确的控制参数（包括数据集的大小和质量）以描绘系统性能的相图。我们还证明，对于无结构数据集，配备了该监督学习规则的Hopfield模型等同于受限的Boltzmann机器，这表明了最佳且可解释的培训例程。最后，这种方法被推广到结构化的数据集：我们在分析的数据集中突出显示了一个准剥离组织（让人联想到复制对称性 - 对称性），因此，我们为其（部分）分开，为其（部分）删除层引入了一个附加的“复制性隐藏层”，该证明可以将MNIST分类从75％提高到95％，并提供有关深度体系结构的新观点。

教师 - 学生模型提供了一个框架，其中可以以封闭形式描述高维监督学习的典型情况。高斯I.I.D的假设然而，可以认为典型教师 - 学生模型的输入数据可以被认为过于限制，以捕获现实数据集的行为。在本文中，我们介绍了教师和学生可以在不同的空格上行动的模型的高斯协变态概括，以固定的，而是通用的特征映射。虽然仍处于封闭形式的仍然可解决，但这种概括能够捕获广泛的现实数据集的学习曲线，从而兑现师生框架的潜力。我们的贡献是两倍：首先，我们证明了渐近培训损失和泛化误差的严格公式。其次，我们呈现了许多情况，其中模型的学习曲线捕获了使用内​​核回归和分类学习的现实数据集之一，其中盒出开箱特征映射，例如随机投影或散射变换，或者与散射变换预先学习的 - 例如通过培训多层神经网络学到的特征。我们讨论了框架的权力和局限性。

An obstacle to artificial general intelligence is set by the continual learning of multiple tasks of different nature. Recently, various heuristic tricks, both from machine learning and from neuroscience angles, were proposed, but they lack a unified theory ground. Here, we focus on the continual learning in single-layered and multi-layered neural networks of binary weights. A variational Bayesian learning setting is thus proposed, where the neural network is trained in a field-space, rather than the gradient-ill-defined discrete-weight space, and furthermore, the weight uncertainty is naturally incorporated, and modulates the synaptic resources among tasks. From a physics perspective, we translate the variational continual learning into the Franz-Parisi thermodynamic potential framework, where the previous task knowledge acts as a prior and a reference as well. Therefore, the learning performance can be analytically studied with mean-field order parameters, whose predictions coincide with the numerical experiments using stochastic gradient descent methods. Our proposed principled frameworks also connect to elastic weight consolidation, and neuroscience inspired metaplasticity, providing a theory-grounded method for the real-world multi-task learning with deep networks.

深神经网络（DNN）是用于压缩和蒸馏信息的强大工具。由于它们的规模和复杂性，通常涉及数十亿间相互作用的内部自由度，精确分析方法通常会缩短。这种情况下的共同策略是识别平均潜在的快速微观变量的不稳定行为的缓慢自由度。在这里，我们在训练结束时识别在过度参数化的深卷积神经网络（CNNS）中发生的尺度的分离。它意味着神经元预激活与几乎高斯的方式与确定性潜在内核一起波动。在对于具有无限许多频道的CNN来说，这些内核是惰性的，对于有限的CNNS，它们以分析的方式通过数据适应和学习数据。由此产生的深度学习的热力学理论产生了几种深度非线性CNN玩具模型的准确预测。此外，它还提供了新的分析和理解CNN的方法。

我们以封闭的形式分析了随机梯度下降（SGD）的学习动态，用于分类每个群集的高位高斯混合的单层神经网络，其中每个群集分配两个标签中的一个。该问题提供了具有内插制度的非凸损景观的原型和大的概括间隙。我们定义了一个特定的随机过程，其中SGD可以扩展到我们称呼随机梯度流的连续时间限制。在全批处理中，我们恢复标准梯度流。我们将动态平均场理论从统计物理应用于通过自成的随机过程跟踪高维极限中算法的动态。我们探讨了算法的性能，作为控制参数脱落灯的函数，它如何导航损耗横向。

随机梯度下降（SGD）是深度学习技术的工作主控算法。在训练阶段的每个步骤中，从训练数据集中抽取迷你样本，并且根据该特定示例子集的性能调整神经网络的权重。迷你批量采样过程将随机性动力学引入梯度下降，具有非琐碎的状态依赖性噪声。我们在原型神经网络模型中表征了SGD的随机和最近引入的变体持久性SGD。在占地面定的制度中，在最终训练误差是阳性的情况下，SGD动力学达到静止状态，我们从波动耗散定理定义了从动态平均场理论计算的波动定理的有效温度。我们使用有效温度来量化SGD噪声的幅度作为问题参数的函数。在过度参数化的制度中，在训练错误消失的情况下，我们通过计算系统的两个副本之间的平均距离来测量SGD的噪声幅度，并具有相同的初始化和两个不同的SGD噪声的实现。我们发现这两个噪声测量与问题参数的函数类似。此外，我们观察到嘈杂的算法导致相应的约束满足问题的更广泛的决策边界。

了解特征学习如何影响概括是现代深度学习理论的最重要目标之一。在这里，我们研究了学习表示的能力如何影响一类简单模型的概括性能：深贝叶斯线性神经网络接受了非结构化高斯数据的训练。通过将深层随机特征模型与所有训练所有层的深网进行比较，我们将提供详细的表征宽度，深度，数据密度和先验不匹配之间的相互作用。我们表明，在存在标签噪声的情况下，这两种模型都显示出样本的双重变化行为。如果有狭窄的瓶颈层，那么随机特征模型还可以显示模型的双重变化，而深网不显示这些分歧。随机特征模型可以具有特定的宽度，这些宽度对于在给定的数据密度下是最佳的概括，同时使神经网络尽可能宽或狭窄始终是最佳的。此外，我们表明，对内核限制学习曲线的前阶校正无法区分所有培训所有层的随机特征模型和深层网络。综上所述，我们的发现开始阐明建筑细节如何影响这种简单的深层回归模型类别的概括性能。

深度学习的概括分析通常假定训练会收敛到固定点。但是，最近的结果表明，实际上，用随机梯度下降优化的深神经网络的权重通常无限期振荡。为了减少理论和实践之间的这种差异，本文着重于神经网络的概括，其训练动力不一定会融合到固定点。我们的主要贡献是提出一个统计算法稳定性（SAS）的概念，该算法将经典算法稳定性扩展到非convergergent算法并研究其与泛化的联系。与传统的优化和学习理论观点相比，这种崇高的理论方法可导致新的见解。我们证明，学习算法的时间复杂行为的稳定性与其泛化有关，并在经验上证明了损失动力学如何为概括性能提供线索。我们的发现提供了证据表明，即使训练无限期继续并且权重也不会融合，即使训练持续进行训练，训练更好地概括”的网络也是如此。

多级分类问题的广义线性模型是现代机器学习任务的基本构建块之一。在本手稿中，我们通过具有任何凸损耗和正规化的经验风险最小化（ERM）来描述与通用手段和协方士的k $高斯的混合。特别是，我们证明了表征ERM估计的精确渐近剂，以高维度，在文献中扩展了关于高斯混合分类的几个先前结果。我们举例说明我们在统计学习中的两个兴趣任务中的两个任务：a）与稀疏手段的混合物进行分类，我们研究了$ \ ell_2 $的$ \ ell_1 $罚款的效率; b）Max-Margin多级分类，在那里我们在$ k> 2 $的多级逻辑最大似然估计器上表征了相位过渡。最后，我们讨论了我们的理论如何超出合成数据的范围，显示在不同的情况下，高斯混合在真实数据集中密切地捕获了分类任务的学习曲线。

This paper proposes a new optimization algorithm called Entropy-SGD for training deep neural networks that is motivated by the local geometry of the energy landscape. Local extrema with low generalization error have a large proportion of almost-zero eigenvalues in the Hessian with very few positive or negative eigenvalues. We leverage upon this observation to construct a local-entropy-based objective function that favors well-generalizable solutions lying in large flat regions of the energy landscape, while avoiding poorly-generalizable solutions located in the sharp valleys. Conceptually, our algorithm resembles two nested loops of SGD where we use Langevin dynamics in the inner loop to compute the gradient of the local entropy before each update of the weights. We show that the new objective has a smoother energy landscape and show improved generalization over SGD using uniform stability, under certain assumptions. Our experiments on convolutional and recurrent networks demonstrate that Entropy-SGD compares favorably to state-of-the-art techniques in terms of generalization error and training time.

罕见事件计算研究中的一个中心对象是委员会函数。尽管计算成本高昂，但委员会功能编码涉及罕见事件的过程的完整机械信息，包括反应率和过渡状态合奏。在过渡路径理论（TPT）的框架下，最近的工作[1]提出了一种算法，其中反馈回路融合了一个神经网络，该神经网络将委员会功能建模为重要性采样，主要是伞形采样，该摘要收集了自适应训练所需的数据。在这项工作中，我们显示需要进行其他修改以提高算法的准确性。第一个修改增加了监督学习的要素，这使神经网络通过拟合从短分子动力学轨迹获得的委员会值的样本均值估计来改善其预测。第二个修改用有限的温度字符串（FTS）方法代替了基于委员会的伞采样，该方法可以在过渡途径的区域中进行均匀抽样。我们测试了具有非凸电势能的低维系统的修改，可以通过分析或有限元方法找到参考解决方案，并显示如何将监督学习和FTS方法组合在一起，从而准确地计算了委员会功能和反应速率。我们还为使用FTS方法的算法提供了错误分析，使用少数样品在训练过程中可以准确估算反应速率。然后将这些方法应用于未知参考溶液的分子系统，其中仍然可以获得委员会功能和反应速率的准确计算。

优化在离散变量上的高度复杂的成本/能源功能是不同科学学科和行业的许多公开问题的核心。一个主要障碍是在硬实例中的某些变量子集之间的出现，导致临界减慢或集体冻结了已知的随机本地搜索策略。通常需要指数计算工作来解冻这种变量，并探索配置空间的其他看不见的区域。在这里，我们通过开发自适应梯度的策略来介绍一个量子启发的非本球非识别蒙特卡罗（NMC）算法，可以有效地学习成本函数的关键实例的几何特征。该信息随行使用，以构造空间不均匀的热波动，用于以各种长度尺度集体未填充变量，规避昂贵的勘探与开发权衡。我们将算法应用于两个最具挑战性的组合优化问题：随机k可满足（K-SAT）附近计算阶段转换和二次分配问题（QAP）。我们在专业的确定性求解器和通用随机求解器上观察到显着的加速和鲁棒性。特别是，对于90％的随机4-SAT实例，我们发现了最佳专用确定性算法无法访问的解决方案，该算法（SP）具有最强的10％实例的解决方案质量的大小提高。我们还通过最先进的通用随机求解器（APT）显示出在最先进的通用随机求解器（APT）上的时间到溶液的两个数量级改善。

我们证明了由例如He等人提出的广泛使用的方法。（2015年）并使用梯度下降对最小二乘损失进行训练并不普遍。具体而言，我们描述了一大批一维数据生成分布，较高的概率下降只会发现优化景观的局部最小值不好，因为它无法将其偏离偏差远离其初始化，以零移动。。事实证明，在这些情况下，即使目标函数是非线性的，发现的网络也基本执行线性回归。我们进一步提供了数值证据，表明在实际情况下，对于某些多维分布而发生这种情况，并且随机梯度下降表现出相似的行为。我们还提供了有关初始化和优化器的选择如何影响这种行为的经验结果。

我们认为越来越复杂的矩阵去噪和贝叶斯最佳设置中的文章学习模型，在挑战性的政权中，在矩阵推断出与系统尺寸线性的排名增加。这与大多数现有的文献相比，与低秩（即常数级别）制度相关的文献相反。我们首先考虑一类旋转不变的矩阵去噪，使用来自随机矩阵理论的标准技术来计算的互动信息和最小均方误差。接下来，我们分析了字典学习的更具挑战性模式。为此，我们将复制方法与随机矩阵理论一起介绍了复制品方法的新组合，共同矩阵理论，Coined光谱副本方法。它允许我们猜测隐藏表示与字典学习问题的嘈杂数据之间的相互信息的变分形式，以及定量最佳重建误差的重叠。所提出的方法从$ \ theta（n ^ 2）$（矩阵条目）到$ \ theta（n）$（特征值或奇异值）减少自由度的数量，并产生的互信息的库仑气体表示让人想起物理学中的矩阵模型。主要成分是使用Harishchandra-Itzykson-Zuber球形积分，结合新的复制对称解耦Ansatz，在特定重叠矩阵的特征值（或奇异值）的概率分布的水平上。

FIG. 1. Schematic diagram of a Variational Quantum Algorithm (VQA). The inputs to a VQA are: a cost function C(θ), with θ a set of parameters that encodes the solution to the problem, an ansatz whose parameters are trained to minimize the cost, and (possibly) a set of training data {ρ k } used during the optimization. Here, the cost can often be expressed in the form in Eq. ( 3), for some set of functions {f k }. Also, the ansatz is shown as a parameterized quantum circuit (on the left), which is analogous to a neural network (also shown schematically on the right). At each iteration of the loop one uses a quantum computer to efficiently estimate the cost (or its gradients). This information is fed into a classical computer that leverages the power of optimizers to navigate the cost landscape C(θ) and solve the optimization problem in Eq. ( 1). Once a termination condition is met, the VQA outputs an estimate of the solution to the problem. The form of the output depends on the precise task at hand. The red box indicates some of the most common types of outputs.