我们通过将其基于实现功能空间而不是参数空间的几何形状来系统地研究深度神经网络景观的方法。将分类器分组到等效类中，我们开发了一个标准化的参数化，其中所有对称性都被删除，从而导致环形拓扑。在这个空间上，我们探讨了误差景观而不是损失。这使我们能够得出有意义的概念，即最小化器的平坦度和连接它们的地球通道的概念。使用不同的优化算法，这些算法采样具有不同平坦度的最小化器，我们研究模式连接性和相对距离。测试各种最先进的体系结构和基准数据集，我们确认了平面度和泛化性能之间的相关性；我们进一步表明，在功能空间中，minima彼此更近，并且连接它们的大地测量学的屏障很小。我们还发现，通过梯度下降的变体发现的最小化器可以通过由参数空间中的两个直线组成的零误差路径连接，即带有单个弯曲的多边形链。我们观察到具有二进制权重和激活的神经网络中相似的定性结果，这为在这种情况下的连通性提供了第一个结果之一。我们的结果取决于对称性的去除，并且与对简单浅层模型进行的一些分析研究所描述的丰富现象学非常吻合。

在神经网络的经验风险景观中扁平最小值的性质已经讨论了一段时间。越来越多的证据表明他们对尖锐物质具有更好的泛化能力。首先，我们讨论高斯混合分类模型，并分析显示存在贝叶斯最佳点估算器，其对应于属于宽平区域的最小值。可以通过直接在分类器（通常是独立的）或学习中使用的可分解损耗函数上应用最大平坦度算法来找到这些估计器。接下来，我们通过广泛的数值验证将分析扩展到深度学习场景。使用两种算法，熵-SGD和复制-SGD，明确地包括在优化目标中，所谓的非局部平整度措施称为本地熵，我们一直提高常见架构的泛化误差（例如Resnet，CeffectnNet）。易于计算的平坦度测量显示与测试精度明确的相关性。

当前的深度神经网络被高度参数化（多达数十亿个连接权重）和非线性。然而，它们几乎可以通过梯度下降算法的变体完美地拟合数据，并达到预测准确性的意外水平，而不会过度拟合。这些是巨大的结果，无视统计学习的预测，并对非凸优化构成概念性挑战。在本文中，我们使用来自无序系统的统计物理学的方法来分析非凸二进制二进制神经网络模型中过度参数化的计算后果，该模型对从结构上更简单但“隐藏”网络产生的数据进行了培训。随着连接权重的增加，我们遵循误差损失函数不同最小值的几何结构的变化，并将其与学习和概括性能相关联。当解决方案开始存在时，第一次过渡发生在所谓的插值点（完美拟合变得可能）。这种过渡反映了典型溶液的特性，但是它是尖锐的最小值，难以采样。差距后，发生了第二个过渡，并具有不同类型的“非典型”结构的不连续外观：重量空间的宽区域，这些区域特别是解决方案密度且具有良好的泛化特性。两种解决方案共存，典型的解决方案的呈指数数量，但是从经验上讲，我们发现有效的算法采样了非典型，稀有的算法。这表明非典型相变是学习的相关阶段。与该理论建议的可观察到的现实网络的数值测试结果与这种情况一致。

在本文中，我们推测，如果考虑到神经网络的置换不变性，SGD解决方案可能不会在它们之间的线性插值中没有障碍。尽管这是一个大胆的猜想，但我们展示了广泛的经验尝试却没有反驳。我们进一步提供了初步的理论结果来支持我们的猜想。我们的猜想对彩票票证假设，分布式培训和合奏方法有影响。

深度学习的成功揭示了神经网络对整个科学的应用潜力，并开辟了基本的理论问题。特别地，基于梯度方法的简单变体的学习算法能够找到高度非凸损函数的近最佳最佳最小值，是神经网络的意外特征。此外，这种算法即使在存在噪声的情况下也能够适合数据，但它们具有出色的预测能力。若干经验结果表明了通过算法实现的最小值的所谓平坦度与概括性性能之间的可再现相关性。同时，统计物理结果表明，在非透露网络中，多个窄的最小值可能与较少数量的宽扁平最小值共存，这概括了很好。在这里，我们表明，从“高边缘”（即局部稳健的）配置，从最小值的聚结会出现宽平坦的结构。尽管与零保证金相比具有呈指数稀有的稀有性，但高利润最小值倾向于集中在特定地区。这些最小值又被较小且较小的边距的其他解决方案包围，导致长距离的溶液区域密集。我们的分析还提供了一种替代分析方法，用于估计扁平最小值，当算法开始找到解决方案时，随着模型参数的数量变化。

深度学习的成功归功于我们能够相对轻松地解决某些大规模的非凸优化问题。尽管非凸优化是NP硬化，但简单的算法（通常是随机梯度下降的变体）在拟合大型神经网络的实践中具有令人惊讶的有效性。我们认为，在考虑了所有可能的隐藏单元对称对称性之后，神经网络损失景观包含（几乎）一个盆地。我们介绍了三种算法以缩小一个模型的单元，以使它们与参考模型的单位保持一致。这种转换产生了一组功能等效的权重，该权重位于参考模型附近的大约凸盆地中。在实验上，我们证明了各种模型架构和数据集中的单个盆地现象，包括在CIFAR-10和CIFAR-100上独立训练的Resnet模型之间的第一个（据我们所知）的（据我们所知）的第一次演示。此外，我们确定了有趣的现象，将模型宽度和训练时间与各种模型和数据集的模式连接性有关。最后，我们讨论了单个盆地理论的缺点，包括对线性模式连接假设的反例。

从不同的随机初始化开始，经过随机梯度下降（SGD）训练的神经网络通常在功能上非常相似，从而提出了一个问题，即不同的SGD溶液之间是否存在有意义的差异。 Entezari等。最近猜想，尽管初始化不同，但在考虑到神经网络的置换不变性后，SGD发现的解决方案位于相同的损失谷中。具体而言，他们假设可以将SGD找到的任何两种解决方案排列，以使其参数之间的线性插值形成一条路径，而不会显着增加损失。在这里，我们使用一种简单但功能强大的算法来找到这样的排列，使我们能够获得直接的经验证据，证明该假设在完全连接的网络中是正确的。引人注目的是，我们发现在初始化时已经存在两个网络，并且平均它们随机，但适当排列的初始化的性能大大高于机会。相反，对于卷积架构，我们的证据表明该假设不存在。特别是在大型学习率制度中，SGD似乎发现了各种模式。

The recent emergence of new algorithms for permuting models into functionally equivalent regions of the solution space has shed some light on the complexity of error surfaces, and some promising properties like mode connectivity. However, finding the right permutation is challenging, and current optimization techniques are not differentiable, which makes it difficult to integrate into a gradient-based optimization, and often leads to sub-optimal solutions. In this paper, we propose a Sinkhorn re-basin network with the ability to obtain the transportation plan that better suits a given objective. Unlike the current state-of-art, our method is differentiable and, therefore, easy to adapt to any task within the deep learning domain. Furthermore, we show the advantage of our re-basin method by proposing a new cost function that allows performing incremental learning by exploiting the linear mode connectivity property. The benefit of our method is compared against similar approaches from the literature, under several conditions for both optimal transport finding and linear mode connectivity. The effectiveness of our continual learning method based on re-basin is also shown for several common benchmark datasets, providing experimental results that are competitive with state-of-art results from the literature.

在他们的损失景观方面观看神经网络模型在学习的统计力学方法方面具有悠久的历史，并且近年来它在机器学习中得到了关注。除此之外，已显示局部度量（例如损失景观的平滑度）与模型的全局性质（例如良好的泛化性能）相关联。在这里，我们对数千个神经网络模型的损失景观结构进行了详细的实证分析，系统地改变了学习任务，模型架构和/或数据数量/质量。通过考虑试图捕获损失景观的不同方面的一系列指标，我们证明了最佳的测试精度是如下：损失景观在全球连接;训练型模型的集合彼此更像;而模型会聚到局部平滑的地区。我们还表明，当模型很小或培训以较低质量数据时，可以出现全球相连的景观景观;而且，如果损失景观全球相连，则培训零损失实际上可以导致更糟糕的测试精度。我们详细的经验结果阐明了学习阶段的阶段（以及后续双重行为），基本与偶然的决定因素良好的概括决定因素，负载样和温度相同的参数在学习过程中，不同的影响对模型的损失景观的影响不同和数据，以及地方和全球度量之间的关系，近期兴趣的所有主题。

In this paper we look into the conjecture of Entezari et al. (2021) which states that if the permutation invariance of neural networks is taken into account, then there is likely no loss barrier to the linear interpolation between SGD solutions. First, we observe that neuron alignment methods alone are insufficient to establish low-barrier linear connectivity between SGD solutions due to a phenomenon we call variance collapse: interpolated deep networks suffer a collapse in the variance of their activations, causing poor performance. Next, we propose REPAIR (REnormalizing Permuted Activations for Interpolation Repair) which mitigates variance collapse by rescaling the preactivations of such interpolated networks. We explore the interaction between our method and the choice of normalization layer, network width, and depth, and demonstrate that using REPAIR on top of neuron alignment methods leads to 60%-100% relative barrier reduction across a wide variety of architecture families and tasks. In particular, we report a 74% barrier reduction for ResNet50 on ImageNet and 90% barrier reduction for ResNet18 on CIFAR10.

Neural network training relies on our ability to find "good" minimizers of highly non-convex loss functions. It is well-known that certain network architecture designs (e.g., skip connections) produce loss functions that train easier, and wellchosen training parameters (batch size, learning rate, optimizer) produce minimizers that generalize better. However, the reasons for these differences, and their effects on the underlying loss landscape, are not well understood. In this paper, we explore the structure of neural loss functions, and the effect of loss landscapes on generalization, using a range of visualization methods. First, we introduce a simple "filter normalization" method that helps us visualize loss function curvature and make meaningful side-by-side comparisons between loss functions. Then, using a variety of visualizations, we explore how network architecture affects the loss landscape, and how training parameters affect the shape of minimizers.

This paper proposes a new optimization algorithm called Entropy-SGD for training deep neural networks that is motivated by the local geometry of the energy landscape. Local extrema with low generalization error have a large proportion of almost-zero eigenvalues in the Hessian with very few positive or negative eigenvalues. We leverage upon this observation to construct a local-entropy-based objective function that favors well-generalizable solutions lying in large flat regions of the energy landscape, while avoiding poorly-generalizable solutions located in the sharp valleys. Conceptually, our algorithm resembles two nested loops of SGD where we use Langevin dynamics in the inner loop to compute the gradient of the local entropy before each update of the weights. We show that the new objective has a smoother energy landscape and show improved generalization over SGD using uniform stability, under certain assumptions. Our experiments on convolutional and recurrent networks demonstrate that Entropy-SGD compares favorably to state-of-the-art techniques in terms of generalization error and training time.

深度学习归一化技术的基本特性，例如批准归一化，正在使范围前的参数量表不变。此类参数的固有域是单位球，因此可以通过球形优化的梯度优化动力学以不同的有效学习率（ELR）来表示，这是先前研究的。在这项工作中，我们使用固定的ELR直接研究了训练量表不变的神经网络的特性。我们根据ELR值发现了这种训练的三个方案：收敛，混乱平衡和差异。我们详细研究了这些制度示例的理论检查，以及对真实规模不变深度学习模型的彻底经验分析。每个制度都有独特的特征，并反映了内在损失格局的特定特性，其中一些与先前对常规和规模不变的神经网络培训的研究相似。最后，我们证明了如何在归一化网络的常规培训以及如何利用它们以实现更好的Optima中反映发现的制度。

The loss functions of deep neural networks are complex and their geometric properties are not well understood. We show that the optima of these complex loss functions are in fact connected by simple curves over which training and test accuracy are nearly constant. We introduce a training procedure to discover these high-accuracy pathways between modes. Inspired by this new geometric insight, we also propose a new ensembling method entitled Fast Geometric Ensembling (FGE). Using FGE we can train high-performing ensembles in the time required to train a single model. We achieve improved performance compared to the recent state-of-the-art Snapshot Ensembles, on CIFAR-10, CIFAR-100, and ImageNet. * Equal contribution. 1 Suppose we have three weight vectors w1, w2, w3. We set u = (w2 − w1), v = (w3 − w1) − w3 − w1, w2 − w1 / w2 − w1 2 • (w2 − w1). Then the normalized vectors û = u/ u , v = v/ v form an orthonormal basis in the plane containing w1, w2, w3. To visualize the loss in this plane, we define a Cartesian grid in the basis û, v and evaluate the networks corresponding to each of the points in the grid. A point P with coordinates (x, y) in the plane would then be given by P = w1 + x • û + y • v.

重要的是要了解流行的正则化方法如何帮助神经网络训练找到良好的概括解决方案。在这项工作中，我们从理论上得出了辍学的隐式正则化，并研究了损失函数的Hessian矩阵与辍学噪声的协方差矩阵之间的关系，并由一系列实验支持。然后，我们在数值上研究了辍学的隐式正规化的两个含义，这直觉上合理化了辍学有助于概括。首先，我们发现辍学的训练与实验中的标准梯度下降训练相比，发现具有最低最小的神经网络，而隐式正则化是找到平坦溶液的关键。其次，经过辍学的训练，隐藏神经元的输入权重（隐藏神经元的输入权重由其输入层到隐藏的神经元及其偏见项组成），往往会凝结在孤立的方向上。凝结是非线性学习过程中的一个功能，它使神经网络的复杂性低。尽管我们的理论主要集中在最后一个隐藏层中使用的辍学，但我们的实验适用于训练神经网络中的一般辍学。这项工作指出了与随机梯度下降相比，辍学的独特特征，是完全理解辍学的重要基础。

当我们扩大数据集，模型尺寸和培训时间时，深入学习方法的能力中存在越来越多的经验证据。尽管有一些关于这些资源如何调节统计能力的说法，但对它们对模型培训的计算问题的影响知之甚少。这项工作通过学习$ k $ -sparse $ n $ bits的镜头进行了探索，这是一个构成理论计算障碍的规范性问题。在这种情况下，我们发现神经网络在扩大数据集大小和运行时间时会表现出令人惊讶的相变。特别是，我们从经验上证明，通过标准培训，各种体系结构以$ n^{o（k）} $示例学习稀疏的平等，而损失（和错误）曲线在$ n^{o（k）}后突然下降。 $迭代。这些积极的结果几乎匹配已知的SQ下限，即使没有明确的稀疏性先验。我们通过理论分析阐明了这些现象的机制：我们发现性能的相变不到SGD“在黑暗中绊倒”，直到它找到了隐藏的特征集（自然算法也以$ n^中的方式运行{o（k）} $ time）;取而代之的是，我们表明SGD逐渐扩大了人口梯度的傅立叶差距。

Many applications require sparse neural networks due to space or inference time restrictions. There is a large body of work on training dense networks to yield sparse networks for inference, but this limits the size of the largest trainable sparse model to that of the largest trainable dense model. In this paper we introduce a method to train sparse neural networks with a fixed parameter count and a fixed computational cost throughout training, without sacrificing accuracy relative to existing dense-tosparse training methods. Our method updates the topology of the sparse network during training by using parameter magnitudes and infrequent gradient calculations. We show that this approach requires fewer floating-point operations (FLOPs) to achieve a given level of accuracy compared to prior techniques. We demonstrate state-of-the-art sparse training results on a variety of networks and datasets, including ResNet-50, MobileNets on Imagenet-2012, and RNNs on WikiText-103. Finally, we provide some insights into why allowing the topology to change during the optimization can overcome local minima encountered when the topology remains static * .

理解为什么深网络可以在大尺寸中对数据进行分类仍然是一个挑战。已经提出了它们通过变得稳定的差异术，但现有的经验测量值得支持它通常不是这种情况。我们通过定义弥散术的最大熵分布来重新审视这个问题，这允许研究给定规范的典型的扩散术。我们确认对基准数据集的稳定性与基准数据集的性能没有强烈关联。相比之下，我们发现，对于普通转换的稳定性，R_F $的稳定性与测试错误$ \ epsilon_t $相比。在初始化时，它是初始化的统一，但在最先进的架构培训期间减少了几十年。对于CiFar10和15名已知的架构，我们发现$ \ epsilon_t \约0.2 \ sqrt {r_f} $，表明获得小$ r_f $非常重要，无法实现良好的性能。我们研究R_F $如何取决于培训集的大小，并将其与简单的不变学习模型进行比较。

Neural network pruning techniques can reduce the parameter counts of trained networks by over 90%, decreasing storage requirements and improving computational performance of inference without compromising accuracy. However, contemporary experience is that the sparse architectures produced by pruning are difficult to train from the start, which would similarly improve training performance.We find that a standard pruning technique naturally uncovers subnetworks whose initializations made them capable of training effectively. Based on these results, we articulate the lottery ticket hypothesis: dense, randomly-initialized, feed-forward networks contain subnetworks (winning tickets) that-when trained in isolationreach test accuracy comparable to the original network in a similar number of iterations. The winning tickets we find have won the initialization lottery: their connections have initial weights that make training particularly effective.We present an algorithm to identify winning tickets and a series of experiments that support the lottery ticket hypothesis and the importance of these fortuitous initializations. We consistently find winning tickets that are less than 10-20% of the size of several fully-connected and convolutional feed-forward architectures for MNIST and CIFAR10. Above this size, the winning tickets that we find learn faster than the original network and reach higher test accuracy.

在许多情况下，更简单的模型比更复杂的模型更可取，并且该模型复杂性的控制是机器学习中许多方法的目标，例如正则化，高参数调整和体系结构设计。在深度学习中，很难理解复杂性控制的潜在机制，因为许多传统措施并不适合深度神经网络。在这里，我们开发了几何复杂性的概念，该概念是使用离散的dirichlet能量计算的模型函数变异性的量度。使用理论论据和经验结果的结合，我们表明，许多常见的训练启发式方法，例如参数规范正规化，光谱规范正则化，平稳性正则化，隐式梯度正则化，噪声正则化和参数初始化的选择，都可以控制几何学复杂性，并提供一个统一的框架，以表征深度学习模型的行为。