避免在监督学习中过度拟合的一种常见方法是尽早停止，在训练期间，将持有的设置用于迭代评估，以在训练步骤数量中找到最大概括的训练步骤。但是，这样的方法需要一个不相交的验证集，因此通常为此目的遗漏了训练集的标记数据的一部分，当训练数据稀缺时，这并不理想。此外，当训练标签嘈杂时，模型在验证集中的性能可能不是准确的概括代理。在本文中，我们提出了一种方法，可以在训练迭代中发现早期停止点而无需进行验证集。我们首先表明，在过度参数化的方向上，线性模型的随机初始化权重在训练过程中收敛到同一方向。使用此结果，我们建议训练用不同随机种子初始初始化的线性模型的两个平行实例，并使用它们的交点作为信号来检测过度拟合。为了检测相交，我们在训练迭代过程中使用平行模型的重量之间的余弦距离。注意到NN的最后一层是输出逻辑的前层层激活的线性图，我们使用反事实权重的新概念来建立线性模型的标准，并提出向多层网络的扩展。我们对两个领域进行实验，这些领域的早期停止对防止过度拟合NN具有明显的影响：（i）从嘈杂的标签中学习； （ii）学习在IR中排名。我们在四个广泛使用的数据集上进行的实验证实了我们的概括方法的有效性。对于广泛的学习率，我们的方法称为余弦距离标准（CDC），比我们几乎在所有测试的情况下与所有方法相比的所有方法平均得出更好的概括。

Deep neural networks may easily memorize noisy labels present in real-world data, which degrades their ability to generalize. It is therefore important to track and evaluate the robustness of models against noisy label memorization. We propose a metric, called susceptibility, to gauge such memorization for neural networks. Susceptibility is simple and easy to compute during training. Moreover, it does not require access to ground-truth labels and it only uses unlabeled data. We empirically show the effectiveness of our metric in tracking memorization on various architectures and datasets and provide theoretical insights into the design of the susceptibility metric. Finally, we show through extensive experiments on datasets with synthetic and real-world label noise that one can utilize susceptibility and the overall training accuracy to distinguish models that maintain a low memorization on the training set and generalize well to unseen clean data.

我们研究了使用尖刺，现场依赖的随机矩阵理论研究迷你批次对深神经网络损失景观的影响。我们表明，批量黑森州的极值值的大小大于经验丰富的黑森州。我们还获得了类似的结果对Hessian的概括高斯牛顿矩阵近似。由于我们的定理，我们推导出作为批量大小的最大学习速率的分析表达式，为随机梯度下降（线性缩放）和自适应算法（例如ADAM（Square Root Scaling）提供了通知实际培训方案，例如光滑，非凸深神经网络。虽然随机梯度下降的线性缩放是在我们概括的更多限制性条件下导出的，但是适应优化者的平方根缩放规则是我们的知识，完全小说。随机二阶方法和自适应方法的百分比，我们得出了最小阻尼系数与学习率与批量尺寸的比率成比例。我们在Cifar-$ 100 $和ImageNet数据集上验证了我们的VGG / WimerEsnet架构上的索赔。根据我们对象检的调查，我们基于飞行学习率和动量学习者开发了一个随机兰齐齐竞争，这避免了对这些关键的超参数进行昂贵的多重评估的需求，并在预残留的情况下显示出良好的初步结果Cifar的architecure - $ 100 $。

深度学习归一化技术的基本特性，例如批准归一化，正在使范围前的参数量表不变。此类参数的固有域是单位球，因此可以通过球形优化的梯度优化动力学以不同的有效学习率（ELR）来表示，这是先前研究的。在这项工作中，我们使用固定的ELR直接研究了训练量表不变的神经网络的特性。我们根据ELR值发现了这种训练的三个方案：收敛，混乱平衡和差异。我们详细研究了这些制度示例的理论检查，以及对真实规模不变深度学习模型的彻底经验分析。每个制度都有独特的特征，并反映了内在损失格局的特定特性，其中一些与先前对常规和规模不变的神经网络培训的研究相似。最后，我们证明了如何在归一化网络的常规培训以及如何利用它们以实现更好的Optima中反映发现的制度。

深度学习在广泛的AI应用方面取得了有希望的结果。较大的数据集和模型一致地产生更好的性能。但是，我们一般花费更长的培训时间，以更多的计算和沟通。在本调查中，我们的目标是在模型精度和模型效率方面提供关于大规模深度学习优化的清晰草图。我们调查最常用于优化的算法，详细阐述了大批量培训中出现的泛化差距的可辩论主题，并审查了解决通信开销并减少内存足迹的SOTA策略。

Power等人报道的\ emph {grokking现象} {power2021grokking}是指一个长期过度拟合之后，似乎突然过渡到完美的概括。在本文中，我们试图通过一系列经验研究来揭示Grokking的基础。具体而言，我们在极端的训练阶段（称为\ emph {slingshot机构）发现了一个优化的异常缺陷自适应优化器。可以通过稳定和不稳定的训练方案之间的循环过渡来测量弹弓机制的突出伪像，并且可以通过最后一层重量的规范的循环行为轻松监测。我们从经验上观察到，在\ cite {power2021grokking}中报道的无明确正规化，几乎完全发生在\ emph {slingshots}的开始时，并且没有它。虽然在更一般的环境中常见且容易复制，但弹弓机制并不遵循我们所知道的任何已知优化理论，并且可以轻松地忽略而无需深入研究。我们的工作表明，在培训的后期阶段，适应性梯度优化器的令人惊讶且有用的归纳偏见，要求对其起源进行修订。

在数据中存在错误标记的观察是统计和机器学习中令人惊叹的挑战性问题，与传统分类器的差的概括特性相关，也许更灵活的分类器，如神经网络。在这里，我们提出了一种新的双重正规化的神经网络培训损失，这些训练损失结合了对分类模型的复杂性的惩罚以及对训练观测的最佳重新重量。综合惩罚导致普遍存在的普遍设置的普遍性特性和强大的稳健性，以及在训练时违反初始参数值的变化。我们为我们提出的方法提供了一个理论上的理由，该方法衍生出一种简单的逻辑回归。我们展示了双重正则化模型，这里由DRFIT表示，用于（i）MNIST和（II）CIFAR-10的神经净分类，在两种情况下都有模拟误标标记。我们还说明DRFIT以非常好的精度识别错误标记的数据点。这为DRFIT提供了强大的支持，作为一种现成的分类器，因为没有任何表现牺牲，我们获得了一个分类器，同时降低了对误标标记的过度装备，并准确衡量标签的可信度。

Deep neural networks have been shown to be very powerful modeling tools for many supervised learning tasks involving complex input patterns. However, they can also easily overfit to training set biases and label noises. In addition to various regularizers, example reweighting algorithms are popular solutions to these problems, but they require careful tuning of additional hyperparameters, such as example mining schedules and regularization hyperparameters. In contrast to past reweighting methods, which typically consist of functions of the cost value of each example, in this work we propose a novel meta-learning algorithm that learns to assign weights to training examples based on their gradient directions. To determine the example weights, our method performs a meta gradient descent step on the current mini-batch example weights (which are initialized from zero) to minimize the loss on a clean unbiased validation set. Our proposed method can be easily implemented on any type of deep network, does not require any additional hyperparameter tuning, and achieves impressive performance on class imbalance and corrupted label problems where only a small amount of clean validation data is available.

模型选择过程通常是单一准则决策，在该决策中，我们选择了在特定集合中最大化特定度量的模型，例如验证集的性能。我们声称这非常天真，由于过度搜索现象，可以对过度拟合的模型进行糟糕的选择，从而高估了该特定集合的性能。futhermore，现实世界数据包含模型选择过程不应忽略的噪声，并且在执行模型选择时必须考虑到。此外，我们定义了四个理论最优条件，我们可以追求这些条件，以更好地选择模型并通过使用多标准决策算法（TOPSIS）来分析它们，该算法（TOPSIS）认为代理最佳条件以选择合理的模型。

Neural network pruning techniques can reduce the parameter counts of trained networks by over 90%, decreasing storage requirements and improving computational performance of inference without compromising accuracy. However, contemporary experience is that the sparse architectures produced by pruning are difficult to train from the start, which would similarly improve training performance.We find that a standard pruning technique naturally uncovers subnetworks whose initializations made them capable of training effectively. Based on these results, we articulate the lottery ticket hypothesis: dense, randomly-initialized, feed-forward networks contain subnetworks (winning tickets) that-when trained in isolationreach test accuracy comparable to the original network in a similar number of iterations. The winning tickets we find have won the initialization lottery: their connections have initial weights that make training particularly effective.We present an algorithm to identify winning tickets and a series of experiments that support the lottery ticket hypothesis and the importance of these fortuitous initializations. We consistently find winning tickets that are less than 10-20% of the size of several fully-connected and convolutional feed-forward architectures for MNIST and CIFAR10. Above this size, the winning tickets that we find learn faster than the original network and reach higher test accuracy.

在他们的损失景观方面观看神经网络模型在学习的统计力学方法方面具有悠久的历史，并且近年来它在机器学习中得到了关注。除此之外，已显示局部度量（例如损失景观的平滑度）与模型的全局性质（例如良好的泛化性能）相关联。在这里，我们对数千个神经网络模型的损失景观结构进行了详细的实证分析，系统地改变了学习任务，模型架构和/或数据数量/质量。通过考虑试图捕获损失景观的不同方面的一系列指标，我们证明了最佳的测试精度是如下：损失景观在全球连接;训练型模型的集合彼此更像;而模型会聚到局部平滑的地区。我们还表明，当模型很小或培训以较低质量数据时，可以出现全球相连的景观景观;而且，如果损失景观全球相连，则培训零损失实际上可以导致更糟糕的测试精度。我们详细的经验结果阐明了学习阶段的阶段（以及后续双重行为），基本与偶然的决定因素良好的概括决定因素，负载样和温度相同的参数在学习过程中，不同的影响对模型的损失景观的影响不同和数据，以及地方和全球度量之间的关系，近期兴趣的所有主题。

我们提出了自适应培训 - 一种统一的培训算法，通过模型预测动态校准并增强训练过程，而不会产生额外的计算成本 - 以推进深度神经网络的监督和自我监督的学习。我们分析了培训数据的深网络培训动态，例如随机噪声和对抗例。我们的分析表明，模型预测能够在数据中放大有用的基础信息，即使在没有任何标签信息的情况下，这种现象也会发生，突出显示模型预测可能会产生培训过程：自适应培训改善了深网络的概括在噪音下，增强自我监督的代表学习。分析还阐明了解深度学习，例如，在经验风险最小化和最新的自我监督学习算法的折叠问题中对最近发现的双重现象的潜在解释。在CIFAR，STL和Imagenet数据集上的实验验证了我们在三种应用中的方法的有效性：用标签噪声，选择性分类和线性评估进行分类。为了促进未来的研究，该代码已在HTTPS://github.com/layneh/Self-Aveptive-训练中公开提供。

使用DataSet的真实标签培训而不是随机标签导致更快的优化和更好的泛化。这种差异归因于自然数据集中的输入和标签之间的对齐概念。我们发现，随机或真正标签上的具有不同架构和优化器的培训神经网络在隐藏的表示和训练标签之间强制执行相同的关系，阐明为什么神经网络表示为转移如此成功。我们首先突出显示为什么对齐的特征在经典的合成转移问题中促进转移和展示，即对齐是对相似和不同意任务的正负传输的确定因素。然后我们调查各种神经网络架构，并发现（a）在各种不同的架构和优化器中出现的对齐，并且从深度（b）对准产生的更多对准对于更接近输出的层和（c）现有的性能深度CNN表现出高级别的对准。

几次学习的元学习算法旨在训练能够仅使用几个示例将新任务概括为新任务的神经网络。早期停滞对于性能至关重要，在对新任务分布达到最佳概括时停止模型训练。元学习的早期机制通常依赖于从训练（源）数据集中绘制的元验证集中的标记示例上测量模型性能。这在几个射击传输学习设置中是有问题的，其中元测试集来自不同的目标数据集（OOD），并且可能会在元验证集中具有较大的分配转移。在这项工作中，我们提出了基于激活的早期停滞（ABE），这是使用基于验证的早期播放进行元学习的替代方法。具体而言，我们分析了每个隐藏层的神经激活期间的演变，在目标任务分布的一项任务中，在一组未标记的支持示例上，因为这构成了从最小值和合理的信息中。目标问题。我们的实验表明，有关激活的简单标签不可知统计提供了一种有效的方法来估计目标概括如何随着时间的推移如何发展。在每个隐藏层，我们从第一阶和二阶矩来表征激活分布，然后沿特征维度进一步汇总，从而在四维空间中产生紧凑而直观的表征。检测何时，在整个训练时间以及在哪个层上，目标激活轨迹与源数据的激活轨迹有所不同，使我们能够在大量的几个射击传输学习设置中执行早期停滞并改善概括，并在不同算法，源和目标数据集。

最近，与培训样本相比，具有越来越多的网络参数的过度参数深度网络主导了现代机器学习的性能。但是，当培训数据被损坏时，众所周知，过度参数化的网络往往会过度合适并且不会概括。在这项工作中，我们提出了一种有原则的方法，用于在分类任务中对过度参数的深层网络进行强有力的培训，其中一部分培训标签被损坏。主要想法还很简单：标签噪声与从干净的数据中学到的网络稀疏且不一致，因此我们对噪声进行建模并学会将其与数据分开。具体而言，我们通过另一个稀疏的过度参数术语对标签噪声进行建模，并利用隐式算法正规化来恢复和分离基础损坏。值得注意的是，当在实践中使用如此简单的方法培训时，我们证明了针对各种真实数据集上标签噪声的最新测试精度。此外，我们的实验结果通过理论在简化的线性模型上证实，表明在不连贯的条件下稀疏噪声和低级别数据之间的精确分离。这项工作打开了许多有趣的方向，可以使用稀疏的过度参数化和隐式正则化来改善过度参数化模型。

It is common practice in deep learning to use overparameterized networks and train for as long as possible; there are numerous studies that show, both theoretically and empirically, that such practices surprisingly do not unduly harm the generalization performance of the classifier. In this paper, we empirically study this phenomenon in the setting of adversarially trained deep networks, which are trained to minimize the loss under worst-case adversarial perturbations. We find that overfitting to the training set does in fact harm robust performance to a very large degree in adversarially robust training across multiple datasets (SVHN, CIFAR-10, CIFAR-100, and ImageNet) and perturbation models ( ∞ and 2 ). Based upon this observed effect, we show that the performance gains of virtually all recent algorithmic improvements upon adversarial training can be matched by simply using early stopping. We also show that effects such as the double descent curve do still occur in adversarially trained models, yet fail to explain the observed overfitting. Finally, we study several classical and modern deep learning remedies for overfitting, including regularization and data augmentation, and find that no approach in isolation improves significantly upon the gains achieved by early stopping. All code for reproducing the experiments as well as pretrained model weights and training logs can be found at https://github.com/ locuslab/robust_overfitting.

人们通常认为，修剪网络不仅会降低深网的计算成本，而且还可以通过降低模型容量来防止过度拟合。但是，我们的工作令人惊讶地发现，网络修剪有时甚至会加剧过度拟合。我们报告了出乎意料的稀疏双后裔现象，随着我们通过网络修剪增加模型稀疏性，首先测试性能变得更糟（由于过度拟合），然后变得更好（由于过度舒适），并且终于变得更糟（由于忘记了有用的有用信息）。尽管最近的研究集中在模型过度参数化方面，但他们未能意识到稀疏性也可能导致双重下降。在本文中，我们有三个主要贡献。首先，我们通过广泛的实验报告了新型的稀疏双重下降现象。其次，对于这种现象，我们提出了一种新颖的学习距离解释，即$ \ ell_ {2} $稀疏模型的学习距离（从初始化参数到最终参数）可能与稀疏的双重下降曲线良好相关，并更好地反映概括比最小平坦。第三，在稀疏的双重下降的背景下，彩票票假设中的获胜票令人惊讶地并不总是赢。

我们介绍了SubGD，这是一种新颖的几声学习方法，基于最近的发现，即随机梯度下降更新往往生活在低维参数子空间中。在实验和理论分析中，我们表明模型局限于合适的预定义子空间，可以很好地推广用于几次学习。合适的子空间符合给定任务的三个标准：IT（a）允许通过梯度流量减少训练误差，（b）导致模型良好的模型，并且（c）可以通过随机梯度下降来识别。 SUBGD从不同任务的更新说明的自动相关矩阵的特征组合中标识了这些子空间。明确的是，我们可以识别出低维合适的子空间，用于对动态系统的几次学习，而动态系统具有不同的属性，这些属性由分析系统描述的一个或几个参数描述。这种系统在科学和工程领域的现实应用程序中无处不在。我们在实验中证实了SubGD在三个不同的动态系统问题设置上的优势，在样本效率和性能方面，均超过了流行的几次学习方法。

清晰度感知最小化（SAM）是一种最近的训练方法，它依赖于最严重的重量扰动，可显着改善各种环境中的概括。我们认为，基于pac-bayes概括结合的SAM成功的现有理由，而收敛到平面最小值的想法是不完整的。此外，没有解释说在SAM中使用$ m $ sharpness的成功，这对于概括而言至关重要。为了更好地理解SAM的这一方面，我们理论上分析了其对角线性网络的隐式偏差。我们证明，SAM总是选择一种比标准梯度下降更好的解决方案，用于某些类别的问题，并且通过使用$ m $ -sharpness可以放大这种效果。我们进一步研究了隐性偏见在非线性网络上的特性，在经验上，我们表明使用SAM进行微调的标准模型可以导致显着的概括改进。最后，当与随机梯度一起使用时，我们为非凸目标提供了SAM的收敛结果。我们从经验上说明了深层网络的这些结果，并讨论了它们与SAM的概括行为的关系。我们的实验代码可在https://github.com/tml-epfl/understanding-sam上获得。

梯度下降可能令人惊讶地擅长优化深层神经网络，而不会过度拟合并且没有明确的正则化。我们发现，梯度下降的离散步骤通过惩罚具有较大损耗梯度的梯度下降轨迹来隐式化模型。我们称之为隐式梯度正则化（IGR），并使用向后错误分析来计算此正则化的大小。我们从经验上确认，隐式梯度正则化偏向梯度下降到平面最小值，在该较小情况下，测试误差很小，溶液对嘈杂的参数扰动是可靠的。此外，我们证明了隐式梯度正规化项可以用作显式正常化程序，从而使我们能够直接控制此梯度正则化。从更广泛的角度来看，我们的工作表明，向后错误分析是一种有用的理论方法，即对学习率，模型大小和参数正则化如何相互作用以确定用梯度下降优化的过度参数化模型的属性。