Many recent works on understanding deep learning try to quantify how much individual data instances influence the optimization and generalization of a model, either by analyzing the behavior of the model during training or by measuring the performance gap of the model when the instance is removed from the dataset. Such approaches reveal characteristics and importance of individual instances, which may provide useful information in diagnosing and improving deep learning. However, most of the existing works on data valuation require actual training of a model, which often demands high-computational cost. In this paper, we provide a training-free data valuation score, called complexity-gap score, which is a data-centric score to quantify the influence of individual instances in generalization of two-layer overparameterized neural networks. The proposed score can quantify irregularity of the instances and measure how much each data instance contributes in the total movement of the network parameters during training. We theoretically analyze and empirically demonstrate the effectiveness of the complexity-gap score in finding 'irregular or mislabeled' data instances, and also provide applications of the score in analyzing datasets and diagnosing training dynamics.

Deep neural networks may easily memorize noisy labels present in real-world data, which degrades their ability to generalize. It is therefore important to track and evaluate the robustness of models against noisy label memorization. We propose a metric, called susceptibility, to gauge such memorization for neural networks. Susceptibility is simple and easy to compute during training. Moreover, it does not require access to ground-truth labels and it only uses unlabeled data. We empirically show the effectiveness of our metric in tracking memorization on various architectures and datasets and provide theoretical insights into the design of the susceptibility metric. Finally, we show through extensive experiments on datasets with synthetic and real-world label noise that one can utilize susceptibility and the overall training accuracy to distinguish models that maintain a low memorization on the training set and generalize well to unseen clean data.

对网络规模数据进行培训可能需要几个月的时间。但是，在已经学习或不可学习的冗余和嘈杂点上浪费了很多计算和时间。为了加速训练，我们引入了可减少的持有损失选择（Rho-loss），这是一种简单但原则上的技术，它大致选择了这些训练点，最大程度地减少了模型的概括损失。结果，Rho-loss减轻了现有数据选择方法的弱点：优化文献中的技术通常选择“硬损失”（例如，高损失），但是这种点通常是嘈杂的（不可学习）或更少的任务与任务相关。相反，课程学习优先考虑“简单”的积分，但是一旦学习，就不必对这些要点进行培训。相比之下，Rho-Loss选择了可以学习的点，值得学习的，尚未学习。与先前的艺术相比，Rho-loss火车的步骤要少得多，可以提高准确性，并加快对广泛的数据集，超参数和体系结构（MLP，CNNS和BERT）的培训。在大型Web绑带图像数据集服装1M上，与统一的数据改组相比，步骤少18倍，最终精度的速度少2％。

广泛观察到的神经缩放定律，其中错误是训练集大小，模型大小或两者兼而有之的误差，从而促进了深度学习的实质性改进。但是，仅通过缩放来进行这些改进就需要计算和能源成本相当大。在这里，我们专注于数据集大小的错误缩放，并展示在理论和实践中如何超越幂律的扩展，并将其减少到指数缩放，如果我们可以访问高质量的数据修剪指标，以将顺序排名为应该丢弃哪些培训示例以实现任何修剪的数据集大小。然后，我们通过经验修剪的数据集大小来测试这一新的指数缩放预测，并且实际上观察到了在CIFAR-10，SVHN和Imagenet训练的重新NET上的功率定律缩放性能。鉴于找到高质量的修剪指标的重要性，我们对ImageNet上十个不同的数据修剪指标进行了第一个大规模的基准测试研究。我们发现大多数现有的高性能指标尺寸较差，而对于ImageNet来说，最佳尺度是计算密集型的，并且需要为每个图像标签。因此，我们开发了一种新的简单，便宜和可扩展的自我监督的修剪指标，该指标与最佳监督指标相当。总体而言，我们的工作表明，发现良好的数据指标可能会为可行的途径提供可行的途径，从而大大改善神经缩放法律，从而降低现代深度学习的资源成本。

学习存在于数据的背景下，但信心的概念通常集中在模型预测上，而不是标签质量上。自信学习（CL）是一种替代方法，它通过根据修剪嘈杂数据的原理来表征和识别数据集中的标签错误来重点关注标签质量，并使用概率阈值来估算噪声，并将示例排名以自信。尽管许多研究已经独立开发了这些原理，但在这里，我们将它们结合起来，建立在类似的噪声过程的基础上，以直接估计嘈杂（给定的）标签和未腐败（未知）标签之间的关节分布。这导致了广义的CL，该CL证明是一致且具有实验性能的。我们提供了足够的条件，CL准确地发现标签错误，并且CL性能超过了CIFAR数据集上使用嘈杂标签的七种近期学习方法。独特的是，CL框架不与特定的数据模式或模型耦合（例如，我们使用CL在假定的无错误MNIST数据集中查找几个标签错误，并在亚马逊评论中对文本数据进行改善的情感分类）。我们还使用Imagenet上的CL来量化本体论类重叠（例如，估计645个“导弹”图像被错误标记为其母体类“弹丸”），并通过清洁训练前清洁数据来提高模型准确性（例如，用于RESNET）。使用开源清洁行释放可以复制这些结果。

在给出深层神经网络成功的理论上说明的尝试中，最近的一项工作已经确定了所谓的“懒惰”制度，在该制度中，网络可以通过其围绕初始化的线性化来很好地近似。在这里，我们根据示例的难度研究了懒惰（线性）和特征学习（非线性）制度对示例子组的比较效应。具体而言，我们表明，在功能学习模式下给出了更容易的示例，与更困难的训练相比，训练更快。换句话说，非线性动力学倾向于顺序学习增加难度的示例。我们在不同的方式上说明了这种现象，以量化示例难度，包括C得分，标签噪声以及存在虚假相关性。我们的结果揭示了对深度网络在示例难度范围内如何优先资源的新理解。

人们通常认为，修剪网络不仅会降低深网的计算成本，而且还可以通过降低模型容量来防止过度拟合。但是，我们的工作令人惊讶地发现，网络修剪有时甚至会加剧过度拟合。我们报告了出乎意料的稀疏双后裔现象，随着我们通过网络修剪增加模型稀疏性，首先测试性能变得更糟（由于过度拟合），然后变得更好（由于过度舒适），并且终于变得更糟（由于忘记了有用的有用信息）。尽管最近的研究集中在模型过度参数化方面，但他们未能意识到稀疏性也可能导致双重下降。在本文中，我们有三个主要贡献。首先，我们通过广泛的实验报告了新型的稀疏双重下降现象。其次，对于这种现象，我们提出了一种新颖的学习距离解释，即$ \ ell_ {2} $稀疏模型的学习距离（从初始化参数到最终参数）可能与稀疏的双重下降曲线良好相关，并更好地反映概括比最小平坦。第三，在稀疏的双重下降的背景下，彩票票假设中的获胜票令人惊讶地并不总是赢。

在监督的机器学习中，使用正确的标签对于确保高精度非常重要。不幸的是，大多数数据集都包含损坏的标签。在此类数据集上训练的机器学习模型不能很好地概括。因此，检测其标签错误可以显着提高其功效。我们提出了一个名为CTRL的新型框架（标签错误检测的聚类训练损失），以检测多级数据集中的标签错误。它基于模型以不同方式学习干净和嘈杂的标签的观察结果，以两个步骤检测标签错误。首先，我们使用嘈杂的训练数据集训练神经网络，并为每个样本获得损失曲线。然后，我们将聚类算法应用于训练损失，将样本分为两类：已标记和噪声标记。标签误差检测后，我们删除带有嘈杂标签的样品并重新训练该模型。我们的实验结果表明，在模拟噪声下，图像（CIFAR-10和CIFAR-100和CIFAR-100）和表格数据集上的最新误差检测准确性。我们还使用理论分析来提供有关CTRL表现如此出色的见解。

深入学习的成功已归功于大量数据培训大量的过度公正模型。随着这种趋势的继续，模型培训已经过分昂贵，需要获得强大的计算系统来培训最先进的网络。一大堆研究已经致力于通过各种模型压缩技术解决训练的迭代的成本，如修剪和量化。花费较少的努力来定位迭代的数量。以前的工作，例如忘记得分和宏伟/ el2n分数，通过识别完整数据集中的重要样本并修剪剩余的样本来解决这个问题，从而减少每时代的迭代。虽然这些方法降低了训练时间，但它们在训练前使用昂贵的静态评分算法。在计入得分机制时，通常会增加总运行时间。在这项工作中，我们通过动态数据修剪算法解决了这种缺点。令人惊讶的是，我们发现均匀的随机动态修剪可以以积极的修剪速率更优于现有的工作。我们将其归因于存在“有时”样本 - 对学习决策边界很重要的点，只有一些培训时间。为了更好地利用有时样本的微妙性，我们提出了基于加强学习技术的两种算法，以动态修剪样本并实现比随机动态方法更高的准确性。我们针对全数据集基线和CIFAR-10和CIFAR-100上的先前工作测试所有方法，我们可以将培训时间降低到2倍，而无明显的性能损失。我们的结果表明，数据修剪应理解为与模型的训练轨迹密切相关的动态过程，而不是仅基于数据集的静态步骤。

最近的工作表明，不同体系结构的卷积神经网络学会按照相同的顺序对图像进行分类。为了理解这种现象，我们重新审视了过度参数的深度线性网络模型。我们的分析表明，当隐藏层足够宽时，该模型参数的收敛速率沿数据的较大主组件的方向呈指数级数，该方向由由相应的奇异值控制的速率。我们称这种收敛模式主成分偏差（PC偏置）。从经验上讲，我们展示了PC偏差如何简化线性和非线性网络的学习顺序，在学习的早期阶段更为突出。然后，我们将结果与简单性偏见进行比较，表明可以独立看到这两个偏见，并以不同的方式影响学习顺序。最后，我们讨论了PC偏差如何解释早期停止及其与PCA的联系的一些好处，以及为什么深网与随机标签更慢地收敛。

最近关于使用嘈杂标签的学习的研究通过利用小型干净数据集来显示出色的性能。特别是，基于模型不可知的元学习的标签校正方法进一步提高了性能，通过纠正了嘈杂的标签。但是，标签错误矫予没有保障措施，导致不可避免的性能下降。此外，每个训练步骤都需要至少三个背部传播，显着减慢训练速度。为了缓解这些问题，我们提出了一种强大而有效的方法，可以在飞行中学习标签转换矩阵。采用转换矩阵使分类器对所有校正样本持怀疑态度，这减轻了错误的错误问题。我们还介绍了一个双头架构，以便在单个反向传播中有效地估计标签转换矩阵，使得估计的矩阵紧密地遵循由标签校正引起的移位噪声分布。广泛的实验表明，我们的方法在训练效率方面表现出比现有方法相当或更好的准确性。

作为标签噪声，最受欢迎的分布变化之一，严重降低了深度神经网络的概括性能，具有嘈杂标签的强大训练正在成为现代深度学习中的重要任务。在本文中，我们提出了我们的框架，在子分类器（ALASCA）上创造了自适应标签平滑，该框架提供了具有理论保证和可忽略的其他计算的可靠特征提取器。首先，我们得出标签平滑（LS）会产生隐式Lipschitz正则化（LR）。此外，基于这些推导，我们将自适应LS（ALS）应用于子分类器架构上，以在中间层上的自适应LR的实际应用。我们对ALASCA进行了广泛的实验，并将其与以前的几个数据集上的噪声燃烧方法相结合，并显示我们的框架始终优于相应的基线。

Pruning refers to the elimination of trivial weights from neural networks. The sub-networks within an overparameterized model produced after pruning are often called Lottery tickets. This research aims to generate winning lottery tickets from a set of lottery tickets that can achieve similar accuracy to the original unpruned network. We introduce a novel winning ticket called Cyclic Overlapping Lottery Ticket (COLT) by data splitting and cyclic retraining of the pruned network from scratch. We apply a cyclic pruning algorithm that keeps only the overlapping weights of different pruned models trained on different data segments. Our results demonstrate that COLT can achieve similar accuracies (obtained by the unpruned model) while maintaining high sparsities. We show that the accuracy of COLT is on par with the winning tickets of Lottery Ticket Hypothesis (LTH) and, at times, is better. Moreover, COLTs can be generated using fewer iterations than tickets generated by the popular Iterative Magnitude Pruning (IMP) method. In addition, we also notice COLTs generated on large datasets can be transferred to small ones without compromising performance, demonstrating its generalizing capability. We conduct all our experiments on Cifar-10, Cifar-100 & TinyImageNet datasets and report superior performance than the state-of-the-art methods.

大量数据集上的培训机学习模型会产生大量的计算成本。为了减轻此类费用，已经持续努力开发数据有效的培训方法，这些方法可以仔细选择培训示例的子集，以概括为完整的培训数据。但是，现有方法在为在提取子集训练的模型的质量提供理论保证方面受到限制，并且在实践中的表现可能差。我们提出了Adacore，该方法利用数据的几何形状提取培训示例的子集以进行有效的机器学习。我们方法背后的关键思想是通过对Hessian的指数平均估计值动态近似损耗函数的曲率，以选择加权子集（核心），这些子集（核心）可提供与Hessian的完整梯度预处理的近似值。我们证明，对应用于Adacore选择的子集的各种一阶和二阶方法的收敛性有严格的保证。我们的广泛实验表明，与基准相比，ADACORE提取了质量更高的核心，并加快了对凸和非凸机学习模型的训练，例如逻辑回归和神经网络，超过2.9倍，超过4.5倍，而随机子集则超过4.5倍。 。

深度学习方法通​​过依靠极大的大量参数化神经网络来提供许多应用程序的最先进性能。但是，此类网络已被证明非常脆弱，并不能很好地概括为新用途案例，并且通常很难在资源有限的平台上部署。模型修剪，即减少网络的大小，是一种广泛采用的策略，可以导致更健壮和可推广的网络 - 通常较小的数量级，具有相同甚至改善的性能。尽管有许多用于修剪模型的启发式方法，但我们对修剪过程的理解仍然有限。实证研究表明，某些启发式方法可以改善性能，而另一些可以使模型更脆或具有其他副作用。这项工作旨在阐明不同的修剪方法如何改变网络的内部功能表示以及对模型性能的相应影响。为了提供模型特征空间的有意义的比较和表征，我们使用三个几何指标，这些指标是从共同采用的分类损失中分解的。使用这些指标，我们设计了一个可视化系统，以突出修剪对模型预测以及潜在功能嵌入的影响。所提出的工具为探索和研究修剪方法以及修剪和原始模型之间的差异提供了一个环境。通过利用我们的可视化，ML研究人员不仅可以识别模型修剪和数据损坏的样本，而且还可以获得有关某些修剪模型如何实现出色鲁棒性能的见解和解释。

在机器学习中，一个极大的兴趣问题是了解哪些示例对于模型进行分类是有挑战性的。确定非典型示例可确保模型的安全部署，隔离需要进一步检查的样本，并为模型行为提供解释性。在这项工作中，我们提出梯度（VOG）的差异为有价值和有效的度量，以通过难度对数据进行排名，并浮出水面最具挑战性的人类审计示例的可行子集。我们表明，对于模型而言，具有较高VOG分数的数据点要在损坏或记忆的示例上学习和过度索引。此外，将评估限制为具有最低VOG的测试集实例，可以改善模型的泛化性能。最后，我们证明VOG是分布外检测的有价值和有效的排名。

在最近的几项研究中已经显示了过度参数化在实现卓越概括性能方面的好处，证明了在实践中使用较大模型的趋势。然而，在强大的学习背景下，神经网络大小的影响尚未得到很好的研究。在这项工作中，我们发现，在大量错误标记的示例的存在下，将网络大小的增加超出某个点可能是有害的。特别是，当标签噪声增加时，最初是单调或“双重下降”测试损失曲线（W.R.T.网络宽度）变成U形或双U形曲线，这表明某些模型具有中等大小的模型实现了最佳的概括。我们观察到，当通过随机修剪通过密度控制网络大小时，观察到相似的测试损失行为。我们还通过偏置变化分解和理论上表征标签噪声塑造方差项的方式来仔细研究现象。即使采用最新的鲁棒方法，也可以观察到测试损失的类似行为，这表明限制网络大小可以进一步提高现有方法。最后，我们从经验上检查网络大小对学习函数平稳性的影响，并发现最初的大小和平滑度之间的负相关性是由标签噪声翻转的。

在许多情况下，更简单的模型比更复杂的模型更可取，并且该模型复杂性的控制是机器学习中许多方法的目标，例如正则化，高参数调整和体系结构设计。在深度学习中，很难理解复杂性控制的潜在机制，因为许多传统措施并不适合深度神经网络。在这里，我们开发了几何复杂性的概念，该概念是使用离散的dirichlet能量计算的模型函数变异性的量度。使用理论论据和经验结果的结合，我们表明，许多常见的训练启发式方法，例如参数规范正规化，光谱规范正则化，平稳性正则化，隐式梯度正则化，噪声正则化和参数初始化的选择，都可以控制几何学复杂性，并提供一个统一的框架，以表征深度学习模型的行为。

The behaviors of deep neural networks (DNNs) are notoriously resistant to human interpretations. In this paper, we propose Hypergradient Data Relevance Analysis, or HYDRA, which interprets the predictions made by DNNs as effects of their training data. Existing approaches generally estimate data contributions around the final model parameters and ignore how the training data shape the optimization trajectory. By unrolling the hypergradient of test loss w.r.t. the weights of training data, HYDRA assesses the contribution of training data toward test data points throughout the training trajectory. In order to accelerate computation, we remove the Hessian from the calculation and prove that, under moderate conditions, the approximation error is bounded. Corroborating this theoretical claim, empirical results indicate the error is indeed small. In addition, we quantitatively demonstrate that HYDRA outperforms influence functions in accurately estimating data contribution and detecting noisy data labels. The source code is available at https://github.com/cyyever/aaai_hydra_8686.

Deep neural networks (DNNs) have achieved tremendous success in a variety of applications across many disciplines. Yet, their superior performance comes with the expensive cost of requiring correctly annotated large-scale datasets. Moreover, due to DNNs' rich capacity, errors in training labels can hamper performance. To combat this problem, mean absolute error (MAE) has recently been proposed as a noise-robust alternative to the commonly-used categorical cross entropy (CCE) loss. However, as we show in this paper, MAE can perform poorly with DNNs and challenging datasets. Here, we present a theoretically grounded set of noise-robust loss functions that can be seen as a generalization of MAE and CCE. Proposed loss functions can be readily applied with any existing DNN architecture and algorithm, while yielding good performance in a wide range of noisy label scenarios. We report results from experiments conducted with CIFAR-10, CIFAR-100 and FASHION-MNIST datasets and synthetically generated noisy labels.