神经崩溃的概念是指在各种规范分类问题中经验观察到的几种新兴现象。在训练深度神经网络的终端阶段，同一类的所有示例的特征嵌入往往会崩溃为单一表示，而不同类别的特征往往会尽可能分开。通常通过简化的模型（称为无约束的特征表示）来研究神经崩溃，其中假定模型具有“无限表达性”，并且可以将每个数据点映射到任何任意表示。在这项工作中，我们提出了不受约束的功能表示的更现实的变体，该变体考虑到了网络的有限表达性。经验证据表明，嘈杂数据点的记忆导致神经崩溃的降解（扩张）。使用记忆 - 稀释（M-D）现象的模型，我们展示了一种机制，通过该机制，不同的损失导致嘈杂数据上受过训练的网络的不同性能。我们的证据揭示了为什么标签平滑性（经验观察到产生正则化效果的跨凝性的修改）导致分类任务的概括改善的原因。

当训练过度参数化的深网以进行分类任务时，已经广泛观察到，学到的功能表现出所谓的“神经崩溃”现象。更具体地说，对于倒数第二层的输出特征，对于每个类，课堂内特征会收敛到其平均值，而不同类别的手段表现出一定的紧密框架结构，这也与最后一层的分类器对齐。由于最后一层的特征归一化成为现代表示学习中的一种常见实践，因此，在这项工作中，我们从理论上证明了归一化特征的神经崩溃现象是合理的。基于不受约束的特征模型，我们通过限制球体上的所有特征和分类器来简化多级分类任务中的经验损失函数。在这种情况下，我们分析了riemannian优化问题在球体的产物上的非概念景观，从而显示出良性的全球景观，因为唯一的全球最小化器是神经崩溃的解决方案，而所有其他关键点是严格的鞍座。实用深网的实验结果证实了我们的理论，并证明可以通过特征归一化更快地学习更好的表示。

神经塌陷是指表征类嵌入和分类器重量的几何形状的显着结构特性，当经过零训练误差以外的训练时，深网被发现。但是，这种表征仅适用于平衡数据。因此，我们在这里询问是否可以使阶级失衡不变。为此，我们采用了不受限制的功能模型（UFM），这是一种用于研究神经塌陷的最新理论模型，并引入了单纯形编码标签的插值（SELI）作为神经崩溃现象的不变特征。具体而言，我们证明了UFM的跨凝结损失和消失的正则化，无论阶级失衡如何，嵌入和分类器总是插入单纯形编码的标签矩阵，并且其单个几何形状都由同一标签矩阵矩阵矩阵的SVD因子确定。然后，我们对合成和真实数据集进行了广泛的实验，这些实验确认了与SELI几何形状的收敛。但是，我们警告说，融合会随着不平衡的增加而恶化。从理论上讲，我们通过表明与平衡的情况不同，当存在少数民族时，山脊规范化在调整几何形状中起着至关重要的作用。这定义了新的问题，并激发了对阶级失衡对一阶方法融合其渐近优先解决方案的速率的影响的进一步研究。

训练深层神经网络进行分类任务的现代策略包括优化网络的权重，即使训练错误消失了，以进一步将训练损失推向零。最近，在此训练程序中凭经验观察到了一种称为“神经崩溃”（NC）的现象。具体而言，已经表明，课堂样品的学习特征（倒数第二层的输出）融合到它们的平均值，不同类别的平均值表现出一定的紧密框架结构，这也与最后一层的重量对齐。最近的论文表明，当使用正则化交叉渗透损失优化简化的“无约束特征模型”（UFM）时，具有这种结构的最小化。在本文中，我们进一步分析并扩展了UFM。首先，我们研究了正规化MSE损失的UFM，并表明最小化器的特征比在跨膜片情况下具有更精致的结构。这也影响了权重的结构。然后，我们通过向模型添加另一层权重以及依赖非线性来扩展UFM并概括我们先前的结果。最后，我们从经验上证明了非线性扩展UFM在对实用网络发生的NC现象进行建模时的实用性。

随着Papyan等人最近对“神经崩溃（NC）”现象的观察，已经采取了各种努力来对其进行建模和分析。神经崩溃描述，在深层分类器网络中，与训练数据相关的最终隐藏层的类特征倾向于崩溃到各自的类功能均值。因此，将最后一层分类器的行为简化为最近级中心决策规则的行为。在这项工作中，我们分析了有助于从头开始对这种现象进行建模的原理，并展示他们如何建立对试图解释NC的最近提出的模型的共同理解。我们希望我们的分析对建模NC和有助于与神经网络的概括能力建立联系的多方面观点。最后，我们通过讨论进一步研究的途径并提出潜在的研究问题来得出结论。

深入学习在现代分类任务中取得了许多突破。已经提出了众多架构用于不同的数据结构，但是当涉及丢失功能时，跨熵损失是主要的选择。最近，若干替代损失已经看到了深度分类器的恢复利益。特别是，经验证据似乎促进了方形损失，但仍然缺乏理论效果。在这项工作中，我们通过系统地研究了在神经切线内核（NTK）制度中的过度分化的神经网络的表现方式来促进对分类方面损失的理论理解。揭示了关于泛化误差，鲁棒性和校准错误的有趣特性。根据课程是否可分离，我们考虑两种情况。在一般的不可分类案例中，为错误分类率和校准误差建立快速收敛速率。当类是可分离的时，错误分类率改善了速度快。此外，经过证明得到的余量被证明是低于零的较低，提供了鲁棒性的理论保证。我们希望我们的调查结果超出NTK制度并转化为实际设置。为此，我们对实际神经网络进行广泛的实证研究，展示了合成低维数据和真实图像数据中方损的有效性。与跨熵相比，方形损耗具有可比的概括误差，但具有明显的鲁棒性和模型校准的优点。

作为标签噪声，最受欢迎的分布变化之一，严重降低了深度神经网络的概括性能，具有嘈杂标签的强大训练正在成为现代深度学习中的重要任务。在本文中，我们提出了我们的框架，在子分类器（ALASCA）上创造了自适应标签平滑，该框架提供了具有理论保证和可忽略的其他计算的可靠特征提取器。首先，我们得出标签平滑（LS）会产生隐式Lipschitz正则化（LR）。此外，基于这些推导，我们将自适应LS（ALS）应用于子分类器架构上，以在中间层上的自适应LR的实际应用。我们对ALASCA进行了广泛的实验，并将其与以前的几个数据集上的噪声燃烧方法相结合，并显示我们的框架始终优于相应的基线。

We introduce a tunable loss function called $\alpha$-loss, parameterized by $\alpha \in (0,\infty]$, which interpolates between the exponential loss ($\alpha = 1/2$), the log-loss ($\alpha = 1$), and the 0-1 loss ($\alpha = \infty$), for the machine learning setting of classification. Theoretically, we illustrate a fundamental connection between $\alpha$-loss and Arimoto conditional entropy, verify the classification-calibration of $\alpha$-loss in order to demonstrate asymptotic optimality via Rademacher complexity generalization techniques, and build-upon a notion called strictly local quasi-convexity in order to quantitatively characterize the optimization landscape of $\alpha$-loss. Practically, we perform class imbalance, robustness, and classification experiments on benchmark image datasets using convolutional-neural-networks. Our main practical conclusion is that certain tasks may benefit from tuning $\alpha$-loss away from log-loss ($\alpha = 1$), and to this end we provide simple heuristics for the practitioner. In particular, navigating the $\alpha$ hyperparameter can readily provide superior model robustness to label flips ($\alpha > 1$) and sensitivity to imbalanced classes ($\alpha < 1$).

尽管过度参数化的模型已经在许多机器学习任务上表现出成功，但与培训不同的测试分布的准确性可能会下降。这种准确性下降仍然限制了在野外应用机器学习的限制。同时，重要的加权是一种处理分配转移的传统技术，已被证明在经验和理论上对过度参数化模型的影响较小甚至没有影响。在本文中，我们提出了重要的回火来改善决策界限，并为过度参数化模型取得更好的结果。从理论上讲，我们证明在标签移位和虚假相关设置下，组温度的选择可能不同。同时，我们还证明正确选择的温度可以解脱出少数群体崩溃的分类不平衡。从经验上讲，我们使用重要性回火来实现最严重的小组分类任务的最新结果。

我们开发了快速算法和可靠软件，以凸出具有Relu激活功能的两层神经网络的凸优化。我们的工作利用了标准的重量罚款训练问题作为一组组-YELL_1 $调查的数据本地模型的凸重新印度，其中局部由多面体锥体约束强制执行。在零规范化的特殊情况下，我们表明此问题完全等同于凸“ Gated Relu”网络的不受约束的优化。对于非零正则化的问题，我们表明凸面式relu模型获得了RELU训练问题的数据依赖性近似范围。为了优化凸的重新制定，我们开发了一种加速的近端梯度方法和实用的增强拉格朗日求解器。我们表明，这些方法比针对非凸问题（例如SGD）和超越商业内部点求解器的标准训练启发式方法要快。在实验上，我们验证了我们的理论结果，探索组-ELL_1 $正则化路径，并对神经网络进行比例凸的优化，以在MNIST和CIFAR-10上进行图像分类。

我们研究了基础模型的能力，以了解可转让给新的看不见的课程的分类的表现。文献中最近的结果表明，单个分类器在许多课程中学到的表示在少量学习问题上具有竞争力，这些问题是由专为这些问题设计的特殊用途算法学习的表示。在本文中，我们基于最近观察到的现象提供了对这种行为的解释，即通过共同计量的分类网络学习的特征显示有趣的聚类属性，称为神经崩溃。理论上，我们在理论上展示了神经崩溃的展示给来自培训类的新样本，更重要的是 - 对于新课程，允许基础模型提供在转移学习中良好工作的特征地图，具体地，少量拍摄设置。

Modern deep neural networks have achieved superhuman performance in tasks from image classification to game play. Surprisingly, these various complex systems with massive amounts of parameters exhibit the same remarkable structural properties in their last-layer features and classifiers across canonical datasets. This phenomenon is known as "Neural Collapse," and it was discovered empirically by Papyan et al. \cite{Papyan20}. Recent papers have theoretically shown the global solutions to the training network problem under a simplified "unconstrained feature model" exhibiting this phenomenon. We take a step further and prove the Neural Collapse occurrence for deep linear network for the popular mean squared error (MSE) and cross entropy (CE) loss. Furthermore, we extend our research to imbalanced data for MSE loss and present the first geometric analysis for Neural Collapse under this setting.

最近，与培训样本相比，具有越来越多的网络参数的过度参数深度网络主导了现代机器学习的性能。但是，当培训数据被损坏时，众所周知，过度参数化的网络往往会过度合适并且不会概括。在这项工作中，我们提出了一种有原则的方法，用于在分类任务中对过度参数的深层网络进行强有力的培训，其中一部分培训标签被损坏。主要想法还很简单：标签噪声与从干净的数据中学到的网络稀疏且不一致，因此我们对噪声进行建模并学会将其与数据分开。具体而言，我们通过另一个稀疏的过度参数术语对标签噪声进行建模，并利用隐式算法正规化来恢复和分离基础损坏。值得注意的是，当在实践中使用如此简单的方法培训时，我们证明了针对各种真实数据集上标签噪声的最新测试精度。此外，我们的实验结果通过理论在简化的线性模型上证实，表明在不连贯的条件下稀疏噪声和低级别数据之间的精确分离。这项工作打开了许多有趣的方向，可以使用稀疏的过度参数化和隐式正则化来改善过度参数化模型。

我们证明了由例如He等人提出的广泛使用的方法。（2015年）并使用梯度下降对最小二乘损失进行训练并不普遍。具体而言，我们描述了一大批一维数据生成分布，较高的概率下降只会发现优化景观的局部最小值不好，因为它无法将其偏离偏差远离其初始化，以零移动。。事实证明，在这些情况下，即使目标函数是非线性的，发现的网络也基本执行线性回归。我们进一步提供了数值证据，表明在实际情况下，对于某些多维分布而发生这种情况，并且随机梯度下降表现出相似的行为。我们还提供了有关初始化和优化器的选择如何影响这种行为的经验结果。

当我们扩大数据集，模型尺寸和培训时间时，深入学习方法的能力中存在越来越多的经验证据。尽管有一些关于这些资源如何调节统计能力的说法，但对它们对模型培训的计算问题的影响知之甚少。这项工作通过学习$ k $ -sparse $ n $ bits的镜头进行了探索，这是一个构成理论计算障碍的规范性问题。在这种情况下，我们发现神经网络在扩大数据集大小和运行时间时会表现出令人惊讶的相变。特别是，我们从经验上证明，通过标准培训，各种体系结构以$ n^{o（k）} $示例学习稀疏的平等，而损失（和错误）曲线在$ n^{o（k）}后突然下降。 $迭代。这些积极的结果几乎匹配已知的SQ下限，即使没有明确的稀疏性先验。我们通过理论分析阐明了这些现象的机制：我们发现性能的相变不到SGD“在黑暗中绊倒”，直到它找到了隐藏的特征集（自然算法也以$ n^中的方式运行{o（k）} $ time）;取而代之的是，我们表明SGD逐渐扩大了人口梯度的傅立叶差距。

在许多情况下，更简单的模型比更复杂的模型更可取，并且该模型复杂性的控制是机器学习中许多方法的目标，例如正则化，高参数调整和体系结构设计。在深度学习中，很难理解复杂性控制的潜在机制，因为许多传统措施并不适合深度神经网络。在这里，我们开发了几何复杂性的概念，该概念是使用离散的dirichlet能量计算的模型函数变异性的量度。使用理论论据和经验结果的结合，我们表明，许多常见的训练启发式方法，例如参数规范正规化，光谱规范正则化，平稳性正则化，隐式梯度正则化，噪声正则化和参数初始化的选择，都可以控制几何学复杂性，并提供一个统一的框架，以表征深度学习模型的行为。

这项工作表征了深度对线性回归优化景观的影响，表明尽管具有非凸性，但更深的模型具有更理想的优化景观。我们考虑了一个健壮且过度参数化的设置，其中测量的子集严重损坏了噪声，真正的线性模型将通过$ n $ layer-layer线性神经网络捕获。在负面方面，我们表明这个问题\ textit {do}具有良性景观：给定任何$ n \ geq 1 $，具有恒定概率，存在与既不是本地也不是全局最小值的地面真理的解决方案。但是，从积极的一面来看，我们证明，对于具有$ n \ geq 2 $的任何$ n $ layer模型，一种简单的次级方法变得忽略了这种``有问题的''解决方案；取而代之的是，它收敛于平衡的解决方案，该解决方案不仅接近地面真理，而且享有平坦的当地景观，从而避免了“早期停止”的需求。最后，我们从经验上验证了更深层模型的理想优化格局扩展到其他强大的学习任务，包括具有$ \ ell_1 $ -loss的深层矩阵恢复和深度relu网络。

标签 - 不平衡和组敏感分类中的目标是优化相关的指标，例如平衡错误和相同的机会。经典方法，例如加权交叉熵，在训练深网络到训练（TPT）的终端阶段时，这是超越零训练误差的训练。这种观察发生了最近在促进少数群体更大边值的直观机制之后开发启发式替代品的动力。与之前的启发式相比，我们遵循原则性分析，说明不同的损失调整如何影响边距。首先，我们证明，对于在TPT中训练的所有线性分类器，有必要引入乘法，而不是添加性的Logit调整，以便对杂项边缘进行适当的变化。为了表明这一点，我们发现将乘法CE修改的连接到成本敏感的支持向量机。也许是违反，我们还发现，在培训开始时，相同的乘法权重实际上可以损害少数群体。因此，虽然在TPT中，添加剂调整无效，但我们表明它们可以通过对乘法重量的初始负效应进行抗衡来加速会聚。通过这些发现的动机，我们制定了矢量缩放（VS）丢失，即捕获现有技术作为特殊情况。此外，我们引入了对群体敏感分类的VS损失的自然延伸，从而以统一的方式处理两种常见类型的不平衡（标签/组）。重要的是，我们对最先进的数据集的实验与我们的理论见解完全一致，并确认了我们算法的卓越性能。最后，对于不平衡的高斯 - 混合数据，我们执行泛化分析，揭示平衡/标准错误和相同机会之间的权衡。

标签平滑（LS）是一种出现的学习范式，它使用硬训练标签和均匀分布的软标签的正加权平均值。结果表明，LS是带有硬标签的训练数据的常规器，因此改善了模型的概括。后来，据报道，LS甚至有助于用嘈杂的标签学习时改善鲁棒性。但是，我们观察到，当我们以高标签噪声状态运行时，LS的优势就会消失。从直觉上讲，这是由于$ \ mathbb {p}的熵增加（\ text {noisy label} | x）$当噪声速率很高时，在这种情况下，进一步应用LS会倾向于“超平滑”估计后部。我们开始发现，文献中的几种学习与噪声标签的解决方案相反，与负面/不标签平滑（NLS）更紧密地关联，它们与LS相反，并将其定义为使用负重量来结合硬和软标签呢我们在使用嘈杂标签学习时对LS和NLS的性质提供理解。在其他已建立的属性中，我们从理论上表明，当标签噪声速率高时，NLS被认为更有益。我们在多个基准测试中提供了广泛的实验结果，以支持我们的发现。代码可在https://github.com/ucsc-real/negative-label-smooth上公开获取。

我们研究由SGD的变体训练的Relu神经网络的隐式偏置，其中在每个步骤中，标签以概率$ P $更改为随机标签（标记平滑是该过程的关闭变体）。我们的实验表明，标签噪声在以下意义上推动网络到稀疏解决方案：对于典型的输入，一小部分神经元是有效的，并且隐藏层的烧制图案是稀疏的。实际上，对于某些情况，适当的标签噪声不仅缩小网络，而且还减少了测试错误。然后，我们转向这些稀疏机制的理论分析，重点关注$ p = 1 $的极值案例。我们展示在这种情况下，网络沿着实验预期，但令人惊讶的是，以不同的方式依赖于学习率和偏见的存在，有重量消失或释放的神经元。