当训练过度参数化的深网以进行分类任务时，已经广泛观察到，学到的功能表现出所谓的“神经崩溃”现象。更具体地说，对于倒数第二层的输出特征，对于每个类，课堂内特征会收敛到其平均值，而不同类别的手段表现出一定的紧密框架结构，这也与最后一层的分类器对齐。由于最后一层的特征归一化成为现代表示学习中的一种常见实践，因此，在这项工作中，我们从理论上证明了归一化特征的神经崩溃现象是合理的。基于不受约束的特征模型，我们通过限制球体上的所有特征和分类器来简化多级分类任务中的经验损失函数。在这种情况下，我们分析了riemannian优化问题在球体的产物上的非概念景观，从而显示出良性的全球景观，因为唯一的全球最小化器是神经崩溃的解决方案，而所有其他关键点是严格的鞍座。实用深网的实验结果证实了我们的理论，并证明可以通过特征归一化更快地学习更好的表示。

Modern deep neural networks have achieved superhuman performance in tasks from image classification to game play. Surprisingly, these various complex systems with massive amounts of parameters exhibit the same remarkable structural properties in their last-layer features and classifiers across canonical datasets. This phenomenon is known as "Neural Collapse," and it was discovered empirically by Papyan et al. \cite{Papyan20}. Recent papers have theoretically shown the global solutions to the training network problem under a simplified "unconstrained feature model" exhibiting this phenomenon. We take a step further and prove the Neural Collapse occurrence for deep linear network for the popular mean squared error (MSE) and cross entropy (CE) loss. Furthermore, we extend our research to imbalanced data for MSE loss and present the first geometric analysis for Neural Collapse under this setting.

神经崩溃的概念是指在各种规范分类问题中经验观察到的几种新兴现象。在训练深度神经网络的终端阶段，同一类的所有示例的特征嵌入往往会崩溃为单一表示，而不同类别的特征往往会尽可能分开。通常通过简化的模型（称为无约束的特征表示）来研究神经崩溃，其中假定模型具有“无限表达性”，并且可以将每个数据点映射到任何任意表示。在这项工作中，我们提出了不受约束的功能表示的更现实的变体，该变体考虑到了网络的有限表达性。经验证据表明，嘈杂数据点的记忆导致神经崩溃的降解（扩张）。使用记忆 - 稀释（M-D）现象的模型，我们展示了一种机制，通过该机制，不同的损失导致嘈杂数据上受过训练的网络的不同性能。我们的证据揭示了为什么标签平滑性（经验观察到产生正则化效果的跨凝性的修改）导致分类任务的概括改善的原因。

神经塌陷是指表征类嵌入和分类器重量的几何形状的显着结构特性，当经过零训练误差以外的训练时，深网被发现。但是，这种表征仅适用于平衡数据。因此，我们在这里询问是否可以使阶级失衡不变。为此，我们采用了不受限制的功能模型（UFM），这是一种用于研究神经塌陷的最新理论模型，并引入了单纯形编码标签的插值（SELI）作为神经崩溃现象的不变特征。具体而言，我们证明了UFM的跨凝结损失和消失的正则化，无论阶级失衡如何，嵌入和分类器总是插入单纯形编码的标签矩阵，并且其单个几何形状都由同一标签矩阵矩阵矩阵的SVD因子确定。然后，我们对合成和真实数据集进行了广泛的实验，这些实验确认了与SELI几何形状的收敛。但是，我们警告说，融合会随着不平衡的增加而恶化。从理论上讲，我们通过表明与平衡的情况不同，当存在少数民族时，山脊规范化在调整几何形状中起着至关重要的作用。这定义了新的问题，并激发了对阶级失衡对一阶方法融合其渐近优先解决方案的速率的影响的进一步研究。

随着科学和工程的越来越多的数据驱动，优化的作用已经扩展到几乎触及数据分析管道的每个阶段，从信号和数据获取到建模和预测。实践中遇到的优化问题通常是非convex。尽管挑战因问题而异，但非概念性的一个共同来源是数据或测量模型中的非线性。非线性模型通常表现出对称性，创建具有多种等效解决方案的复杂，非凸客观的景观。然而，简单的方法（例如，梯度下降）在实践中通常表现出色。这项调查的目的是突出一类可进行的非概念问题，可以通过对称性的镜头来理解。这些问题表现出特征性的几何结构：局部最小化是单个“地面真实”解决方案的对称副本，而其他关键点出现在地面真理的对称副本的平衡叠加上，并在破坏对称性的方向上表现出负曲率。该结构使有效的方法获得了全局最小化。我们讨论了由于成像，信号处理和数据分析中广泛的问题而引起的这种现象的示例。我们强调了对称性在塑造客观景观中的关键作用，并讨论旋转和离散对称性的不同作用。该区域充满了观察到的现象和开放问题。我们通过强调未来研究的方向结束。

随着Papyan等人最近对“神经崩溃（NC）”现象的观察，已经采取了各种努力来对其进行建模和分析。神经崩溃描述，在深层分类器网络中，与训练数据相关的最终隐藏层的类特征倾向于崩溃到各自的类功能均值。因此，将最后一层分类器的行为简化为最近级中心决策规则的行为。在这项工作中，我们分析了有助于从头开始对这种现象进行建模的原理，并展示他们如何建立对试图解释NC的最近提出的模型的共同理解。我们希望我们的分析对建模NC和有助于与神经网络的概括能力建立联系的多方面观点。最后，我们通过讨论进一步研究的途径并提出潜在的研究问题来得出结论。

训练深层神经网络进行分类任务的现代策略包括优化网络的权重，即使训练错误消失了，以进一步将训练损失推向零。最近，在此训练程序中凭经验观察到了一种称为“神经崩溃”（NC）的现象。具体而言，已经表明，课堂样品的学习特征（倒数第二层的输出）融合到它们的平均值，不同类别的平均值表现出一定的紧密框架结构，这也与最后一层的重量对齐。最近的论文表明，当使用正则化交叉渗透损失优化简化的“无约束特征模型”（UFM）时，具有这种结构的最小化。在本文中，我们进一步分析并扩展了UFM。首先，我们研究了正规化MSE损失的UFM，并表明最小化器的特征比在跨膜片情况下具有更精致的结构。这也影响了权重的结构。然后，我们通过向模型添加另一层权重以及依赖非线性来扩展UFM并概括我们先前的结果。最后，我们从经验上证明了非线性扩展UFM在对实用网络发生的NC现象进行建模时的实用性。

深入学习在现代分类任务中取得了许多突破。已经提出了众多架构用于不同的数据结构，但是当涉及丢失功能时，跨熵损失是主要的选择。最近，若干替代损失已经看到了深度分类器的恢复利益。特别是，经验证据似乎促进了方形损失，但仍然缺乏理论效果。在这项工作中，我们通过系统地研究了在神经切线内核（NTK）制度中的过度分化的神经网络的表现方式来促进对分类方面损失的理论理解。揭示了关于泛化误差，鲁棒性和校准错误的有趣特性。根据课程是否可分离，我们考虑两种情况。在一般的不可分类案例中，为错误分类率和校准误差建立快速收敛速率。当类是可分离的时，错误分类率改善了速度快。此外，经过证明得到的余量被证明是低于零的较低，提供了鲁棒性的理论保证。我们希望我们的调查结果超出NTK制度并转化为实际设置。为此，我们对实际神经网络进行广泛的实证研究，展示了合成低维数据和真实图像数据中方损的有效性。与跨熵相比，方形损耗具有可比的概括误差，但具有明显的鲁棒性和模型校准的优点。

尽管过度参数化的模型已经在许多机器学习任务上表现出成功，但与培训不同的测试分布的准确性可能会下降。这种准确性下降仍然限制了在野外应用机器学习的限制。同时，重要的加权是一种处理分配转移的传统技术，已被证明在经验和理论上对过度参数化模型的影响较小甚至没有影响。在本文中，我们提出了重要的回火来改善决策界限，并为过度参数化模型取得更好的结果。从理论上讲，我们证明在标签移位和虚假相关设置下，组温度的选择可能不同。同时，我们还证明正确选择的温度可以解脱出少数群体崩溃的分类不平衡。从经验上讲，我们使用重要性回火来实现最严重的小组分类任务的最新结果。

成功的深度学习模型往往涉及培训具有比训练样本数量更多的参数的神经网络架构。近年来已经广泛研究了这种超分子化的模型，并且通过双下降现象和通过优化景观的结构特性，从统计的角度和计算视角都建立了过分统计化的优点。尽管在过上分层的制度中深入学习架构的显着成功，但也众所周知，这些模型对其投入中的小对抗扰动感到高度脆弱。即使在普遍培训的情况下，它们在扰动输入（鲁棒泛化）上的性能也会比良性输入（标准概括）的最佳可达到的性能更糟糕。因此，必须了解如何从根本上影响稳健性的情况下如何影响鲁棒性。在本文中，我们将通过专注于随机特征回归模型（具有随机第一层权重的两层神经网络）来提供超分度化对鲁棒性的作用的精确表征。我们考虑一个制度，其中样本量，输入维度和参数的数量彼此成比例地生长，并且当模型发生前列地训练时，可以为鲁棒泛化误差导出渐近精确的公式。我们的发达理论揭示了过分统计化对鲁棒性的非竞争效果，表明对于普遍训练的随机特征模型，高度公正化可能会损害鲁棒泛化。

最近，与培训样本相比，具有越来越多的网络参数的过度参数深度网络主导了现代机器学习的性能。但是，当培训数据被损坏时，众所周知，过度参数化的网络往往会过度合适并且不会概括。在这项工作中，我们提出了一种有原则的方法，用于在分类任务中对过度参数的深层网络进行强有力的培训，其中一部分培训标签被损坏。主要想法还很简单：标签噪声与从干净的数据中学到的网络稀疏且不一致，因此我们对噪声进行建模并学会将其与数据分开。具体而言，我们通过另一个稀疏的过度参数术语对标签噪声进行建模，并利用隐式算法正规化来恢复和分离基础损坏。值得注意的是，当在实践中使用如此简单的方法培训时，我们证明了针对各种真实数据集上标签噪声的最新测试精度。此外，我们的实验结果通过理论在简化的线性模型上证实，表明在不连贯的条件下稀疏噪声和低级别数据之间的精确分离。这项工作打开了许多有趣的方向，可以使用稀疏的过度参数化和隐式正则化来改善过度参数化模型。

With the ever-growing model size and the limited availability of labeled training data, transfer learning has become an increasingly popular approach in many science and engineering domains. For classification problems, this work delves into the mystery of transfer learning through an intriguing phenomenon termed neural collapse (NC), where the last-layer features and classifiers of learned deep networks satisfy: (i) the within-class variability of the features collapses to zero, and (ii) the between-class feature means are maximally and equally separated. Through the lens of NC, our findings for transfer learning are the following: (i) when pre-training models, preventing intra-class variability collapse (to a certain extent) better preserves the intrinsic structures of the input data, so that it leads to better model transferability; (ii) when fine-tuning models on downstream tasks, obtaining features with more NC on downstream data results in better test accuracy on the given task. The above results not only demystify many widely used heuristics in model pre-training (e.g., data augmentation, projection head, self-supervised learning), but also leads to more efficient and principled fine-tuning method on downstream tasks that we demonstrate through extensive experimental results.

在本文中，我们研究了学习最适合培训数据集的浅层人工神经网络的问题。我们在过度参数化的制度中研究了这个问题，在该制度中，观测值的数量少于模型中的参数数量。我们表明，通过二次激活，训练的优化景观这种浅神经网络具有某些有利的特征，可以使用各种局部搜索启发式方法有效地找到全球最佳模型。该结果适用于输入/输出对的任意培训数据。对于可区分的激活函数，我们还表明，适当初始化的梯度下降以线性速率收敛到全球最佳模型。该结果着重于选择输入的可实现模型。根据高斯分布和标签是根据种植的重量系数生成的。

这项工作表征了深度对线性回归优化景观的影响，表明尽管具有非凸性，但更深的模型具有更理想的优化景观。我们考虑了一个健壮且过度参数化的设置，其中测量的子集严重损坏了噪声，真正的线性模型将通过$ n $ layer-layer线性神经网络捕获。在负面方面，我们表明这个问题\ textit {do}具有良性景观：给定任何$ n \ geq 1 $，具有恒定概率，存在与既不是本地也不是全局最小值的地面真理的解决方案。但是，从积极的一面来看，我们证明，对于具有$ n \ geq 2 $的任何$ n $ layer模型，一种简单的次级方法变得忽略了这种``有问题的''解决方案；取而代之的是，它收敛于平衡的解决方案，该解决方案不仅接近地面真理，而且享有平坦的当地景观，从而避免了“早期停止”的需求。最后，我们从经验上验证了更深层模型的理想优化格局扩展到其他强大的学习任务，包括具有$ \ ell_1 $ -loss的深层矩阵恢复和深度relu网络。

本文研究了关于Riemannian流形的大规模优化问题，其目标函数是负面概要损失的有限总和。这些问题在各种机器学习和信号处理应用中出现。通过在歧管环境中引入Fisher信息矩阵的概念，我们提出了一种新型的Riemannian自然梯度方法，可以将其视为自然梯度方法的自然扩展，从欧几里得环境到歧管设置。我们在标准假设下建立了我们提出的方法的几乎纯净的全球融合。此外，我们表明，如果损失函数满足某些凸度和平稳性条件，并且输入输出图满足了雅各布稳定条件，那么我们提出的方法享有局部线性 - 或在Riemannian jacobian的Lipschitz连续性下，输入输出图，甚至二次 - 收敛速率。然后，我们证明，如果网络的宽度足够大，则可以通过具有批归归量的两层完全连接的神经网络来满足Riemannian Jacobian稳定性条件。这证明了我们的收敛率结果的实际相关性。对机器学习产生的应用的数值实验证明了该方法比最先进的方法的优势。

我们研究无限制的黎曼优化的免投影方法。特别是，我们提出了黎曼弗兰克 - 沃尔夫（RFW）方法。我们将RFW的非渐近收敛率分析为最佳（高音）凸起问题，以及非凸起目标的临界点。我们还提出了一种实用的设置，其中RFW可以获得线性收敛速度。作为一个具体的例子，我们将RFW专用于正定矩阵的歧管，并将其应用于两个任务：（i）计算矩阵几何平均值（riemannian质心）; （ii）计算Bures-Wasserstein重心。这两个任务都涉及大量凸间间隔约束，为此，我们表明RFW要求的Riemannian“线性”Oracle承认了闭合形式的解决方案;该结果可能是独立的兴趣。我们进一步专门从事RFW到特殊正交组，并表明这里也可以以封闭形式解决riemannian“线性”甲骨文。在这里，我们描述了数据矩阵同步的应用程序（促使问题）。我们补充了我们的理论结果，并对RFW对最先进的riemananian优化方法进行了实证比较，并观察到RFW竞争性地对计算黎曼心质的任务进行竞争性。

引入了归一化层（例如，批处理归一化，层归一化），以帮助在非常深的网中获得优化困难，但它们显然也有助于概括，即使在不太深入的网中也是如此。由于长期以来的信念，即最小的最小值导致更好的概括，本文提供了数学分析和支持实验，这表明归一化（与伴随的重量赛一起）鼓励GD降低损失表面的清晰度。鉴于损失是标准不变的，这是标准化的已知结果，因此仔细地定义了“清晰度”。具体而言，对于具有归一化的相当广泛的神经网类，我们的理论解释了有限学习率的GD如何进入所谓的稳定边缘（EOS）制度，并通过连续的清晰度来表征GD的轨迹 - 还原流。

在本文中，我们通过推断在歧管上的迭代来提出一种简单的加速度方案，用于利曼梯度方法。我们显示何时从Riemannian梯度下降法生成迭代元素，加速方案是渐近地达到最佳收敛速率，并且比最近提出的Riemannian Nesterov加速梯度方法在计算上更有利。我们的实验验证了新型加速策略的实际好处。

噪声对比度估计的最新研究表明，从经验上讲，从理论上讲，尽管在对比度损失中拥有更多的“负样本”，但最初在阈值中提高了下游分类的性能，但由于“碰撞覆盖“贸易”，它都会损害下游性能-离开。但是，对比度学习中固有的现象是如此吗？我们在一个简单的理论环境中显示，通过从基础潜在类采样（由Saunshi等人引入（ICML 2019）），产生正对，表明表示（人口）对比度损失的下游性能实际上确实确实确实如此。不会随着负样本的数量降低。一路上，我们在框架中给出了最佳表示形式的结构表征，以进行噪声对比估计。我们还为CIFAR-10和CIFAR-100数据集的理论结果提供了经验支持。

批准方法，例如批处理[Ioffe和Szegedy，2015]，体重[Salimansand Kingma，2016]，实例[Ulyanov等，2016]和层归一化[Baet al。，2016]已广泛用于现代机器学习中。在这里，我们研究了体重归一化方法（WN）方法[Salimans和Kingma，2016年]，以及一种称为重扎式投影梯度下降（RPGD）的变体，用于过多散热性最小二乘回归。 WN和RPGD用比例G和一个单位向量W重新绘制权重，因此目标函数变为非convex。我们表明，与原始目标的梯度下降相比，这种非凸式配方具有有益的正则化作用。这些方法适应性地使重量正规化并收敛于最小L2规范解决方案，即使初始化远非零。对于G和W的某些步骤，我们表明它们可以收敛于最小规范解决方案。这与梯度下降的行为不同，梯度下降的行为仅在特征矩阵范围内的一个点开始时才收敛到最小规范解，因此对初始化更敏感。