“良性过度装备”，分类器记住嘈杂的培训数据仍然达到良好的概括性表现，在机器学习界造成了很大的关注。为了解释这种令人惊讶的现象，一系列作品在过度参数化的线性回归，分类和内核方法中提供了理论典范。然而，如果在对逆势实例存在下仍发生良性的过度，则尚不清楚，即欺骗分类器的微小和有意的扰动的例子。在本文中，我们表明，良性过度确实发生在对抗性培训中，是防御对抗性实例的原则性的方法。详细地，我们证明了在$ \ ell_p $普发的扰动下的子高斯数据的混合中的普遍培训的线性分类器的风险限制。我们的结果表明，在中度扰动下，尽管过度禁止嘈杂的培训数据，所以发生前列训练的线性分类器可以实现近乎最佳的标准和对抗性风险。数值实验验证了我们的理论发现。

现代神经网络通常具有很大的表现力，并且可以接受训练以使培训数据过高，同时仍能达到良好的测试性能。这种现象被称为“良性过度拟合”。最近，从理论角度出现了一系列研究“良性过度拟合”的作品。但是，它们仅限于线性模型或内核/随机特征模型，并且仍然缺乏关于何时以及如何在神经网络中发生过度拟合的理论理解。在本文中，我们研究了训练两层卷积神经网络（CNN）的良性过度拟合现象。我们表明，当信噪比满足一定条件时，通过梯度下降训练的两层CNN可以实现任意小的训练和测试损失。另一方面，当这种情况无法成立时，过度拟合就会有害，并且获得的CNN只能实现恒定的测试损失。这些共同证明了由信噪比驱动的良性过度拟合和有害过度拟合之间的急剧过渡。据我们所知，这是第一部精确地表征良性过度拟合在训练卷积神经网络中的条件的工作。

良性过度拟合，即插值模型在存在嘈杂数据的情况下很好地推广的现象，首先是在接受梯度下降训练的神经网络模型中观察到的。为了更好地理解这一经验观察，我们考虑了通过梯度下降训练的两层神经网络的概括误差，后者是随机初始化后的逻辑损失。我们假设数据来自分离良好的集体条件对数符合分布，并允许训练标签的持续部分被对手损坏。我们表明，在这种情况下，神经网络表现出良性过度拟合：它们可以驱动到零训练错误，完美拟合所有嘈杂的训练标签，并同时达到最小值最佳测试错误。与以前需要线性或基于内核预测的良性过度拟合的工作相反，我们的分析在模型和学习动力学基本上是非线性的环境中。

深度神经网络等现代机器学习系统通常高度参数化，以便它们可以完全符合嘈杂的培训数据，但它们仍然可以在实践中实现小的测试错误。在本文中，我们研究了线性分类问题的最大边缘分类器的“良性过度装备”现象。具体地，我们考虑从子高斯混合系统生成的数据，并为过参数化设置中的最大边距线性分类器提供紧密的风险。我们的结果精确地表征了线性分类问题中可能发生良性过度的条件，并改善以前的工作。它们也对过度参数化的逻辑回归有直接影响。

许多最近的作品表明，过度分辨率隐含地降低了MIN-NORM Interpolator和Max-Maxifiers的方差。这些调查结果表明，RIDGE正则化在高维度下具有消失的益处。我们通过表明，即使在没有噪声的情况下，避免通过脊正则化的插值可以显着提高泛化。我们证明了这种现象，用于线性回归和分类的强大风险，因此提供了强大的过度装备的第一个理论结果。

成功的深度学习模型往往涉及培训具有比训练样本数量更多的参数的神经网络架构。近年来已经广泛研究了这种超分子化的模型，并且通过双下降现象和通过优化景观的结构特性，从统计的角度和计算视角都建立了过分统计化的优点。尽管在过上分层的制度中深入学习架构的显着成功，但也众所周知，这些模型对其投入中的小对抗扰动感到高度脆弱。即使在普遍培训的情况下，它们在扰动输入（鲁棒泛化）上的性能也会比良性输入（标准概括）的最佳可达到的性能更糟糕。因此，必须了解如何从根本上影响稳健性的情况下如何影响鲁棒性。在本文中，我们将通过专注于随机特征回归模型（具有随机第一层权重的两层神经网络）来提供超分度化对鲁棒性的作用的精确表征。我们考虑一个制度，其中样本量，输入维度和参数的数量彼此成比例地生长，并且当模型发生前列地训练时，可以为鲁棒泛化误差导出渐近精确的公式。我们的发达理论揭示了过分统计化对鲁棒性的非竞争效果，表明对于普遍训练的随机特征模型，高度公正化可能会损害鲁棒泛化。

在本文中，我们利用过度参数化来设计高维单索索引模型的无规矩算法，并为诱导的隐式正则化现象提供理论保证。具体而言，我们研究了链路功能是非线性且未知的矢量和矩阵单索引模型，信号参数是稀疏向量或低秩对称矩阵，并且响应变量可以是重尾的。为了更好地理解隐含正规化的角色而没有过度的技术性，我们假设协变量的分布是先验的。对于载体和矩阵设置，我们通过采用分数函数变换和专为重尾数据的强大截断步骤来构造过度参数化最小二乘损耗功能。我们建议通过将无规则化的梯度下降应用于损耗函数来估计真实参数。当初始化接近原点并且步骤中足够小时，我们证明了所获得的解决方案在载体和矩阵案件中实现了最小的收敛统计速率。此外，我们的实验结果支持我们的理论调查结果，并表明我们的方法在$ \ ell_2 $ -staticatisticated率和变量选择一致性方面具有明确的正则化的经验卓越。

Machine learning models are often susceptible to adversarial perturbations of their inputs. Even small perturbations can cause state-of-the-art classifiers with high "standard" accuracy to produce an incorrect prediction with high confidence. To better understand this phenomenon, we study adversarially robust learning from the viewpoint of generalization. We show that already in a simple natural data model, the sample complexity of robust learning can be significantly larger than that of "standard" learning. This gap is information theoretic and holds irrespective of the training algorithm or the model family. We complement our theoretical results with experiments on popular image classification datasets and show that a similar gap exists here as well. We postulate that the difficulty of training robust classifiers stems, at least partially, from this inherently larger sample complexity.

我们束缚了使用梯度流训练的深度线性网络的多余风险。在先前用于建立最小$ \ ell_2 $ -norm interpolant的风险范围的设置中，我们表明随机初始化的深线性网络可以紧密近似甚至匹配已知的范围，即最小$ \ ell_2 $ - norm interpolant。我们的分析还表明，插值深线性模型具有与最小$ \ ell_2 $ -Norm解决方案完全相同的条件差异。由于噪声仅通过条件差异影响多余的风险，因此这意味着深度并不能提高算法“隐藏噪声”的能力。我们的模拟验证了我们边界的各个方面反映了简单数据分布的典型行为。我们还发现，在具有Relu网络的模拟中也可以看到类似的现象，尽管情况更加细微。

机器学习理论中的主要开放问题之一是表征过度参数化的政权中的概括，在该制度中，大多数传统的概括范围变得不一致。在许多情况下，它们的失败可以归因于掩盖训练算法与基础数据分布之间的关键相互作用。为了解决这一缺点，我们提出了一个名为兼容性的概念，该概念以与数据相关的和算法相关的方式定量地表征了概括。通过考虑整个训练轨迹并专注于早期迭代的迭代术，兼容性充分利用了算法信息，因此可以提供更好的概括保证。我们通过理论上研究与梯度下降过度参数化的线性回归设置的兼容性来验证这一点。具体而言，我们执行与数据相关的轨迹分析，并在这种设置下得出足够的兼容性条件。我们的理论结果表明，从兼容性的意义上讲，概括性对问题实例的限制明显弱，而不是上次迭代分析。

重要性加权是一种处理分销班次的经典技术。然而，事先工作呈现出强大的实证和理论证据，证明重要性重量对过度分辨的神经网络没有影响。重要性加权与过度分辨率的神经网络的培训真正不相容吗？我们的论文在负面回答。我们表明重要的权重不是因为过度分辨率，而是因为使用像物流或交叉熵损失等指数尾损失。作为一种补救措施，我们表明多项式尾损失恢复了重要性重量在校正过度分配模型中的分布换档的影响。我们表征了梯度下降的行为，其具有过度分辨的线性模型的重要性加权多项式损耗，并且理论上证明了在标签换档设置中使用多环尾损失的优点。令人惊讶的是，我们的理论表明，使用通过以指数来引入经典无偏的重要性重量而获得的权重可以提高性能。最后，我们展示了我们对亚潜班班和标签移位数据集的神经网络实验的分析的实际价值。重新重复时，我们的损耗函数可以在测试精度的高达9％的跨熵优先于重复的交叉熵。我们的损耗功能还提供了与校正分配换档的最先进的方法可比或甚至超过的测试精度。

在监督的学习中，已经表明，在许多情况下，数据中的标签噪声可以插值而不会受到测试准确性的处罚。我们表明，插值标签噪声会引起对抗性脆弱性，并证明了第一个定理显示标签噪声和对抗性风险在数据分布方面的依赖性。我们的结果几乎是尖锐的，而没有考虑学习算法的电感偏差。我们还表明，感应偏置使标签噪声的效果更强。

在这项工作中，我们在两层relu网络中提供了特征学习过程的表征，这些网络在随机初始化后通过梯度下降对逻辑损失进行了训练。我们考虑使用输入功能的XOR样函数生成的二进制标签的数据。我们允许不断的培训标签被对手破坏。我们表明，尽管线性分类器并不比随机猜测我们考虑的分布更好，但通过梯度下降训练的两层relu网络达到了接近标签噪声速率的概括误差。我们开发了一种新颖的证明技术，该技术表明，在初始化时，绝大多数神经元充当随机特征，仅与有用特征无关紧要，而梯度下降动力学则“放大”这些弱，随机的特征到强，有用的特征。

古典统计学习理论表示，拟合太多参数导致过度舒服和性能差。尽管大量参数矛盾，但是现代深度神经网络概括了这一发现，并构成了解释深度学习成功的主要未解决的问题。随机梯度下降（SGD）引起的隐式正规被认为是重要的，但其特定原则仍然是未知的。在这项工作中，我们研究了当地最小值周围的能量景观的局部几何学如何影响SGD的统计特性，具有高斯梯度噪声。我们争辩说，在合理的假设下，局部几何形状力强制SGD保持接近低维子空间，这会引起隐式正则化并导致深神经网络的泛化误差界定更严格的界限。为了获得神经网络的泛化误差界限，我们首先引入局部最小值周围的停滞迹象，并施加人口风险的局部基本凸性财产。在这些条件下，推导出SGD的下界，以保留在这些停滞套件中。如果发生停滞，我们会导出涉及权重矩阵的光谱规范的深神经网络的泛化误差的界限，但不是网络参数的数量。从技术上讲，我们的证据基于控制SGD中的参数值的变化以及基于局部最小值周围的合适邻域的熵迭代的参数值和局部均匀收敛。我们的工作试图通过统一收敛更好地连接非凸优化和泛化分析。

我们研究（选定的）宽，狭窄，深而浅，较浅，懒惰和非懒惰的训练环境中（选定的）深度神经网络中的平均鲁棒性概念。我们证明，在参数不足的环境中，宽度具有负面影响，而在过度参数化的环境中提高了鲁棒性。深度的影响紧密取决于初始化和训练模式。特别是，当用LeCun初始化初始化时，深度有助于通过懒惰训练制度进行稳健性。相反，当用神经切线核（NTK）初始化并进行初始化时，深度会损害稳健性。此外，在非懒惰培训制度下，我们演示了两层relu网络的宽度如何使鲁棒性受益。我们的理论发展改善了Huang等人的结果。[2021]，Wu等。[2021]与Bubeck and Sellke [2021]，Bubeck等人一致。[2021]。

尽管使用对抗性训练捍卫深度学习模型免受对抗性扰动的经验成功，但到目前为止，仍然不清楚对抗性扰动的存在背后的原则是什么，而对抗性培训对神经网络进行了什么来消除它们。在本文中，我们提出了一个称为特征纯化的原则，在其中，我们表明存在对抗性示例的原因之一是在神经网络的训练过程中，在隐藏的重量中积累了某些小型密集混合物；更重要的是，对抗训练的目标之一是去除此类混合物以净化隐藏的重量。我们介绍了CIFAR-10数据集上的两个实验，以说明这一原理，并且一个理论上的结果证明，对于某些自然分类任务，使用随机初始初始化的梯度下降训练具有RELU激活的两层神经网络确实满足了这一原理。从技术上讲，我们给出了我们最大程度的了解，第一个结果证明，以下两个可以同时保持使用RELU激活的神经网络。 （1）对原始数据的训练确实对某些半径的小对抗扰动确实不舒适。 （2）即使使用经验性扰动算法（例如FGM），实际上也可以证明对对抗相同半径的任何扰动也可以证明具有强大的良好性。最后，我们还证明了复杂性的下限，表明该网络的低复杂性模型，例如线性分类器，低度多项式或什至是神经切线核，无论使用哪种算法，都无法防御相同半径的扰动训练他们。

最新工作的一条有影响力的线重点关注的是针对可分离的线性分类的非规范梯度学习程序的泛化特性，并具有指数级的损失函数。这种方法概括地概括的能力归因于它们对大幅度预测指标的隐含偏见，无论是渐近的还是有限的时间。我们为此概括提供了另一个统一的解释，并将其与优化目标的两个简单属性相关联，我们将其称为可实现性和自我限制性。我们介绍了通过这些特性的不受约束随机凸优化的一般设置，并通过算法稳定性镜头分析梯度方法的概括。在这种更广泛的环境中，我们获得了梯度下降和随机梯度下降的尖锐稳定性边界，这些梯度下降即使适用于大量梯度步骤，并使用它们来得出这些算法的通用泛化界限。最后，作为一般边界的直接应用，我们返回使用可分离数据的线性分类设置，并为梯度下降和随机梯度下降建立了几种新颖的测试损失和测试精度界限，用于各种尾巴衰减速率的多种损耗函数。在某些情况下，我们的界限显着改善了文献中现有的概括误差界限。

过度参数化模型即使与传统的减轻失衡技术结合使用，在存在数据失衡的情况下也无法很好地概括。本文着重于分类数据集，其中一小部分人口（少数​​）可能包含与类标签相关的功能。对于跨凝结损失修饰和代表性高斯混合模型的参数家族，我们在最严重的组误差上得出了非反应泛化的边界，该误差揭示了不同的超参数的作用。具体而言，我们证明，在适当调整后，最近提出的VS-Loss学会了一个模型，即使伪造的特征很强，也对少数群体也是公平的。另一方面，替代性启发式方法，例如加权CE和LA-loss，可能会急剧失败。与以前的作品相比，我们的界限适用于更多的通用模型，它们是非吸血管的，即使在极端不平衡的情况下，它们也适用。

深入学习在现代分类任务中取得了许多突破。已经提出了众多架构用于不同的数据结构，但是当涉及丢失功能时，跨熵损失是主要的选择。最近，若干替代损失已经看到了深度分类器的恢复利益。特别是，经验证据似乎促进了方形损失，但仍然缺乏理论效果。在这项工作中，我们通过系统地研究了在神经切线内核（NTK）制度中的过度分化的神经网络的表现方式来促进对分类方面损失的理论理解。揭示了关于泛化误差，鲁棒性和校准错误的有趣特性。根据课程是否可分离，我们考虑两种情况。在一般的不可分类案例中，为错误分类率和校准误差建立快速收敛速率。当类是可分离的时，错误分类率改善了速度快。此外，经过证明得到的余量被证明是低于零的较低，提供了鲁棒性的理论保证。我们希望我们的调查结果超出NTK制度并转化为实际设置。为此，我们对实际神经网络进行广泛的实证研究，展示了合成低维数据和真实图像数据中方损的有效性。与跨熵相比，方形损耗具有可比的概括误差，但具有明显的鲁棒性和模型校准的优点。

最近的作品证明了过度参数化学习中的双重下降现象：随着模型参数的数量的增加，多余的风险具有$ \ mathsf {u} $ - 在开始时形状，然后在模型高度过度参数化时再次减少。尽管最近在不同的环境（例如线性模型，随机特征模型和内核方法）下进行了研究，但在理论上尚未完全理解这种现象。在本文中，我们考虑了由两种随机特征组成的双随机特征模型（DRFM），并研究DRFM在脊回归中实现的多余风险。我们计算高维框架下的多余风险的确切限制，在这种框架上，训练样本量，数据尺寸和随机特征的维度往往会成比例地无限。根据计算，我们证明DRFM的风险曲线可以表现出三重下降。然后，我们提供三重下降现象的解释，并讨论随机特征维度，正则化参数和信噪比比率如何控制DRFMS风险曲线的形状。最后，我们将研究扩展到多个随机功能模型（MRFM），并表明具有$ K $类型的随机功能的MRFM可能会显示出$（K+1）$ - 折叠。我们的分析指出，具有特定数量下降的风险曲线通常在基于特征的回归中存在。另一个有趣的发现是，当学习神经网络在“神经切线内核”制度中时，我们的结果可以恢复文献中报告的风险峰值位置。