对于无监督的预处理，蒙版重建预训练（MRP）接近随机掩盖输入贴片，然后通过自动编码器重建这些掩盖贴片的像素或语义特征。然后，对于下游任务，对经过预处理的编码器进行微调显着超过了从头开始训练的常规监督学习（SL）。但是，目前尚不清楚1）MRP如何在预科阶段执行语义学习以及2）为什么它有助于下游任务。为了解决这些问题，我们从理论上表明，在两/单层的卷积编码器/解码器的自动编码器上，MRP可以在预处理数据集中捕获所有判别语义，因此显示出其在下游任务上的SL上的可证明的改进。具体而言，我们假设预处理数据集包含比率$ 1- \ mu $的多视图样本和比率$ \ mu $的单视图样本，其中多/单视图样本具有多个/单个歧视性语义。然后，为了预处理，我们证明1）MRP编码器的卷积内核捕获了预科数据中的所有歧视性语义； 2）卷积内核最多可以捕获一种语义。因此，在下游监督的微调中，大多数语义都会被捕获，并且不同的语义不会融合在一起。这有助于下游微调网络轻松建立内核和语义类标签之间的关系。通过这种方式，MRP中的微调编码器可证明达到零测试误差，对于多视图和单视图测试数据，概率很高。相比之下，正如〜[3]所证明的那样，传统的SL只能在单视图测试数据的$ 0.5 \ mu $之间获得测试准确性。这些结果共同解释了MRP在下游任务中的好处。实验结果证明了多视图数据假设和我们的理论含义。

It has been observed in practice that applying pruning-at-initialization methods to neural networks and training the sparsified networks can not only retain the testing performance of the original dense models, but also sometimes even slightly boost the generalization performance. Theoretical understanding for such experimental observations are yet to be developed. This work makes the first attempt to study how different pruning fractions affect the model's gradient descent dynamics and generalization. Specifically, this work considers a classification task for overparameterized two-layer neural networks, where the network is randomly pruned according to different rates at the initialization. It is shown that as long as the pruning fraction is below a certain threshold, gradient descent can drive the training loss toward zero and the network exhibits good generalization performance. More surprisingly, the generalization bound gets better as the pruning fraction gets larger. To complement this positive result, this work further shows a negative result: there exists a large pruning fraction such that while gradient descent is still able to drive the training loss toward zero (by memorizing noise), the generalization performance is no better than random guessing. This further suggests that pruning can change the feature learning process, which leads to the performance drop of the pruned neural network. Up to our knowledge, this is the \textbf{first} generalization result for pruned neural networks, suggesting that pruning can improve the neural network's generalization.

自我监督学习中的最新作品通过依靠对比度学习范式来推动最先进的工作，该范式通过推动正面对或从同一班级中的类似示例来学习表示形式，同时将负面对截然不同。尽管取得了经验的成功，但理论基础是有限的 - 先前的分析假设鉴于同一类标签的正对有条件独立性，但是最近的经验应用使用了密切相关的正对（即同一图像的数据增强）。我们的工作分析了对比度学习，而无需在数据上使用增强图的新概念假设正对的有条件独立性。此图中的边缘连接相同数据的增强，而地面实际类别自然形成了连接的子图。我们提出了在人口增强图上执行光谱分解的损失，并且可以简洁地作为对神经净表示的对比学习目标。最小化此目标会导致在线性探针评估下具有可证明准确性的功能。通过标准的概括范围，在最大程度地减少训练对比度损失时，这些准确性也可以保证。从经验上讲，我们目标所学的功能可以匹配或胜过基准视觉数据集上的几个强基线。总的来说，这项工作为对比度学习提供了首次可证明的分析，在该学习中，线性探针评估的保证可以适用于现实的经验环境。

由路由器控制的稀疏激活模型（MOE）层的混合物（MOE）层在深度学习方面取得了巨大的成功。但是，对这种建筑的理解仍然难以捉摸。在本文中，我们正式研究了MOE层如何改善神经网络学习的性能以及为什么混合模型不会崩溃成单个模型。我们的经验结果表明，基本问题的集群结构和专家的非线性对于MOE的成功至关重要。为了进一步理解这一点，我们考虑了固有群集结构的具有挑战性的分类问题，这很难使用单个专家学习。然而，使用MOE层，通过将专家选择为两层非线性卷积神经网络（CNN），我们表明可以成功地学习问题。此外，我们的理论表明，路由器可以学习群集中心的特征，这有助于将输入复杂问题分为单个专家可以征服的更简单的线性分类子问题。据我们所知，这是正式了解MOE层的深度学习机制的第一个结果。

现代神经网络通常具有很大的表现力，并且可以接受训练以使培训数据过高，同时仍能达到良好的测试性能。这种现象被称为“良性过度拟合”。最近，从理论角度出现了一系列研究“良性过度拟合”的作品。但是，它们仅限于线性模型或内核/随机特征模型，并且仍然缺乏关于何时以及如何在神经网络中发生过度拟合的理论理解。在本文中，我们研究了训练两层卷积神经网络（CNN）的良性过度拟合现象。我们表明，当信噪比满足一定条件时，通过梯度下降训练的两层CNN可以实现任意小的训练和测试损失。另一方面，当这种情况无法成立时，过度拟合就会有害，并且获得的CNN只能实现恒定的测试损失。这些共同证明了由信噪比驱动的良性过度拟合和有害过度拟合之间的急剧过渡。据我们所知，这是第一部精确地表征良性过度拟合在训练卷积神经网络中的条件的工作。

具有动量的随机梯度下降（SGD）被广泛用于训练现代深度学习体系结构。虽然可以很好地理解使用动量可以导致在各种环境中更快的收敛速率，但还观察到动量会产生更高的概括。先前的工作认为，动量在训练过程中稳定了SGD噪声，这会导致更高的概括。在本文中，我们采用了另一种观点，并首先在经验上表明，与梯度下降（GD）相比，具有动量（GD+M）的梯度下降在某些深度学习问题中显着改善了概括。从这个观察结果，我们正式研究了动量如何改善概括。我们设计了一个二进制分类设置，在该设置中，当两种算法都类似地初始化时，经过GD+M训练的单个隐藏层（过度参数化）卷积神经网络比使用GD训练的同一网络更好地概括了。我们分析中的关键见解是，动量在示例共享某些功能但边距不同的数据集中是有益的。与记住少量数据数据的GD相反，GD+M仍然通过其历史梯度来了解这些数据中的功能。最后，我们从经验上验证了我们的理论发现。

尽管使用对抗性训练捍卫深度学习模型免受对抗性扰动的经验成功，但到目前为止，仍然不清楚对抗性扰动的存在背后的原则是什么，而对抗性培训对神经网络进行了什么来消除它们。在本文中，我们提出了一个称为特征纯化的原则，在其中，我们表明存在对抗性示例的原因之一是在神经网络的训练过程中，在隐藏的重量中积累了某些小型密集混合物；更重要的是，对抗训练的目标之一是去除此类混合物以净化隐藏的重量。我们介绍了CIFAR-10数据集上的两个实验，以说明这一原理，并且一个理论上的结果证明，对于某些自然分类任务，使用随机初始初始化的梯度下降训练具有RELU激活的两层神经网络确实满足了这一原理。从技术上讲，我们给出了我们最大程度的了解，第一个结果证明，以下两个可以同时保持使用RELU激活的神经网络。 （1）对原始数据的训练确实对某些半径的小对抗扰动确实不舒适。 （2）即使使用经验性扰动算法（例如FGM），实际上也可以证明对对抗相同半径的任何扰动也可以证明具有强大的良好性。最后，我们还证明了复杂性的下限，表明该网络的低复杂性模型，例如线性分类器，低度多项式或什至是神经切线核，无论使用哪种算法，都无法防御相同半径的扰动训练他们。

The fundamental learning theory behind neural networks remains largely open. What classes of functions can neural networks actually learn? Why doesn't the trained network overfit when it is overparameterized?In this work, we prove that overparameterized neural networks can learn some notable concept classes, including two and three-layer networks with fewer parameters and smooth activations. Moreover, the learning can be simply done by SGD (stochastic gradient descent) or its variants in polynomial time using polynomially many samples. The sample complexity can also be almost independent of the number of parameters in the network.On the technique side, our analysis goes beyond the so-called NTK (neural tangent kernel) linearization of neural networks in prior works. We establish a new notion of quadratic approximation of the neural network (that can be viewed as a second-order variant of NTK), and connect it to the SGD theory of escaping saddle points.

数据增强是机器学习管道的基石，但其理论基础尚不清楚。它只是人为增加数据集大小的一种方法吗？还是鼓励模型满足某些不变性？在这项工作中，我们考虑了另一个角度，我们研究了数据增强对学习过程动态的影响。我们发现，数据增强可以改变各种功能的相对重要性，从而有效地使某些信息性但难以学习的功能更有可能在学习过程中捕获。重要的是，我们表明，对于非线性模型，例如神经网络，这种效果更为明显。我们的主要贡献是对Allen-Zhu和Li [2020]最近提出的多视图数据模型中两层卷积神经网络的学习动态数据的详细分析。我们通过进一步的实验证据来补充这一分析，证明数据增加可以看作是特征操纵。

自我监督的表示学习解决辅助预测任务（称为借口任务），而不需要标记数据以学习有用的语义表示。这些借口任务仅使用输入特征，例如预测缺失的图像修补程序，从上下文中恢复图像的颜色通道，或者预测文本中的缺失单词;然而，预测该\ Texit {已知}信息有助于学习对下游预测任务的学习陈述。我们提供利用某些{\ EM重建}借口任务之间的统计连接的机制，以保证学习良好代表性。正式地，我们量化了借口任务的组件之间的近似独立性（标签和潜在变量的条件）允许我们学习可以通过训练在学习表示的顶部的线性层来解决下游任务的表示。我们证明了线性层即使对于复杂的地面真理函数类，也会产生小的近似误差，并且将急剧减少标记的样本复杂性。接下来，我们展示了我们方法的简单修改，导致非线性CCA，类似于流行的Simsiam算法，并显示了非线性CCA的类似保证。

What role do augmentations play in contrastive learning? Recent work suggests that good augmentations are label-preserving with respect to a specific downstream task. We complicate this picture by showing that label-destroying augmentations can be useful in the foundation model setting, where the goal is to learn diverse, general-purpose representations for multiple downstream tasks. We perform contrastive learning experiments on a range of image and audio datasets with multiple downstream tasks (e.g. for digits superimposed on photographs, predicting the class of one vs. the other). We find that Viewmaker Networks, a recently proposed model for learning augmentations for contrastive learning, produce label-destroying augmentations that stochastically destroy features needed for different downstream tasks. These augmentations are interpretable (e.g. altering shapes, digits, or letters added to images) and surprisingly often result in better performance compared to expert-designed augmentations, despite not preserving label information. To support our empirical results, we theoretically analyze a simple contrastive learning setting with a linear model. In this setting, label-destroying augmentations are crucial for preventing one set of features from suppressing the learning of features useful for another downstream task. Our results highlight the need for analyzing the interaction between multiple downstream tasks when trying to explain the success of foundation models.

蒙面的自动编码器是可扩展的视觉学习者，因为Mae \ Cite {He2022masked}的标题表明，视觉中的自我监督学习（SSL）可能会采用与NLP中类似的轨迹。具体而言，具有蒙版预测（例如BERT）的生成借口任务已成为NLP中的事实上的标准SSL实践。相比之下，他们的歧视性对应物（例如对比度学习）掩埋了视力中的生成方法的早期尝试；但是，蒙版图像建模的成功已恢复了屏蔽自动编码器（过去通常被称为DeNosing AutoCoder）。作为在NLP中与Bert弥合差距的一个里程碑，蒙面自动编码器吸引了对SSL在视觉及其他方面的前所未有的关注。这项工作对蒙面自动编码器进行了全面的调查，以洞悉SSL的有希望的方向。作为第一个使用蒙版自动编码器审查SSL的人，这项工作通过讨论其历史发展，最新进度以及对不同应用的影响，重点介绍其在视觉中的应用。

通过开发基于生成的自我监督学习（SSL）方法，例如Beit和Mae，如何通过掩盖输入图像的随机补丁并重建缺失信息来学习良好的表示形式。但是，Beit和Peco需要一个“预先陈述”阶段，以生成用于掩盖补丁代表的离散代码手册。 MAE不需要预训练的代码簿流程，但是将像素设置为重建目标可能会引入前训练和下游任务之间的优化差距，即良好的重建质量可能并不总是会导致模型的高描述能力。考虑到上述问题，在本文中，我们提出了一个简单的自鉴定的蒙面自动编码器网络，即SDAE。 SDAE由一个使用编码器解码器结构的学生分支组成，以重建缺失的信息，并制作一个师范分支，生产蒙版代币的潜在表示。我们还分析了如何从信息瓶颈的角度来为教师分支机构建立潜在代表性的好看法。之后，我们提出了一种多重掩蔽策略，以提供多个掩盖视图，并具有平衡的信息以提高性能，这也可以降低计算复杂性。我们的方法很好地概括了：只有300个时期预训练，香草vit-base模型在Imagenet-1K分类上达到了84.1％的微调精度，48.6 MIOU在ADE20K细分方面和48.9 coco检测中的MAP，它超过了其他方法，从而超过其他方法。通过相当大的边距。代码可从https://github.com/abrahamyabo/sdae获得。

尽管自我监督学习（SSL）方法取得了经验成功，但尚不清楚其表示的哪些特征导致了高下游精度。在这项工作中，我们表征了SSL表示应该满足的属性。具体而言，我们证明了必要和充分的条件，因此，对于给出的数据增强的任何任务，在该表示形式上训练的所需探针（例如，线性或MLP）具有完美的准确性。这些要求导致一个统一的概念框架，用于改善现有的SSL方法并得出新方法。对于对比度学习，我们的框架规定了对以前的方法（例如使用不对称投影头）的简单但重大改进。对于非对比度学习，我们使用框架来得出一个简单新颖的目标。我们所得的SSL算法在标准基准测试上的表现优于基线，包括Imagenet线性探测的SHAV+多螺旋桨。

通过最小化同一图像的两个视图之间的距离来最大程度地减少自我监督学习的非对比度方法（例如BYOL和SIMSIAM）。这些方法在实践中取得了非凡的表现，但是理论理解落在了背后。天等。 2021解释了为什么表示形式不会崩溃到零，但是如何学习该功能仍然是神秘的。在我们的工作中，我们在线性网络中证明了非对抗性方法，学习了理想的投影矩阵，并降低了下游任务的样本复杂性。我们的分析表明，重量衰减是一个隐式阈值，它在数据增强下丢弃具有较高差异的特征，并保持差异较低的功能。受我们的理论的启发，我们通过在Tian等人的原始直接销售算法中删除特征分解步骤，从而设计了更简单，更有效的算法直接副本。 2021.我们的实验表明，直接竞争对手甚至超过了STL-10，CIFAR-10，CIFAR-100和IMAGENET的表现。

我们为梯度下降提供了收敛分析，以解决高斯分布中不可知的问题。与研究零偏差的设置的先前工作不同，我们考虑了当relu函数的偏见非零时更具挑战性的情况。我们的主要结果确定，从随机初始化开始，从多项式迭代梯度下降输出中，具有很高的概率，与最佳relu函数的误差相比，可以实现竞争错误保证。我们还提供有限的样本保证，这些技术将其推广到高斯以外的更广泛的边际分布。

良性过度拟合，即插值模型在存在嘈杂数据的情况下很好地推广的现象，首先是在接受梯度下降训练的神经网络模型中观察到的。为了更好地理解这一经验观察，我们考虑了通过梯度下降训练的两层神经网络的概括误差，后者是随机初始化后的逻辑损失。我们假设数据来自分离良好的集体条件对数符合分布，并允许训练标签的持续部分被对手损坏。我们表明，在这种情况下，神经网络表现出良性过度拟合：它们可以驱动到零训练错误，完美拟合所有嘈杂的训练标签，并同时达到最小值最佳测试错误。与以前需要线性或基于内核预测的良性过度拟合的工作相反，我们的分析在模型和学习动力学基本上是非线性的环境中。

Gradient descent finds a global minimum in training deep neural networks despite the objective function being non-convex. The current paper proves gradient descent achieves zero training loss in polynomial time for a deep overparameterized neural network with residual connections (ResNet). Our analysis relies on the particular structure of the Gram matrix induced by the neural network architecture. This structure allows us to show the Gram matrix is stable throughout the training process and this stability implies the global optimality of the gradient descent algorithm. We further extend our analysis to deep residual convolutional neural networks and obtain a similar convergence result.

自我监督的学习（SSL）通过大量未标记的数据的先知，在各种医学成像任务上取得了出色的性能。但是，对于特定的下游任务，仍然缺乏有关如何选择合适的借口任务和实现细节的指令书。在这项工作中，我们首先回顾了医学成像分析领域中自我监督方法的最新应用。然后，我们进行了广泛的实验，以探索SSL中的四个重要问题用于医学成像，包括（1）自我监督预处理对不平衡数据集的影响，（2）网络体系结构，（3）上游任务对下游任务和下游任务和下游任务的适用性（4）SSL和常用政策用于深度学习的堆叠效果，包括数据重新采样和增强。根据实验结果，提出了潜在的指南，以在医学成像中进行自我监督预处理。最后，我们讨论未来的研究方向并提出问题，以了解新的SSL方法和范式时要注意。

微调是深度学习的常见做法，使用相对较少的训练数据来实现卓越的普遍性导致下游任务。虽然在实践中广泛使用，但它缺乏强烈的理论理解。我们分析了若干架构中线性教师的回归的本方案的样本复杂性。直观地，微调的成功取决于源任务与目标任务之间的相似性，但是测量它是非微不足道的。我们表明相关措施考虑了源任务，目标任务和目标数据的协方差结构之间的关系。在线性回归的设置中，我们表明，在现实的情况下，当上述措施低时，在实际设置下，显着的样本复杂性降低是合理的。对于深线性回归，我们在用预制权重初始化网络时，我们提出了关于基于梯度训练的感应偏差的新颖结果。使用此结果，我们显示此设置的相似度量也受网络深度的影响。我们进一步在浅relu模型上显示结果，并分析了在源和目标任务中的样本复杂性的依赖性。我们经验证明了我们对合成和现实数据的结果。