模型压缩的目的是减小大型神经网络的大小，同时保持可比的性能。结果，通过减少冗余重量，神经元或层，可以大大降低资源有限应用中的计算和内存成本。提出了许多模型压缩算法，这些算法提供了令人印象深刻的经验成功。但是，对模型压缩的理论理解仍然受到限制。一个问题是了解网络是否比另一个相同结构更可压缩。另一个问题是量化有多少人可以通过理论上保证的准确性降解来修剪网络。在这项工作中，我们建议使用对稀疏敏感的$ \ ell_q $ -norm（$ 0 <q <1 $）来表征可压缩性，并提供网络中的软稀疏性与受控程度的压缩程度之间的关系准确性降解结合。我们还开发了自适应算法，用于修剪我们理论所告知的网络中的每个神经元。数值研究表明，与标准修剪算法相比，提出的方法的表现有希望。

我们在回归任务的背景下研究二元激活的神经网络，为这些特定网络的表现提供保证，并提出一种用于构建此类网络的贪婪算法。为了满足预测因素的资源需求较小，贪婪的方法无需提前修复网络的架构：一次构建一层，一次是一个神经元，导致预测因子并不必不是宽。深入执行给定的任务。与增强算法类似，我们的方法可以保证每次将神经元添加到一层时都会减少训练损失。这与大多数依赖于随机梯度下降的训练方案有很大的不同（避免了由替代物（如直通估计器或连续二进制化）等二进制激活功能的二进制激活功能的0个衍生衍生物问题）。我们表明，我们的方法提供了紧凑而稀疏的预测因子，同时获得了与训练二进制激活网络的最先进方法相似的性能。

彩票假设猜测稀疏子网的存在大型随机初始化的深神经网络，可以在隔离中成功培训。最近的工作已经通过实验观察到这些门票中的一些可以在各种任务中实际重复使用，以某种形式的普遍性暗示。我们正规化这一概念，理论上证明不仅存在此类环球票，而且还不需要进一步培训。我们的证据介绍了一些与强化强烈彩票票据相关的技术创新，包括延长子集合结果的扩展和利用更高量的深度的策略。我们的明确稀疏建设普遍函数家庭可能具有独立的兴趣，因为它们突出了单变量卷积架构引起的代表效益。

强大的彩票票证假设有希望，即修剪随机初始化的深神经网络可以为具有随机梯度下降的深度学习提供计算有效的替代方案。但是，常见的参数初始化方案和存在证明集中在偏差为零的网络上，因此预言了修剪的潜在通用近似属性。为了填补这一空白，我们将多个初始化方案和存在证明扩展到非零偏差，包括Relu激活函数的显式“外观线性”方法。这些不仅可以实现真正的正交参数初始化，还可以减少潜在的修剪错误。在标准基准数据的实验中，我们进一步强调了非零偏置初始化方案的实际好处，并为最先进的强彩票修剪提供了理论上灵感的扩展。

我们为神经网络提出了一种新颖，结构化修剪算法 - 迭代，稀疏结构修剪算法，称为I-Spasp。从稀疏信号恢复的思想启发，I-Spasp通过迭代地识别网络内的较大的重要参数组（例如，滤波器或神经元），这些参数组大多数对修剪和密集网络输出之间的残差贡献，然后基于这些组阈值以较小的预定定义修剪比率。对于具有Relu激活的双层和多层网络架构，我们展示了通过多项式修剪修剪诱导的错误，该衰减是基于密集网络隐藏表示的稀疏性任意大的。在我们的实验中，I-Spasp在各种数据集（即MNIST和ImageNet）和架构（即馈送前向网络，Resnet34和MobileNetv2）中进行评估，其中显示用于发现高性能的子网和改进经过几种数量级的可提供基线方法的修剪效率。简而言之，I-Spasp很容易通过自动分化实现，实现强大的经验结果，具有理论收敛保证，并且是高效的，因此将自己区分开作为少数几个计算有效，实用，实用，实用，实用，实用，实用，实用，实用和可提供的修剪算法之一。

彩票假设引发了通过识别大型随机初始化神经网络的稀疏子网来实现结构学习的修剪算法的快速发展。这些“胜利门票”的存在理论上已被证明，但在次优稀疏水平。当代修剪算法还在努力确定复杂的学习任务的稀疏彩票票。这个次优稀疏仅仅是存在证明和算法的文物还是修剪方法的一般限制？并且，如果存在非常稀疏的罚单，则当前算法是能够找到它们的当前算法，或者是实现有效网络压缩所需的进一步改进吗？为了系统地回答这些问题，我们推导了一个框架来植物并隐藏大型随机初始化的神经网络中的目标架构。对于机器学习中的三个共同挑战，我们手工制作极其稀疏的网络拓扑，将它们植入大型神经网络，并评估最先进的彩票修剪方法。我们发现，修剪算法的当前局限性识别极其稀疏的票证是算法的，而不是基本的性质，并且预期我们的种植框架将促进有效修剪算法的未来发展，因为我们已经解决了所提出的领域缺失基线的问题Frankle等人。

修剪是压缩深神经网络（DNNS）的主要方法之一。最近，将核（可证明的数据汇总）用于修剪DNN，并增加了理论保证在压缩率和近似误差之间的权衡方面的优势。但是，该域中的核心是数据依赖性的，要么是在模型的权重和输入的限制性假设下生成的。在实际情况下，这种假设很少得到满足，从而限制了核心的适用性。为此，我们建议一个新颖而健壮的框架，用于计算模型权重的轻度假设，而没有对训练数据的任何假设。这个想法是计算每个层中每个神经元相对于以下层的输出的重要性。这是通过l \“ {o} wner椭圆形和caratheodory定理的组合来实现的。我们的方法同时依赖数据独立，适用于各种网络和数据集（由于简化的假设），以及在理论上支持的。方法的表现优于基于核心的现有神经修剪方法在广泛的网络和数据集上。例如，我们的方法在Imagenet上获得了$ 62 \％$的压缩率，ImageNet上的RESNET50的准确性下降了$ 1.09 \％$。

Consider the multivariate nonparametric regression model. It is shown that estimators based on sparsely connected deep neural networks with ReLU activation function and properly chosen network architecture achieve the minimax rates of convergence (up to log nfactors) under a general composition assumption on the regression function. The framework includes many well-studied structural constraints such as (generalized) additive models. While there is a lot of flexibility in the network architecture, the tuning parameter is the sparsity of the network. Specifically, we consider large networks with number of potential network parameters exceeding the sample size. The analysis gives some insights into why multilayer feedforward neural networks perform well in practice. Interestingly, for ReLU activation function the depth (number of layers) of the neural network architectures plays an important role and our theory suggests that for nonparametric regression, scaling the network depth with the sample size is natural. It is also shown that under the composition assumption wavelet estimators can only achieve suboptimal rates.

The rectified linear unit (ReLU) is a highly successful activation function in neural networks as it allows networks to easily obtain sparse representations, which reduces overfitting in overparameterized networks. However, in network pruning, we find that the sparsity introduced by ReLU, which we quantify by a term called dynamic dead neuron rate (DNR), is not beneficial for the pruned network. Interestingly, the more the network is pruned, the smaller the dynamic DNR becomes during optimization. This motivates us to propose a method to explicitly reduce the dynamic DNR for the pruned network, i.e., de-sparsify the network. We refer to our method as Activating-while-Pruning (AP). We note that AP does not function as a stand-alone method, as it does not evaluate the importance of weights. Instead, it works in tandem with existing pruning methods and aims to improve their performance by selective activation of nodes to reduce the dynamic DNR. We conduct extensive experiments using popular networks (e.g., ResNet, VGG) via two classical and three state-of-the-art pruning methods. The experimental results on public datasets (e.g., CIFAR-10/100) suggest that AP works well with existing pruning methods and improves the performance by 3% - 4%. For larger scale datasets (e.g., ImageNet) and state-of-the-art networks (e.g., vision transformer), we observe an improvement of 2% - 3% with AP as opposed to without. Lastly, we conduct an ablation study to examine the effectiveness of the components comprising AP.

To reduce the significant redundancy in deep Convolutional Neural Networks (CNNs), most existing methods prune neurons by only considering statistics of an individual layer or two consecutive layers (e.g., prune one layer to minimize the reconstruction error of the next layer), ignoring the effect of error propagation in deep networks. In contrast, we argue that it is essential to prune neurons in the entire neuron network jointly based on a unified goal: minimizing the reconstruction error of important responses in the "final response layer" (FRL), which is the secondto-last layer before classification, for a pruned network to retrain its predictive power. Specifically, we apply feature ranking techniques to measure the importance of each neuron in the FRL, and formulate network pruning as a binary integer optimization problem and derive a closed-form solution to it for pruning neurons in earlier layers. Based on our theoretical analysis, we propose the Neuron Importance Score Propagation (NISP) algorithm to propagate the importance scores of final responses to every neuron in the network. The CNN is pruned by removing neurons with least importance, and then fine-tuned to retain its predictive power. NISP is evaluated on several datasets with multiple CNN models and demonstrated to achieve significant acceleration and compression with negligible accuracy loss.

本文开发了简单的前馈神经网络，实现了所有连续功能的通用近似性，具有固定的有限数量的神经元。这些神经网络很简单，因为它们的设计具有简单且可增加的连续激活功能$ \ Sigma $利用三角波函数和软片功能。我们证明了$ \ Sigma $ -Activated网络，宽度为36d $ 36d（2d + 1）$和11 $ 11 $可以在任意小错误中估计$ d $ -dimensioanl超级函数上的任何连续功能。因此，对于监督学习及其相关的回归问题，这些网络产生的假设空间，尺寸不小于36d（2d + 1）\ times 11 $的持续功能的空间。此外，由图像和信号分类引起的分类函数在$ \ sigma $ -activated网络生成的假设空间中，宽度为36d（2d + 1）$和12 $ 12 $，当存在$ \的成对不相交的界限子集时mathbb {r} ^ d $，使得同一类的样本位于同一子集中。

修剪深度神经网络的现有方法专注于去除训练有素的网络的不必要参数，然后微调模型，找到恢复训练模型的初始性能的良好解决方案。与其他作品不同，我们的方法特别注意通过修剪神经元的压缩模型和推理计算时间的解决方案的质量。通过探索Hessian的光谱半径，所提出的算法通过探索Hessian的光谱半径来指示压缩模型的参数，这导致了更好地推广了未经看涨的数据。此外，该方法不适用于预先训练的网络，并同时执行训练和修剪。我们的结果表明，它改善了神经元压缩的最先进的结果。该方法能够在不同神经网络模型上实现具有小精度下降的非常小的网络。

多层馈电网络已用于近似广泛的非线性函数。一个重要且基本的问题是通过其统计风险或未来数据的预期预测错误来了解网络模型的可学习性。据我们所知，现有作品所显示的神经网络的收敛速率最多受$ n^{ - 1/4} $的顺序，样本大小为$ n $。在本文中，我们表明，具有任意宽度的一类变异受限的神经网络可以实现接近参数的$ n^{ - 1/2+\ delta} $，用于任意的正常常数$ \ delta $。在平方误差下，它等效于$ n^{ - 1 +2 \ delta} $。数值实验也可以观察到这个速率。结果表明，近似平滑功能所需的神经功能空间可能不如通常感知的那样大。我们的结果还提供了对当神经元和学习参数的数量和学习参数迅速增长，甚至超过$ n $时，深层神经网络并不容易遭受过度匹配的现象。我们还讨论了有关其他网络参数的收敛速率，包括输入维度，网络层和系数规范。

事实证明，稀疏的深度神经网络在大规模研究中对于预测模型构建有效。尽管几项作品研究了稀疏神经体系结构的理论和数值特性，但它们主要集中在边缘选择上。通过优势选择的稀疏性可能具有直觉上的吸引力；但是，它不一定会降低网络的结构复杂性。相反，修剪过多的节点会导致一个结构稀疏的网络，并在推理过程中具有显着的计算加速。为此，我们建议使用Spike and-Slab Gaussian先验者提出贝叶斯稀疏溶液，以允许在训练过程中选择自动节点。使用Spike and-Slab先验减轻了对修剪的临时阈值规则的需求。此外，我们采用了一种差异贝叶斯方法来规避传统马尔可夫链蒙特卡洛（MCMC）实施的计算挑战。在节点选择的背景下，我们建立了变异后一致性的基本结果，以及先前参数的表征。与以前的作品相反，我们的理论发展放宽了所有网络权重的节点和均匀界限的假设，从而适应具有层依赖性节点结构或系数边界的稀疏网络。通过对先前纳入概率的层表表征，我们讨论了后部变异的最佳收缩率。我们从经验上证明，我们所提出的方法的表现优于计算复杂性的边缘选择方法，具有相似或更好的预测性能。我们的实验证据进一步证明了我们的理论工作有助于层面上的最佳节点恢复。

神经网络修剪对于在预训练的密集网络架构中发现有效，高性能的子网有用。然而，更常见的是，它涉及三步过程 - 预先训练，修剪和重新训练 - 这是计算昂贵的，因为必须完全预先训练的密集模型。幸运的是，已经经过了多种作品，证明可以通过修剪发现高性能的子网，而无需完全预先训练密集网络。旨在理论上分析修剪网络表现良好的密集网络预培训量，我们发现在两层全连接网络上的SGD预训练迭代数量中发现了一个理论界限，超出了由此进行修剪贪婪的前瞻性选择产生了一个达到良好训练错误的子网。该阈值显示在对数上依赖于数据集的大小，这意味着具有较大数据集的实验需要更好地训练通过修剪以执行良好执行的子网。我们经验展示了我们在各种架构和数据集中的理论结果的有效性，包括在Mnist上培训的全连接网络以及在CIFAR10和ImageNet上培训的几个深度卷积神经网络（CNN）架构。

这项调查的目的是介绍对深神经网络的近似特性的解释性回顾。具体而言，我们旨在了解深神经网络如何以及为什么要优于其他经典线性和非线性近似方法。这项调查包括三章。在第1章中，我们回顾了深层网络及其组成非线性结构的关键思想和概念。我们通过在解决回归和分类问题时将其作为优化问题来形式化神经网络问题。我们简要讨论用于解决优化问题的随机梯度下降算法以及用于解决优化问题的后传播公式，并解决了与神经网络性能相关的一些问题，包括选择激活功能，成本功能，过度适应问题和正则化。在第2章中，我们将重点转移到神经网络的近似理论上。我们首先介绍多项式近似中的密度概念，尤其是研究实现连续函数的Stone-WeierStrass定理。然后，在线性近似的框架内，我们回顾了馈电网络的密度和收敛速率的一些经典结果，然后在近似Sobolev函数中进行有关深网络复杂性的最新发展。在第3章中，利用非线性近似理论，我们进一步详细介绍了深度和近似网络与其他经典非线性近似方法相比的近似优势。

稀疏的缩小添加剂模型和稀疏随机特征模型作为学习低阶函数的方法分别开发，其中变量之间几乎没有相互作用，但既不提供计算效率。另一方面，$ \ ell_2 $基上的缩小添加剂模型是有效的，但不提供特征选择，因为产生的系数矢量密集。灵感来自迭代幅度修剪技术在寻找神经网络的彩票票时，我们提出了一种新方法 - 通过IMP（虾）稀疏随机特征模型 - 以有效地拟合具有固有的低维结构的高维数据稀疏可变依赖性的形式。我们的方法可以被视为组合过程来构建和找到两个层密度网络的稀疏彩票票。我们通过对阈值基础追踪的泛化误差和产生的界限进行精细分析来解释虾的观察到的益处。从综合性数据和现实世界基准数据集的功能近似实验，我们展示了与最先进的稀疏特征和添加方法（如SRFE-S，SSAM和Salsa）相比获得的虾优于或竞争性测试准确性。同时，虾以低计算复杂度执行特征选择，并且对修剪速率强大，表示所获得的子网结构中的稳健性。通过注意到我们的模型和重量/神经元子网之间的对应关系，我们通过虾深入了解彩票假设。

深入学习有权成为人工智能（AI）的最近成功。然而，作为深度学习的基本模型，深度神经网络遭受了当地陷阱和错误稳定等问题。在本文中，我们为稀疏深度学习提供了一个新的框架，这具有以一种连贯的方式解决了上述问题。特别是，我们阐述了稀疏深度学习的理论基础，并提出了用于学习稀疏神经网络的先前退火算法。前者已成功地将稀疏的深神经网络命名为统计建模的框架，使得能够正确量化预测不确定性。后者可以渐近地保证收敛到全局最优，从而实现了下游统计推断的有效性。数值结果表明，与现有的方法相比，所提出的方法的优越性。

The importance of learning rate (LR) schedules on network pruning has been observed in a few recent works. As an example, Frankle and Carbin (2019) highlighted that winning tickets (i.e., accuracy preserving subnetworks) can not be found without applying a LR warmup schedule and Renda, Frankle and Carbin (2020) demonstrated that rewinding the LR to its initial state at the end of each pruning cycle improves performance. In this paper, we go one step further by first providing a theoretical justification for the surprising effect of LR schedules. Next, we propose a LR schedule for network pruning called SILO, which stands for S-shaped Improved Learning rate Optimization. The advantages of SILO over existing state-of-the-art (SOTA) LR schedules are two-fold: (i) SILO has a strong theoretical motivation and dynamically adjusts the LR during pruning to improve generalization. Specifically, SILO increases the LR upper bound (max_lr) in an S-shape. This leads to an improvement of 2% - 4% in extensive experiments with various types of networks (e.g., Vision Transformers, ResNet) on popular datasets such as ImageNet, CIFAR-10/100. (ii) In addition to the strong theoretical motivation, SILO is empirically optimal in the sense of matching an Oracle, which exhaustively searches for the optimal value of max_lr via grid search. We find that SILO is able to precisely adjust the value of max_lr to be within the Oracle optimized interval, resulting in performance competitive with the Oracle with significantly lower complexity.

我们为特殊神经网络架构，称为运营商复发性神经网络的理论分析，用于近似非线性函数，其输入是线性运算符。这些功能通常在解决方案算法中出现用于逆边值问题的问题。传统的神经网络将输入数据视为向量，因此它们没有有效地捕获与对应于这种逆问题中的数据的线性运算符相关联的乘法结构。因此，我们介绍一个类似标准的神经网络架构的新系列，但是输入数据在向量上乘法作用。由较小的算子出现在边界控制中的紧凑型操作员和波动方程的反边值问题分析，我们在网络中的选择权重矩阵中促进结构和稀疏性。在描述此架构后，我们研究其表示属性以及其近似属性。我们还表明，可以引入明确的正则化，其可以从所述逆问题的数学分析导出，并导致概括属性上的某些保证。我们观察到重量矩阵的稀疏性改善了概括估计。最后，我们讨论如何将运营商复发网络视为深度学习模拟，以确定诸如用于从边界测量的声波方程中重建所未知的WAVESTED的边界控制的算法算法。