网络的稀疏性主要是由于其降低网络复杂性的能力而受欢迎。广泛的研究挖掘了梯度驱动的稀疏性。通常，这些方法是在体重独立性前提下构建的，但是与重量受到相互影响的事实相反。因此，他们的性能仍有待改进。在本文中，我们建议通过解决这种独立悖论来进一步优化梯度驱动的稀疏性（OPTG）。我们的动机来自最近对超级策略训练的进步，该进步表明，稀疏子网可以通过简单地更新掩码值而无需修改任何权重的情况下将其位于随机初始化的网络中。我们证明，超级手机训练是积累重量梯度，并可以部分解决独立悖论。因此，OPTG将Supermask训练集成到梯度驱动的稀疏度中，并且设计了专门的掩模优化器来解决独立悖论。实验表明，OPTG可以很好地超越许多现有的最先进的竞争对手。我们的代码可在\ url {https://github.com/zyxxmu/optg}上找到。

网络修剪是一种有效的方法，可以通过可接受的性能妥协降低网络复杂性。现有研究通过耗时的重量调谐或具有扩展宽度的网络的复杂搜索来实现神经网络的稀疏性，这极大地限制了网络修剪的应用。在本文中，我们表明，在没有权重调谐的情况下，高性能和稀疏的子网被称为“彩票奖线”，存在于具有膨胀宽度的预先训练的模型中。例如，我们获得了一个只有10％参数的彩票奖金，仍然达到了原始密度Vggnet-19的性能，而无需对CiFar-10的预先训练的重量进行任何修改。此外，我们观察到，来自许多现有修剪标准的稀疏面具与我们的彩票累积的搜索掩码具有高重叠，其中，基于幅度的修剪导致与我们的最相似的掩模。根据这种洞察力，我们使用基于幅度的修剪初始化我们的稀疏掩模，导致彩票累积搜索至少3倍降低，同时实现了可比或更好的性能。具体而言，我们的幅度基彩票奖学金在Reset-50中除去90％的重量，而在ImageNet上仅使用10个搜索时期可以轻松获得超过70％的前1个精度。我们的代码可在https://github.com/zyxxmu/lottery-jackpots获得。

通过强迫连续重量的最多n非零，最近的N：M网络稀疏性因其两个有吸引力的优势而受到越来越多的关注：1）高稀疏性的有希望的表现。 2）对NVIDIA A100 GPU的显着加速。最近的研究需要昂贵的训练阶段或重型梯度计算。在本文中，我们表明N：M学习可以自然地将其描述为一个组合问题，该问题可以在有限的集合中寻找最佳组合候选者。由这种特征激励，我们以有效的分裂方式解决了n：m的稀疏性。首先，我们将重量向量分为$ c _ {\ text {m}}}^{\ text {n}} $组合s子集的固定大小N。然后，我们通过分配每个组合来征服组合问题，一个可学习的分数是共同优化了其关联权重。我们证明，引入的评分机制可以很好地模拟组合子集之间的相对重要性。通过逐渐去除低得分的子集，可以在正常训练阶段有效地优化N：M细粒稀疏性。全面的实验表明，我们的学习最佳组合（LBC）的表现始终如一，始终如一地比现成的N：m稀疏方法更好。我们的代码在\ url {https://github.com/zyxxmu/lbc}上发布。

The mainstream approach for filter pruning is usually either to force a hard-coded importance estimation upon a computation-heavy pretrained model to select "important" filters, or to impose a hyperparameter-sensitive sparse constraint on the loss objective to regularize the network training. In this paper, we present a novel filter pruning method, dubbed dynamic-coded filter fusion (DCFF), to derive compact CNNs in a computation-economical and regularization-free manner for efficient image classification. Each filter in our DCFF is firstly given an inter-similarity distribution with a temperature parameter as a filter proxy, on top of which, a fresh Kullback-Leibler divergence based dynamic-coded criterion is proposed to evaluate the filter importance. In contrast to simply keeping high-score filters in other methods, we propose the concept of filter fusion, i.e., the weighted averages using the assigned proxies, as our preserved filters. We obtain a one-hot inter-similarity distribution as the temperature parameter approaches infinity. Thus, the relative importance of each filter can vary along with the training of the compact CNN, leading to dynamically changeable fused filters without both the dependency on the pretrained model and the introduction of sparse constraints. Extensive experiments on classification benchmarks demonstrate the superiority of our DCFF over the compared counterparts. For example, our DCFF derives a compact VGGNet-16 with only 72.77M FLOPs and 1.06M parameters while reaching top-1 accuracy of 93.47% on CIFAR-10. A compact ResNet-50 is obtained with 63.8% FLOPs and 58.6% parameter reductions, retaining 75.60% top-1 accuracy on ILSVRC-2012. Our code, narrower models and training logs are available at https://github.com/lmbxmu/DCFF.

由于稀疏神经网络通常包含许多零权重，因此可以在不降低网络性能的情况下潜在地消除这些不必要的网络连接。因此，设计良好的稀疏神经网络具有显着降低拖鞋和计算资源的潜力。在这项工作中，我们提出了一种新的自动修剪方法 - 稀疏连接学习（SCL）。具体地，重量被重新参数化为可培训权重变量和二进制掩模的元素方向乘法。因此，由二进制掩模完全描述网络连接，其由单位步进函数调制。理论上，从理论上证明了使用直通估计器（STE）进行网络修剪的基本原理。这一原则是STE的代理梯度应该是积极的，确保掩模变量在其最小值处收敛。在找到泄漏的Relu后，SoftPlus和Identity Stes可以满足这个原理，我们建议采用SCL的身份STE以进行离散面膜松弛。我们发现不同特征的面具梯度非常不平衡，因此，我们建议将每个特征的掩模梯度标准化以优化掩码变量训练。为了自动训练稀疏掩码，我们将网络连接总数作为我们的客观函数中的正则化术语。由于SCL不需要由网络层设计人员定义的修剪标准或超级参数，因此在更大的假设空间中探讨了网络，以实现最佳性能的优化稀疏连接。 SCL克服了现有自动修剪方法的局限性。实验结果表明，SCL可以自动学习并选择各种基线网络结构的重要网络连接。 SCL培训的深度学习模型以稀疏性，精度和减少脚波特的SOTA人类设计和自动修剪方法训练。

Many applications require sparse neural networks due to space or inference time restrictions. There is a large body of work on training dense networks to yield sparse networks for inference, but this limits the size of the largest trainable sparse model to that of the largest trainable dense model. In this paper we introduce a method to train sparse neural networks with a fixed parameter count and a fixed computational cost throughout training, without sacrificing accuracy relative to existing dense-tosparse training methods. Our method updates the topology of the sparse network during training by using parameter magnitudes and infrequent gradient calculations. We show that this approach requires fewer floating-point operations (FLOPs) to achieve a given level of accuracy compared to prior techniques. We demonstrate state-of-the-art sparse training results on a variety of networks and datasets, including ResNet-50, MobileNets on Imagenet-2012, and RNNs on WikiText-103. Finally, we provide some insights into why allowing the topology to change during the optimization can overcome local minima encountered when the topology remains static * .

最近，稀疏培训已成为有希望的范式，可在边缘设备上有效地深入学习。当前的研究主要致力于通过进一步增加模型稀疏性来降低培训成本。但是，增加的稀疏性并不总是理想的，因为它不可避免地会在极高的稀疏度下引入严重的准确性降解。本文打算探索其他可能的方向，以有效，有效地降低稀疏培训成本，同时保持准确性。为此，我们研究了两种技术，即层冻结和数据筛分。首先，层冻结方法在密集的模型训练和微调方面取得了成功，但在稀疏训练域中从未采用过。然而，稀疏训练的独特特征可能会阻碍层冻结技术的结合。因此，我们分析了在稀疏培训中使用层冻结技术的可行性和潜力，并发现它有可能节省大量培训成本。其次，我们提出了一种用于数据集有效培训的数据筛分方法，该方法通过确保在整个培训过程中仅使用部分数据集来进一步降低培训成本。我们表明，这两种技术都可以很好地整合到稀疏训练算法中，以形成一个通用框架，我们将其配置为SPFDE。我们的广泛实验表明，SPFDE可以显着降低培训成本，同时从三个维度中保留准确性：重量稀疏性，层冻结和数据集筛分。

网络修剪是一种广泛使用的技术，用于有效地压缩深神经网络，几乎没有在推理期间在性能下降低。迭代幅度修剪（IMP）是由几种迭代训练和修剪步骤组成的网络修剪的最熟悉的方法之一，其中在修剪后丢失了大量网络的性能，然后在随后的再培训阶段中恢复。虽然常用为基准参考，但经常认为a）通过不将稀疏纳入训练阶段来达到次优状态，b）其全球选择标准未能正确地确定最佳层面修剪速率和c）其迭代性质使它变得缓慢和不竞争。根据最近提出的再培训技术，我们通过严格和一致的实验来调查这些索赔，我们将Impr到培训期间的训练算法进行比较，评估其选择标准的建议修改，并研究实际需要的迭代次数和总培训时间。我们发现IMP与SLR进行再培训，可以优于最先进的修剪期间，没有或仅具有很少的计算开销，即全局幅度选择标准在很大程度上具有更复杂的方法，并且只有几个刷新时期在实践中需要达到大部分稀疏性与IMP的诽谤 - 与性能权衡。我们的目标既可以证明基本的进攻已经可以提供最先进的修剪结果，甚至优于更加复杂或大量参数化方法，也可以为未来的研究建立更加现实但易于可实现的基线。

深度神经网络（DNN）在解决许多真实问题方面都有效。较大的DNN模型通常表现出更好的质量（例如，精度，精度），但它们的过度计算会导致长期推理时间。模型稀疏可以降低计算和内存成本，同时保持模型质量。大多数现有的稀疏算法是单向移除的重量，而其他人则随机或贪婪地探索每层进行修剪的小权重子集。这些算法的局限性降低了可实现的稀疏性水平。此外，许多算法仍然需要预先训练的密集模型，因此遭受大的内存占地面积。在本文中，我们提出了一种新颖的预定生长和修剪（间隙）方法，而无需预先培训密集模型。它通过反复生长一个层次的层来解决以前的作品的缺点，然后在一些训练后修剪回到稀疏。实验表明，使用所提出的方法修剪模型匹配或击败高度优化的密集模型的质量，在各种任务中以80％的稀疏度，例如图像分类，客观检测，3D对象分段和翻译。它们还优于模型稀疏的其他最先进的（SOTA）方法。作为一个例子，通过间隙获得的90％不均匀的稀疏resnet-50模型在想象中实现了77.9％的前1个精度，提高了先前的SOTA结果1.5％。所有代码将公开发布。

彩票票证假设（LTH）表明，密集的模型包含高度稀疏的子网（即获奖门票），可以隔离培训以完全准确。尽管做出了许多激动人心的努力，但仍有一个“常识”很少受到挑战：通过迭代级修剪（IMP）发现了一张获胜的票，因此由此产生的修剪子网仅具有非结构化的稀疏性。这一差距限制了在实践中赢得门票的吸引力，因为高度不规则的稀疏模式在硬件上加速的挑战是挑战性的。同时，直接将结构化修剪替换为非结构化的修剪，以更严重地损害绩效，并且通常无法找到获胜的票。在本文中，我们证明了第一个积极的结果是，总体上可以有效地找到结构上稀疏的获胜票。核心思想是在每一轮（非结构化）IMP之后附加“后处理技术”，以实施结构稀疏的形成。具体而言，我们首先在某些被认为很重要的通道中“重新填充”修剪元素，然后“重新组”非零元素以创建灵活的群体结构模式。我们确定的渠道和团体结构子网都赢得了彩票，并以现有硬件很容易支持的大量推理加速。广泛的实验，在多个网络骨架的不同数据集上进行，一致验证了我们的建议，表明LTH的硬件加速障碍现在已被删除。具体而言，结构上的获胜票最多可获得{64.93％，64.84％，60.23％}的运行时间节省，以{36％〜80％，74％，58％}的稀疏性在{Cifar，cifar，tiny-imageNet，imageNet}上保持可比较的精度。代码在https://github.com/vita-group/structure-lth上。

Structured channel pruning has been shown to significantly accelerate inference time for convolution neural networks (CNNs) on modern hardware, with a relatively minor loss of network accuracy. Recent works permanently zero these channels during training, which we observe to significantly hamper final accuracy, particularly as the fraction of the network being pruned increases. We propose Soft Masking for cost-constrained Channel Pruning (SMCP) to allow pruned channels to adaptively return to the network while simultaneously pruning towards a target cost constraint. By adding a soft mask re-parameterization of the weights and channel pruning from the perspective of removing input channels, we allow gradient updates to previously pruned channels and the opportunity for the channels to later return to the network. We then formulate input channel pruning as a global resource allocation problem. Our method outperforms prior works on both the ImageNet classification and PASCAL VOC detection datasets.

稀疏培训是一种自然的想法，可以加速深度神经网络的训练速度，并节省内存使用，特别是因为大型现代神经网络被显着过度参数化。然而，大多数现有方法在实践中无法实现这一目标，因为先前方法采用的基于链规则的梯度（W.R.T.结构参数）估计。至少在向后传播步骤中至少需要密集的计算。本文通过提出具有完全稀疏的前后通行证的有效稀疏训练方法来解决这个问题。我们首先在全球稀疏限制下将培训过程制定为连续最小化问题。然后，我们将优化过程分为两个步骤，对应于权重更新和结构参数更新。对于前一步，我们使用传统的链规则，这可以通过利用稀疏结构来稀疏。对于后一步，而不是使用基于链规则的梯度估计器，如现有方法中，我们提出了一个方差减少的策略梯度估计器，这只需要两个向前通过而不向后传播，从而实现完全稀疏的训练。我们证明了我们渐变估计器的差异是界定的。对现实世界数据集的广泛实验结果表明，与以前的方法相比，我们的算法在加速训练过程中更有效，速度快到速度更快。

关于稀疏神经网络训练（稀疏训练）的最新研究表明，通过从头开始训练本质上稀疏的神经网络可以实现绩效和效率之间的令人信服的权衡。现有的稀疏训练方法通常努力在一次跑步中找到最佳的稀疏子网，而无需涉及任何昂贵的密集或预训练步骤。例如，作为最突出的方向之一，动态稀疏训练（DST）能够通过在训练过程中迭代发展稀疏拓扑来实现竞争性训练的竞争性能。在本文中，我们认为最好分配有限的资源来创建多个低损失的稀疏子网并将其超级置于更强的基因，而不是完全分配所有资源以找到单个子网络。为了实现这一目标，需要两个Desiderata：（1）在一个培训过程中有效生产许多低损失的子网，即所谓的廉价门票，仅限于用于密集培训的标准培训时间； （2）将这些廉价的门票有效地超级为一个更强的子网，而无需超越约束参数预算。为了证实我们的猜想，我们提出了一种新颖的稀疏训练方法，称为\ textbf {sup-tickets}，可以在单个稀疏到较小的训练过程中同时满足上述两个desiderata。在CIFAR-10/100和Imagenet上的各种现代体系结构中，我们表明，SUP-Tickets与现有的稀疏训练方法无缝集成，并显示出一致的性能提高。

虽然网络稀疏作为克服神经网络大小的有希望的方向，但它仍然是保持模型准确性的开放问题，并在一般CPU上实现了显着的加速。在本文中，我们提出了一篇新颖的1美元\ Times N $块稀疏模式（块修剪）的概念来打破这种限制。特别是，具有相同输入通道索引的连续$ N $输出内核被分组为一个块，该块用作我们修剪模式的基本修剪粒度。我们的$ 1 \ times n $ sparsity模式prunes这些块被认为不重要。我们还提供过滤器重新排列的工作流程，首先重新排列输出通道尺寸中的权重矩阵，以获得更具影响力的块，以便精度改进，然后将类似的重新排列到输入通道维度中的下一层权重，以确保正确的卷积操作。此外，可以通过并行化块 - 方向的矢量化操作实现在我们的$ 1 \ Times N $块稀疏之后的输出计算，从而导致总基于CPU的平台上的显着加速。通过对ILSVRC-2012的实验证明了我们修剪模式的功效。例如，在50％的稀疏性和$ n = 4 $的情况下，我们的模式在MobileNet-V2的前1个精度的过滤器修剪中获得了大约3.0％的改进。同时，它在Cortex-A7 CPU上获得56.04ms推断，超过体重修剪。代码可在https://github.com/lmbxmu/1xn处获得。

Network pruning is widely used for reducing the heavy inference cost of deep models in low-resource settings. A typical pruning algorithm is a three-stage pipeline, i.e., training (a large model), pruning and fine-tuning. During pruning, according to a certain criterion, redundant weights are pruned and important weights are kept to best preserve the accuracy. In this work, we make several surprising observations which contradict common beliefs. For all state-of-the-art structured pruning algorithms we examined, fine-tuning a pruned model only gives comparable or worse performance than training that model with randomly initialized weights. For pruning algorithms which assume a predefined target network architecture, one can get rid of the full pipeline and directly train the target network from scratch. Our observations are consistent for multiple network architectures, datasets, and tasks, which imply that: 1) training a large, over-parameterized model is often not necessary to obtain an efficient final model, 2) learned "important" weights of the large model are typically not useful for the small pruned model, 3) the pruned architecture itself, rather than a set of inherited "important" weights, is more crucial to the efficiency in the final model, which suggests that in some cases pruning can be useful as an architecture search paradigm. Our results suggest the need for more careful baseline evaluations in future research on structured pruning methods. We also compare with the "Lottery Ticket Hypothesis" (Frankle & Carbin, 2019), and find that with optimal learning rate, the "winning ticket" initialization as used in Frankle & Carbin (2019) does not bring improvement over random initialization. * Equal contribution. † Work done while visiting UC Berkeley.

Turning the weights to zero when training a neural network helps in reducing the computational complexity at inference. To progressively increase the sparsity ratio in the network without causing sharp weight discontinuities during training, our work combines soft-thresholding and straight-through gradient estimation to update the raw, i.e. non-thresholded, version of zeroed weights. Our method, named ST-3 for straight-through/soft-thresholding/sparse-training, obtains SoA results, both in terms of accuracy/sparsity and accuracy/FLOPS trade-offs, when progressively increasing the sparsity ratio in a single training cycle. In particular, despite its simplicity, ST-3 favorably compares to the most recent methods, adopting differentiable formulations or bio-inspired neuroregeneration principles. This suggests that the key ingredients for effective sparsification primarily lie in the ability to give the weights the freedom to evolve smoothly across the zero state while progressively increasing the sparsity ratio. Source code and weights available at https://github.com/vanderschuea/stthree

最近的几项著作从经验上发现，鉴定学习率对于神经网络结构修剪的最终表现至关重要。进一步的研究发现，网络训练性通过修剪答案而破坏，因此呼吁迫切需要在填充之前恢复训练性。现有的尝试建议利用重量正交化以实现动态等轴测图，以提高训练性。但是，它们仅适用于线性MLP网络。如何开发一种维护或恢复可训练性并且可扩展到现代深网的过滤器修剪方法仍然难以捉摸。在本文中，我们提出了维护修剪（TPP）的训练性，这是一种基于正则化的结构化修剪方法，可以有效地维持稀疏期间的训练性。具体而言，TPP将卷积内核的革兰氏矩阵正规化，以从保存的过滤器中解除修剪过滤器。除了卷积层外，我们还建议将BN参数正规化，以更好地保留训练性。从经验上讲，TPP可以与线性MLP网络上的基地真相动力学恢复方法竞争。在非线性网络（RESNET56/VGG19，CIFAR数据集）上，它的表现优于其他对应解决方案。此外，与许多表现最好的滤镜修剪方法相比，TPP还可以在ImageNet上与现代深层网络（RESENET）有效地工作，从而提供了令人鼓舞的性能。据我们所知，这是第一种在大规模深度神经网络修剪过程中有效维持训练性的第一种方法。

有效地近似损失函数的局部曲率信息是用于深神经网络的优化和压缩的关键工具。然而，大多数现有方法近似二阶信息具有高计算或存储成本，这可以限制其实用性。在这项工作中，我们调查矩阵，用于估计逆象征的矢量产品（IHVPS）的矩阵线性时间方法，因为当Hessian可以近似为乘语 - 一个矩阵的总和时，如Hessian的经典近似由经验丰富的Fisher矩阵。我们提出了两个新的算法作为称为M-FAC的框架的一部分：第一个算法朝着网络压缩量身定制，如果Hessian给出了M $等级的总和，则可以计算Dimension $ D $的IHVP。 ，使用$ O（DM ^ 2）$预压制，$ O（DM）$代价计算IHVP，并查询逆Hessian的任何单个元素的费用$ O（m）$。第二算法针对优化设置，我们希望在反向Hessian之间计算产品，估计在优化步骤的滑动窗口和给定梯度方向上，根据预先说明的SGD所需的梯度方向。我们为计算IHVP和OHVP和O（DM + M ^ 3）$ of $ o（dm + m ^ 2）$提供算法，以便从滑动窗口添加或删除任何渐变。这两种算法产生最先进的结果，用于网络修剪和相对于现有二阶方法的计算开销的优化。在[9]和[17]可用实现。

深度神经网络（DNN）的计算要求增加导致获得稀疏，且准确的DNN模型的兴趣。最近的工作已经调查了稀疏训练的更加困难的情况，其中DNN重量尽可能稀少，以减少训练期间的计算成本。现有的稀疏训练方法通常是经验的，并且可以具有相对于致密基线的准确性较低。在本文中，我们介绍了一种称为交替压缩/解压缩（AC / DC）训练DNN的一般方法，证明了算法变体的收敛，并表明AC / DC在类似的计算预算中准确地表现出现有的稀疏训练方法;在高稀疏水平下，AC / DC甚至优于现有的现有方法，依赖于准确的预训练密集模型。 AC / DC的一个重要属性是它允许联合培训密集和稀疏的型号，在训练过程结束时产生精确的稀疏密集模型对。这在实践中是有用的，其中压缩变体可能是为了在资源受限的设置中进行部署而不重新执行整个训练流，并且还为我们提供了深入和压缩模型之间的精度差距的见解。代码可在：https://github.com/ist-daslab/acdc。

由于其实现的实际加速，过滤器修剪已广泛用于神经网络压缩。迄今为止，大多数现有滤波器修剪工作探索过滤器通过使用通道内信息的重要性。在本文中，从频道间透视开始，我们建议使用信道独立性进行有效的滤波器修剪，该指标测量不同特征映射之间的相关性。较少独立的特征映射被解释为包含较少有用的信息$ / $知识，因此可以修剪其相应的滤波器而不会影响模型容量。我们在过滤器修剪的背景下系统地调查了渠道独立性的量化度量，测量方案和敏感性$ / $可靠性。我们对各种数据集不同模型的评估结果显示了我们方法的卓越性能。值得注意的是，在CIFAR-10数据集上，我们的解决方案可以分别为基线Resnet-56和Resnet-110型号的0.75 \％$ 0.94 \％$ 0.94 \％。模型大小和拖鞋减少了42.8 \％$和$ 47.4 \％$（for Resnet-56）和48.3 \％$ 48.3 \％$ 52.1 \％$（for resnet-110）。在ImageNet DataSet上，我们的方法可以分别达到40.8 \％$ 44.8 \％$ 74.8 \％$ 0.15 \％$ 0.15 \％$ 0.15美元的准确性。该代码可在https://github.com/eclipsess/chip_neurivs2021上获得。