已知神经模型被过度参数化，最近的工作表明，稀疏的文本到语音（TTS）模型可以超过密集的模型。尽管已经为其他域提出了大量稀疏方法，但这种方法很少在TTS中应用。在这项工作中，我们试图回答以下问题：所选稀疏技术在性能和模型复杂性上的特征是什么？我们比较了Tacotron2基线和应用五种技术的结果。然后，我们通过自然性，清晰度和韵律来评估表现，同时报告模型规模和训练时间。与先前的研究相辅相成，我们发现在训练之前或期间进行修剪可以实现与训练后的修剪相似的性能，并且可以更快地进行培训，同时除去整个神经元降低了性能远不止于删除参数。据我们所知，这是比较文本到语音综合中稀疏范式的第一部作品。

Many applications require sparse neural networks due to space or inference time restrictions. There is a large body of work on training dense networks to yield sparse networks for inference, but this limits the size of the largest trainable sparse model to that of the largest trainable dense model. In this paper we introduce a method to train sparse neural networks with a fixed parameter count and a fixed computational cost throughout training, without sacrificing accuracy relative to existing dense-tosparse training methods. Our method updates the topology of the sparse network during training by using parameter magnitudes and infrequent gradient calculations. We show that this approach requires fewer floating-point operations (FLOPs) to achieve a given level of accuracy compared to prior techniques. We demonstrate state-of-the-art sparse training results on a variety of networks and datasets, including ResNet-50, MobileNets on Imagenet-2012, and RNNs on WikiText-103. Finally, we provide some insights into why allowing the topology to change during the optimization can overcome local minima encountered when the topology remains static * .

自动语音识别模型需要大量的语音数据进行培训，并且此类数据的收集通常会导致隐私问题。联合学习已被广泛使用，被认为是一种有效的分散技术，通过协作学习共享的预测模型，同时将数据保留在不同客户端设备上。但是，客户设备上有限的计算和通信资源给大型模型带来了实际困难。为了克服此类挑战，我们建议联合修剪以在联合环境下训练还原模型，同时与完整模型相比保持相似的性能。此外，与集中式培训相比，还可以利用大量客户数据来改善修剪结果。我们探索不同的修剪方案，并提供了我们方法有效性的经验证据。

修剪是稀疏深神经网络的任务，最近受到了越来越多的关注。尽管最先进的修剪方法提取了高度稀疏的模型，但它们忽略了两个主要挑战：（1）寻找这些稀疏模型的过程通常非常昂贵； （2）非结构化的修剪在GPU记忆，训练时间或碳排放方面没有提供好处。我们提出了通过梯度流量保存（早期CROP）提出的早期压缩，该压缩在训练挑战（1）的培训（1）中有效提取最先进的稀疏模型，并且可以以结构化的方式应用来应对挑战（2）。这使我们能够在商品GPU上训练稀疏的网络，该商品GPU的密集版本太大，从而节省了成本并减少了硬件要求。我们从经验上表明，早期杂交的表现优于许多任务（包括分类，回归）和域（包括计算机视觉，自然语言处理和增强学习）的丰富基线。早期杂交导致准确性与密集训练相当，同时超过修剪基线。

从可穿戴设备到功能强大的智能设备，现代自动语音识别（ASR）型号在各种具有不同计算预算的边缘设备上运行。为了浏览模型准确性与模型大小的帕累托前线，研究人员陷入了通过为每个单独的边缘设备进行训练和微调模型来优化模型精度的困境，同时保持训练GPU小时可拖动。在本文中，我们提出了Omni-Sparsity DNN，其中可以修剪单个神经网络以生成针对各种模型大小的优化模型。我们为Omni-Sparsity DNN制定了培训策略，使其可以在Word-Error-rate（WER）vs模型大小的帕累托（Pareto）沿线找到模​​型，同时使培训GPU小时不超过训练一个单数模型的模型。我们使用流e2e ASR模型演示了Omni-Sparsity DNN。与单独修剪的稀疏型号相比，我们的结果在LibrisPeech上具有相似或更高准确性的培训时间和资源节省了大量节省：在测试中差2％-6.6％。

稀疏性已成为压缩和加速深度神经网络（DNN）的有前途方法之一。在不同类别的稀疏性中，由于其对现代加速器的有效执行，结构化的稀疏性引起了人们的关注。特别是，n：m稀疏性很有吸引力，因为已经有一些硬件加速器架构可以利用某些形式的n：m结构化稀疏性来产生更高的计算效率。在这项工作中，我们专注于N：M的稀疏性，并广泛研究和评估N：M稀疏性的各种培训食谱，以模型准确性和计算成本（FLOPS）之间的权衡（FLOPS）。在这项研究的基础上，我们提出了两种新的基于衰减的修剪方法，即“修剪面膜衰减”和“稀疏结构衰减”。我们的评估表明，这些提出的方法始终提供最新的（SOTA）模型精度，可与非结构化的稀疏性相当，在基于变压器的模型上用于翻译任务。使用新培训配方的稀疏模型准确性的提高是以总训练计算（FLOP）边际增加的成本。

Network pruning is widely used for reducing the heavy inference cost of deep models in low-resource settings. A typical pruning algorithm is a three-stage pipeline, i.e., training (a large model), pruning and fine-tuning. During pruning, according to a certain criterion, redundant weights are pruned and important weights are kept to best preserve the accuracy. In this work, we make several surprising observations which contradict common beliefs. For all state-of-the-art structured pruning algorithms we examined, fine-tuning a pruned model only gives comparable or worse performance than training that model with randomly initialized weights. For pruning algorithms which assume a predefined target network architecture, one can get rid of the full pipeline and directly train the target network from scratch. Our observations are consistent for multiple network architectures, datasets, and tasks, which imply that: 1) training a large, over-parameterized model is often not necessary to obtain an efficient final model, 2) learned "important" weights of the large model are typically not useful for the small pruned model, 3) the pruned architecture itself, rather than a set of inherited "important" weights, is more crucial to the efficiency in the final model, which suggests that in some cases pruning can be useful as an architecture search paradigm. Our results suggest the need for more careful baseline evaluations in future research on structured pruning methods. We also compare with the "Lottery Ticket Hypothesis" (Frankle & Carbin, 2019), and find that with optimal learning rate, the "winning ticket" initialization as used in Frankle & Carbin (2019) does not bring improvement over random initialization. * Equal contribution. † Work done while visiting UC Berkeley.

Structural pruning of neural network parameters reduces computation, energy, and memory transfer costs during inference. We propose a novel method that estimates the contribution of a neuron (filter) to the final loss and iteratively removes those with smaller scores. We describe two variations of our method using the first and secondorder Taylor expansions to approximate a filter's contribution. Both methods scale consistently across any network layer without requiring per-layer sensitivity analysis and can be applied to any kind of layer, including skip connections. For modern networks trained on ImageNet, we measured experimentally a high (>93%) correlation between the contribution computed by our methods and a reliable estimate of the true importance. Pruning with the proposed methods leads to an improvement over state-ofthe-art in terms of accuracy, FLOPs, and parameter reduction. On ResNet-101, we achieve a 40% FLOPS reduction by removing 30% of the parameters, with a loss of 0.02% in the top-1 accuracy on ImageNet. Code is available at https://github.com/NVlabs/Taylor_pruning.

We show for the first time that large-scale generative pretrained transformer (GPT) family models can be pruned to at least 50% sparsity in one-shot, without any retraining, at minimal loss of accuracy. This is achieved via a new pruning method called SparseGPT, specifically designed to work efficiently and accurately on massive GPT-family models. When executing SparseGPT on the largest available open-source models, OPT-175B and BLOOM-176B, we can reach 60% sparsity with negligible increase in perplexity: remarkably, more than 100 billion weights from these models can be ignored at inference time. SparseGPT generalizes to semi-structured (2:4 and 4:8) patterns, and is compatible with weight quantization approaches.

Pruning large neural networks while maintaining their performance is often desirable due to the reduced space and time complexity. In existing methods, pruning is done within an iterative optimization procedure with either heuristically designed pruning schedules or additional hyperparameters, undermining their utility. In this work, we present a new approach that prunes a given network once at initialization prior to training. To achieve this, we introduce a saliency criterion based on connection sensitivity that identifies structurally important connections in the network for the given task. This eliminates the need for both pretraining and the complex pruning schedule while making it robust to architecture variations. After pruning, the sparse network is trained in the standard way. Our method obtains extremely sparse networks with virtually the same accuracy as the reference network on the MNIST, CIFAR-10, and Tiny-ImageNet classification tasks and is broadly applicable to various architectures including convolutional, residual and recurrent networks. Unlike existing methods, our approach enables us to demonstrate that the retained connections are indeed relevant to the given task.

结构化修剪是一种降低卷积神经网络成本的流行方法，这是许多计算机视觉任务中最先进的方法。但是，根据体系结构，修剪会引入维数差异，以防止实际减少修剪的网络。为了解决这个问题，我们提出了一种能够采用任何结构化的修剪面膜并生成一个不会遇到这些问题的网络并可以有效利用的网络。我们提供了对解决方案的准确描述，并显示了嵌入式硬件，修剪卷积神经网络的能源消耗和推理时间的增长结果。

深度神经网络（DNN）在解决许多真实问题方面都有效。较大的DNN模型通常表现出更好的质量（例如，精度，精度），但它们的过度计算会导致长期推理时间。模型稀疏可以降低计算和内存成本，同时保持模型质量。大多数现有的稀疏算法是单向移除的重量，而其他人则随机或贪婪地探索每层进行修剪的小权重子集。这些算法的局限性降低了可实现的稀疏性水平。此外，许多算法仍然需要预先训练的密集模型，因此遭受大的内存占地面积。在本文中，我们提出了一种新颖的预定生长和修剪（间隙）方法，而无需预先培训密集模型。它通过反复生长一个层次的层来解决以前的作品的缺点，然后在一些训练后修剪回到稀疏。实验表明，使用所提出的方法修剪模型匹配或击败高度优化的密集模型的质量，在各种任务中以80％的稀疏度，例如图像分类，客观检测，3D对象分段和翻译。它们还优于模型稀疏的其他最先进的（SOTA）方法。作为一个例子，通过间隙获得的90％不均匀的稀疏resnet-50模型在想象中实现了77.9％的前1个精度，提高了先前的SOTA结果1.5％。所有代码将公开发布。

现代深度神经网络往往太大而无法在许多实际情况下使用。神经网络修剪是降低这种模型的大小的重要技术和加速推断。Gibbs修剪是一种表达和设计神经网络修剪方法的新框架。结合统计物理和随机正则化方法的方法，它可以同时培训和修剪网络，使得学习的权重和修剪面膜彼此很好地适应。它可用于结构化或非结构化修剪，我们为每个提出了许多特定方法。我们将拟议的方法与许多当代神经网络修剪方法进行比较，发现Gibbs修剪优于它们。特别是，我们通过CIFAR-10数据集来实现修剪Reset-56的新型最先进的结果。

在过去的十年中，修剪神经网络已经流行，当时证明可以安全地从现代神经网络中安全地删除大量权重，而不会损害准确性。从那时起，已经提出了许多修剪方法，每种方法都比以前更好。如今，许多最先进的技术（SOTA）技术依赖于使用重要性得分的复杂修剪方法，通过反向传播获得反馈或在其他等方面获得基于启发式的修剪规则。我们质疑这种引入复杂性的模式，以获得更好的修剪结果。我们对这些SOTA技术基准针对全球幅度修剪（全球MP）（一个天真的修剪基线），以评估是否确实需要复杂性来实现更高的性能。全球MP按其幅度顺序排列权重，并修理最小的权重。因此，它以香草形式是最简单的修剪技术之一。令人惊讶的是，我们发现香草全球MP的表现优于所有其他SOTA技术，并取得了新的SOTA结果。它还可以在拖叉稀疏方面取得良好的性能，当以逐渐修剪的方式进行修剪时，我们发现这是增强的。我们还发现，全球MP在具有卓越性能的任务，数据集和模型之间可以推广。此外，许多修剪算法以高稀疏速率遇到的一个常见问题，即可以通过设置要保留在每层中的最小权重阈值来轻松固定在全球MP中。最后，与许多其他SOTA技术不同，全球MP不需要任何其他特定算法的超参数，并且非常简单地调整和实施。我们在各种模型（WRN-28-8，Resnet-32，Resnet-50，Mobilenet-V1和FastGrnn）和多个数据集（CIFAR-10，Imagenet和HAR-2）上展示了我们的发现。代码可在https://github.com/manasgupta-1/globalmp上找到。

预磨料的语言模型的大小使它们在有多个所需的下游任务时使用挑战和昂贵。在这项工作中，我们采用了最近的近期模型修剪策略，以探索是否有可能修剪单个编码器，以便它可以用于多个任务。我们分配了固定的参数预算，并将修剪修剪单个模型，对单任务模型的最佳集合进行多任务目标。我们发现，根据两个修剪策略（元素 - 明智和排名修剪），当在所有任务中平均时，具有多任务目标的方法优于培训模型，并且在每个任务中都具有竞争力。其他分析发现，在修剪期间使用多任务目标也可以是减少低资源任务的模型大小的有效方法。

由于稀疏神经网络通常包含许多零权重，因此可以在不降低网络性能的情况下潜在地消除这些不必要的网络连接。因此，设计良好的稀疏神经网络具有显着降低拖鞋和计算资源的潜力。在这项工作中，我们提出了一种新的自动修剪方法 - 稀疏连接学习（SCL）。具体地，重量被重新参数化为可培训权重变量和二进制掩模的元素方向乘法。因此，由二进制掩模完全描述网络连接，其由单位步进函数调制。理论上，从理论上证明了使用直通估计器（STE）进行网络修剪的基本原理。这一原则是STE的代理梯度应该是积极的，确保掩模变量在其最小值处收敛。在找到泄漏的Relu后，SoftPlus和Identity Stes可以满足这个原理，我们建议采用SCL的身份STE以进行离散面膜松弛。我们发现不同特征的面具梯度非常不平衡，因此，我们建议将每个特征的掩模梯度标准化以优化掩码变量训练。为了自动训练稀疏掩码，我们将网络连接总数作为我们的客观函数中的正则化术语。由于SCL不需要由网络层设计人员定义的修剪标准或超级参数，因此在更大的假设空间中探讨了网络，以实现最佳性能的优化稀疏连接。 SCL克服了现有自动修剪方法的局限性。实验结果表明，SCL可以自动学习并选择各种基线网络结构的重要网络连接。 SCL培训的深度学习模型以稀疏性，精度和减少脚波特的SOTA人类设计和自动修剪方法训练。

修剪深度神经网络的现有方法专注于去除训练有素的网络的不必要参数，然后微调模型，找到恢复训练模型的初始性能的良好解决方案。与其他作品不同，我们的方法特别注意通过修剪神经元的压缩模型和推理计算时间的解决方案的质量。通过探索Hessian的光谱半径，所提出的算法通过探索Hessian的光谱半径来指示压缩模型的参数，这导致了更好地推广了未经看涨的数据。此外，该方法不适用于预先训练的网络，并同时执行训练和修剪。我们的结果表明，它改善了神经元压缩的最先进的结果。该方法能够在不同神经网络模型上实现具有小精度下降的非常小的网络。

The deployment of deep convolutional neural networks (CNNs) in many real world applications is largely hindered by their high computational cost. In this paper, we propose a novel learning scheme for CNNs to simultaneously 1) reduce the model size; 2) decrease the run-time memory footprint; and 3) lower the number of computing operations, without compromising accuracy. This is achieved by enforcing channel-level sparsity in the network in a simple but effective way. Different from many existing approaches, the proposed method directly applies to modern CNN architectures, introduces minimum overhead to the training process, and requires no special software/hardware accelerators for the resulting models. We call our approach network slimming, which takes wide and large networks as input models, but during training insignificant channels are automatically identified and pruned afterwards, yielding thin and compact models with comparable accuracy. We empirically demonstrate the effectiveness of our approach with several state-of-the-art CNN models, including VGGNet, ResNet and DenseNet, on various image classification datasets. For VGGNet, a multi-pass version of network slimming gives a 20× reduction in model size and a 5× reduction in computing operations.

卷积神经网络（CNNS）在许多实际应用中成功了。但是，它们的高计算和存储要求通常使它们难以在资源受限的设备上部署。为了解决这个问题，已经提出了许多修剪算法用于CNN，但大多数人不能将CNNS提交给合理的水平。在本文中，我们提出了一种基于递归最小二乘（RLS）优化的训练和修剪CNN的新颖算法。在为某些时期培训CNN之后，我们的算法组合了逆输入自相关矩阵和权重矩阵，以按层评估和修剪不重要的输入通道或节点层。然后，我们的算法将继续培训修剪的网络，并且在修剪的网络恢复旧网络的完整性能之前，不会进行下一次修剪。此外，对于CNN，所提出的算法可用于前馈神经网络（FNN）。在MNIST，CIFAR-10和SVHN数据集上的三个实验表明，我们的算法可以实现更合理的修剪，并且具有比其他四个流行的修剪算法更高的学习效率。

This paper presents a method for adding multiple tasks to a single deep neural network while avoiding catastrophic forgetting. Inspired by network pruning techniques, we exploit redundancies in large deep networks to free up parameters that can then be employed to learn new tasks. By performing iterative pruning and network re-training, we are able to sequentially "pack" multiple tasks into a single network while ensuring minimal drop in performance and minimal storage overhead. Unlike prior work that uses proxy losses to maintain accuracy on older tasks, we always optimize for the task at hand. We perform extensive experiments on a variety of network architectures and largescale datasets, and observe much better robustness against catastrophic forgetting than prior work. In particular, we are able to add three fine-grained classification tasks to a single ImageNet-trained VGG-16 network and achieve accuracies close to those of separately trained networks for each task. Code available at https://github.com/ arunmallya/packnet