预磨料的语言模型的大小使它们在有多个所需的下游任务时使用挑战和昂贵。在这项工作中，我们采用了最近的近期模型修剪策略，以探索是否有可能修剪单个编码器，以便它可以用于多个任务。我们分配了固定的参数预算，并将修剪修剪单个模型，对单任务模型的最佳集合进行多任务目标。我们发现，根据两个修剪策略（元素 - 明智和排名修剪），当在所有任务中平均时，具有多任务目标的方法优于培训模型，并且在每个任务中都具有竞争力。其他分析发现，在修剪期间使用多任务目标也可以是减少低资源任务的模型大小的有效方法。

巨大的预训练模型已成为自然语言处理（NLP）的核心，它是针对一系列下游任务进行微调的起点。然而，此范式的两个疼痛点持续：（a）随着预训练的模型的增长越大（例如，GPT-3的175b参数），即使是微调过程也可能是耗时的，并且计算昂贵； （b）默认情况下，微调模型的大小与起点相同，由于其更专业的功能，这既不明智，也不是实际的，因为许多微调模型将部署在资源受限的环境中。为了解决这些疼痛点，我们通过在重量更新和最终模型权重中利用稀疏性来提出一个用于资源和参数有效的微调的框架。我们提出的框架被称为双重稀疏性的有效调整（DSEE），旨在实现两个关键目标：（i）参数有效的微调 - 通过在预训练的权重的顶部强制实施稀疏性的低级更新； （ii）资源有效的推论 - 通过鼓励对最终微调模型的稀疏重量结构。我们通过统一的方法在预训练的语言模型中利用非结构化和结构化的稀疏模式来利用这两个方向的稀疏性。广泛的实验和深入研究，对数十个数据集进行了不同的网络骨干（即Bert，Roberta和GPT-2），始终显示出令人印象深刻的参数 - /推理效率，同时保持竞争性下游性能。例如，DSEE在达到可比性能的同时节省了约25％的推理拖失lo，在BERT上具有0.5％的可训练参数。代码可在https://github.com/vita-group/dsee中找到。

最近对深神经网络（DNN）效率的重点已导致了模型压缩方法的重要工作，其中重量修剪是最受欢迎的方法之一。同时，有快速增长的计算支持，以有效地执行通过修剪获得的非结构化模型。但是，大多数现有的修剪方法最小化仅剩余权重的数量，即模型的大小，而不是针对推理时间进行优化。我们通过引入SPDY来解决这一差距，SPDY是一种新的压缩方法，该方法会自动确定层次的稀疏性目标，可以在给定系统上实现所需的推理速度，同时最大程度地减少准确性损失。 SPDY由两种新技术组成：第一个是一种有效的动态编程算法，用于求解一组给定的层敏感性得分，以解决加速约束的层压缩问题；第二个是一个局部搜索程序，用于确定准确的层敏感性得分。跨流行视觉和语言模型的实验表明，SPDY可以保证相对于现有策略的恢复较高的准确性，无论是一次性和逐步修剪方案，并且与大多数现有的修剪方法兼容。我们还将方法扩展到了最近实施的修剪任务，几乎没有数据，在该数据中，我们在修剪GPU支持的2：4稀疏模式时实现了最著名的准确性恢复。

Despite achieving state-of-the-art performance on many NLP tasks, the high energy cost and long inference delay prevent Transformer-based pretrained language models (PLMs) from seeing broader adoption including for edge and mobile computing. Efficient NLP research aims to comprehensively consider computation, time and carbon emission for the entire life-cycle of NLP, including data preparation, model training and inference. In this survey, we focus on the inference stage and review the current state of model compression and acceleration for pretrained language models, including benchmarks, metrics and methodology.

预先接受的语言模型（PLMS）在预训练和微调范式下，在各种自然语言处理（NLP）任务中取得了巨大成功。具有大量参数，PLMS是计算密集型和资源饥饿的。因此，已经引入了模型修剪来压缩大规模的PLM。然而，大多数先前的方法只考虑对下游任务的任务特定知识，但忽略了修剪期间的基本任务无关知识，这可能导致灾难性的遗忘问题并导致普遍性较差。为了在我们的修剪模型中维护任务不可行的特定知识，我们提出了在预训练和微调范式下的对比修剪（盖子）。它设计为一​​般框架，与结构化和非结构化修剪兼容。统一的对比学习，CAP使修剪模型能够从预训练的模型中学到任务无关的知识，以及特定于任务知识的微调模型。此外，为了更好地保留修剪模型的性能，快照（即，每个修剪迭代的中间模型）也是修剪的有效监督。我们广泛的实验表明，采用盖子一致地产生显着的改善，特别是在极高的稀疏性方案中。只有3％的型号参数保留（即97％的稀疏性），CAP成功达到了QQP和MNLI任务的原始BERT性能的99.2％和96.3％。此外，我们的探测实验表明，CAP修剪的模型趋于达到更好的泛化能力。

We revisit the performance of the classic gradual magnitude pruning (GMP) baseline for large language models, focusing on the classic BERT benchmark on various popular tasks. Despite existing evidence in the literature that GMP performs poorly, we show that a simple and general variant, which we call GMP*, can match and sometimes outperform more complex state-of-the-art methods. Our results provide a simple yet strong baseline for future work, highlight the importance of parameter tuning for baselines, and even improve the performance of the state-of-the-art second-order pruning method in this setting.

修剪是稀疏深神经网络的任务，最近受到了越来越多的关注。尽管最先进的修剪方法提取了高度稀疏的模型，但它们忽略了两个主要挑战：（1）寻找这些稀疏模型的过程通常非常昂贵； （2）非结构化的修剪在GPU记忆，训练时间或碳排放方面没有提供好处。我们提出了通过梯度流量保存（早期CROP）提出的早期压缩，该压缩在训练挑战（1）的培训（1）中有效提取最先进的稀疏模型，并且可以以结构化的方式应用来应对挑战（2）。这使我们能够在商品GPU上训练稀疏的网络，该商品GPU的密集版本太大，从而节省了成本并减少了硬件要求。我们从经验上表明，早期杂交的表现优于许多任务（包括分类，回归）和域（包括计算机视觉，自然语言处理和增强学习）的丰富基线。早期杂交导致准确性与密集训练相当，同时超过修剪基线。

从有限的资源中获得最大收益可以进步自然语言处理（NLP）研究和实践，同时保守资源。这些资源可能是数据，时间，存储或能源。NLP的最新工作从缩放率产生了有趣的结果。但是，仅使用比例来改善结果意味着资源消耗也会扩展。这种关系激发了对有效方法的研究，这些方法需要更少的资源才能获得相似的结果。这项调查涉及NLP效率的方法和发现，旨在指导该领域的新研究人员并激发新方法的发展。

量化，知识蒸馏和修剪是NLP中神经网络压缩的最流行方法之一。独立地，这些方法降低了模型的大小并可以加速推断，但是尚未严格研究它们的相对益处和组合相互作用。对于这些技术的八个可能子集中的每一个，我们比较了六个BERT体系结构和八个胶水任务的准确性与模型大小的权衡。我们发现量化和蒸馏始终比修剪更大的好处。出乎意料的是，除了将多种方法一起使用多种修剪和量化之外，很少会产生回报的减少。取而代之的是，我们观察到互补和超级义务减少了模型大小。我们的工作定量表明，结合压缩方法可以协同降低模型大小，并且从业者应优先考虑（1）量化，（2）知识蒸馏，（3）修剪以最大程度地提高准确性与模型大小的权衡。

Network pruning is widely used for reducing the heavy inference cost of deep models in low-resource settings. A typical pruning algorithm is a three-stage pipeline, i.e., training (a large model), pruning and fine-tuning. During pruning, according to a certain criterion, redundant weights are pruned and important weights are kept to best preserve the accuracy. In this work, we make several surprising observations which contradict common beliefs. For all state-of-the-art structured pruning algorithms we examined, fine-tuning a pruned model only gives comparable or worse performance than training that model with randomly initialized weights. For pruning algorithms which assume a predefined target network architecture, one can get rid of the full pipeline and directly train the target network from scratch. Our observations are consistent for multiple network architectures, datasets, and tasks, which imply that: 1) training a large, over-parameterized model is often not necessary to obtain an efficient final model, 2) learned "important" weights of the large model are typically not useful for the small pruned model, 3) the pruned architecture itself, rather than a set of inherited "important" weights, is more crucial to the efficiency in the final model, which suggests that in some cases pruning can be useful as an architecture search paradigm. Our results suggest the need for more careful baseline evaluations in future research on structured pruning methods. We also compare with the "Lottery Ticket Hypothesis" (Frankle & Carbin, 2019), and find that with optimal learning rate, the "winning ticket" initialization as used in Frankle & Carbin (2019) does not bring improvement over random initialization. * Equal contribution. † Work done while visiting UC Berkeley.

We show for the first time that large-scale generative pretrained transformer (GPT) family models can be pruned to at least 50% sparsity in one-shot, without any retraining, at minimal loss of accuracy. This is achieved via a new pruning method called SparseGPT, specifically designed to work efficiently and accurately on massive GPT-family models. When executing SparseGPT on the largest available open-source models, OPT-175B and BLOOM-176B, we can reach 60% sparsity with negligible increase in perplexity: remarkably, more than 100 billion weights from these models can be ignored at inference time. SparseGPT generalizes to semi-structured (2:4 and 4:8) patterns, and is compatible with weight quantization approaches.

已知神经模型被过度参数化，最近的工作表明，稀疏的文本到语音（TTS）模型可以超过密集的模型。尽管已经为其他域提出了大量稀疏方法，但这种方法很少在TTS中应用。在这项工作中，我们试图回答以下问题：所选稀疏技术在性能和模型复杂性上的特征是什么？我们比较了Tacotron2基线和应用五种技术的结果。然后，我们通过自然性，清晰度和韵律来评估表现，同时报告模型规模和训练时间。与先前的研究相辅相成，我们发现在训练之前或期间进行修剪可以实现与训练后的修剪相似的性能，并且可以更快地进行培训，同时除去整个神经元降低了性能远不止于删除参数。据我们所知，这是比较文本到语音综合中稀疏范式的第一部作品。

Pre-trained language models achieve superior performance, but they are computationally expensive due to their large size. Techniques such as pruning and knowledge distillation (KD) have been developed to reduce their size and latency. In most structural pruning methods, the pruning units, such as attention heads and feed-forward hidden dimensions, only span a small model structure space and limit the structures that the pruning algorithm can explore. In this work, we propose Gradient-based Intra-attention pruning (GRAIN), which inspects fine intra-attention structures, and allows different heads to have different sizes. Intra-attention pruning greatly expands the searching space of model structures and yields highly heterogeneous structures. We further propose structure regularization to encourage generating more regular structures, which achieves higher speedups than heterogeneous ones. We also integrate KD into the pruning process with a gradient separation strategy to reduce the interference of KD with the pruning process. GRAIN is evaluated on a variety of tasks. Results show that it notably outperforms other methods at the same or similar model size. Even under extreme compression where only $3\%$ weights in transformers remain, the pruned model is still competitive.

基于变压器的语言模型应用于自然语言处理的广泛应用程序。但是，它们效率低，难以部署。近年来，已经提出了许多压缩算法来提高目标硬件上大型变压器的模型的实现效率。在这项工作中，我们通过整合体重修剪和模型蒸馏来提出一种训练稀疏预训练的变压器语言模型的新方法。这些稀疏的预训练型号可用于在维护稀疏模式的同时传输广泛的任务。我们展示了我们有三个已知的架构的方法，以创建稀疏的预训练伯特基，BERT-MAT​​RY和DISTOLBERT。我们展示了压缩稀疏的预训练模型如何培训他们的知识，以最小的精度损失将他们的知识转移到五种不同的下游自然语言任务。此外，我们展示了如何使用量化感知培训进一步将稀疏模型的重量压缩为8位精度。例如，在SQUAdv1.1上使用我们稀疏预训练的BERT频率，并量化为8位，我们为编码器达到40美元的压缩比，而不是1 \％$精度损失。据我们所知，我们的结果表明Bert-Base，Bert-Light和Distilbert的最佳压缩至准确率。

转移学习是一种经典范式，通过该范式，在大型“上游”数据集上佩戴的模型适于在“下游”专业数据集中产生良好的结果。通常，据了解，“上游”数据集上的更准确的模型将提供更好的转移精度“下游”。在这项工作中，我们在想象的神经网络（CNNS）的背景下对这种现象进行了深入的调查，这些现象已经在想象的数据集上训练的情况下被修剪 - 这是通过缩小它们的连接来压缩。具体地，我们考虑使用通过应用几种最先进的修剪方法而获得的非结构化修剪模型的转移，包括基于幅度的，二阶，重新增长和正规化方法，在12个标准转移任务的上下文中。简而言之，我们的研究表明，即使在高稀稀物质，稀疏的型号也可以匹配或甚至优于致密模型的转移性能，并且在此操作时，可以导致显着的推论甚至培训加速度。与此同时，我们观察和分析不同修剪方法行为的显着差异。

基于变压器的NLP模型是使用数亿甚至数十亿个参数训练的，从而限制了其在计算受限环境中的适用性。尽管参数的数量通常与性能相关，但尚不清楚下游任务是否需要整个网络。在最新的修剪和提炼预培训模型的工作中，我们探索了在预训练模型中放下层的策略，并观察修剪对下游胶水任务的影响。我们能够修剪Bert，Roberta和XLNet型号高达40％，同时保持其原始性能的98％。此外，我们证明，在大小和性能方面，您的修剪模型与使用知识蒸馏的型号相提并论。我们的实验产生有趣的观察结果，例如（i）下层对于维持下游任务性能最重要，（ii）某些任务（例如释义检测和句子相似性）对于降低层的降低和（iii）经过训练的模型更强大。使用不同的目标函数表现出不同的学习模式，并且层掉落。

近年来，在自然语言处理中的伯特等变压器模型越来越多地采用了越来越多的采用，甚至在计算机视觉中。然而，由于大小，在资源受限的计算环境中，在资源受限的计算环境中采用了有限的采用本文提出了通过消除冗余注意头来压缩变压器模型的新颖修剪算法。我们应用A *搜索算法，以获得最小精度保证的修剪模型。我们的结果表明，该方法可以消除BERT变压器模型中的40％的注意力头，几乎没有精确损失。

我们考虑在具有挑战性的训练后环境中，深度神经网络（DNN）的模型压缩问题，在该设置中，我们将获得精确的训练模型，并且必须仅基于少量校准输入数据而无需任何重新培训即可压缩它。鉴于新兴软件和硬件支持通过加速修剪和/或量化压缩的模型，并且已经针对两种压缩方法独立提出了良好的表现解决方案，因此该问题已变得流行。在本文中，我们引入了一个新的压缩框架，该框架涵盖了统一环境中的重量修剪和量化，时间和空间效率高，并且在现有的后训练方法的实际性能上大大改善。在技​​术层面上，我们的方法基于[Lecun，Denker和Solla，1990年]在现代DNN的规模上的经典最佳脑外科医生（OBS）框架的第一个精确实现，我们进一步扩展到覆盖范围。重量量化。这是通过一系列可能具有独立利益的算法开发来实现的。从实际的角度来看，我们的实验结果表明，它可以在现有后训练方法的压缩 - 准确性权衡方面显着改善，并且甚至可以在训练后进行修剪和量化的准确共同应用。

网络修剪是一种广泛使用的技术，用于有效地压缩深神经网络，几乎没有在推理期间在性能下降低。迭代幅度修剪（IMP）是由几种迭代训练和修剪步骤组成的网络修剪的最熟悉的方法之一，其中在修剪后丢失了大量网络的性能，然后在随后的再培训阶段中恢复。虽然常用为基准参考，但经常认为a）通过不将稀疏纳入训练阶段来达到次优状态，b）其全球选择标准未能正确地确定最佳层面修剪速率和c）其迭代性质使它变得缓慢和不竞争。根据最近提出的再培训技术，我们通过严格和一致的实验来调查这些索赔，我们将Impr到培训期间的训练算法进行比较，评估其选择标准的建议修改，并研究实际需要的迭代次数和总培训时间。我们发现IMP与SLR进行再培训，可以优于最先进的修剪期间，没有或仅具有很少的计算开销，即全局幅度选择标准在很大程度上具有更复杂的方法，并且只有几个刷新时期在实践中需要达到大部分稀疏性与IMP的诽谤 - 与性能权衡。我们的目标既可以证明基本的进攻已经可以提供最先进的修剪结果，甚至优于更加复杂或大量参数化方法，也可以为未来的研究建立更加现实但易于可实现的基线。

近年来，变形金刚大大提高了自然语言处理（NLP）的最新技术，但呈现出非常大的计算和存储要求。我们观察到，变压器的设计过程（以自我监督的方式预先培训是大型数据集上的基础模型，随后将其用于不同的下游任务）导致特定于任务的模型，这些模型高度过度参数化，参数过度过度化，不利地影响准确性和推理效率。我们提出了Axformer，这是一个系统的框架，该框架应用精度驱动的近似值来为给定的下游任务创建优化的变压器模型。 Axformer结合了两个关键的优化 - 准确驱动的修剪和选择性的硬注意。准确驱动的修剪确定并删除了微调变压器的一部分，从而阻碍了给定下游任务的性能。稀疏的硬注意通过消除无关的单词聚合来优化选定层中的注意力块，从而帮助模型仅关注输入的相关部分。实际上，Axformer会导致更准确的模型，同时更快，更小。我们在胶水和小队任务上的实验表明，轴形模型的准确性高达4.5％，同时比传统的微调模型快2.5倍，高达3.2倍。此外，我们证明了轴形式可以与先前的努力（例如蒸馏或量化）结合使用，以实现进一步的效率提高。