在本文中，我们研究了在深网（DNS）中修剪的重要性，以及（1）修剪高度参数的DNS之间的Yin＆Yang关系，这些DNS已从随机初始化训练，并且（2）培训“巧妙”的小型DNS，这些DNS已“巧妙”。初始化。在大多数情况下，从业者只能诉诸随机初始化，因此强烈需要对DN修剪建立扎实的理解。当前的文献在很大程度上仍然是经验的，缺乏对修剪如何影响DNS决策边界，如何解释修剪以及如何设计相应的原则修剪技术的理论理解。为了解决这些问题，我们建议在连续分段仿射（CPA）DNS的理论分析中采用最新进展。从这个角度来看，我们将能够检测到早期的鸟类（EB）票务现象，为当前的修剪技术提供可解释性，并制定有原则的修剪策略。在研究的每个步骤中，我们进行了广泛的实验，以支持我们的主张和结果；尽管我们的主要目标是增强对DN修剪的当前理解，而不是开发一种新的修剪方法，但我们的样条修剪标准在层和全球修剪方面与先进的修剪方法相当甚至超过了。

在现代深网（DNS）中，至关重要的，无处不在且知之甚少的成分是批处理（BN），它以特​​征图为中心并归一化。迄今为止，只有有限的进步才能理解为什么BN会提高DN学习和推理表现。工作专注于表明BN平滑DN的损失格局。在本文中，我们从函数近似的角度从理论上研究BN。我们利用这样一个事实，即当今最先进的DNS是连续的分段仿射（CPA），可以通过定义在输入空间的分区上定义的仿射映射来预测培训数据（所谓的“线性”区域”）。 {\ em我们证明了BN是一种无监督的学习技术，它独立于DN的权重或基于梯度的学习 - 适应DN的样条分区的几何形状以匹配数据。} BN提供了“智能初始化”，可提高“智能初始化” DN学习的性能，因为它甚至适应了以随机权重初始化的DN，以使其样条分区与数据保持一致。我们还表明，微型批次之间的BN统计数据的变化引入了辍学的随机扰动，以对分区边界，因此分类问题的决策边界。每次微型摄入扰动可通过增加训练样本和决策边界之间的边距来减少过度拟合并改善概括。

Network pruning is widely used for reducing the heavy inference cost of deep models in low-resource settings. A typical pruning algorithm is a three-stage pipeline, i.e., training (a large model), pruning and fine-tuning. During pruning, according to a certain criterion, redundant weights are pruned and important weights are kept to best preserve the accuracy. In this work, we make several surprising observations which contradict common beliefs. For all state-of-the-art structured pruning algorithms we examined, fine-tuning a pruned model only gives comparable or worse performance than training that model with randomly initialized weights. For pruning algorithms which assume a predefined target network architecture, one can get rid of the full pipeline and directly train the target network from scratch. Our observations are consistent for multiple network architectures, datasets, and tasks, which imply that: 1) training a large, over-parameterized model is often not necessary to obtain an efficient final model, 2) learned "important" weights of the large model are typically not useful for the small pruned model, 3) the pruned architecture itself, rather than a set of inherited "important" weights, is more crucial to the efficiency in the final model, which suggests that in some cases pruning can be useful as an architecture search paradigm. Our results suggest the need for more careful baseline evaluations in future research on structured pruning methods. We also compare with the "Lottery Ticket Hypothesis" (Frankle & Carbin, 2019), and find that with optimal learning rate, the "winning ticket" initialization as used in Frankle & Carbin (2019) does not bring improvement over random initialization. * Equal contribution. † Work done while visiting UC Berkeley.

图表卷积网络（GCNS）已成为图形学习的最先进的深度学习模型。然而，在大型图形数据集中训练和推理GCN仍然令人惊奇地挑战，将其应用于大型真实图表并阻碍更深层和更复杂的GCN图形的探索。这是因为随着图形尺寸的增长，节点特征的纯粹数量和大邻接矩阵可以很容易地爆炸所需的内存和数据移动。为了解决上述挑战，我们探讨了在缩小GCN图表时绘制彩票票证的可能性，即，基本上缩小邻接矩阵的子图能够实现与完整图表相当的准确性。具体而言，我们首次发现在稀释GCN图的早期阶段的图表早期（GEB）票的存在，并提出了一种简单但有效的探测器，以自动识别这种GEB门票的出现。此外，我们倡导图形模型共同优化，开发了一个通用的GCN早期鸟类训练框架，称为GCN培训的效率（1）在GCN图形和模型之间绘制联合早期鸟类，（ 2）启用GCN图形和模型的同时稀疏。关于各种GCN模型和数据集的实验一致地验证了我们的GEB寻找和GEBET的有效性，例如，我们的GEBT实现高达80.2％〜85.6％和84.6％〜87.5％的GCN培训和推理成本，同时提供了可比甚至与最先进的方法相比，更好的准确性。我们的源代码和补充附录可用于https://github.com/rice-eic/early-bird-gcn。

While machine learning is traditionally a resource intensive task, embedded systems, autonomous navigation, and the vision of the Internet of Things fuel the interest in resource-efficient approaches. These approaches aim for a carefully chosen trade-off between performance and resource consumption in terms of computation and energy. The development of such approaches is among the major challenges in current machine learning research and key to ensure a smooth transition of machine learning technology from a scientific environment with virtually unlimited computing resources into everyday's applications. In this article, we provide an overview of the current state of the art of machine learning techniques facilitating these real-world requirements. In particular, we focus on deep neural networks (DNNs), the predominant machine learning models of the past decade. We give a comprehensive overview of the vast literature that can be mainly split into three non-mutually exclusive categories: (i) quantized neural networks, (ii) network pruning, and (iii) structural efficiency. These techniques can be applied during training or as post-processing, and they are widely used to reduce the computational demands in terms of memory footprint, inference speed, and energy efficiency. We also briefly discuss different concepts of embedded hardware for DNNs and their compatibility with machine learning techniques as well as potential for energy and latency reduction. We substantiate our discussion with experiments on well-known benchmark datasets using compression techniques (quantization, pruning) for a set of resource-constrained embedded systems, such as CPUs, GPUs and FPGAs. The obtained results highlight the difficulty of finding good trade-offs between resource efficiency and predictive performance.

过滤器修剪方法通过去除选定的过滤器来引入结构稀疏性，因此对于降低复杂性特别有效。先前的作品从验证较小规范的过滤器的角度从经验修剪网络中造成了较小的最终结果贡献。但是，此类标准已被证明对过滤器的分布敏感，并且由于修剪后的容量差距是固定的，因此准确性可能很难恢复。在本文中，我们提出了一种称为渐近软簇修剪（ASCP）的新型过滤器修剪方法，以根据过滤器的相似性来识别网络的冗余。首先通过聚类来区分来自参数过度的网络的每个过滤器，然后重建以手动将冗余引入其中。提出了一些聚类指南，以更好地保留特征提取能力。重建后，允许更新过滤器，以消除错误选择的效果。此外，还采用了各种修剪率的衰减策略来稳定修剪过程并改善最终性能。通过逐渐在每个群集中生成更相同的过滤器，ASCP可以通过通道添加操作将其删除，几乎没有准确性下降。 CIFAR-10和Imagenet数据集的广泛实验表明，与许多最新算法相比，我们的方法可以取得竞争性结果。

网络修剪是一种广泛使用的技术，用于有效地压缩深神经网络，几乎没有在推理期间在性能下降低。迭代幅度修剪（IMP）是由几种迭代训练和修剪步骤组成的网络修剪的最熟悉的方法之一，其中在修剪后丢失了大量网络的性能，然后在随后的再培训阶段中恢复。虽然常用为基准参考，但经常认为a）通过不将稀疏纳入训练阶段来达到次优状态，b）其全球选择标准未能正确地确定最佳层面修剪速率和c）其迭代性质使它变得缓慢和不竞争。根据最近提出的再培训技术，我们通过严格和一致的实验来调查这些索赔，我们将Impr到培训期间的训练算法进行比较，评估其选择标准的建议修改，并研究实际需要的迭代次数和总培训时间。我们发现IMP与SLR进行再培训，可以优于最先进的修剪期间，没有或仅具有很少的计算开销，即全局幅度选择标准在很大程度上具有更复杂的方法，并且只有几个刷新时期在实践中需要达到大部分稀疏性与IMP的诽谤 - 与性能权衡。我们的目标既可以证明基本的进攻已经可以提供最先进的修剪结果，甚至优于更加复杂或大量参数化方法，也可以为未来的研究建立更加现实但易于可实现的基线。

Neural network pruning offers a promising prospect to facilitate deploying deep neural networks on resourcelimited devices. However, existing methods are still challenged by the training inefficiency and labor cost in pruning designs, due to missing theoretical guidance of non-salient network components. In this paper, we propose a novel filter pruning method by exploring the High Rank of feature maps (HRank). Our HRank is inspired by the discovery that the average rank of multiple feature maps generated by a single filter is always the same, regardless of the number of image batches CNNs receive. Based on HRank, we develop a method that is mathematically formulated to prune filters with low-rank feature maps. The principle behind our pruning is that low-rank feature maps contain less information, and thus pruned results can be easily reproduced. Besides, we experimentally show that weights with high-rank feature maps contain more important information, such that even when a portion is not updated, very little damage would be done to the model performance. Without introducing any additional constraints, HRank leads to significant improvements over the state-of-the-arts in terms of FLOPs and parameters reduction, with similar accuracies. For example, with ResNet-110, we achieve a 58.2%-FLOPs reduction by removing 59.2% of the parameters, with only a small loss of 0.14% in top-1 accuracy on CIFAR-10. With Res-50, we achieve a 43.8%-FLOPs reduction by removing 36.7% of the parameters, with only a loss of 1.17% in the top-1 accuracy on ImageNet. The codes can be available at https://github.com/lmbxmu/HRank.

深度神经网络（DNN）在解决许多真实问题方面都有效。较大的DNN模型通常表现出更好的质量（例如，精度，精度），但它们的过度计算会导致长期推理时间。模型稀疏可以降低计算和内存成本，同时保持模型质量。大多数现有的稀疏算法是单向移除的重量，而其他人则随机或贪婪地探索每层进行修剪的小权重子集。这些算法的局限性降低了可实现的稀疏性水平。此外，许多算法仍然需要预先训练的密集模型，因此遭受大的内存占地面积。在本文中，我们提出了一种新颖的预定生长和修剪（间隙）方法，而无需预先培训密集模型。它通过反复生长一个层次的层来解决以前的作品的缺点，然后在一些训练后修剪回到稀疏。实验表明，使用所提出的方法修剪模型匹配或击败高度优化的密集模型的质量，在各种任务中以80％的稀疏度，例如图像分类，客观检测，3D对象分段和翻译。它们还优于模型稀疏的其他最先进的（SOTA）方法。作为一个例子，通过间隙获得的90％不均匀的稀疏resnet-50模型在想象中实现了77.9％的前1个精度，提高了先前的SOTA结果1.5％。所有代码将公开发布。

人们通常认为，修剪网络不仅会降低深网的计算成本，而且还可以通过降低模型容量来防止过度拟合。但是，我们的工作令人惊讶地发现，网络修剪有时甚至会加剧过度拟合。我们报告了出乎意料的稀疏双后裔现象，随着我们通过网络修剪增加模型稀疏性，首先测试性能变得更糟（由于过度拟合），然后变得更好（由于过度舒适），并且终于变得更糟（由于忘记了有用的有用信息）。尽管最近的研究集中在模型过度参数化方面，但他们未能意识到稀疏性也可能导致双重下降。在本文中，我们有三个主要贡献。首先，我们通过广泛的实验报告了新型的稀疏双重下降现象。其次，对于这种现象，我们提出了一种新颖的学习距离解释，即$ \ ell_ {2} $稀疏模型的学习距离（从初始化参数到最终参数）可能与稀疏的双重下降曲线良好相关，并更好地反映概括比最小平坦。第三，在稀疏的双重下降的背景下，彩票票假设中的获胜票令人惊讶地并不总是赢。

Neural network pruning-the task of reducing the size of a network by removing parameters-has been the subject of a great deal of work in recent years. We provide a meta-analysis of the literature, including an overview of approaches to pruning and consistent findings in the literature. After aggregating results across 81 papers and pruning hundreds of models in controlled conditions, our clearest finding is that the community suffers from a lack of standardized benchmarks and metrics. This deficiency is substantial enough that it is hard to compare pruning techniques to one another or determine how much progress the field has made over the past three decades. To address this situation, we identify issues with current practices, suggest concrete remedies, and introduce ShrinkBench, an open-source framework to facilitate standardized evaluations of pruning methods. We use ShrinkBench to compare various pruning techniques and show that its comprehensive evaluation can prevent common pitfalls when comparing pruning methods.

这项工作解决了通过分段线性非线性激活来表征和理解神经网络的决策界限的问题。我们使用热带几何形状，这是代数几何区域中的新开发项目，以表征形式的简单网络（Aggine，Relu，offine）的决策边界。我们的主要发现是，决策边界是热带超曲面的子集，该子集与两个分区的凸壳形成的多层密切相关。这些分区的生成器是网络参数的函数。这种几何表征为三个任务提供了新的观点。 （i）我们对彩票假说提出了一个新的热带观点，在其中我们查看了不同初始化对网络决策边界热带几何表示的影响。 （ii）此外，我们提出了新的基于热带的优化重新纠正，该重新策划直接影响网络修剪任务的网络决策边界。 （iii）最后，我们在热带意义上讨论了对抗攻击的产生的重新印象。我们证明，可以通过扰动网络中的一组参数来扰动一组特定的决策边界，在新的热带环境中构建对手。

The rectified linear unit (ReLU) is a highly successful activation function in neural networks as it allows networks to easily obtain sparse representations, which reduces overfitting in overparameterized networks. However, in network pruning, we find that the sparsity introduced by ReLU, which we quantify by a term called dynamic dead neuron rate (DNR), is not beneficial for the pruned network. Interestingly, the more the network is pruned, the smaller the dynamic DNR becomes during optimization. This motivates us to propose a method to explicitly reduce the dynamic DNR for the pruned network, i.e., de-sparsify the network. We refer to our method as Activating-while-Pruning (AP). We note that AP does not function as a stand-alone method, as it does not evaluate the importance of weights. Instead, it works in tandem with existing pruning methods and aims to improve their performance by selective activation of nodes to reduce the dynamic DNR. We conduct extensive experiments using popular networks (e.g., ResNet, VGG) via two classical and three state-of-the-art pruning methods. The experimental results on public datasets (e.g., CIFAR-10/100) suggest that AP works well with existing pruning methods and improves the performance by 3% - 4%. For larger scale datasets (e.g., ImageNet) and state-of-the-art networks (e.g., vision transformer), we observe an improvement of 2% - 3% with AP as opposed to without. Lastly, we conduct an ablation study to examine the effectiveness of the components comprising AP.

Pruning refers to the elimination of trivial weights from neural networks. The sub-networks within an overparameterized model produced after pruning are often called Lottery tickets. This research aims to generate winning lottery tickets from a set of lottery tickets that can achieve similar accuracy to the original unpruned network. We introduce a novel winning ticket called Cyclic Overlapping Lottery Ticket (COLT) by data splitting and cyclic retraining of the pruned network from scratch. We apply a cyclic pruning algorithm that keeps only the overlapping weights of different pruned models trained on different data segments. Our results demonstrate that COLT can achieve similar accuracies (obtained by the unpruned model) while maintaining high sparsities. We show that the accuracy of COLT is on par with the winning tickets of Lottery Ticket Hypothesis (LTH) and, at times, is better. Moreover, COLTs can be generated using fewer iterations than tickets generated by the popular Iterative Magnitude Pruning (IMP) method. In addition, we also notice COLTs generated on large datasets can be transferred to small ones without compromising performance, demonstrating its generalizing capability. We conduct all our experiments on Cifar-10, Cifar-100 & TinyImageNet datasets and report superior performance than the state-of-the-art methods.

现代深度神经网络往往太大而无法在许多实际情况下使用。神经网络修剪是降低这种模型的大小的重要技术和加速推断。Gibbs修剪是一种表达和设计神经网络修剪方法的新框架。结合统计物理和随机正则化方法的方法，它可以同时培训和修剪网络，使得学习的权重和修剪面膜彼此很好地适应。它可用于结构化或非结构化修剪，我们为每个提出了许多特定方法。我们将拟议的方法与许多当代神经网络修剪方法进行比较，发现Gibbs修剪优于它们。特别是，我们通过CIFAR-10数据集来实现修剪Reset-56的新型最先进的结果。

深度神经网络（DNN）的记录断裂性能具有沉重的参数化，导致外部动态随机存取存储器（DRAM）进行存储。 DRAM访问的禁用能量使得在资源受限的设备上部署DNN是不普遍的，呼叫最小化重量和数据移动以提高能量效率。我们呈现SmartDeal（SD），算法框架，以进行更高成本的存储器存储/访问的较低成本计算，以便在推理和培训中积极提高存储和能量效率。 SD的核心是一种具有结构约束的新型重量分解，精心制作以释放硬件效率潜力。具体地，我们将每个重量张量分解为小基矩阵的乘积以及大的结构稀疏系数矩阵，其非零被量化为-2的功率。由此产生的稀疏和量化的DNN致力于为数据移动和重量存储而大大降低的能量，因为由于稀疏的比特 - 操作和成本良好的计算，恢复原始权重的最小开销。除了推理之外，我们采取了另一次飞跃来拥抱节能培训，引入创新技术，以解决培训时出现的独特障碍，同时保留SD结构。我们还设计专用硬件加速器，充分利用SD结构来提高实际能源效率和延迟。我们在不同的设置中对多个任务，模型和数据集进行实验。结果表明：1）应用于推理，SD可实现高达2.44倍的能效，通过实际硬件实现评估; 2）应用于培训，储存能量降低10.56倍，减少了10.56倍和4.48倍，与最先进的训练基线相比，可忽略的准确性损失。我们的源代码在线提供。

在过去几年中，神经网络的性能在越来越多的浮点操作（拖鞋）的成本上显着提高。但是，当计算资源有限时，更多的拖鞋可能是一个问题。作为解决这个问题的尝试，修剪过滤器是一种常见的解决方案，但大多数现有的修剪方法不有效地保持模型精度，因此需要大量的芬降时期。在本文中，我们提出了一种自动修剪方法，该方法学习保存的神经元以保持模型精度，同时将絮凝到预定目标。为了完成这项任务，我们介绍了一种可训练的瓶颈，只需要一个单一的单一时期，只需要一个数据集的25.6％（Cifar-10）或7.49％（ILSVRC2012）来了解哪些过滤器。在各种架构和数据集上的实验表明，该方法不仅可以在修剪后保持精度，而且在FineTuning之后也优越现有方法。我们在Reset-50上达到了52.00％的拖鞋，在ILSVRC2012上的灌溉后的前1个精度为47.51％，最先进的（SOTA）精度为76.63％。代码可用（链接匿名审核）。

结构化修剪是一种常用的技术，用于将深神经网络（DNN）部署到资源受限的设备上。但是，现有的修剪方法通常是启发式，任务指定的，并且需要额外的微调过程。为了克服这些限制，我们提出了一个框架，将DNN压缩成纤薄的架构，具有竞争性表现，并且仅通过列车 - 一次（OTO）减少重大拖车。 OTO包含两个键：（i）我们将DNN的参数分区为零不变组，使我们能够修剪零组而不影响输出; （ii）促进零群，我们制定了结构性稀疏优化问题，提出了一种新颖的优化算法，半空间随机投影梯度（HSPG），以解决它，这优于组稀疏性探索的标准近端方法和保持可比的收敛性。为了展示OTO的有效性，我们从划痕上同时培训和压缩全模型，而无需微调推理加速和参数减少，并且在CIFAR10的VGG16实现最先进的结果，为CIFAR10和Squad的BERT为BERT竞争结果在resnet50上为想象成。源代码可在https://github.com/tianyic/only_train_once上获得。

最近，稀疏培训已成为有希望的范式，可在边缘设备上有效地深入学习。当前的研究主要致力于通过进一步增加模型稀疏性来降低培训成本。但是，增加的稀疏性并不总是理想的，因为它不可避免地会在极高的稀疏度下引入严重的准确性降解。本文打算探索其他可能的方向，以有效，有效地降低稀疏培训成本，同时保持准确性。为此，我们研究了两种技术，即层冻结和数据筛分。首先，层冻结方法在密集的模型训练和微调方面取得了成功，但在稀疏训练域中从未采用过。然而，稀疏训练的独特特征可能会阻碍层冻结技术的结合。因此，我们分析了在稀疏培训中使用层冻结技术的可行性和潜力，并发现它有可能节省大量培训成本。其次，我们提出了一种用于数据集有效培训的数据筛分方法，该方法通过确保在整个培训过程中仅使用部分数据集来进一步降低培训成本。我们表明，这两种技术都可以很好地整合到稀疏训练算法中，以形成一个通用框架，我们将其配置为SPFDE。我们的广泛实验表明，SPFDE可以显着降低培训成本，同时从三个维度中保留准确性：重量稀疏性，层冻结和数据集筛分。

由于稀疏神经网络通常包含许多零权重，因此可以在不降低网络性能的情况下潜在地消除这些不必要的网络连接。因此，设计良好的稀疏神经网络具有显着降低拖鞋和计算资源的潜力。在这项工作中，我们提出了一种新的自动修剪方法 - 稀疏连接学习（SCL）。具体地，重量被重新参数化为可培训权重变量和二进制掩模的元素方向乘法。因此，由二进制掩模完全描述网络连接，其由单位步进函数调制。理论上，从理论上证明了使用直通估计器（STE）进行网络修剪的基本原理。这一原则是STE的代理梯度应该是积极的，确保掩模变量在其最小值处收敛。在找到泄漏的Relu后，SoftPlus和Identity Stes可以满足这个原理，我们建议采用SCL的身份STE以进行离散面膜松弛。我们发现不同特征的面具梯度非常不平衡，因此，我们建议将每个特征的掩模梯度标准化以优化掩码变量训练。为了自动训练稀疏掩码，我们将网络连接总数作为我们的客观函数中的正则化术语。由于SCL不需要由网络层设计人员定义的修剪标准或超级参数，因此在更大的假设空间中探讨了网络，以实现最佳性能的优化稀疏连接。 SCL克服了现有自动修剪方法的局限性。实验结果表明，SCL可以自动学习并选择各种基线网络结构的重要网络连接。 SCL培训的深度学习模型以稀疏性，精度和减少脚波特的SOTA人类设计和自动修剪方法训练。