模型二进制化是一种压缩神经网络并加速其推理过程的有效方法。但是，1位模型和32位模型之间仍然存在显着的性能差距。实证研究表明，二进制会导致前进和向后传播中的信息损失。我们提出了一个新颖的分布敏感信息保留网络（DIR-NET），该网络通过改善内部传播和引入外部表示，将信息保留在前后传播中。 DIR-NET主要取决于三个技术贡献：（1）最大化二进制（IMB）的信息：最小化信息损失和通过重量平衡和标准化同时同时使用权重/激活的二进制误差； （2）分布敏感的两阶段估计器（DTE）：通过共同考虑更新能力和准确的梯度来通过分配敏感的软近似来保留梯度的信息； （3）代表性二进制 - 意识蒸馏（RBD）：通过提炼完整精确和二元化网络之间的表示来保留表示信息。 DIR-NET从统一信息的角度研究了BNN的前进过程和后退过程，从而提供了对网络二进制机制的新见解。我们的DIR-NET中的三种技术具有多功能性和有效性，可以在各种结构中应用以改善BNN。关于图像分类和客观检测任务的综合实验表明，我们的DIR-NET始终优于主流和紧凑型体系结构（例如Resnet，vgg，vgg，EfficityNet，darts和mobilenet）下最新的二进制方法。此外，我们在现实世界中的资源有限设备上执行DIR-NET，该设备可实现11.1倍的存储空间和5.4倍的速度。

本文研究了重量和激活都将二进制神经网络（BNN）二进制为1位值，从而大大降低了记忆使用率和计算复杂性。由于现代深层神经网络具有复杂的设计，具有复杂的架构，其准确性，因此权重和激活分布的多样性非常高。因此，传统的符号函数不能很好地用于有效地在BNN中进行全精度值。为此，我们提出了一种称为Adabin的简单而有效的方法，可自适应获得最佳的二进制集$ \ {b_1，b_2 \} $（$ b_1，b_1，b_2 \ in \ mathbb {r} $）的重量和激活而不是固定集（即$ \ { - 1，+1 \} $）。通过这种方式，提出的方法可以更好地拟合不同的分布，并提高二进制特征的表示能力。实际上，我们使用中心位置和1位值的距离来定义新的二进制量化函数。对于权重，我们提出了一种均衡方法，将对称分布的对称中心与实价分布相对，并最大程度地减少它们的kullback-leibler差异。同时，我们引入了一种基于梯度的优化方法，以获取这两个激活参数，这些参数以端到端的方式共同训练。基准模型和数据集的实验结果表明，拟议的Adabin能够实现最新性能。例如，我们使用RESNET-18体系结构在Imagenet上获得66.4 \％TOP-1的精度，并使用SSD300获得了Pascal VOC的69.4映射。

二进制神经网络（BNNS）对现实世界中嵌入式设备显示出巨大的希望。作为实现强大BNN的关键步骤之一，规模因子计算在减少其实价对应物的性能差距方面起着至关重要的作用。然而，现有的BNN忽略了实价重量和尺度因子的固有双线关系，从而导致训练过程不足引起的亚最佳模型。为了解决这个问题，提出了复发性双线性优化，以通过将固有的双线性变量关联到背面传播过程中，以改善BNNS（RBONN）的学习过程。我们的工作是从双线性角度优化BNN的首次尝试。具体而言，我们采用经常​​性优化和密度 - 列表来依次回溯稀疏的实价过滤器，该过滤器将经过充分的训练并基于可控的学习过程达到其性能限制。我们获得了强大的rbonn，在各种模型和数据集上的最先进的BNN上表现出令人印象深刻的性能。特别是，在对象检测的任务下，rbonn具有出色的概括性能。我们的代码在https://github.com/stevetsui/rbonn上进行开源。

Although considerable progress has been obtained in neural network quantization for efficient inference, existing methods are not scalable to heterogeneous devices as one dedicated model needs to be trained, transmitted, and stored for one specific hardware setting, incurring considerable costs in model training and maintenance. In this paper, we study a new vertical-layered representation of neural network weights for encapsulating all quantized models into a single one. With this representation, we can theoretically achieve any precision network for on-demand service while only needing to train and maintain one model. To this end, we propose a simple once quantization-aware training (QAT) scheme for obtaining high-performance vertical-layered models. Our design incorporates a cascade downsampling mechanism which allows us to obtain multiple quantized networks from one full precision source model by progressively mapping the higher precision weights to their adjacent lower precision counterparts. Then, with networks of different bit-widths from one source model, multi-objective optimization is employed to train the shared source model weights such that they can be updated simultaneously, considering the performance of all networks. By doing this, the shared weights will be optimized to balance the performance of different quantized models, thus making the weights transferable among different bit widths. Experiments show that the proposed vertical-layered representation and developed once QAT scheme are effective in embodying multiple quantized networks into a single one and allow one-time training, and it delivers comparable performance as that of quantized models tailored to any specific bit-width. Code will be available.

Although weight and activation quantization is an effective approach for Deep Neural Network (DNN) compression and has a lot of potentials to increase inference speed leveraging bit-operations, there is still a noticeable gap in terms of prediction accuracy between the quantized model and the full-precision model. To address this gap, we propose to jointly train a quantized, bit-operation-compatible DNN and its associated quantizers, as opposed to using fixed, handcrafted quantization schemes such as uniform or logarithmic quantization. Our method for learning the quantizers applies to both network weights and activations with arbitrary-bit precision, and our quantizers are easy to train. The comprehensive experiments on CIFAR-10 and ImageNet datasets show that our method works consistently well for various network structures such as AlexNet, VGG-Net, GoogLeNet, ResNet, and DenseNet, surpassing previous quantization methods in terms of accuracy by an appreciable margin. Code available at https://github.com/Microsoft/LQ-Nets

混合精确的深神经网络达到了硬件部署所需的能源效率和吞吐量，尤其是在资源有限的情况下，而无需牺牲准确性。但是，不容易找到保留精度的最佳每层钻头精度，尤其是在创建巨大搜索空间的大量模型，数据集和量化技术中。为了解决这一困难，最近出现了一系列文献，并且已经提出了一些实现有希望的准确性结果的框架。在本文中，我们首先总结了文献中通常使用的量化技术。然后，我们对混合精液框架进行了彻底的调查，该调查是根据其优化技术进行分类的，例如增强学习和量化技术，例如确定性舍入。此外，讨论了每个框架的优势和缺点，我们在其中呈现并列。我们最终为未来的混合精液框架提供了指南。

二进制神经网络利用$标志$函数来二进制真实值，其非衍生属性不可避免地会在反向传播期间带来巨大的梯度错误。尽管已经提出了许多手工设计的软功能来近似梯度，但它们的机制尚不清楚，并且在二进制模型及其完整精确的对应物之间仍然存在巨大的性能差距。为了解决这个问题，我们建议将网络二进制作为二进制分类问题解决，并使用多层感知器（MLP）作为分类器。基于MLP的分类器理论上可以符合任何连续功能，并可以自适应地学习，以对网络进行二进制和反向流向梯度，而无需任何特定的软函数。通过这种观点，我们进一步证明，即使是简单的线性函数也可以胜过先前的复杂软函数。广泛的实验表明，所提出的方法在图像分类和人类姿势估计任务中产生令人惊讶的表现。具体而言，我们在ImageNet数据集上实现了Resnet-34的65.7％的TOP-1准确性，绝对提高了2.8％。在评估具有挑战性的Microsoft可可关键数据集时，提出的方法使二进制网络能够首次获得60.6的地图，并与一些完整的方法相当。

模型量化已成为加速深度学习推理的不可或缺的技术。虽然研究人员继续推动量化算法的前沿，但是现有量化工作通常是不可否认的和不可推销的。这是因为研究人员不选择一致的训练管道并忽略硬件部署的要求。在这项工作中，我们提出了模型量化基准（MQBench），首次尝试评估，分析和基准模型量化算法的再现性和部署性。我们为实际部署选择多个不同的平台，包括CPU，GPU，ASIC，DSP，并在统一培训管道下评估广泛的最新量化算法。 MQBENCK就像一个连接算法和硬件的桥梁。我们进行全面的分析，并找到相当大的直观或反向直观的见解。通过对齐训练设置，我们发现现有的算法在传统的学术轨道上具有大致相同的性能。虽然用于硬件可部署量化，但有一个巨大的精度差距，仍然不稳定。令人惊讶的是，没有现有的算法在MQBench中赢得每一项挑战，我们希望这项工作能够激发未来的研究方向。

二进制神经网络（BNNS）将原始的全精度权重和激活为1位，带有符号功能。由于传统符号函数的梯度几乎归零，因此不能用于反向传播，因此已经提出了几次尝试来通过使用近似梯度来缓解优化难度。然而，这些近似损坏了事实梯度的主要方向。为此，我们建议使用用于训练BNN的正弦函数的组合来估计傅立叶频域中的符号功能的梯度，即频域近似（FDA）。该提出的方法不会影响占据大部分整体能量的原始符号功能的低频信息，并且将忽略高频系数以避免巨大的计算开销。此外，我们将噪声适配模块嵌入到训练阶段以补偿近似误差。关于多个基准数据集和神经架构的实验说明了使用我们的方法学习的二进制网络实现了最先进的准确性。代码将在\ texit {https://gitee.com/mindspore/models/tree/master/research/cv/fda-bnn}上获得。

深处神经网络（例如Deep-FSMN）已被广泛研究以用于关键字发现（KWS）应用。但是，这些网络的计算资源通常受到重大限制，因为它们通常在边缘设备上在通话中运行。在本文中，我们提出了BIFSMN，这是KWS的准确且极高的二元神经网络。我们首先为二进制化训练构建了高频增强蒸馏方案，该方案强调了全优先网络表示的高频信息，这对于对二进制网络的优化更为重要。然后，为了在运行时允许即时和自适应的准确性效率折衷，我们还提出了一个可稀薄的二进制架构，以从拓扑角度进一步解放二进制网络的加速潜力。此外，我们在ARMV8设备上为BIFSMN实施了快速的位计算内核，该内核充分利用了寄存器并增加了指令吞吐量以突破部署效率的极限。广泛的实验表明，BIFSMN通过说服各种数据集的利润率优于现有的二进制方法，甚至与全精度对应物相当（例如，语音命令v1-12下降少于3％）。我们强调的是，BIFSMN受益于稀薄的体系结构和优化的1位实现，可以在现实世界中的Edge硬件上实现令人印象深刻的22.3倍加速和15.5倍的存储空间。

We propose two efficient approximations to standard convolutional neural networks: Binary-Weight-Networks and XNOR-Networks. In Binary-Weight-Networks, the filters are approximated with binary values resulting in 32× memory saving. In XNOR-Networks, both the filters and the input to convolutional layers are binary. XNOR-Networks approximate convolutions using primarily binary operations. This results in 58× faster convolutional operations (in terms of number of the high precision operations) and 32× memory savings. XNOR-Nets offer the possibility of running state-of-the-art networks on CPUs (rather than GPUs) in real-time. Our binary networks are simple, accurate, efficient, and work on challenging visual tasks. We evaluate our approach on the ImageNet classification task. The classification accuracy with a Binary-Weight-Network version of AlexNet is the same as the full-precision AlexNet. We compare our method with recent network binarization methods, BinaryConnect and BinaryNets, and outperform these methods by large margins on ImageNet, more than 16% in top-1 accuracy. Our code is available at: http://allenai.org/plato/xnornet.

在资源受限的嵌入式系统上部署卷积神经网络的关键推动力是二进制神经网络（BNN）。 BNNS通过将功能和权重进行分配来保存内存并简化计算。不幸的是，二进制不可避免地伴随着准确性的严重降低。为了减少二进制和完整精确网络之间的准确性差距，最近提出了许多维修方法，我们已经将其分类并在本章中进行了单一概述。维修方法分为两个主要分支，培训技术和网络拓扑变化，可以进一步分为较小的类别。后一个类别为嵌入式系统引入了额外的成本（能源消耗或额外的面积），而前者则没有。从我们的概述中，我们可以观察到在减少准确性差距方面取得了进展，但是BNN论文并不对应使用哪种修复方法进行对齐，以获得高度准确的BNN。因此，本章包含一项经验综述，该综述评估了许多维修方法的好处，而不是Resnet-20 \＆Cifar10和Resnet-18 \＆Cifar100基准。我们发现三个维修类别最有益：功能二进制器，功能归一化和双重残留。基于这篇评论，我们讨论未来的方向和研究机会。我们勾勒出与BNN在嵌入式系统上相关的收益和成本，因为BNN是否能够缩小准确性差距，同时在资源受限的嵌入式系统上保持高能效率仍然有待观察。

While machine learning is traditionally a resource intensive task, embedded systems, autonomous navigation, and the vision of the Internet of Things fuel the interest in resource-efficient approaches. These approaches aim for a carefully chosen trade-off between performance and resource consumption in terms of computation and energy. The development of such approaches is among the major challenges in current machine learning research and key to ensure a smooth transition of machine learning technology from a scientific environment with virtually unlimited computing resources into everyday's applications. In this article, we provide an overview of the current state of the art of machine learning techniques facilitating these real-world requirements. In particular, we focus on deep neural networks (DNNs), the predominant machine learning models of the past decade. We give a comprehensive overview of the vast literature that can be mainly split into three non-mutually exclusive categories: (i) quantized neural networks, (ii) network pruning, and (iii) structural efficiency. These techniques can be applied during training or as post-processing, and they are widely used to reduce the computational demands in terms of memory footprint, inference speed, and energy efficiency. We also briefly discuss different concepts of embedded hardware for DNNs and their compatibility with machine learning techniques as well as potential for energy and latency reduction. We substantiate our discussion with experiments on well-known benchmark datasets using compression techniques (quantization, pruning) for a set of resource-constrained embedded systems, such as CPUs, GPUs and FPGAs. The obtained results highlight the difficulty of finding good trade-offs between resource efficiency and predictive performance.

最近，生成的数据无量子化作为一种​​实用的方法，将神经网络压缩到低位宽度而不访问真实数据。它通过利用其全精密对应物的批量归一化（BN）统计来生成数据来量化网络。然而，我们的研究表明，在实践中，BN统计的合成数据在分布和样品水平时严重均匀化，这导致量化网络的严重劣化。本文提出了一种通用不同的样本生成（DSG）方案，用于生成无数据的训练后量化和量化感知培训，以减轻有害的均质化。在我们的DSG中，我们首先将统计对齐缩写为BN层中的功能，以放宽分配约束。然后，我们加强特定BN层对不同样品的损失影响，并抑制了生成过程中样品之间的相关性，分别从统计和空间角度分别多样化样本。广泛的实验表明，对于大规模的图像分类任务，我们的DSG可以始终如一地优于各种神经结构上的现有数据无数据量化方法，尤其是在超低比特宽度下（例如，在W4A4设置下的22％的增益下）。此外，由我们的DSG引起的数据多样化引起了各种量化方法的一般增益，证明了多样性是无数据量化的高质量合成数据的重要特性。

用于压缩神经网络的非均匀量化策略通常实现的性能比其对应于对应物，即统一的策略，因为其优越的代表性能力。然而，许多非均匀量化方法在实现不均匀量化的权重/激活时忽略了复杂的投影过程，这在硬件部署中引起了不可忽略的时间和空间开销。在这项研究中，我们提出了非均匀致均匀的量化（N2UQ），一种方法，其能够保持非均匀方法的强表示能力，同时硬件友好且有效地作为模型推理的均匀量化。我们通过学习灵活的等距输入阈值来实现这一目标，以更好地拟合潜在的分布，同时将这些实值输入量化为等距输出电平。要使用可学习的输入阈值训练量化网络，我们将广义直通估计器（G-STE）介绍，用于难以应答的后向衍生计算W.r.t.阈值参数。此外，我们考虑熵保持正则化，以进一步降低重量量化的信息损失。即使在这种不利约束的施加均匀量化的重量和激活的情况下，我们的N2UQ也经历了最先进的非均匀量化方法，在想象中达到了0.7〜1.8％，展示了N2UQ设计的贡献。代码将公开可用。

为了以计算有效的方式部署深层模型，经常使用模型量化方法。此外，由于新的硬件支持混合的位算术操作，最近对混合精度量化（MPQ）的研究开始通过搜索网络中不同层和模块的优化位低宽，从而完全利用表示的能力。但是，先前的研究主要是在使用强化学习，神经体系结构搜索等的昂贵方案中搜索MPQ策略，或者简单地利用部分先验知识来进行位于刻度分配，这可能是有偏见和优势的。在这项工作中，我们提出了一种新颖的随机量化量化（SDQ）方法，该方法可以在更灵活，更全球优化的空间中自动学习MPQ策略，并具有更平滑的梯度近似。特别是，可区分的位宽参数（DBP）被用作相邻位意选择之间随机量化的概率因素。在获取最佳MPQ策略之后，我们将进一步训练网络使用熵感知的bin正则化和知识蒸馏。我们广泛评估了不同硬件（GPU和FPGA）和数据集的多个网络的方法。 SDQ的表现优于所有最先进的混合或单个精度量化，甚至比较低的位置量化，甚至比各种重新网络和Mobilenet家族的全精度对应物更好，这表明了我们方法的有效性和优势。

Binary neural networks are the extreme case of network quantization, which has long been thought of as a potential edge machine learning solution. However, the significant accuracy gap to the full-precision counterparts restricts their creative potential for mobile applications. In this work, we revisit the potential of binary neural networks and focus on a compelling but unanswered problem: how can a binary neural network achieve the crucial accuracy level (e.g., 80%) on ILSVRC-2012 ImageNet? We achieve this goal by enhancing the optimization process from three complementary perspectives: (1) We design a novel binary architecture BNext based on a comprehensive study of binary architectures and their optimization process. (2) We propose a novel knowledge-distillation technique to alleviate the counter-intuitive overfitting problem observed when attempting to train extremely accurate binary models. (3) We analyze the data augmentation pipeline for binary networks and modernize it with up-to-date techniques from full-precision models. The evaluation results on ImageNet show that BNext, for the first time, pushes the binary model accuracy boundary to 80.57% and significantly outperforms all the existing binary networks. Code and trained models are available at: https://github.com/hpi-xnor/BNext.git.

深度学习技术在各种任务中都表现出了出色的有效性，并且深度学习具有推进多种应用程序（包括在边缘计算中）的潜力，其中将深层模型部署在边缘设备上，以实现即时的数据处理和响应。一个关键的挑战是，虽然深层模型的应用通常会产生大量的内存和计算成本，但Edge设备通常只提供非常有限的存储和计算功能，这些功能可能会在各个设备之间差异很大。这些特征使得难以构建深度学习解决方案，以释放边缘设备的潜力，同时遵守其约束。应对这一挑战的一种有希望的方法是自动化有效的深度学习模型的设计，这些模型轻巧，仅需少量存储，并且仅产生低计算开销。该调查提供了针对边缘计算的深度学习模型设计自动化技术的全面覆盖。它提供了关键指标的概述和比较，这些指标通常用于量化模型在有效性，轻度和计算成本方面的水平。然后，该调查涵盖了深层设计自动化技术的三类最新技术：自动化神经体系结构搜索，自动化模型压缩以及联合自动化设计和压缩。最后，调查涵盖了未来研究的开放问题和方向。

二进制神经网络（BNN）是卷积神经网络（CNN）的极端量化版本，其所有功能和权重映射到仅1位。尽管BNN节省了大量的内存和计算需求以使CNN适用于边缘或移动设备，但由于二进制后的表示能力降低，BNN遭受了网络性能的下降。在本文中，我们提出了一个新的可更换且易于使用的卷积模块reponv，该模块reponv通过复制输入或沿通道维度的输出来增强特征地图，而不是$ \ beta $ times，而没有额外的参数和卷积计算费用。我们还定义了一组Reptran规则，可以在整个BNN模块中使用Repconv，例如二进制卷积，完全连接的层和批处理归一化。实验表明，在Reptran转换之后，一组高度引用的BNN与原始BNN版本相比，实现了普遍的性能。例如，Rep-Recu-Resnet-20的前1位准确性，即REPBCONV增强的RECU-RESNET-20，在CIFAR-10上达到了88.97％，比原始网络高1.47％。 Rep-Adambnn-Reactnet-A在Imagenet上获得了71.342％的TOP-1精度，这是BNN的最新结果。代码和型号可在以下网址提供：https：//github.com/imfinethanks/rep_adambnn。

无数据量化是一项将神经网络压缩到低位的任务，而无需访问原始培训数据。大多数现有的无数据量化方法导致由于不准确的激活剪辑范围和量化误差而导致严重的性能降解，尤其是对于低位宽度。在本文中，我们提出了一种简单而有效的无数据量化方法，具有准确的激活剪辑和自适应批准化。精确的激活剪辑（AAC）通过利用完全精确模型的准确激活信息来提高模型的准确性。自适应批准归一化首先建议通过自适应更新批处理层次来解决分布更改中的量化误差。广泛的实验表明，所提出的无数据量化方法可以产生令人惊讶的性能，在Imagenet数据集上达到RESNET18的64.33％的TOP-1准确性，绝对改进的3.7％优于现有的最新方法。