由于在具有不同资源预算的各种平台上的模型部署方便，因此具有自适应位的深度神经网络量化已引起了人们的关注。在本文中，我们提出了一种元学习方法来实现这一目标。具体而言，我们提出了MEBQAT，这是一种简单而有效的自适应量化意识训练（QAT）的方法，在该方法中，通过重新定义元学习任务以合并位宽，将元学习与QAT有效合并。部署在平台上后，MEBQAT允许将（Meta-）训练的模型量化为任何候选位宽，然后有助于进行推理，而无需过多准确地量化。此外，通过一些学习方案，MEBQAT还可以通过添加常规优化或基于公制的元学习来使模型以及任何看不见的目标类调整模型。我们设计了MEBQAT的变体，以支持（1）（1）位置自适应量化方案和（2）新的几次学习方案，在该方案中，量化位低和目标类都是共同调整的。我们通过实验证明了它们在多个QAT方案中的有效性。通过将它们的性能与（Bitwidth-dedicatied）QAT，现有的Bitwidth自适应QAT和Vanilla Meta-Learning进行比较，我们发现将Bitwidths合并到元学习任务中可以达到更高的鲁棒性。

Although considerable progress has been obtained in neural network quantization for efficient inference, existing methods are not scalable to heterogeneous devices as one dedicated model needs to be trained, transmitted, and stored for one specific hardware setting, incurring considerable costs in model training and maintenance. In this paper, we study a new vertical-layered representation of neural network weights for encapsulating all quantized models into a single one. With this representation, we can theoretically achieve any precision network for on-demand service while only needing to train and maintain one model. To this end, we propose a simple once quantization-aware training (QAT) scheme for obtaining high-performance vertical-layered models. Our design incorporates a cascade downsampling mechanism which allows us to obtain multiple quantized networks from one full precision source model by progressively mapping the higher precision weights to their adjacent lower precision counterparts. Then, with networks of different bit-widths from one source model, multi-objective optimization is employed to train the shared source model weights such that they can be updated simultaneously, considering the performance of all networks. By doing this, the shared weights will be optimized to balance the performance of different quantized models, thus making the weights transferable among different bit widths. Experiments show that the proposed vertical-layered representation and developed once QAT scheme are effective in embodying multiple quantized networks into a single one and allow one-time training, and it delivers comparable performance as that of quantized models tailored to any specific bit-width. Code will be available.

元学习方法旨在构建能够快速适应低数据制度的新任务的学习算法。这种算法的主要基准之一是几次学习问题。在本文中，我们调查了在培训期间采用多任务方法的标准元学习管道的修改。该提出的方法同时利用来自常见损​​失函数中的几个元训练任务的信息。每个任务在损耗功能中的影响由相应的重量控制。正确优化这些权重可能对整个模型的训练产生很大影响，并且可能会提高测试时间任务的质量。在这项工作中，我们提出并调查了使用同时扰动随机近似（SPSA）方法的方法的使用方法，用于元列车任务权重优化。我们还将提出的算法与基于梯度的方法进行了比较，发现随机近似表明了测试时间最大的质量增强。提出的多任务修改可以应用于使用元学习管道的几乎所有方法。在本文中，我们研究了这种修改对CiFar-FS，FC100，TieredimAgenet和MiniimAgenet几秒钟学习基准的原型网络和模型 - 不可知的元学习算法。在这些实验期间，多任务修改已经证明了对原始方法的改进。所提出的SPSA跟踪算法显示了对最先进的元学习方法具有竞争力的最大精度提升。我们的代码可在线获取。

模型不合时宜的元学习（MAML）是最成功的元学习技术之一。它使用梯度下降来学习各种任务之间的共同点，从而使模型能够学习其自身参数的元定义，以使用少量标记的培训数据快速适应新任务。几次学习的关键挑战是任务不确定性。尽管可以从具有大量任务的元学习中获得强大的先验，但是由于训练数据集的数量通常太小，因此无法保证新任务的精确模型。在这项研究中，首先，在选择初始化参数的过程中，为特定于任务的学习者提出了新方法，以适应性地学习选择最小化新任务损失的初始化参数。然后，我们建议对元损失部分的两种改进的方法：方法1通过比较元损失差异来生成权重，以提高几个类别时的准确性，而方法2引入了每个任务的同质不确定性，以根据多个损失，以基于多个损失。原始的梯度下降是一种增强新型类别的概括能力的方式，同时确保了准确性的提高。与以前的基于梯度的元学习方法相比，我们的模型在回归任务和少量分类中的性能更好，并提高了模型的鲁棒性，对元测试集中的学习率和查询集。

IoT设备收集的数据通常是私人的，并且在各种用户之间具有巨大的多样性。因此，学习需要使用可用的代表性数据样本进行预训练，在物联网设备上部署预训练的模型，并使用本地数据在设备上调整已部署的模型。这种用于深度学习授权应用程序的设备改编需要数据和记忆效率。但是，现有的基于梯度的元学习方案无法支持记忆有效的适应。为此，我们提出了P-Meta，这是一种新的元学习方法，该方法可以强制执行结构的部分参数更新，同时确保快速概括到看不见的任务。对几片图像分类和强化学习任务的评估表明，与最先进的几次适应方法相比。

混合精确的深神经网络达到了硬件部署所需的能源效率和吞吐量，尤其是在资源有限的情况下，而无需牺牲准确性。但是，不容易找到保留精度的最佳每层钻头精度，尤其是在创建巨大搜索空间的大量模型，数据集和量化技术中。为了解决这一困难，最近出现了一系列文献，并且已经提出了一些实现有希望的准确性结果的框架。在本文中，我们首先总结了文献中通常使用的量化技术。然后，我们对混合精液框架进行了彻底的调查，该调查是根据其优化技术进行分类的，例如增强学习和量化技术，例如确定性舍入。此外，讨论了每个框架的优势和缺点，我们在其中呈现并列。我们最终为未来的混合精液框架提供了指南。

神经网络需要大量的注释数据才能学习。元学习算法提出了一种将训练样本数量减少到少数的方法。最突出的基于优化的元学习算法之一是模型敏捷的元学习（MAML）。但是，适应MAML新任务的关键过程非常慢。在这项工作中，我们提出了对MAML元学习算法的改进。我们介绍了lambda模式，通过这些模式，我们限制了在适应阶段在网络中更新的重量。这使得可以跳过某些梯度计算。选择最快的图案给定允许的质量降解阈值参数。在某些情况下，通过仔细的模式选择可以提高质量。进行的实验表明，通过Lambda适应模式选择，可以在以下区域显着改善MAML方法：适应时间已减少3倍，而精度损失最小；一步适应的准确性已大大提高。

模型不合时宜的元学习（MAML）是一种著名的少数学习方法，它启发了许多后续工作，例如Anil和Boil。但是，作为一种归纳方法，MAML无法完全利用查询集的信息，从而限制了其获得更高通用性的潜力。为了解决这个问题，我们提出了一种简单而有效的方法，该方法可以适应性地生成伪标记，并可以提高MAML家族的性能。所提出的方法，被称为生成伪标签的MAML（GP-MAML），GP-Anil和GP-Boil，是查询的杠杆统计数据，以提高新任务的性能。具体而言，我们自适应地添加伪标签并从查询集中挑选样品，然后使用挑选的查询样品和支持集对模型进行重新训练。 GP系列还可以使用伪查询集中的信息在元测试过程中重新培训网络。尽管某些转导方法（例如跨传播网络（TPN））努力实现这一目标。

几乎没有学习方法的目的是训练模型，这些模型可以根据少量数据轻松适应以前看不见的任务。最受欢迎，最优雅的少学习方法之一是模型敏捷的元学习（MAML）。这种方法背后的主要思想是学习元模型的一般权重，该权重进一步适应了少数梯度步骤中的特定问题。但是，该模型的主要限制在于以下事实：更新过程是通过基于梯度的优化实现的。因此，MAML不能总是在一个甚至几个梯度迭代中将权重修改为基本水平。另一方面，使用许多梯度步骤会导致一个复杂且耗时的优化程序，这很难在实践中训练，并且可能导致过度拟合。在本文中，我们提出了HyperMAML，这是MAML的新型概括，其中更新过程的训练也是模型的一部分。也就是说，在HyperMAML中，我们没有使用梯度下降来更新权重，而是为此目的使用可训练的超级净机。因此，在此框架中，该模型可以生成重大更新，其范围不限于固定数量的梯度步骤。实验表明，超型MAML始终胜过MAML，并且在许多标准的几次学习基准测试基准中与其他最先进的技术相当。

基于优化的元学习旨在学习初始化，以便在一些梯度更新中可以学习新的看不见的任务。模型不可知的元学习（MAML）是一种包括两个优化回路的基准算法。内部循环致力于学习一项新任务，并且外循环导致元定义。但是，Anil（几乎没有内部环）算法表明，功能重用是MAML快速学习的替代方法。因此，元定义阶段使MAML用于特征重用，并消除了快速学习的需求。与Anil相反，我们假设可能需要在元测试期间学习新功能。从非相似分布中进行的一项新的看不见的任务将需要快速学习，并重用现有功能。在本文中，我们调用神经网络的宽度深度二元性，其中，我们通过添加额外的计算单元（ACU）来增加网络的宽度。 ACUS可以在元测试任务中学习新的原子特征，而相关的增加宽度有助于转发通行证中的信息传播。新学习的功能与最后一层的现有功能相结合，用于元学习。实验结果表明，我们提出的MAC方法的表现优于现有的非相似任务分布的Anil算法，约为13％（5次任务设置）

The focus of recent meta-learning research has been on the development of learning algorithms that can quickly adapt to test time tasks with limited data and low computational cost. Few-shot learning is widely used as one of the standard benchmarks in meta-learning. In this work, we show that a simple baseline: learning a supervised or selfsupervised representation on the meta-training set, followed by training a linear classifier on top of this representation, outperforms state-of-the-art few-shot learning methods. An additional boost can be achieved through the use of selfdistillation. This demonstrates that using a good learned embedding model can be more effective than sophisticated meta-learning algorithms. We believe that our findings motivate a rethinking of few-shot image classification benchmarks and the associated role of meta-learning algorithms.

模型不合时宜的元学习（MAML）可以说是当今最流行的元学习算法之一。然而，它在几次分类上的性能远远远远远远远远远远远远远远落在许多致力于该问题的算法。在本文中，我们指出了如何训练MAML以进行几次分类的几个关键方面。首先，我们发现MAML在其内部循环更新中需要大量的梯度步骤，这与其常见的用法相矛盾。其次，我们发现MAML对元测试过程中的类标签分配敏感。具体而言，MAML Meta-Trains $ n$道分类器的初始化。这些$ n $方式，在元测试期间，然后具有“ $ n！$”的“ $ n！$”排列，并与$ n $新颖的课程配对。我们发现这些排列会导致巨大的准确性差异，从而使MAML不稳定。第三，我们研究了几种使MAML置换不变的方法，其中元训练单个向量以初始化分类头中的所有$ n $重量矢量的初始化。在Miniimagenet和Tieredimagenet等基准数据集上，我们命名Unicorn-MAML的方法在不牺牲MAML的简单性的情况下以与许多最近的几杆分类算法相同甚至优于许多近期的几个次数分类算法。

少量学习，特别是几秒钟的图像分类，近年来受到了越来越多的关注，并目睹了重大进展。最近的一些研究暗示表明，许多通用技术或“诀窍”，如数据增强，预训练，知识蒸馏和自我监督，可能大大提高了几次学习方法的性能。此外，不同的作品可以采用不同的软件平台，不同的训练计划，不同的骨干架构以及甚至不同的输入图像大小，使得公平的比较困难，从业者与再现性斗争。为了解决这些情况，通过在Pytorch中的同一单个代码库中重新实施17个最新的框架，提出了几次射门学习（Libfewshot）的全面图书馆。此外，基于libfewshot，我们提供多个基准数据集的全面评估，其中包含多个骨干架构，以评估不同培训技巧的常见缺陷和效果。此外，鉴于近期对必要性或未培训机制的必要性怀疑，我们的评估结果表明，特别是当与预训练相结合时，仍然需要这种机制。我们希望我们的工作不仅可以降低初学者的障碍，可以在几次学习上工作，而且还消除了非动力技巧的影响，促进了几枪学习的内在研究。源代码可从https://github.com/rl-vig/libfewshot获取。

几个射击分类（FSC）需要使用几个（通常为1-5个）数据点的培训模型。事实证明，元学习能够通过培训各种其他分类任务来学习FSC的参数化模型。在这项工作中，我们提出了铂金（使用superodular互信息的半监督模型不可思议的元学习），这是一种新型的半监督模型不合理的元学习框架，使用了子模块化信息（SMI）函数来促进FSC的性能。在元训练期间，使用SMI函数在内部和外循环中利用铂金的数据，并获得元测试的更丰富的元学习参数化。我们在两种情况下研究白金的性能 - 1）未标记的数据点属于与某个插曲的标签集相同的类别集，以及2）在存在不属于的分布类别的地方标记的集合。我们在Miniimagenet，Tieredimagenet和几乎没有Shot-CIFAR100数据集的各种设置上评估了我们的方法。我们的实验表明，铂金优于MAML和半监督的方法，例如用于半监视的FSC的pseduo-Labeling，尤其是对于每个类别的标记示例比例很小。

While machine learning is traditionally a resource intensive task, embedded systems, autonomous navigation, and the vision of the Internet of Things fuel the interest in resource-efficient approaches. These approaches aim for a carefully chosen trade-off between performance and resource consumption in terms of computation and energy. The development of such approaches is among the major challenges in current machine learning research and key to ensure a smooth transition of machine learning technology from a scientific environment with virtually unlimited computing resources into everyday's applications. In this article, we provide an overview of the current state of the art of machine learning techniques facilitating these real-world requirements. In particular, we focus on deep neural networks (DNNs), the predominant machine learning models of the past decade. We give a comprehensive overview of the vast literature that can be mainly split into three non-mutually exclusive categories: (i) quantized neural networks, (ii) network pruning, and (iii) structural efficiency. These techniques can be applied during training or as post-processing, and they are widely used to reduce the computational demands in terms of memory footprint, inference speed, and energy efficiency. We also briefly discuss different concepts of embedded hardware for DNNs and their compatibility with machine learning techniques as well as potential for energy and latency reduction. We substantiate our discussion with experiments on well-known benchmark datasets using compression techniques (quantization, pruning) for a set of resource-constrained embedded systems, such as CPUs, GPUs and FPGAs. The obtained results highlight the difficulty of finding good trade-offs between resource efficiency and predictive performance.

模型量化已成为加速深度学习推理的不可或缺的技术。虽然研究人员继续推动量化算法的前沿，但是现有量化工作通常是不可否认的和不可推销的。这是因为研究人员不选择一致的训练管道并忽略硬件部署的要求。在这项工作中，我们提出了模型量化基准（MQBench），首次尝试评估，分析和基准模型量化算法的再现性和部署性。我们为实际部署选择多个不同的平台，包括CPU，GPU，ASIC，DSP，并在统一培训管道下评估广泛的最新量化算法。 MQBENCK就像一个连接算法和硬件的桥梁。我们进行全面的分析，并找到相当大的直观或反向直观的见解。通过对齐训练设置，我们发现现有的算法在传统的学术轨道上具有大致相同的性能。虽然用于硬件可部署量化，但有一个巨大的精度差距，仍然不稳定。令人惊讶的是，没有现有的算法在MQBench中赢得每一项挑战，我们希望这项工作能够激发未来的研究方向。

Few-shot learning aims to fast adapt a deep model from a few examples. While pre-training and meta-training can create deep models powerful for few-shot generalization, we find that pre-training and meta-training focuses respectively on cross-domain transferability and cross-task transferability, which restricts their data efficiency in the entangled settings of domain shift and task shift. We thus propose the Omni-Training framework to seamlessly bridge pre-training and meta-training for data-efficient few-shot learning. Our first contribution is a tri-flow Omni-Net architecture. Besides the joint representation flow, Omni-Net introduces two parallel flows for pre-training and meta-training, responsible for improving domain transferability and task transferability respectively. Omni-Net further coordinates the parallel flows by routing their representations via the joint-flow, enabling knowledge transfer across flows. Our second contribution is the Omni-Loss, which introduces a self-distillation strategy separately on the pre-training and meta-training objectives for boosting knowledge transfer throughout different training stages. Omni-Training is a general framework to accommodate many existing algorithms. Evaluations justify that our single framework consistently and clearly outperforms the individual state-of-the-art methods on both cross-task and cross-domain settings in a variety of classification, regression and reinforcement learning problems.

几乎没有弹出的文本分类旨在在几个弹奏方案下对文本进行分类。以前的大多数方法都采用基于优化的元学习来获得任务分布。但是，由于少数样本和复杂模型之间的匹配以及有用的任务功能之间的区别，这些方法遭受了过度拟合问题的影响。为了解决这个问题，我们通过梯度相似性（AMGS）方法提出了一种新颖的自适应元学习器，以提高模型的泛化能力。具体而言，拟议的AMG基于两个方面缓解了过度拟合：（i）通过内部循环中的自我监督的辅助任务来获取样品的潜在语义表示并改善模型的概括，（ii）利用适应性元学习者通过适应性元学习者通过梯度通过相似性，可以在外环中基底学习者获得的梯度上增加约束。此外，我们对正则化对整个框架的影响进行系统分析。对几个基准测试的实验结果表明，与最先进的优化元学习方法相比，提出的AMG始终提高了很少的文本分类性能。

具有混合精度量化的大DNN可以实现超高压缩，同时保持高分类性能。但是，由于找到了可以引导优化过程的准确度量的挑战，与32位浮点（FP-32）基线相比，这些方法牺牲了显着性能，或者依赖于计算昂贵的迭代培训政策这需要预先训练的基线的可用性。要解决此问题，本文提出了BMPQ，一种使用位梯度来分析层敏感性的训练方法，并产生混合精度量化模型。 BMPQ需要单一的训练迭代，但不需要预先训练的基线。它使用整数线性程序（ILP）来动态调整培训期间层的精度，但经过固定的硬件预算。为了评估BMPQ的功效，我们对CiFar-10，CiFar-100和微小想象数据集的VGG16和Reset18进行了广泛的实验。与基线FP-32型号相比，BMPQ可以产生具有15.4倍的参数比特的模型，精度可忽略不计。与SOTA“在培训期间”相比，混合精确训练方案，我们的模型分别在CiFar-10，CiFar-100和微小想象中分别为2.1倍，2.2倍2.9倍，具有提高的精度高达14.54％。

为了以计算有效的方式部署深层模型，经常使用模型量化方法。此外，由于新的硬件支持混合的位算术操作，最近对混合精度量化（MPQ）的研究开始通过搜索网络中不同层和模块的优化位低宽，从而完全利用表示的能力。但是，先前的研究主要是在使用强化学习，神经体系结构搜索等的昂贵方案中搜索MPQ策略，或者简单地利用部分先验知识来进行位于刻度分配，这可能是有偏见和优势的。在这项工作中，我们提出了一种新颖的随机量化量化（SDQ）方法，该方法可以在更灵活，更全球优化的空间中自动学习MPQ策略，并具有更平滑的梯度近似。特别是，可区分的位宽参数（DBP）被用作相邻位意选择之间随机量化的概率因素。在获取最佳MPQ策略之后，我们将进一步训练网络使用熵感知的bin正则化和知识蒸馏。我们广泛评估了不同硬件（GPU和FPGA）和数据集的多个网络的方法。 SDQ的表现优于所有最先进的混合或单个精度量化，甚至比较低的位置量化，甚至比各种重新网络和Mobilenet家族的全精度对应物更好，这表明了我们方法的有效性和优势。