深度神经网络（DNN）的算法 - 硬件共同设计的最新进展已经证明了它们在自动设计神经架构和硬件设计方面的潜力。然而，由于昂贵的培训成本和耗时的硬件实现，这仍然是一个充满挑战的优化问题，这使得对神经结构和硬件设计难以解答的巨大设计空间探索。在本文中，我们证明我们所提出的方法能够在帕累托前沿定位设计。这种功能由新颖的三相协同设计框架启用，具有以下新功能：（a）从硬件架构和神经结构的设计空间探索的DNN培训解耦，（b）提供硬件友好的神经结构空间通过考虑构造搜索单元的硬件特征，（c）采用高斯过程来预测准确性，延迟和功耗以避免耗时的合成和路由过程。与手动设计的Resnet101，Inceptionv2和MobileNetv2相比，我们可以在想象网数据集中获得高达3倍的准确度，高达5％的准确性。与其他最先进的共同设计框架相比，我们发现的网络和硬件配置可以达到更高的2％〜6％，精度为2倍〜26倍，延迟较高8.5倍。

神经网络（NNS）已经在广泛的应用中证明了它们的潜力，例如图像识别，决策或推荐系统。然而，标准NNS无法捕获其模型不确定性，这对于包括医疗保健和自治车辆的许多安全关键应用至关重要。相比之下，贝叶斯神经网络（BNNS）能够通过数学接地表达他们预测中的不确定性。尽管如此，BNN尚未广泛用于工业实践，主要是由于其昂贵的计算成本和有限的硬件性能。这项工作提出了一种新的基于FPGA的硬件架构，可以通过Monte Carlo辍学加速BNN推断。与其他最先进的BNN加速器相比，所提出的加速器可以达到高达4倍的能量效率和9倍的计算效率。考虑到部分贝叶斯推断，提出了一种自动框架，探讨了硬件和算法性能之间的权衡。进行广泛的实验以证明我们所提出的框架可以有效地找到设计空间中的最佳点。

深神经网络（DNNS）在各种机器学习（ML）应用程序中取得了巨大成功，在计算机视觉，自然语言处理和虚拟现实等中提供了高质量的推理解决方案。但是，基于DNN的ML应用程序也带来计算和存储要求的增加了很多，对于具有有限的计算/存储资源，紧张的功率预算和较小形式的嵌入式系统而言，这尤其具有挑战性。挑战还来自各种特定应用的要求，包括实时响应，高通量性能和可靠的推理准确性。为了应对这些挑战，我们介绍了一系列有效的设计方法，包括有效的ML模型设计，定制的硬件加速器设计以及硬件/软件共同设计策略，以启用嵌入式系统上有效的ML应用程序。

深度学习技术在各种任务中都表现出了出色的有效性，并且深度学习具有推进多种应用程序（包括在边缘计算中）的潜力，其中将深层模型部署在边缘设备上，以实现即时的数据处理和响应。一个关键的挑战是，虽然深层模型的应用通常会产生大量的内存和计算成本，但Edge设备通常只提供非常有限的存储和计算功能，这些功能可能会在各个设备之间差异很大。这些特征使得难以构建深度学习解决方案，以释放边缘设备的潜力，同时遵守其约束。应对这一挑战的一种有希望的方法是自动化有效的深度学习模型的设计，这些模型轻巧，仅需少量存储，并且仅产生低计算开销。该调查提供了针对边缘计算的深度学习模型设计自动化技术的全面覆盖。它提供了关键指标的概述和比较，这些指标通常用于量化模型在有效性，轻度和计算成本方面的水平。然后，该调查涵盖了深层设计自动化技术的三类最新技术：自动化神经体系结构搜索，自动化模型压缩以及联合自动化设计和压缩。最后，调查涵盖了未来研究的开放问题和方向。

Dynamic neural networks (DyNNs) have become viable techniques to enable intelligence on resource-constrained edge devices while maintaining computational efficiency. In many cases, the implementation of DyNNs can be sub-optimal due to its underlying backbone architecture being developed at the design stage independent of both: (i) the dynamic computing features, e.g. early exiting, and (ii) the resource efficiency features of the underlying hardware, e.g., dynamic voltage and frequency scaling (DVFS). Addressing this, we present HADAS, a novel Hardware-Aware Dynamic Neural Architecture Search framework that realizes DyNN architectures whose backbone, early exiting features, and DVFS settings have been jointly optimized to maximize performance and resource efficiency. Our experiments using the CIFAR-100 dataset and a diverse set of edge computing platforms have seen HADAS dynamic models achieve up to 57% energy efficiency gains compared to the conventional dynamic ones while maintaining the desired level of accuracy scores. Our code is available at https://github.com/HalimaBouzidi/HADAS

Recently, automated co-design of machine learning (ML) models and accelerator architectures has attracted significant attention from both the industry and academia. However, most co-design frameworks either explore a limited search space or employ suboptimal exploration techniques for simultaneous design decision investigations of the ML model and the accelerator. Furthermore, training the ML model and simulating the accelerator performance is computationally expensive. To address these limitations, this work proposes a novel neural architecture and hardware accelerator co-design framework, called CODEBench. It is composed of two new benchmarking sub-frameworks, CNNBench and AccelBench, which explore expanded design spaces of convolutional neural networks (CNNs) and CNN accelerators. CNNBench leverages an advanced search technique, BOSHNAS, to efficiently train a neural heteroscedastic surrogate model to converge to an optimal CNN architecture by employing second-order gradients. AccelBench performs cycle-accurate simulations for a diverse set of accelerator architectures in a vast design space. With the proposed co-design method, called BOSHCODE, our best CNN-accelerator pair achieves 1.4% higher accuracy on the CIFAR-10 dataset compared to the state-of-the-art pair, while enabling 59.1% lower latency and 60.8% lower energy consumption. On the ImageNet dataset, it achieves 3.7% higher Top1 accuracy at 43.8% lower latency and 11.2% lower energy consumption. CODEBench outperforms the state-of-the-art framework, i.e., Auto-NBA, by achieving 1.5% higher accuracy and 34.7x higher throughput, while enabling 11.0x lower energy-delay product (EDP) and 4.0x lower chip area on CIFAR-10.

Designing accurate and efficient ConvNets for mobile devices is challenging because the design space is combinatorially large. Due to this, previous neural architecture search (NAS) methods are computationally expensive. ConvNet architecture optimality depends on factors such as input resolution and target devices. However, existing approaches are too resource demanding for case-by-case redesigns. Also, previous work focuses primarily on reducing FLOPs, but FLOP count does not always reflect actual latency. To address these, we propose a differentiable neural architecture search (DNAS) framework that uses gradient-based methods to optimize Con-vNet architectures, avoiding enumerating and training individual architectures separately as in previous methods. FBNets (Facebook-Berkeley-Nets), a family of models discovered by DNAS surpass state-of-the-art models both designed manually and generated automatically. FBNet-B achieves 74.1% top-1 accuracy on ImageNet with 295M FLOPs and 23.1 ms latency on a Samsung S8 phone, 2.4x smaller and 1.5x faster than MobileNetV2-1.3[17] with similar accuracy. Despite higher accuracy and lower latency than MnasNet[20], we estimate FBNet-B's search cost is 420x smaller than MnasNet's, at only 216 GPUhours. Searched for different resolutions and channel sizes, FBNets achieve 1.5% to 6.4% higher accuracy than Mo-bileNetV2. The smallest FBNet achieves 50.2% accuracy and 2.9 ms latency (345 frames per second) on a Samsung S8. Over a Samsung-optimized FBNet, the iPhone-Xoptimized model achieves a 1.4x speedup on an iPhone X. FBNet models are open-sourced at https://github. com/facebookresearch/mobile-vision. * Work done while interning at Facebook.… Figure 1. Differentiable neural architecture search (DNAS) for ConvNet design. DNAS explores a layer-wise space that each layer of a ConvNet can choose a different block. The search space is represented by a stochastic super net. The search process trains the stochastic super net using SGD to optimize the architecture distribution. Optimal architectures are sampled from the trained distribution. The latency of each operator is measured on target devices and used to compute the loss for the super net.

就起搏器提供的信号（即，神心电图电测（EGM））和信号医生使用（即12-铅心电图（ECG））而言，存在差距以诊断出异常节律。因此，前者，即使远程传输，医生也不足以提供精确的诊断，更不用说更及时干预。为了缩短这种差距，并对即时响应不规则和不频繁的心室节律的即时反应进行启发式步骤，我们提出了一个新的框架被称为RT-RCG，以自动搜索（1）高效的深神经网络（DNN）结构和然后（2）相应的加速器，能够实现来自EGM信号的ECG信号的实时和高质量的重建。具体地，RT-RCG提出了一种针对EGM信号的ECG重建量身定制的新的DNN搜索空间，并结合了可分辨率的加速搜索（DAS）发动机，以有效地导航大而离散的加速器设计空间以产生优化的加速器。各种环境下的广泛实验和消融研究一致地验证了RT-RCG的有效性。据我们所知，RT-RCG是第一个利用神经结构搜索（NAS）来同时解决重建效能和效率的效率。

随着机器学习和系统社区努力通过自定义深度神经网络（DNN）加速器，多样的精度或量化水平以及模型压缩技术来实现更高的能源效率，因此需要设计空间探索框架，以结合量化意识的处理。在具有准确和快速的功率，性能和区域模型的同时，进入加速器设计空间。在这项工作中，我们提出了Quidam，这是一种高度参数化的量化量化DNN加速器和模型共探索框架。我们的框架可以促进对DNN加速器设计空间探索的未来研究，以提供各种设计选择，例如位精度，处理元素类型，处理元素的刮擦大小，全局缓冲区大小，总处理元素的数量和DNN配置。我们的结果表明，不同的精确度和处理元素类型会导致每个区域和能量性能方面的显着差异。具体而言，我们的框架标识了广泛的设计点，其中每个面积和能量的性能分别差异超过5倍和35倍。通过拟议的框架，我们表明，与最佳基于INT16的实施相比，轻巧的处理元素可在准确性结果上实现，每个区域的性能和能源改善高达5.7倍。最后，由于预先特征的功率，性能和区域模型的效率，Quidam可以将设计勘探过程加快3-4个数量级，因为它消除了每种设计的昂贵合成和表征的需求。

卷积神经网络（CNNS）用于许多现实世界应用，例如基于视觉的自主驾驶和视频内容分析。要在各种目标设备上运行CNN推断，硬件感知神经结构搜索（NAS）至关重要。有效的硬件感知NAS的关键要求是对推理延迟的快速评估，以便对不同的架构进行排名。在构建每个目标设备的延迟预测器的同时，在本领域中通常使用，这是一个非常耗时的过程，在极定的设备存在下缺乏可扩展性。在这项工作中，我们通过利用延迟单调性来解决可扩展性挑战 - 不同设备上的架构延迟排名通常相关。当存在强烈的延迟单调性时，我们可以重复使用在新目标设备上搜索一个代理设备的架构，而不会丢失最佳状态。在没有强烈的延迟单调性的情况下，我们提出了一种有效的代理适应技术，以显着提高延迟单调性。最后，我们验证了我们的方法，并在多个主流搜索空间上使用不同平台的设备进行实验，包括MobileNet-V2，MobileNet-V3，NAS-Bench-201，Proxylessnas和FBNet。我们的结果突出显示，通过仅使用一个代理设备，我们可以找到几乎与现有的每个设备NAS相同的帕累托最优架构，同时避免为每个设备构建延迟预测器的禁止成本。 github：https://github.com/ren-research/oneproxy.

神经网络在广泛的任务中展示了他们出色的表现。具体地，基于长短短期存储器（LSTM）单元格的复发架构表现出了在真实数据中模拟时间依赖性的优异能力。然而，标准的经常性架构无法估计其不确定性，这对于安全关键型应用如医学，这是必不可少的。相比之下，贝叶斯经常性神经网络（RNN）能够以提高的精度提供不确定性估计。尽管如此，贝叶斯的RNN是在计算上和记忆所要求的，尽管他们的优势尽管他们的实用性限制了他们的实用性。为了解决这个问题，我们提出了一种基于FPGA的硬件设计，以加速基于贝叶斯LSTM的RNN。为了进一步提高整体算法 - 硬件性能，提出了一种共同设计框架来探索贝叶斯RNN的最适合的算法 - 硬件配置。我们对医疗保健应用进行了广泛的实验，以证明我们的设计和框架的有效性的提高。与GPU实施相比，我们的FPGA的设计可以实现高达10倍的加速，能效率较高的近106倍。据我们所知，这是第一份针对FPGA上的贝叶斯RNN的加速的工作。

混合精确的深神经网络达到了硬件部署所需的能源效率和吞吐量，尤其是在资源有限的情况下，而无需牺牲准确性。但是，不容易找到保留精度的最佳每层钻头精度，尤其是在创建巨大搜索空间的大量模型，数据集和量化技术中。为了解决这一困难，最近出现了一系列文献，并且已经提出了一些实现有希望的准确性结果的框架。在本文中，我们首先总结了文献中通常使用的量化技术。然后，我们对混合精液框架进行了彻底的调查，该调查是根据其优化技术进行分类的，例如增强学习和量化技术，例如确定性舍入。此外，讨论了每个框架的优势和缺点，我们在其中呈现并列。我们最终为未来的混合精液框架提供了指南。

Model quantization is a widely used technique to compress and accelerate deep neural network (DNN) inference. Emergent DNN hardware accelerators begin to support mixed precision (1-8 bits) to further improve the computation efficiency, which raises a great challenge to find the optimal bitwidth for each layer: it requires domain experts to explore the vast design space trading off among accuracy, latency, energy, and model size, which is both timeconsuming and sub-optimal. There are plenty of specialized hardware for neural networks, but little research has been done for specialized neural network optimization for a particular hardware architecture. Conventional quantization algorithm ignores the different hardware architectures and quantizes all the layers in a uniform way. In this paper, we introduce the Hardware-Aware Automated Quantization (HAQ) framework which leverages the reinforcement learning to automatically determine the quantization policy, and we take the hardware accelerator's feedback in the design loop. Rather than relying on proxy signals such as FLOPs and model size, we employ a hardware simulator to generate direct feedback signals (latency and energy) to the RL agent. Compared with conventional methods, our framework is fully automated and can specialize the quantization policy for different neural network architectures and hardware architectures. Our framework effectively reduced the latency by 1.4-1.95× and the energy consumption by 1.9× with negligible loss of accuracy compared with the fixed bitwidth (8 bits) quantization. Our framework reveals that the optimal policies on different hardware architectures (i.e., edge and cloud architectures) under different resource constraints (i.e., latency, energy and model size) are drastically different. We interpreted the implication of different quantization policies, which offer insights for both neural network architecture design and hardware architecture design. * indicates equal contributions. 68 69 70 71 72 73 25 44 63 82 101 120 MobileNets (fixed 8-bit quantization) MobileNets (our flexible-bit quantization) Latency (ms) Top-1 Accuracy (%) 1MB 2MB 3MB Model Size:Figure 1: We need mixed precision for different layers. We quantize MobileNets [12] to different number of bits (both weights and activations), and it lies on a better pareto curve (yellow) than fixed bit quantization (blue). The reason is that different layers have different redundancy and have different arithmetic intensity (OPs/byte) on the hardware, which advocates for using mixed precision for different layers.

人工神经网络的扩展不断增加，在超功率边缘设备上不会停止。但是，这些通常具有很高的计算需求，并且需要专门的硬件加速器，以确保设计达到功率和性能限制。神经网络的手动优化以及相应的硬件加速器可能非常具有挑战性。本文介绍了Hannah（硬件加速器和神经网络搜索），该框架是针对深神经网络和硬件加速器的自动化和组合的硬件/软件共同设计，用于资源和功率受限的边缘设备。优化方法使用基于进化的搜索算法，一种神经网络模板技术以及可配置的Ultratrail硬件加速器模板的分析KPI模型，以找到优化的神经网络和加速器配置。我们证明，汉娜（Hannah）可以找到适合不同音频分类任务的功耗和高精度的合适神经网络，例如单级唤醒单词检测，多级关键字检测和语音活动检测，这些操作优于相关工作。

我们介绍了延迟感知网络加速度（LANA） - 一种在神经结构上建立的方法，用于加速神经网络的神经结构搜索技术和教师学生蒸馏。 Lana由两个阶段组成：在第一阶段，它会使用层面特征映射蒸馏来列举每层教师网络的许多替代操作。在第二阶段，它解决了使用新颖的整数线性优化（ILP）方法的有效操作的组合选择。 ILP带来独特的属性，因为它（i）在几秒钟内执行NAS，（ii）轻松满足预算约束，（iii）在图层粒度上工作，（iv）支持巨大的搜索空间$ o（10 ^ { 100}）$，超越先前的搜索方法，效率和效率。在广泛的实验中，我们表明Lana产生了由目标潜伏期预算限制的有效和准确的模型，同时比其他技术明显快。我们分析了三个流行的网络架构：高效的网络，高效网络和reses，并在压缩较大模型的较小模型的延迟级别时，实现所有型号（高达3.0 \％$）的准确性改进。 Lana通过GPU和CPU实现显着的加速（高达5美元\倍），以没有准确性下降。代码将很快分享。

基于注意力的神经网络在许多AI任务中都普遍存在。尽管其出色的算法性能，但注意力机制和前馈网络（FFN）的使用仍需要过多的计算和内存资源，这通常会损害其硬件性能。尽管已经引入了各种稀疏变体，但大多数方法仅着重于缓解算法级别上的二次注意力缩放，而无需明确考虑将其方法映射到真实硬件设计上的效率。此外，大多数努力仅专注于注意机制或FFN，但没有共同优化这两个部分，导致当前的大多数设计在处理不同的输入长度时缺乏可扩展性。本文从硬件角度系统地考虑了不同变体中的稀疏模式。在算法级别上，我们提出了Fabnet，这是一种适合硬件的变体，它采用统一的蝴蝶稀疏模式来近似关注机制和FFN。在硬件级别上，提出了一种新颖的适应性蝴蝶加速器，可以在运行时通过专用硬件控件配置，以使用单个统一的硬件引擎加速不同的蝴蝶层。在远程 - ARENA数据集上，FabNet达到了与香草变压器相同的精度，同时将计算量减少10到66次，参数数量为2至22次。通过共同优化算法和硬件，我们的基于FPGA的蝴蝶加速器在归一化到同一计算预算的最新加速器上达到了14.2至23.2倍的速度。与Raspberry Pi 4和Jetson Nano上优化的CPU和GPU设计相比，我们的系统在相同的功率预算下的最大273.8和15.1倍。

为了部署，神经架构搜索应该是硬件感知的，以满足设备特定的约束（例如，内存使用，延迟和能量消耗），并提高模型效率。硬件感知NAS的现有方法从目标设备收集大量样本（例如，精度和延迟），要么构建查找表或延迟估计器。然而，这种方法在现实世界方案中是不切实际的，因为存在具有不同硬件规格的许多器件，并从这些大量设备收集样本将需要禁止的计算和货币成本。为了克服这些限制，我们提出了硬件 - 自适应高效延迟预测器（帮助），其将设备特定的延迟估计问题交给了元学习问题，使得我们可以估计模型对给定任务的性能的延迟有一些样品的看不见的装置。为此，我们引入了新颖的硬件嵌入，将任何设备嵌入，将其视为输出延迟的黑盒功能，并使用硬件嵌入式以设备依赖方式学习硬件自适应延迟预测器。我们验证了在看不见的平台上实现了延迟估计性能的提议帮助，其中它达到了高估计性能，少于10个测量样本，优于所有相关基线。我们还验证了在没有它的帮助下使用帮助的端到端NAS框架，并表明它在很大程度上降低了基础NAS方法的总时间成本，在延迟约束的设置中。代码可在https://github.com/hayeonlee/help获得。

从搜索效率中受益，可区分的神经体系结构搜索（NAS）已发展为自动设计竞争性深神经网络（DNNS）的最主要替代品。我们注意到，必须在现实世界中严格的性能限制下执行DNN，例如，自动驾驶汽车的运行时间延迟。但是，要获得符合给定性能限制的体系结构，先前的硬件可区分的NAS方法必须重复多次搜索运行，以通过反复试验和错误手动调整超参数，因此总设计成本会成比例地增加。为了解决这个问题，我们引入了一个轻巧的硬件可区分的NAS框架，称为lightnas，努力找到所需的架构，通过一次性搜索来满足各种性能约束（即，\ \ suesperline {\ textIt {您只搜索一次}}）） 。进行了广泛的实验，以显示LINDNA的优越性，而不是先前的最新方法。

Multiplication is arguably the most cost-dominant operation in modern deep neural networks (DNNs), limiting their achievable efficiency and thus more extensive deployment in resource-constrained applications. To tackle this limitation, pioneering works have developed handcrafted multiplication-free DNNs, which require expert knowledge and time-consuming manual iteration, calling for fast development tools. To this end, we propose a Neural Architecture Search and Acceleration framework dubbed NASA, which enables automated multiplication-reduced DNN development and integrates a dedicated multiplication-reduced accelerator for boosting DNNs' achievable efficiency. Specifically, NASA adopts neural architecture search (NAS) spaces that augment the state-of-the-art one with hardware-inspired multiplication-free operators, such as shift and adder, armed with a novel progressive pretrain strategy (PGP) together with customized training recipes to automatically search for optimal multiplication-reduced DNNs; On top of that, NASA further develops a dedicated accelerator, which advocates a chunk-based template and auto-mapper dedicated for NASA-NAS resulting DNNs to better leverage their algorithmic properties for boosting hardware efficiency. Experimental results and ablation studies consistently validate the advantages of NASA's algorithm-hardware co-design framework in terms of achievable accuracy and efficiency tradeoffs. Codes are available at https://github.com/GATECH-EIC/NASA.

在硬件知识可分辨率神经结构中搜索（DNA），计算硬件度量梯度以执行架构搜索是具有挑战性的。现有工作依赖于线性近似，对定制硬件加速器的有限支持。在这项工作中，我们提出了端到端的硬件感知DNA（EH-DNA），无缝集成端到端硬件基准测试，以及全自动DNA，以在各种平台上提供硬件有效的深神经网络，包括边缘GPU，边缘TPU，移动CPU和定制加速器。考虑到期望的硬件平台，我们建议学习一种可分解​​模型，预测DNA的神经网络架构的端到端硬件性能。我们还介绍了E2E-PERF，用于定制加速器的端到端硬件基准测试工具。 CIFAR10和Imagenet的实验表明，EH-DNA平均提高了硬件性能，平均为您的定制加速器和现有硬件处理器的$ 1.6 \倍$ 1.6 \倍。