通过其高能量效率，加工存储器（PIM）阵列越来越多地用于卷积神经网络（CNN）推断。在基于PIM的CNN推断中，计算延迟和能量取决于CNN权重映射到PIM阵列的方式。最近的一项研究建议的移位和重复的内核（SDK）映射，其用一个并行窗口的单位重用输入特征映射，其与重复的内核卷积以并行获得多个输出元素。但是，现有的基于SDK的映射算法并不总是导致最小计算周期，因为它只将方形的并联窗口与整个通道映射。在本文中，我们介绍了一种名为可变窗口SDK（VW-SDK）的新型映射算法，其自适应地确定了对给定卷积层和PIM阵列的最小计算周期的并行窗口的形状。通过允许具有部分通道的矩形窗口，VW-SDK更有效地利用PIM阵列，从而进一步减少计算周期的数量。与512x512 PIM阵列和RESET-18的仿真显示，与现有的基于SDK的算法相比，VW-SDK将推理速度提高1.69倍。

最新的努力改善了满足当今应用程序要求的神经网络（NN）加速器的性能，这引起了基于逻辑NN推理的新趋势，该趋势依赖于固定功能组合逻辑。将如此大的布尔函数与许多输入变量和产品项绘制到现场可编程门阵列（FPGA）上的数字信号处理器（DSP）需要一个新颖的框架，考虑到此过程中DSP块的结构和可重构性。本文中提出的方法将固定功能组合逻辑块映射到一组布尔功能，其中与每个功能相对应的布尔操作映射到DSP设备，而不是FPGA上的查找表（LUTS），以利用高性能，DSP块的低潜伏期和并行性。 ％本文还提出了一种用于NNS编译和映射的创新设计和优化方法，并利用固定功能组合逻辑与DSP进行了使用高级合成流的FPGA上的DSP。 ％我们在几个\ revone {DataSets}上进行的实验评估和选定的NNS与使用DSP的基于ART FPGA的NN加速器相比，根据推理潜伏期和输出准确性，证明了我们框架的可比性。

本文介绍了稀疏的周期性收缩期（SPS）数据流，该数据流程推进了最先进的硬件加速器，用于支持轻型神经网络。具体而言，SPS DataFlow启用了一种新型的硬件设计方法，该方法通过新兴的修剪方案（定期基于模式的稀疏性（PPS））解锁。通过利用PPS的规律性，我们的Sparsity-Aware编译器可以最佳地重新定位权重，并在硬件中使用一个简单的索引单元来在权重和激活之间创建匹配。通过编译器硬件编码，SPS DataFlow具有更高的并行度，同时没有高索引开销，并且没有模型的准确性损失。在诸如VGG和Resnet之类的流行基准测试中进行了评估，SPS数据流以及随附的神经网络编译器编译器优于卷积神经网络（CNN）加速器设计的瞄准FPGA设备的设计。针对其他支撑重量存储格式，SPS导致4.49倍的能源效率提高，同时将存储需求降低3.67倍，用于总重量存储（非预紧权重加索引）和22,044X的索引存储器。

The last few years have seen a lot of work to address the challenge of low-latency and high-throughput convolutional neural network inference. Integrated photonics has the potential to dramatically accelerate neural networks because of its low-latency nature. Combined with the concept of Joint Transform Correlator (JTC), the computationally expensive convolution functions can be computed instantaneously (time of flight of light) with almost no cost. This 'free' convolution computation provides the theoretical basis of the proposed PhotoFourier JTC-based CNN accelerator. PhotoFourier addresses a myriad of challenges posed by on-chip photonic computing in the Fourier domain including 1D lenses and high-cost optoelectronic conversions. The proposed PhotoFourier accelerator achieves more than 28X better energy-delay product compared to state-of-art photonic neural network accelerators.

当今的大多数计算机视觉管道都是围绕深神经网络构建的，卷积操作需要大部分一般的计算工作。与标准算法相比，Winograd卷积算法以更少的MAC计算卷积，当使用具有2x2尺寸瓷砖$ F_2 $的版本时，3x3卷积的操作计数为2.25倍。即使收益很大，Winograd算法具有较大的瓷砖尺寸，即$ f_4 $，在提高吞吐量和能源效率方面具有更大的潜力，因为它将所需的MAC降低了4倍。不幸的是，具有较大瓷砖尺寸的Winograd算法引入了数值问题，这些问题阻止了其在整数域特异性加速器上的使用和更高的计算开销，以在空间和Winograd域之间转换输入和输出数据。为了解锁Winograd $ F_4 $的全部潜力，我们提出了一种新颖的Tap-Wise量化方法，该方法克服了使用较大瓷砖的数值问题，从而实现了仅整数的推断。此外，我们介绍了以功率和区域效率的方式处理Winograd转换的自定义硬件单元，并展示了如何将此类自定义模块集成到工业级，可编程的DSA中。对大量最先进的计算机视觉基准进行了广泛的实验评估表明，Tap-Wise量化算法使量化的Winograd $ F_4 $网络几乎与FP32基线一样准确。 Winograd增强的DSA可实现高达1.85倍的能源效率，最高可用于最先进的细分和检测网络的端到端速度高达1.83倍。

近年来，卷积神经网络（CNN）证明了它们在许多领域解决问题的能力，并且以前无法进行准确性。但是，这带有广泛的计算要求，这使得普通CPU无法提供所需的实时性能。同时，FPGA对加速CNN推断的兴趣激增。这是由于他们有能力创建具有不同级别的并行性的自定义设计。此外，与GPU相比，FPGA提供每瓦的性能更好。基于FPGA的CNN加速器的当前趋势是实现多个卷积层处理器（CLP），每个处理器都针对一层层量身定制。但是，CNN体系结构的日益增长的复杂性使得优化目标FPGA设备上可用的资源，以使最佳性能更具挑战性。在本文中，我们提出了CNN加速器和随附的自动设计方法，该方法采用元启发式学来分区可用的FPGA资源来设计多CLP加速器。具体而言，提出的设计工具采用模拟退火（SA）和禁忌搜索（TS）算法来查找所需的CLP数量及其各自的配置，以在给定的目标FPGA设备上实现最佳性能。在这里，重点是关键规格和硬件资源，包括数字信号处理器，阻止RAM和芯片内存储器带宽。提出了使用四个众所周知的基准CNN的实验结果和比较，表明所提出的加速框架既令人鼓舞又有前途。基于SA-/TS的多CLP比在加速Alexnet，Squeezenet 1.1，VGGNET和Googlenet架构上的最新单个/多CLP方法高1.31x-2.37倍高2.37倍。和VC709 FPGA板。

Deep neural networks (DNNs) are currently widely used for many artificial intelligence (AI) applications including computer vision, speech recognition, and robotics. While DNNs deliver state-of-the-art accuracy on many AI tasks, it comes at the cost of high computational complexity. Accordingly, techniques that enable efficient processing of DNNs to improve energy efficiency and throughput without sacrificing application accuracy or increasing hardware cost are critical to the wide deployment of DNNs in AI systems.This article aims to provide a comprehensive tutorial and survey about the recent advances towards the goal of enabling efficient processing of DNNs. Specifically, it will provide an overview of DNNs, discuss various hardware platforms and architectures that support DNNs, and highlight key trends in reducing the computation cost of DNNs either solely via hardware design changes or via joint hardware design and DNN algorithm changes. It will also summarize various development resources that enable researchers and practitioners to quickly get started in this field, and highlight important benchmarking metrics and design considerations that should be used for evaluating the rapidly growing number of DNN hardware designs, optionally including algorithmic co-designs, being proposed in academia and industry.The reader will take away the following concepts from this article: understand the key design considerations for DNNs; be able to evaluate different DNN hardware implementations with benchmarks and comparison metrics; understand the trade-offs between various hardware architectures and platforms; be able to evaluate the utility of various DNN design techniques for efficient processing; and understand recent implementation trends and opportunities.

卷积神经网络（CNN）在各种应用中表现出卓越的性能，但具有较高的计算复杂性。量化用于降低CNN的延迟和存储成本。在量化方法中，二进制重量网络（BWN和TWNS）在8位和4位量化方面具有独特的优势。他们用加法替代CNN中的乘法操作，这些操作在内存计数（IMC）设备上受到青睐。 BWNS的IMC加速度已被广泛研究。但是，尽管TWN的精度比BWN具有更高的准确性和更好的稀疏性，但IMC的加速度的研究有限。现有的IMC设备上的TWN效率低下，因为稀疏性无法很好地利用，并且加法操作效率不高。在本文中，我们建议FAT作为TWN的新型IMC加速器。首先，我们提出了一个稀疏的加法控制单元，该单元利用TWN的稀疏度跳过了零重量的无效操作。其次，我们提出了一个基于内存感知器的快速添加方案，以避免携带传播的时间开销并将其写回记忆单元。第三，我们进一步提出了一个组合的数据映射，以减少激活和权重的数据移动，并增加跨内存列的并行性。仿真结果表明，与最先进的IMC加速器Parapim相比，对于感官放大器水平上的加法操作，FAT达到2.00倍加速度，1.22倍功率效率和1.22倍面积效率。与帕拉皮姆（Parapim）相比，脂肪达到10.02倍的加速度和12.19倍的能量效率，而平均稀疏性为80％的网络。

深度神经网络（DNN）在各个领域的有效性（例如分类问题，图像处理，视频细分和语音识别）已被证明。加速器内存（AIM）架构是有效加速DNN的有前途解决方案，因为它们可以避免传统的von Neumann架构的内存瓶颈。由于主要内存通常在许多系统中是DRAM，因此在DRAM中高度平行的多重含用（MAC）阵列可以通过减少处理器和主内存之间的数据运动的距离和数量来最大化目标的好处。本文介绍了一个名为MAC-DO的基于模拟MAC阵列的AIM架构。与以前的IN-DRAM加速器相反，MAC-DO使整个DRAM阵列同时参与MAC计算，而无需闲置细胞，从而导致更高的吞吐量和能量效率。通过利用基于电荷转向的新的模拟计算方法来实现这种改进。此外，Mac-Do天生支持具有良好线性的多位Mac。 MAC-DO仍然与当前的1T1C DRAM技术兼容，而没有任何DRAM单元格和数组的修改。 MAC-DO数组可以基于输出固定映射加速矩阵乘法，因此支持DNN中执行的大多数计算。我们使用晶体管级仿真的评估表明，具有16 x 16 Mac-Do细胞的测试MAC-DO阵列可达到188.7 TOPS/W，并显示了MNIST数据集的97.07％TOP-1准确性，而无需重新培训。

When training early-stage deep neural networks (DNNs), generating intermediate features via convolution or linear layers occupied most of the execution time. Accordingly, extensive research has been done to reduce the computational burden of the convolution or linear layers. In recent mobile-friendly DNNs, however, the relative number of operations involved in processing these layers has significantly reduced. As a result, the proportion of the execution time of other layers, such as batch normalization layers, has increased. Thus, in this work, we conduct a detailed analysis of the batch normalization layer to efficiently reduce the runtime overhead in the batch normalization process. Backed up by the thorough analysis, we present an extremely efficient batch normalization, named LightNorm, and its associated hardware module. In more detail, we fuse three approximation techniques that are i) low bit-precision, ii) range batch normalization, and iii) block floating point. All these approximate techniques are carefully utilized not only to maintain the statistics of intermediate feature maps, but also to minimize the off-chip memory accesses. By using the proposed LightNorm hardware, we can achieve significant area and energy savings during the DNN training without hurting the training accuracy. This makes the proposed hardware a great candidate for the on-device training.

稀疏卷积神经网络（CNNS）在过去几年中获得了显着的牵引力，因为与其致密的对应物相比，稀疏的CNNS可以大大降低模型尺寸和计算。稀疏的CNN经常引入层形状和尺寸的变化，这可以防止密集的加速器在稀疏的CNN模型上执行良好。最近提出的稀疏加速器，如SCNN，Eyeriss V2和Sparten，积极利用双面或全稀稀物质，即重量和激活的稀疏性，用于性能收益。然而，这些加速器具有低效的微架构，其限制了它们的性能，而不对非单位步幅卷积和完全连接（Fc）层的支持，或者遭受系统负荷不平衡的大规模遭受。为了规避这些问题并支持稀疏和密集的模型，我们提出了幻影，多线程，动态和灵活的神经计算核心。 Phantom使用稀疏二进制掩码表示，以主动寻求稀疏计算，并动态调度其计算线程以最大化线程利用率和吞吐量。我们还生成了幻象神经计算核心的二维（2D）网格体系结构，我们将其称为Phantom-2D加速器，并提出了一种支持CNN的所有层的新型数据流，包括单位和非单位步幅卷积，和fc层。此外，Phantom-2D使用双级负载平衡策略来最小化计算空闲，从而进一步提高硬件利用率。为了向不同类型的图层显示支持，我们评估VGG16和MobileNet上的幻影架构的性能。我们的模拟表明，Phantom-2D加速器分别达到了12倍，4.1 X，1.98x和2.36倍，超密架构，SCNN，Sparten和Eyeriss V2的性能增益。

在小型电池约束的物流设备上部署现代TinyML任务需要高计算能效。使用非易失性存储器（NVM）的模拟内存计算（IMC）承诺在深神经网络（DNN）推理中的主要效率提高，并用作DNN权重的片上存储器存储器。然而，在系统级别尚未完全理解IMC的功能灵活性限制及其对性能，能量和面积效率的影响。为了目标实际的端到端的IOT应用程序，IMC阵列必须括在异构可编程系统中，引入我们旨在解决这项工作的新系统级挑战。我们介绍了一个非均相紧密的聚类架构，整合了8个RISC-V核心，内存计算加速器（IMA）和数字加速器。我们在高度异构的工作负载上基准测试，例如来自MobileNetv2的瓶颈层，显示出11.5倍的性能和9.5倍的能效改进，而在核心上高度优化并行执行相比。此外，我们通过将我们的异构架构缩放到多阵列加速器，探讨了在IMC阵列资源方面对全移动级DNN（MobileNetv2）的端到端推断的要求。我们的结果表明，我们的解决方案在MobileNetv2的端到端推断上，在执行延迟方面比现有的可编程架构更好，比最先进的异构解决方案更好的数量级集成内存计算模拟核心。

基于von-neumann架构的传统计算系统，数据密集型工作负载和应用程序（如机器学习）和应用程序都是基本上限制的。随着数据移动操作和能量消耗成为计算系统设计中的关键瓶颈，对近数据处理（NDP），机器学习和特别是神经网络（NN）的加速器等非传统方法的兴趣显着增加。诸如Reram和3D堆叠的新兴内存技术，这是有效地架构基于NN的基于NN的加速器，因为它们的工作能力是：高密度/低能量存储和近记忆计算/搜索引擎。在本文中，我们提出了一种为NN设计NDP架构的技术调查。通过基于所采用的内存技术对技术进行分类，我们强调了它们的相似之处和差异。最后，我们讨论了需要探索的开放挑战和未来的观点，以便改进和扩展未来计算平台的NDP架构。本文对计算机学习领域的计算机架构师，芯片设计师和研究人员来说是有价值的。

已经证明，基于光子微孔谐振器（MRR）硬件加速器可为处理深卷积神经网络（CNN）提供破坏性的加速和能源效率的改进。但是，以前基于MRR的CNN加速器无法为具有混合张量的CNN提供有效的适应性。此类CNN的一个例子是可分离的CNN。在这种不灵活的加速器上对CNN进行CNN的推断通常会导致低硬件利用率，从而降低了加速器的可实现性能和能源效率。在本文中，我们提出了一种在基于MRR的CNN加速器中引入可重构性的新方法，以使加速器硬件组件和使用硬件组件处理的加速器硬件组件和CNN张量之间的尺寸兼容性进行动态最大化。我们根据加速器中使用的硬件组件的布局和相对位置将基于最新的MRR的CNN加速器分为两个类别。然后，我们使用我们的方法在这两个类别中引入加速器中的可重构性，从而改善其并行性，有效映射不同尺寸的张量，速度和整体能源效率的灵活性。我们根据面积比例的前景（所有加速器的相等硬件区域）对可重构加速器进行了可重构加速器的评估。我们对四个现代CNN的推断的评估表明，与来自MRR基于MRR的基于MRR的加速器相比，我们设计的可重新配置CNN加速器可改善高达1.8倍，而FPS/W高达1.5倍。先前的工作。

编译器框架对于广泛使用基于FPGA的深度学习加速器来说是至关重要的。它们允许研究人员和开发人员不熟悉硬件工程，以利用域特定逻辑所获得的性能。存在传统人工神经网络的各种框架。然而，没有多大的研究努力已经进入创建针对尖刺神经网络（SNNS）进行优化的框架。这种新一代的神经网络对于在边缘设备上部署AI的越来越有趣，其具有紧密的功率和资源约束。我们的端到端框架E3NE为FPGA自动生成高效的SNN推理逻辑。基于Pytorch模型和用户参数，它应用各种优化，并评估基于峰值的加速器固有的权衡。多个水平的并行性和新出现的神经编码方案的使用导致优于先前的SNN硬件实现的效率。对于类似的型号，E3NE使用的硬件资源的少于50％，功率较低20％，同时通过幅度降低延迟。此外，可扩展性和通用性允许部署大规模的SNN模型AlexNet和VGG。

稿件描述了快速且可扩展的架构和相关算法，用于计算卷曲和交叉相关。基本思想是将2D卷积和互相关与转换域中的1D卷积和交叉相关的集合。这是通过使用用于通用内核的离散定期氡变换（DPRT）来实现，并且使用SVD-LU分解对于低级核。该方法使用可以安装在现代FPGA和Zynq-SoC设备中的可扩展架构。基于不同类型的可用资源，对于$ p \ times P $块，2D卷积和交叉相关可以仅在$ O（P）$时钟周期中计算，最高$ O（P ^ 2）$时钟周期。因此，性能和所需数字和资源类型之间存在权衡。我们使用现代可编程设备（Virtex-7和Zynq-SoC）提供所提出的架构的实现。根据所需资源的金额和类型，我们表明提出的方法显着优于现有方法。

在过去的二十年中，癫痫发作检测和预测算法迅速发展。然而，尽管性能得到了重大改进，但它们使用常规技术（例如互补的金属氧化物 - 轴导剂（CMO））进行的硬件实施，在权力和面积受限的设置中仍然是一项艰巨的任务；特别是当使用许多录音频道时。在本文中，我们提出了一种新型的低延迟平行卷积神经网络（CNN）体系结构，与SOTA CNN体系结构相比，网络参数少2-2,800倍，并且达到5倍的交叉验证精度为99.84％，用于癫痫发作检测，检测到99.84％。癫痫发作预测的99.01％和97.54％分别使用波恩大学脑电图（EEG），CHB-MIT和SWEC-ETHZ癫痫发作数据集进行评估。随后，我们将网络实施到包含电阻随机存储器（RRAM）设备的模拟横梁阵列上，并通过模拟，布置和确定系统中CNN组件的硬件要求来提供全面的基准。据我们所知，我们是第一个平行于在单独的模拟横杆上执行卷积层内核的人，与SOTA混合Memristive-CMOS DL加速器相比，潜伏期降低了2个数量级。此外，我们研究了非理想性对系统的影响，并研究了量化意识培训（QAT），以减轻由于ADC/DAC分辨率较低而导致的性能降解。最后，我们提出了一种卡住的重量抵消方法，以减轻因卡住的Ron/Roff Memristor重量而导致的性能降解，而无需再进行重新培训而恢复了高达32％的精度。我们平台的CNN组件估计在22nm FDSOI CMOS流程中占据31.255mm $^2 $的面积约为2.791W。

Deploying convolutional neural networks (CNNs) on embedded devices is difficult due to the limited memory and computation resources. The redundancy in feature maps is an important characteristic of those successful CNNs, but has rarely been investigated in neural architecture design. This paper proposes a novel Ghost module to generate more feature maps from cheap operations. Based on a set of intrinsic feature maps, we apply a series of linear transformations with cheap cost to generate many ghost feature maps that could fully reveal information underlying intrinsic features. The proposed Ghost module can be taken as a plug-and-play component to upgrade existing convolutional neural networks. Ghost bottlenecks are designed to stack Ghost modules, and then the lightweight Ghost-Net can be easily established. Experiments conducted on benchmarks demonstrate that the proposed Ghost module is an impressive alternative of convolution layers in baseline models, and our GhostNet can achieve higher recognition performance (e.g. 75.7% top-1 accuracy) than MobileNetV3 with similar computational cost on the ImageNet ILSVRC-2012 classification dataset. Code is available at https: //github.com/huawei-noah/ghostnet.

机器学习（ML）的广泛部署正在引起严重的关注，以保护为收集培训数据做出贡献的用户的隐私。差异隐私（DP）作为保护保护的实用标准，在行业中迅速获得势头。尽管DP的重要性，但是在计算机系统社区中，几乎没有探索这种新兴ML算法对系统设计的影响。在这项工作中，我们对名为DP-SGD的最先进的私人ML培训算法进行了详细的工作量表征。我们发现了DP-SGD的几种独特属性（例如，其高内存能力和计算需求与非私人ML），从而引起其关键瓶颈。基于我们的分析，我们提出了一个名为Diva的差异私有ML的加速器，该加速器在计算利用率方面具有显着改善，从而导致2.6倍的能量效率与常规收缩期阵列。

原则上，稀疏的神经网络应该比传统的密集网络更有效。大脑中的神经元表现出两种类型的稀疏性;它们稀疏地相互连接和稀疏活跃。当组合时，这两种类型的稀疏性，称为重量稀疏性和激活稀疏性，提出了通过两个数量级来降低神经网络的计算成本。尽管存在这种潜力，但今天的神经网络只使用重量稀疏提供适度的性能益处，因为传统的计算硬件无法有效地处理稀疏网络。在本文中，我们引入了互补稀疏性，这是一种显着提高现有硬件对双稀疏网络性能的新技术。我们证明我们可以实现高性能运行的重量稀疏网络，我们可以通过结合激活稀疏性来乘以这些加速。采用互补稀疏性，我们显示出对FPGA的推断的吞吐量和能效提高了100倍。我们分析了典型的商业卷积网络等各种内核的可扩展性和资源权衡，例如Resnet-50和MobileNetv2。我们的互补稀疏性的结果表明，重量加激活稀疏性可以是有效的缩放未来AI模型的有效组合。