今天，神经网络是几乎每个技术领域都有突破的基础。他们在加速器的应用最近导致这些系统的性能更好和效率。同时，需要解决由于最新（收缩）半导体技术导致的硬件故障增加。由于加速器系统通常用于背对自动驾驶汽车或医学诊断应用的时间关键应用，因此必须消除这些硬件故障。我们的研究从系统的角度评估了这些失败。根据我们的结果，我们为系统可靠性增强找到了关键结果，我们进一步提出了一种有效的方法，以避免使用最小硬件开销的这些故障。

采用基于AI的安全/关键任务应用程序的伟大寻求促使人们对评估应用W.R.T.鲁棒性的方法的兴趣。不仅其训练/调整，而且还由于故障，尤其是软错误而导致的错误，从而影响了基础硬件。存在两种策略：体系结构级故障注入和应用级功能误差模拟。我们提出了一个通过错误模拟引擎对卷积神经网络（CNN）的可靠性分析的框架，该引擎利用了从详细的故障注入活动中提取的一组验证的错误模型。这些错误模型是根据由故障引起的CNN操作员输出的损坏模式定义的，并弥合了故障注入和误差模拟之间的差距，从而利用了两种方法的优势。我们将我们的方法与SASSIFI进行了比较，以进行功能误差模拟W.R.T.的准确性。故障注射，并针对tensorfi进行误差模拟策略的速度。实验结果表明，我们的方法可达到断层效应的99 \％精度W.R.T. SASSIFI，速度从44倍到63x W.R.T. Tensorfi，仅实现有限的误差模型。

Deep neural networks (DNNs) are currently widely used for many artificial intelligence (AI) applications including computer vision, speech recognition, and robotics. While DNNs deliver state-of-the-art accuracy on many AI tasks, it comes at the cost of high computational complexity. Accordingly, techniques that enable efficient processing of DNNs to improve energy efficiency and throughput without sacrificing application accuracy or increasing hardware cost are critical to the wide deployment of DNNs in AI systems.This article aims to provide a comprehensive tutorial and survey about the recent advances towards the goal of enabling efficient processing of DNNs. Specifically, it will provide an overview of DNNs, discuss various hardware platforms and architectures that support DNNs, and highlight key trends in reducing the computation cost of DNNs either solely via hardware design changes or via joint hardware design and DNN algorithm changes. It will also summarize various development resources that enable researchers and practitioners to quickly get started in this field, and highlight important benchmarking metrics and design considerations that should be used for evaluating the rapidly growing number of DNN hardware designs, optionally including algorithmic co-designs, being proposed in academia and industry.The reader will take away the following concepts from this article: understand the key design considerations for DNNs; be able to evaluate different DNN hardware implementations with benchmarks and comparison metrics; understand the trade-offs between various hardware architectures and platforms; be able to evaluate the utility of various DNN design techniques for efficient processing; and understand recent implementation trends and opportunities.

基于von-neumann架构的传统计算系统，数据密集型工作负载和应用程序（如机器学习）和应用程序都是基本上限制的。随着数据移动操作和能量消耗成为计算系统设计中的关键瓶颈，对近数据处理（NDP），机器学习和特别是神经网络（NN）的加速器等非传统方法的兴趣显着增加。诸如Reram和3D堆叠的新兴内存技术，这是有效地架构基于NN的基于NN的加速器，因为它们的工作能力是：高密度/低能量存储和近记忆计算/搜索引擎。在本文中，我们提出了一种为NN设计NDP架构的技术调查。通过基于所采用的内存技术对技术进行分类，我们强调了它们的相似之处和差异。最后，我们讨论了需要探索的开放挑战和未来的观点，以便改进和扩展未来计算平台的NDP架构。本文对计算机学习领域的计算机架构师，芯片设计师和研究人员来说是有价值的。

深神经网络（DNNS）的研究重点是提高现实部署的性能和准确性，导致新模型，例如尖峰神经网络（SNNS）以及优化技术，例如压缩网络的量化和修剪。但是，这些创新模型和优化技术的部署引入了可能的可靠性问题，这是DNNS在安全至关重要应用中广泛使用的支柱，例如自主驾驶。此外，缩放技术节点具有同时发生多个故障的相关风险，在最新的弹性分析中未解决。为了对DNN的更好可靠性分析，我们提出了Enpheeph，这是用于尖峰和压缩DNN的断层注入框架。 Enpheeph框架可以在专用硬件设备（例如GPU）上进行优化的执行，同时提供完整的自定义性来研究不同的故障模型，从而模拟各种可靠性约束和用例。因此，这些故障可以在SNN上执行，以及对基础代码进行最小化修改的压缩网络，这一壮举是其他最先进的工具无法实现的。为了评估我们的Enpheeph框架，我们通过不同的压缩技术分析了不同DNN和SNN模型的弹性。通过注射随机和增加的故障，我们表明DNN可以显示出每个参数的断层率低至7 x 10 ^（-7）故障的准确性降低，精度下降高于40％。当执行ENPHEEPH时，运行时间开销不到基线执行时间的20％，同时执行100 000个故障，至少比最新的框架低10倍，从而使Enpheeph Future-Proffure-Future-Profforn用于复杂的故障注入方案。我们在https://github.com/alexei95/enpheeph上发布Enpheeph。

编译器框架对于广泛使用基于FPGA的深度学习加速器来说是至关重要的。它们允许研究人员和开发人员不熟悉硬件工程，以利用域特定逻辑所获得的性能。存在传统人工神经网络的各种框架。然而，没有多大的研究努力已经进入创建针对尖刺神经网络（SNNS）进行优化的框架。这种新一代的神经网络对于在边缘设备上部署AI的越来越有趣，其具有紧密的功率和资源约束。我们的端到端框架E3NE为FPGA自动生成高效的SNN推理逻辑。基于Pytorch模型和用户参数，它应用各种优化，并评估基于峰值的加速器固有的权衡。多个水平的并行性和新出现的神经编码方案的使用导致优于先前的SNN硬件实现的效率。对于类似的型号，E3NE使用的硬件资源的少于50％，功率较低20％，同时通过幅度降低延迟。此外，可扩展性和通用性允许部署大规模的SNN模型AlexNet和VGG。

普遍的对策扰动是图像不可思议的和模型 - 无关的噪声，当添加到任何图像时可以误导训练的深卷积神经网络进入错误的预测。由于这些普遍的对抗性扰动可以严重危害实践深度学习应用的安全性和完整性，因此现有技术使用额外的神经网络来检测输入图像源的这些噪声的存在。在本文中，我们展示了一种攻击策略，即通过流氓手段激活（例如，恶意软件，木马）可以通过增强AI硬件加速器级的对抗噪声来绕过这些现有对策。我们使用Conv2D功能软件内核的共同仿真和FuseSoC环境下的硬件的Verilog RTL模型的共同仿真，展示了关于几个深度学习模型的加速度普遍对抗噪声。

深度神经网络（DNN）的最新进步已经看到多个安全敏感域中的广泛部署。需要资源密集型培训和使用有价值的域特定培训数据，使这些模型成为模型所有者的顶级知识产权（IP）。 DNN隐私的主要威胁之一是模型提取攻击，前提是在DNN模型中试图窃取敏感信息。最近的研究表明，基于硬件的侧信道攻击可以揭示关于DNN模型的内部知识（例如，模型架构）但到目前为止，现有攻击不能提取详细的模型参数（例如，权重/偏置）。在这项工作中，我们首次提出了一种先进的模型提取攻击框架，借助记忆侧通道攻击有效地窃取了DNN权重。我们建议的深度包括两个关键阶段。首先，我们通过采用基于Rowhammer的硬件故障技术作为信息泄漏向量，开发一种名为HammerLeak的新重量位信息提取方法。 Hammerleak利用了用于DNN应用的几种新的系统级技术，以实现快速高效的重量窃取。其次，我们提出了一种具有平均聚类重量惩罚的新型替代模型训练算法，其利用部分泄漏的位信息有效地利用了目标受害者模型的替代原型。我们在三个流行的图像数据集（例如，CiFar-10/100 / GTSRB）和四个DNN架构上评估该替代模型提取方法（例如，Reset-18/34 / Wide-Reset / Vgg-11）。提取的替代模型在CiFar-10数据集的深度剩余网络上成功实现了超过90％的测试精度。此外，我们提取的替代模型也可能产生有效的对抗性输入样本来欺骗受害者模型。

这项工作侧重于特定于域的加速器的有效敏捷设计方法。我们采用垂直开发堆栈的功能逐个功能增强，并将其应用于TVM / VTA推理加速器。我们已经增强了VTA设计空间，并启用了用于额外工作负载的端到端支持。这是通过增强VTA微架构和指令集架构（ISA）来实现的，以及通过增强TVM编译堆栈来支持各种VTA配置。 VTA TSIM实现（基于凿子）已通过ALU / GEMM执行单元的完全流水线版本增强。在TSIM中，内存宽度现在可以在8-64字节之间。对于支持较大的刮板，已经使场宽度更加灵活。已添加新的说明：元素 - WISE 8位乘法，支持深度卷积，并使用焊盘值的选择加载以支持最大池。还添加了对更多层和更好的双缓冲。完全管制的ALU / GEMM有助于显着帮助：4.9倍的循环较少，最小区域更改为在默认配置下运行RESET-18。可以实例化特征在于11.5倍的循环计数的配置，以12倍的循环计数更大的区域。显示了区域性能帕累托曲线上的许多点，展示了执行单元尺寸，内存接口宽度和刻痕尺寸的余额。最后，VTA现在能够运行MobileNet 1.0和所有层进行Resnet，包括先前禁用的池和完全连接的图层。 TVM / VTA架构始终在几分钟内以RTL呈现端到端工作量评估。通过我们的修改，它现在提供了更大的可行配置，具有广泛的成本与性能。所有提到的所有功能都可以在OpenSource叉中提供，而这些功能的子集已经上游。

在小型电池约束的物流设备上部署现代TinyML任务需要高计算能效。使用非易失性存储器（NVM）的模拟内存计算（IMC）承诺在深神经网络（DNN）推理中的主要效率提高，并用作DNN权重的片上存储器存储器。然而，在系统级别尚未完全理解IMC的功能灵活性限制及其对性能，能量和面积效率的影响。为了目标实际的端到端的IOT应用程序，IMC阵列必须括在异构可编程系统中，引入我们旨在解决这项工作的新系统级挑战。我们介绍了一个非均相紧密的聚类架构，整合了8个RISC-V核心，内存计算加速器（IMA）和数字加速器。我们在高度异构的工作负载上基准测试，例如来自MobileNetv2的瓶颈层，显示出11.5倍的性能和9.5倍的能效改进，而在核心上高度优化并行执行相比。此外，我们通过将我们的异构架构缩放到多阵列加速器，探讨了在IMC阵列资源方面对全移动级DNN（MobileNetv2）的端到端推断的要求。我们的结果表明，我们的解决方案在MobileNetv2的端到端推断上，在执行延迟方面比现有的可编程架构更好，比最先进的异构解决方案更好的数量级集成内存计算模拟核心。

最新的努力改善了满足当今应用程序要求的神经网络（NN）加速器的性能，这引起了基于逻辑NN推理的新趋势，该趋势依赖于固定功能组合逻辑。将如此大的布尔函数与许多输入变量和产品项绘制到现场可编程门阵列（FPGA）上的数字信号处理器（DSP）需要一个新颖的框架，考虑到此过程中DSP块的结构和可重构性。本文中提出的方法将固定功能组合逻辑块映射到一组布尔功能，其中与每个功能相对应的布尔操作映射到DSP设备，而不是FPGA上的查找表（LUTS），以利用高性能，DSP块的低潜伏期和并行性。 ％本文还提出了一种用于NNS编译和映射的创新设计和优化方法，并利用固定功能组合逻辑与DSP进行了使用高级合成流的FPGA上的DSP。 ％我们在几个\ revone {DataSets}上进行的实验评估和选定的NNS与使用DSP的基于ART FPGA的NN加速器相比，根据推理潜伏期和输出准确性，证明了我们框架的可比性。

虽然离散事件模拟器是建筑研究，设计和开发的必备工具，但它们的实用性受到在调查下的现实应用的极长时间的影响。这项工作描述了一项协调一致的努力，其中机器学习（ML）用于加速离散事件仿真。首先，构建了用于静态指令属性和动态处理器状态的基于ML的指令延迟预测框架。然后，基于所提出的指令延迟预测器来实现GPU加速的并行模拟器，并且验证了其模拟精度和吞吐量并针对最先进的模拟器评估。利用现代GPU，基于ML的模拟器显着优于传统的模拟器。

Video, as a key driver in the global explosion of digital information, can create tremendous benefits for human society. Governments and enterprises are deploying innumerable cameras for a variety of applications, e.g., law enforcement, emergency management, traffic control, and security surveillance, all facilitated by video analytics (VA). This trend is spurred by the rapid advancement of deep learning (DL), which enables more precise models for object classification, detection, and tracking. Meanwhile, with the proliferation of Internet-connected devices, massive amounts of data are generated daily, overwhelming the cloud. Edge computing, an emerging paradigm that moves workloads and services from the network core to the network edge, has been widely recognized as a promising solution. The resulting new intersection, edge video analytics (EVA), begins to attract widespread attention. Nevertheless, only a few loosely-related surveys exist on this topic. A dedicated venue for collecting and summarizing the latest advances of EVA is highly desired by the community. Besides, the basic concepts of EVA (e.g., definition, architectures, etc.) are ambiguous and neglected by these surveys due to the rapid development of this domain. A thorough clarification is needed to facilitate a consensus on these concepts. To fill in these gaps, we conduct a comprehensive survey of the recent efforts on EVA. In this paper, we first review the fundamentals of edge computing, followed by an overview of VA. The EVA system and its enabling techniques are discussed next. In addition, we introduce prevalent frameworks and datasets to aid future researchers in the development of EVA systems. Finally, we discuss existing challenges and foresee future research directions. We believe this survey will help readers comprehend the relationship between VA and edge computing, and spark new ideas on EVA.

对象检测神经网络模型需要在高度动态和安全至关重要的环境（例如自动驾驶或机器人技术）中可靠地执行。因此，在意外硬件故障（例如软误差）下验证检测的鲁棒性至关重要，这些故障可能会影响系统感知模块。基于平均精度的标准指标会在对象级别而不是图像级别产生模型漏洞估计。正如我们在本文中所显示的那样，这并不能提供直观或代表性的指标，表明是由基础记忆中的位翻转引起的无声数据损坏的安全性影响，而是导致典型断层诱导危害的过度估计或低估。为了关注与安全相关的实时应用程序，我们提出了一个新的度量IVMOD（图像漏洞测量的对象检测），以基于错误的图像检测（FPS）或假阴性为基于图像的对象检测，以量化漏洞（FNS）对象，结合严重性分析。对几个代表性对象检测模型的评估表明，即使是单个位翻转也可能导致严重的无声数据腐败事件，具有潜在的关键安全性，例如，（大于）生成的100 fps或最多可产生。 90％的真实阳性（TPS）在图像中丢失。此外，在单个卡住的情况下，可能会影响整个图像序列，从而导致暂时持续的幽灵检测，这些检测可能被误认为是实际对象（覆盖了大约83％的图像）。此外，场景中的实际物体被持续遗漏（最多约有64％的TPS）。我们的工作建立了对此类关键工作负载与硬件故障的安全相关脆弱性的详细理解。

变形金刚是一种深入学习语言模型，用于数据中心中的自然语言处理（NLP）服务。在变压器模型中，生成的预训练的变压器（GPT）在文本生成或自然语言生成（NLG）中取得了显着的性能，它需要在摘要阶段处理大型输入上下文，然后是产生一个生成阶段的一次单词。常规平台（例如GPU）专门用于在摘要阶段平行处理大型输入，但是由于其顺序特征，它们的性能在生成阶段显着降低。因此，需要一个有效的硬件平台来解决由文本生成的顺序特征引起的高潜伏期。在本文中，我们提出了DFX，这是一种多FPGA加速器，该设备在摘要和发电阶段中执行GPT-2模型端到端，并具有低延迟和高吞吐量。 DFX使用模型并行性和优化的数据流，这是模型和硬件感知的设备之间快速同时执行执行。其计算核心根据自定义说明运行，并提供GPT-2操作端到端。我们在四个Xilinx Alveo U280 FPGAS上实现了建议的硬件体系结构，并利用了高带宽内存（HBM）的所有频道，以及用于高硬件效率的最大计算资源数量。 DFX在现代GPT-2模型上实现了四个NVIDIA V100 GPU的5.58倍加速度和3.99倍的能效。 DFX的成本效益比GPU设备更具成本效益，这表明它是云数据中心中文本生成工作负载的有前途解决方案。

Graph neural networks (GNNs) have recently emerged as a promising learning paradigm in learning graph-structured data and have demonstrated wide success across various domains such as recommendation systems, social networks, and electronic design automation (EDA). Like other deep learning (DL) methods, GNNs are being deployed in sophisticated modern hardware systems, as well as dedicated accelerators. However, despite the popularity of GNNs and the recent efforts of bringing GNNs to hardware, the fault tolerance and resilience of GNNs has generally been overlooked. Inspired by the inherent algorithmic resilience of DL methods, this paper conducts, for the first time, a large-scale and empirical study of GNN resilience, aiming to understand the relationship between hardware faults and GNN accuracy. By developing a customized fault injection tool on top of PyTorch, we perform extensive fault injection experiments to various GNN models and application datasets. We observe that the error resilience of GNN models varies by orders of magnitude with respect to different models and application datasets. Further, we explore a low-cost error mitigation mechanism for GNN to enhance its resilience. This GNN resilience study aims to open up new directions and opportunities for future GNN accelerator design and architectural optimization.

深神经网络（DNNS）在各种机器学习（ML）应用程序中取得了巨大成功，在计算机视觉，自然语言处理和虚拟现实等中提供了高质量的推理解决方案。但是，基于DNN的ML应用程序也带来计算和存储要求的增加了很多，对于具有有限的计算/存储资源，紧张的功率预算和较小形式的嵌入式系统而言，这尤其具有挑战性。挑战还来自各种特定应用的要求，包括实时响应，高通量性能和可靠的推理准确性。为了应对这些挑战，我们介绍了一系列有效的设计方法，包括有效的ML模型设计，定制的硬件加速器设计以及硬件/软件共同设计策略，以启用嵌入式系统上有效的ML应用程序。

As Deep Neural Networks (DNNs) are increasingly deployed in safety critical and privacy sensitive applications such as autonomous driving and biometric authentication, it is critical to understand the fault-tolerance nature of DNNs. Prior work primarily focuses on metrics such as Failures In Time (FIT) rate and the Silent Data Corruption (SDC) rate, which quantify how often a device fails. Instead, this paper focuses on quantifying the DNN accuracy given that a transient error has occurred, which tells us how well a network behaves when a transient error occurs. We call this metric Resiliency Accuracy (RA). We show that existing RA formulation is fundamentally inaccurate, because it incorrectly assumes that software variables (model weights/activations) have equal faulty probability under hardware transient faults. We present an algorithm that captures the faulty probabilities of DNN variables under transient faults and, thus, provides correct RA estimations validated by hardware. To accelerate RA estimation, we reformulate RA calculation as a Monte Carlo integration problem, and solve it using importance sampling driven by DNN specific heuristics. Using our lightweight RA estimation method, we show that transient faults lead to far greater accuracy degradation than what todays DNN resiliency tools estimate. We show how our RA estimation tool can help design more resilient DNNs by integrating it with a Network Architecture Search framework.

数据冗余在深神经网络（DNN）的输入和中间结果中无处不在。它为提高DNN性能和效率提供了许多重要的机会，并在大量工作中探索了。这些研究在几年中都在许多场所散布。他们关注的目标范围从图像到视频和文本，以及他们用于检测和利用数据冗余的技术在许多方面也有所不同。尚无对许多努力进行系统的检查和摘要，使研究人员很难对先前的工作，最新技术，差异和共享原则以及尚未探索的领域和方向进行全面看法。本文试图填补空白。它调查了有关该主题的数百篇论文，引入了一种新颖的分类法，以将各种技术纳入一个单一的分类框架，对用于利用数据冗余的主要方法进行了全面描述，以改善数据的多种DNN，并指出一组未来探索的研究机会。

深度神经网络（DNN）由于其高度的感知，决策和控制而被广泛用于自主驾驶中。在诸如自动驾驶之类的安全至关重要系统中，实时执行感测和感知等任务对于车辆的安全至关重要，这需要应用程序的执行时间才能预测。但是，在DNN推断中观察到不可忽略的时间变化。当前的DNN推理研究要么忽略时间变化问题，要么依靠调度程序来处理它。当前的工作都没有解释DNN推理时间变化的根本原因。了解DNN推理的时间变化成为自动驾驶实时计划的基本挑战。在这项工作中，我们从六个角度分析了DNN推断的时间变化：数据，I/O，模型，运行时，硬件和端到端感知系统。在理解DNN推断的时间变化方面得出了六个见解。