Model extraction is a major threat for embedded deep neural network models that leverages an extended attack surface. Indeed, by physically accessing a device, an adversary may exploit side-channel leakages to extract critical information of a model (i.e., its architecture or internal parameters). Different adversarial objectives are possible including a fidelity-based scenario where the architecture and parameters are precisely extracted (model cloning). We focus this work on software implementation of deep neural networks embedded in a high-end 32-bit microcontroller (Cortex-M7) and expose several challenges related to fidelity-based parameters extraction through side-channel analysis, from the basic multiplication operation to the feed-forward connection through the layers. To precisely extract the value of parameters represented in the single-precision floating point IEEE-754 standard, we propose an iterative process that is evaluated with both simulations and traces from a Cortex-M7 target. To our knowledge, this work is the first to target such an high-end 32-bit platform. Importantly, we raise and discuss the remaining challenges for the complete extraction of a deep neural network model, more particularly the critical case of biases.

深度神经网络模型大量部署在各种硬件平台上。这导致出现新的攻击向量，这些攻击向量大大扩展了标准攻击表面，这是由对抗机器学习社区广泛研究的。旨在通过瞄准存储在内存中的参数（权重）的第一个旨在极大地降低模型性能的攻击之一是位翼攻击（BFA）。在这项工作中，我们指出了与BFA相关的一些评估挑战。首先，标准威胁模型中缺乏对手的预算是有问题的，尤其是在处理身体攻击时。此外，由于BFA提出了关键的可变性，因此我们讨论了某些培训参数的影响以及模型体系结构的重要性。这项工作是第一个介绍BFA对与卷积神经网络相比呈现不同行为的完全连接体系结构的影响的作品。这些结果突出了定义鲁棒和合理评估方法的重要性，以正确评估基于参数的攻击的危险，并衡量国防提供的实际鲁棒性水平。

深度神经网络（DNN）的最新进步已经看到多个安全敏感域中的广泛部署。需要资源密集型培训和使用有价值的域特定培训数据，使这些模型成为模型所有者的顶级知识产权（IP）。 DNN隐私的主要威胁之一是模型提取攻击，前提是在DNN模型中试图窃取敏感信息。最近的研究表明，基于硬件的侧信道攻击可以揭示关于DNN模型的内部知识（例如，模型架构）但到目前为止，现有攻击不能提取详细的模型参数（例如，权重/偏置）。在这项工作中，我们首次提出了一种先进的模型提取攻击框架，借助记忆侧通道攻击有效地窃取了DNN权重。我们建议的深度包括两个关键阶段。首先，我们通过采用基于Rowhammer的硬件故障技术作为信息泄漏向量，开发一种名为HammerLeak的新重量位信息提取方法。 Hammerleak利用了用于DNN应用的几种新的系统级技术，以实现快速高效的重量窃取。其次，我们提出了一种具有平均聚类重量惩罚的新型替代模型训练算法，其利用部分泄漏的位信息有效地利用了目标受害者模型的替代原型。我们在三个流行的图像数据集（例如，CiFar-10/100 / GTSRB）和四个DNN架构上评估该替代模型提取方法（例如，Reset-18/34 / Wide-Reset / Vgg-11）。提取的替代模型在CiFar-10数据集的深度剩余网络上成功实现了超过90％的测试精度。此外，我们提取的替代模型也可能产生有效的对抗性输入样本来欺骗受害者模型。

机器学习与服务（MLAAS）已成为广泛的范式，即使是通过例如，也是客户可用的最复杂的机器学习模型。一个按要求的原则。这使用户避免了数据收集，超参数调整和模型培训的耗时过程。但是，通过让客户访问（预测）模型，MLAAS提供商危害其知识产权，例如敏感培训数据，优化的超参数或学到的模型参数。对手可以仅使用预测标签创建模型的副本，并以（几乎）相同的行为。尽管已经描述了这种攻击的许多变体，但仅提出了零星的防御策略，以解决孤立的威胁。这增加了对模型窃取领域进行彻底系统化的必要性，以全面了解这些攻击是成功的原因，以及如何全面地捍卫它们。我们通过对模型窃取攻击，评估其性能以及探索不同设置中相应的防御技术来解决这一问题。我们为攻击和防御方法提出了分类法，并提供有关如何根据目标和可用资源选择正确的攻击或防御策略的准则。最后，我们分析了当前攻击策略使哪些防御能力降低。

普遍的对策扰动是图像不可思议的和模型 - 无关的噪声，当添加到任何图像时可以误导训练的深卷积神经网络进入错误的预测。由于这些普遍的对抗性扰动可以严重危害实践深度学习应用的安全性和完整性，因此现有技术使用额外的神经网络来检测输入图像源的这些噪声的存在。在本文中，我们展示了一种攻击策略，即通过流氓手段激活（例如，恶意软件，木马）可以通过增强AI硬件加速器级的对抗噪声来绕过这些现有对策。我们使用Conv2D功能软件内核的共同仿真和FuseSoC环境下的硬件的Verilog RTL模型的共同仿真，展示了关于几个深度学习模型的加速度普遍对抗噪声。

窃取对受控信息的攻击，以及越来越多的信息泄漏事件，已成为近年来新兴网络安全威胁。由于蓬勃发展和部署先进的分析解决方案，新颖的窃取攻击利用机器学习（ML）算法来实现高成功率并导致大量损坏。检测和捍卫这种攻击是挑战性和紧迫的，因此政府，组织和个人应该非常重视基于ML的窃取攻击。本调查显示了这种新型攻击和相应对策的最新进展。以三类目标受控信息的视角审查了基于ML的窃取攻击，包括受控用户活动，受控ML模型相关信息和受控认证信息。最近的出版物总结了概括了总体攻击方法，并导出了基于ML的窃取攻击的限制和未来方向。此外，提出了从三个方面制定有效保护的对策 - 检测，破坏和隔离。

深度学习（DL）模型越来越多地为应用程序提供多种应用。不幸的是，这种普遍性也使它们成为提取攻击的有吸引力的目标，这些目标可以窃取目标DL模型的体系结构，参数和超参数。现有的提取攻击研究观察到不同DL模型和数据集的攻击成功水平不同，但其易感性背后的根本原因通常仍不清楚。确定此类根本原因弱点将有助于促进安全的DL系统，尽管这需要在各种情况下研究提取攻击，以确定跨攻击成功和DL特征的共同点。理解，实施和评估甚至单一攻击所需的绝大部分技术努力和时间都使探索现有的大量独特提取攻击方案是不可行的，当前框架通常设计用于仅针对特定攻击类型，数据集和数据集，以及硬件平台。在本文中，我们介绍捏：一个有效且自动化的提取攻击框架，能够在异质硬件平台上部署和评估多个DL模型和攻击。我们通过经验评估大量先前未开发的提取攻击情景以及次级攻击阶段来证明捏合的有效性。我们的主要发现表明，1）多个特征影响开采攻击成功跨越DL模型体系结构，数据集复杂性，硬件，攻击类型和2）部分成功的提取攻击显着增强了进一步的对抗攻击分期的成功。

Deep neural networks (DNNs) are currently widely used for many artificial intelligence (AI) applications including computer vision, speech recognition, and robotics. While DNNs deliver state-of-the-art accuracy on many AI tasks, it comes at the cost of high computational complexity. Accordingly, techniques that enable efficient processing of DNNs to improve energy efficiency and throughput without sacrificing application accuracy or increasing hardware cost are critical to the wide deployment of DNNs in AI systems.This article aims to provide a comprehensive tutorial and survey about the recent advances towards the goal of enabling efficient processing of DNNs. Specifically, it will provide an overview of DNNs, discuss various hardware platforms and architectures that support DNNs, and highlight key trends in reducing the computation cost of DNNs either solely via hardware design changes or via joint hardware design and DNN algorithm changes. It will also summarize various development resources that enable researchers and practitioners to quickly get started in this field, and highlight important benchmarking metrics and design considerations that should be used for evaluating the rapidly growing number of DNN hardware designs, optionally including algorithmic co-designs, being proposed in academia and industry.The reader will take away the following concepts from this article: understand the key design considerations for DNNs; be able to evaluate different DNN hardware implementations with benchmarks and comparison metrics; understand the trade-offs between various hardware architectures and platforms; be able to evaluate the utility of various DNN design techniques for efficient processing; and understand recent implementation trends and opportunities.

在联合学习（FL）中，数据不会在联合培训机器学习模型时留下个人设备。相反，这些设备与中央党（例如，公司）共享梯度。因为数据永远不会“离开”个人设备，因此FL作为隐私保留呈现。然而，最近显示这种保护是一个薄的外观，甚至是一种被动攻击者观察梯度可以重建各个用户的数据。在本文中，我们争辩说，事先工作仍然很大程度上低估了FL的脆弱性。这是因为事先努力专门考虑被动攻击者，这些攻击者是诚实但好奇的。相反，我们介绍了一个活跃和不诚实的攻击者，作为中央会，他们能够在用户计算模型渐变之前修改共享模型的权重。我们称之为修改的重量“陷阱重量”。我们的活跃攻击者能够完全恢复用户数据，并在接近零成本时：攻击不需要复杂的优化目标。相反，它利用了模型梯度的固有数据泄漏，并通过恶意改变共享模型的权重来放大这种效果。这些特异性使我们的攻击能够扩展到具有大型迷你批次数据的模型。如果来自现有工作的攻击者需要小时才能恢复单个数据点，我们的方法需要毫秒来捕获完全连接和卷积的深度神经网络的完整百分之批次数据。最后，我们考虑缓解。我们观察到，FL中的差异隐私（DP）的当前实现是有缺陷的，因为它们明确地信任中央会，并在增加DP噪音的关键任务，因此不提供对恶意中央党的保护。我们还考虑其他防御，并解释为什么它们类似地不足。它需要重新设计FL，为用户提供任何有意义的数据隐私。

近年来，神经网络在各个领域中表现出强大的力量，它也带来了越来越多的安全威胁。基于神经网络模型的STEGOMALWARE是代表性的。以前的研究初步证明通过突出神经网络模型中的恶意软件来启动恶意攻击的可行性。然而，现有的作品没有表明，由于恶意软件嵌入率低，模型性能降低以及额外的努力，这种新兴威胁在现实世界攻击中是实际的攻击。因此，我们预测一个称为evilmodel的改进的斯佩塔科。在分析神经网络模型的结构的基础上，我们将二进制形成恶意软件作为其参数嵌入神经网络模型，并提出了三种新的恶意软件嵌入技术，即MSB保留，快速替换和半替换。通过结婚19个恶意软件样本和10个流行的神经网络模型，我们构建了550个恶意软件嵌入式模型，并在想象中数据集中分析了这些模型的性能。实验结果表明，半取代几乎完美地表现出，恶意软件嵌入率为48.52％，没有模型性能下降或额外的努力。考虑到一系列因素，我们提出了一种定量算法来评估不同的嵌入方法。评估结果表明，邪恶的模型与经典的斯托图尼特有多高。此外，我们开展案例研究，以触发真实世界的情景中的邪恶模型。要深入了解所提出的恶意软件嵌入技术，我们还研究了神经网络结构，层和参数大小对恶意软件嵌入容量和嵌入式模型精度的影响。我们还提供了一些可能的对策来捍卫邪恶的模型。我们希望这项工作能够全面了解这种新的AI动力威胁，并建议提前辩护。

Deep learning takes advantage of large datasets and computationally efficient training algorithms to outperform other approaches at various machine learning tasks. However, imperfections in the training phase of deep neural networks make them vulnerable to adversarial samples: inputs crafted by adversaries with the intent of causing deep neural networks to misclassify. In this work, we formalize the space of adversaries against deep neural networks (DNNs) and introduce a novel class of algorithms to craft adversarial samples based on a precise understanding of the mapping between inputs and outputs of DNNs. In an application to computer vision, we show that our algorithms can reliably produce samples correctly classified by human subjects but misclassified in specific targets by a DNN with a 97% adversarial success rate while only modifying on average 4.02% of the input features per sample. We then evaluate the vulnerability of different sample classes to adversarial perturbations by defining a hardness measure. Finally, we describe preliminary work outlining defenses against adversarial samples by defining a predictive measure of distance between a benign input and a target classification.

在解决复杂的现实世界任务方面的最新深度学习（DL）进步导致其在实际应用中广泛采用。但是，这个机会具有重大的潜在风险，因为这些模型中的许多模型都依赖于对各种应用程序进行培训的隐私敏感数据，这使它们成为侵犯隐私的过度暴露威胁表面。此外，基于云的机器学习-AS-A-Service（MLAAS）在其强大的基础架构支持方面的广泛使用扩大了威胁表面，以包括各种远程侧渠道攻击。在本文中，我们首先在DL实现中识别并报告了一个新颖的数据依赖性计时侧通道泄漏（称为类泄漏），该实现源自广泛使用的DL Framework Pytorch中的非恒定时间分支操作。我们进一步展示了一个实用的推理时间攻击，其中具有用户特权和硬标签黑盒访问MLAA的对手可以利用类泄漏来损害MLAAS用户的隐私。 DL模型容易受到会员推理攻击（MIA）的攻击，其中对手的目标是推断在训练模型时是否使用过任何特定数据。在本文中，作为一个单独的案例研究，我们证明了具有差异隐私保护的DL模型（对MIA的流行对策）仍然容易受到MIA的影响，而不是针对对手开发的漏洞泄漏。我们通过进行恒定的分支操作来减轻班级泄漏并有助于减轻MIA，从而开发出易于实施的对策。我们选择了两个标准基准图像分类数据集CIFAR-10和CIFAR-100来训练五个最先进的预训练的DL模型，这是在具有Intel Xeon和Intel Xeon和Intel I7处理器的两个不同的计算环境中，以验证我们的方法。

胶囊网络（CAPSNET）是图像处理的新兴趋势。与卷积神经网络相反，CAPSNET不容易受到对象变形的影响，因为对象的相对空间信息在整个网络中保存。但是，它们的复杂性主要与胶囊结构和动态路由机制有关，这使得以其原始形式部署封闭式以由小型微控制器（MCU）供电的设备几乎是不合理的。在一个智力从云到边缘迅速转移的时代，这种高复杂性对在边缘的采用capsnets的采用构成了严重的挑战。为了解决此问题，我们提出了一个API，用于执行ARM Cortex-M和RISC-V MCUS中的量化capsnet。我们的软件内核扩展了ARM CMSIS-NN和RISC-V PULP-NN，以用8位整数作为操作数支持胶囊操作。随之而来的是，我们提出了一个框架，以执行CAPSNET的训练后量化。结果显示，记忆足迹的减少近75％，准确性损失范围从0.07％到0.18％。在吞吐量方面，我们的ARM Cortex-M API可以分别在仅119.94和90.60毫秒（MS）的中型胶囊和胶囊层执行（STM32H7555ZIT6U，Cortex-M7 @ 480 MHz）。对于GAP-8 SOC（RISC-V RV32IMCXPULP @ 170 MHz），延迟分别降至7.02和38.03 ms。

在培训机器学习模型期间，它们可能会存储或“了解”有关培训数据的更多信息，而不是预测或分类任务所需的信息。属性推理攻击旨在从给定模型的培训数据中提取统计属性，而无需访问培训数据本身，从而利用了这一点。这些属性可能包括图片的质量，以识别相机模型，以揭示产品的目标受众的年龄分布或在计算机网络中使用恶意软件攻击的随附的主机类型。当攻击者可以访问所有模型参数时，即在白色盒子方案中，此攻击尤其准确。通过捍卫此类攻击，模型所有者可以确保其培训数据，相关的属性以及其知识产权保持私密，即使他们故意共享自己的模型，例如协作培训或模型泄漏。在本文中，我们介绍了属性，这是针对白盒属性推理攻击的有效防御机制，独立于培训数据类型，模型任务或属性数量。属性通过系统地更改目标模型的训练的权重和偏见来减轻属性推理攻击，从而使对手无法提取所选属性。我们在三个不同的数据集（包括表格数据和图像数据）以及两种类型的人工神经网络（包括人造神经网络）上进行了经验评估属性。我们的研究结果表明，以良好的隐私性权衡取舍，可以保护机器学习模型免受财产推理攻击的侵害，既有效又可靠。此外，我们的方法表明该机制也有效地取消了多个特性。

背景信息：在过去几年中，机器学习（ML）一直是许多创新的核心。然而，包括在所谓的“安全关键”系统中，例如汽车或航空的系统已经被证明是非常具有挑战性的，因为ML的范式转变为ML带来完全改变传统认证方法。目的：本文旨在阐明与ML为基础的安全关键系统认证有关的挑战，以及文献中提出的解决方案，以解决它们，回答问题的问题如何证明基于机器学习的安全关键系统？'方法：我们开展2015年至2020年至2020年之间发布的研究论文的系统文献综述（SLR），涵盖了与ML系统认证有关的主题。总共确定了217篇论文涵盖了主题，被认为是ML认证的主要支柱：鲁棒性，不确定性，解释性，验证，安全强化学习和直接认证。我们分析了每个子场的主要趋势和问题，并提取了提取的论文的总结。结果：单反结果突出了社区对该主题的热情，以及在数据集和模型类型方面缺乏多样性。它还强调需要进一步发展学术界和行业之间的联系，以加深域名研究。最后，它还说明了必须在上面提到的主要支柱之间建立连接的必要性，这些主要柱主要主要研究。结论：我们强调了目前部署的努力，以实现ML基于ML的软件系统，并讨论了一些未来的研究方向。

最近对机器学习（ML）模型的攻击，例如逃避攻击，具有对抗性示例，并通过提取攻击窃取了一些模型，构成了几种安全性和隐私威胁。先前的工作建议使用对抗性训练从对抗性示例中保护模型，以逃避模型的分类并恶化其性能。但是，这种保护技术会影响模型的决策边界及其预测概率，因此可能会增加模型隐私风险。实际上，仅使用对模型预测输出的查询访问的恶意用户可以提取它并获得高智能和高保真替代模型。为了更大的提取，这些攻击利用了受害者模型的预测概率。实际上，所有先前关于提取攻击的工作都没有考虑到出于安全目的的培训过程中的变化。在本文中，我们提出了一个框架，以评估具有视觉数据集对对抗训练的模型的提取攻击。据我们所知，我们的工作是第一个进行此类评估的工作。通过一项广泛的实证研究，我们证明了受对抗训练的模型比在自然训练情况下获得的模型更容易受到提取攻击的影响。他们可以达到高达$ \ times1.2 $更高的准确性和同意，而疑问低于$ \ times0.75 $。我们还发现，与从自然训练的（即标准）模型中提取的DNN相比，从鲁棒模型中提取的对抗性鲁棒性能力可通过提取攻击（即从鲁棒模型提取的深神经网络（DNN）提取的深神网络（DNN））传递。

神经网络已广泛应用于垃圾邮件和网络钓鱼检测，入侵预防和恶意软件检测等安全应用程序。但是，这种黑盒方法通常在应用中具有不确定性和不良的解释性。此外，神经网络本身通常容易受到对抗攻击的影响。由于这些原因，人们对可信赖和严格的方法有很高的需求来验证神经网络模型的鲁棒性。对抗性的鲁棒性在处理恶意操纵输入时涉及神经网络的可靠性，是安全和机器学习中最热门的主题之一。在这项工作中，我们在神经网络的对抗性鲁棒性验证中调查了现有文献，并在机器学习，安全和软件工程领域收集了39项多元化研究工作。我们系统地分析了它们的方法，包括如何制定鲁棒性，使用哪种验证技术以及每种技术的优势和局限性。我们从正式验证的角度提供分类学，以全面理解该主题。我们根据财产规范，减少问题和推理策略对现有技术进行分类。我们还展示了使用样本模型在现有研究中应用的代表性技术。最后，我们讨论了未来研究的开放问题。

与令人印象深刻的进步触动了我们社会的各个方面，基于深度神经网络（DNN）的AI技术正在带来越来越多的安全问题。虽然在考试时间运行的攻击垄断了研究人员的初始关注，但是通过干扰培训过程来利用破坏DNN模型的可能性，代表了破坏训练过程的可能性，这是破坏AI技术的可靠性的进一步严重威胁。在后门攻击中，攻击者损坏了培训数据，以便在测试时间诱导错误的行为。然而，测试时间误差仅在存在与正确制作的输入样本对应的触发事件的情况下被激活。通过这种方式，损坏的网络继续正常输入的预期工作，并且只有当攻击者决定激活网络内隐藏的后门时，才会发生恶意行为。在过去几年中，后门攻击一直是强烈的研究活动的主题，重点是新的攻击阶段的发展，以及可能对策的提议。此概述文件的目标是审查发表的作品，直到现在，分类到目前为止提出的不同类型的攻击和防御。指导分析的分类基于攻击者对培训过程的控制量，以及防御者验证用于培训的数据的完整性，并监控DNN在培训和测试中的操作时间。因此，拟议的分析特别适合于参考他们在运营的应用方案的攻击和防御的强度和弱点。

联合学习允许一组用户在私人训练数据集中培训深度神经网络。在协议期间，数据集永远不会留下各个用户的设备。这是通过要求每个用户向中央服务器发送“仅”模型更新来实现，从而汇总它们以更新深神经网络的参数。然而，已经表明，每个模型更新都具有关于用户数据集的敏感信息（例如，梯度反转攻击）。联合学习的最先进的实现通过利用安全聚合来保护这些模型更新：安全监控协议，用于安全地计算用户的模型更新的聚合。安全聚合是关键，以保护用户的隐私，因为它会阻碍服务器学习用户提供的个人模型更新的源，防止推断和数据归因攻击。在这项工作中，我们表明恶意服务器可以轻松地阐明安全聚合，就像后者未到位一样。我们设计了两种不同的攻击，能够在参与安全聚合的用户数量上，独立于参与安全聚合的用户数。这使得它们在大规模现实世界联邦学习应用中的具体威胁。攻击是通用的，不瞄准任何特定的安全聚合协议。即使安全聚合协议被其理想功能替换为提供完美的安全性的理想功能，它们也同样有效。我们的工作表明，安全聚合与联合学习相结合，当前实施只提供了“虚假的安全感”。

联合学习使多个用户能够通过共享其模型更新（渐变）来构建联合模型，而其原始数据在其设备上保持本地。与常见的信念相比，这提供了隐私福利，我们在共享渐变时，我们在这里增加了隐私风险的最新结果。具体而言，我们调查梯度（LLG）的标签泄漏，这是一种新建攻击，从他们的共享梯度提取用户培训数据的标签。该攻击利用梯度的方向和幅度来确定任何标签的存在或不存在。 LLG简单且有效，能够泄漏由标签表示的电位敏感信息，并缩放到任意批量尺寸和多个类别。在数学上以及经验上证明了不同设置下攻击的有效性。此外，经验结果表明，LLG在模型训练的早期阶段以高精度成功提取标签。我们还讨论了针对这种泄漏的不同防御机制。我们的研究结果表明，梯度压缩是减轻攻击的实用技术。