最近的研究表明，尽管在许多现实世界应用上达到了很高的精度，但深度神经网络（DNN）可以被换式：通过将触发的数据样本注入培训数据集中，对手可以将受过训练的模型误导到将任何测试数据分类为将任何测试数据分类为只要提出触发模式，目标类。为了消除此类后门威胁，已经提出了各种方法。特别是，一系列研究旨在净化潜在的损害模型。但是，这项工作的一个主要限制是访问足够的原始培训数据的要求：当可用的培训数据受到限制时，净化性能要差得多。在这项工作中，我们提出了对抗重量掩蔽（AWM），这是一种即使在单一设置中也能擦除神经后门的新颖方法。我们方法背后的关键思想是将其提出为最小最大优化问题：首先，对抗恢复触发模式，然后（软）掩盖对恢复模式敏感的网络权重。对几个基准数据集的全面评估表明，AWM在很大程度上可以改善对各种可用培训数据集大小的其他最先进方法的纯化效果。

最近的研究表明，深度神经网络（DNN）容易受到后门攻击的影响，后门攻击会导致DNN的恶意行为，当时特定的触发器附在输入图像上时。进一步证明，感染的DNN具有一系列通道，与正常通道相比，该通道对后门触发器更敏感。然后，将这些通道修剪可有效缓解后门行为。要定位这些通道，自然要考虑其Lipschitzness，这可以衡量他们对输入上最严重的扰动的敏感性。在这项工作中，我们介绍了一个名为Channel Lipschitz常数（CLC）的新颖概念，该概念定义为从输入图像到每个通道输出的映射的Lipschitz常数。然后，我们提供经验证据，以显示CLC（UCLC）上限与通道激活的触发激活变化之间的强相关性。由于可以从重量矩阵直接计算UCLC，因此我们可以以无数据的方式检测潜在的后门通道，并在感染的DNN上进行简单修剪以修复模型。提出的基于lipschitzness的通道修剪（CLP）方法非常快速，简单，无数据且可靠，可以选择修剪阈值。进行了广泛的实验来评估CLP的效率和有效性，CLP的效率和有效性也可以在主流防御方法中获得最新的结果。源代码可在https://github.com/rkteddy/channel-lipschitzness基于普通范围内获得。

在过去十年中，深度神经网络在各种任务中取得了令人印象深刻的性能，例如自主驾驶，人脸识别和医学诊断。然而，事先作证表明，深度神经网络通过后门攻击将恶意小隐藏触发器注入模型培训，提高严重的安全威胁。要确定触发的神经元并防止反卧系攻击，我们利用福利价值并开发一种名为福利修剪（Shappruning）的新方法，该方法成功地从数据不足的情况下从模型中攻击（每级甚至没有数据） 。考虑到神经元之间的相互作用，Shappruning鉴定了少数感染的神经元（在所有神经元的1％以下），并在修剪诸如许多感染神经元后保护模型的结构和准确性。为了加速Shappruning，我们进一步提出了丢弃的阈值和$ \ epsilon $ -greedy策略以加速福利估计，使得只有几分钟的时间就可以修复中毒模型。实验证明了与现有方法相比，我们对各种攻击和任务的方法的有效性和鲁棒性。

Backdoor attacks have emerged as one of the major security threats to deep learning models as they can easily control the model's test-time predictions by pre-injecting a backdoor trigger into the model at training time. While backdoor attacks have been extensively studied on images, few works have investigated the threat of backdoor attacks on time series data. To fill this gap, in this paper we present a novel generative approach for time series backdoor attacks against deep learning based time series classifiers. Backdoor attacks have two main goals: high stealthiness and high attack success rate. We find that, compared to images, it can be more challenging to achieve the two goals on time series. This is because time series have fewer input dimensions and lower degrees of freedom, making it hard to achieve a high attack success rate without compromising stealthiness. Our generative approach addresses this challenge by generating trigger patterns that are as realistic as real-time series patterns while achieving a high attack success rate without causing a significant drop in clean accuracy. We also show that our proposed attack is resistant to potential backdoor defenses. Furthermore, we propose a novel universal generator that can poison any type of time series with a single generator that allows universal attacks without the need to fine-tune the generative model for new time series datasets.

已知深层神经网络（DNN）容易受到后门攻击和对抗攻击的影响。在文献中，这两种攻击通常被视为明显的问题并分别解决，因为它们分别属于训练时间和推理时间攻击。但是，在本文中，我们发现它们之间有一个有趣的联系：对于具有后门种植的模型，我们观察到其对抗性示例具有与触发样品相似的行为，即都激活了同一DNN神经元的子集。这表明将后门种植到模型中会严重影响模型的对抗性例子。基于这一观察结果，我们设计了一种新的对抗性微调（AFT）算法，以防止后门攻击。我们从经验上表明，在5次最先进的后门攻击中，我们的船尾可以有效地擦除后门触发器，而无需在干净的样品上明显的性能降解，并显着优于现有的防御方法。

后门攻击已被证明是对深度学习模型的严重安全威胁，并且检测给定模型是否已成为后门成为至关重要的任务。现有的防御措施主要建立在观察到后门触发器通常尺寸很小或仅影响几个神经元激活的观察结果。但是，在许多情况下，尤其是对于高级后门攻击，违反了上述观察结果，阻碍了现有防御的性能和适用性。在本文中，我们提出了基于新观察的后门防御范围。也就是说，有效的后门攻击通常需要对中毒训练样本的高预测置信度，以确保训练有素的模型具有很高的可能性。基于此观察结果，Dtinspector首先学习一个可以改变最高信心数据的预测的补丁，然后通过检查在低信心数据上应用学习补丁后检查预测变化的比率来决定后门的存在。对五次后门攻击，四个数据集和三种高级攻击类型的广泛评估证明了拟议防御的有效性。

最近的研究表明，深层神经网络容易受到不同类型的攻击，例如对抗性攻击，数据中毒攻击和后门攻击。其中，后门攻击是最狡猾的攻击，几乎可以在深度学习管道的每个阶段发生。因此，后门攻击吸引了学术界和行业的许多兴趣。但是，大多数现有的后门攻击方法对于某些轻松的预处理（例如常见数据转换）都是可见的或脆弱的。为了解决这些限制，我们提出了一种强大而无形的后门攻击，称为“毒药”。具体而言，我们首先利用图像结构作为目标中毒区域，并用毒药（信息）填充它们以生成触发图案。由于图像结构可以在数据转换期间保持其语义含义，因此这种触发模式对数据转换本质上是强大的。然后，我们利用深度注射网络将这种触发模式嵌入封面图像中，以达到隐身性。与现有流行的后门攻击方法相比，毒药的墨水在隐形和健壮性方面都优于表现。通过广泛的实验，我们证明了毒药不仅是不同数据集和网络体系结构的一般性，而且对于不同的攻击场景也很灵活。此外，它对许多最先进的防御技术也具有非常强烈的抵抗力。

后门攻击已成为深度神经网络（DNN）的主要安全威胁。虽然现有的防御方法在检测或擦除后以后展示了有希望的结果，但仍然尚不清楚是否可以设计强大的培训方法，以防止后门触发器首先注入训练的模型。在本文中，我们介绍了\ emph {反后门学习}的概念，旨在培训\ emph {Clean}模型给出了后门中毒数据。我们将整体学习过程框架作为学习\ emph {clean}和\ emph {backdoor}部分的双重任务。从这种观点来看，我们确定了两个后门攻击的固有特征，因为他们的弱点2）后门任务与特定类（后门目标类）相关联。根据这两个弱点，我们提出了一般学习计划，反后门学习（ABL），在培训期间自动防止后门攻击。 ABL引入了标准培训的两级\ EMPH {梯度上升}机制，帮助分离早期训练阶段的后台示例，2）在后续训练阶段中断后门示例和目标类之间的相关性。通过对多个基准数据集的广泛实验，针对10个最先进的攻击，我们经验证明，后卫中毒数据上的ABL培训模型实现了与纯净清洁数据训练的相同性能。代码可用于\ url {https:/github.com/boylyg/abl}。

In this paper, we present a simple yet surprisingly effective technique to induce "selective amnesia" on a backdoored model. Our approach, called SEAM, has been inspired by the problem of catastrophic forgetting (CF), a long standing issue in continual learning. Our idea is to retrain a given DNN model on randomly labeled clean data, to induce a CF on the model, leading to a sudden forget on both primary and backdoor tasks; then we recover the primary task by retraining the randomized model on correctly labeled clean data. We analyzed SEAM by modeling the unlearning process as continual learning and further approximating a DNN using Neural Tangent Kernel for measuring CF. Our analysis shows that our random-labeling approach actually maximizes the CF on an unknown backdoor in the absence of triggered inputs, and also preserves some feature extraction in the network to enable a fast revival of the primary task. We further evaluated SEAM on both image processing and Natural Language Processing tasks, under both data contamination and training manipulation attacks, over thousands of models either trained on popular image datasets or provided by the TrojAI competition. Our experiments show that SEAM vastly outperforms the state-of-the-art unlearning techniques, achieving a high Fidelity (measuring the gap between the accuracy of the primary task and that of the backdoor) within a few minutes (about 30 times faster than training a model from scratch using the MNIST dataset), with only a small amount of clean data (0.1% of training data for TrojAI models).

后门学习是研究深神经网络（DNNS）脆弱性的一个新兴而重要的话题。在快速武器竞赛的地位上，正在连续或同时提出许多开创性的后门攻击和防御方法。但是，我们发现对新方法的评估通常是不可思议的，以验证其主张和实际绩效，这主要是由于快速发展，不同的环境以及实施和可重复性的困难。没有彻底的评估和比较，很难跟踪当前的进度并设计文献的未来发展路线图。为了减轻这一困境，我们建立了一个名为Backdoorbench的后门学习的全面基准。它由一个可扩展的基于模块化的代码库（当前包括8个最先进（SOTA）攻击和9种SOTA防御算法的实现），以及完整的后门学习的标准化协议。我们还基于5个模型和4个数据集，对9个防御措施的每对8次攻击进行全面评估，总共8,000对评估。我们从不同的角度进一步介绍了对这8,000次评估的不同角度，研究了对国防算法，中毒比率，模型和数据集对后门学习的影响。 \ url {https://backdoorbench.github.io}公开获得了Backdoorbench的所有代码和评估。

典型的深神经网络（DNN）后门攻击基于输入中嵌入的触发因素。现有的不可察觉的触发因素在计算上昂贵或攻击成功率低。在本文中，我们提出了一个新的后门触发器，该扳机易于生成，不可察觉和高效。新的触发器是一个均匀生成的三维（3D）二进制图案，可以水平和/或垂直重复和镜像，并将其超级贴在三通道图像上，以训练后式DNN模型。新型触发器分散在整个图像中，对单个像素产生微弱的扰动，但共同拥有强大的识别模式来训练和激活DNN的后门。我们还通过分析表明，随着图像的分辨率提高，触发因素越来越有效。实验是使用MNIST，CIFAR-10和BTSR数据集上的RESNET-18和MLP模型进行的。在无遗象的方面，新触发的表现优于现有的触发器，例如Badnet，Trojaned NN和隐藏的后门。新的触发因素达到了几乎100％的攻击成功率，仅将分类准确性降低了不到0.7％-2.4％，并使最新的防御技术无效。

We conduct a systematic study of backdoor vulnerabilities in normally trained Deep Learning models. They are as dangerous as backdoors injected by data poisoning because both can be equally exploited. We leverage 20 different types of injected backdoor attacks in the literature as the guidance and study their correspondences in normally trained models, which we call natural backdoor vulnerabilities. We find that natural backdoors are widely existing, with most injected backdoor attacks having natural correspondences. We categorize these natural backdoors and propose a general detection framework. It finds 315 natural backdoors in the 56 normally trained models downloaded from the Internet, covering all the different categories, while existing scanners designed for injected backdoors can at most detect 65 backdoors. We also study the root causes and defense of natural backdoors.

最近，后门攻击已成为对深神经网络（DNN）模型安全性的新兴威胁。迄今为止，大多数现有研究都集中于对未压缩模型的后门攻击。尽管在实际应用中广泛使用的压缩DNN的脆弱性尚未得到利用。在本文中，我们建议研究和发展针对紧凑型DNN模型（RIBAC）的强大和不可感知的后门攻击。通过对重要设计旋钮进行系统分析和探索，我们提出了一个框架，该框架可以有效地学习适当的触发模式，模型参数和修剪口罩。从而同时达到高触发隐形性，高攻击成功率和高模型效率。跨不同数据集的广泛评估，包括针对最先进的防御机制的测试，证明了RIBAC的高鲁棒性，隐身性和模型效率。代码可从https://github.com/huyvnphan/eccv2022-ribac获得

Dataset distillation has emerged as a prominent technique to improve data efficiency when training machine learning models. It encapsulates the knowledge from a large dataset into a smaller synthetic dataset. A model trained on this smaller distilled dataset can attain comparable performance to a model trained on the original training dataset. However, the existing dataset distillation techniques mainly aim at achieving the best trade-off between resource usage efficiency and model utility. The security risks stemming from them have not been explored. This study performs the first backdoor attack against the models trained on the data distilled by dataset distillation models in the image domain. Concretely, we inject triggers into the synthetic data during the distillation procedure rather than during the model training stage, where all previous attacks are performed. We propose two types of backdoor attacks, namely NAIVEATTACK and DOORPING. NAIVEATTACK simply adds triggers to the raw data at the initial distillation phase, while DOORPING iteratively updates the triggers during the entire distillation procedure. We conduct extensive evaluations on multiple datasets, architectures, and dataset distillation techniques. Empirical evaluation shows that NAIVEATTACK achieves decent attack success rate (ASR) scores in some cases, while DOORPING reaches higher ASR scores (close to 1.0) in all cases. Furthermore, we conduct a comprehensive ablation study to analyze the factors that may affect the attack performance. Finally, we evaluate multiple defense mechanisms against our backdoor attacks and show that our attacks can practically circumvent these defense mechanisms.

后门（特洛伊木马）攻击正在对深度神经网络（DNN）产生威胁。每当来自任何源类的测试样本都嵌入后门图案时，DNN被攻击将预测到攻击者期望的目标类;在正确分类干净（无攻击）测试样本时。现有的后门防御在检测到DNN是攻击和逆向工程的“培训后”制度的反向工程方面取得了成功：防御者可以访问要检查的DNN和独立收集的小型清洁数据集，但是无法访问DNN的（可能中毒）培训集。然而，这些防御既不触发后门映射的行为也不抓住罪魁祸首，也不是在试验时间下减轻后门攻击。在本文中，我们提出了一个“飞行中的”防范反向攻击对图像分类的攻击，其中1）检测在试验时间时使用后门触发的使用; 2）Infers为检测到的触发器示例中的原始原点（源类）。我们防御的有效性是针对不同强大的后门攻击实验证明的。

神经网络的不透明度导致其脆弱性发生后门攻击，其中触发了感染神经元的隐藏注意力，以覆盖对攻击者选择的神经元的正常预测。在本文中，我们提出了一种新型的后门防御方法，以标记和净化后门神经网络中受感染的神经元。具体来说，我们首先定义了一个名为良性显着性的新指标。通过将一阶梯度组合以保持神经元之间的连接，良性显着性可以鉴定出比后门防御中常用度量的高精度的感染神经元。然后，提出了一种新的自适应正则化（AR）机制，以通过微调来帮助净化这些被鉴定的感染神经元。由于能够适应不同参数幅度的能力，与神经元纯化中的共同正则化机制相比，AR可以提供更快，更稳定的收敛性。广泛的实验结果表明，我们的方法可以消除具有可忽略的性能降解的神经网络中的后门。

Transforming off-the-shelf deep neural network (DNN) models into dynamic multi-exit architectures can achieve inference and transmission efficiency by fragmenting and distributing a large DNN model in edge computing scenarios (e.g., edge devices and cloud servers). In this paper, we propose a novel backdoor attack specifically on the dynamic multi-exit DNN models. Particularly, we inject a backdoor by poisoning one DNN model's shallow hidden layers targeting not this vanilla DNN model but only its dynamically deployed multi-exit architectures. Our backdoored vanilla model behaves normally on performance and cannot be activated even with the correct trigger. However, the backdoor will be activated when the victims acquire this model and transform it into a dynamic multi-exit architecture at their deployment. We conduct extensive experiments to prove the effectiveness of our attack on three structures (ResNet-56, VGG-16, and MobileNet) with four datasets (CIFAR-10, SVHN, GTSRB, and Tiny-ImageNet) and our backdoor is stealthy to evade multiple state-of-the-art backdoor detection or removal methods.

大量证据表明，深神经网络（DNN）容易受到后门攻击的影响，这激发了后门检测方法的发展。现有的后门检测方法通常是针对具有单个特定类型（例如基于补丁或基于扰动）的后门攻击而定制的。但是，在实践中，对手可能会产生多种类型的后门攻击，这挑战了当前的检测策略。基于以下事实：对抗性扰动与触发模式高度相关，本文提出了自适应扰动生成（APG）框架，以通过自适应注射对抗性扰动来检测多种类型的后门攻击。由于不同的触发模式在相同的对抗扰动下显示出高度多样的行为，因此我们首先设计了全球到本地策略，以通过调整攻击的区域和预算来适应多种类型的后门触发器。为了进一步提高扰动注入的效率，我们引入了梯度引导的掩模生成策略，以寻找最佳区域以进行对抗攻击。在多个数据集（CIFAR-10，GTSRB，Tiny-Imagenet）上进行的广泛实验表明，我们的方法以大幅度优于最先进的基线（+12％）。

普遍的后门是由动态和普遍的输入扰动触发的。它们可以被攻击者故意注射，也可以自然存在于经过正常训练的模型中。它们的性质与传统的静态和局部后门不同，可以通过扰动带有一些固定图案的小输入区域来触发，例如带有纯色的贴片。现有的防御技术对于传统后门非常有效。但是，它们可能对普遍的后门无法正常工作，尤其是在后门去除和模型硬化方面。在本文中，我们提出了一种针对普遍的后门，包括天然和注射后门的新型模型硬化技术。我们基于通过特殊转换层增强的编码器架构来开发一般的普遍攻击。该攻击可以对现有的普遍后门攻击进行建模，并通过类距离进行量化。因此，使用我们在对抗训练中攻击的样品可以使模型与这些后门漏洞相比。我们对9个具有15个模型结构的9个数据集的评估表明，我们的技术可以平均扩大阶级距离59.65％，精度降解且没有稳健性损失，超过了五种硬化技术，例如对抗性训练，普遍的对抗训练，Moth，Moth等， 。它可以将六次普遍后门攻击的攻击成功率从99.06％降低到1.94％，超过七种最先进的后门拆除技术。

被证明深度神经网络（DNN）被证明是易受后门攻击的影响。后门通常通过将后门触发注入训练示例中的目标DNN嵌入到目标DNN中，这可能导致目标DNN消除附加的输入附加的输入。现有的后门检测方法通常需要访问原始中毒训练数据，目标DNN的参数，或对每个给定输入的预测置信度，这在许多实际应用中是不切实际的，例如，在设备上部署的DNN。我们地址DNN是完全黑盒的黑匣子硬标签检测问题，只能访问其最终输出标签。我们从优化角度方面接近这个问题，并表明回程检测的目标受到对抗目标的界定。进一步的理论和实证研究表明，这种对抗性物镜导致具有高度偏斜分布的溶液;在后门感染的例子的对抗性地图中经常观察到奇点，我们称之为对抗性奇点现象。基于该观察，我们提出了对抗极值分析（AEVA）来检测黑匣子神经网络中的后门。 AEVA基于来自Monte-Carlo梯度估计计算的对抗地图的极值分析。在多个流行的任务和后门攻击中通过广泛的实验证明，我们的方法有效地检测了黑匣子硬标的场景下的后门攻击。