为了应对对抗性实例的威胁，对抗性培训提供了一种有吸引力的选择，可以通过在线增强的对抗示例中的培训模型提高模型稳健性。然而，大多数现有的对抗训练方法通过强化对抗性示例来侧重于提高鲁棒的准确性，但忽略了天然数据和对抗性实施例之间的增加，导致自然精度急剧下降。为了维持自然和强大的准确性之间的权衡，我们从特征适应的角度缓解了转变，并提出了一种特征自适应对抗训练（FAAT），这些培训（FAAT）跨越自然数据和对抗示例优化类条件特征适应。具体而言，我们建议纳入一类条件鉴别者，以鼓励特征成为（1）类鉴别的和（2）不变导致对抗性攻击的变化。新型的FAAT框架通过在天然和对抗数据中产生具有类似分布的特征来实现自然和强大的准确性之间的权衡，并实现从类鉴别特征特征中受益的更高的整体鲁棒性。在各种数据集上的实验表明，FAAT产生更多辨别特征，并对最先进的方法表现有利。代码在https://github.com/visionflow/faat中获得。

对抗性例子的现象说明了深神经网络最基本的漏洞之一。在推出这一固有的弱点的各种技术中，对抗性训练已成为学习健壮模型的最有效策略。通常，这是通过平衡强大和自然目标来实现的。在这项工作中，我们旨在通过执行域不变的功能表示，进一步优化鲁棒和标准准确性之间的权衡。我们提出了一种新的对抗训练方法，域不变的对手学习（DIAL），该方法学习了一个既健壮又不变的功能表示形式。拨盘使用自然域及其相应的对抗域上的域对抗神经网络（DANN）的变体。在源域由自然示例组成和目标域组成的情况下，是对抗性扰动的示例，我们的方法学习了一个被限制的特征表示，以免区分自然和对抗性示例，因此可以实现更强大的表示。拨盘是一种通用和模块化技术，可以轻松地将其纳入任何对抗训练方法中。我们的实验表明，将拨号纳入对抗训练过程中可以提高鲁棒性和标准精度。

作为反对攻击的最有效的防御方法之一，对抗性训练倾向于学习包容性的决策边界，以提高深度学习模型的鲁棒性。但是，由于沿对抗方向的边缘的大幅度和不必要的增加，对抗性训练会在自然实例和对抗性示例之间引起严重的交叉，这不利于平衡稳健性和自然准确性之间的权衡。在本文中，我们提出了一种新颖的对抗训练计划，以在稳健性和自然准确性之间进行更好的权衡。它旨在学习一个中度包容的决策边界，这意味着决策边界下的自然示例的边缘是中等的。我们称此方案为中等边缘的对抗训练（MMAT），该方案生成更细粒度的对抗示例以减轻交叉问题。我们还利用了经过良好培训的教师模型的逻辑来指导我们的模型学习。最后，MMAT在Black-Box和White-Box攻击下都可以实现高自然的精度和鲁棒性。例如，在SVHN上，实现了最新的鲁棒性和自然精度。

逆势培训可针对特异性对抗性扰动有用，但它们也证明旨在展示偏离用于培训的攻击的攻击。然而，我们观察到这种无效性是本质上与域的适应性，深度学习中的另一个关键问题似乎是一个有希望的解决方案。因此，我们提出了ADV-4-ADV作为一种新的逆势培训方法，旨在保持针对看不见的对抗性扰动的鲁棒性。基本上，ADV-4-ADV将攻击产生不同的扰动作为不同的域，并且通过利用逆势域适应的力量，它旨在消除域/攻击特定的功能。这迫使训练有素的模型来学习强大的域名不变的表示，这反过来增强了其泛化能力。对时尚 - MNIST，SVHN，CIFAR-10和CIFAR-100的广泛评估表明，基于由简单攻击（例如，FGSM）制备的样本训练的模型可以推广到更高级的攻击（例如， PGD​​），性能超过了这些数据集的最先进的提案。

已知神经网络容易受到对抗性攻击的影响 - 轻微但精心构建的输入扰动，这会造成巨大损害网络的性能。已经提出了许多防御方法来通过培训对抗对抗扰动的投入来改善深网络的稳健性。然而，这些模型通常仍然容易受到在训练期间没有看到的新类型的攻击，甚至在以前看到的攻击中稍微强大。在这项工作中，我们提出了一种新的对抗性稳健性的方法，这在域适应领域的见解中建立了洞察力。我们的方法称为对抗性特征脱敏（AFD），目的是学习功能，这些特征是不变的对输入的对抗扰动。这是通过游戏实现的，我们学习了预测和鲁棒（对对抗性攻击不敏感）的特征，即不能用于区分自然和对抗数据。若干基准测试的经验结果证明了提出的方法对广泛的攻击类型和攻击优势的有效性。我们的代码可在https://github.com/bashivanlab/afd获得。

基于深度神经网络（DNN）的智能信息（IOT）系统已被广泛部署在现实世界中。然而，发现DNNS易受对抗性示例的影响，这提高了人们对智能物联网系统的可靠性和安全性的担忧。测试和评估IOT系统的稳健性成为必要和必要。最近已经提出了各种攻击和策略，但效率问题仍未纠正。现有方法是计算地广泛或耗时，这在实践中不适用。在本文中，我们提出了一种称为攻击启发GaN（AI-GaN）的新框架，在有条件地产生对抗性实例。曾经接受过培训，可以有效地给予对抗扰动的输入图像和目标类。我们在白盒设置的不同数据集中应用AI-GaN，黑匣子设置和由最先进的防御保护的目标模型。通过广泛的实验，AI-GaN实现了高攻击成功率，优于现有方法，并显着降低了生成时间。此外，首次，AI-GaN成功地缩放到复杂的数据集。 Cifar-100和Imagenet，所有课程中的成功率约为90美元。

对抗训练（AT）在防御对抗例子方面表现出色。最近的研究表明，示例对于AT期间模型的最终鲁棒性并不同样重要，即，所谓的硬示例可以攻击容易表现出比对最终鲁棒性的鲁棒示例更大的影响。因此，保证硬示例的鲁棒性对于改善模型的最终鲁棒性至关重要。但是，定义有效的启发式方法来寻找辛苦示例仍然很困难。在本文中，受到信息瓶颈（IB）原则的启发，我们发现了一个具有高度共同信息及其相关的潜在表示的例子，更有可能受到攻击。基于此观察，我们提出了一种新颖有效的对抗训练方法（Infoat）。鼓励Infoat找到具有高相互信息的示例，并有效利用它们以提高模型的最终鲁棒性。实验结果表明，与几种最先进的方法相比，Infoat在不同数据集和模型之间达到了最佳的鲁棒性。

对抗训练（AT）方法有效地防止对抗性攻击，但它们在不同阶级之间引入了严重的准确性和鲁棒性差异，称为强大的公平性问题。以前建议的公平健壮的学习（FRL）适应重新重量不同的类别以提高公平性。但是，表现良好的班级的表现降低了，导致表现强劲。在本文中，我们在对抗训练中观察到了两种不公平现象：在产生每个类别的对抗性示例（源级公平）和产生对抗性示例时（目标级公平）时产生对抗性示例的不​​同困难。从观察结果中，我们提出平衡对抗训练（BAT）来解决强大的公平问题。关于源阶级的公平性，我们调整了每个班级的攻击强度和困难，以在决策边界附近生成样本，以便更容易，更公平的模型学习；考虑到目标级公平，通过引入统一的分布约束，我们鼓励每个班级的对抗性示例生成过程都有公平的趋势。在多个数据集（CIFAR-10，CIFAR-100和IMAGENETTE）上进行的广泛实验表明，我们的方法可以显着超过其他基线，以减轻健壮的公平性问题（最坏的类精度为+5-10 \％）

最近的研究表明，对对抗性攻击的鲁棒性可以跨网络转移。换句话说，在强大的教师模型的帮助下，我们可以使模型更加强大。我们问是否从静态教师那里学习，可以模特“学习”和“互相教导”来实现更好的稳健性？在本文中，我们研究模型之间的相互作用如何通过知识蒸馏来影响鲁棒性。我们提出了互联土训练（垫子），其中多种模型一起培训并分享对抗性示例的知识，以实现改善的鲁棒性。垫允许强大的模型来探索更大的对抗样本空间，并找到更强大的特征空间和决策边界。通过对CIFAR-10和CIFAR-100的广泛实验，我们证明垫可以在白盒攻击下有效地改善模型稳健性和最优异的现有方法，使$ \ SIM为8％的准确性增益对香草对抗培训（在PGD-100袭击下。此外，我们表明垫子还可以在不同的扰动类型中减轻鲁棒性权衡，从$ l_ \ infty $，$ l_2 $和$ l_1 $攻击中带来基线的基线。这些结果表明了该方法的优越性，并证明协作学习是设计强大模型的有效策略。

到目前为止对抗训练是抵御对抗例子的最有效的策略。然而，由于每个训练步骤中的迭代对抗性攻击，它遭受了高的计算成本。最近的研究表明，通过随机初始化执行单步攻击，可以实现快速的对抗训练。然而，这种方法仍然落后于稳定性和模型稳健性的最先进的对手训练算法。在这项工作中，我们通过观察随机平滑的随机初始化来更好地优化内部最大化问题，对快速对抗培训进行新的理解。在这种新的视角之后，我们还提出了一种新的初始化策略，向后平滑，进一步提高单步强大培训方法的稳定性和模型稳健性。多个基准测试的实验表明，我们的方法在使用更少的训练时间（使用相同的培训计划时，使用更少的培训时间（$ \ sim $ 3x改进）时，我们的方法达到了类似的模型稳健性。

Deep Neural Networks are vulnerable to adversarial attacks. Among many defense strategies, adversarial training with untargeted attacks is one of the most effective methods. Theoretically, adversarial perturbation in untargeted attacks can be added along arbitrary directions and the predicted labels of untargeted attacks should be unpredictable. However, we find that the naturally imbalanced inter-class semantic similarity makes those hard-class pairs become virtual targets of each other. This study investigates the impact of such closely-coupled classes on adversarial attacks and develops a self-paced reweighting strategy in adversarial training accordingly. Specifically, we propose to upweight hard-class pair losses in model optimization, which prompts learning discriminative features from hard classes. We further incorporate a term to quantify hard-class pair consistency in adversarial training, which greatly boosts model robustness. Extensive experiments show that the proposed adversarial training method achieves superior robustness performance over state-of-the-art defenses against a wide range of adversarial attacks.

已知深度神经网络（DNN）容易受到用不可察觉的扰动制作的对抗性示例的影响，即，输入图像的微小变化会引起错误的分类，从而威胁着基于深度学习的部署系统的可靠性。经常采用对抗训练（AT）来通过训练损坏和干净的数据的混合物来提高DNN的鲁棒性。但是，大多数基于AT的方法在处理\ textit {转移的对抗示例}方面是无效的，这些方法是生成以欺骗各种防御模型的生成的，因此无法满足现实情况下提出的概括要求。此外，对抗性训练一般的国防模型不能对具有扰动的输入产生可解释的预测，而不同的领域专家则需要一个高度可解释的强大模型才能了解DNN的行为。在这项工作中，我们提出了一种基于Jacobian规范和选择性输入梯度正则化（J-SIGR）的方法，该方法通过Jacobian归一化提出了线性化的鲁棒性，还将基于扰动的显着性图正规化，以模仿模型的可解释预测。因此，我们既可以提高DNN的防御能力和高解释性。最后，我们评估了跨不同体系结构的方法，以针对强大的对抗性攻击。实验表明，提出的J-Sigr赋予了针对转移的对抗攻击的鲁棒性，我们还表明，来自神经网络的预测易于解释。

深度卷积神经网络（CNN）很容易被输入图像的细微，不可察觉的变化所欺骗。为了解决此漏洞，对抗训练会创建扰动模式，并将其包括在培训设置中以鲁棒性化模型。与仅使用阶级有限信息的现有对抗训练方法（例如，使用交叉渗透损失）相反，我们建议利用功能空间中的其他信息来促进更强的对手，这些信息又用于学习强大的模型。具体来说，我们将使用另一类的目标样本的样式和内容信息以及其班级边界信息来创建对抗性扰动。我们以深入监督的方式应用了我们提出的多任务目标，从而提取了多尺度特征知识，以创建最大程度地分开对手。随后，我们提出了一种最大边缘对抗训练方法，该方法可最大程度地减少源图像与其对手之间的距离，并最大程度地提高对手和目标图像之间的距离。与最先进的防御能力相比，我们的对抗训练方法表明了强大的鲁棒性，可以很好地推广到自然发生的损坏和数据分配变化，并保留了清洁示例的模型准确性。

The study on improving the robustness of deep neural networks against adversarial examples grows rapidly in recent years. Among them, adversarial training is the most promising one, which flattens the input loss landscape (loss change with respect to input) via training on adversarially perturbed examples. However, how the widely used weight loss landscape (loss change with respect to weight) performs in adversarial training is rarely explored. In this paper, we investigate the weight loss landscape from a new perspective, and identify a clear correlation between the flatness of weight loss landscape and robust generalization gap. Several well-recognized adversarial training improvements, such as early stopping, designing new objective functions, or leveraging unlabeled data, all implicitly flatten the weight loss landscape. Based on these observations, we propose a simple yet effective Adversarial Weight Perturbation (AWP) to explicitly regularize the flatness of weight loss landscape, forming a double-perturbation mechanism in the adversarial training framework that adversarially perturbs both inputs and weights. Extensive experiments demonstrate that AWP indeed brings flatter weight loss landscape and can be easily incorporated into various existing adversarial training methods to further boost their adversarial robustness.

深度神经网络（DNNS）最近在许多分类任务中取得了巨大的成功。不幸的是，它们容易受到对抗性攻击的影响，这些攻击会产生对抗性示例，这些示例具有很小的扰动，以欺骗DNN模型，尤其是在模型共享方案中。事实证明，对抗性训练是最有效的策略，它将对抗性示例注入模型训练中，以提高DNN模型的稳健性，以对对抗性攻击。但是，基于现有的对抗性示例的对抗训练无法很好地推广到标准，不受干扰的测试数据。为了在标准准确性和对抗性鲁棒性之间取得更好的权衡，我们提出了一个新型的对抗训练框架，称为潜在边界引导的对抗训练（梯子），该训练（梯子）在潜在的边界引导的对抗性示例上对对手进行对手训练DNN模型。与大多数在输入空间中生成对抗示例的现有方法相反，梯子通过增加对潜在特征的扰动而产生了无数的高质量对抗示例。扰动是沿SVM构建的具有注意机制的决策边界的正常情况进行的。我们从边界场的角度和可视化视图分析了生成的边界引导的对抗示例的优点。与Vanilla DNN和竞争性底线相比，对MNIST，SVHN，CELEBA和CIFAR-10的广泛实验和详细分析验证了梯子在标准准确性和对抗性鲁棒性之间取得更好的权衡方面的有效性。

Adversarial examples are perturbed inputs designed to fool machine learning models. Adversarial training injects such examples into training data to increase robustness. To scale this technique to large datasets, perturbations are crafted using fast single-step methods that maximize a linear approximation of the model's loss. We show that this form of adversarial training converges to a degenerate global minimum, wherein small curvature artifacts near the data points obfuscate a linear approximation of the loss. The model thus learns to generate weak perturbations, rather than defend against strong ones. As a result, we find that adversarial training remains vulnerable to black-box attacks, where we transfer perturbations computed on undefended models, as well as to a powerful novel single-step attack that escapes the non-smooth vicinity of the input data via a small random step. We further introduce Ensemble Adversarial Training, a technique that augments training data with perturbations transferred from other models. On ImageNet, Ensemble Adversarial Training yields models with stronger robustness to blackbox attacks. In particular, our most robust model won the first round of the NIPS 2017 competition on Defenses against Adversarial Attacks (Kurakin et al., 2017c). However, subsequent work found that more elaborate black-box attacks could significantly enhance transferability and reduce the accuracy of our models.

We present a new algorithm to learn a deep neural network model robust against adversarial attacks. Previous algorithms demonstrate an adversarially trained Bayesian Neural Network (BNN) provides improved robustness. We recognize the adversarial learning approach for approximating the multi-modal posterior distribution of a Bayesian model can lead to mode collapse; consequently, the model's achievements in robustness and performance are sub-optimal. Instead, we first propose preventing mode collapse to better approximate the multi-modal posterior distribution. Second, based on the intuition that a robust model should ignore perturbations and only consider the informative content of the input, we conceptualize and formulate an information gain objective to measure and force the information learned from both benign and adversarial training instances to be similar. Importantly. we prove and demonstrate that minimizing the information gain objective allows the adversarial risk to approach the conventional empirical risk. We believe our efforts provide a step toward a basis for a principled method of adversarially training BNNs. Our model demonstrate significantly improved robustness--up to 20%--compared with adversarial training and Adv-BNN under PGD attacks with 0.035 distortion on both CIFAR-10 and STL-10 datasets.

对抗性培训已被广泛用于增强神经网络模型对抗对抗攻击的鲁棒性。但是，自然准确性与强大的准确性之间仍有一个显着的差距。我们发现其中一个原因是常用的标签，单热量矢量，阻碍了图像识别的学习过程。在本文中，我们提出了一种称为低温蒸馏（LTD）的方法，该方法基于知识蒸馏框架来产生所需的软标记。与以前的工作不同，LTD在教师模型中使用相对较低的温度，采用不同但固定的，温度为教师模型和学生模型。此外，我们已经调查了有限公司协同使用自然数据和对抗性的方法。实验结果表明，在没有额外的未标记数据的情况下，所提出的方法与上一项工作相结合，可以分别在CiFar-10和CiFar-100数据集上实现57.72 \％和30.36 \％的鲁棒精度，这是州的大约1.21 \％通常的方法平均。

As acquiring manual labels on data could be costly, unsupervised domain adaptation (UDA), which transfers knowledge learned from a rich-label dataset to the unlabeled target dataset, is gaining increasing popularity. While extensive studies have been devoted to improving the model accuracy on target domain, an important issue of model robustness is neglected. To make things worse, conventional adversarial training (AT) methods for improving model robustness are inapplicable under UDA scenario since they train models on adversarial examples that are generated by supervised loss function. In this paper, we present a new meta self-training pipeline, named SRoUDA, for improving adversarial robustness of UDA models. Based on self-training paradigm, SRoUDA starts with pre-training a source model by applying UDA baseline on source labeled data and taraget unlabeled data with a developed random masked augmentation (RMA), and then alternates between adversarial target model training on pseudo-labeled target data and finetuning source model by a meta step. While self-training allows the direct incorporation of AT in UDA, the meta step in SRoUDA further helps in mitigating error propagation from noisy pseudo labels. Extensive experiments on various benchmark datasets demonstrate the state-of-the-art performance of SRoUDA where it achieves significant model robustness improvement without harming clean accuracy. Code is available at https://github.com/Vision.

评估防御模型的稳健性是对抗对抗鲁棒性研究的具有挑战性的任务。僵化的渐变，先前已经发现了一种梯度掩蔽，以许多防御方法存在并导致鲁棒性的错误信号。在本文中，我们确定了一种更细微的情况，称为不平衡梯度，也可能导致过高的对抗性鲁棒性。当边缘损耗的一个术语的梯度主导并将攻击朝向次优化方向推动时，发生不平衡梯度的现象。为了利用不平衡的梯度，我们制定了分解利润率损失的边缘分解（MD）攻击，并通过两阶段过程分别探讨了这些术语的攻击性。我们还提出了一个Multared和Ensemble版本的MD攻击。通过调查自2018年以来提出的17个防御模型，我们发现6种型号易受不平衡梯度的影响，我们的MD攻击可以减少由最佳基线独立攻击评估的鲁棒性另外2％。我们还提供了对不平衡梯度的可能原因和有效对策的深入分析。