深度神经网络具有强大的功能，但它们也有缺点，例如它们对对抗性例子，噪音，模糊，遮挡等的敏感性。先前提出了许多以前的工作来提高特定的鲁棒性。但是，我们发现，在神经网络模型的额外鲁棒性或概括能力的牺牲下，通常会提高特定的鲁棒性。特别是，在改善对抗性鲁棒性时，对抗性训练方法在不受干扰的数据上严重损害了对不受干扰数据的概括性能。在本文中，我们提出了一种称为AugRmixat的新数据处理和培训方法，该方法可以同时提高神经网络模型的概括能力和多重鲁棒性。最后，我们验证了AUGRMIXAT对CIFAR-10/100和Tiny-Imagenet数据集的有效性。实验表明，Augrmixat可以改善模型的概括性能，同时增强白色框的鲁棒性，黑盒鲁棒性，常见的损坏鲁棒性和部分遮挡鲁棒性。

对抗性例子的现象说明了深神经网络最基本的漏洞之一。在推出这一固有的弱点的各种技术中，对抗性训练已成为学习健壮模型的最有效策略。通常，这是通过平衡强大和自然目标来实现的。在这项工作中，我们旨在通过执行域不变的功能表示，进一步优化鲁棒和标准准确性之间的权衡。我们提出了一种新的对抗训练方法，域不变的对手学习（DIAL），该方法学习了一个既健壮又不变的功能表示形式。拨盘使用自然域及其相应的对抗域上的域对抗神经网络（DANN）的变体。在源域由自然示例组成和目标域组成的情况下，是对抗性扰动的示例，我们的方法学习了一个被限制的特征表示，以免区分自然和对抗性示例，因此可以实现更强大的表示。拨盘是一种通用和模块化技术，可以轻松地将其纳入任何对抗训练方法中。我们的实验表明，将拨号纳入对抗训练过程中可以提高鲁棒性和标准精度。

深度卷积神经网络（CNN）很容易被输入图像的细微，不可察觉的变化所欺骗。为了解决此漏洞，对抗训练会创建扰动模式，并将其包括在培训设置中以鲁棒性化模型。与仅使用阶级有限信息的现有对抗训练方法（例如，使用交叉渗透损失）相反，我们建议利用功能空间中的其他信息来促进更强的对手，这些信息又用于学习强大的模型。具体来说，我们将使用另一类的目标样本的样式和内容信息以及其班级边界信息来创建对抗性扰动。我们以深入监督的方式应用了我们提出的多任务目标，从而提取了多尺度特征知识，以创建最大程度地分开对手。随后，我们提出了一种最大边缘对抗训练方法，该方法可最大程度地减少源图像与其对手之间的距离，并最大程度地提高对手和目标图像之间的距离。与最先进的防御能力相比，我们的对抗训练方法表明了强大的鲁棒性，可以很好地推广到自然发生的损坏和数据分配变化，并保留了清洁示例的模型准确性。

对抗性的鲁棒性已经成为深度学习的核心目标，无论是在理论和实践中。然而，成功的方法来改善对抗的鲁棒性（如逆势训练）在不受干扰的数据上大大伤害了泛化性能。这可能会对对抗性鲁棒性如何影响现实世界系统的影响（即，如果它可以提高未受干扰的数据的准确性），许多人可能选择放弃鲁棒性）。我们提出内插对抗培训，该培训最近雇用了在对抗培训框架内基于插值的基于插值的培训方法。在CiFar -10上，对抗性训练增加了标准测试错误（当没有对手时）从4.43％到12.32％，而我们的内插对抗培训我们保留了对抗性的鲁棒性，同时实现了仅6.45％的标准测试误差。通过我们的技术，强大模型标准误差的相对增加从178.1％降至仅为45.5％。此外，我们提供内插对抗性培训的数学分析，以确认其效率，并在鲁棒性和泛化方面展示其优势。

Modern deep neural networks can achieve high accuracy when the training distribution and test distribution are identically distributed, but this assumption is frequently violated in practice. When the train and test distributions are mismatched, accuracy can plummet. Currently there are few techniques that improve robustness to unforeseen data shifts encountered during deployment. In this work, we propose a technique to improve the robustness and uncertainty estimates of image classifiers. We propose AUGMIX, a data processing technique that is simple to implement, adds limited computational overhead, and helps models withstand unforeseen corruptions. AUGMIX significantly improves robustness and uncertainty measures on challenging image classification benchmarks, closing the gap between previous methods and the best possible performance in some cases by more than half.

对抗训练（AT）在防御对抗例子方面表现出色。最近的研究表明，示例对于AT期间模型的最终鲁棒性并不同样重要，即，所谓的硬示例可以攻击容易表现出比对最终鲁棒性的鲁棒示例更大的影响。因此，保证硬示例的鲁棒性对于改善模型的最终鲁棒性至关重要。但是，定义有效的启发式方法来寻找辛苦示例仍然很困难。在本文中，受到信息瓶颈（IB）原则的启发，我们发现了一个具有高度共同信息及其相关的潜在表示的例子，更有可能受到攻击。基于此观察，我们提出了一种新颖有效的对抗训练方法（Infoat）。鼓励Infoat找到具有高相互信息的示例，并有效利用它们以提高模型的最终鲁棒性。实验结果表明，与几种最先进的方法相比，Infoat在不同数据集和模型之间达到了最佳的鲁棒性。

现代神经网络Excel在图像分类中，但它们仍然容易受到常见图像损坏，如模糊，斑点噪音或雾。最近的方法关注这个问题，例如Augmix和Deepaulment，引入了在预期运行的防御，以期望图像损坏分布。相比之下，$ \ ell_p $ -norm界限扰动的文献侧重于针对最坏情况损坏的防御。在这项工作中，我们通过提出防范内人来调和两种方法，这是一种优化图像到图像模型的参数来产生对外损坏的增强图像的技术。我们理论上激发了我们的方法，并为其理想化版本的一致性以及大纲领提供了足够的条件。我们的分类机器在预期对CiFar-10-C进行的常见图像腐败基准上提高了最先进的，并改善了CIFAR-10和ImageNet上的$ \ ell_p $ -norm有界扰动的最坏情况性能。

为了应对对抗性实例的威胁，对抗性培训提供了一种有吸引力的选择，可以通过在线增强的对抗示例中的培训模型提高模型稳健性。然而，大多数现有的对抗训练方法通过强化对抗性示例来侧重于提高鲁棒的准确性，但忽略了天然数据和对抗性实施例之间的增加，导致自然精度急剧下降。为了维持自然和强大的准确性之间的权衡，我们从特征适应的角度缓解了转变，并提出了一种特征自适应对抗训练（FAAT），这些培训（FAAT）跨越自然数据和对抗示例优化类条件特征适应。具体而言，我们建议纳入一类条件鉴别者，以鼓励特征成为（1）类鉴别的和（2）不变导致对抗性攻击的变化。新型的FAAT框架通过在天然和对抗数据中产生具有类似分布的特征来实现自然和强大的准确性之间的权衡，并实现从类鉴别特征特征中受益的更高的整体鲁棒性。在各种数据集上的实验表明，FAAT产生更多辨别特征，并对最先进的方法表现有利。代码在https://github.com/visionflow/faat中获得。

对抗性训练遭受了稳健的过度装备，这是一种现象，在训练期间鲁棒测试精度开始减少。在本文中，我们专注于通过使用常见的数据增强方案来减少强大的过度装备。我们证明，与先前的发现相反，当与模型重量平均结合时，数据增强可以显着提高鲁棒精度。此外，我们比较各种增强技术，并观察到空间组合技术适用于对抗性培训。最后，我们评估了我们在Cifar-10上的方法，而不是$ \ ell_ indty $和$ \ ell_2 $ norm-indeded扰动分别为尺寸$ \ epsilon = 8/255 $和$ \ epsilon = 128/255 $。与以前的最先进的方法相比，我们表现出+ 2.93％的绝对改善+ 2.93％，+ 2.16％。特别是，反对$ \ ell_ infty $ norm-indeded扰动尺寸$ \ epsilon = 8/255 $，我们的模型达到60.07％的强劲准确性而不使用任何外部数据。我们还通过这种方法实现了显着的性能提升，同时使用其他架构和数据集如CiFar-100，SVHN和TinyimageNet。

最近的研究表明，对对抗性攻击的鲁棒性可以跨网络转移。换句话说，在强大的教师模型的帮助下，我们可以使模型更加强大。我们问是否从静态教师那里学习，可以模特“学习”和“互相教导”来实现更好的稳健性？在本文中，我们研究模型之间的相互作用如何通过知识蒸馏来影响鲁棒性。我们提出了互联土训练（垫子），其中多种模型一起培训并分享对抗性示例的知识，以实现改善的鲁棒性。垫允许强大的模型来探索更大的对抗样本空间，并找到更强大的特征空间和决策边界。通过对CIFAR-10和CIFAR-100的广泛实验，我们证明垫可以在白盒攻击下有效地改善模型稳健性和最优异的现有方法，使$ \ SIM为8％的准确性增益对香草对抗培训（在PGD-100袭击下。此外，我们表明垫子还可以在不同的扰动类型中减轻鲁棒性权衡，从$ l_ \ infty $，$ l_2 $和$ l_1 $攻击中带来基线的基线。这些结果表明了该方法的优越性，并证明协作学习是设计强大模型的有效策略。

Adversarial training, in which a network is trained on adversarial examples, is one of the few defenses against adversarial attacks that withstands strong attacks. Unfortunately, the high cost of generating strong adversarial examples makes standard adversarial training impractical on large-scale problems like ImageNet. We present an algorithm that eliminates the overhead cost of generating adversarial examples by recycling the gradient information computed when updating model parameters.Our "free" adversarial training algorithm achieves comparable robustness to PGD adversarial training on the CIFAR-10 and CIFAR-100 datasets at negligible additional cost compared to natural training, and can be 7 to 30 times faster than other strong adversarial training methods. Using a single workstation with 4 P100 GPUs and 2 days of runtime, we can train a robust model for the large-scale ImageNet classification task that maintains 40% accuracy against PGD attacks. The code is available at https://github.com/ashafahi/free_adv_train.

数据增强是一种提高深神经网络（DNN）的鲁棒性的简单而有效的方法。多样性和硬度是数据增强的两个互补维度，以实现稳健性。例如，Augmix探讨了各种增强套的随机组成，以增强更广泛的覆盖，而对抗性培训产生过态度硬质样品以发现弱点。通过此激励，我们提出了一个数据增强框架，被称为奥古曼克，统一多样性和硬度的两个方面。 Augmax首先将多个增强运算符进行随机样本，然后学习所选操作员的对抗性混合物。作为更强大的数据增强形式，奥格梅纳队导致了一个明显的增强输入分布，使模型培训更具挑战性。为了解决这个问题，我们进一步设计了一个解散的归一化模块，称为Dubin（双批次和实例规范化），其解除了奥古曼克斯出现的实例 - 明智的特征异质性。实验表明，Augmax-Dubin将显着改善分配的鲁棒性，优于现有技术，在CiFar10-C，CiFar100-C，微小Imagenet-C和Imagenet-C上以3.03％，3.49％，1.82％和0.71％。可提供代码和预磨料模型：https://github.com/vita-group/augmax。

作为反对攻击的最有效的防御方法之一，对抗性训练倾向于学习包容性的决策边界，以提高深度学习模型的鲁棒性。但是，由于沿对抗方向的边缘的大幅度和不必要的增加，对抗性训练会在自然实例和对抗性示例之间引起严重的交叉，这不利于平衡稳健性和自然准确性之间的权衡。在本文中，我们提出了一种新颖的对抗训练计划，以在稳健性和自然准确性之间进行更好的权衡。它旨在学习一个中度包容的决策边界，这意味着决策边界下的自然示例的边缘是中等的。我们称此方案为中等边缘的对抗训练（MMAT），该方案生成更细粒度的对抗示例以减轻交叉问题。我们还利用了经过良好培训的教师模型的逻辑来指导我们的模型学习。最后，MMAT在Black-Box和White-Box攻击下都可以实现高自然的精度和鲁棒性。例如，在SVHN上，实现了最新的鲁棒性和自然精度。

The study on improving the robustness of deep neural networks against adversarial examples grows rapidly in recent years. Among them, adversarial training is the most promising one, which flattens the input loss landscape (loss change with respect to input) via training on adversarially perturbed examples. However, how the widely used weight loss landscape (loss change with respect to weight) performs in adversarial training is rarely explored. In this paper, we investigate the weight loss landscape from a new perspective, and identify a clear correlation between the flatness of weight loss landscape and robust generalization gap. Several well-recognized adversarial training improvements, such as early stopping, designing new objective functions, or leveraging unlabeled data, all implicitly flatten the weight loss landscape. Based on these observations, we propose a simple yet effective Adversarial Weight Perturbation (AWP) to explicitly regularize the flatness of weight loss landscape, forming a double-perturbation mechanism in the adversarial training framework that adversarially perturbs both inputs and weights. Extensive experiments demonstrate that AWP indeed brings flatter weight loss landscape and can be easily incorporated into various existing adversarial training methods to further boost their adversarial robustness.

深度神经网络（DNN）容易受到对抗性示例的影响，其中DNN由于含有不可察觉的扰动而被误导为虚假输出。对抗性训练是一种可靠有效的防御方法，可能会大大减少神经网络的脆弱性，并成为强大学习的事实上的标准。尽管许多最近的作品实践了以数据为中心的理念，例如如何生成更好的对抗性示例或使用生成模型来产生额外的培训数据，但我们回顾了模型本身，并从深度特征分布的角度重新审视对抗性的鲁棒性有见地的互补性。在本文中，我们建议分支正交性对抗训练（BORT）获得最先进的性能，仅使用原始数据集用于对抗训练。为了练习我们整合多个正交解决方案空间的设计思想，我们利用一个简单明了的多分支神经网络，可消除对抗性攻击而不会增加推理时间。我们启发提出相应的损耗函数，分支 - 正交丢失，以使多支出模型正交的每个溶液空间。我们分别在CIFAR-10，CIFAR-100和SVHN上评估了我们的方法，分别针对\ ell _ {\ infty}的规范触发尺寸\ epsilon = 8/255。进行了详尽的实验，以表明我们的方法超出了所有最新方法，而无需任何技巧。与所有不使用其他数据进行培训的方法相比，我们的模型在CIFAR-10和CIFAR-100上实现了67.3％和41.5％的鲁棒精度（在最先进的ART上提高了 +7.23％和 +9.07％ ）。我们还使用比我们的训练组胜过比我们的方法的表现要大得多。我们所有的模型和代码均可在https://github.com/huangd1999/bort上在线获得。

在过去的几年中，卷积神经网络（CNN）一直是广泛的计算机视觉任务中的主导神经架构。从图像和信号处理的角度来看，这一成功可能会令人惊讶，因为大多数CNN的固有空间金字塔设计显然违反了基本的信号处理法，即在其下采样操作中对定理进行采样。但是，由于不良的采样似乎不影响模型的准确性，因此在模型鲁棒性开始受到更多关注之前，该问题已被广泛忽略。最近的工作[17]在对抗性攻击和分布变化的背景下，毕竟表明，CNN的脆弱性与不良下降采样操作引起的混叠伪像之间存在很强的相关性。本文以这些发现为基础，并引入了一个可混合的免费下采样操作，可以轻松地插入任何CNN体系结构：频lowcut池。我们的实验表明，结合简单而快速的FGSM对抗训练，我们的超参数无操作员显着提高了模型的鲁棒性，并避免了灾难性的过度拟合。

改善深度神经网络（DNN）对抗对抗示例的鲁棒性是安全深度学习的重要而挑战性问题。跨越现有的防御技术，具有预计梯度体面（PGD）的对抗培训是最有效的。对手训练通过最大化分类丢失，通过最大限度地减少从内在最大化生成的逆势示例的丢失来解决\ excepitient {内部最大化}生成侵略性示例的初始最大优化问题。 。因此，衡量内部最大化的衡量标准是如何对对抗性培训至关重要的。在本文中，我们提出了这种标准，即限制优化（FOSC）的一阶静止条件，以定量评估内部最大化中发现的对抗性实例的收敛质量。通过FOSC，我们发现，为了确保更好的稳健性，必须在培训的\ Texit {稍后的阶段}中具有更好的收敛质量的对抗性示例。然而，在早期阶段，高收敛质量的对抗例子不是必需的，甚至可能导致稳健性差。基于这些观察，我们提出了一种\ Texit {动态}培训策略，逐步提高产生的对抗性实例的收敛质量，这显着提高了对抗性培训的鲁棒性。我们的理论和经验结果表明了该方法的有效性。

对抗性培训（AT）被认为是对抗对抗攻击最可靠的防御之一。然而，模型培训以牺牲标准精度，并不概括为新的攻击。最近的作用表明，在新型威胁模型中的新威胁模型或神经感知威胁模型中，对普遍威胁模型的对抗样本进行了泛化改进。然而，前者需要确切的流形信息，而后者需要算法放松。通过这些考虑因素，我们利用了具有规范化流的底层歧管信息，确保了确切的歧管的假设保持。此外，我们提出了一种名为联合空间威胁模型（JSTM）的新型威胁模型，其可以作为神经感知威胁模型的特殊情况，这些威胁模型不需要额外放松来制作相应的对抗性攻击。在JSTM下，我们培养了新的对抗性攻击和防御。混合策略提高了神经网络的标准准确性，但与AT结合时牺牲了鲁棒性。为了解决这个问题，我们提出了强大的混合策略，其中我们最大限度地提高了内插图像的逆境，并获得了鲁棒性和预装配。我们的实验表明，内插关节空间对抗性训练（IJSAT）在CiFar-10/100，Om-ImageNet和CiFar-10-C数据集中实现了标准精度，鲁棒性和泛化的良好性能。 IJSAT也是灵活的，可以用作数据增强方法，以提高标准精度，并与诸多换取以提高鲁棒性的方法相结合。

Adversarial examples are commonly viewed as a threat to ConvNets. Here we present an opposite perspective: adversarial examples can be used to improve image recognition models if harnessed in the right manner. We propose AdvProp, an enhanced adversarial training scheme which treats adversarial examples as additional examples, to prevent overfitting. Key to our method is the usage of a separate auxiliary batch norm for adversarial examples, as they have different underlying distributions to normal examples.We show that AdvProp improves a wide range of models on various image recognition tasks and performs better when the models are bigger. For instance, by applying AdvProp to the latest EfficientNet-B7 [41] on ImageNet, we achieve significant improvements on ImageNet (+0.7%), ImageNet-C (+6.5%), ImageNet-A (+7.0%) and Stylized-ImageNet (+4.8%). With an enhanced EfficientNet-B8, our method achieves the state-of-the-art 85.5% ImageNet top-1 accuracy without extra data. This result even surpasses the best model in [24] which is trained with 3.5B Instagram images (∼3000× more than ImageNet) and ∼9.4× more parameters. Models are available at https://github.com/tensorflow/tpu/tree/ master/models/official/efficientnet.

虽然深度神经网络（DNN）在许多真实的任务中实现了出色的性能，但它们非常容易受到对抗的攻击。对抗这种攻击的主要防御是对抗的，一种技术，通过将对抗噪声引入其输入来训练DNN培训以训练为对抗性攻击的技术。此程序是有效的，但必须在培训阶段进行。在这项工作中，我们提出了增强随机森林（ARF），这是一个简单易用的策略，用于在不修改其权重的情况下强化现有的预磨损DNN。对于每个图像，我们通过应用不同颜色，模糊，噪声和几何变换来生成随机测试时间增强。然后我们使用DNN的Logits输出来训练一个简单的随机林来预测真正的类标签。我们的方法在自然图像的分类上最小的妥协，实现了最先进的对抗鲁棒性对白和黑匣子攻击的多样性。我们也针对许多适应性的白盒攻击测试ARF，并在与对抗训练结合时显示出优异的结果。代码可在https://github.com/giladcohen/arf获得。