积极的数据增强是视觉变压器（VIT）的强大泛化能力的关键组成部分。一种这样的数据增强技术是对抗性培训;然而，许多先前的作品表明，这通常会导致清洁的准确性差。在这项工作中，我们展示了金字塔对抗训练，这是一种简单有效的技术来提高韦维尔的整体性能。我们将其与“匹配”辍学和随机深度正则化配对，这采用了干净和对抗样品的相同辍学和随机深度配置。类似于Advprop的CNNS的改进（不直接适用于VIT），我们的金字塔对抗性训练会破坏分销准确性和vit和相关架构的分配鲁棒性之间的权衡。当Imagenet-1K数据训练时，它导致ImageNet清洁准确性的182美元的vit-B模型的精确度，同时由7美元的稳健性指标同时提高性能，从$ 1.76 \％$至11.45 \％$。我们为Imagenet-C（41.4 MCE），Imagenet-R（$ 53.92 \％$），以及Imagenet-Sketch（41.04美元\％$）的新的最先进，只使用vit-b / 16骨干和我们的金字塔对抗训练。我们的代码将在接受时公开提供。

Adversarial examples are commonly viewed as a threat to ConvNets. Here we present an opposite perspective: adversarial examples can be used to improve image recognition models if harnessed in the right manner. We propose AdvProp, an enhanced adversarial training scheme which treats adversarial examples as additional examples, to prevent overfitting. Key to our method is the usage of a separate auxiliary batch norm for adversarial examples, as they have different underlying distributions to normal examples.We show that AdvProp improves a wide range of models on various image recognition tasks and performs better when the models are bigger. For instance, by applying AdvProp to the latest EfficientNet-B7 [41] on ImageNet, we achieve significant improvements on ImageNet (+0.7%), ImageNet-C (+6.5%), ImageNet-A (+7.0%) and Stylized-ImageNet (+4.8%). With an enhanced EfficientNet-B8, our method achieves the state-of-the-art 85.5% ImageNet top-1 accuracy without extra data. This result even surpasses the best model in [24] which is trained with 3.5B Instagram images (∼3000× more than ImageNet) and ∼9.4× more parameters. Models are available at https://github.com/tensorflow/tpu/tree/ master/models/official/efficientnet.

在本文中，我们询问视觉变形金刚（VIT）是否可以作为改善机器学习模型对抗逃避攻击的对抗性鲁棒性的基础结构。尽管较早的作品集中在改善卷积神经网络上，但我们表明VIT也非常适合对抗训练以实现竞争性能。我们使用自定义的对抗训练配方实现了这一目标，该配方是在Imagenet数据集的一部分上使用严格的消融研究发现的。与卷积相比，VIT的规范培训配方建议强大的数据增强，部分是为了补偿注意力模块的视力归纳偏置。我们表明，该食谱在用于对抗训练时可实现次优性能。相比之下，我们发现省略所有重型数据增强，并添加一些额外的零件（$ \ varepsilon $ -Warmup和更大的重量衰减），从而大大提高了健壮的Vits的性能。我们表明，我们的配方在完整的Imagenet-1k上概括了不同类别的VIT体系结构和大规模模型。此外，调查了模型鲁棒性的原因，我们表明，在使用我们的食谱时，在训练过程中产生强烈的攻击更加容易，这会在测试时提高鲁棒性。最后，我们通过提出一种量化对抗性扰动的语义性质并强调其与模型的鲁棒性的相关性来进一步研究对抗训练的结果。总体而言，我们建议社区应避免将VIT的规范培训食谱转换为在对抗培训的背景下进行强大的培训和重新思考常见的培训选择。

变压器模型在处理各种视觉任务方面表现出了有希望的有效性。但是，与训练卷积神经网络（CNN）模型相比，训练视觉变压器（VIT）模型更加困难，并且依赖于大规模训练集。为了解释这一观察结果，我们做出了一个假设，即\ textit {vit模型在捕获图像的高频组件方面的有效性较小，而不是CNN模型}，并通过频率分析对其进行验证。受这一发现的启发，我们首先研究了现有技术从新的频率角度改进VIT模型的影响，并发现某些技术（例如，randaugment）的成功可以归因于高频组件的更好使用。然后，为了补偿这种不足的VIT模型能力，我们提出了HAT，该HAT可以通过对抗训练直接增强图像的高频组成部分。我们表明，HAT可以始终如一地提高各种VIT模型的性能（例如VIT-B的 +1.2％，Swin-B的 +0.5％），尤其是提高了仅使用Imagenet-的高级模型Volo-D5至87.3％ 1K数据，并且优势也可以维持在分发数据的数据上，并转移到下游任务。该代码可在以下网址获得：https：//github.com/jiawangbai/hat。

对抗性训练遭受了稳健的过度装备，这是一种现象，在训练期间鲁棒测试精度开始减少。在本文中，我们专注于通过使用常见的数据增强方案来减少强大的过度装备。我们证明，与先前的发现相反，当与模型重量平均结合时，数据增强可以显着提高鲁棒精度。此外，我们比较各种增强技术，并观察到空间组合技术适用于对抗性培训。最后，我们评估了我们在Cifar-10上的方法，而不是$ \ ell_ indty $和$ \ ell_2 $ norm-indeded扰动分别为尺寸$ \ epsilon = 8/255 $和$ \ epsilon = 128/255 $。与以前的最先进的方法相比，我们表现出+ 2.93％的绝对改善+ 2.93％，+ 2.16％。特别是，反对$ \ ell_ infty $ norm-indeded扰动尺寸$ \ epsilon = 8/255 $，我们的模型达到60.07％的强劲准确性而不使用任何外部数据。我们还通过这种方法实现了显着的性能提升，同时使用其他架构和数据集如CiFar-100，SVHN和TinyimageNet。

我们表明，将人类的先验知识与端到端学习相结合可以通过引入基于零件的对象分类模型来改善深神经网络的鲁棒性。我们认为，更丰富的注释形式有助于指导神经网络学习更多可靠的功能，而无需更多的样本或更大的模型。我们的模型将零件分割模型与一个微小的分类器结合在一起，并经过训练的端到端，以同时将对象分割为各个部分，然后对分段对象进行分类。从经验上讲，与所有三个数据集的Resnet-50基线相比，我们的基于部分的模型既具有更高的精度和更高的对抗性鲁棒性。例如，鉴于相同的鲁棒性，我们部分模型的清洁准确性高达15个百分点。我们的实验表明，这些模型还减少了纹理偏见，并对共同的腐败和虚假相关性产生更好的鲁棒性。该代码可在https://github.com/chawins/adv-part-model上公开获得。

对共同腐败的稳健性的文献表明对逆势培训是否可以提高这种环境的性能，没有达成共识。 First, we show that, when used with an appropriately selected perturbation radius, $\ell_p$ adversarial training can serve as a strong baseline against common corruptions improving both accuracy and calibration.然后，我们解释了为什么对抗性训练比具有简单高斯噪声的数据增强更好地表现，这被观察到是对共同腐败的有意义的基线。与此相关，我们确定了高斯增强过度适用于用于培训的特定标准偏差的$ \ sigma $ -oviting现象，这对培训具有显着不利影响的普通腐败精度。我们讨论如何缓解这一问题，然后如何通过学习的感知图像贴片相似度引入对抗性训练的有效放松来进一步增强$ \ ell_p $普发的培训。通过对CiFar-10和Imagenet-100的实验，我们表明我们的方法不仅改善了$ \ ell_p $普发的培训基线，而且还有累积的收益与Augmix，Deepaulment，Ant和Sin等数据增强方法，导致普通腐败的最先进的表现。我们的实验代码在HTTPS://github.com/tml-epfl/adv-training - 窗子上公开使用。

对抗性培训是生产模型的行业标准，对小对抗扰动具有鲁棒性。然而，机器学习从业者需要对自然发生的其他类型的变化具有强大的模型，例如输入图像的样式或照明的变化。输入分布的这种变化已经有效地建模为深度图像特征的平均值和方差的变化。我们通过直接扰动特征统计而不是图像像素来调整对抗性训练，以生产对各种看不见分布偏移的稳健的模型。通过可视化对抗特征，我们探讨了这些扰动和分布转变之间的关系。我们提出的方法，对抗批量归一化（ADVBN）是一种网络层，在训练期间产生最坏情况的扰动。通过微调对抗性特征分布的神经网络，我们观察到对各种看不见的分布转移的网络的改进的鲁棒性，包括风格变化和图像损坏。此外，我们表明，我们提出的对抗特征扰动可以与现有的图像空间数据增强方法互补，从而提高性能。源代码和预先训练的型号在\ url {https://github.com/azshue/advbn}释放。

对抗性训练（AT）通常被认为是防御对抗性例子的最有效的方法之一，可能会在很大程度上损害标准绩效，因此对工业规模的生产和应用的有用性有限。令人惊讶的是，这种现象在自然语言处理（NLP）任务中完全相反，在该任务中甚至可以从中受益。我们注意到NLP任务中AT的优点可能来自离散和符号输入空间。为了借用NLP风格的优势，我们提出了离散的对抗训练（DAT）。 DAT利用VQGAN改革图像数据以离散类似文本的输入，即视觉单词。然后，它可以最大程度地减少这种离散图像的最大风险，并具有符号对抗扰动。我们从分布的角度进一步提供了解释，以证明DAT的有效性。作为增强视觉表示的插件技术，DAT可以在多个任务上取得重大改进，包括图像分类，对象检测和自我监督学习。尤其是，该模型通过胶带自动编码（MAE）预先训练并由我们的DAT进行微调，而没有额外的数据可以在Imagenet-C上获得31.40 MCE，并且在Stylized-Imagenet上进行了32.77％的TOP-1准确性，建立了新的状态 - 艺术。该代码将在https://github.com/alibaba/easyrobust上找到。

变压器出现为可视识别的强大工具。除了在广泛的视觉基准上展示竞争性能外，最近的作品还争辩说，变形金刚比卷曲神经网络（CNNS）更强大。令人惊讶的是，我们发现这些结论是从不公平的实验设置中得出的，其中变压器和CNN在不同的尺度上比较，并用不同的训练框架应用。在本文中，我们的目标是在变压器和CNN之间提供第一个公平和深入的比较，重点是鲁棒性评估。通过我们的统一培训设置，我们首先挑战以前的信念，使得在衡量对抗性鲁棒性时越来越多的CNN。更令人惊讶的是，如果他们合理地采用变形金刚的培训食谱，我们发现CNNS可以很容易地作为捍卫对抗性攻击的变形金刚。在关于推广样本的泛化的同时，我们显示了对（外部）大规模数据集的预训练不是对实现变压器来实现比CNN更好的性能的根本请求。此外，我们的消融表明，这种更强大的概括主要受到变压器的自我关注架构本身的影响，而不是通过其他培训设置。我们希望这项工作可以帮助社区更好地理解和基准变压器和CNN的鲁棒性。代码和模型在https://github.com/ytongbai/vits-vs-cnns上公开使用。

视觉变压器（VIV）被涌现为图像识别的最先进的架构。虽然最近的研究表明，VITS比卷积对应物更强大，但我们的实验发现，VITS过度依赖于局部特征（例如，滋扰和质地），并且不能充分使用全局背景（例如，形状和结构）。因此，VIT不能概括到分销，现实世界数据。为了解决这一缺陷，我们通过添加由矢量量化编码器产生的离散令牌来向Vit的输入层提出简单有效的架构修改。与标准的连续像素令牌不同，离散令牌在小扰动下不变，并且单独包含较少的信息，这促进了VITS学习不变的全局信息。实验结果表明，在七种想象中的鲁棒性基准中增加了四个架构变体上的离散表示，在七个想象中心坚固的基准中加强了高达12％的鲁棒性，同时保持了在想象成上的性能。

由多种自我关注层组成的变压器，对适用于不同数据方式的通用学习原语，包括计算机视觉最新（SOTA）标准准确性的近期突破。什么仍然很大程度上未开发，是他们的稳健性评估和归因。在这项工作中，我们研究了视觉变压器（VIT）对共同腐败和扰动，分布换算和自然对抗例的鲁棒性。我们使用六种不同的多样化想象数据集关于强大的分类，进行vit模型和Sota卷积神经网络（CNNS）的全面性能比较，大转移。通过一系列系统地设计的实验，我们提供了分析，这些分析提供了定量和定性迹象，以解释为什么VITS确实更强大的学习者。例如，对于更少的参数和类似的数据集和预训练组合，VIT在ImageNet-A上给出了28.10％的前1个精度，这是比一位的可比较变体高4.3x。我们对图像掩蔽，傅里叶谱灵敏度和传播的分析，在离散余弦能量谱上揭示了Vit归属于改善鲁棒性的损伤性能。再现我们的实验的代码可在https://git.io/j3vo0上获得。

人类严重依赖于形状信息来识别对象。相反，卷积神经网络（CNNS）偏向于纹理。这也许是CNNS易受对抗性示例的影响的主要原因。在这里，我们探索如何将偏差纳入CNN，以提高其鲁棒性。提出了两种算法，基于边缘不变，以中等难以察觉的扰动。在第一个中，分类器在具有边缘图作为附加信道的图像上进行前列地培训。在推断时间，边缘映射被重新计算并连接到图像。在第二算法中，训练了条件GaN，以将边缘映射从干净和/或扰动图像转换为清洁图像。推断在与输入的边缘图对应的生成图像上完成。超过10个数据集的广泛实验证明了算法对FGSM和$ \ ELL_ infty $ PGD-40攻击的有效性。此外，我们表明a）边缘信息还可以使其他对抗训练方法有益，并且B）在边缘增强输入上培训的CNNS对抗自然图像损坏，例如运动模糊，脉冲噪声和JPEG压缩，而不是仅培训的CNNS RGB图像。从更广泛的角度来看，我们的研究表明，CNN不会充分占对鲁棒性至关重要的图像结构。代码可用：〜\ url {https://github.com/aliborji/shapedefense.git}。

在过去的几年中，卷积神经网络（CNN）一直是广泛的计算机视觉任务中的主导神经架构。从图像和信号处理的角度来看，这一成功可能会令人惊讶，因为大多数CNN的固有空间金字塔设计显然违反了基本的信号处理法，即在其下采样操作中对定理进行采样。但是，由于不良的采样似乎不影响模型的准确性，因此在模型鲁棒性开始受到更多关注之前，该问题已被广泛忽略。最近的工作[17]在对抗性攻击和分布变化的背景下，毕竟表明，CNN的脆弱性与不良下降采样操作引起的混叠伪像之间存在很强的相关性。本文以这些发现为基础，并引入了一个可混合的免费下采样操作，可以轻松地插入任何CNN体系结构：频lowcut池。我们的实验表明，结合简单而快速的FGSM对抗训练，我们的超参数无操作员显着提高了模型的鲁棒性，并避免了灾难性的过度拟合。

视觉变压器（VIT）已被证明可以在广泛的视觉应用中获得高度竞争性的性能，例如图像分类，对象检测和语义图像分割。与卷积神经网络相比，通常发现视觉变压器的较弱的电感偏差会在较小的培训数据集上培训时，会增加对模型正则化或数据增强的依赖（简称为“ AUGREG”）。我们进行了一项系统的实证研究，以便更好地了解培训数据，AUGREG，模型大小和计算预算之间的相互作用。作为这项研究的一个结果，我们发现增加的计算和AUGREG的组合可以产生与在数量级上训练的模型相同的训练数据的模型：我们在公共Imagenet-21K数据集中培训各种尺寸的VIT模型在较大的JFT-300M数据集上匹配或超越其对手的培训。

现代神经网络Excel在图像分类中，但它们仍然容易受到常见图像损坏，如模糊，斑点噪音或雾。最近的方法关注这个问题，例如Augmix和Deepaulment，引入了在预期运行的防御，以期望图像损坏分布。相比之下，$ \ ell_p $ -norm界限扰动的文献侧重于针对最坏情况损坏的防御。在这项工作中，我们通过提出防范内人来调和两种方法，这是一种优化图像到图像模型的参数来产生对外损坏的增强图像的技术。我们理论上激发了我们的方法，并为其理想化版本的一致性以及大纲领提供了足够的条件。我们的分类机器在预期对CiFar-10-C进行的常见图像腐败基准上提高了最先进的，并改善了CIFAR-10和ImageNet上的$ \ ell_p $ -norm有界扰动的最坏情况性能。

数据增强是一种提高深神经网络（DNN）的鲁棒性的简单而有效的方法。多样性和硬度是数据增强的两个互补维度，以实现稳健性。例如，Augmix探讨了各种增强套的随机组成，以增强更广泛的覆盖，而对抗性培训产生过态度硬质样品以发现弱点。通过此激励，我们提出了一个数据增强框架，被称为奥古曼克，统一多样性和硬度的两个方面。 Augmax首先将多个增强运算符进行随机样本，然后学习所选操作员的对抗性混合物。作为更强大的数据增强形式，奥格梅纳队导致了一个明显的增强输入分布，使模型培训更具挑战性。为了解决这个问题，我们进一步设计了一个解散的归一化模块，称为Dubin（双批次和实例规范化），其解除了奥古曼克斯出现的实例 - 明智的特征异质性。实验表明，Augmax-Dubin将显着改善分配的鲁棒性，优于现有技术，在CiFar10-C，CiFar100-C，微小Imagenet-C和Imagenet-C上以3.03％，3.49％，1.82％和0.71％。可提供代码和预磨料模型：https://github.com/vita-group/augmax。

自我监督的对比学习是学习无标签的视觉表示的强大工具。先前的工作主要集中于评估各种训练算法的识别精度，但忽略了其他行为方面。除了准确性外，分布鲁棒性在机器学习模型的可靠性中起着至关重要的作用。我们设计和进行一系列鲁棒性测试，以量化对比度学习与监督学习之间的行为差​​异，以使其下游或训练前数据分布变化。这些测试利用多个级别的数据损坏，范围从像素级伽马失真到补丁级的改组，再到数据集级别的分布变化。我们的测试揭示了对比度和监督学习的有趣鲁棒性行为。一方面，在下游腐败下，我们通常会观察到对比度学习比监督学习更强大。另一方面，在训练前的损坏下，我们发现对比度学习容易被补丁改组和像素强度变化，但对数据集级别的分布变化却不太敏感。我们试图通过数据增强和特征空间属性的作用来解释这些结果。我们的见解具有改善监督学习的下游鲁棒性的意义。

深度卷积神经网络（CNN）很容易被输入图像的细微，不可察觉的变化所欺骗。为了解决此漏洞，对抗训练会创建扰动模式，并将其包括在培训设置中以鲁棒性化模型。与仅使用阶级有限信息的现有对抗训练方法（例如，使用交叉渗透损失）相反，我们建议利用功能空间中的其他信息来促进更强的对手，这些信息又用于学习强大的模型。具体来说，我们将使用另一类的目标样本的样式和内容信息以及其班级边界信息来创建对抗性扰动。我们以深入监督的方式应用了我们提出的多任务目标，从而提取了多尺度特征知识，以创建最大程度地分开对手。随后，我们提出了一种最大边缘对抗训练方法，该方法可最大程度地减少源图像与其对手之间的距离，并最大程度地提高对手和目标图像之间的距离。与最先进的防御能力相比，我们的对抗训练方法表明了强大的鲁棒性，可以很好地推广到自然发生的损坏和数据分配变化，并保留了清洁示例的模型准确性。

对抗性训练（AT）捍卫深层神经网络免受对抗攻击。限制其实际应用的一个挑战是对干净样品的性能降解。以前的作品确定的主要瓶颈是广泛使用的批准化（BN），它努力为AT中的清洁和对抗训练样本的不同统计数据建模。尽管主要的方法是扩展BN以捕获这种分布的混合物，但我们建议通过去除AT中的所有BN层来完全消除这种瓶颈。我们的无标准器稳健训练（NOFROST）方法将无标准器网络的最新进展扩展到了AT，因为它在处理混合分配挑战方面未开发优势。我们表明，Nofrost在干净的样品准确性上只有轻微的牺牲才能实现对抗性的鲁棒性。在具有RESNET50的Imagenet上，Nofrost可实现$ 74.06 \％$清洁精度，从标准培训中降低了$ 2.00 \％$。相比之下，基于BN的基于BN的$ 59.28 \％$清洁准确性，从标准培训中获得了$ 16.78 \％$的大幅下降。此外，Nofrost在PGD Attack上达到了23.56美元的$ 23.56 \％$的对抗性，这提高了基于BN AT的13.57美元\％$ $鲁棒性。我们观察到更好的模型平滑度和来自Nofrost的较大决策边缘，这使得模型对输入扰动的敏感程度降低，从而更加健壮。此外，当将更多的数据增强纳入NOFROST时，它可以针对多个分配变化实现全面的鲁棒性。代码和预训练的模型在https://github.com/amazon-research/normalizer-free-robust-training上公开。