对抗性培训（AT）已成为一种广泛认可的防御机制，以提高深度神经网络对抗对抗攻击的鲁棒性。它解决了最小的最大优化问题，其中最小化器（即，后卫）寻求稳健的模型，以最小化由最大化器（即，攻击者）制成的对抗示例存在的最坏情况训练损失。然而，Min-Max的性质在计算密集并因此难以扩展。同时，快速算法，实际上，许多最近改进的算法，通过替换基于简单的单次梯度标志的攻击生成步骤来简化基于最大化步骤的最小值。虽然易于实施，快速缺乏理论保证，其实际表现可能是不令人满意的，患有强大的对手训练时的鲁棒性灾难性过度。在本文中，我们从双级优化（BLO）的角度来看，旨在快速设计。首先，首先进行关键观察，即快速at的最常用的算法规范等同于使用一些梯度下降型算法来解决涉及符号操作的双级问题。然而，标志操作的离散性使得难以理解算法的性能。基于上述观察，我们提出了一种新的遗传性双层优化问题，设计和分析了一组新的算法（快速蝙蝠）。 FAST-BAT能够捍卫基于符号的投影梯度下降（PGD）攻击，而无需调用任何渐变标志方法和明确的鲁棒正则化。此外，我们经验证明，通过在不诱导鲁棒性灾难性过度的情况下实现卓越的模型稳健性，或患有任何标准精度损失的稳健性，我们的方法优于最先进的快速基线。

到目前为止对抗训练是抵御对抗例子的最有效的策略。然而，由于每个训练步骤中的迭代对抗性攻击，它遭受了高的计算成本。最近的研究表明，通过随机初始化执行单步攻击，可以实现快速的对抗训练。然而，这种方法仍然落后于稳定性和模型稳健性的最先进的对手训练算法。在这项工作中，我们通过观察随机平滑的随机初始化来更好地优化内部最大化问题，对快速对抗培训进行新的理解。在这种新的视角之后，我们还提出了一种新的初始化策略，向后平滑，进一步提高单步强大培训方法的稳定性和模型稳健性。多个基准测试的实验表明，我们的方法在使用更少的训练时间（使用相同的培训计划时，使用更少的培训时间（$ \ sim $ 3x改进）时，我们的方法达到了类似的模型稳健性。

虽然多步逆势培训被广泛流行作为对抗强烈的对抗攻击的有效防御方法，但其计算成本与标准培训相比，其计算成本是众所周知的。已经提出了几种单步侵权培训方法来减轻上述开销费用;但是，根据优化设置，它们的性能并不能充分可靠。为了克服这些限制，我们偏离了现有的基于输入空间的对抗性培训制度，并提出了一种单步潜在培训方法（SLAT），其利用潜在的代表梯度作为潜在的对抗扰动。我们证明，与所采用的潜伏扰动，恢复局部线性度并确保与现有的单步逆势训练方法相比，恢复局部线性度并确保可靠性的特征梯度的L1规范。因为潜伏的扰动基于可以在输入梯度计算过程中免费获得的潜在表示的梯度，所以所提出的方法与快速梯度标志方法相当成本。实验结果表明，尽管其结构简单，但优于最先进的加速的对抗训练方法。

最大限度的训练原则，最大限度地减少最大的对抗性损失，也称为对抗性培训（AT），已被证明是一种提高对抗性鲁棒性的最先进的方法。尽管如此，超出了在对抗环境中尚未经过严格探索的最小最大优化。在本文中，我们展示了如何利用多个领域的最小最大优化的一般框架，以推进不同类型的对抗性攻击的设计。特别是，给定一组风险源，最小化最坏情况攻击损失可以通过引入在域集的概率单纯x上最大化的域权重来重新重整为最小最大问题。我们在三次攻击生成问题中展示了这个统一的框架 - 攻击模型集合，在多个输入下设计了通用扰动，并制作攻击对数据转换的弹性。广泛的实验表明，我们的方法导致对现有的启发式策略以及对培训的最先进的防御方法而言，鲁棒性改善，培训对多种扰动类型具有稳健。此外，我们发现，从我们的MIN-MAX框架中学到的自调整域权重可以提供整体工具来解释跨域攻击难度的攻击水平。代码可在https://github.com/wangjksjtu/minmaxsod中获得。

深度神经网络很容易被称为对抗攻击的小扰动都愚弄。对抗性培训（AT）是一种近似解决了稳健的优化问题，以最大限度地减少最坏情况损失，并且被广泛认为是对这种攻击的最有效的防御。由于产生了强大的对抗性示例的高计算时间，已经提出了单步方法来减少培训时间。然而，这些方法遭受灾难性的过度装备，在训练期间侵犯准确度下降。虽然提出了改进，但它们增加了培训时间和稳健性远非多步骤。我们为FW优化（FW-AT）开发了对抗的对抗培训的理论框架，揭示了损失景观与$ \ ell_2 $失真之间的几何连接。我们分析地表明FW攻击的高变形相当于沿攻击路径的小梯度变化。然后在各种深度神经网络架构上进行实验证明，$ \ ell \ infty $攻击对抗强大的模型实现近乎最大的$ \ ell_2 $失真，而标准网络具有较低的失真。此外，实验表明，灾难性的过度拟合与FW攻击的低变形强烈相关。为了展示我们理论框架的效用，我们开发FW-AT-Adap，这是一种新的逆势训练算法，它使用简单的失真度量来调整攻击步骤的数量，以提高效率而不会影响鲁棒性。 FW-AT-Adapt提供培训时间以单步快速分配方法，并改善了在白色盒子和黑匣子设置中的普发内精度的最小损失和多步PGD之间的差距。

当前的深度神经网络（DNN）容易受到对抗性攻击的影响，在这种攻击中，对输入的对抗扰动可以改变或操纵分类。为了防御此类攻击，已证明一种有效而流行的方法，称为对抗性训练（AT），可通过一种最小的最大强大的训练方法来减轻对抗攻击的负面影响。尽管有效，但尚不清楚它是否可以成功地适应分布式学习环境。分布式优化对多台机器的功能使我们能够扩展大型型号和数据集的强大训练。我们提出了这一点，我们提出了分布式的对抗训练（DAT），这是在多台机器上实施的大批量对抗训练框架。我们证明DAT是一般的，它支持对标记和未标记的数据，多种类型的攻击生成方法以及梯度压缩操作的培训。从理论上讲，我们在优化理论中的标准条件下提供了DAT与一般非凸面设置中一阶固定点的收敛速率。从经验上讲，我们证明DAT要么匹配或胜过最先进的稳健精度，并实现了优美的训练速度（例如，在ImageNet下的Resnet-50上）。代码可在https://github.com/dat-2022/dat上找到。

对抗性培训（AT）已成为培训强大网络的热门选择。然而，它倾向于牺牲清洁精度，以令人满意的鲁棒性，并且遭受大的概括误差。为了解决这些问题，我们提出了平稳的对抗培训（SAT），以我们对损失令人歉端的损失的终人谱指导。 We find that curriculum learning, a scheme that emphasizes on starting "easy" and gradually ramping up on the "difficulty" of training, smooths the adversarial loss landscape for a suitably chosen difficulty metric.我们展示了对普通环境中的课程学习的一般制定，并提出了一种基于最大Hessian特征值（H-SAT）和软MAX概率（P-SA）的两个难度指标。我们展示SAT稳定网络培训即使是大型扰动规范，并且允许网络以更好的清洁精度运行而与鲁棒性权衡曲线相比。与AT，交易和其他基线相比，这导致清洁精度和鲁棒性的显着改善。为了突出一些结果，我们的最佳模型将分别在CIFAR-100上提高6％和1％的稳健准确性。在Imagenette上，一个十一级想象成的子集，我们的模型分别以正常和强大的准确性达到23％和3％。

Adversarial training is widely used to improve the robustness of deep neural networks to adversarial attack. However, adversarial training is prone to overfitting, and the cause is far from clear. This work sheds light on the mechanisms underlying overfitting through analyzing the loss landscape w.r.t. the input. We find that robust overfitting results from standard training, specifically the minimization of the clean loss, and can be mitigated by regularization of the loss gradients. Moreover, we find that robust overfitting turns severer during adversarial training partially because the gradient regularization effect of adversarial training becomes weaker due to the increase in the loss landscapes curvature. To improve robust generalization, we propose a new regularizer to smooth the loss landscape by penalizing the weighted logits variation along the adversarial direction. Our method significantly mitigates robust overfitting and achieves the highest robustness and efficiency compared to similar previous methods. Code is available at https://github.com/TreeLLi/Combating-RO-AdvLC.

改善深度神经网络（DNN）对抗对抗示例的鲁棒性是安全深度学习的重要而挑战性问题。跨越现有的防御技术，具有预计梯度体面（PGD）的对抗培训是最有效的。对手训练通过最大化分类丢失，通过最大限度地减少从内在最大化生成的逆势示例的丢失来解决\ excepitient {内部最大化}生成侵略性示例的初始最大优化问题。 。因此，衡量内部最大化的衡量标准是如何对对抗性培训至关重要的。在本文中，我们提出了这种标准，即限制优化（FOSC）的一阶静止条件，以定量评估内部最大化中发现的对抗性实例的收敛质量。通过FOSC，我们发现，为了确保更好的稳健性，必须在培训的\ Texit {稍后的阶段}中具有更好的收敛质量的对抗性示例。然而，在早期阶段，高收敛质量的对抗例子不是必需的，甚至可能导致稳健性差。基于这些观察，我们提出了一种\ Texit {动态}培训策略，逐步提高产生的对抗性实例的收敛质量，这显着提高了对抗性培训的鲁棒性。我们的理论和经验结果表明了该方法的有效性。

单步逆势培训（AT）受到了广泛的关注，因为它被证明是有效和健壮的。然而，存在严重的灾难性过度问题，即反对投影梯度下降（PGD）攻击的强劲准确性突然下降到培训期间的0.5美元。在本文中，我们从优化的新角度来看，首先揭示每个样品和过度装箱的快速增长梯度之间的密切联系，这也可以应用于了解多步骤中的稳健的过度拟合现象。为了控制培训期间梯度的增长，我们提出了一种新的方法，子空间对抗训练（子AT），限制了仔细提取的子空间。它成功地解决了两种过度装备，因此显着提高了鲁棒性。在子空间中，我们还允许单步合并较大的步骤和更大的半径，从而进一步提高了鲁棒性性能。因此，我们实现了最先进的单步性能：我们的纯单步可以达到超过$ \ mathbf {51} \％$鲁棒准确性，反对强大的PGD-50攻击以半径8美元/ CiFar-10上的255美元，甚至超过了标准的多步PGD-10，具有巨大的计算优势。代码已释放$ \脚注{\ url {https://github.com/nblt/sub -at}} $。

最近的研究表明，深度神经网络（DNNS）极易受到精心设计的对抗例子的影响。对那些对抗性例子的对抗性学习已被证明是防御这种攻击的最有效方法之一。目前，大多数现有的对抗示例生成方法基于一阶梯度，这几乎无法进一步改善模型的鲁棒性，尤其是在面对二阶对抗攻击时。与一阶梯度相比，二阶梯度提供了相对于自然示例的损失格局的更准确近似。受此启发的启发，我们的工作制作了二阶的对抗示例，并使用它们来训练DNNS。然而，二阶优化涉及Hessian Inverse的耗时计算。我们通过将问题转换为Krylov子空间中的优化，提出了一种近似方法，该方法显着降低了计算复杂性以加快训练过程。在矿工和CIFAR-10数据集上进行的广泛实验表明，我们使用二阶对抗示例的对抗性学习优于其他FISRT-阶方法，这可以改善针对广泛攻击的模型稳健性。

我们表明，当考虑到图像域$ [0,1] ^ D $时，已建立$ L_1 $ -Projected梯度下降（PGD）攻击是次优，因为它们不认为有效的威胁模型是交叉点$ l_1 $ -ball和$ [0,1] ^ d $。我们研究了这种有效威胁模型的最陡渐进步骤的预期稀疏性，并表明该组上的确切投影是计算可行的，并且产生更好的性能。此外，我们提出了一种自适应形式的PGD，即使具有小的迭代预算，这也是非常有效的。我们的结果$ l_1 $ -apgd是一个强大的白盒攻击，表明先前的作品高估了他们的$ l_1 $ -trobustness。使用$ l_1 $ -apgd for vercersarial培训，我们获得一个强大的分类器，具有sota $ l_1 $ -trobustness。最后，我们将$ l_1 $ -apgd和平方攻击的适应组合到$ l_1 $ to $ l_1 $ -autoattack，这是一个攻击的集合，可靠地评估$ l_1 $ -ball与$的威胁模型的对抗鲁棒性进行对抗[ 0,1] ^ d $。

人工神经网络（ANN）训练景观的非凸起带来了固有的优化困难。虽然传统的背传播随机梯度下降（SGD）算法及其变体在某些情况下是有效的，但它们可以陷入杂散的局部最小值，并且对初始化和普通公共表敏感。最近的工作表明，随着Relu激活的ANN的培训可以重新重整为凸面计划，使希望能够全局优化可解释的ANN。然而，天真地解决凸训练制剂具有指数复杂性，甚至近似启发式需要立方时间。在这项工作中，我们描述了这种近似的质量，并开发了两个有效的算法，这些算法通过全球收敛保证培训。第一算法基于乘法器（ADMM）的交替方向方法。它解决了精确的凸形配方和近似对应物。实现线性全局收敛，并且初始几次迭代通常会产生具有高预测精度的解决方案。求解近似配方时，每次迭代时间复杂度是二次的。基于“采样凸面”理论的第二种算法更简单地实现。它解决了不受约束的凸形制剂，并收敛到大约全球最佳的分类器。当考虑对抗性培训时，ANN训练景观的非凸起加剧了。我们将稳健的凸优化理论应用于凸训练，开发凸起的凸起制剂，培训Anns对抗对抗投入。我们的分析明确地关注一个隐藏层完全连接的ANN，但可以扩展到更复杂的体系结构。

对抗性扰动对于证明深度学习模型的鲁棒性至关重要。通用的对抗扰动（UAP）可以同时攻击多个图像，因此提供了更统一的威胁模型，从而避免了图像攻击算法。但是，当从不同的图像源绘制图像时（例如，具有不同的图像分辨率）时，现有的UAP生成器不发达。在图像来源的真实普遍性方面，我们将UAP生成的新颖看法是一个定制的几个实例，它利用双杆优化和学习优化的（L2O）技术（L2O）技术，以提高攻击成功率（ASR）（ASR） ）。我们首先考虑流行模型不可知的元学习（MAML）框架，以将UAP生成器元素进行。但是，我们看到MAML框架并未直接提供跨图像源的通用攻击，从而要求我们将其与L2O的另一个元学习框架集成在一起。元学习UAP发电机（i）的最终方案的性能（ASR高50％）比预计梯度下降等基线的方案（II）比香草L2O和MAML框架的性能更好（37％）（当适用），（iii）能够同时处理不同受害者模型和图像数据源的UAP生成。

Adversarial training, in which a network is trained on adversarial examples, is one of the few defenses against adversarial attacks that withstands strong attacks. Unfortunately, the high cost of generating strong adversarial examples makes standard adversarial training impractical on large-scale problems like ImageNet. We present an algorithm that eliminates the overhead cost of generating adversarial examples by recycling the gradient information computed when updating model parameters.Our "free" adversarial training algorithm achieves comparable robustness to PGD adversarial training on the CIFAR-10 and CIFAR-100 datasets at negligible additional cost compared to natural training, and can be 7 to 30 times faster than other strong adversarial training methods. Using a single workstation with 4 P100 GPUs and 2 days of runtime, we can train a robust model for the large-scale ImageNet classification task that maintains 40% accuracy against PGD attacks. The code is available at https://github.com/ashafahi/free_adv_train.

快速对抗训练（脂肪）有效地提高了标准对抗训练（SAT）的效率。然而，初始脂肪遇到灾难性的过度拟合，即，对抗性攻击的稳健精度突然并大大减少。尽管有几种脂肪变体毫不费力地防止过度拟合，但他们牺牲了很多计算成本。在本文中，我们探讨了SAT和FAT的训练过程之间的差异，并观察到，对抗性实例（AES）脂肪的攻击成功率在后期训练阶段逐渐变得更糟，从而导致过度拟合。 AE是通过零或随机初始化的快速梯度标志方法（FGSM）生成的。根据观察结果，我们提出了一种先前的FGSM初始化方法，以避免在研究多种初始化策略后避免过度适应，从而在整个训练过程中提高了AE的质量。初始化是通过利用历史上生成的AE而没有额外计算成本而形成的。我们进一步为提出的初始化方法提供了理论分析。我们还基于先前的初始化，即当前生成的扰动不应过多地偏离先前引导的初始化，因此我们还提出了一个简单而有效的正规化程序。正常化器同时采用历史和当前的对抗性扰动来指导模型学习。在四个数据集上进行的评估表明，所提出的方法可以防止灾难性过度拟合和优于最先进的脂肪方法。该代码在https://github.com/jiaxiaojunqaq/fgsm-pgi上发布。

It is common practice in deep learning to use overparameterized networks and train for as long as possible; there are numerous studies that show, both theoretically and empirically, that such practices surprisingly do not unduly harm the generalization performance of the classifier. In this paper, we empirically study this phenomenon in the setting of adversarially trained deep networks, which are trained to minimize the loss under worst-case adversarial perturbations. We find that overfitting to the training set does in fact harm robust performance to a very large degree in adversarially robust training across multiple datasets (SVHN, CIFAR-10, CIFAR-100, and ImageNet) and perturbation models ( ∞ and 2 ). Based upon this observed effect, we show that the performance gains of virtually all recent algorithmic improvements upon adversarial training can be matched by simply using early stopping. We also show that effects such as the double descent curve do still occur in adversarially trained models, yet fail to explain the observed overfitting. Finally, we study several classical and modern deep learning remedies for overfitting, including regularization and data augmentation, and find that no approach in isolation improves significantly upon the gains achieved by early stopping. All code for reproducing the experiments as well as pretrained model weights and training logs can be found at https://github.com/ locuslab/robust_overfitting.

The study on improving the robustness of deep neural networks against adversarial examples grows rapidly in recent years. Among them, adversarial training is the most promising one, which flattens the input loss landscape (loss change with respect to input) via training on adversarially perturbed examples. However, how the widely used weight loss landscape (loss change with respect to weight) performs in adversarial training is rarely explored. In this paper, we investigate the weight loss landscape from a new perspective, and identify a clear correlation between the flatness of weight loss landscape and robust generalization gap. Several well-recognized adversarial training improvements, such as early stopping, designing new objective functions, or leveraging unlabeled data, all implicitly flatten the weight loss landscape. Based on these observations, we propose a simple yet effective Adversarial Weight Perturbation (AWP) to explicitly regularize the flatness of weight loss landscape, forming a double-perturbation mechanism in the adversarial training framework that adversarially perturbs both inputs and weights. Extensive experiments demonstrate that AWP indeed brings flatter weight loss landscape and can be easily incorporated into various existing adversarial training methods to further boost their adversarial robustness.

The field of defense strategies against adversarial attacks has significantly grown over the last years, but progress is hampered as the evaluation of adversarial defenses is often insufficient and thus gives a wrong impression of robustness. Many promising defenses could be broken later on, making it difficult to identify the state-of-the-art. Frequent pitfalls in the evaluation are improper tuning of hyperparameters of the attacks, gradient obfuscation or masking. In this paper we first propose two extensions of the PGD-attack overcoming failures due to suboptimal step size and problems of the objective function. We then combine our novel attacks with two complementary existing ones to form a parameter-free, computationally affordable and user-independent ensemble of attacks to test adversarial robustness. We apply our ensemble to over 50 models from papers published at recent top machine learning and computer vision venues. In all except one of the cases we achieve lower robust test accuracy than reported in these papers, often by more than 10%, identifying several broken defenses.

神经网络容易受到对抗性攻击的攻击：在其输入中添加精心设计，不可察觉的扰动可以改变其输出。对抗训练是针对此类攻击的训练强大模型的最有效方法之一。不幸的是，这种方法比神经网络的香草培训要慢得多，因为它需要在每次迭代时为整个培训数据构建对抗性示例。通过利用核心选择理论，我们展示了如何选择一小部分训练数据提供了一种原则性的方法来降低健壮训练的时间复杂性。为此，我们首先为对抗核心选择提供收敛保证。特别是，我们表明收敛界限直接与我们的核心在整个训练数据中计算出的梯度的距离如何。在我们的理论分析的激励下，我们建议使用此梯度近似误差作为对抗核心选择目标，以有效地减少训练集大小。建造后，我们在培训数据的这一子集上进行对抗训练。与现有方法不同，我们的方法可以适应各种培训目标，包括交易，$ \ ell_p $ -pgd和感知性对手培训。我们进行了广泛的实验，以证明我们的进近可以使对抗性训练加快2-3次，同时在清洁和稳健的精度中略有降解。