经过认证的稳健性保证衡量模型对测试时间攻击的稳健性，并且可以评估模型对现实世界中部署的准备情况。在这项工作中，我们批判性地研究了对基于随机平滑的认证方法的对抗鲁棒性如何在遇到配送外（OOD）数据的最先进的鲁棒模型时改变。我们的分析显示了这些模型的先前未知的漏洞，以低频OOD数据，例如与天气相关的损坏，使这些模型不适合在野外部署。为了缓解这个问题，我们提出了一种新的数据增强方案，Fourimix，产生增强以改善训练数据的光谱覆盖范围。此外，我们提出了一种新规范器，鼓励增强数据的噪声扰动的一致预测，以提高平滑模型的质量。我们发现Fouriermix增强有助于消除可认真强大的模型的频谱偏差，使其能够在一系列ood基准上实现明显更好的稳健性保证。我们的评估还在突出模型的光谱偏差时揭示了当前的OOD基准。为此，我们提出了一个全面的基准套件，其中包含来自光谱域中不同区域的损坏。对拟议套件上流行的增强方法培训的模型的评估突出了它们的光谱偏差，并建立了富硫克斯训练型模型在实现整个频谱上变化下的更好认证的鲁棒性担保的优势。

提高深神经网络（DNN）对分布（OOD）数据的准确性对于在现实世界应用中接受深度学习（DL）至关重要。已经观察到，分布（ID）与OOD数据的准确性遵循线性趋势和模型表现优于该基线非常罕见（并被称为“有效鲁棒”）。最近，已经开发出一些有前途的方法来提高OOD的鲁棒性：模型修剪，数据增强和结合或零射门评估大型预审预周化模型。但是，仍然对观察有效鲁棒性所需的OOD数据和模型属性的条件尚无清晰的了解。我们通过对多种方法进行全面的经验研究来解决这个问题，这些方法已知会影响OOD鲁棒性，对CIFAR-10和Imagenet的广泛自然和合成分布转移。特别是，我们通过傅立叶镜头观察“有效的鲁棒性难题”，并询问模型和OOD数据的光谱特性如何影响相应的有效鲁棒性。我们发现这个傅立叶镜头提供了一些深入的了解，为什么某些强大的模型，尤其是夹家族的模型，可以实现稳健性。但是，我们的分析还清楚地表明，没有已知的指标始终是对OOD鲁棒性的最佳解释（甚至是强烈的解释）。因此，为了帮助未来对OOD难题的研究，我们通过引入一组预处理的模型（固定的模型），以有效的稳健性（可公开可鲁棒）解决了差距，这些模型（固有的模型）以及不同级别的OOD稳健性。

尽管对图像分类任务的表现令人印象深刻，但深网络仍然难以概括其数据的许多常见损坏。为解决此漏洞，事先作品主要专注于提高其培训管道的复杂性，以多样性的名义结合多种方法。然而，在这项工作中，我们逐步回来并遵循原则的方法来实现共同腐败的稳健性。我们提出了一个普遍的数据增强方案，包括最大熵图像变换的简单系列。我们展示了Prime优于现有技术的腐败鲁棒性，而其简单和即插即用性质使其能够与其他方法结合以进一步提升其稳健性。此外，我们分析了对综合腐败图像混合策略的重要性，并揭示了在共同腐败背景下产生的鲁棒性准确性权衡的重要性。最后，我们表明我们的方法的计算效率允许它在线和离线数据增强方案轻松使用。

Modern deep neural networks can achieve high accuracy when the training distribution and test distribution are identically distributed, but this assumption is frequently violated in practice. When the train and test distributions are mismatched, accuracy can plummet. Currently there are few techniques that improve robustness to unforeseen data shifts encountered during deployment. In this work, we propose a technique to improve the robustness and uncertainty estimates of image classifiers. We propose AUGMIX, a data processing technique that is simple to implement, adds limited computational overhead, and helps models withstand unforeseen corruptions. AUGMIX significantly improves robustness and uncertainty measures on challenging image classification benchmarks, closing the gap between previous methods and the best possible performance in some cases by more than half.

野外的深度学习（DL）的成功采用需要模型：（1）紧凑，（2）准确，（3）强大的分布换档。不幸的是，同时满足这些要求的努力主要是不成功的。这提出了一个重要问题：无法创建紧凑，准确，强大的深神经网络（卡）基础？为了回答这个问题，我们对流行的模型压缩技术进行了大规模分析，该技术揭示了几种有趣模式。值得注意的是，与传统的修剪方法相比（例如，微调和逐渐修剪），我们发现“彩票式风格”方法令人惊讶地用于生产卡，包括二进制牌。具体而言，我们能够创建极其紧凑的卡，与其较大的对应物相比，具有类似的测试精度和匹配（或更好）的稳健性 - 仅通过修剪和（可选）量化。利用卡的紧凑性，我们开发了一种简单的域 - 自适应测试时间合并方法（卡片 - 甲板），它使用门控模块根据与测试样本的光谱相似性动态地选择相应的卡片。该拟议的方法建立了一个“赢得胜利”的卡片，即在CiFar-10-C精度（即96.8％标准和92.75％的鲁棒）和CiFar-100- C精度（80.6％标准和71.3％的稳健性），内存使用率比非压缩基线（Https://github.com/robustbench/robustbench提供的预制卡和卡片 - 甲板）。最后，我们为我们的理论支持提供了理论支持经验研究结果。

Deep neural networks achieve high prediction accuracy when the train and test distributions coincide. In practice though, various types of corruptions occur which deviate from this setup and cause severe performance degradations. Few methods have been proposed to address generalization in the presence of unforeseen domain shifts. In particular, digital noise corruptions arise commonly in practice during the image acquisition stage and present a significant challenge for current robustness approaches. In this paper, we propose a diverse Gaussian noise consistency regularization method for improving robustness of image classifiers under a variety of noise corruptions while still maintaining high clean accuracy. We derive bounds to motivate and understand the behavior of our Gaussian noise consistency regularization using a local loss landscape analysis. We show that this simple approach improves robustness against various unforeseen noise corruptions by 4.2-18.4% over adversarial training and other strong diverse data augmentation baselines across several benchmarks. Furthermore, when combined with state-of-the-art diverse data augmentation techniques, experiments against state-of-the-art show our method further improves robustness accuracy by 3.7% and uncertainty calibration by 5.5% for all common corruptions on several image classification benchmarks.

在真实世界的机器学习应用中，可靠和安全的系统必须考虑超出标准测试设置精度的性能测量。这些其他目标包括分销（OOD）鲁棒性，预测一致性，对敌人的抵御能力，校准的不确定性估计，以及检测异常投入的能力。然而，提高这些目标的绩效通常是一种平衡行为，即今天的方法无法在不牺牲其他安全轴上的性能的情况下实现。例如，对抗性培训改善了对抗性鲁棒性，但急剧降低了其他分类器性能度量。同样，强大的数据增强和正则化技术往往提高鲁棒性，但损害异常检测，提出了对所有现有安全措施的帕累托改进是可能的。为满足这一挑战，我们设计了利用诸如分数形的图片的自然结构复杂性设计新的数据增强策略，这优于众多基线，靠近帕累托 - 最佳，并圆形提高安全措施。

当前针对对抗性例子的最新防御方法通常着重于改善经验或认证的鲁棒性。其中，经过对抗训练的（AT）模型对对抗性例子产生了经验的最先进的防御，而无需为大型分类器或更高维度输入提供任何鲁棒性保证。相反，现有的基于随机平滑的模型实现了最新的认证鲁棒性，同时显着降低了针对对抗性例子的经验鲁棒性。在本文中，我们提出了一种称为\ emph {通过适应认证}的新颖方法，该方法将AT模型转换为推断期间的随机平滑分类器，以提供$ \ ell_2 $ norm的认证鲁棒性，而不会影响他们针对对抗性攻击的经验鲁棒性。我们还提出了\ emph {auto-noise}技术，该技术有效地近似适当的噪声水平，以使用随机平滑技术灵活地证明测试示例。我们提出的\ emph {通过\ emph {auto-noise}技术实现\ textit {平均认证半径（ACR）分数}最高$ 1.102 $和$ 1.148 $，分别用于CIFAR-10和Imagenet数据集，无需使用AT型号，影响他们的经验鲁棒性或良性准确性。因此，我们的论文是通过使用同一分类器来实现对抗性实例的经验和认证鲁棒性之间的差距的一步。

不变性于广泛的图像损坏，例如翘曲，噪声或颜色移位，是在计算机视觉中建立强大模型的一个重要方面。最近，已经提出了几种新的数据增强，从而显着提高了Imagenet-C的性能，这是这种腐败的基准。但是，对数据增强和测试时间损坏之间的关系仍然缺乏基本的理解。为此，我们开发了图像变换的一个特征空间，然后在增强和损坏之间使用该空间中的新措施，称为最小示例距离，以演示相似性和性能之间的强相关性。然后，当测试时间损坏被对来自Imagenet-C中的测试时间损坏被采样时，我们调查最近的数据增强并观察腐败鲁棒性的重大退化。我们的结果表明，通过对感知同类增强的培训来提高测试错误，数据增强可能不会超出现有的基准。我们希望我们的结果和工具将允许更强大的进展，以提高对图像损坏的稳健性。我们在https://github.com/facebookresearch/augmentation - 窗子提供代码。

数据增强是一种提高深神经网络（DNN）的鲁棒性的简单而有效的方法。多样性和硬度是数据增强的两个互补维度，以实现稳健性。例如，Augmix探讨了各种增强套的随机组成，以增强更广泛的覆盖，而对抗性培训产生过态度硬质样品以发现弱点。通过此激励，我们提出了一个数据增强框架，被称为奥古曼克，统一多样性和硬度的两个方面。 Augmax首先将多个增强运算符进行随机样本，然后学习所选操作员的对抗性混合物。作为更强大的数据增强形式，奥格梅纳队导致了一个明显的增强输入分布，使模型培训更具挑战性。为了解决这个问题，我们进一步设计了一个解散的归一化模块，称为Dubin（双批次和实例规范化），其解除了奥古曼克斯出现的实例 - 明智的特征异质性。实验表明，Augmax-Dubin将显着改善分配的鲁棒性，优于现有技术，在CiFar10-C，CiFar100-C，微小Imagenet-C和Imagenet-C上以3.03％，3.49％，1.82％和0.71％。可提供代码和预磨料模型：https://github.com/vita-group/augmax。

对共同腐败的稳健性的文献表明对逆势培训是否可以提高这种环境的性能，没有达成共识。 First, we show that, when used with an appropriately selected perturbation radius, $\ell_p$ adversarial training can serve as a strong baseline against common corruptions improving both accuracy and calibration.然后，我们解释了为什么对抗性训练比具有简单高斯噪声的数据增强更好地表现，这被观察到是对共同腐败的有意义的基线。与此相关，我们确定了高斯增强过度适用于用于培训的特定标准偏差的$ \ sigma $ -oviting现象，这对培训具有显着不利影响的普通腐败精度。我们讨论如何缓解这一问题，然后如何通过学习的感知图像贴片相似度引入对抗性训练的有效放松来进一步增强$ \ ell_p $普发的培训。通过对CiFar-10和Imagenet-100的实验，我们表明我们的方法不仅改善了$ \ ell_p $普发的培训基线，而且还有累积的收益与Augmix，Deepaulment，Ant和Sin等数据增强方法，导致普通腐败的最先进的表现。我们的实验代码在HTTPS://github.com/tml-epfl/adv-training - 窗子上公开使用。

现代神经网络Excel在图像分类中，但它们仍然容易受到常见图像损坏，如模糊，斑点噪音或雾。最近的方法关注这个问题，例如Augmix和Deepaulment，引入了在预期运行的防御，以期望图像损坏分布。相比之下，$ \ ell_p $ -norm界限扰动的文献侧重于针对最坏情况损坏的防御。在这项工作中，我们通过提出防范内人来调和两种方法，这是一种优化图像到图像模型的参数来产生对外损坏的增强图像的技术。我们理论上激发了我们的方法，并为其理想化版本的一致性以及大纲领提供了足够的条件。我们的分类机器在预期对CiFar-10-C进行的常见图像腐败基准上提高了最先进的，并改善了CIFAR-10和ImageNet上的$ \ ell_p $ -norm有界扰动的最坏情况性能。

用于计算机视觉任务的深度神经网络在越来越安全 - 严重和社会影响的应用中部署，激励需要在各种，天然存在的成像条件下关闭模型性能的差距。在包括对抗机器学习的多种上下文中尤为色难地使用的鲁棒性，然后指在自然诱导的图像损坏或改变下保持模型性能。我们进行系统审查，以识别，分析和总结当前定义以及对计算机愿景深度学习中的非对抗鲁棒性的进展。我们发现，该研究领域已经收到了相对于对抗机器学习的不成比例地注意力，但存在显着的稳健性差距，这些差距通常表现在性能下降中与对抗条件相似。为了在上下文中提供更透明的稳健性定义，我们引入了数据生成过程的结构因果模型，并将非对抗性鲁棒性解释为模型在损坏的图像上的行为，其对应于来自未纳入数据分布的低概率样本。然后，我们确定提高神经网络鲁棒性的关键架构，数据增强和优化策略。这种稳健性的这种因果观察表明，目前文献中的常见做法，关于鲁棒性策略和评估，对应于因果概念，例如软干预导致成像条件的决定性分布。通过我们的调查结果和分析，我们提供了对未来研究如何可能介意这种明显和显着的非对抗的鲁棒性差距的观点。

Any classifier can be "smoothed out" under Gaussian noise to build a new classifier that is provably robust to $\ell_2$-adversarial perturbations, viz., by averaging its predictions over the noise via randomized smoothing. Under the smoothed classifiers, the fundamental trade-off between accuracy and (adversarial) robustness has been well evidenced in the literature: i.e., increasing the robustness of a classifier for an input can be at the expense of decreased accuracy for some other inputs. In this paper, we propose a simple training method leveraging this trade-off to obtain robust smoothed classifiers, in particular, through a sample-wise control of robustness over the training samples. We make this control feasible by using "accuracy under Gaussian noise" as an easy-to-compute proxy of adversarial robustness for an input. Specifically, we differentiate the training objective depending on this proxy to filter out samples that are unlikely to benefit from the worst-case (adversarial) objective. Our experiments show that the proposed method, despite its simplicity, consistently exhibits improved certified robustness upon state-of-the-art training methods. Somewhat surprisingly, we find these improvements persist even for other notions of robustness, e.g., to various types of common corruptions.

Domain generalization (DG) aims to train a model to perform well in unseen domains under different distributions. This paper considers a more realistic yet more challenging scenario,namely Single Domain Generalization (Single-DG), where only a single source domain is available for training. To tackle this challenge, we first try to understand when neural networks fail to generalize? We empirically ascertain a property of a model that correlates strongly with its generalization that we coin as "model sensitivity". Based on our analysis, we propose a novel strategy of Spectral Adversarial Data Augmentation (SADA) to generate augmented images targeted at the highly sensitive frequencies. Models trained with these hard-to-learn samples can effectively suppress the sensitivity in the frequency space, which leads to improved generalization performance. Extensive experiments on multiple public datasets demonstrate the superiority of our approach, which surpasses the state-of-the-art single-DG methods.

分批归一化（BN）是一种无处不在的技术，用于训练深层神经网络，可加速其收敛以达到更高的准确性。但是，我们证明了BN具有根本的缺点：它激励该模型依赖于训练（内域）数据高度特定的低变义特征，从而损害了室外示例的概括性能。在这项工作中，我们首先表明在各种架构上删除BN层会导致较低的域外和腐败错误，而造成较高的内域错误，因此我们首先研究了这种现象。然后，我们提出了反平衡老师（CT），该方法利用与老师的老师一起利用同一模型的冷冻副本，通过通过一致性损失功能实质上调整其权重来实现学生网络对强大表示的学习。该正则化信号有助于CT在不可预见的数据变化中表现良好，即使没有从目标域中的信息如先前的工作中。从理论上讲，我们在过度参数化的线性回归设置中显示了为什么归一化导致模型对这种内域特征的依赖，并通过验证CT的功效来证明CT的功效，从而在稳健性基准（例如CIFAR-10-C，CIFAR-10-C，CIFAR-100-C，CIFAR-100-C，CIFAR-100-C，CIFAR-100-C，CIFAR-100-C，CIFAR-100-C，CIFAR-100-C，CIFAR-100）上表现出了疗效。和VLCS。

随机平滑是目前是最先进的方法，用于构建来自Neural Networks的可认真稳健的分类器，以防止$ \ ell_2 $ - vitersarial扰动。在范例下，分类器的稳健性与预测置信度对齐，即，对平滑分类器的较高的置信性意味着更好的鲁棒性。这使我们能够在校准平滑分类器的信仰方面重新思考准确性和鲁棒性之间的基本权衡。在本文中，我们提出了一种简单的训练方案，Coined Spiremix，通过自我混合来控制平滑分类器的鲁棒性：它沿着每个输入对逆势扰动方向进行样品的凸起组合。该提出的程序有效地识别过度自信，在平滑分类器的情况下，作为有限的稳健性的原因，并提供了一种直观的方法来自适应地在这些样本之间设置新的决策边界，以实现更好的鲁棒性。我们的实验结果表明，与现有的最先进的强大培训方法相比，该方法可以显着提高平滑分类器的认证$ \ ell_2 $ -toSpustness。

由于机器学习（ML）系统变得普遍存在，因此保护其安全性至关重要。然而，最近已经证明，动机的对手能够通过使用语义转换扰乱测试数据来误导ML系统。虽然存在丰富的研究机构，但为ML模型提供了可提供的稳健性保证，以防止$ \ ell_p $ norm界限对抗对抗扰动，抵御语义扰动的保证仍然很广泛。在本文中，我们提供了TSS - 一种统一的框架，用于针对一般对抗性语义转换的鲁棒性认证。首先，根据每个转换的性质，我们将常见的变换划分为两类，即可解决的（例如，高斯模糊）和差异可解的（例如，旋转）变换。对于前者，我们提出了特定于转型的随机平滑策略并获得强大的稳健性认证。后者类别涵盖涉及插值错误的变换，我们提出了一种基于分层采样的新方法，以证明稳健性。我们的框架TSS利用这些认证策略并结合了一致性增强的培训，以提供严谨的鲁棒性认证。我们对十种挑战性语义转化进行了广泛的实验，并表明TSS显着优于现有技术。此外，据我们所知，TSS是第一种在大规模想象数据集上实现非竞争认证稳健性的方法。例如，我们的框架在ImageNet上实现了旋转攻击的30.4％认证的稳健准确性（在$ \ PM 30 ^ \ CIC $）。此外，要考虑更广泛的转换，我们展示了TSS对自适应攻击和不可预见的图像损坏，例如CIFAR-10-C和Imagenet-C。

作为研究界，我们仍然缺乏对对抗性稳健性的进展的系统理解，这通常使得难以识别训练强大模型中最有前途的想法。基准稳健性的关键挑战是，其评估往往是出错的导致鲁棒性高估。我们的目标是建立对抗性稳健性的标准化基准，尽可能准确地反映出考虑在合理的计算预算范围内所考虑的模型的稳健性。为此，我们首先考虑图像分类任务并在允许的型号上引入限制（可能在将来宽松）。我们评估了与AutoAtrack的对抗鲁棒性，白和黑箱攻击的集合，最近在大规模研究中显示，与原始出版物相比，改善了几乎所有稳健性评估。为防止对自动攻击进行新防御的过度适应，我们欢迎基于自适应攻击的外部评估，特别是在自动攻击稳健性潜在高估的地方。我们的排行榜，托管在https://robustbench.github.io/，包含120多个模型的评估，并旨在反映在$ \ ell_ \ infty $的一套明确的任务上的图像分类中的当前状态 - 和$ \ ell_2 $ -Threat模型和共同腐败，未来可能的扩展。此外，我们开源源是图书馆https://github.com/robustbench/robustbench，可以提供对80多个强大模型的统一访问，以方便他们的下游应用程序。最后，根据收集的模型，我们分析了稳健性对分布换档，校准，分配检测，公平性，隐私泄漏，平滑度和可转移性的影响。

诸如随机平滑之类的认证防御能力已显示出对$ \ ell_p $ norm边界攻击构建可靠的机器学习系统的承诺。但是，现有方法不足或无法证明对语义转换，尤其是那些没有封闭形式表达的语义转换（例如depocus Blur和像素化），这在实践中更常见，而且通常不受限制。为了填补这一空白，我们提出了广义随机平滑（GSMOOTH），这是一个统一的理论框架，可通过新颖的维度增强策略来证明对一般语义转换的鲁棒性。在GSMooth框架下，我们提出了一种可扩展的算法，该算法使用替代图像到图像网络来近似复杂的转换。替代模型为研究语义转换的属性和证明鲁棒性提供了强大的工具。几个数据集的实验结果证明了我们对多种语义转换和腐败的鲁棒性认证方法的有效性，这是替代基线无法实现的。