Multi-Exit models (MEMs) use an early-exit strategy to improve the accuracy and efficiency of deep neural networks (DNNs) by allowing samples to exit the network before the last layer. However, the effectiveness of MEMs in the presence of distribution shifts remains largely unexplored. Our work examines how distribution shifts generated by common image corruptions affect the accuracy/efficiency of MEMs. We find that under common corruptions, early-exiting at the first correct exit reduces the inference cost and provides a significant boost in accuracy ( 10%) over exiting at the last layer. However, with realistic early-exit strategies, which do not assume knowledge about the correct exits, MEMs still reduce inference cost but provide a marginal improvement in accuracy (1%) compared to exiting at the last layer. Moreover, the presence of distribution shift widens the gap between an MEM's maximum classification accuracy and realistic early-exit strategies by 5% on average compared with the gap on in-distribution data. Our empirical analysis shows that the lack of calibration due to a distribution shift increases the susceptibility of such early-exit strategies to exit early and increases misclassification rates. Furthermore, the lack of calibration increases the inconsistency in the predictions of the model across exits, leading to both inefficient inference and more misclassifications compared with evaluation on in-distribution data. Finally, we propose two metrics, underthinking and overthinking, that quantify the different behavior of practical early-exit strategy under distribution shifts, and provide insights into improving the practical utility of MEMs.

分批归一化（BN）是一种无处不在的技术，用于训练深层神经网络，可加速其收敛以达到更高的准确性。但是，我们证明了BN具有根本的缺点：它激励该模型依赖于训练（内域）数据高度特定的低变义特征，从而损害了室外示例的概括性能。在这项工作中，我们首先表明在各种架构上删除BN层会导致较低的域外和腐败错误，而造成较高的内域错误，因此我们首先研究了这种现象。然后，我们提出了反平衡老师（CT），该方法利用与老师的老师一起利用同一模型的冷冻副本，通过通过一致性损失功能实质上调整其权重来实现学生网络对强大表示的学习。该正则化信号有助于CT在不可预见的数据变化中表现良好，即使没有从目标域中的信息如先前的工作中。从理论上讲，我们在过度参数化的线性回归设置中显示了为什么归一化导致模型对这种内域特征的依赖，并通过验证CT的功效来证明CT的功效，从而在稳健性基准（例如CIFAR-10-C，CIFAR-10-C，CIFAR-100-C，CIFAR-100-C，CIFAR-100-C，CIFAR-100-C，CIFAR-100-C，CIFAR-100-C，CIFAR-100-C，CIFAR-100）上表现出了疗效。和VLCS。

野外的深度学习（DL）的成功采用需要模型：（1）紧凑，（2）准确，（3）强大的分布换档。不幸的是，同时满足这些要求的努力主要是不成功的。这提出了一个重要问题：无法创建紧凑，准确，强大的深神经网络（卡）基础？为了回答这个问题，我们对流行的模型压缩技术进行了大规模分析，该技术揭示了几种有趣模式。值得注意的是，与传统的修剪方法相比（例如，微调和逐渐修剪），我们发现“彩票式风格”方法令人惊讶地用于生产卡，包括二进制牌。具体而言，我们能够创建极其紧凑的卡，与其较大的对应物相比，具有类似的测试精度和匹配（或更好）的稳健性 - 仅通过修剪和（可选）量化。利用卡的紧凑性，我们开发了一种简单的域 - 自适应测试时间合并方法（卡片 - 甲板），它使用门控模块根据与测试样本的光谱相似性动态地选择相应的卡片。该拟议的方法建立了一个“赢得胜利”的卡片，即在CiFar-10-C精度（即96.8％标准和92.75％的鲁棒）和CiFar-100- C精度（80.6％标准和71.3％的稳健性），内存使用率比非压缩基线（Https://github.com/robustbench/robustbench提供的预制卡和卡片 - 甲板）。最后，我们为我们的理论支持提供了理论支持经验研究结果。

Deep neural networks achieve high prediction accuracy when the train and test distributions coincide. In practice though, various types of corruptions occur which deviate from this setup and cause severe performance degradations. Few methods have been proposed to address generalization in the presence of unforeseen domain shifts. In particular, digital noise corruptions arise commonly in practice during the image acquisition stage and present a significant challenge for current robustness approaches. In this paper, we propose a diverse Gaussian noise consistency regularization method for improving robustness of image classifiers under a variety of noise corruptions while still maintaining high clean accuracy. We derive bounds to motivate and understand the behavior of our Gaussian noise consistency regularization using a local loss landscape analysis. We show that this simple approach improves robustness against various unforeseen noise corruptions by 4.2-18.4% over adversarial training and other strong diverse data augmentation baselines across several benchmarks. Furthermore, when combined with state-of-the-art diverse data augmentation techniques, experiments against state-of-the-art show our method further improves robustness accuracy by 3.7% and uncertainty calibration by 5.5% for all common corruptions on several image classification benchmarks.

在真实世界的机器学习应用中，可靠和安全的系统必须考虑超出标准测试设置精度的性能测量。这些其他目标包括分销（OOD）鲁棒性，预测一致性，对敌人的抵御能力，校准的不确定性估计，以及检测异常投入的能力。然而，提高这些目标的绩效通常是一种平衡行为，即今天的方法无法在不牺牲其他安全轴上的性能的情况下实现。例如，对抗性培训改善了对抗性鲁棒性，但急剧降低了其他分类器性能度量。同样，强大的数据增强和正则化技术往往提高鲁棒性，但损害异常检测，提出了对所有现有安全措施的帕累托改进是可能的。为满足这一挑战，我们设计了利用诸如分数形的图片的自然结构复杂性设计新的数据增强策略，这优于众多基线，靠近帕累托 - 最佳，并圆形提高安全措施。

经过认证的稳健性保证衡量模型对测试时间攻击的稳健性，并且可以评估模型对现实世界中部署的准备情况。在这项工作中，我们批判性地研究了对基于随机平滑的认证方法的对抗鲁棒性如何在遇到配送外（OOD）数据的最先进的鲁棒模型时改变。我们的分析显示了这些模型的先前未知的漏洞，以低频OOD数据，例如与天气相关的损坏，使这些模型不适合在野外部署。为了缓解这个问题，我们提出了一种新的数据增强方案，Fourimix，产生增强以改善训练数据的光谱覆盖范围。此外，我们提出了一种新规范器，鼓励增强数据的噪声扰动的一致预测，以提高平滑模型的质量。我们发现Fouriermix增强有助于消除可认真强大的模型的频谱偏差，使其能够在一系列ood基准上实现明显更好的稳健性保证。我们的评估还在突出模型的光谱偏差时揭示了当前的OOD基准。为此，我们提出了一个全面的基准套件，其中包含来自光谱域中不同区域的损坏。对拟议套件上流行的增强方法培训的模型的评估突出了它们的光谱偏差，并建立了富硫克斯训练型模型在实现整个频谱上变化下的更好认证的鲁棒性担保的优势。

在测试时间适应（TTA）中，给定在某些源数据上培训的模型，目标是使其适应从不同分布的测试实例更好地预测。至关重要的是，TTA假设从目标分布到Finetune源模型，无法访问源数据或甚至从目标分布到任何其他标记/未标记的样本。在这项工作中，我们考虑TTA在更务实的设置中，我们称为SITA（单图像测试时间适应）。这里，在制作每个预测时，该模型只能访问给定的\ emph {单}测试实例，而不是实例的\ emph {批次}。通常在文献中被考虑。这是由逼真的情况激励，其中在按需时尚中需要推断，可能不会被延迟到“批量 - iFY”传入请求或者在没有范围的边缘设备（如移动电话中）发生推断批处理。 SITA的整个适应过程应在推理时间发生时非常快。为了解决这个问题，我们提出了一种新颖的AUGBN，用于仅需要转发传播的SITA设置。该方法可以为分类和分段任务的单个测试实例调整任何特征训练模型。 AUGBN估计仅使用具有标签保存的转换的一个前进通过的给定测试图像的看不见的测试分布的正常化统计。由于AUGBN不涉及任何反向传播，与其他最近的方法相比，它显着更快。据我们所知，这是仅使用单个测试图像解决此硬调整问题的第一个工作。尽管非常简单，但我们的框架能够在我们广泛的实验和消融研究中对目标实例上应用源模型来实现显着的性能增益。

对共同腐败的稳健性的文献表明对逆势培训是否可以提高这种环境的性能，没有达成共识。 First, we show that, when used with an appropriately selected perturbation radius, $\ell_p$ adversarial training can serve as a strong baseline against common corruptions improving both accuracy and calibration.然后，我们解释了为什么对抗性训练比具有简单高斯噪声的数据增强更好地表现，这被观察到是对共同腐败的有意义的基线。与此相关，我们确定了高斯增强过度适用于用于培训的特定标准偏差的$ \ sigma $ -oviting现象，这对培训具有显着不利影响的普通腐败精度。我们讨论如何缓解这一问题，然后如何通过学习的感知图像贴片相似度引入对抗性训练的有效放松来进一步增强$ \ ell_p $普发的培训。通过对CiFar-10和Imagenet-100的实验，我们表明我们的方法不仅改善了$ \ ell_p $普发的培训基线，而且还有累积的收益与Augmix，Deepaulment，Ant和Sin等数据增强方法，导致普通腐败的最先进的表现。我们的实验代码在HTTPS://github.com/tml-epfl/adv-training - 窗子上公开使用。

Modern deep neural networks can achieve high accuracy when the training distribution and test distribution are identically distributed, but this assumption is frequently violated in practice. When the train and test distributions are mismatched, accuracy can plummet. Currently there are few techniques that improve robustness to unforeseen data shifts encountered during deployment. In this work, we propose a technique to improve the robustness and uncertainty estimates of image classifiers. We propose AUGMIX, a data processing technique that is simple to implement, adds limited computational overhead, and helps models withstand unforeseen corruptions. AUGMIX significantly improves robustness and uncertainty measures on challenging image classification benchmarks, closing the gap between previous methods and the best possible performance in some cases by more than half.

已知现代深度神经网络模型将错误地将分布式（OOD）测试数据分类为具有很高信心的分数（ID）培训课程之一。这可能会对关键安全应用产生灾难性的后果。一种流行的缓解策略是训练单独的分类器，该分类器可以在测试时间检测此类OOD样本。在大多数实际设置中，在火车时间尚不清楚OOD的示例，因此，一个关键问题是：如何使用合成OOD样品来增加ID数据以训练这样的OOD检测器？在本文中，我们为称为CNC的OOD数据增强提出了一种新颖的复合腐败技术。 CNC的主要优点之一是，除了培训集外，它不需要任何固定数据。此外，与当前的最新技术（SOTA）技术不同，CNC不需要在测试时间进行反向传播或结合，从而使我们的方法在推断时更快。我们与过去4年中主要会议的20种方法进行了广泛的比较，表明，在OOD检测准确性和推理时间方面，使用基于CNC的数据增强训练的模型都胜过SOTA。我们包括详细的事后分析，以研究我们方法成功的原因，并确定CNC样本的较高相对熵和多样性是可能的原因。我们还通过对二维数据集进行零件分解分析提供理论见解，以揭示（视觉和定量），我们的方法导致ID类别周围的边界更紧密，从而更好地检测了OOD样品。源代码链接：https：//github.com/cnc-ood

He et al. (2018) have called into question the utility of pre-training by showing that training from scratch can often yield similar performance to pre-training. We show that although pre-training may not improve performance on traditional classification metrics, it improves model robustness and uncertainty estimates. Through extensive experiments on adversarial examples, label corruption, class imbalance, out-of-distribution detection, and confidence calibration, we demonstrate large gains from pre-training and complementary effects with task-specific methods. We introduce adversarial pre-training and show approximately a 10% absolute improvement over the previous state-of-the-art in adversarial robustness. In some cases, using pre-training without task-specific methods also surpasses the state-of-the-art, highlighting the need for pretraining when evaluating future methods on robustness and uncertainty tasks.

尽管对图像分类任务的表现令人印象深刻，但深网络仍然难以概括其数据的许多常见损坏。为解决此漏洞，事先作品主要专注于提高其培训管道的复杂性，以多样性的名义结合多种方法。然而，在这项工作中，我们逐步回来并遵循原则的方法来实现共同腐败的稳健性。我们提出了一个普遍的数据增强方案，包括最大熵图像变换的简单系列。我们展示了Prime优于现有技术的腐败鲁棒性，而其简单和即插即用性质使其能够与其他方法结合以进一步提升其稳健性。此外，我们分析了对综合腐败图像混合策略的重要性，并揭示了在共同腐败背景下产生的鲁棒性准确性权衡的重要性。最后，我们表明我们的方法的计算效率允许它在线和离线数据增强方案轻松使用。

作为研究界，我们仍然缺乏对对抗性稳健性的进展的系统理解，这通常使得难以识别训练强大模型中最有前途的想法。基准稳健性的关键挑战是，其评估往往是出错的导致鲁棒性高估。我们的目标是建立对抗性稳健性的标准化基准，尽可能准确地反映出考虑在合理的计算预算范围内所考虑的模型的稳健性。为此，我们首先考虑图像分类任务并在允许的型号上引入限制（可能在将来宽松）。我们评估了与AutoAtrack的对抗鲁棒性，白和黑箱攻击的集合，最近在大规模研究中显示，与原始出版物相比，改善了几乎所有稳健性评估。为防止对自动攻击进行新防御的过度适应，我们欢迎基于自适应攻击的外部评估，特别是在自动攻击稳健性潜在高估的地方。我们的排行榜，托管在https://robustbench.github.io/，包含120多个模型的评估，并旨在反映在$ \ ell_ \ infty $的一套明确的任务上的图像分类中的当前状态 - 和$ \ ell_2 $ -Threat模型和共同腐败，未来可能的扩展。此外，我们开源源是图书馆https://github.com/robustbench/robustbench，可以提供对80多个强大模型的统一访问，以方便他们的下游应用程序。最后，根据收集的模型，我们分析了稳健性对分布换档，校准，分配检测，公平性，隐私泄漏，平滑度和可转移性的影响。

不变性于广泛的图像损坏，例如翘曲，噪声或颜色移位，是在计算机视觉中建立强大模型的一个重要方面。最近，已经提出了几种新的数据增强，从而显着提高了Imagenet-C的性能，这是这种腐败的基准。但是，对数据增强和测试时间损坏之间的关系仍然缺乏基本的理解。为此，我们开发了图像变换的一个特征空间，然后在增强和损坏之间使用该空间中的新措施，称为最小示例距离，以演示相似性和性能之间的强相关性。然后，当测试时间损坏被对来自Imagenet-C中的测试时间损坏被采样时，我们调查最近的数据增强并观察腐败鲁棒性的重大退化。我们的结果表明，通过对感知同类增强的培训来提高测试错误，数据增强可能不会超出现有的基准。我们希望我们的结果和工具将允许更强大的进展，以提高对图像损坏的稳健性。我们在https://github.com/facebookresearch/augmentation - 窗子提供代码。

As more and more artificial intelligence (AI) technologies move from the laboratory to real-world applications, the open-set and robustness challenges brought by data from the real world have received increasing attention. Data augmentation is a widely used method to improve model performance, and some recent works have also confirmed its positive effect on the robustness of AI models. However, most of the existing data augmentation methods are heuristic, lacking the exploration of their internal mechanisms. We apply the explainable artificial intelligence (XAI) method, explore the internal mechanisms of popular data augmentation methods, analyze the relationship between game interactions and some widely used robustness metrics, and propose a new proxy for model robustness in the open-set environment. Based on the analysis of the internal mechanisms, we develop a mask-based boosting method for data augmentation that comprehensively improves several robustness measures of AI models and beats state-of-the-art data augmentation approaches. Experiments show that our method can be widely applied to many popular data augmentation methods. Different from the adversarial training, our boosting method not only significantly improves the robustness of models, but also improves the accuracy of test sets. Our code is available at \url{https://github.com/Anonymous_for_submission}.

用于计算机视觉任务的深度神经网络在越来越安全 - 严重和社会影响的应用中部署，激励需要在各种，天然存在的成像条件下关闭模型性能的差距。在包括对抗机器学习的多种上下文中尤为色难地使用的鲁棒性，然后指在自然诱导的图像损坏或改变下保持模型性能。我们进行系统审查，以识别，分析和总结当前定义以及对计算机愿景深度学习中的非对抗鲁棒性的进展。我们发现，该研究领域已经收到了相对于对抗机器学习的不成比例地注意力，但存在显着的稳健性差距，这些差距通常表现在性能下降中与对抗条件相似。为了在上下文中提供更透明的稳健性定义，我们引入了数据生成过程的结构因果模型，并将非对抗性鲁棒性解释为模型在损坏的图像上的行为，其对应于来自未纳入数据分布的低概率样本。然后，我们确定提高神经网络鲁棒性的关键架构，数据增强和优化策略。这种稳健性的这种因果观察表明，目前文献中的常见做法，关于鲁棒性策略和评估，对应于因果概念，例如软干预导致成像条件的决定性分布。通过我们的调查结果和分析，我们提供了对未来研究如何可能介意这种明显和显着的非对抗的鲁棒性差距的观点。

减少大深度学习模型的处理时间的问题是许多现实世界应用中的根本挑战。早期退出方法通过将附加内部分类器（IC）附加到神经网络的中间层来努力实现这一目标。 IC可以快速返回简单示例的预测，结果，降低整个模型的平均推理时间。但是，如果特定IC不决定早期回答，则其预测被丢弃，其计算有效地浪费。为了解决这个问题，我们引入零时间浪费（ZTW），这是一种新的方法，其中每个IC重用由其前辈返回的预测（1）在IC和（2）之间以相对于类似的方式组合先前输出之间的直接连接。我们对各个数据集和架构进行了广泛的实验，以证明ZTW实现了比最近提出的早期退出方法的其他更好的比例与推理时间权衡。

In this paper we establish rigorous benchmarks for image classifier robustness. Our first benchmark, IMAGENET-C, standardizes and expands the corruption robustness topic, while showing which classifiers are preferable in safety-critical applications. Then we propose a new dataset called IMAGENET-P which enables researchers to benchmark a classifier's robustness to common perturbations. Unlike recent robustness research, this benchmark evaluates performance on common corruptions and perturbations not worst-case adversarial perturbations. We find that there are negligible changes in relative corruption robustness from AlexNet classifiers to ResNet classifiers. Afterward we discover ways to enhance corruption and perturbation robustness. We even find that a bypassed adversarial defense provides substantial common perturbation robustness. Together our benchmarks may aid future work toward networks that robustly generalize.

神经网络缺乏对抗性鲁棒性，即，它们容易受到对抗的例子，通过对输入的小扰动导致错误的预测。此外，当模型给出错误的预测时，信任被破坏，即，预测的概率不是我们应该相信我们模型的良好指标。在本文中，我们研究了对抗性鲁棒性和校准之间的联系，发现模型对小扰动敏感的输入（很容易攻击）更有可能具有较差的预测。基于这种洞察力，我们通过解决这些对抗的缺陷输入来研究校准。为此，我们提出了基于对抗基于对抗的自适应标签平滑（AR-AD），其通过适应性软化标签，通过适应性软化标签来整合对抗性鲁棒性和校准到训练中的相关性，这是基于对敌人可以攻击的容易攻击。我们发现我们的方法，考虑了分销数据的对抗性稳健性，即使在分布班次下也能够更好地校准模型。此外，还可以应用于集合模型，以进一步提高模型校准。

现代神经网络Excel在图像分类中，但它们仍然容易受到常见图像损坏，如模糊，斑点噪音或雾。最近的方法关注这个问题，例如Augmix和Deepaulment，引入了在预期运行的防御，以期望图像损坏分布。相比之下，$ \ ell_p $ -norm界限扰动的文献侧重于针对最坏情况损坏的防御。在这项工作中，我们通过提出防范内人来调和两种方法，这是一种优化图像到图像模型的参数来产生对外损坏的增强图像的技术。我们理论上激发了我们的方法，并为其理想化版本的一致性以及大纲领提供了足够的条件。我们的分类机器在预期对CiFar-10-C进行的常见图像腐败基准上提高了最先进的，并改善了CIFAR-10和ImageNet上的$ \ ell_p $ -norm有界扰动的最坏情况性能。