在为临床应用设计诊断模型时，至关重要的是要确保模型在各种图像损坏方面的稳健性。在此，建立了易于使用的基准，以评估神经网络在损坏的病理图像上的性能。具体而言，通过将九种类型的常见损坏注入验证图像来生成损坏的图像。此外，两个分类和一个排名指标旨在评估腐败下的预测和信心表现。在两个结果的基准数据集上进行了评估，我们发现（1）各种深神经网络模型的准确性降低（两倍是清洁图像上的误差的两倍）和对损坏图像的不可靠置信度估计； （2）验证和测试错误之间的相关性较低，同时用我们的基准替换验证集可以增加相关性。我们的代码可在https://github.com/superjamessyx/robustness_benchmark上找到。

最新的深层神经网络容易受到共同损坏的影响（例如，由天气变化，系统错误和处理引起的输入数据降解，扭曲和干扰）。尽管在分析和改善模型在图像理解中的鲁棒性方面取得了很多进展，但视频理解中的鲁棒性在很大程度上没有探索。在本文中，我们建立了腐败的鲁棒性基准，迷你动力学-C和Mini SSV2-C，该基准认为图像中的空间腐败以外的时间腐败。我们首次尝试对建立的基于CNN和基于变压器的时空模型的腐败鲁棒性进行详尽的研究。该研究提供了有关强大模型设计和培训的一些指导：基于变压器的模型比基于CNN的模型更好地腐败鲁棒性。时空模型的概括能力意味着对时间腐败的鲁棒性；模型腐败鲁棒性（尤其是时间领域的鲁棒性）通过计算成本和模型容量增强，这可能与提高模型计算效率的当前趋势相矛盾。此外，我们发现与图像相关的任务（例如，具有噪声的训练模型）的鲁棒性干预可能对时空模型不起作用。

In this paper we establish rigorous benchmarks for image classifier robustness. Our first benchmark, IMAGENET-C, standardizes and expands the corruption robustness topic, while showing which classifiers are preferable in safety-critical applications. Then we propose a new dataset called IMAGENET-P which enables researchers to benchmark a classifier's robustness to common perturbations. Unlike recent robustness research, this benchmark evaluates performance on common corruptions and perturbations not worst-case adversarial perturbations. We find that there are negligible changes in relative corruption robustness from AlexNet classifiers to ResNet classifiers. Afterward we discover ways to enhance corruption and perturbation robustness. We even find that a bypassed adversarial defense provides substantial common perturbation robustness. Together our benchmarks may aid future work toward networks that robustly generalize.

在将人重新识别（REID）模型部署在安全关键型应用程序中时，它是关键，以了解模型的鲁棒性，以反对不同的图像损坏阵列。但是，当前对人的评估Reid仅考虑干净数据集的性能，并忽略各种损坏方案中的图像。在这项工作中，我们全面建立了六种Reid基准，用于学习腐败不变的代表。在Reid领域，我们是第一个在单个和跨模式数据集中开展腐败腐败的彻底研究，包括市场-1501，CUHK03，MSMT17，REGDB，SYSU-MM01。在再现和检查最近的REID方法的鲁棒性能后，我们有一些观察结果：1）基于变压器的模型对损坏的图像更加强大，与基于CNN的模型相比，2）增加了随机擦除的概率（常用的增强方法）伤害模型腐败鲁棒性，3）交叉数据集泛化改善腐败鲁棒性增加。通过分析上述观察，我们提出了一个强大的基线，对单一和跨型号的内部数据集，实现了对不同腐败的改善的鲁棒性。我们的代码可在https://github.com/minghuichen43/cil -reid上获得。

本文增加了基于基准的基本工作，基于深度学习（DL）分类器的鲁棒性。我们创新了一种新的基准测试方法，以评估DL分类器的稳健性。此外，我们介绍了一种新的四象限统计可视化工具，包括最小精度，最大精度，平均准确性和变异系数，用于基准DL分类器的鲁棒性。为了测量强大的DL分类器，我们创建了一个全面的69个基准测试图像集，包括一个清洁集合，单因素扰动设置，并设置具有双因素扰动条件。收集实验结果后，我们首先报告使用双因素扰动图像提高了DL分类器的鲁棒性和准确性。双因素扰动包括（1）在两个序列中施加的两种数字扰动（盐和辣椒噪声和高斯噪声），​​（2）在两个序列中施加的一个数字扰动（盐和胡椒噪声）和几何扰动（旋转） 。所有源代码，相关图像集和初步数据，数字都在GitHub网站上共享，以支持未来的学术研究和行业项目。 Web资源位于https://github.com/caperock/robustai

不变性于广泛的图像损坏，例如翘曲，噪声或颜色移位，是在计算机视觉中建立强大模型的一个重要方面。最近，已经提出了几种新的数据增强，从而显着提高了Imagenet-C的性能，这是这种腐败的基准。但是，对数据增强和测试时间损坏之间的关系仍然缺乏基本的理解。为此，我们开发了图像变换的一个特征空间，然后在增强和损坏之间使用该空间中的新措施，称为最小示例距离，以演示相似性和性能之间的强相关性。然后，当测试时间损坏被对来自Imagenet-C中的测试时间损坏被采样时，我们调查最近的数据增强并观察腐败鲁棒性的重大退化。我们的结果表明，通过对感知同类增强的培训来提高测试错误，数据增强可能不会超出现有的基准。我们希望我们的结果和工具将允许更强大的进展，以提高对图像损坏的稳健性。我们在https://github.com/facebookresearch/augmentation - 窗子提供代码。

尽管对图像分类任务的表现令人印象深刻，但深网络仍然难以概括其数据的许多常见损坏。为解决此漏洞，事先作品主要专注于提高其培训管道的复杂性，以多样性的名义结合多种方法。然而，在这项工作中，我们逐步回来并遵循原则的方法来实现共同腐败的稳健性。我们提出了一个普遍的数据增强方案，包括最大熵图像变换的简单系列。我们展示了Prime优于现有技术的腐败鲁棒性，而其简单和即插即用性质使其能够与其他方法结合以进一步提升其稳健性。此外，我们分析了对综合腐败图像混合策略的重要性，并揭示了在共同腐败背景下产生的鲁棒性准确性权衡的重要性。最后，我们表明我们的方法的计算效率允许它在线和离线数据增强方案轻松使用。

Distribution shifts, which often occur in the real world, degrade the accuracy of deep learning systems, and thus improving robustness is essential for practical applications. To improve robustness, we study an image enhancement method that generates recognition-friendly images without retraining the recognition model. We propose a novel image enhancement method, AugNet, which is based on differentiable data augmentation techniques and generates a blended image from many augmented images to improve the recognition accuracy under distribution shifts. In addition to standard data augmentations, AugNet can also incorporate deep neural network-based image transformation, which further improves the robustness. Because AugNet is composed of differentiable functions, AugNet can be directly trained with the classification loss of the recognition model. AugNet is evaluated on widely used image recognition datasets using various classification models, including Vision Transformer and MLP-Mixer. AugNet improves the robustness with almost no reduction in classification accuracy for clean images, which is a better result than the existing methods. Furthermore, we show that interpretation of distribution shifts using AugNet and retraining based on that interpretation can greatly improve robustness.

对共同腐败的稳健性的文献表明对逆势培训是否可以提高这种环境的性能，没有达成共识。 First, we show that, when used with an appropriately selected perturbation radius, $\ell_p$ adversarial training can serve as a strong baseline against common corruptions improving both accuracy and calibration.然后，我们解释了为什么对抗性训练比具有简单高斯噪声的数据增强更好地表现，这被观察到是对共同腐败的有意义的基线。与此相关，我们确定了高斯增强过度适用于用于培训的特定标准偏差的$ \ sigma $ -oviting现象，这对培训具有显着不利影响的普通腐败精度。我们讨论如何缓解这一问题，然后如何通过学习的感知图像贴片相似度引入对抗性训练的有效放松来进一步增强$ \ ell_p $普发的培训。通过对CiFar-10和Imagenet-100的实验，我们表明我们的方法不仅改善了$ \ ell_p $普发的培训基线，而且还有累积的收益与Augmix，Deepaulment，Ant和Sin等数据增强方法，导致普通腐败的最先进的表现。我们的实验代码在HTTPS://github.com/tml-epfl/adv-training - 窗子上公开使用。

用于计算机视觉任务的深度神经网络在越来越安全 - 严重和社会影响的应用中部署，激励需要在各种，天然存在的成像条件下关闭模型性能的差距。在包括对抗机器学习的多种上下文中尤为色难地使用的鲁棒性，然后指在自然诱导的图像损坏或改变下保持模型性能。我们进行系统审查，以识别，分析和总结当前定义以及对计算机愿景深度学习中的非对抗鲁棒性的进展。我们发现，该研究领域已经收到了相对于对抗机器学习的不成比例地注意力，但存在显着的稳健性差距，这些差距通常表现在性能下降中与对抗条件相似。为了在上下文中提供更透明的稳健性定义，我们引入了数据生成过程的结构因果模型，并将非对抗性鲁棒性解释为模型在损坏的图像上的行为，其对应于来自未纳入数据分布的低概率样本。然后，我们确定提高神经网络鲁棒性的关键架构，数据增强和优化策略。这种稳健性的这种因果观察表明，目前文献中的常见做法，关于鲁棒性策略和评估，对应于因果概念，例如软干预导致成像条件的决定性分布。通过我们的调查结果和分析，我们提供了对未来研究如何可能介意这种明显和显着的非对抗的鲁棒性差距的观点。

聚集到基准中的综合损坏经常用于测量神经网络的鲁棒性与分布换档。然而，对综合腐败基准的鲁棒性并不总是预测现实世界应用中遇到的分销班次的鲁棒性。在本文中，我们提出了一种构建综合腐败基准的方法，使鲁棒性估计与对现实世界分布班次的鲁棒性更相关。使用重叠的标准，我们将合成腐败分成了有助于更好地理解神经网络的鲁棒性的类别。根据这些类别，我们确定三个相关参数，以便在构建（1）代表类别的腐败基准时考虑到（1）代表类别，（2）其相对平衡，（3）所考虑的规模基准。在这样做时，我们建立了新的合成腐败选择，这些选择比现有的综合腐败基准更具预测到自然腐败的鲁棒性。

本文对实例分割模型进行了全面评估，这些模型与现实世界图像损坏以及室外图像集合，例如与培训数据集不同的设置捕获的图像。室外图像评估显示了模型的概括能力，现实世界应用的一个基本方面以及广泛研究的域适应性主题。当设计用于现实世界应用程序的实例分割模型并选择现成的预期模型以直接用于手头的任务时，这些提出的鲁棒性和泛化评估很重要。具体而言，这项基准研究包括最先进的网络架构，网络骨架，标准化层，从头开始训练的模型，从头开始与预处理的网络以及多任务培训对稳健性和概括的影响。通过这项研究，我们获得了一些见解。例如，我们发现组归一化增强了跨损坏的网络的鲁棒性，其中图像内容保持不变，但损坏却添加在顶部。另一方面，分批归一化改善了图像特征统计信息在不同数据集上的概括。我们还发现，单阶段探测器比其训练大小不太概括到更大的图像分辨率。另一方面，多阶段探测器可以轻松地用于不同尺寸的图像上。我们希望我们的全面研究能够激发更强大和可靠的实例细分模型的发展。

We study how robust current ImageNet models are to distribution shifts arising from natural variations in datasets. Most research on robustness focuses on synthetic image perturbations (noise, simulated weather artifacts, adversarial examples, etc.), which leaves open how robustness on synthetic distribution shift relates to distribution shift arising in real data. Informed by an evaluation of 204 ImageNet models in 213 different test conditions, we find that there is often little to no transfer of robustness from current synthetic to natural distribution shift. Moreover, most current techniques provide no robustness to the natural distribution shifts in our testbed. The main exception is training on larger and more diverse datasets, which in multiple cases increases robustness, but is still far from closing the performance gaps. Our results indicate that distribution shifts arising in real data are currently an open research problem. We provide our testbed and data as a resource for future work at https://modestyachts.github.io/imagenet-testbed/.

Modern deep neural networks can achieve high accuracy when the training distribution and test distribution are identically distributed, but this assumption is frequently violated in practice. When the train and test distributions are mismatched, accuracy can plummet. Currently there are few techniques that improve robustness to unforeseen data shifts encountered during deployment. In this work, we propose a technique to improve the robustness and uncertainty estimates of image classifiers. We propose AUGMIX, a data processing technique that is simple to implement, adds limited computational overhead, and helps models withstand unforeseen corruptions. AUGMIX significantly improves robustness and uncertainty measures on challenging image classification benchmarks, closing the gap between previous methods and the best possible performance in some cases by more than half.

与人类相比，即使是最先进的深度学习模型也缺乏基本能力。已经提出了多重比较范例来探索人类与深度学习之间的区别。尽管大多数比较都取决于受数学转变启发的腐败，但很少有人在人类认知现象上具有基础。在这项研究中，我们提出了一种基于毗邻的光栅幻觉的新型腐败方法，这是在人类和广泛的动物物种中广泛发现的视觉现象。腐败方法破坏了梯度定义的边界，并使用彼此毗邻的线光栅产生了虚幻轮廓的感知。我们应用了MNIST，高分辨率MNIST和Silhouette对象图像的方法。对腐败的各种深度学习模型进行了测试，包括从头开始训练的模型和通过ImageNet或各种数据增强技术预测的109个模型。我们的结果表明，即使对于最先进的深度学习模型，将光栅腐败毗邻也是挑战性的，因为大多数模型都是随机猜测的。我们还发现，深度指示技术可以极大地改善固定光栅幻觉的鲁棒性。早期层的可视化表明，更好的性能模型表现出更强的终端特性，这与神经科学发现一致。为了验证腐败方法，涉及24名人类受试者以对损坏数据集进行分类。

近年来，由于3D数据收集和深度学习技术的进步，对点云的3D对象检测已取得了重大进展。然而，3D场景表现出很多变化，并且容易出现传感器的不准确性以及预处理过程中的信息丢失。因此，对于针对这些变化的设计技术至关重要。这需要详细的分析和理解此类变化的影响。这项工作旨在分析和基准基于流行的基于点的3D对象检测器，以针对几个数据损坏。据我们所知，我们是第一个研究基于点的3D对象探测器的鲁棒性的人。为此，我们设计和评估涉及数据添加，减少和更改的损坏。我们进一步研究了不同模块对局部和全球变化的鲁棒性。我们的实验结果揭示了一些有趣的发现。例如，与在点级别上使用变压器相比，我们表明在补丁或对象级别集成变压器的方法会增加鲁棒性。

经过认证的稳健性保证衡量模型对测试时间攻击的稳健性，并且可以评估模型对现实世界中部署的准备情况。在这项工作中，我们批判性地研究了对基于随机平滑的认证方法的对抗鲁棒性如何在遇到配送外（OOD）数据的最先进的鲁棒模型时改变。我们的分析显示了这些模型的先前未知的漏洞，以低频OOD数据，例如与天气相关的损坏，使这些模型不适合在野外部署。为了缓解这个问题，我们提出了一种新的数据增强方案，Fourimix，产生增强以改善训练数据的光谱覆盖范围。此外，我们提出了一种新规范器，鼓励增强数据的噪声扰动的一致预测，以提高平滑模型的质量。我们发现Fouriermix增强有助于消除可认真强大的模型的频谱偏差，使其能够在一系列ood基准上实现明显更好的稳健性保证。我们的评估还在突出模型的光谱偏差时揭示了当前的OOD基准。为此，我们提出了一个全面的基准套件，其中包含来自光谱域中不同区域的损坏。对拟议套件上流行的增强方法培训的模型的评估突出了它们的光谱偏差，并建立了富硫克斯训练型模型在实现整个频谱上变化下的更好认证的鲁棒性担保的优势。

卷积神经网络（CNN）的鲁棒性存在一些问题。例如，可以通过向输入中添加少量噪声来更改CNN的预测，当输入分布通过在训练过程中从未见过的转换移动时，CNN的性能会降解（例如，模糊效应）。有一些方法可以用二进制嵌入替代像素值，以解决对抗性扰动的问题，从而成功改善了鲁棒性。在这项工作中，我们将像素提出到二进制嵌入（P2BE）以提高CNN的鲁棒性。P2BE是一种可学习的二进制嵌入方法，而不是先前的手工编码的二进制嵌入方法。P2BE在训练过程中未显示的对抗性扰动和视觉损坏方面的其他二进制嵌入方法优于其他二进制嵌入方法。

我们研究了评估基于微分方程（DE）网络的鲁棒性的问题和挑战，以防止合成分布转移。我们提出了一种新颖而简单的精度度量，可用于评估固有的鲁棒性并验证数据集损坏模拟器。我们还提出了方法论建议，注定要评估神经des'的鲁棒性的许多面孔，并将其与它们的离散对应物进行了严格的比较。然后，我们使用此标准来评估廉价数据增强技术，以证明神经ODE的自然鲁棒性，以防止多个数据集中的模拟图像损坏。

在过去的几年里，深度神经网络（DNN）取得了巨大的成功，并且在许多应用领域中不断应用。然而，在工业任务的实际部署期间，由于超容易的原因，发现DNN被发现是错误的，缺乏在实际使用过程中对现实世界腐败的鲁棒性。为了解决这些挑战，通过通过在神经级别的再试，微调或直接重量固定来通过更新权重（即，网络参数）来修复实际操作环境下的近期尝试。在这项工作中，作为第一次尝试，我们通过共同优化架构和重量，以更高（即，块）级别来修复DNN。我们首先履行实证研究，以调查整个网络级和层次修复的限制，这激励我们探索块水平的DNN修复的新修复方向。为此，我们首先提出对弱势群体定位的对抗侵犯块定位的频谱分析，其在前向和后向过程中考虑块中的神经元“状态和权重”梯度，这使得即使在几个示例下也能够修复更准确的候选块定位。然后，我们进一步提出了面向架构的基于搜索的修复，该修复将目标块放宽到更高的深度特征级别的连续修复搜索空间。通过联合优化该空间中的架构和权重，我们可以识别更好的块架构。我们实施我们提出的修复技术作为一个名为ArchRepair的工具，并进行广泛的实验以验证提出的方法。结果表明，我们的方法不仅可以修复，还可以提高准确性和稳健性，优于最先进的DNN修复技术。