Vulnerability to adversarial attacks is a well-known weakness of Deep Neural Networks. While most of the studies focus on natural images with standardized benchmarks like ImageNet and CIFAR, little research has considered real world applications, in particular in the medical domain. Our research shows that, contrary to previous claims, robustness of chest x-ray classification is much harder to evaluate and leads to very different assessments based on the dataset, the architecture and robustness metric. We argue that previous studies did not take into account the peculiarity of medical diagnosis, like the co-occurrence of diseases, the disagreement of labellers (domain experts), the threat model of the attacks and the risk implications for each successful attack. In this paper, we discuss the methodological foundations, review the pitfalls and best practices, and suggest new methodological considerations for evaluating the robustness of chest xray classification models. Our evaluation on 3 datasets, 7 models, and 18 diseases is the largest evaluation of robustness of chest x-ray classification models.

我们提出了从大几何附近（LGV）的转移性，这是一种新技术，以提高黑盒对抗攻击的可传递性。LGV从预处理的替代模型开始，并从恒定且高学习率的其他一些训练时期收集了多个重量集。LGV利用了我们与可传递性相关的两个几何特性。首先，属于最佳体重的模型是更好的替代物。其次，我们确定一个能够在此更大最佳中生成有效的替代合奏的子空间。通过广泛的实验，我们表明单独使用LGV优于四个既定测试时间转换的所有（组合）。我们的发现为解释对抗性例子的转移性的几何形状的重要性提供了新的启示。

由于其在多个工业应用领域的竞争性能，深度学习在我们的日常生活中起着越来越重要的作用。作为基于DL的系统的核心，深度神经网络会自动从精心收集和有组织的培训数据中学习知识，以获得预测看不见数据的标签的能力。与需要全面测试的传统软件系统类似，还需要仔细评估DNN，以确保受过训练的模型的质量满足需求。实际上，评估行业中DNN质量的事实上的标准是检查其在收集的标记测试数据集中的性能（准确性）。但是，准备这样的标记数据通常不容易部分，部分原因是标签工作巨大，即数据标记是劳动密集型的，尤其是每天有大量新的新传入的未标记数据。最近的研究表明，DNN的测试选择是一个有希望的方向，可以通过选择最小的代表性数据来标记并使用这些数据来评估模型来解决此问题。但是，它仍然需要人类的努力，不能自动。在本文中，我们提出了一种名为Aries的新技术，可以使用原始测试数据获得的信息估算新未标记数据的DNN的性能。我们技术背后的关键见解是，该模型在与决策边界具有相似距离的数据上应具有相似的预测准确性。我们对13种数据转换方法的技术进行了大规模评估。结果表明，我们技术的有用性是，白羊座的估计准确性仅为0.03％-2.60％（平均0.61％），从真实的准确性中差。此外，在大多数（128个）情况下，白羊座还优于最先进的选择标记方法。

在过去的几年中，深度学习（DL）一直在不断扩大其应用程序，并成为大型法规时代大规模源代码分析的推动力。由于意外的准确性降解，测试集与训练集不同的分布与训练集不同的分布与训练集不同。尽管最近在计算机视觉和自然语言过程等领域取得了分配转移基准测试的最新进展。对于源代码任务的分配转移分析和基准测试，进展有限，由于其数量和支持几乎所有工业部门的基础，都有很大的需求。为了填补这一空白，本文启动了提出代码，即用于源代码学习的分销基准数据集。具体而言，代码支持2种编程语言（即Java和Python）和5种代码分发偏移（即任务，程序员，时间戳记，代币和CST）。据我们所知，我们是第一个定义基于代码表示的分布变化的人。在实验中，我们首先评估现有分布探测器的有效性以及分配移位定义的合理性，然后测量流行代码学习模型（例如Codebert）对分类任务的模型概括。结果表明，1）仅基于SoftMax得分的OOD检测器在代码上表现良好，2）分配转移会导致所有代码分类模型中的准确性降解，3）基于表示的分布转移对模型的影响比其他模型具有更高的影响，并且4）预训练的模型对分布变化更具抵抗力。我们公开提供代码，从而实现了有关代码学习模型质量评估的后续研究。

积极学习是一种降低标签成本以构建高质量机器学习模型的既定技术。主动学习的核心组件是确定应选择哪些数据来注释的采集功能。最先进的采集功能 - 更重要的是主动学习技术 - 已经旨在最大限度地提高清洁性能（例如，准确性）并忽视了鲁棒性，这是一种受到越来越受关注的重要品质。因此，主动学习产生准确但不强大的模型。在本文中，我们提出了一种积极的学习过程，集成了对抗性培训的积极学习过程 - 最熟悉的制作强大模型的方法。通过对11个采集函数的实证研究，4个数据集，6个DNN架构和15105培训的DNN，我们表明，强大的主动学习可以产生具有鲁棒性的模型（对抗性示例的准确性），范围从2.35 \％到63.85 \％，而标准主动学习系统地实现了可忽略不计的鲁棒性（小于0.20 \％）。然而，我们的研究还揭示了在稳健性方面，在准确性上表现良好的采集功能比随机抽样更糟糕。因此，我们检查了它背后的原因，并设计了一个新的采购功能，这些功能既可定位清洁的性能和鲁棒性。我们的采集功能 - 基于熵（DRE）的基于密度的鲁棒采样 - 优于鲁棒性的其他采集功能（包括随机），最高可达24.40 \％（特别是3.84 \％），同时仍然存在竞争力准确性。此外，我们证明了DRE适用于测试选择度量，用于模型再培训，并从所有比较功能中脱颖而出，高达8.21％的鲁棒性。

可行对抗示例的产生对于适当评估适用于受约束特征空间的模型是必要的。但是，它仍然是一个具有挑战性的任务，以强制执行用于计算机愿景的攻击。我们提出了一个统一的框架，以产生满足给定域约束的可行的对抗性示例。我们的框架支持文献中报告的使用情况，可以处理线性和非线性约束。我们将框架实例化为两种算法：基于梯度的攻击，引入损耗函数中的约束，以最大化，以及旨在错误分类，扰动最小化和约束满足的多目标搜索算法。我们展示我们的方法在不同域的两个数据集上有效，成功率高达100％，其中最先进的攻击无法生成单个可行的示例。除了对抗性再培训之外，我们还提出引入工程化的非凸起约束，以改善模型对抗性鲁棒性。我们证明这一新防御与对抗性再次一样有效。我们的框架构成了对受约束的对抗性攻击研究的起点，并提供了未来的研究可以利用的相关基线和数据集。

提高黑箱逃避攻击的可转移性的一种既定方法是在基于合奏的替代物上制作对抗性例子，以提高多样性。我们认为可转移性与不确定性根本相关。基于一种最先进的贝叶斯深度学习技术，我们提出了一种新方法，通过大约从神经网络权重的后验分布进行采样来有效地构建代理，这代表了每个参数的价值的信念。我们对Imagenet，CIFAR-10和MNIST进行的广泛实验表明，在内部结构和结构转移性中，我们的方法显着提高了四个最新攻击的成功率（高达83.2个百分点）。在Imagenet上，与经过独立训练的DNN合奏相比，我们的方法可以达到成功率的94％，同时将训练计算从11.6降低到2.4个Exaflops。与为此目的设计的三种测试时间技术相比，我们的香草代理人的可传递性高87.5％。我们的工作表明，训练代理人的方法被忽略了，尽管这是基于转移攻击的重要组成部分。因此，我们是第一个回顾几种培训方法在提高可传递性方面的有效性的。我们提供了新的方向，以更好地了解可转移性现象，并为将来的工作提供简单但强大的基线。

Making histopathology image classifiers robust to a wide range of real-world variability is a challenging task. Here, we describe a candidate deep learning solution for the Mitosis Domain Generalization Challenge 2022 (MIDOG) to address the problem of generalization for mitosis detection in images of hematoxylin-eosin-stained histology slides under high variability (scanner, tissue type and species variability). Our approach consists in training a rotation-invariant deep learning model using aggressive data augmentation with a training set enriched with hard negative examples and automatically selected negative examples from the unlabeled part of the challenge dataset. To optimize the performance of our models, we investigated a hard negative mining regime search procedure that lead us to train our best model using a subset of image patches representing 19.6% of our training partition of the challenge dataset. Our candidate model ensemble achieved a F1-score of .697 on the final test set after automated evaluation on the challenge platform, achieving the third best overall score in the MIDOG 2022 Challenge.

As more and more conversational and translation systems are deployed in production, it is essential to implement and to develop effective control mechanisms guaranteeing their proper functioning and security. An essential component to ensure safe system behavior is out-of-distribution (OOD) detection, which aims at detecting whether an input sample is statistically far from the training distribution. Although OOD detection is a widely covered topic in classification tasks, it has received much less attention in text generation. This paper addresses the problem of OOD detection for machine translation and dialog generation from an operational perspective. Our contributions include: (i) RAINPROOF a Relative informAItioN Projection ODD detection framework; and (ii) a more operational evaluation setting for OOD detection. Surprisingly, we find that OOD detection is not necessarily aligned with task-specific measures. The OOD detector may filter out samples that are well processed by the model and keep samples that are not, leading to weaker performance. Our results show that RAINPROOF breaks this curse and achieve good results in OOD detection while increasing performance.

Underwater images are altered by the physical characteristics of the medium through which light rays pass before reaching the optical sensor. Scattering and strong wavelength-dependent absorption significantly modify the captured colors depending on the distance of observed elements to the image plane. In this paper, we aim to recover the original colors of the scene as if the water had no effect on them. We propose two novel methods that rely on different sets of inputs. The first assumes that pixel intensities in the restored image are normally distributed within each color channel, leading to an alternative optimization of the well-known \textit{Sea-thru} method which acts on single images and their distance maps. We additionally introduce SUCRe, a new method that further exploits the scene's 3D Structure for Underwater Color Restoration. By following points in multiple images and tracking their intensities at different distances to the sensor we constrain the optimization of the image formation model parameters. When compared to similar existing approaches, SUCRe provides clear improvements in a variety of scenarios ranging from natural light to deep-sea environments. The code for both approaches is publicly available at https://github.com/clementinboittiaux/sucre .