This paper proposes an easy-to-compute upper bound for the overlap index between two probability distributions without requiring any knowledge of the distribution models. The computation of our bound is time-efficient and memory-efficient and only requires finite samples. The proposed bound shows its value in one-class classification and domain shift analysis. Specifically, in one-class classification, we build a novel one-class classifier by converting the bound into a confidence score function. Unlike most one-class classifiers, the training process is not needed for our classifier. Additionally, the experimental results show that our classifier \textcolor{\colorname}{can be accurate with} only a small number of in-class samples and outperforms many state-of-the-art methods on various datasets in different one-class classification scenarios. In domain shift analysis, we propose a theorem based on our bound. The theorem is useful in detecting the existence of domain shift and inferring data information. The detection and inference processes are both computation-efficient and memory-efficient. Our work shows significant promise toward broadening the applications of overlap-based metrics.

最近的研究表明，深神经网络（DNN）易受对抗性攻击的影响，包括逃避和后门（中毒）攻击。在防守方面，有密集的努力，改善了对逃避袭击的经验和可怜的稳健性;然而，对后门攻击的可稳健性仍然很大程度上是未开发的。在本文中，我们专注于认证机器学习模型稳健性，反对一般威胁模型，尤其是后门攻击。我们首先通过随机平滑技术提供统一的框架，并展示如何实例化以证明对逃避和后门攻击的鲁棒性。然后，我们提出了第一个强大的培训过程Rab，以平滑训练有素的模型，并证明其稳健性对抗后门攻击。我们派生机学习模型的稳健性突出了培训的机器学习模型，并证明我们的鲁棒性受到紧张。此外，我们表明，可以有效地训练强大的平滑模型，以适用于诸如k最近邻分类器的简单模型，并提出了一种精确的平滑训练算法，该算法消除了从这种模型的噪声分布采样采样的需要。经验上，我们对MNIST，CIFAR-10和Imagenet数据集等DNN，差异私有DNN和K-NN模型等不同机器学习（ML）型号进行了全面的实验，并为反卧系攻击提供认证稳健性的第一个基准。此外，我们在SPAMBase表格数据集上评估K-NN模型，以展示所提出的精确算法的优点。对多元化模型和数据集的综合评价既有关于普通训练时间攻击的进一步强劲学习策略的多样化模型和数据集的综合评价。

被证明深度神经网络（DNN）被证明是易受后门攻击的影响。后门通常通过将后门触发注入训练示例中的目标DNN嵌入到目标DNN中，这可能导致目标DNN消除附加的输入附加的输入。现有的后门检测方法通常需要访问原始中毒训练数据，目标DNN的参数，或对每个给定输入的预测置信度，这在许多实际应用中是不切实际的，例如，在设备上部署的DNN。我们地址DNN是完全黑盒的黑匣子硬标签检测问题，只能访问其最终输出标签。我们从优化角度方面接近这个问题，并表明回程检测的目标受到对抗目标的界定。进一步的理论和实证研究表明，这种对抗性物镜导致具有高度偏斜分布的溶液;在后门感染的例子的对抗性地图中经常观察到奇点，我们称之为对抗性奇点现象。基于该观察，我们提出了对抗极值分析（AEVA）来检测黑匣子神经网络中的后门。 AEVA基于来自Monte-Carlo梯度估计计算的对抗地图的极值分析。在多个流行的任务和后门攻击中通过广泛的实验证明，我们的方法有效地检测了黑匣子硬标的场景下的后门攻击。

后门攻击已被证明是对深度学习模型的严重安全威胁，并且检测给定模型是否已成为后门成为至关重要的任务。现有的防御措施主要建立在观察到后门触发器通常尺寸很小或仅影响几个神经元激活的观察结果。但是，在许多情况下，尤其是对于高级后门攻击，违反了上述观察结果，阻碍了现有防御的性能和适用性。在本文中，我们提出了基于新观察的后门防御范围。也就是说，有效的后门攻击通常需要对中毒训练样本的高预测置信度，以确保训练有素的模型具有很高的可能性。基于此观察结果，Dtinspector首先学习一个可以改变最高信心数据的预测的补丁，然后通过检查在低信心数据上应用学习补丁后检查预测变化的比率来决定后门的存在。对五次后门攻击，四个数据集和三种高级攻击类型的广泛评估证明了拟议防御的有效性。

分布（OOD）检测对于部署在野外的机器学习模型很重要。最近的方法使用辅助分离器数据将模型正规化以改进OOD检测。但是，这些方法是一个有力的分布假设，即辅助离群数据与分布（ID）数据完全可分离。在本文中，我们提出了一个利用野生混合数据的新型框架，该框架自然由ID和OOD样品组成。这样的野生数据很丰富，并且在将机器学习分类器部署在自然栖息地中时自由出现。我们的关键思想是制定一个约束的优化问题，并展示如何批准解决问题。我们的学习目标使OOD检测率最大化，但要受到ID数据的分类错误和ID示例的OOD错误率的限制。我们广泛评估了我们对常见的OOD检测任务的方法，并证明了卓越的性能。

有针对性的训练集攻击将恶意实例注入训练集中，以导致训练有素的模型错误地标记一个或多个特定的测试实例。这项工作提出了目标识别的任务，该任务决定了特定的测试实例是否是训练集攻击的目标。目标识别可以与对抗性识别相结合，以查找（并删除）攻击实例，从而减轻对其他预测的影响，从而减轻攻击。我们没有专注于单个攻击方法或数据模式，而是基于影响力估计，这量化了每个培训实例对模型预测的贡献。我们表明，现有的影响估计量的不良实际表现通常来自于他们对训练实例和迭代次数的过度依赖。我们重新归一化的影响估计器解决了这一弱点。他们的表现远远超过了原始估计量，可以在对抗和非对抗环境中识别有影响力的训练示例群体，甚至发现多达100％的对抗训练实例，没有清洁数据误报。然后，目标识别简化以检测具有异常影响值的测试实例。我们证明了我们的方法对各种数据域的后门和中毒攻击的有效性，包括文本，视觉和语音，以及针对灰色盒子的自适应攻击者，该攻击者专门优化了逃避我们方法的对抗性实例。我们的源代码可在https://github.com/zaydh/target_indistification中找到。

分销（OOD）检测对于在现实世界中部署机器学习模型是重要的，其中来自移位分布的测试数据可以自然地出现。虽然最近出现了何种算法方法，但何种算法检测，临界差距仍然存在理论上。在这项工作中，我们开发了一个分析框架，其特征，并统一了对OOD检测的理论理解。我们的分析框架激励了一种新颖的电子网络，创业板的检测方法，展示了理论和经验的优势。特别是，在CIFAR-100作为分布数据中，我们的方法优于竞争性基线16.57％（FPR95）。最后，我们正式提供可证明的保证和对我们的方法进行全面分析，支撑数据分布的各种性能如何影响OOD检测的性能。

Novelty detection, i.e., identifying whether a given sample is drawn from outside the training distribution, is essential for reliable machine learning. To this end, there have been many attempts at learning a representation well-suited for novelty detection and designing a score based on such representation. In this paper, we propose a simple, yet effective method named contrasting shifted instances (CSI), inspired by the recent success on contrastive learning of visual representations. Specifically, in addition to contrasting a given sample with other instances as in conventional contrastive learning methods, our training scheme contrasts the sample with distributionally-shifted augmentations of itself. Based on this, we propose a new detection score that is specific to the proposed training scheme. Our experiments demonstrate the superiority of our method under various novelty detection scenarios, including unlabeled one-class, unlabeled multi-class and labeled multi-class settings, with various image benchmark datasets. Code and pre-trained models are available at https://github.com/alinlab/CSI.

机器学习模型通常会遇到与训练分布不同的样本。无法识别分布（OOD）样本，因此将该样本分配给课堂标签会显着损害模​​型的可靠性。由于其对在开放世界中的安全部署模型的重要性，该问题引起了重大关注。由于对所有可能的未知分布进行建模的棘手性，检测OOD样品是具有挑战性的。迄今为止，一些研究领域解决了检测陌生样本的问题，包括异常检测，新颖性检测，一级学习，开放式识别识别和分布外检测。尽管有相似和共同的概念，但分别分布，开放式检测和异常检测已被独立研究。因此，这些研究途径尚未交叉授粉，创造了研究障碍。尽管某些调查打算概述这些方法，但它们似乎仅关注特定领域，而无需检查不同领域之间的关系。这项调查旨在在确定其共同点的同时，对各个领域的众多著名作品进行跨域和全面的审查。研究人员可以从不同领域的研究进展概述中受益，并协同发展未来的方法。此外，据我们所知，虽然进行异常检测或单级学习进行了调查，但没有关于分布外检测的全面或最新的调查，我们的调查可广泛涵盖。最后，有了统一的跨域视角，我们讨论并阐明了未来的研究线，打算将这些领域更加紧密地融为一体。

深度神经网络众所周知，很容易受到对抗性攻击和后门攻击的影响，在该攻击中，对输入的微小修改能够误导模型以给出错误的结果。尽管已经广泛研究了针对对抗性攻击的防御措施，但有关减轻后门攻击的调查仍处于早期阶段。尚不清楚防御这两次攻击之间是否存在任何连接和共同特征。我们对对抗性示例与深神网络的后门示例之间的联系进行了全面的研究，以寻求回答以下问题：我们可以使用对抗检测方法检测后门。我们的见解是基于这样的观察结果，即在推理过程中，对抗性示例和后门示例都有异常，与良性​​样本高度区分。结果，我们修改了四种现有的对抗防御方法来检测后门示例。广泛的评估表明，这些方法可靠地防止后门攻击，其准确性比检测对抗性实例更高。这些解决方案还揭示了模型灵敏度，激活空间和特征空间中对抗性示例，后门示例和正常样本的关系。这能够增强我们对这两次攻击和防御机会的固有特征的理解。

We consider the problem of anomaly detection in images, and present a new detection technique. Given a sample of images, all known to belong to a "normal" class (e.g., dogs), we show how to train a deep neural model that can detect out-of-distribution images (i.e., non-dog objects). The main idea behind our scheme is to train a multi-class model to discriminate between dozens of geometric transformations applied on all the given images. The auxiliary expertise learned by the model generates feature detectors that effectively identify, at test time, anomalous images based on the softmax activation statistics of the model when applied on transformed images. We present extensive experiments using the proposed detector, which indicate that our technique consistently improves all known algorithms by a wide margin.1 Unless otherwise mentioned, the use of the adjective "normal" is unrelated to the Gaussian distribution.32nd Conference on Neural Information Processing Systems (NIPS 2018),

深度神经网络（DNNS）在训练过程中容易受到后门攻击的影响。该模型以这种方式损坏正常起作用，但是当输入中的某些模式触发时，会产生预定义的目标标签。现有防御通常依赖于通用后门设置的假设，其中有毒样品共享相同的均匀扳机。但是，最近的高级后门攻击表明，这种假设在动态后门中不再有效，在动态后门中，触发者因输入而异，从而击败了现有的防御。在这项工作中，我们提出了一种新颖的技术BEATRIX（通过革兰氏矩阵检测）。 BEATRIX利用革兰氏矩阵不仅捕获特征相关性，还可以捕获表示形式的适当高阶信息。通过从正常样本的激活模式中学习类条件统计，BEATRIX可以通过捕获激活模式中的异常来识别中毒样品。为了进一步提高识别目标标签的性能，BEATRIX利用基于内核的测试，而无需对表示分布进行任何先前的假设。我们通过与最先进的防御技术进行了广泛的评估和比较来证明我们的方法的有效性。实验结果表明，我们的方法在检测动态后门时达到了91.1％的F1得分，而最新技术只能达到36.9％。

分布（OOD）检测是在开放世界中部署机器学习模型的关键任务。基于距离的方法已经证明了有望，如果测试样品离分布（ID）数据相对遥远，则将测试样品视为OOD。但是，先前的方法对基础特征空间施加了强有力的分布假设，这可能并不总是存在。在本文中，我们探讨了非参数最近邻居距离的疗效，以检测OOD，这在文献中很大程度上被忽略了。与先前的工作不同，我们的方法不会施加任何分布假设，因此提供了更强的灵活性和一般性。我们证明了在几个基准测试中基于邻元的OOD检测的有效性，并建立了卓越的性能。在对Imagenet-1K训练的同一模型下，我们的方法将假阳性率（FPR@tpr95）降低了24.77％，与强大的基线SSD+相比，使用参数方法Mahalanobis在检测中。可用代码：https：//github.com/deeplearning-wisc/knn-ood。

检测与培训数据偏离的测试数据是安全和健壮的机器学习的核心问题。通过生成模型学到的可能性，例如，通过标准对数似然训练的归一流流量，作为异常得分的表现不佳。我们建议使用未标记的辅助数据集和概率异常得分进行异常检测。我们使用在辅助数据集上训练的自我监督功能提取器，并通过最大程度地提高分布数据的可能性并最大程度地减少辅助数据集上的可能性来训练提取功能的正常化流程。我们表明，这等同于学习分布和辅助特征密度之间的归一化正差。我们在基准数据集上进行实验，并显示出与可能性，似然比方法和最新异常检测方法相比的强大改进。

我们建议利用梯度检测对抗和分布样品。我们介绍了混杂标签（与训练过程中的正常标签不同），以探测神经网络的有效表达性。梯度描述了模型正确表示给定输入所需的变化量，从而洞悉了网络体系结构属性建立的模型的代表力以及培训数据。通过引入不同设计的标签，我们消除了对推理期间梯度生成的地面真相标签的依赖。我们表明，我们的基于梯度的方法可以根据模型的有效表达性捕获异常，而没有超参数调整或其他处理，并且优于对抗和分布检测的最先进方法。

与令人印象深刻的进步触动了我们社会的各个方面，基于深度神经网络（DNN）的AI技术正在带来越来越多的安全问题。虽然在考试时间运行的攻击垄断了研究人员的初始关注，但是通过干扰培训过程来利用破坏DNN模型的可能性，代表了破坏训练过程的可能性，这是破坏AI技术的可靠性的进一步严重威胁。在后门攻击中，攻击者损坏了培训数据，以便在测试时间诱导错误的行为。然而，测试时间误差仅在存在与正确制作的输入样本对应的触发事件的情况下被激活。通过这种方式，损坏的网络继续正常输入的预期工作，并且只有当攻击者决定激活网络内隐藏的后门时，才会发生恶意行为。在过去几年中，后门攻击一直是强烈的研究活动的主题，重点是新的攻击阶段的发展，以及可能对策的提议。此概述文件的目标是审查发表的作品，直到现在，分类到目前为止提出的不同类型的攻击和防御。指导分析的分类基于攻击者对培训过程的控制量，以及防御者验证用于培训的数据的完整性，并监控DNN在培训和测试中的操作时间。因此，拟议的分析特别适合于参考他们在运营的应用方案的攻击和防御的强度和弱点。

最近的研究表明，深层神经网络容易受到不同类型的攻击，例如对抗性攻击，数据中毒攻击和后门攻击。其中，后门攻击是最狡猾的攻击，几乎可以在深度学习管道的每个阶段发生。因此，后门攻击吸引了学术界和行业的许多兴趣。但是，大多数现有的后门攻击方法对于某些轻松的预处理（例如常见数据转换）都是可见的或脆弱的。为了解决这些限制，我们提出了一种强大而无形的后门攻击，称为“毒药”。具体而言，我们首先利用图像结构作为目标中毒区域，并用毒药（信息）填充它们以生成触发图案。由于图像结构可以在数据转换期间保持其语义含义，因此这种触发模式对数据转换本质上是强大的。然后，我们利用深度注射网络将这种触发模式嵌入封面图像中，以达到隐身性。与现有流行的后门攻击方法相比，毒药的墨水在隐形和健壮性方面都优于表现。通过广泛的实验，我们证明了毒药不仅是不同数据集和网络体系结构的一般性，而且对于不同的攻击场景也很灵活。此外，它对许多最先进的防御技术也具有非常强烈的抵抗力。

由于缺乏标签信息，异常检测是机器学习中的基本但具有挑战性的问题。在这项工作中，我们提出了一种新颖而强大的框架，称为SLA $ ^ 2 $ P，用于无监督的异常检测。在从原始数据中提取代表性嵌入后，我们将随机投影应用于特征，并将不同投影转换的特征视为属于不同的伪类。然后，我们在这些转换功能上培训一个分类器网络，以执行自我监督的学习。接下来，我们向变换特征添加对冲扰动，以减少预测标签的软MAX分数，并基于这些扰动特征对分类器的预测不确定性来降低预测标签和设计异常分数。我们的动机是，由于相对较小的数量和分散的异常模式，1）伪标签分类器的培训更集中学习正常数据的语义信息而不是异常数据; 2）正常数据的转换特征比异常的扰动更强大。因此，异常的扰动转化的特征不能良好分类，因此具有比正常样本的异常分数低。在图像，文本和固有的表格基准数据集上进行了广泛的实验，并表明SLA $ ^ 2 $ p实现了最先进的导致无监督的异常检测任务一致。

典型的深神经网络（DNN）后门攻击基于输入中嵌入的触发因素。现有的不可察觉的触发因素在计算上昂贵或攻击成功率低。在本文中，我们提出了一个新的后门触发器，该扳机易于生成，不可察觉和高效。新的触发器是一个均匀生成的三维（3D）二进制图案，可以水平和/或垂直重复和镜像，并将其超级贴在三通道图像上，以训练后式DNN模型。新型触发器分散在整个图像中，对单个像素产生微弱的扰动，但共同拥有强大的识别模式来训练和激活DNN的后门。我们还通过分析表明，随着图像的分辨率提高，触发因素越来越有效。实验是使用MNIST，CIFAR-10和BTSR数据集上的RESNET-18和MLP模型进行的。在无遗象的方面，新触发的表现优于现有的触发器，例如Badnet，Trojaned NN和隐藏的后门。新的触发因素达到了几乎100％的攻击成功率，仅将分类准确性降低了不到0.7％-2.4％，并使最新的防御技术无效。

在过去十年中，深度神经网络在各种任务中取得了令人印象深刻的性能，例如自主驾驶，人脸识别和医学诊断。然而，事先作证表明，深度神经网络通过后门攻击将恶意小隐藏触发器注入模型培训，提高严重的安全威胁。要确定触发的神经元并防止反卧系攻击，我们利用福利价值并开发一种名为福利修剪（Shappruning）的新方法，该方法成功地从数据不足的情况下从模型中攻击（每级甚至没有数据） 。考虑到神经元之间的相互作用，Shappruning鉴定了少数感染的神经元（在所有神经元的1％以下），并在修剪诸如许多感染神经元后保护模型的结构和准确性。为了加速Shappruning，我们进一步提出了丢弃的阈值和$ \ epsilon $ -greedy策略以加速福利估计，使得只有几分钟的时间就可以修复中毒模型。实验证明了与现有方法相比，我们对各种攻击和任务的方法的有效性和鲁棒性。