在开放式识别（OSR）中，分类器应能够拒绝不知名的样本，同时保持高闭合分类的精度。为了有效解决OSR问题，先前的研究试图通过离线分析（例如，基于距离的特征分析或复杂的网络体系结构）限制有限空间外部的潜在特征空间并拒绝位于有限空间之外的数据。为了通过标准分类器体系结构中的简单推理过程（无脱机分析）进行OSR，我们使用基于距离的分类器代替常规的软具有距离分类器。之后，我们设计了一种背景级正则化策略，该策略在训练阶段使用背景级数据作为不知名级的替代物。具体而言，我们制定了适合基于距离的分类器的新型正则化损失，该损失可为已知类别和强制背景类样品远离有限的空间提供足够大的类别的潜在特征空间。通过我们的广泛实验，我们表明所提出的方法可提供强大的OSR结果，同时保持高闭合分类的精度。

开放式识别使深度神经网络（DNN）能够识别未知类别的样本，同时在已知类别的样本上保持高分类精度。基于自动编码器（AE）和原型学习的现有方法在处理这项具有挑战性的任务方面具有巨大的潜力。在这项研究中，我们提出了一种新的方法，称为类别特定的语义重建（CSSR），该方法整合了AE和原型学习的力量。具体而言，CSSR用特定于类的AE表示的歧管替代了原型点。与传统的基于原型的方法不同，CSSR在单个AE歧管上的每个已知类模型，并通过AE的重建误差来测量类归属感。特定于类的AE被插入DNN主链的顶部，并重建DNN而不是原始图像所学的语义表示。通过端到端的学习，DNN和AES互相促进，以学习歧视性和代表性信息。在多个数据集上进行的实验结果表明，所提出的方法在封闭式和开放式识别中都达到了出色的性能，并且非常简单且灵活地将其纳入现有框架中。

机器学习模型通常会遇到与训练分布不同的样本。无法识别分布（OOD）样本，因此将该样本分配给课堂标签会显着损害模​​型的可靠性。由于其对在开放世界中的安全部署模型的重要性，该问题引起了重大关注。由于对所有可能的未知分布进行建模的棘手性，检测OOD样品是具有挑战性的。迄今为止，一些研究领域解决了检测陌生样本的问题，包括异常检测，新颖性检测，一级学习，开放式识别识别和分布外检测。尽管有相似和共同的概念，但分别分布，开放式检测和异常检测已被独立研究。因此，这些研究途径尚未交叉授粉，创造了研究障碍。尽管某些调查打算概述这些方法，但它们似乎仅关注特定领域，而无需检查不同领域之间的关系。这项调查旨在在确定其共同点的同时，对各个领域的众多著名作品进行跨域和全面的审查。研究人员可以从不同领域的研究进展概述中受益，并协同发展未来的方法。此外，据我们所知，虽然进行异常检测或单级学习进行了调查，但没有关于分布外检测的全面或最新的调查，我们的调查可广泛涵盖。最后，有了统一的跨域视角，我们讨论并阐明了未来的研究线，打算将这些领域更加紧密地融为一体。

Detecting test samples drawn sufficiently far away from the training distribution statistically or adversarially is a fundamental requirement for deploying a good classifier in many real-world machine learning applications. However, deep neural networks with the softmax classifier are known to produce highly overconfident posterior distributions even for such abnormal samples. In this paper, we propose a simple yet effective method for detecting any abnormal samples, which is applicable to any pre-trained softmax neural classifier. We obtain the class conditional Gaussian distributions with respect to (low-and upper-level) features of the deep models under Gaussian discriminant analysis, which result in a confidence score based on the Mahalanobis distance. While most prior methods have been evaluated for detecting either out-of-distribution or adversarial samples, but not both, the proposed method achieves the state-of-the-art performances for both cases in our experiments. Moreover, we found that our proposed method is more robust in harsh cases, e.g., when the training dataset has noisy labels or small number of samples. Finally, we show that the proposed method enjoys broader usage by applying it to class-incremental learning: whenever out-of-distribution samples are detected, our classification rule can incorporate new classes well without further training deep models.

已知现代深度神经网络模型将错误地将分布式（OOD）测试数据分类为具有很高信心的分数（ID）培训课程之一。这可能会对关键安全应用产生灾难性的后果。一种流行的缓解策略是训练单独的分类器，该分类器可以在测试时间检测此类OOD样本。在大多数实际设置中，在火车时间尚不清楚OOD的示例，因此，一个关键问题是：如何使用合成OOD样品来增加ID数据以训练这样的OOD检测器？在本文中，我们为称为CNC的OOD数据增强提出了一种新颖的复合腐败技术。 CNC的主要优点之一是，除了培训集外，它不需要任何固定数据。此外，与当前的最新技术（SOTA）技术不同，CNC不需要在测试时间进行反向传播或结合，从而使我们的方法在推断时更快。我们与过去4年中主要会议的20种方法进行了广泛的比较，表明，在OOD检测准确性和推理时间方面，使用基于CNC的数据增强训练的模型都胜过SOTA。我们包括详细的事后分析，以研究我们方法成功的原因，并确定CNC样本的较高相对熵和多样性是可能的原因。我们还通过对二维数据集进行零件分解分析提供理论见解，以揭示（视觉和定量），我们的方法导致ID类别周围的边界更紧密，从而更好地检测了OOD样品。源代码链接：https：//github.com/cnc-ood

开放式识别（OSR）假设未知实例在推理时间出现在蓝色中。 OSR的主要挑战是，模型对未知数的响应是完全无法预测的。此外，由于实例的难度级别不同，因此开放式设置的多样性使情况变得更加困难。因此，我们提出了一个新颖的框架，难以感知的模拟器（DIAS），该框架产生了具有不同难度水平的假货来模拟现实世界。我们首先在分​​类器的角度研究了生成对抗网络（GAN）的假货，并观察到这些伪造并不具有挑战性。这使我们通过对具有中等难题的甘恩产生的样品来定义难度的标准。为了产生难题的示例，我们介绍模仿者，模仿分类器的行为。此外，我们的修改后的gan和模仿者也分别产生了中等和易于缺陷的样品。结果，DIAS的表现优于AUROC和F-SCORE指标的最先进方法。我们的代码可在https://github.com/wjun0830/difficulty-aware-simulator上找到。

We present an approach to quantifying both aleatoric and epistemic uncertainty for deep neural networks in image classification, based on generative adversarial networks (GANs). While most works in the literature that use GANs to generate out-of-distribution (OoD) examples only focus on the evaluation of OoD detection, we present a GAN based approach to learn a classifier that produces proper uncertainties for OoD examples as well as for false positives (FPs). Instead of shielding the entire in-distribution data with GAN generated OoD examples which is state-of-the-art, we shield each class separately with out-of-class examples generated by a conditional GAN and complement this with a one-vs-all image classifier. In our experiments, in particular on CIFAR10, CIFAR100 and Tiny ImageNet, we improve over the OoD detection and FP detection performance of state-of-the-art GAN-training based classifiers. Furthermore, we also find that the generated GAN examples do not significantly affect the calibration error of our classifier and result in a significant gain in model accuracy.

常规监督学习或分类的主要假设是，测试样本是从与训练样本相同的分布中得出的，该样本称为封闭设置学习或分类。在许多实际情况下，事实并非如此，因为测试数据中有未知数或看不见的类样本，这称为“开放式”方案，需要检测到未知数。该问题称为开放式识别问题，在安全至关重要的应用中很重要。我们建议通过学习成对相似性来检测未知数（或看不见的类样本）。提出的方法分为两个步骤。它首先使用培训中出现的所见类学习了一个封闭的集体分类器，然后学习如何将看到的类与伪单人（自动生成的看不见的类样本）进行比较。伪无表情的一代是通过对可见或训练样品进行分配转换增加而进行的。我们称我们的方法OPG（基于伪看不见的数据生成开放式识别）。实验评估表明，基于相似性的功能可以成功区分基准数据集中的未见特征，以进行开放式识别。

模式识别中的一个挑战是开放式识别。与封闭式识别相比，开放式识别不仅需要减少经验风险，也需要降低开放空间风险，并且对这两个风险的减少对应于分别分配已知类别并分别识别未知类。如何降低开放空间风险是开放式识别的关键。本文通过分析已知和未知类功能的分布来探讨开放空间风险的起源。在此基础上，提出了空间位置约束原型丢失功能，以同时减少两个风险。在多个基准数据集和许多可视化结果上的广泛实验表明我们的方法优于最多现有的方法。

当训练数据集患有极端阶级失衡时，深度神经网络通常会表现不佳。最近的研究发现，以半监督的方式直接使用分布外数据（即开放式样本）培训将损害概括性能。在这项工作中，我们从理论上表明，从贝叶斯的角度来看，仍然可以利用分发数据来扩大少数群体。基于这种动机，我们提出了一种称为开放采样的新方法，该方法利用开放式嘈杂标签重新平衡培训数据集的班级先验。对于每个开放式实例，标签是​​从我们的预定义分布中取样的，该分布互补，与原始类先验的分布互补。我们从经验上表明，开放采样不仅可以重新平衡阶级先验，还鼓励神经网络学习可分离的表示。广泛的实验表明，我们提出的方法显着优于现有数据重新平衡方法，并可以提高现有最新方法的性能。

在现实世界中的视觉应用中检测分布（OOD）样本（例如分类或对象检测）已成为当今深度学习系统部署的必要前提。已经提出了许多技术，其中已证明基于能量的OOD方法是有希望和令人印象深刻的性能。我们提出了基于语义驱动的能量方法，这是一种端到端的可训练系统，易于优化。我们将分布样品与能量评分和表示分数结合的外部分布样品区分开。我们通过最大程度地降低分布样品的能量来实现这一目标，并同时学习各自的类表征，这些类别更接近和最大化能量以供外分发样品，并将其从已知的类表征进一步推出。此外，我们提出了一种新颖的损失功能，我们称之为群集局灶性损失（CFL），事实证明这很简单，但在学习更好的班级群集中心表示方面非常有效。我们发现，我们的新方法可以增强异常检测，并在共同基准上获得基于能量的模型。与现有基于能量的方法相比，在CIFAR-10和CIFAR-100训练的WideSnet上，我们的模型分别将相对平均假正（以95％的真实正率为95％）降低67.2％和57.4％。此外，我们扩展了对象检测的框架并提高了性能。

本文解决了开放式识别（OSR）问题，其中目标是在检测到拒绝未知样本时正确地对已知类的样本进行分类。在OSR问题中，假设“未知”具有无限可能性，因为我们在他们出现之前没有了解未知数。直观地，OSR系统探讨了未知数的可能性，检测未知的可能性越有可能。因此，本文提出了一种新颖的合成未知类学习方法，其产生未知样本，同时保持所生成的样本之间的多样性并学习这些样本。除了这个未知的样品生成过程之外，还引入了知识蒸馏，为学习合成未知数提供空间。通过以交替的方式学习未知样本和已知样品，所提出的方法不仅可以体验多样化的合成未知，而且还可以减少相对于已知类别的全面化。在几个基准数据集上的实验表明，该方法显着优于其他最先进的方法。还显示，在MNIST数据集上训练之后，可以通过所提出的方法生成和学习现实未知数字。

Automatic Target Recognition (ATR) is a category of computer vision algorithms which attempts to recognize targets on data obtained from different sensors. ATR algorithms are extensively used in real-world scenarios such as military and surveillance applications. Existing ATR algorithms are developed for traditional closed-set methods where training and testing have the same class distribution. Thus, these algorithms have not been robust to unknown classes not seen during the training phase, limiting their utility in real-world applications. To this end, we propose an Open-set Automatic Target Recognition framework where we enable open-set recognition capability for ATR algorithms. In addition, we introduce a plugin Category-aware Binary Classifier (CBC) module to effectively tackle unknown classes seen during inference. The proposed CBC module can be easily integrated with any existing ATR algorithms and can be trained in an end-to-end manner. Experimental results show that the proposed approach outperforms many open-set methods on the DSIAC and CIFAR-10 datasets. To the best of our knowledge, this is the first work to address the open-set classification problem for ATR algorithms. Source code is available at: https://github.com/bardisafa/Open-set-ATR.

对于在开放世界中部署的机器学习模型是必不可少的。最近，在训练期间（也称为离群暴露）在训练期间使用辅助外离群值数据集已显示出令人鼓舞的性能。由于潜在的OOD数据的样本空间可能是过大的，因此进行抽样信息的异常值至关重要。在这项工作中，我们提出了一种新型的基于后取样的离群矿井诗歌诗，该诗歌有助于有效利用异常数据，并促进了ID和OOD数据之间的紧凑决策边界，以改善检测。我们表明，诗在普通基准上建立了最先进的表现。与当前使用贪婪采样策略的最佳方法相比，诗在CIFAR-10和CIFAR-100上分别提高了相对性能的42.0％和24.2％（FPR95）。我们进一步提供了有关诗歌检测有效性的理论见解。

使用嘈杂的标签学习是一场实际上有挑战性的弱势监督。在现有文献中，开放式噪声总是被认为是有毒的泛化，类似于封闭式噪音。在本文中，我们经验证明，开放式嘈杂标签可能是无毒的，甚至有利于对固有的嘈杂标签的鲁棒性。灵感来自观察，我们提出了一种简单而有效的正则化，通过将具有动态噪声标签（ODNL）引入培训的开放式样本。使用ODNL，神经网络的额外容量可以在很大程度上以不干扰来自清洁数据的学习模式的方式消耗。通过SGD噪声的镜头，我们表明我们的方法引起的噪音是随机方向，无偏向，这可能有助于模型收敛到最小的最小值，具有卓越的稳定性，并强制执行模型以产生保守预测-of-分配实例。具有各种类型噪声标签的基准数据集的广泛实验结果表明，所提出的方法不仅提高了许多现有的强大算法的性能，而且即使在标签噪声设置中也能实现分配异点检测任务的显着改进。

本文我们的目标是利用异质的温度缩放作为校准策略（OOD）检测。此处的异质性是指每个样品的最佳温度参数可能不同，而不是传统的方法对整个分布使用相同的值。为了实现这一目标，我们提出了一种称为锚定的新培训策略，可以估算每个样品的适当温度值，从而导致几个基准的最新OOD检测性能。使用NTK理论，我们表明该温度函数估计与分类器的认知不确定性紧密相关，这解释了其行为。与某些表现最佳的OOD检测方法相反，我们的方法不需要暴露于其他离群数据集，自定义校准目标或模型结合。通过具有不同OOD检测设置的经验研究 - 远处，OOD附近和语义相干OOD - 我们建立了一种高效的OOD检测方法。可以在此处访问代码和模型-https：//github.com/rushilanirudh/amp

深度神经网络对各种任务取得了出色的性能，但它们具有重要问题：即使对于完全未知的样本，也有过度自信的预测。已经提出了许多研究来成功过滤出这些未知的样本，但它们仅考虑狭窄和特定的任务，称为错误分类检测，开放式识别或分布外检测。在这项工作中，我们认为这些任务应该被视为根本存在相同的问题，因为理想的模型应该具有所有这些任务的检测能力。因此，我们介绍了未知的检测任务，以先前的单独任务的整合，用于严格检查深度神经网络对广谱的广泛未知样品的检测能力。为此，构建了不同尺度上的统一基准数据集，并且存在现有流行方法的未知检测能力进行比较。我们发现深度集合始终如一地优于检测未知的其他方法;但是，所有方法只针对特定类型的未知方式成功。可重复的代码和基准数据集可在https://github.com/daintlab/unknown-detection-benchmarks上获得。

在运行时检测新颖类的问题称为开放式检测，对于各种现实世界应用，例如医疗应用，自动驾驶等。在深度学习的背景下进行开放式检测涉及解决两个问题：（i）：（i）必须将输入图像映射到潜在表示中，该图像包含足够的信息来检测异常值，并且（ii）必须学习一个可以从潜在表示中提取此信息以识别异常情况的异常评分函数。深度异常检测方法的研究缓慢进展。原因之一可能是大多数论文同时引入了新的表示学习技术和新的异常评分方法。这项工作的目的是通过提供分别衡量表示学习和异常评分的有效性的方法来改善这种方法。这项工作做出了两项方法论贡献。首先是引入甲骨文异常检测的概念，以量化学习潜在表示中可用的信息。第二个是引入Oracle表示学习，该学习产生的表示形式可以保证足以准确的异常检测。这两种技术可帮助研究人员将学习表示的质量与异常评分机制的性能分开，以便他们可以调试和改善系统。这些方法还为通过更好的异常评分机制改善了多少开放类别检测提供了上限。两个牙齿的组合给出了任何开放类别检测方法可以实现的性能的上限。这项工作介绍了这两种Oracle技术，并通过将它们应用于几种领先的开放类别检测方法来演示其实用性。

分布（OOD）检测是在开放世界中部署机器学习模型的关键任务。基于距离的方法已经证明了有望，如果测试样品离分布（ID）数据相对遥远，则将测试样品视为OOD。但是，先前的方法对基础特征空间施加了强有力的分布假设，这可能并不总是存在。在本文中，我们探讨了非参数最近邻居距离的疗效，以检测OOD，这在文献中很大程度上被忽略了。与先前的工作不同，我们的方法不会施加任何分布假设，因此提供了更强的灵活性和一般性。我们证明了在几个基准测试中基于邻元的OOD检测的有效性，并建立了卓越的性能。在对Imagenet-1K训练的同一模型下，我们的方法将假阳性率（FPR@tpr95）降低了24.77％，与强大的基线SSD+相比，使用参数方法Mahalanobis在检测中。可用代码：https：//github.com/deeplearning-wisc/knn-ood。

Novelty detection, i.e., identifying whether a given sample is drawn from outside the training distribution, is essential for reliable machine learning. To this end, there have been many attempts at learning a representation well-suited for novelty detection and designing a score based on such representation. In this paper, we propose a simple, yet effective method named contrasting shifted instances (CSI), inspired by the recent success on contrastive learning of visual representations. Specifically, in addition to contrasting a given sample with other instances as in conventional contrastive learning methods, our training scheme contrasts the sample with distributionally-shifted augmentations of itself. Based on this, we propose a new detection score that is specific to the proposed training scheme. Our experiments demonstrate the superiority of our method under various novelty detection scenarios, including unlabeled one-class, unlabeled multi-class and labeled multi-class settings, with various image benchmark datasets. Code and pre-trained models are available at https://github.com/alinlab/CSI.