对比学习通常应用于自学的学习，并且已被证明超过了传统方法，例如三胞胎损失和n对损失。但是，对大批量和记忆库的需求使训练变得困难和缓慢。最近，已经开发出有监督的对比方法来克服这些问题。他们更多地专注于分别或在各个班级之间为每个班级学习一个良好的表示。在这项工作中，我们尝试使用用户定义的排名来基于相似性对类进行排名，以了解所有类之间的有效表示。我们观察到如何将人类偏见纳入学习过程可以改善参数空间中的学习表征。我们表明，我们的结果可与受监督的对比度学习用于图像分类和对象检测，并讨论其在OOD检测中的缺点

对比度学习通常用作一种自我监督学习的方法，“锚”和“正”是给定输入图像的两个随机增强，而“负”是所有其他图像的集合。但是，对大批量和记忆库的需求使训练变得困难和缓慢。这促使有监督的对比方法的崛起通过使用带注释的数据来克服这些问题。我们希望通过基于其相似性进行排名，并观察人类偏见（以排名形式）对学习表示的影响，以进一步改善受监督的对比学习。我们认为这是一个重要的问题，因为学习良好的功能嵌入是在计算机视觉中长期以来一直追求的问题。

Neural networks are often utilised in critical domain applications (e.g. self-driving cars, financial markets, and aerospace engineering), even though they exhibit overconfident predictions for ambiguous inputs. This deficiency demonstrates a fundamental flaw indicating that neural networks often overfit on spurious correlations. To address this problem in this work we present two novel objectives that improve the ability of a network to detect out-of-distribution samples and therefore avoid overconfident predictions for ambiguous inputs. We empirically demonstrate that our methods outperform the baseline and perform better than the majority of existing approaches while still maintaining a competitive performance against the rest. Additionally, we empirically demonstrate the robustness of our approach against common corruptions and demonstrate the importance of regularisation and auxiliary information in out-of-distribution detection.

Novelty detection, i.e., identifying whether a given sample is drawn from outside the training distribution, is essential for reliable machine learning. To this end, there have been many attempts at learning a representation well-suited for novelty detection and designing a score based on such representation. In this paper, we propose a simple, yet effective method named contrasting shifted instances (CSI), inspired by the recent success on contrastive learning of visual representations. Specifically, in addition to contrasting a given sample with other instances as in conventional contrastive learning methods, our training scheme contrasts the sample with distributionally-shifted augmentations of itself. Based on this, we propose a new detection score that is specific to the proposed training scheme. Our experiments demonstrate the superiority of our method under various novelty detection scenarios, including unlabeled one-class, unlabeled multi-class and labeled multi-class settings, with various image benchmark datasets. Code and pre-trained models are available at https://github.com/alinlab/CSI.

A recent popular approach to out-of-distribution (OOD) detection is based on a self-supervised learning technique referred to as contrastive learning. There are two main variants of contrastive learning, namely instance and class discrimination, targeting features that can discriminate between different instances for the former, and different classes for the latter. In this paper, we aim to understand the effectiveness and limitation of existing contrastive learning methods for OOD detection. We approach this in 3 ways. First, we systematically study the performance difference between the instance discrimination and supervised contrastive learning variants in different OOD detection settings. Second, we study which in-distribution (ID) classes OOD data tend to be classified into. Finally, we study the spectral decay property of the different contrastive learning approaches and examine how it correlates with OOD detection performance. In scenarios where the ID and OOD datasets are sufficiently different from one another, we see that instance discrimination, in the absence of fine-tuning, is competitive with supervised approaches in OOD detection. We see that OOD samples tend to be classified into classes that have a distribution similar to the distribution of the entire dataset. Furthermore, we show that contrastive learning learns a feature space that contains singular vectors containing several directions with a high variance which can be detrimental or beneficial to OOD detection depending on the inference approach used.

在现实世界中的视觉应用中检测分布（OOD）样本（例如分类或对象检测）已成为当今深度学习系统部署的必要前提。已经提出了许多技术，其中已证明基于能量的OOD方法是有希望和令人印象深刻的性能。我们提出了基于语义驱动的能量方法，这是一种端到端的可训练系统，易于优化。我们将分布样品与能量评分和表示分数结合的外部分布样品区分开。我们通过最大程度地降低分布样品的能量来实现这一目标，并同时学习各自的类表征，这些类别更接近和最大化能量以供外分发样品，并将其从已知的类表征进一步推出。此外，我们提出了一种新颖的损失功能，我们称之为群集局灶性损失（CFL），事实证明这很简单，但在学习更好的班级群集中心表示方面非常有效。我们发现，我们的新方法可以增强异常检测，并在共同基准上获得基于能量的模型。与现有基于能量的方法相比，在CIFAR-10和CIFAR-100训练的WideSnet上，我们的模型分别将相对平均假正（以95％的真实正率为95％）降低67.2％和57.4％。此外，我们扩展了对象检测的框架并提高了性能。

深度神经网络已经显示出使用医学图像数据的疾病检测和分类结果。然而，他们仍然遭受处理真实世界场景的挑战，特别是可靠地检测分配（OOD）样本。我们提出了一种方法来强化皮肤和疟疾样本的ood样本，而无需在训练期间获得标记的OOD样品。具体而言，我们使用度量学习以及Logistic回归来强制深度网络学习众多丰富的类代表功能。要指导对OOD示例的学习过程，我们通过删除图像或置换图像部件中的类特定的突出区域并远离分布式样本来生成ID类似的示例。在推理时间期间，用于检测分布外样品的K +互易邻居。对于皮肤癌ood检测，我们使用两个标准基准皮肤癌症ISIC数据集AS ID，六种不同的数据集具有不同难度水平的数据集被视为出于分配。对于疟疾检测，我们使用BBBC041 Malaria DataSet作为ID和五个不同的具有挑战性的数据集，如分销。我们在先前的先前皮肤癌和疟疾OOD检测中，我们在TNR @ TPR95％中提高了最先进的结果，改善了5％和4％。

常规监督学习或分类的主要假设是，测试样本是从与训练样本相同的分布中得出的，该样本称为封闭设置学习或分类。在许多实际情况下，事实并非如此，因为测试数据中有未知数或看不见的类样本，这称为“开放式”方案，需要检测到未知数。该问题称为开放式识别问题，在安全至关重要的应用中很重要。我们建议通过学习成对相似性来检测未知数（或看不见的类样本）。提出的方法分为两个步骤。它首先使用培训中出现的所见类学习了一个封闭的集体分类器，然后学习如何将看到的类与伪单人（自动生成的看不见的类样本）进行比较。伪无表情的一代是通过对可见或训练样品进行分配转换增加而进行的。我们称我们的方法OPG（基于伪看不见的数据生成开放式识别）。实验评估表明，基于相似性的功能可以成功区分基准数据集中的未见特征，以进行开放式识别。

最近，可以证明，部署适当的自学意义是增强监督学习表现的前瞻性方法。然而，由于以前的借口任务专门用于无监督的代表学习，因此并未完全利用自我意识的好处。为此，我们首先为此类辅助任务提供三个理想的属性，以协助监督目标。首先，任务需要指导模型学习丰富的功能。其次，涉及的自我规定的转换不应显着改变训练分布。第三，任务是对先前艺术的高适用性的轻便和通用。随后，为了展示现有的借口任务如何实现这些任务并针对监督学习量身定制，我们提出了一个简单的辅助自学任务，可以预测可本地化的旋转（LOROT）。我们的详尽实验验证了洛洛特（Lorot）的优点，这是根据稳健性和概括能力为监督学习量身定制的借口任务。我们的代码可在https://github.com/wjun0830/localizable-rotation上找到。

图像分类中的严重问题是培训的模型可能对输入数据表现良好，该输入数据源自与用于模型培训的数据相同的分布，但对于分销超出（OOD）样本而言更加差。在真实的安全关键应用中，特别是如果新的数据点是ood的新数据点，重要的是要注意。迄今为止，通常使用置信分数，基于自动编码器的重建或对比学习来解决OOD检测。但是，尚未探索全局图像上下文以区分在分布和OOD样本之间的非局部对象。本文提出了一种名为OOODFORMER的首次检测架构，该架构利用变压器的上下文化功能。作为主要特征提取器的跨\ --former允许我们利用对象概念及其区分属性以及通过可视注意的共同发生。使用上下文化的嵌入，我们使用阶级条件潜伏空间相似性和网络置信度分数展示了OOD检测。我们的方法显示了各种数据集的完全普遍性。我们在CiFar-10 / -100和Imagenet30上取得了新的最先进的结果。

我们介绍了有监督的对比度积极学习（SCAL），并根据功能相似性（功能IM）和基于主成分分析的基于特征重建误差（FRE）提出有效的活动学习策略，以选择具有不同特征表示的信息性数据示例。我们证明了我们提出的方法可实现最新的准确性，模型校准并减少在图像分类任务上平衡和不平衡数据集的主动学习设置中的采样偏差。我们还评估了模型的鲁棒性，从主动学习环境中不同查询策略得出的分配转移。使用广泛的实验，我们表明我们提出的方法的表现优于高性能密集型方法，从而使平均损坏误差降低了9.9％，在数据集偏移下的预期校准误差降低了7.2％，而AUROC降低了8.9％的AUROC。检测。

有限的作品显示无监督的分布（OOD）方法对复杂的医疗数据的功效。在这里，我们展示了我们无监督的OOD检测算法，SIMCLR-LOF的初步调查结果，以及在医学图像上应用的最近现实方法（SSD）的最新状态。SIMCLR-LOF使用SIMCLR学习语义有意义的功能，如果测试样本是ood的，则使用LOF进行评分。我们在多源国际皮肤成像协作（ISIC）2019数据集上进行了评估，并显示与SSD竞争的结果以及应用于同一数据的最近监督方法。

Out-of-distribution (OOD) detection has attracted a large amount of attention from the machine learning research community in recent years due to its importance in deployed systems. Most of the previous studies focused on the detection of OOD samples in the multi-class classification task. However, OOD detection in the multi-label classification task remains an underexplored domain. In this research, we propose YolOOD - a method that utilizes concepts from the object detection domain to perform OOD detection in the multi-label classification task. Object detection models have an inherent ability to distinguish between objects of interest (in-distribution) and irrelevant objects (e.g., OOD objects) on images that contain multiple objects from different categories. These abilities allow us to convert a regular object detection model into an image classifier with inherent OOD detection capabilities with just minor changes. We compare our approach to state-of-the-art OOD detection methods and demonstrate YolOOD's ability to outperform these methods on a comprehensive suite of in-distribution and OOD benchmark datasets.

我们在本文中解决了广义类别发现（GCD）的问题，即从一组可见的类中利用信息的未标记的图像，其中未标记的图像可以包含可见的类和看不见的类。可以将所见类看作是类的隐式标准，这使得此设置不同于无监督的聚类，而集群标准可能模棱两可。我们主要关注在细粒数据集中发现类别的问题，因为它是类别发现的最直接应用程序之一，即帮助专家使用所见类规定的隐性标准在未标记的数据集中发现新颖概念。通用类别发现的最新方法杠杆对比度学习以学习表示形式，但是较大的类间相似性和阶层内差异对方法提出了挑战，因为负面示例可能包含无关的线索，以识别类别因此，算法可能会收敛到局部微米。我们提出了一种名为“专家对抗性学习（XCON）”的新颖方法，可以通过将数据集使用K-均值聚类将数据集划分为子数据库，然后对每个子数据集进行对比度学习，从而帮助模型从图像中挖掘有用的信息。学习细粒度的判别特征。在细粒度数据集上的实验表明，与以前的最佳方法相比，性能明显改善，表明我们方法的有效性。

使用超越欧几里德距离的神经网络，深入的Bregman分歧测量数据点的分歧，并且能够捕获分布的发散。在本文中，我们提出了深深的布利曼对视觉表现的对比学习的分歧，我们的目标是通过基于功能Bregman分歧培训额外的网络来提高自我监督学习中使用的对比损失。与完全基于单点之间的分歧的传统对比学学习方法相比，我们的框架可以捕获分布之间的发散，这提高了学习表示的质量。我们展示了传统的对比损失和我们提出的分歧损失优于基线的结合，并且最先前的自我监督和半监督学习的大多数方法在多个分类和对象检测任务和数据集中。此外，学习的陈述在转移到其他数据集和任务时概括了良好。源代码和我们的型号可用于补充，并将通过纸张释放。

现有的分布（OOD）检测方法通常在具有平衡的类别分布的培训集中进行基准测试。但是，在实际应用程序中，培训集具有长尾分配是很常见的。在这项工作中，我们首先证明现有的OOD检测方法通常会在训练集分布式分布时遭受重大性能降解。通过分析，我们认为这是因为模型难以区分少数尾巴级分配样本与真实的OOD样本，从而使尾巴类更容易被错误地检测为OOD。为了解决这个问题，我们提出了部分和不对称的监督对比学习（PASCL），该学习明确鼓励该模型区分尾级分配样本和OOD样品。为了进一步提高分布分类的准确性，我们提出了辅助分支列式，该辅助分支列出了BN的两个单独分支和分类层分别用于异常检测和分布分类。直觉是，分布和OOD异常数据具有不同的基础分布。我们的方法的表现优于先前的最新方法$ 1.29 \％$，$ 1.45 \％$，$ 0.69 \％$ $ $ $ $ $ $异常检测误报（FPR）和$ 3.24 \％\％$，$ 4.06 \％$，$ 7.89 \％$ $ CIFAR10-LT，CIFAR100-LT和IMAGENET-LT的分布分类精度。代码和预培训模型可在https://github.com/amazon-research/long-tailed-ood-detection上找到。

清洁和不同标记的数据的可用性是培训复杂任务（例如视觉问答（VQA））的培训模型的主要障碍。大型视觉和语言模型的广泛工作表明，自我监督的学习对预处理多模式相互作用有效。在此技术报告中，我们专注于视觉表示。我们审查和评估自我监督的方法，以利用未标记的图像并预处理模型，然后我们对其进行了自定义VQA任务，该任务允许进行控制的评估和诊断。我们将基于能量的模型（EBM）与对比度学习（CL）进行比较。尽管EBM越来越受欢迎，但他们缺乏对下游任务的评估。我们发现，EBM和CL都可以从未标记的图像中学习表示形式，这些图像能够在很少的注释数据上训练VQA模型。在类似于CLEVR的简单设置中，我们发现CL表示还可以改善系统的概括，甚至匹配来自较大，监督，预测模型的表示的性能。但是，我们发现EBM由于不稳定性和结果差异很高而难以训练。尽管EBMS被证明对OOD检测有用，但基于监督的基于能量的训练和不确定性校准的其他结果在很大程度上是负面的。总体而言，CL当前似乎比EBM的选项更为可取。

开放式识别使深度神经网络（DNN）能够识别未知类别的样本，同时在已知类别的样本上保持高分类精度。基于自动编码器（AE）和原型学习的现有方法在处理这项具有挑战性的任务方面具有巨大的潜力。在这项研究中，我们提出了一种新的方法，称为类别特定的语义重建（CSSR），该方法整合了AE和原型学习的力量。具体而言，CSSR用特定于类的AE表示的歧管替代了原型点。与传统的基于原型的方法不同，CSSR在单个AE歧管上的每个已知类模型，并通过AE的重建误差来测量类归属感。特定于类的AE被插入DNN主链的顶部，并重建DNN而不是原始图像所学的语义表示。通过端到端的学习，DNN和AES互相促进，以学习歧视性和代表性信息。在多个数据集上进行的实验结果表明，所提出的方法在封闭式和开放式识别中都达到了出色的性能，并且非常简单且灵活地将其纳入现有框架中。

异常检测旨在识别来自正常数据分布的异常情况。该领域已经取得了许多进展，包括创新使用无监督的对比学习。然而，现有方法通常假设清洁训练数据，并且当数据包含未知异常时受限。本文介绍了一种新型半监督异常检测方法，统一了与无监督的对比学习的能源的模型的概念。 ELSA通过基于新能量函数的精心设计的微调步骤灌输对任何数据污染的鲁棒性，这些步骤迫使正常数据分为原型的类别。多种污染方案的实验表明，所提出的模型实现了SOTA性能。广泛的分析还验证了每个组件在所提出的模型中的贡献。除了实验之外，我们还提供了一种理论解释，对何对象学习独自无法检测到数据污染下的异常。

Detecting out-of-distribution (OOD) inputs during the inference stage is crucial for deploying neural networks in the real world. Previous methods commonly relied on the output of a network derived from the highly activated feature map. In this study, we first revealed that a norm of the feature map obtained from the other block than the last block can be a better indicator of OOD detection. Motivated by this, we propose a simple framework consisting of FeatureNorm: a norm of the feature map and NormRatio: a ratio of FeatureNorm for ID and OOD to measure the OOD detection performance of each block. In particular, to select the block that provides the largest difference between FeatureNorm of ID and FeatureNorm of OOD, we create Jigsaw puzzle images as pseudo OOD from ID training samples and calculate NormRatio, and the block with the largest value is selected. After the suitable block is selected, OOD detection with the FeatureNorm outperforms other OOD detection methods by reducing FPR95 by up to 52.77% on CIFAR10 benchmark and by up to 48.53% on ImageNet benchmark. We demonstrate that our framework can generalize to various architectures and the importance of block selection, which can improve previous OOD detection methods as well.