异常检测旨在识别正常数据分布的偏差样本。对比学习提供了一种成功的样本表示方式，可以有效地歧视异常。但是，当在半监督环境下设置的训练中被未标记的异常样本污染时，当前基于对比的方法通常1）忽略训练数据之间的全面关系，导致次优的性能，2）需要微调，导致低效率的低效率。为了解决上述两个问题，在本文中，我们提出了一种新型的分层半监督对比学习（HSCL）框架，以抗污染异常检测。具体而言，HSCL分层调节了三个互补关系：样本到样本，样本到原型型和正常关系，通过对受污染数据的全面探索，扩大了正常样本和异常样本之间的歧视。此外，HSCL是一种端到端的学习方法，可以在不进行微调的情况下有效地学习判别性表示。 HSCL在多种方案中实现了最先进的性能，例如单级分类和跨数据库检测。广泛的消融研究进一步验证了每个考虑的关系的有效性。该代码可在https://github.com/gaoangw/hscl上找到。

异常检测旨在识别来自正常数据分布的异常情况。该领域已经取得了许多进展，包括创新使用无监督的对比学习。然而，现有方法通常假设清洁训练数据，并且当数据包含未知异常时受限。本文介绍了一种新型半监督异常检测方法，统一了与无监督的对比学习的能源的模型的概念。 ELSA通过基于新能量函数的精心设计的微调步骤灌输对任何数据污染的鲁棒性，这些步骤迫使正常数据分为原型的类别。多种污染方案的实验表明，所提出的模型实现了SOTA性能。广泛的分析还验证了每个组件在所提出的模型中的贡献。除了实验之外，我们还提供了一种理论解释，对何对象学习独自无法检测到数据污染下的异常。

异常检测（AD），将异常与正常数据分开，从安全性到医疗保健都有许多范围内的应用程序。尽管大多数以前的作品都被证明对具有完全或部分标记数据的案例有效，但由于标记对此任务特别乏味，因此设置在实践中较不常见。在本文中，我们专注于完全无监督的AD，其中包含正常样本和异常样本的整个培训数据集未标记。为了有效地解决这个问题，我们建议通过使用数据改进过程来提高接受自我监督表示的一类分类的鲁棒性。我们提出的数据完善方法基于单级分类器（OCCS）的集合，每个分类器均经过培训的训练数据子集。随着数据改进的改进，通过自我监督学习学到的表示的表示。我们在具有图像和表格数据的各种无监督的AD任务上演示了我们的方法。 CIFAR-10图像数据的异常比率为10％ /甲状腺表格数据的2.5％异常比率，该方法的表现优于最先进的单级分类器，高于6.3 AUC和12.5平均精度 / 22.9 F1评分。 。

Semi-supervised anomaly detection is a common problem, as often the datasets containing anomalies are partially labeled. We propose a canonical framework: Semi-supervised Pseudo-labeler Anomaly Detection with Ensembling (SPADE) that isn't limited by the assumption that labeled and unlabeled data come from the same distribution. Indeed, the assumption is often violated in many applications - for example, the labeled data may contain only anomalies unlike unlabeled data, or unlabeled data may contain different types of anomalies, or labeled data may contain only 'easy-to-label' samples. SPADE utilizes an ensemble of one class classifiers as the pseudo-labeler to improve the robustness of pseudo-labeling with distribution mismatch. Partial matching is proposed to automatically select the critical hyper-parameters for pseudo-labeling without validation data, which is crucial with limited labeled data. SPADE shows state-of-the-art semi-supervised anomaly detection performance across a wide range of scenarios with distribution mismatch in both tabular and image domains. In some common real-world settings such as model facing new types of unlabeled anomalies, SPADE outperforms the state-of-the-art alternatives by 5% AUC in average.

Novelty detection, i.e., identifying whether a given sample is drawn from outside the training distribution, is essential for reliable machine learning. To this end, there have been many attempts at learning a representation well-suited for novelty detection and designing a score based on such representation. In this paper, we propose a simple, yet effective method named contrasting shifted instances (CSI), inspired by the recent success on contrastive learning of visual representations. Specifically, in addition to contrasting a given sample with other instances as in conventional contrastive learning methods, our training scheme contrasts the sample with distributionally-shifted augmentations of itself. Based on this, we propose a new detection score that is specific to the proposed training scheme. Our experiments demonstrate the superiority of our method under various novelty detection scenarios, including unlabeled one-class, unlabeled multi-class and labeled multi-class settings, with various image benchmark datasets. Code and pre-trained models are available at https://github.com/alinlab/CSI.

Anomaly detection and localization are widely used in industrial manufacturing for its efficiency and effectiveness. Anomalies are rare and hard to collect and supervised models easily over-fit to these seen anomalies with a handful of abnormal samples, producing unsatisfactory performance. On the other hand, anomalies are typically subtle, hard to discern, and of various appearance, making it difficult to detect anomalies and let alone locate anomalous regions. To address these issues, we propose a framework called Prototypical Residual Network (PRN), which learns feature residuals of varying scales and sizes between anomalous and normal patterns to accurately reconstruct the segmentation maps of anomalous regions. PRN mainly consists of two parts: multi-scale prototypes that explicitly represent the residual features of anomalies to normal patterns; a multisize self-attention mechanism that enables variable-sized anomalous feature learning. Besides, we present a variety of anomaly generation strategies that consider both seen and unseen appearance variance to enlarge and diversify anomalies. Extensive experiments on the challenging and widely used MVTec AD benchmark show that PRN outperforms current state-of-the-art unsupervised and supervised methods. We further report SOTA results on three additional datasets to demonstrate the effectiveness and generalizability of PRN.

Deep anomaly detection methods learn representations that separate between normal and anomalous images. Although self-supervised representation learning is commonly used, small dataset sizes limit its effectiveness. It was previously shown that utilizing external, generic datasets (e.g. ImageNet classification) can significantly improve anomaly detection performance. One approach is outlier exposure, which fails when the external datasets do not resemble the anomalies. We take the approach of transferring representations pre-trained on external datasets for anomaly detection. Anomaly detection performance can be significantly improved by fine-tuning the pre-trained representations on the normal training images. In this paper, we first demonstrate and analyze that contrastive learning, the most popular self-supervised learning paradigm cannot be naively applied to pre-trained features. The reason is that pre-trained feature initialization causes poor conditioning for standard contrastive objectives, resulting in bad optimization dynamics. Based on our analysis, we provide a modified contrastive objective, the Mean-Shifted Contrastive Loss. Our method is highly effective and achieves a new state-of-the-art anomaly detection performance including $98.6\%$ ROC-AUC on the CIFAR-10 dataset.

半监督学习（SSL）是一个有效的框架，可以使用标记和未标记的数据训练模型，但是当缺乏足够的标记样品时，可能会产生模棱两可和不可区分的表示。有了人类的循环学习，积极的学习可以迭代地选择无标记的样品进行标签和培训，以提高SSL框架的性能。但是，大多数现有的活跃学习方法都取决于预先训练的功能，这不适合端到端学习。为了解决SSL的缺点，在本文中，我们提出了一种新颖的端到端表示方法，即ActiveMatch，它将SSL与对比度学习和积极学习结合在一起，以充分利用有限的标签。从少量的标记数据开始，无监督的对比度学习作为热身学习，然后将ActiveMatch结合在一起，将SSL和监督对比度学习结合在一起，并积极选择在培训期间标记的最具代表性的样本，从而更好地表示分类。与MixMatch和FixMatch具有相同数量的标记数据相比，我们表明ActiveMatch实现了最先进的性能，CIFAR-10的精度为89.24％，具有100个收集的标签，而92.20％的精度为92.20％，有200个收集的标签。

机器学习模型通常会遇到与训练分布不同的样本。无法识别分布（OOD）样本，因此将该样本分配给课堂标签会显着损害模​​型的可靠性。由于其对在开放世界中的安全部署模型的重要性，该问题引起了重大关注。由于对所有可能的未知分布进行建模的棘手性，检测OOD样品是具有挑战性的。迄今为止，一些研究领域解决了检测陌生样本的问题，包括异常检测，新颖性检测，一级学习，开放式识别识别和分布外检测。尽管有相似和共同的概念，但分别分布，开放式检测和异常检测已被独立研究。因此，这些研究途径尚未交叉授粉，创造了研究障碍。尽管某些调查打算概述这些方法，但它们似乎仅关注特定领域，而无需检查不同领域之间的关系。这项调查旨在在确定其共同点的同时，对各个领域的众多著名作品进行跨域和全面的审查。研究人员可以从不同领域的研究进展概述中受益，并协同发展未来的方法。此外，据我们所知，虽然进行异常检测或单级学习进行了调查，但没有关于分布外检测的全面或最新的调查，我们的调查可广泛涵盖。最后，有了统一的跨域视角，我们讨论并阐明了未来的研究线，打算将这些领域更加紧密地融为一体。

无监督的异常检测旨在通过在正常数据上训练来建立模型以有效地检测看不见的异常。尽管以前的基于重建的方法取得了富有成效的进展，但由于两个危急挑战，他们的泛化能力受到限制。首先，训练数据集仅包含正常模式，这限制了模型泛化能力。其次，现有模型学到的特征表示通常缺乏代表性，妨碍了保持正常模式的多样性的能力。在本文中，我们提出了一种称为自适应存储器网络的新方法，具有自我监督的学习（AMSL）来解决这些挑战，并提高无监督异常检测中的泛化能力。基于卷积的AutoEncoder结构，AMSL包含一个自我监督的学习模块，以学习一般正常模式和自适应内存融合模块来学习丰富的特征表示。四个公共多变量时间序列数据集的实验表明，与其他最先进的方法相比，AMSL显着提高了性能。具体而言，在具有9亿个样本的最大帽睡眠阶段检测数据集上，AMSL以精度和F1分数\ TextBF {4} \％+优于第二个最佳基线。除了增强的泛化能力之外，AMSL还针对输入噪声更加强大。

深度异常检测已被证明是几个领域的有效和强大的方法。自我监督学习的引入极大地帮助了许多方法，包括异常检测，其中使用简单的几何变换识别任务。然而，由于它们缺乏更精细的特征，因此这些方法在细粒度问题上表现不佳，并且通常高度依赖于异常类型。在本文中，我们探讨了使用借口任务的自我监督异常检测的每个步骤。首先，我们介绍了专注于不同视觉线索的新型鉴别和生成任务。一部分拼图拼图任务侧重于结构提示，而在每个件上使用色调旋转识别进行比色法，并且执行部分重新染色任务。为了使重新着色任务更关注对象而不是在后台上关注，我们建议包括图像边界的上下文颜色信息。然后，我们介绍了一个新的分配检测功能，并与其他分配检测方法相比，突出了其更好的稳定性。随之而来，我们还试验不同的分数融合功能。最后，我们在具有经典对象识别的对象异常组成的综合异常检测协议上评估我们的方法，用细粒度分类和面部反欺骗数据集的局部分类和局部异常的样式异常。我们的模型可以更准确地学习使用这些自我监督任务的高度辨别功能。它优于最先进的最先进的相对误差改善对象异常，40％的面对反欺骗问题。

与行业4.0的发展相一致，越来越多的关注被表面缺陷检测领域所吸引。提高效率并节省劳动力成本已稳步成为行业领域引起人们关注的问题，近年来，基于深度学习的算法比传统的视力检查方法更好。尽管现有的基于深度学习的算法偏向于监督学习，但这不仅需要大量标记的数据和大量的劳动力，而且还效率低下，并且有一定的局限性。相比之下，最近的研究表明，无监督的学习在解决视觉工业异常检测的高于缺点方面具有巨大的潜力。在这项调查中，我们总结了当前的挑战，并详细概述了最近提出的针对视觉工业异常检测的无监督算法，涵盖了五个类别，其创新点和框架详细描述了。同时，提供了包含表面图像样本的公开可用数据集的信息。通过比较不同类别的方法，总结了异常检测算法的优点和缺点。预计将协助研究社区和行业发展更广泛，更跨域的观点。

异常检测旨在识别数据点，这些数据点显示了未标记数据集中大多数数据的系统偏差。一个普遍的假设是，可以使用干净的培训数据（没有异常），这在实践中通常会违反。我们提出了一种在存在与广泛模型兼容的未标记异常的情况下训练异常检测器的策略。这个想法是在更新模型参数时将二进制标签共同推断为每个基准（正常与异常）。受到异常暴露的启发（Hendrycks等人，2018年），该暴露考虑合成创建，标记为异常，我们因此使用了两个共享参数的损失的组合：一个用于正常参数，一个用于异常数据。然后，我们对参数和最可能（潜在）标签进行块坐标更新。我们在三个图像数据集，30个表格数据集和视频异常检测基准上使用几个主链模型进行了实验，对基线显示了一致且显着的改进。

Partial label learning (PLL) is an important problem that allows each training example to be labeled with a coarse candidate set, which well suits many real-world data annotation scenarios with label ambiguity. Despite the promise, the performance of PLL often lags behind the supervised counterpart. In this work, we bridge the gap by addressing two key research challenges in PLL -- representation learning and label disambiguation -- in one coherent framework. Specifically, our proposed framework PiCO consists of a contrastive learning module along with a novel class prototype-based label disambiguation algorithm. PiCO produces closely aligned representations for examples from the same classes and facilitates label disambiguation. Theoretically, we show that these two components are mutually beneficial, and can be rigorously justified from an expectation-maximization (EM) algorithm perspective. Moreover, we study a challenging yet practical noisy partial label learning setup, where the ground-truth may not be included in the candidate set. To remedy this problem, we present an extension PiCO+ that performs distance-based clean sample selection and learns robust classifiers by a semi-supervised contrastive learning algorithm. Extensive experiments demonstrate that our proposed methods significantly outperform the current state-of-the-art approaches in standard and noisy PLL tasks and even achieve comparable results to fully supervised learning.

在对比学习中，最近的进步表现出了出色的表现。但是，绝大多数方法仅限于封闭世界的环境。在本文中，我们通过挖掘开放世界的环境来丰富表示学习的景观，其中新颖阶级的未标记样本自然可以在野外出现。为了弥合差距，我们引入了一个新的学习框架，开放世界的对比学习（Opencon）。Opencon应对已知和新颖阶级学习紧凑的表现的挑战，并促进了一路上的新颖性发现。我们证明了Opencon在挑战基准数据集中的有效性并建立竞争性能。在Imagenet数据集上，Opencon在新颖和总体分类精度上分别胜过当前最佳方法的最佳方法，分别胜过11.9％和7.4％。我们希望我们的工作能为未来的工作打开新的大门，以解决这一重要问题。

半监督学习（SSL）是规避建立高性能模型的昂贵标签成本的最有前途的范例之一。大多数现有的SSL方法常规假定标记和未标记的数据是从相同（类）分布中绘制的。但是，在实践中，未标记的数据可能包括课外样本；那些不能从标签数据中的封闭类中的单热编码标签，即未标记的数据是开放设置。在本文中，我们介绍了Opencos，这是一种基于最新的自我监督视觉表示学习框架来处理这种现实的半监督学习方案。具体而言，我们首先观察到，可以通过自我监督的对比度学习有效地识别开放式未标记数据集中的类外样本。然后，Opencos利用此信息来克服现有的最新半监督方法中的故障模式，通过利用一式旋转伪标签和软标签来为已识别的识别和外部未标记的标签数据分别。我们广泛的实验结果表明了Opencos的有效性，可以修复最新的半监督方法，适合涉及开放式无标记数据的各种情况。

We aim at constructing a high performance model for defect detection that detects unknown anomalous patterns of an image without anomalous data. To this end, we propose a two-stage framework for building anomaly detectors using normal training data only. We first learn self-supervised deep representations and then build a generative one-class classifier on learned representations. We learn representations by classifying normal data from the CutPaste, a simple data augmentation strategy that cuts an image patch and pastes at a random location of a large image. Our empirical study on MVTec anomaly detection dataset demonstrates the proposed algorithm is general to be able to detect various types of real-world defects. We bring the improvement upon previous arts by 3.1 AUCs when learning representations from scratch. By transfer learning on pretrained representations on ImageNet, we achieve a new state-of-theart 96.6 AUC. Lastly, we extend the framework to learn and extract representations from patches to allow localizing defective areas without annotations during training.

时间序列数据的积累和标签的不存在使时间序列异常检测（AD）是自我监督的深度学习任务。基于单拟合的方法只能触及整个正态性的某些方面，不足以检测各种异常。其中，AD采用的对比度学习方法总是选择正常的负面对，这是反对AD任务的目的。现有的基于多促进的方法通常是两阶段的，首先应用了训练过程，其目标可能与AD不同，因此性能受到预训练的表示的限制。本文提出了一种深层对比的单级异常检测方法（COCA），该方法结合了对比度学习和一级分类的正态性假设。关键思想是将表示和重建表示形式视为无阴性对比度学习的积极对，我们将其命名为序列对比。然后，我们应用了由不变性和方差项组成的对比度损失函数，前者同时优化了这两个假设的损失，后者则防止了超晶体崩溃。在四个现实世界中的时间序列数据集上进行的广泛实验表明，所提出的方法的卓越性能达到了最新。该代码可在https://github.com/ruiking04/coca上公开获得。

通过对比学习，自我监督学习最近在视觉任务中显示了巨大的潜力，这旨在在数据集中区分每个图像或实例。然而，这种情况级别学习忽略了实例之间的语义关系，有时不希望地从语义上类似的样本中排斥锚，被称为“假否定”。在这项工作中，我们表明，对于具有更多语义概念的大规模数据集来说，虚假否定的不利影响更为重要。为了解决这个问题，我们提出了一种新颖的自我监督的对比学习框架，逐步地检测并明确地去除假阴性样本。具体地，在训练过程之后，考虑到编码器逐渐提高，嵌入空间变得更加语义结构，我们的方法动态地检测增加的高质量假否定。接下来，我们讨论两种策略，以明确地在对比学习期间明确地消除检测到的假阴性。广泛的实验表明，我们的框架在有限的资源设置中的多个基准上表现出其他自我监督的对比学习方法。

We consider the problem of anomaly detection in images, and present a new detection technique. Given a sample of images, all known to belong to a "normal" class (e.g., dogs), we show how to train a deep neural model that can detect out-of-distribution images (i.e., non-dog objects). The main idea behind our scheme is to train a multi-class model to discriminate between dozens of geometric transformations applied on all the given images. The auxiliary expertise learned by the model generates feature detectors that effectively identify, at test time, anomalous images based on the softmax activation statistics of the model when applied on transformed images. We present extensive experiments using the proposed detector, which indicate that our technique consistently improves all known algorithms by a wide margin.1 Unless otherwise mentioned, the use of the adjective "normal" is unrelated to the Gaussian distribution.32nd Conference on Neural Information Processing Systems (NIPS 2018),