Deep anomaly detection methods learn representations that separate between normal and anomalous images. Although self-supervised representation learning is commonly used, small dataset sizes limit its effectiveness. It was previously shown that utilizing external, generic datasets (e.g. ImageNet classification) can significantly improve anomaly detection performance. One approach is outlier exposure, which fails when the external datasets do not resemble the anomalies. We take the approach of transferring representations pre-trained on external datasets for anomaly detection. Anomaly detection performance can be significantly improved by fine-tuning the pre-trained representations on the normal training images. In this paper, we first demonstrate and analyze that contrastive learning, the most popular self-supervised learning paradigm cannot be naively applied to pre-trained features. The reason is that pre-trained feature initialization causes poor conditioning for standard contrastive objectives, resulting in bad optimization dynamics. Based on our analysis, we provide a modified contrastive objective, the Mean-Shifted Contrastive Loss. Our method is highly effective and achieves a new state-of-the-art anomaly detection performance including $98.6\%$ ROC-AUC on the CIFAR-10 dataset.

异常检测方法识别偏离数据集的正常行为的样本。它通常用于训练集，其中包含来自多个标记类或单个未标记的类的普通数据。当前方法面对培训数据时争取多个类但没有标签。在这项工作中，我们首先发现自我监督的图像聚类方法学习的分类器为未标记的多级数据集上的异常检测提供了强大的基线。也许令人惊讶的是，我们发现初始化具有预先训练功能的聚类方法并不能改善其自我监督的对应物。这是由于灾难性遗忘的现象。相反，我们建议了两级方法。我们使用自我监督方法群集图像并为每个图像获取群集标签。我们使用群集标签作为“伪监督”，用于分销（OOD）方法。具体而言，我们通过群集标签对图像进行分类的任务进行预训练功能。我们提供了我们对方法的广泛分析，并展示了我们两级方法的必要性。我们评估符合最先进的自我监督和预用方法，并表现出卓越的性能。

异常检测方法努力以语义方式发现与规范不同的模式。这个目标是模棱两可的，因为数据点与规范不同的属性不同，例如年龄，种族或性别，可能被某些操作员认为是异常的，而其他操作员可能认为这种属性无关紧要。从先前的研究中断，我们提出了一种新的异常检测方法，该方法使操作员可以将属性排除在被认为与异常检测相关的情况下。然后，我们的方法学习了不包含有关滋扰属性的信息的表示形式。使用基于密度的方法进行异常评分。重要的是，我们的方法不需要指定与检测异常相关的属性，这在异常检测中通常是不可能的，而是只能忽略的属性。提出了一项实证研究，以验证我们方法的有效性。

机器学习模型通常会遇到与训练分布不同的样本。无法识别分布（OOD）样本，因此将该样本分配给课堂标签会显着损害模​​型的可靠性。由于其对在开放世界中的安全部署模型的重要性，该问题引起了重大关注。由于对所有可能的未知分布进行建模的棘手性，检测OOD样品是具有挑战性的。迄今为止，一些研究领域解决了检测陌生样本的问题，包括异常检测，新颖性检测，一级学习，开放式识别识别和分布外检测。尽管有相似和共同的概念，但分别分布，开放式检测和异常检测已被独立研究。因此，这些研究途径尚未交叉授粉，创造了研究障碍。尽管某些调查打算概述这些方法，但它们似乎仅关注特定领域，而无需检查不同领域之间的关系。这项调查旨在在确定其共同点的同时，对各个领域的众多著名作品进行跨域和全面的审查。研究人员可以从不同领域的研究进展概述中受益，并协同发展未来的方法。此外，据我们所知，虽然进行异常检测或单级学习进行了调查，但没有关于分布外检测的全面或最新的调查，我们的调查可广泛涵盖。最后，有了统一的跨域视角，我们讨论并阐明了未来的研究线，打算将这些领域更加紧密地融为一体。

无监督异常检测的本质是学习正常样品的紧凑分布并将异常值视为测试异常。同时，现实世界中的异常通常在高分辨率图像中尤其是工业应用中微妙而细粒度。为此，我们为无监督的异常检测和定位提出了一个新的框架。我们的方法旨在通过粗到1的比对过程从正常图像中学习致密和紧凑的分布。粗对齐阶段标准化了对象在图像和特征级别中的像素位置。然后，细胞对齐阶段密集地最大程度地提高了批处理中所有相应位置之间特征的相似性。为了仅使用正常图像来促进学习，我们提出了一个新的借口任务，称为“对齐阶段”，称为非对抗性学习。非对比度学习提取鲁棒和区分正常图像表示，而无需对异常样本进行假设，因此它使我们的模型能够推广到各种异常场景。对MVTEC AD和Bentech AD的两个典型工业数据集进行了广泛的实验表明，我们的框架有效地检测各种现实世界缺陷，并在工业无监督的异常检测中实现了新的最新技术。

异常检测旨在识别来自正常数据分布的异常情况。该领域已经取得了许多进展，包括创新使用无监督的对比学习。然而，现有方法通常假设清洁训练数据，并且当数据包含未知异常时受限。本文介绍了一种新型半监督异常检测方法，统一了与无监督的对比学习的能源的模型的概念。 ELSA通过基于新能量函数的精心设计的微调步骤灌输对任何数据污染的鲁棒性，这些步骤迫使正常数据分为原型的类别。多种污染方案的实验表明，所提出的模型实现了SOTA性能。广泛的分析还验证了每个组件在所提出的模型中的贡献。除了实验之外，我们还提供了一种理论解释，对何对象学习独自无法检测到数据污染下的异常。

无监督的异常检测（UAD）只需要正常（健康）训练图像是实现医学图像分析（MIA）应用的重要工具，例如疾病筛查，因为通常难以收集和注释异常（或疾病）MIA中的图像。然而，严重依赖于正常图像可能导致模型训练过度填写正常类。自我监督的预训练是对这个问题的有效解决方案。遗憾的是，从计算机视觉调整的当前自我监督方法是MIA应用的次优，因为它们不探索设计借口任务或培训过程的MIA域知识。在本文中，我们提出了一种为MIA应用设计的UAD的新的自我监督的预训练方法，通过对比学习（MSACL）命名为多级强大增强。 MSACL基于新颖的优化，以对比正常和多种合成的异常图像，每个类在欧几里德距离和余弦相似度方面强制形成紧密和密集的聚类，其中通过模拟变化数量的病变形成异常图像在正常图像中的不同尺寸和外观。在实验中，我们表明，我们的MSACL预培训使用结肠镜检查，眼底筛选和Covid-19胸部X射线数据集来提高SOTA UAD方法的准确性。

异常检测旨在识别正常数据分布的偏差样本。对比学习提供了一种成功的样本表示方式，可以有效地歧视异常。但是，当在半监督环境下设置的训练中被未标记的异常样本污染时，当前基于对比的方法通常1）忽略训练数据之间的全面关系，导致次优的性能，2）需要微调，导致低效率的低效率。为了解决上述两个问题，在本文中，我们提出了一种新型的分层半监督对比学习（HSCL）框架，以抗污染异常检测。具体而言，HSCL分层调节了三个互补关系：样本到样本，样本到原型型和正常关系，通过对受污染数据的全面探索，扩大了正常样本和异常样本之间的歧视。此外，HSCL是一种端到端的学习方法，可以在不进行微调的情况下有效地学习判别性表示。 HSCL在多种方案中实现了最先进的性能，例如单级分类和跨数据库检测。广泛的消融研究进一步验证了每个考虑的关系的有效性。该代码可在https://github.com/gaoangw/hscl上找到。

深度异常检测已被证明是几个领域的有效和强大的方法。自我监督学习的引入极大地帮助了许多方法，包括异常检测，其中使用简单的几何变换识别任务。然而，由于它们缺乏更精细的特征，因此这些方法在细粒度问题上表现不佳，并且通常高度依赖于异常类型。在本文中，我们探讨了使用借口任务的自我监督异常检测的每个步骤。首先，我们介绍了专注于不同视觉线索的新型鉴别和生成任务。一部分拼图拼图任务侧重于结构提示，而在每个件上使用色调旋转识别进行比色法，并且执行部分重新染色任务。为了使重新着色任务更关注对象而不是在后台上关注，我们建议包括图像边界的上下文颜色信息。然后，我们介绍了一个新的分配检测功能，并与其他分配检测方法相比，突出了其更好的稳定性。随之而来，我们还试验不同的分数融合功能。最后，我们在具有经典对象识别的对象异常组成的综合异常检测协议上评估我们的方法，用细粒度分类和面部反欺骗数据集的局部分类和局部异常的样式异常。我们的模型可以更准确地学习使用这些自我监督任务的高度辨别功能。它优于最先进的最先进的相对误差改善对象异常，40％的面对反欺骗问题。

视觉异常检测通常用于工业质量检查。在本文中，我们提出了一个新的数据集以及一种新的自我监督学习方法，用于ImageNet预训练，以改善1级和2级和2级5/10/高光训练设置的异常检测和细分。我们释放视觉异常（Visa）数据集，该数据集由10,821个高分辨率颜色图像（9,621个正常和1200个异常样品）组成，涵盖了3个域中的12个对象，使其成为迄今为止最大的工业异常检测数据集。提供了图像和像素级标签。我们还提出了一个新的自我监督框架 - 斑点差异（SPD），该框架可以使对比度的自我监督预训练（例如Simsiam，Moco和Simc​​lr）更适合异常检测任务。我们在Visa和MVTEC-AD数据集上进行的实验表明，SPD始终改善这些对比的训练前基准，甚至是受监督的预训练。例如，SPD在Precision-Recall曲线（AU-PR）下改善了SIMSIAM比SIMSIAM的异常分割的面积，分别为6.8％，并分别监督了2级高弹药机制的预训练。我们通过http://github.com/amazon-research/spot-diff开放项目。

异常检测旨在识别数据点，这些数据点显示了未标记数据集中大多数数据的系统偏差。一个普遍的假设是，可以使用干净的培训数据（没有异常），这在实践中通常会违反。我们提出了一种在存在与广泛模型兼容的未标记异常的情况下训练异常检测器的策略。这个想法是在更新模型参数时将二进制标签共同推断为每个基准（正常与异常）。受到异常暴露的启发（Hendrycks等人，2018年），该暴露考虑合成创建，标记为异常，我们因此使用了两个共享参数的损失的组合：一个用于正常参数，一个用于异常数据。然后，我们对参数和最可能（潜在）标签进行块坐标更新。我们在三个图像数据集，30个表格数据集和视频异常检测基准上使用几个主链模型进行了实验，对基线显示了一致且显着的改进。

时间序列数据的积累和标签的不存在使时间序列异常检测（AD）是自我监督的深度学习任务。基于单拟合的方法只能触及整个正态性的某些方面，不足以检测各种异常。其中，AD采用的对比度学习方法总是选择正常的负面对，这是反对AD任务的目的。现有的基于多促进的方法通常是两阶段的，首先应用了训练过程，其目标可能与AD不同，因此性能受到预训练的表示的限制。本文提出了一种深层对比的单级异常检测方法（COCA），该方法结合了对比度学习和一级分类的正态性假设。关键思想是将表示和重建表示形式视为无阴性对比度学习的积极对，我们将其命名为序列对比。然后，我们应用了由不变性和方差项组成的对比度损失函数，前者同时优化了这两个假设的损失，后者则防止了超晶体崩溃。在四个现实世界中的时间序列数据集上进行的广泛实验表明，所提出的方法的卓越性能达到了最新。该代码可在https://github.com/ruiking04/coca上公开获得。

检测与培训数据偏离的测试数据是安全和健壮的机器学习的核心问题。通过生成模型学到的可能性，例如，通过标准对数似然训练的归一流流量，作为异常得分的表现不佳。我们建议使用未标记的辅助数据集和概率异常得分进行异常检测。我们使用在辅助数据集上训练的自我监督功能提取器，并通过最大程度地提高分布数据的可能性并最大程度地减少辅助数据集上的可能性来训练提取功能的正常化流程。我们表明，这等同于学习分布和辅助特征密度之间的归一化正差。我们在基准数据集上进行实验，并显示出与可能性，似然比方法和最新异常检测方法相比的强大改进。

We aim at constructing a high performance model for defect detection that detects unknown anomalous patterns of an image without anomalous data. To this end, we propose a two-stage framework for building anomaly detectors using normal training data only. We first learn self-supervised deep representations and then build a generative one-class classifier on learned representations. We learn representations by classifying normal data from the CutPaste, a simple data augmentation strategy that cuts an image patch and pastes at a random location of a large image. Our empirical study on MVTec anomaly detection dataset demonstrates the proposed algorithm is general to be able to detect various types of real-world defects. We bring the improvement upon previous arts by 3.1 AUCs when learning representations from scratch. By transfer learning on pretrained representations on ImageNet, we achieve a new state-of-theart 96.6 AUC. Lastly, we extend the framework to learn and extract representations from patches to allow localizing defective areas without annotations during training.

Novelty detection, i.e., identifying whether a given sample is drawn from outside the training distribution, is essential for reliable machine learning. To this end, there have been many attempts at learning a representation well-suited for novelty detection and designing a score based on such representation. In this paper, we propose a simple, yet effective method named contrasting shifted instances (CSI), inspired by the recent success on contrastive learning of visual representations. Specifically, in addition to contrasting a given sample with other instances as in conventional contrastive learning methods, our training scheme contrasts the sample with distributionally-shifted augmentations of itself. Based on this, we propose a new detection score that is specific to the proposed training scheme. Our experiments demonstrate the superiority of our method under various novelty detection scenarios, including unlabeled one-class, unlabeled multi-class and labeled multi-class settings, with various image benchmark datasets. Code and pre-trained models are available at https://github.com/alinlab/CSI.

异常检测是一种既定的研究区，寻求识别出预定分布外的样本。异常检测管道由两个主要阶段组成：（1）特征提取和（2）正常评分分配。最近的论文使用预先训练的网络进行特征提取，实现最先进的结果。然而，使用预先训练的网络没有完全利用火车时间可用的正常样本。本文建议通过使用教师学生培训利用此信息。在我们的环境中，佩带的教师网络用于训练正常训练样本上的学生网络。由于学生网络仅在正常样本上培训，因此预计将偏离异常情况下的教师网络。这种差异可以用作预先训练的特征向量的互补表示。我们的方法 - 变换 - 利用预先训练的视觉变压器（VIV）来提取两个特征向量：预先接受的（不可知论者）功能和教师 - 学生（微调）功能。我们报告最先进的AUROC导致共同的单向设置，其中一个类被认为是正常的，其余的被认为是异常的，并且多模式设置，其中所有类别但是一个被认为是正常的，只有一个类被认为是异常的。代码可在https://github.com/matancohen1/transformaly获得。

本文认为很少发生异常检测（FSAD），这是一种实用但研究不足的异常检测设置（AD），在训练中，每个类别仅提供有限数量的正常图像。到目前为止，现有的FSAD研究遵循用于标准AD的单层学习范式，并且尚未探索类别间的共同点。受到人类如何检测异常的启发，即将所讨论的图像与正常图像进行比较，我们在这里利用注册，这是一个固有跨越类别（​​作为代理任务）固有概括的图像对齐任务，以训练类别不稳定的异常异常检测模型。在测试过程中，通过比较测试图像的注册特征及其相应支持（正常）图像来识别异常。据我们所知，这是训练单个可推广模型的第一种FSAD方法，不需要对新类别进行重新训练或参数调整。实验结果表明，在MVTEC和MPDD基准上，所提出的方法在AUC中优于最先进的FSAD方法。

We aim for image-based novelty detection. Despite considerable progress, existing models either fail or face a dramatic drop under the so-called "near-distribution" setting, where the differences between normal and anomalous samples are subtle. We first demonstrate existing methods experience up to 20% decrease in performance in the near-distribution setting. Next, we propose to exploit a score-based generative model to produce synthetic near-distribution anomalous data. Our model is then fine-tuned to distinguish such data from the normal samples. We provide a quantitative as well as qualitative evaluation of this strategy, and compare the results with a variety of GAN-based models. Effectiveness of our method for both the near-distribution and standard novelty detection is assessed through extensive experiments on datasets in diverse applications such as medical images, object classification, and quality control. This reveals that our method considerably improves over existing models, and consistently decreases the gap between the near-distribution and standard novelty detection performance. The code repository is available at https://github.com/rohban-lab/FITYMI.

当前的最新异常检测（AD）方法利用了大规模成像网训练产生的强大表示。然而，灾难性忘记阻止了半监督环境中新数据集上预训练的表示的成功进行微调，因此通常是固定的。在我们的工作中，我们提出了一种新方法来克服灾难性的遗忘，从而成功地对转移学习环境中的AD进行了预先训练的表示。具体而言，我们基于生成和判别建模之间的联系，为正常类诱导多元高斯分布，并将正常图像的Mahalanobis距离与估计分布作为训练目标。我们还建议在验证方案中使用通常用于最小化的替代风险的增强，以检测灾难性遗忘的发作。对公共MVTEC数据集的广泛评估表明，我们的AD任务中的方法可以实现新的最新技术，同时实现与先前的艺术状态相当的异常细分性能。此外，消融研究证明了诱导的高斯分布以及拟议的微调方案在选择增强方面的鲁棒性的重要性。

异常检测（AD），将异常与正常数据分开，从安全性到医疗保健都有许多范围内的应用程序。尽管大多数以前的作品都被证明对具有完全或部分标记数据的案例有效，但由于标记对此任务特别乏味，因此设置在实践中较不常见。在本文中，我们专注于完全无监督的AD，其中包含正常样本和异常样本的整个培训数据集未标记。为了有效地解决这个问题，我们建议通过使用数据改进过程来提高接受自我监督表示的一类分类的鲁棒性。我们提出的数据完善方法基于单级分类器（OCCS）的集合，每个分类器均经过培训的训练数据子集。随着数据改进的改进，通过自我监督学习学到的表示的表示。我们在具有图像和表格数据的各种无监督的AD任务上演示了我们的方法。 CIFAR-10图像数据的异常比率为10％ /甲状腺表格数据的2.5％异常比率，该方法的表现优于最先进的单级分类器，高于6.3 AUC和12.5平均精度 / 22.9 F1评分。 。