视觉异常检测通常用于工业质量检查。在本文中，我们提出了一个新的数据集以及一种新的自我监督学习方法，用于ImageNet预训练，以改善1级和2级和2级5/10/高光训练设置的异常检测和细分。我们释放视觉异常（Visa）数据集，该数据集由10,821个高分辨率颜色图像（9,621个正常和1200个异常样品）组成，涵盖了3个域中的12个对象，使其成为迄今为止最大的工业异常检测数据集。提供了图像和像素级标签。我们还提出了一个新的自我监督框架 - 斑点差异（SPD），该框架可以使对比度的自我监督预训练（例如Simsiam，Moco和Simc​​lr）更适合异常检测任务。我们在Visa和MVTEC-AD数据集上进行的实验表明，SPD始终改善这些对比的训练前基准，甚至是受监督的预训练。例如，SPD在Precision-Recall曲线（AU-PR）下改善了SIMSIAM比SIMSIAM的异常分割的面积，分别为6.8％，并分别监督了2级高弹药机制的预训练。我们通过http://github.com/amazon-research/spot-diff开放项目。

We aim at constructing a high performance model for defect detection that detects unknown anomalous patterns of an image without anomalous data. To this end, we propose a two-stage framework for building anomaly detectors using normal training data only. We first learn self-supervised deep representations and then build a generative one-class classifier on learned representations. We learn representations by classifying normal data from the CutPaste, a simple data augmentation strategy that cuts an image patch and pastes at a random location of a large image. Our empirical study on MVTec anomaly detection dataset demonstrates the proposed algorithm is general to be able to detect various types of real-world defects. We bring the improvement upon previous arts by 3.1 AUCs when learning representations from scratch. By transfer learning on pretrained representations on ImageNet, we achieve a new state-of-theart 96.6 AUC. Lastly, we extend the framework to learn and extract representations from patches to allow localizing defective areas without annotations during training.

无监督的异常检测（UAD）只需要正常（健康）训练图像是实现医学图像分析（MIA）应用的重要工具，例如疾病筛查，因为通常难以收集和注释异常（或疾病）MIA中的图像。然而，严重依赖于正常图像可能导致模型训练过度填写正常类。自我监督的预训练是对这个问题的有效解决方案。遗憾的是，从计算机视觉调整的当前自我监督方法是MIA应用的次优，因为它们不探索设计借口任务或培训过程的MIA域知识。在本文中，我们提出了一种为MIA应用设计的UAD的新的自我监督的预训练方法，通过对比学习（MSACL）命名为多级强大增强。 MSACL基于新颖的优化，以对比正常和多种合成的异常图像，每个类在欧几里德距离和余弦相似度方面强制形成紧密和密集的聚类，其中通过模拟变化数量的病变形成异常图像在正常图像中的不同尺寸和外观。在实验中，我们表明，我们的MSACL预培训使用结肠镜检查，眼底筛选和Covid-19胸部X射线数据集来提高SOTA UAD方法的准确性。

Deep anomaly detection methods learn representations that separate between normal and anomalous images. Although self-supervised representation learning is commonly used, small dataset sizes limit its effectiveness. It was previously shown that utilizing external, generic datasets (e.g. ImageNet classification) can significantly improve anomaly detection performance. One approach is outlier exposure, which fails when the external datasets do not resemble the anomalies. We take the approach of transferring representations pre-trained on external datasets for anomaly detection. Anomaly detection performance can be significantly improved by fine-tuning the pre-trained representations on the normal training images. In this paper, we first demonstrate and analyze that contrastive learning, the most popular self-supervised learning paradigm cannot be naively applied to pre-trained features. The reason is that pre-trained feature initialization causes poor conditioning for standard contrastive objectives, resulting in bad optimization dynamics. Based on our analysis, we provide a modified contrastive objective, the Mean-Shifted Contrastive Loss. Our method is highly effective and achieves a new state-of-the-art anomaly detection performance including $98.6\%$ ROC-AUC on the CIFAR-10 dataset.

本文认为很少发生异常检测（FSAD），这是一种实用但研究不足的异常检测设置（AD），在训练中，每个类别仅提供有限数量的正常图像。到目前为止，现有的FSAD研究遵循用于标准AD的单层学习范式，并且尚未探索类别间的共同点。受到人类如何检测异常的启发，即将所讨论的图像与正常图像进行比较，我们在这里利用注册，这是一个固有跨越类别（​​作为代理任务）固有概括的图像对齐任务，以训练类别不稳定的异常异常检测模型。在测试过程中，通过比较测试图像的注册特征及其相应支持（正常）图像来识别异常。据我们所知，这是训练单个可推广模型的第一种FSAD方法，不需要对新类别进行重新训练或参数调整。实验结果表明，在MVTEC和MPDD基准上，所提出的方法在AUC中优于最先进的FSAD方法。

监督的深度学习模型取决于大量标记的数据。不幸的是，收集和注释包含所需更改的零花态样本是耗时和劳动密集型的。从预训练模型中转移学习可有效减轻遥感（RS）变化检测（CD）中标签不足。我们探索在预训练期间使用语义信息的使用。不同于传统的监督预训练，该预训练从图像到标签，我们将语义监督纳入了自我监督的学习（SSL）框架中。通常，多个感兴趣的对象（例如，建筑物）以未经切割的RS图像分布在各个位置。我们没有通过全局池操纵图像级表示，而是在每个像素嵌入式上引入点级监督以学习空间敏感的特征，从而使下游密集的CD受益。为了实现这一目标，我们通过使用语义掩码在视图之间的重叠区域上通过类平衡的采样获得了多个点。我们学会了一个嵌入式空间，将背景和前景点分开，并将视图之间的空间对齐点齐聚在一起。我们的直觉是导致的语义歧视性表示与无关的变化不变（照明和无关紧要的土地覆盖）可能有助于改变识别。我们在RS社区中免费提供大规模的图像面罩，用于预训练。在三个CD数据集上进行的大量实验验证了我们方法的有效性。我们的表现明显优于Imagenet预训练，内域监督和几种SSL方法。经验结果表明我们的预训练提高了CD模型的概括和数据效率。值得注意的是，我们使用20％的培训数据获得了比基线（随机初始化）使用100％数据获得竞争结果。我们的代码可用。

Anomaly detection and localization are widely used in industrial manufacturing for its efficiency and effectiveness. Anomalies are rare and hard to collect and supervised models easily over-fit to these seen anomalies with a handful of abnormal samples, producing unsatisfactory performance. On the other hand, anomalies are typically subtle, hard to discern, and of various appearance, making it difficult to detect anomalies and let alone locate anomalous regions. To address these issues, we propose a framework called Prototypical Residual Network (PRN), which learns feature residuals of varying scales and sizes between anomalous and normal patterns to accurately reconstruct the segmentation maps of anomalous regions. PRN mainly consists of two parts: multi-scale prototypes that explicitly represent the residual features of anomalies to normal patterns; a multisize self-attention mechanism that enables variable-sized anomalous feature learning. Besides, we present a variety of anomaly generation strategies that consider both seen and unseen appearance variance to enlarge and diversify anomalies. Extensive experiments on the challenging and widely used MVTec AD benchmark show that PRN outperforms current state-of-the-art unsupervised and supervised methods. We further report SOTA results on three additional datasets to demonstrate the effectiveness and generalizability of PRN.

无监督异常检测的本质是学习正常样品的紧凑分布并将异常值视为测试异常。同时，现实世界中的异常通常在高分辨率图像中尤其是工业应用中微妙而细粒度。为此，我们为无监督的异常检测和定位提出了一个新的框架。我们的方法旨在通过粗到1的比对过程从正常图像中学习致密和紧凑的分布。粗对齐阶段标准化了对象在图像和特征级别中的像素位置。然后，细胞对齐阶段密集地最大程度地提高了批处理中所有相应位置之间特征的相似性。为了仅使用正常图像来促进学习，我们提出了一个新的借口任务，称为“对齐阶段”，称为非对抗性学习。非对比度学习提取鲁棒和区分正常图像表示，而无需对异常样本进行假设，因此它使我们的模型能够推广到各种异常场景。对MVTEC AD和Bentech AD的两个典型工业数据集进行了广泛的实验表明，我们的框架有效地检测各种现实世界缺陷，并在工业无监督的异常检测中实现了新的最新技术。

机器学习模型通常会遇到与训练分布不同的样本。无法识别分布（OOD）样本，因此将该样本分配给课堂标签会显着损害模​​型的可靠性。由于其对在开放世界中的安全部署模型的重要性，该问题引起了重大关注。由于对所有可能的未知分布进行建模的棘手性，检测OOD样品是具有挑战性的。迄今为止，一些研究领域解决了检测陌生样本的问题，包括异常检测，新颖性检测，一级学习，开放式识别识别和分布外检测。尽管有相似和共同的概念，但分别分布，开放式检测和异常检测已被独立研究。因此，这些研究途径尚未交叉授粉，创造了研究障碍。尽管某些调查打算概述这些方法，但它们似乎仅关注特定领域，而无需检查不同领域之间的关系。这项调查旨在在确定其共同点的同时，对各个领域的众多著名作品进行跨域和全面的审查。研究人员可以从不同领域的研究进展概述中受益，并协同发展未来的方法。此外，据我们所知，虽然进行异常检测或单级学习进行了调查，但没有关于分布外检测的全面或最新的调查，我们的调查可广泛涵盖。最后，有了统一的跨域视角，我们讨论并阐明了未来的研究线，打算将这些领域更加紧密地融为一体。

我们介绍了一个简单而直观的自我实施任务，自然合成异常（NSA），用于训练仅使用正常培训数据的端到端模型，以实现异常检测和定位。NSA将Poisson图像编辑整合到来自单独图像的各种尺寸的无缝混合缩放贴片。这会产生广泛的合成异常，与以前的自我监督异常检测的数据 - 启发策略相比，它们更像自然的子图像不规则。我们使用天然和医学图像评估提出的方法。我们对MVTEC AD数据集进行的实验表明，经过训练的用于本地NSA异常的模型可以很好地概括地检测现实世界中的先验未知类型的制造缺陷。我们的方法实现了97.2的总检测AUROC，优于所有以前的方法，这些方法在不使用其他数据集的情况下学习。可在https://github.com/hmsch/natural-synthetic-anomalies上获得代码。

当前，借助监督学习方法，基于深度学习的视觉检查已取得了非常成功的成功。但是，在实际的工业场景中，缺陷样本的稀缺性，注释的成本以及缺乏缺陷的先验知识可能会使基于监督的方法无效。近年来，无监督的异常定位算法已在工业检查任务中广泛使用。本文旨在通过深入学习在工业图像中无视无视的异常定位中的最新成就来帮助该领域的研究人员。该调查回顾了120多个重要出版物，其中涵盖了异常定位的各个方面，主要涵盖了所审查方法的各种概念，挑战，分类法，基准数据集和定量性能比较。在审查迄今为止的成就时，本文提供了一些未来研究方向的详细预测和分析。这篇综述为对工业异常本地化感兴趣的研究人员提供了详细的技术信息，并希望将其应用于其他领域的异常本质。

与行业4.0的发展相一致，越来越多的关注被表面缺陷检测领域所吸引。提高效率并节省劳动力成本已稳步成为行业领域引起人们关注的问题，近年来，基于深度学习的算法比传统的视力检查方法更好。尽管现有的基于深度学习的算法偏向于监督学习，但这不仅需要大量标记的数据和大量的劳动力，而且还效率低下，并且有一定的局限性。相比之下，最近的研究表明，无监督的学习在解决视觉工业异常检测的高于缺点方面具有巨大的潜力。在这项调查中，我们总结了当前的挑战，并详细概述了最近提出的针对视觉工业异常检测的无监督算法，涵盖了五个类别，其创新点和框架详细描述了。同时，提供了包含表面图像样本的公开可用数据集的信息。通过比较不同类别的方法，总结了异常检测算法的优点和缺点。预计将协助研究社区和行业发展更广泛，更跨域的观点。

Computational pathology can lead to saving human lives, but models are annotation hungry and pathology images are notoriously expensive to annotate. Self-supervised learning has shown to be an effective method for utilizing unlabeled data, and its application to pathology could greatly benefit its downstream tasks. Yet, there are no principled studies that compare SSL methods and discuss how to adapt them for pathology. To address this need, we execute the largest-scale study of SSL pre-training on pathology image data, to date. Our study is conducted using 4 representative SSL methods on diverse downstream tasks. We establish that large-scale domain-aligned pre-training in pathology consistently out-performs ImageNet pre-training in standard SSL settings such as linear and fine-tuning evaluations, as well as in low-label regimes. Moreover, we propose a set of domain-specific techniques that we experimentally show leads to a performance boost. Lastly, for the first time, we apply SSL to the challenging task of nuclei instance segmentation and show large and consistent performance improvements under diverse settings.

在工业应用中，无监督的异常检测是一项艰巨的任务，因为收集足够的异常样品是不切实际的。在本文中，通过共同探索锻造异常样品的有效生成方法和正常样品特征作为分割异常检测的指导信息，提出了一种新颖的自我监督指导性分割框架（SGSF）。具体而言，为确保生成的锻造异常样品有利于模型训练，提出了显着性增强模块（SAM）。 Sam引入了显着图来产生显着性Perlin噪声图，并制定了一种自适应分割策略，以在显着区域产生不规则的掩模。然后，将口罩用于生成伪造的异常样品作为训练的负样本。不幸的是，锻造和真实异常样品之间的分布差距使得基于锻造样品训练的模型难以有效定位真实异常。为此，提出了自我监督的指导网络（SGN）。它利用自我监督的模块提取无噪声的功能，并包含正常的语义信息作为分割模块的先验知识。分割模块具有正常模式段的知识，这些片段与指导特征不同。为了评估SGSF对异常检测的有效性，在三个异常检测数据集上进行了广泛的实验。实验结果表明，SGSF达到了最新的异常检测结果。

深度异常检测已被证明是几个领域的有效和强大的方法。自我监督学习的引入极大地帮助了许多方法，包括异常检测，其中使用简单的几何变换识别任务。然而，由于它们缺乏更精细的特征，因此这些方法在细粒度问题上表现不佳，并且通常高度依赖于异常类型。在本文中，我们探讨了使用借口任务的自我监督异常检测的每个步骤。首先，我们介绍了专注于不同视觉线索的新型鉴别和生成任务。一部分拼图拼图任务侧重于结构提示，而在每个件上使用色调旋转识别进行比色法，并且执行部分重新染色任务。为了使重新着色任务更关注对象而不是在后台上关注，我们建议包括图像边界的上下文颜色信息。然后，我们介绍了一个新的分配检测功能，并与其他分配检测方法相比，突出了其更好的稳定性。随之而来，我们还试验不同的分数融合功能。最后，我们在具有经典对象识别的对象异常组成的综合异常检测协议上评估我们的方法，用细粒度分类和面部反欺骗数据集的局部分类和局部异常的样式异常。我们的模型可以更准确地学习使用这些自我监督任务的高度辨别功能。它优于最先进的最先进的相对误差改善对象异常，40％的面对反欺骗问题。

时间序列数据的积累和标签的不存在使时间序列异常检测（AD）是自我监督的深度学习任务。基于单拟合的方法只能触及整个正态性的某些方面，不足以检测各种异常。其中，AD采用的对比度学习方法总是选择正常的负面对，这是反对AD任务的目的。现有的基于多促进的方法通常是两阶段的，首先应用了训练过程，其目标可能与AD不同，因此性能受到预训练的表示的限制。本文提出了一种深层对比的单级异常检测方法（COCA），该方法结合了对比度学习和一级分类的正态性假设。关键思想是将表示和重建表示形式视为无阴性对比度学习的积极对，我们将其命名为序列对比。然后，我们应用了由不变性和方差项组成的对比度损失函数，前者同时优化了这两个假设的损失，后者则防止了超晶体崩溃。在四个现实世界中的时间序列数据集上进行的广泛实验表明，所提出的方法的卓越性能达到了最新。该代码可在https://github.com/ruiking04/coca上公开获得。

X-ray imaging technology has been used for decades in clinical tasks to reveal the internal condition of different organs, and in recent years, it has become more common in other areas such as industry, security, and geography. The recent development of computer vision and machine learning techniques has also made it easier to automatically process X-ray images and several machine learning-based object (anomaly) detection, classification, and segmentation methods have been recently employed in X-ray image analysis. Due to the high potential of deep learning in related image processing applications, it has been used in most of the studies. This survey reviews the recent research on using computer vision and machine learning for X-ray analysis in industrial production and security applications and covers the applications, techniques, evaluation metrics, datasets, and performance comparison of those techniques on publicly available datasets. We also highlight some drawbacks in the published research and give recommendations for future research in computer vision-based X-ray analysis.

对比的自我监督学习在很大程度上缩小了对想象成的预先训练的差距。然而，它的成功高度依赖于想象成的以对象形象，即相同图像的不同增强视图对应于相同的对象。当预先训练在具有许多物体的更复杂的场景图像上，如此重种策划约束会立即不可行。为了克服这一限制，我们介绍了对象级表示学习（ORL），这是一个新的自我监督的学习框架迈向场景图像。我们的主要洞察力是利用图像级自我监督的预培训作为发现对象级语义对应之前的，从而实现了从场景图像中学习的对象级表示。对Coco的广泛实验表明，ORL显着提高了自我监督学习在场景图像上的性能，甚至超过了在几个下游任务上的监督Imagenet预训练。此外，当可用更加解标的场景图像时，ORL提高了下游性能，证明其在野外利用未标记数据的巨大潜力。我们希望我们的方法可以激励未来的研究从场景数据的更多通用无人监督的代表。

在过去几年中，无监督的学习取得了很大的进展，特别是通过对比的自我监督学习。用于基准测试自我监督学习的主导数据集已经想象，最近的方法正在接近通过完全监督培训实现的性能。然而，ImageNet DataSet在很大程度上是以对象为中心的，并且目前尚不清楚这些方法的广泛不同的数据集和任务，这些方法是非以对象为中心的，例如数字病理学。虽然自我监督的学习已经开始在这个领域探讨了令人鼓舞的结果，但有理由看起来更接近这个环境与自然图像和想象成的不同。在本文中，我们对组织病理学进行了对比学学习的深入分析，引脚指向对比物镜的表现如何不同，由于组织病理学数据的特征。我们提出了一些考虑因素，例如对比目标和超参数调整的观点。在大量的实验中，我们分析了组织分类的下游性能如何受到这些考虑因素的影响。结果指出了对比学习如何减少数字病理中的注释工作，但需要考虑特定的数据集特征。为了充分利用对比学习目标，需要不同的视野和超参数校准。我们的结果为实现组织病理学应用的自我监督学习的全部潜力铺平了道路。

增加光伏（PV）工厂的部署需要在模态中自动检测故障PV模块，例如红外（IR）图像。最近，深入学习已经为此受欢迎。然而，相关的作品通常是来自相同分布的样本列车和测试数据忽略不同光伏工厂数据之间的域移位的存在。相反，我们将故障检测视为更现实无监督的域适应问题，我们在训练一个源PV工厂的标记数据并在另一个目标工厂进行预测。我们培训具有监督对比损失的Reset-34卷积神经网络，在其中我们采用K-Collect Exband Classifier来检测异常。我们的方法在接收器下实现令人满意的区域（Auroc），在九个源和目标数据集的九种组合中的达到73.3％至96.6％，其中8.5％的8.5％是异常的。在某些情况下，它甚至优于二进制交叉熵分类器。固定决策阈值，这导致79.4％和77.1％分别正确分类正常和异常图像。大多数错误分类的异常具有低严重程度，例如热二极管和小型热点。我们的方法对封锁率设置不敏感，汇聚快速并可靠地检测未知类型的异常，使其适合实践。可能的用途是自动PV工厂检测系统或通过过滤普通图像来简化IR数据集的手动标记。此外，我们的工作为使用无监督域适应的PV模块故障检测提供了更现实的观点，以开发具有有利的概括功能的更加性能的方法。