Visual anomaly detection plays a crucial role in not only manufacturing inspection to find defects of products during manufacturing processes, but also maintenance inspection to keep equipment in optimum working condition particularly outdoors. Due to the scarcity of the defective samples, unsupervised anomaly detection has attracted great attention in recent years. However, existing datasets for unsupervised anomaly detection are biased towards manufacturing inspection, not considering maintenance inspection which is usually conducted under outdoor uncontrolled environment such as varying camera viewpoints, messy background and degradation of object surface after long-term working. We focus on outdoor maintenance inspection and contribute a comprehensive Maintenance Inspection Anomaly Detection (MIAD) dataset which contains more than 100K high-resolution color images in various outdoor industrial scenarios. This dataset is generated by a 3D graphics software and covers both surface and logical anomalies with pixel-precise ground truth. Extensive evaluations of representative algorithms for unsupervised anomaly detection are conducted, and we expect MIAD and corresponding experimental results can inspire research community in outdoor unsupervised anomaly detection tasks. Worthwhile and related future work can be spawned from our new dataset.
translated by 谷歌翻译
与行业4.0的发展相一致,越来越多的关注被表面缺陷检测领域所吸引。提高效率并节省劳动力成本已稳步成为行业领域引起人们关注的问题,近年来,基于深度学习的算法比传统的视力检查方法更好。尽管现有的基于深度学习的算法偏向于监督学习,但这不仅需要大量标记的数据和大量的劳动力,而且还效率低下,并且有一定的局限性。相比之下,最近的研究表明,无监督的学习在解决视觉工业异常检测的高于缺点方面具有巨大的潜力。在这项调查中,我们总结了当前的挑战,并详细概述了最近提出的针对视觉工业异常检测的无监督算法,涵盖了五个类别,其创新点和框架详细描述了。同时,提供了包含表面图像样本的公开可用数据集的信息。通过比较不同类别的方法,总结了异常检测算法的优点和缺点。预计将协助研究社区和行业发展更广泛,更跨域的观点。
translated by 谷歌翻译
当前,借助监督学习方法,基于深度学习的视觉检查已取得了非常成功的成功。但是,在实际的工业场景中,缺陷样本的稀缺性,注释的成本以及缺乏缺陷的先验知识可能会使基于监督的方法无效。近年来,无监督的异常定位算法已在工业检查任务中广泛使用。本文旨在通过深入学习在工业图像中无视无视的异常定位中的最新成就来帮助该领域的研究人员。该调查回顾了120多个重要出版物,其中涵盖了异常定位的各个方面,主要涵盖了所审查方法的各种概念,挑战,分类法,基准数据集和定量性能比较。在审查迄今为止的成就时,本文提供了一些未来研究方向的详细预测和分析。这篇综述为对工业异常本地化感兴趣的研究人员提供了详细的技术信息,并希望将其应用于其他领域的异常本质。
translated by 谷歌翻译
Anomaly detection and localization are widely used in industrial manufacturing for its efficiency and effectiveness. Anomalies are rare and hard to collect and supervised models easily over-fit to these seen anomalies with a handful of abnormal samples, producing unsatisfactory performance. On the other hand, anomalies are typically subtle, hard to discern, and of various appearance, making it difficult to detect anomalies and let alone locate anomalous regions. To address these issues, we propose a framework called Prototypical Residual Network (PRN), which learns feature residuals of varying scales and sizes between anomalous and normal patterns to accurately reconstruct the segmentation maps of anomalous regions. PRN mainly consists of two parts: multi-scale prototypes that explicitly represent the residual features of anomalies to normal patterns; a multisize self-attention mechanism that enables variable-sized anomalous feature learning. Besides, we present a variety of anomaly generation strategies that consider both seen and unseen appearance variance to enlarge and diversify anomalies. Extensive experiments on the challenging and widely used MVTec AD benchmark show that PRN outperforms current state-of-the-art unsupervised and supervised methods. We further report SOTA results on three additional datasets to demonstrate the effectiveness and generalizability of PRN.
translated by 谷歌翻译
无监督的异常检测和定位对于采集和标记足够的异常数据时对实际应用至关重要。基于现有的基于表示的方法提取具有深度卷积神经网络的正常图像特征,并通过非参数分布估计方法表征相应的分布。通过测量测试图像的特征与估计分布之间的距离来计算异常分数。然而,当前方法无法将图像特征与易解基本分布有效地映射到局部和全局特征之间的关系,这些功能与识别异常很重要。为此,我们提出了使用2D标准化流动实现的FastFlow,并将其用作概率分布估计器。我们的FastFlow可用作具有任意深度特征提取器的插入式模块,如Reset和Vision变压器,用于无监督的异常检测和定位。在训练阶段,FastFlow学习将输入视觉特征转换为贸易分布并获得识别推理阶段中的异常的可能性。 MVTEC AD数据集的广泛实验结果显示,在具有各种骨干网络的准确性和推理效率方面,FastFlow在先前的最先进的方法上超越了先前的方法。我们的方法通过高推理效率达到异常检测中的99.4%AUC。
translated by 谷歌翻译
我们介绍了一个用于无监督异常检测和本地化任务的第一个全面的3D数据集。它受到真实的视觉检查场景的启发,其中模型必须在制造产品上检测各种类型的缺陷,即使它仅在无异常数据上培训。存在缺陷,其在物体的几何结构中表现为异常。这些导致数据的3D表示中的显着偏差。我们使用高分辨率的工业3D传感器来获取10种不同的物品类别的深度扫描。对于所有对象类别,我们展示了培训和验证集,每个培训和验证集由无异常样品的扫描组成。相应的测试集包含显示诸如划痕,凹痕,孔,污染物或变形的各种缺陷的样本。为每个异常测试样品提供精确的地面说明。我们数据集上的3D异常检测方法的初始基准指示相当大的改进室。
translated by 谷歌翻译
Anomaly detection and localization are essential in many areas, where collecting enough anomalous samples for training is almost impossible. To overcome this difficulty, many existing methods use a pre-trained network to encode input images and non-parametric modeling to estimate the encoded feature distribution. In the modeling process, however, they overlook that position and neighborhood information affect the distribution of normal features. To use the information, in this paper, the normal distribution is estimated with conditional probability given neighborhood features, which is modeled with a multi-layer perceptron network. At the same time, positional information can be used by building a histogram of representative features at each position. While existing methods simply resize the anomaly map into the resolution of an input image, the proposed method uses an additional refine network that is trained from synthetic anomaly images to perform better interpolation considering the shape and edge of the input image. For the popular industrial dataset, MVTec AD benchmark, the experimental results show \textbf{99.52\%} and \textbf{98.91\%} AUROC scores in anomaly detection and localization, which is state-of-the-art performance.
translated by 谷歌翻译
由于缺乏异常样品,因此仅具有正常样本的先验知识的异常检测才吸引更多的注意力。现有的基于CNN的像素重建方法遇到了两个问题。首先,重建源和目标是包含无法区分的语义信息的原始像素值。其次,CNN倾向于很好地重建正常样品和异常情况,使它们仍然很难区分。在本文中,我们提出异常检测变压器(ADTR)将变压器应用于重建预训练的特征。预训练的功能包含可区分的语义信息。同样,采用变压器限制以很好地重构异常,因此一旦重建失败,就可以轻松检测到异常。此外,我们提出了新的损失函数,使我们的方法与正常样本的情况以及具有图像级和像素级标记为异常的异常情况兼容。通过添加简单的合成或外部无关异常,可以进一步提高性能。广泛的实验是在包括MVTEC-AD和CIFAR-10在内的异常检测数据集上进行的。与所有基线相比,我们的方法取得了卓越的性能。
translated by 谷歌翻译
我们介绍了一个简单而直观的自我实施任务,自然合成异常(NSA),用于训练仅使用正常培训数据的端到端模型,以实现异常检测和定位。NSA将Poisson图像编辑整合到来自单独图像的各种尺寸的无缝混合缩放贴片。这会产生广泛的合成异常,与以前的自我监督异常检测的数据 - 启发策略相比,它们更像自然的子图像不规则。我们使用天然和医学图像评估提出的方法。我们对MVTEC AD数据集进行的实验表明,经过训练的用于本地NSA异常的模型可以很好地概括地检测现实世界中的先验未知类型的制造缺陷。我们的方法实现了97.2的总检测AUROC,优于所有以前的方法,这些方法在不使用其他数据集的情况下学习。可在https://github.com/hmsch/natural-synthetic-anomalies上获得代码。
translated by 谷歌翻译
在工业应用中,无监督的异常检测是一项艰巨的任务,因为收集足够的异常样品是不切实际的。在本文中,通过共同探索锻造异常样品的有效生成方法和正常样品特征作为分割异常检测的指导信息,提出了一种新颖的自我监督指导性分割框架(SGSF)。具体而言,为确保生成的锻造异常样品有利于模型训练,提出了显着性增强模块(SAM)。 Sam引入了显着图来产生显着性Perlin噪声图,并制定了一种自适应分割策略,以在显着区域产生不规则的掩模。然后,将口罩用于生成伪造的异常样品作为训练的负样本。不幸的是,锻造和真实异常样品之间的分布差距使得基于锻造样品训练的模型难以有效定位真实异常。为此,提出了自我监督的指导网络(SGN)。它利用自我监督的模块提取无噪声的功能,并包含正常的语义信息作为分割模块的先验知识。分割模块具有正常模式段的知识,这些片段与指导特征不同。为了评估SGSF对异常检测的有效性,在三个异常检测数据集上进行了广泛的实验。实验结果表明,SGSF达到了最新的异常检测结果。
translated by 谷歌翻译
大多数异常检测算法主要集中于建模正常样品的分布并将异常视为异常值。但是,由于缺乏对异常的知识,该模型的判别性能可能不足。因此,应尽可能利用异常。但是,在训练过程中利用一些已知的异常情况可能会导致另一个问题,即模型可能会受到已知异常的偏见,并且未能概括地看不见异常。在本文中,我们旨在利用一些现有的异常情况,具有精心设计的明确指导的半孔学习策略,这可以增强可区分性,同时减轻由于已知异常不足引起的偏见问题。我们的模型基于两个核心设计:首先,找到一个明确的分离边界作为进一步的对比度学习的指导。具体而言,我们采用归一化流程来学习正常特征分布,然后找到一个明确的分离边界,靠近分布边缘。所获得的显式和紧凑的分离边界仅依赖于正常特征分布,因此可以减轻少数已知异常引起的偏置问题。其次,在显式分离边界的指导下学习更多的判别特征。开发了边界引导的半孔损耗,以将正常特征融合在一起,同时将异常特征推开以外的分离边界以外的边界区域。通过这种方式,我们的模型可以形成更明确,更歧视性的决策边界,以为已知和看不见的异常取得更好的结果,同时还保持高训练效率。对广泛使用的MVTECAD基准进行的广泛实验表明,该方法可实现新的最新结果,其性能为98.8%的图像级AUROC和99.4%的像素级AUROC。
translated by 谷歌翻译
The unsupervised anomaly localization task faces the challenge of missing anomaly sample training, detecting multiple types of anomalies, and dealing with the proportion of the area of multiple anomalies. A separate teacher-student feature imitation network structure and a multi-scale processing strategy combining an image and feature pyramid are proposed to solve these problems. A network module importance search method based on gradient descent optimization is proposed to simplify the network structure. The experimental results show that the proposed algorithm performs better than the feature modeling anomaly localization method on the real industrial product detection dataset in the same period. The multi-scale strategy can effectively improve the effect compared with the benchmark method.
translated by 谷歌翻译
基于可视异常检测的内存模块的重建方法试图缩小正常样品的重建误差,同时将其放大为异常样品。不幸的是,现有的内存模块不完全适用于异常检测任务,并且异常样品的重建误差仍然很小。为此,这项工作提出了一种新的无监督视觉异常检测方法,以共同学习有效的正常特征并消除不利的重建错误。具体而言,提出了一个新颖的分区内存库(PMB)模块,以有效地学习和存储具有正常样本语义完整性的详细特征。它开发了一种新的分区机制和一种独特的查询生成方法,以保留上下文信息,然后提高内存模块的学习能力。替代探索了拟议的PMB和跳过连接,以使异常样品的重建更糟。为了获得更精确的异常定位结果并解决了累积重建误差的问题,提出了一个新型的直方图误差估计模块,以通过差异图像的直方图自适应地消除了不利的误差。它可以改善异常本地化性能而不会增加成本。为了评估所提出的异常检测和定位方法的有效性,在三个广泛使用的异常检测数据集上进行了广泛的实验。与基于内存模块的最新方法相比,提出的方法的令人鼓舞的性能证明了其优越性。
translated by 谷歌翻译
无监督异常检测的本质是学习正常样品的紧凑分布并将异常值视为测试异常。同时,现实世界中的异常通常在高分辨率图像中尤其是工业应用中微妙而细粒度。为此,我们为无监督的异常检测和定位提出了一个新的框架。我们的方法旨在通过粗到1的比对过程从正常图像中学习致密和紧凑的分布。粗对齐阶段标准化了对象在图像和特征级别中的像素位置。然后,细胞对齐阶段密集地最大程度地提高了批处理中所有相应位置之间特征的相似性。为了仅使用正常图像来促进学习,我们提出了一个新的借口任务,称为“对齐阶段”,称为非对抗性学习。非对比度学习提取鲁棒和区分正常图像表示,而无需对异常样本进行假设,因此它使我们的模型能够推广到各种异常场景。对MVTEC AD和Bentech AD的两个典型工业数据集进行了广泛的实验表明,我们的框架有效地检测各种现实世界缺陷,并在工业无监督的异常检测中实现了新的最新技术。
translated by 谷歌翻译
在视觉检查形式中对纹理表面进行工业检查的最新进展使这种检查成为可能,以实现高效,灵活的制造系统。我们提出了一个无监督的特征内存重排网络(FMR-NET),以同时准确检测各种纹理缺陷。与主流方法一致,我们采用了背景重建的概念。但是,我们创新地利用人工合成缺陷来使模型识别异常,而传统智慧仅依赖于无缺陷的样本。首先,我们采用一个编码模块来获得纹理表面的多尺度特征。随后,提出了一个基于对比的基于学习的内存特征模块(CMFM)来获得判别性表示,并在潜在空间中构建一个正常的特征记忆库,可以用作补丁级别的缺陷和快速异常得分。接下来,提出了一个新型的全球特征重排模块(GFRM),以进一步抑制残余缺陷的重建。最后,一个解码模块利用还原的功能来重建正常的纹理背景。此外,为了提高检查性能,还利用了两阶段的训练策略进行准确的缺陷恢复改进,并且我们利用一种多模式检查方法来实现噪声刺激性缺陷定位。我们通过广泛的实验来验证我们的方法,并通过多级检测方法在协作边缘进行实用的部署 - 云云智能制造方案,表明FMR-NET具有先进的检查准确性,并显示出巨大的使用潜力在启用边缘计算的智能行业中。
translated by 谷歌翻译
Unsupervised pixel-level defective region segmentation is an important task in image-based anomaly detection for various industrial applications. The state-of-the-art methods have their own advantages and limitations: matrix-decomposition-based methods are robust to noise but lack complex background image modeling capability; representation-based methods are good at defective region localization but lack accuracy in defective region shape contour extraction; reconstruction-based methods detected defective region match well with the ground truth defective region shape contour but are noisy. To combine the best of both worlds, we present an unsupervised patch autoencoder based deep image decomposition (PAEDID) method for defective region segmentation. In the training stage, we learn the common background as a deep image prior by a patch autoencoder (PAE) network. In the inference stage, we formulate anomaly detection as an image decomposition problem with the deep image prior and domain-specific regularizations. By adopting the proposed approach, the defective regions in the image can be accurately extracted in an unsupervised fashion. We demonstrate the effectiveness of the PAEDID method in simulation studies and an industrial dataset in the case study.
translated by 谷歌翻译
尽管无监督的异常检测迅速发展,但现有的方法仍需要训练不同对象的单独模型。在这项工作中,我们介绍了完成具有统一框架的多个类别的异常检测。在如此具有挑战性的环境下,流行的重建网络可能属于“相同的快捷方式”,在这种捷径中,正常样本和异常样本都可以很好地恢复,因此无法发现异常值。为了解决这一障碍,我们取得了三个改进。首先,我们重新审视完全连接的层,卷积层以及注意力层的配方,并确认查询嵌入(即注意层内)在防止网络学习快捷键方面的重要作用。因此,我们提出了一个层的查询解码器,以帮助建模多级分布。其次,我们采用一个邻居掩盖的注意模块,以进一步避免从输入功能到重建的输出功能的信息泄漏。第三,我们提出了一种功能抖动策略,即使使用嘈杂的输入,也敦促模型恢复正确的消息。我们在MVTEC-AD和CIFAR-10数据集上评估了我们的算法,在该数据集中,我们通过足够大的利润率超过了最先进的替代方案。例如,当在MVTEC-AD中学习15个类别的统一模型时,我们在异常检测的任务(从88.1%到96.5%)和异常定位(从89.5%到96.8%)上超过了第二个竞争者。代码将公开可用。
translated by 谷歌翻译
歧视性无监督的表面异常检测的最新面积取决于外部数据集用于合成异常训练图像的外部数据集。这种方法很容易出现近乎分布异常的失败,因为由于它们与无异常区域的相似性,因此很难现实地合成这些异常。我们提出了一个基于量化的特征空间表示的架构,该架构避免了图像级异常合成要求。在没有对异常的视觉特性做出任何假设的情况下,DSR通过对学到的量化特征空间进行采样,从而在特征级别生成异常,从而允许受控的近乎分布异常。 DSR在KSDD2和MVTEC异常检测数据集上实现了最新结果。关于具有挑战性的现实世界KSDD2数据集的实验表明,DSR明显优于其他无监督的表面异常检测方法,在异常检测中提高了10%的AP,并在异常定位中提高了35%的AP。
translated by 谷歌翻译
长期以来,在行业中广泛使用异常定位。先前的研究集中在近似于正常特征的分布而不适应目标数据集的情况下。但是,由于异常定位应精确区分正常和异常特征,因此缺乏适应性可能会使异常特征的正态性高估。因此,我们提出了基于耦合的 - 希普尔特征适应(CFA),该功能适应(CFA)使用适合目标数据集的功能来完成复杂的异常定位。 CFA由(1)一个可学习的补丁描述符组成,该描述符可学习和嵌入面向目标的功能以及(2)可扩展的内存库,独立于目标数据集的大小。并且,CFA采用转移学习以增加正常特征密度,因此可以通过将贴片描述符和记忆库应用于预训练的CNN来清楚地区分异常特征。所提出的方法在定量和质量上优于先前的方法。例如,它提供的AUROC分数为99.5%,在MVTEC AD基准的异常定位中提供98.5%。此外,本文指出了预训练的CNN的偏置特征的负面影响,并强调适应目标数据集的重要性。该代码可在https://github.com/sungwool/cfa_for_anomaly_localization上公开获得。
translated by 谷歌翻译
异常检测通常被追求为单级分类问题,其中模型只能从正常训练样本中学习,同时在正常和异常的测试样本上进行评估。在异常检测的成功方法中,一种杰出的方法依赖于预测屏蔽信息(例如修补程序,未来帧等)并利用相对于屏蔽信息的重建误差作为异常分数。与相关方法不同,我们建议将基于重建的功能集成为新颖的自我监督的预测建筑结构块。所提出的自我监督块是通用的,并且可以容易地结合到各种最先进的异常检测方法中。我们的块从带有扩张过滤器的卷积层开始,其中掩盖接收场的中心区域。得到的激活图通过通道注意模块传递。我们的块配备有损失,使得能够最小化接收领域中的遮蔽区域的重建误差。我们通过将其集成到几种最先进的框架中,以便在图像和视频上进行异常检测,提供对MVTEC AD,Avenue和Shanghaitech的经验证据提供了显着改进的经验证据。
translated by 谷歌翻译