We consider the problem of anomaly detection in images, and present a new detection technique. Given a sample of images, all known to belong to a "normal" class (e.g., dogs), we show how to train a deep neural model that can detect out-of-distribution images (i.e., non-dog objects). The main idea behind our scheme is to train a multi-class model to discriminate between dozens of geometric transformations applied on all the given images. The auxiliary expertise learned by the model generates feature detectors that effectively identify, at test time, anomalous images based on the softmax activation statistics of the model when applied on transformed images. We present extensive experiments using the proposed detector, which indicate that our technique consistently improves all known algorithms by a wide margin.1 Unless otherwise mentioned, the use of the adjective "normal" is unrelated to the Gaussian distribution.32nd Conference on Neural Information Processing Systems (NIPS 2018),
translated by 谷歌翻译
在异常检测(AD)中,给出了识别测试样本是否异常,给出了正常样本的数据集。近期和有希望的广告方法依赖于深度生成模型,例如变形自动化器(VAES),用于对正常数据分布的无监督学习。在半监督广告(SSAD)中,数据还包括标记异常的小样本。在这项工作中,我们提出了两个用于SSAD培训VAES的两个变分方法。两种方法中的直观思路是将编码器训练到潜在向量之间的“分开”以进行正常和异常数据。我们表明,这个想法可以源于问题的原则概率制剂,并提出了简单有效的算法。我们的方法可以应用于各种数据类型,因为我们在从自然图像到天文学和医学的SSAD数据集上展示,可以与任何VAE模型架构相结合,并且自然与合奏相兼容。与未特定于特定数据类型的最先进的SSAD方法比较时,我们获得了异常值检测的显着改进。
translated by 谷歌翻译
机器学习模型通常会遇到与训练分布不同的样本。无法识别分布(OOD)样本,因此将该样本分配给课堂标签会显着损害模​​型的可靠性。由于其对在开放世界中的安全部署模型的重要性,该问题引起了重大关注。由于对所有可能的未知分布进行建模的棘手性,检测OOD样品是具有挑战性的。迄今为止,一些研究领域解决了检测陌生样本的问题,包括异常检测,新颖性检测,一级学习,开放式识别识别和分布外检测。尽管有相似和共同的概念,但分别分布,开放式检测和异常检测已被独立研究。因此,这些研究途径尚未交叉授粉,创造了研究障碍。尽管某些调查打算概述这些方法,但它们似乎仅关注特定领域,而无需检查不同领域之间的关系。这项调查旨在在确定其共同点的同时,对各个领域的众多著名作品进行跨域和全面的审查。研究人员可以从不同领域的研究进展概述中受益,并协同发展未来的方法。此外,据我们所知,虽然进行异常检测或单级学习进行了调查,但没有关于分布外检测的全面或最新的调查,我们的调查可广泛涵盖。最后,有了统一的跨域视角,我们讨论并阐明了未来的研究线,打算将这些领域更加紧密地融为一体。
translated by 谷歌翻译
在运行时检测新颖类的问题称为开放式检测,对于各种现实世界应用,例如医疗应用,自动驾驶等。在深度学习的背景下进行开放式检测涉及解决两个问题:(i):(i)必须将输入图像映射到潜在表示中,该图像包含足够的信息来检测异常值,并且(ii)必须学习一个可以从潜在表示中提取此信息以识别异常情况的异常评分函数。深度异常检测方法的研究缓慢进展。原因之一可能是大多数论文同时引入了新的表示学习技术和新的异常评分方法。这项工作的目的是通过提供分别衡量表示学习和异常评分的有效性的方法来改善这种方法。这项工作做出了两项方法论贡献。首先是引入甲骨文异常检测的概念,以量化学习潜在表示中可用的信息。第二个是引入Oracle表示学习,该学习产生的表示形式可以保证足以准确的异常检测。这两种技术可帮助研究人员将学习表示的质量与异常评分机制的性能分开,以便他们可以调试和改善系统。这些方法还为通过更好的异常评分机制改善了多少开放类别检测提供了上限。两个牙齿的组合给出了任何开放类别检测方法可以实现的性能的上限。这项工作介绍了这两种Oracle技术,并通过将它们应用于几种领先的开放类别检测方法来演示其实用性。
translated by 谷歌翻译
新奇检测是识别不属于目标类分布的样本的任务。在培训期间,缺乏新颖的课程,防止使用传统分类方法。深度自动化器已被广泛用作许多无监督的新奇检测方法的基础。特别地,上下文自动码器在新颖的检测任务中已经成功了,因为他们通过从随机屏蔽的图像重建原始图像来学习的更有效的陈述。然而,上下文AutoEncoders的显着缺点是随机屏蔽不能一致地涵盖输入图像的重要结构,导致次优表示 - 特别是对于新颖性检测任务。在本文中,为了优化输入掩蔽,我们设计了由两个竞争网络,掩模模块和重建器组成的框架。掩码模块是一个卷积的AutoEncoder,用于生成涵盖最重要的图像的最佳掩码。或者,重建器是卷积编码器解码器,其旨在从屏蔽图像重建未受带的图像。网络训练以侵略的方式训练,其中掩模模块生成应用于给予重构的图像的掩码。以这种方式,掩码模块寻求最大化重建错误的重建错误最小化。当应用于新颖性检测时,与上下文自动置换器相比,所提出的方法学习语义上更丰富的表示,并通过更新的屏蔽增强了在测试时间的新颖性检测。 MNIST和CIFAR-10图像数据集上的新奇检测实验证明了所提出的方法对尖端方法的优越性。在用于新颖性检测的UCSD视频数据集的进一步实验中,所提出的方法实现了最先进的结果。
translated by 谷歌翻译
我们如何检测异常:也就是说,与给定的一组高维数据(例如图像或传感器数据)显着不同的样品?这是众多应用程序的实际问题,也与使学习算法对意外输入更强大的目标有关。自动编码器是一种流行的方法,部分原因是它们的简单性和降低维度的能力。但是,异常评分函数并不适应正常样品范围内重建误差的自然变化,这阻碍了它们检测实际异常的能力。在本文中,我们从经验上证明了局部适应性对具有真实数据的实验中异常评分的重要性。然后,我们提出了新颖的自适应重建基于错误的评分方法,该方法根据潜在空间的重建误差的局部行为来适应其评分。我们表明,这改善了各种基准数据集中相关基线的异常检测性能。
translated by 谷歌翻译
由于缺乏标签信息,异常检测是机器学习中的基本但具有挑战性的问题。在这项工作中,我们提出了一种新颖而强大的框架,称为SLA $ ^ 2 $ P,用于无监督的异常检测。在从原始数据中提取代表性嵌入后,我们将随机投影应用于特征,并将不同投影转换的特征视为属于不同的伪类。然后,我们在这些转换功能上培训一个分类器网络,以执行自我监督的学习。接下来,我们向变换特征添加对冲扰动,以减少预测标签的软MAX分数,并基于这些扰动特征对分类器的预测不确定性来降低预测标签和设计异常分数。我们的动机是,由于相对较小的数量和分散的异常模式,1)伪标签分类器的培训更集中学习正常数据的语义信息而不是异常数据; 2)正常数据的转换特征比异常的扰动更强大。因此,异常的扰动转化的特征不能良好分类,因此具有比正常样本的异常分数低。在图像,文本和固有的表格基准数据集上进行了广泛的实验,并表明SLA $ ^ 2 $ p实现了最先进的导致无监督的异常检测任务一致。
translated by 谷歌翻译
异常检测旨在识别数据点,这些数据点显示了未标记数据集中大多数数据的系统偏差。一个普遍的假设是,可以使用干净的培训数据(没有异常),这在实践中通常会违反。我们提出了一种在存在与广泛模型兼容的未标记异常的情况下训练异常检测器的策略。这个想法是在更新模型参数时将二进制标签共同推断为每个基准(正常与异常)。受到异常暴露的启发(Hendrycks等人,2018年),该暴露考虑合成创建,标记为异常,我们因此使用了两个共享参数的损失的组合:一个用于正常参数,一个用于异常数据。然后,我们对参数和最可能(潜在)标签进行块坐标更新。我们在三个图像数据集,30个表格数据集和视频异常检测基准上使用几个主链模型进行了实验,对基线显示了一致且显着的改进。
translated by 谷歌翻译
异常检测是要识别在某些方面与训练观察结果不同的样本。这些不符合正常数据分布的样本称为异常值或异常。在现实世界的异常检测问题中,离群值不存在,定义不当或实例非常有限。最近的最新基于深度学习的异常检测方法遭受了高计算成本,复杂性,不稳定的培训程序和非平凡的实施,因此它们很难在现实世界应用中部署。为了解决这个问题,我们利用一个简单的学习程序来训练轻量级的卷积神经网络,在异常检测中达到最先进的表现。在本文中,我们建议将异常检测作为监督回归问题。我们使用连续值的两个可分离分布标记正常和异常数据。为了补偿训练时间中异常样品的不可用,我们利用直接图像增强技术来创建一组不同的样本作为异常。增强集的分布相似,但与正常数据略有偏差,而实际异常将具有进一步的分布。因此,对这些增强样品的训练回归器将导致标签的分布更加可分离,以适应正常和真实的异常数据点。图像和视频数据集的异常检测实验显示了所提出的方法比最新方法的优越性。
translated by 谷歌翻译
半监督异常检测旨在使用在正常数据上培训的模型来检测来自正常样本的异常。随着近期深度学习的进步,研究人员设计了高效的深度异常检测方法。现有作品通常使用神经网络将数据映射到更具内容性的表示中,然后应用异常检测算法。在本文中,我们提出了一种方法,DASVDD,它共同学习AutoEncoder的参数,同时最小化其潜在表示上的封闭超球的音量。我们提出了一个异常的分数,它是自动化器的重建误差和距离潜在表示中封闭边距中心的距离的组合。尽量减少这种异常的分数辅助我们在培训期间学习正常课程的潜在分布。包括异常分数中的重建错误确保DESVDD不受常见的极度崩溃问题,因为DESVDD模型不会收敛到映射到潜在表示中的恒定点的常量点。几个基准数据集上的实验评估表明,该方法优于常用的最先进的异常检测算法,同时在不同的异常类中保持鲁棒性能。
translated by 谷歌翻译
我们表明,在AutoEncoders(AE)的潜在空间中使用最近的邻居显着提高了单一和多级上下文中半监督新颖性检测的性能。通过学习来检测新奇的方法,以区分非新颖培训类和所有其他看不见的课程。我们的方法利用了最近邻居的重建和给定输入的潜在表示的潜在邻居的结合。我们证明了我们最近的潜在邻居(NLN)算法是内存和时间效率,不需要大量的数据增强,也不依赖于预先训练的网络。此外,我们表明NLN算法很容易应用于多个数据集而无需修改。此外,所提出的算法对于AutoEncoder架构和重建错误方法是不可知的。我们通过使用重建,剩余或具有一致损耗,验证了多个不同的自动码架构,如诸如香草,对抗和变形自身额度的各种标准数据集的方法。结果表明,NLN算法在多级案例的接收器操作特性(AUROC)曲线性能下授予面积增加17%,为单级新颖性检测8%。
translated by 谷歌翻译
深度异常检测已被证明是几个领域的有效和强大的方法。自我监督学习的引入极大地帮助了许多方法,包括异常检测,其中使用简单的几何变换识别任务。然而,由于它们缺乏更精细的特征,因此这些方法在细粒度问题上表现不佳,并且通常高度依赖于异常类型。在本文中,我们探讨了使用借口任务的自我监督异常检测的每个步骤。首先,我们介绍了专注于不同视觉线索的新型鉴别和生成任务。一部分拼图拼图任务侧重于结构提示,而在每个件上使用色调旋转识别进行比色法,并且执行部分重新染色任务。为了使重新着色任务更关注对象而不是在后台上关注,我们建议包括图像边界的上下文颜色信息。然后,我们介绍了一个新的分配检测功能,并与其他分配检测方法相比,突出了其更好的稳定性。随之而来,我们还试验不同的分数融合功能。最后,我们在具有经典对象识别的对象异常组成的综合异常检测协议上评估我们的方法,用细粒度分类和面部反欺骗数据集的局部分类和局部异常的样式异常。我们的模型可以更准确地学习使用这些自我监督任务的高度辨别功能。它优于最先进的最先进的相对误差改善对象异常,40%的面对反欺骗问题。
translated by 谷歌翻译
识别异常是指检测不像训练数据分布的样本。许多生成模型已被用于寻找异常,以及其中,基于生成的对抗网络(GaN)的方法目前非常受欢迎。 GANS主要依靠这些模型的丰富上下文信息来识别实际培训分布。在这一类比之后,我们建议了基于GANS -A组合的新型无人监督模型和甘甘。此外,引入了一种新的评分功能,以靶向异常,其中鉴别器的内部表示和发电机的视觉表示的线性组合加上自动化器的编码表示,共同定义所提出的异常得分。该模型进一步评估了诸如SVHN,CIFAR10和MNIST之类的基准数据集以及白血病图像的公共医疗数据集。在所有实验中,我们的模型表现出现有的对应物,同时略微改善推理时间。
translated by 谷歌翻译
我们考虑为移动机器人构建视觉异常检测系统的问题。标准异常检测模型是使用仅由非异常数据组成的大型数据集训练的。但是,在机器人技术应用中,通常可以使用(可能很少)的异常示例。我们解决了利用这些数据以通过与Real-NVP损失共同使辅助外离群损失损失共同使实际NVP异常检测模型的性能提高性能的问题。我们在新的数据集(作为补充材料)上进行定量实验,该数据集在室内巡逻方案中设计为异常检测。在不连接测试集中,我们的方法优于替代方案,并表明即使少数异常框架也可以实现重大的性能改进。
translated by 谷歌翻译
异常检测是机器学习中的重要问题。应用领域包括网络安全,保健,欺诈检测等,涉及高维数据集。典型的异常检测系统始终面临不同类别的样本大小的巨大差异的类别不平衡问题。他们通常有课堂重叠问题。本研究使用了胶囊网络进行异常检测任务。据我们所知,这是第一实例,其中在高维非图像复杂数据设置中分析了对异常检测任务的胶囊网络的实例。我们还处理相关的新颖性和异常值检测问题。胶囊网络的架构适用于二进制分类任务。胶囊网络由于在内部胶囊架构中捕获的预测中捕获的观点不变性的效果,因此提供了一种良好的选择。我们使用了六分层的完整的AutoEncoder架构,其中包含胶囊的第二层和第三层。使用动态路由算法训练胶囊。我们从原始MNIST DataSet创建了10美元的高价数据集,并使用5美元的基准模型进行了胶囊网络的性能。我们的领先的测试设定措施是少数民族阶级和ROC曲线下的F1分数。我们发现胶囊网络通过仅使用10个时期进行训练和不使用任何其他数据级别和算法级别方法,胶囊网络在异常检测任务上表现出对异常检测任务的所有其他基线模型。因此,我们得出结论,胶囊网络在为异常检测任务进行建模复杂的高维不平衡数据集。
translated by 谷歌翻译
异常检测是确定不符合正常数据分布的样品。由于异常数据的无法获得,培训监督的深神经网络是一项繁琐的任务。因此,无监督的方法是解决此任务的常见方法。深度自动编码器已被广泛用作许多无监督的异常检测方法的基础。但是,深层自动编码器的一个显着缺点是,它们通过概括重建异常值来提供不足的表示异常检测的表示。在这项工作中,我们设计了一个对抗性框架,该框架由两个竞争组件组成,一个对抗性变形者和一个自动编码器。对抗性变形器是一种卷积编码器,学会产生有效的扰动,而自动编码器是一个深层卷积神经网络,旨在重建来自扰动潜在特征空间的图像。这些网络经过相反的目标训练,在这种目标中,对抗性变形者会产生用于编码器潜在特征空间的扰动,以最大化重建误差,并且自动编码器试图中和这些扰动的效果以最大程度地减少它。当应用于异常检测时,该提出的方法会由于对特征空间的扰动应用而学习语义上的富裕表示。所提出的方法在图像和视频数据集上的异常检测中优于现有的最新方法。
translated by 谷歌翻译
异常检测是一种既定的研究区,寻求识别出预定分布外的样本。异常检测管道由两个主要阶段组成:(1)特征提取和(2)正常评分分配。最近的论文使用预先训练的网络进行特征提取,实现最先进的结果。然而,使用预先训练的网络没有完全利用火车时间可用的正常样本。本文建议通过使用教师学生培训利用此信息。在我们的环境中,佩带的教师网络用于训练正常训练样本上的学生网络。由于学生网络仅在正常样本上培训,因此预计将偏离异常情况下的教师网络。这种差异可以用作预先训练的特征向量的互补表示。我们的方法 - 变换 - 利用预先训练的视觉变压器(VIV)来提取两个特征向量:预先接受的(不可知论者)功能和教师 - 学生(微调)功能。我们报告最先进的AUROC导致共同的单向设置,其中一个类被认为是正常的,其余的被认为是异常的,并且多模式设置,其中所有类别但是一个被认为是正常的,只有一个类被认为是异常的。代码可在https://github.com/matancohen1/transformaly获得。
translated by 谷歌翻译
Anomaly detection is a classical problem in computer vision, namely the determination of the normal from the abnormal when datasets are highly biased towards one class (normal) due to the insufficient sample size of the other class (abnormal). While this can be addressed as a supervised learning problem, a significantly more challenging problem is that of detecting the unknown/unseen anomaly case that takes us instead into the space of a one-class, semi-supervised learning paradigm. We introduce such a novel anomaly detection model, by using a conditional generative adversarial network that jointly learns the generation of high-dimensional image space and the inference of latent space. Employing encoder-decoder-encoder sub-networks in the generator network enables the model to map the input image to a lower dimension vector, which is then used to reconstruct the generated output image. The use of the additional encoder network maps this generated image to its latent representation. Minimizing the distance between these images and the latent vectors during training aids in learning the data distribution for the normal samples. As a result, a larger distance metric from this learned data distribution at inference time is indicative of an outlier from that distribution -an anomaly. Experimentation over several benchmark datasets, from varying domains, shows the model efficacy and superiority over previous state-of-the-art approaches.
translated by 谷歌翻译
分布(OOD)检测对于确保机器学习系统的可靠性和安全性至关重要。例如,在自动驾驶中,我们希望驾驶系统在发现在训练时间中从未见过的异常​​场景或对象时,发出警报并将控件移交给人类,并且无法做出安全的决定。该术语《 OOD检测》于2017年首次出现,此后引起了研究界的越来越多的关注,从而导致了大量开发的方法,从基于分类到基于密度到基于距离的方法。同时,其他几个问题,包括异常检测(AD),新颖性检测(ND),开放式识别(OSR)和离群检测(OD)(OD),在动机和方法方面与OOD检测密切相关。尽管有共同的目标,但这些主题是孤立发展的,它们在定义和问题设定方面的细微差异通常会使读者和从业者感到困惑。在这项调查中,我们首先提出一个称为广义OOD检测的统一框架,该框架涵盖了上述五个问题,即AD,ND,OSR,OOD检测和OD。在我们的框架下,这五个问题可以看作是特殊情况或子任务,并且更容易区分。然后,我们通过总结了他们最近的技术发展来审查这五个领域中的每一个,特别关注OOD检测方法。我们以公开挑战和潜在的研究方向结束了这项调查。
translated by 谷歌翻译
与行业4.0的发展相一致,越来越多的关注被表面缺陷检测领域所吸引。提高效率并节省劳动力成本已稳步成为行业领域引起人们关注的问题,近年来,基于深度学习的算法比传统的视力检查方法更好。尽管现有的基于深度学习的算法偏向于监督学习,但这不仅需要大量标记的数据和大量的劳动力,而且还效率低下,并且有一定的局限性。相比之下,最近的研究表明,无监督的学习在解决视觉工业异常检测的高于缺点方面具有巨大的潜力。在这项调查中,我们总结了当前的挑战,并详细概述了最近提出的针对视觉工业异常检测的无监督算法,涵盖了五个类别,其创新点和框架详细描述了。同时,提供了包含表面图像样本的公开可用数据集的信息。通过比较不同类别的方法,总结了异常检测算法的优点和缺点。预计将协助研究社区和行业发展更广泛,更跨域的观点。
translated by 谷歌翻译