在异常检测(AD)中,给出了识别测试样本是否异常,给出了正常样本的数据集。近期和有希望的广告方法依赖于深度生成模型,例如变形自动化器(VAES),用于对正常数据分布的无监督学习。在半监督广告(SSAD)中,数据还包括标记异常的小样本。在这项工作中,我们提出了两个用于SSAD培训VAES的两个变分方法。两种方法中的直观思路是将编码器训练到潜在向量之间的“分开”以进行正常和异常数据。我们表明,这个想法可以源于问题的原则概率制剂,并提出了简单有效的算法。我们的方法可以应用于各种数据类型,因为我们在从自然图像到天文学和医学的SSAD数据集上展示,可以与任何VAE模型架构相结合,并且自然与合奏相兼容。与未特定于特定数据类型的最先进的SSAD方法比较时,我们获得了异常值检测的显着改进。
translated by 谷歌翻译
We consider the problem of anomaly detection in images, and present a new detection technique. Given a sample of images, all known to belong to a "normal" class (e.g., dogs), we show how to train a deep neural model that can detect out-of-distribution images (i.e., non-dog objects). The main idea behind our scheme is to train a multi-class model to discriminate between dozens of geometric transformations applied on all the given images. The auxiliary expertise learned by the model generates feature detectors that effectively identify, at test time, anomalous images based on the softmax activation statistics of the model when applied on transformed images. We present extensive experiments using the proposed detector, which indicate that our technique consistently improves all known algorithms by a wide margin.1 Unless otherwise mentioned, the use of the adjective "normal" is unrelated to the Gaussian distribution.32nd Conference on Neural Information Processing Systems (NIPS 2018),
translated by 谷歌翻译
机器学习模型通常会遇到与训练分布不同的样本。无法识别分布(OOD)样本,因此将该样本分配给课堂标签会显着损害模​​型的可靠性。由于其对在开放世界中的安全部署模型的重要性,该问题引起了重大关注。由于对所有可能的未知分布进行建模的棘手性,检测OOD样品是具有挑战性的。迄今为止,一些研究领域解决了检测陌生样本的问题,包括异常检测,新颖性检测,一级学习,开放式识别识别和分布外检测。尽管有相似和共同的概念,但分别分布,开放式检测和异常检测已被独立研究。因此,这些研究途径尚未交叉授粉,创造了研究障碍。尽管某些调查打算概述这些方法,但它们似乎仅关注特定领域,而无需检查不同领域之间的关系。这项调查旨在在确定其共同点的同时,对各个领域的众多著名作品进行跨域和全面的审查。研究人员可以从不同领域的研究进展概述中受益,并协同发展未来的方法。此外,据我们所知,虽然进行异常检测或单级学习进行了调查,但没有关于分布外检测的全面或最新的调查,我们的调查可广泛涵盖。最后,有了统一的跨域视角,我们讨论并阐明了未来的研究线,打算将这些领域更加紧密地融为一体。
translated by 谷歌翻译
半监督异常检测旨在使用在正常数据上培训的模型来检测来自正常样本的异常。随着近期深度学习的进步,研究人员设计了高效的深度异常检测方法。现有作品通常使用神经网络将数据映射到更具内容性的表示中,然后应用异常检测算法。在本文中,我们提出了一种方法,DASVDD,它共同学习AutoEncoder的参数,同时最小化其潜在表示上的封闭超球的音量。我们提出了一个异常的分数,它是自动化器的重建误差和距离潜在表示中封闭边距中心的距离的组合。尽量减少这种异常的分数辅助我们在培训期间学习正常课程的潜在分布。包括异常分数中的重建错误确保DESVDD不受常见的极度崩溃问题,因为DESVDD模型不会收敛到映射到潜在表示中的恒定点的常量点。几个基准数据集上的实验评估表明,该方法优于常用的最先进的异常检测算法,同时在不同的异常类中保持鲁棒性能。
translated by 谷歌翻译
异常检测旨在识别数据点,这些数据点显示了未标记数据集中大多数数据的系统偏差。一个普遍的假设是,可以使用干净的培训数据(没有异常),这在实践中通常会违反。我们提出了一种在存在与广泛模型兼容的未标记异常的情况下训练异常检测器的策略。这个想法是在更新模型参数时将二进制标签共同推断为每个基准(正常与异常)。受到异常暴露的启发(Hendrycks等人,2018年),该暴露考虑合成创建,标记为异常,我们因此使用了两个共享参数的损失的组合:一个用于正常参数,一个用于异常数据。然后,我们对参数和最可能(潜在)标签进行块坐标更新。我们在三个图像数据集,30个表格数据集和视频异常检测基准上使用几个主链模型进行了实验,对基线显示了一致且显着的改进。
translated by 谷歌翻译
在运行时检测新颖类的问题称为开放式检测,对于各种现实世界应用,例如医疗应用,自动驾驶等。在深度学习的背景下进行开放式检测涉及解决两个问题:(i):(i)必须将输入图像映射到潜在表示中,该图像包含足够的信息来检测异常值,并且(ii)必须学习一个可以从潜在表示中提取此信息以识别异常情况的异常评分函数。深度异常检测方法的研究缓慢进展。原因之一可能是大多数论文同时引入了新的表示学习技术和新的异常评分方法。这项工作的目的是通过提供分别衡量表示学习和异常评分的有效性的方法来改善这种方法。这项工作做出了两项方法论贡献。首先是引入甲骨文异常检测的概念,以量化学习潜在表示中可用的信息。第二个是引入Oracle表示学习,该学习产生的表示形式可以保证足以准确的异常检测。这两种技术可帮助研究人员将学习表示的质量与异常评分机制的性能分开,以便他们可以调试和改善系统。这些方法还为通过更好的异常评分机制改善了多少开放类别检测提供了上限。两个牙齿的组合给出了任何开放类别检测方法可以实现的性能的上限。这项工作介绍了这两种Oracle技术,并通过将它们应用于几种领先的开放类别检测方法来演示其实用性。
translated by 谷歌翻译
Despite the great advances made by deep learning in many machine learning problems, there is a relative dearth of deep learning approaches for anomaly detection. Those approaches which do exist involve networks trained to perform a task other than anomaly detection, namely generative models or compression, which are in turn adapted for use in anomaly detection; they are not trained on an anomaly detection based objective. In this paper we introduce a new anomaly detection method-Deep Support Vector Data Description-, which is trained on an anomaly detection based objective. The adaptation to the deep regime necessitates that our neural network and training procedure satisfy certain properties, which we demonstrate theoretically. We show the effectiveness of our method on MNIST and CIFAR-10 image benchmark datasets as well as on the detection of adversarial examples of GT-SRB stop signs.
translated by 谷歌翻译
与许多其他任务一样,神经网络对于异常检测目的而言非常有效。但是,很少有深度学习模型适合于在表格数据集上检测异常。本文提出了一种新的方法来标记基于Tracin的异常,这是最初引入的出于明确目的而引入的影响度量。所提出的方法可以增加任何无监督的深度异常检测方法。我们使用变异自动编码器测试我们的方法,并表明训练点子样本对测试点的平均影响可以作为异常的代理。与最先进的方法相比,我们的模型被证明具有竞争力:它在医疗和网络安全表格基准数据上的检测准确性方面具有可比性或更好的性能。
translated by 谷歌翻译
我们描述了作为黑暗机器倡议和LES Houches 2019年物理学研讨会进行的数据挑战的结果。挑战的目标是使用无监督机器学习算法检测LHC新物理学的信号。首先,我们提出了如何实现异常分数以在LHC搜索中定义独立于模型的信号区域。我们定义并描述了一个大型基准数据集,由> 10亿美元的Muton-Proton碰撞,其中包含> 10亿美元的模拟LHC事件组成。然后,我们在数据挑战的背景下审查了各种异常检测和密度估计算法,我们在一组现实分析环境中测量了它们的性能。我们绘制了一些有用的结论,可以帮助开发无监督的新物理搜索在LHC的第三次运行期间,并为我们的基准数据集提供用于HTTPS://www.phenomldata.org的未来研究。重现分析的代码在https://github.com/bostdiek/darkmachines-unsupervisedChallenge提供。
translated by 谷歌翻译
分布(OOD)检测对于确保机器学习系统的可靠性和安全性至关重要。例如,在自动驾驶中,我们希望驾驶系统在发现在训练时间中从未见过的异常​​场景或对象时,发出警报并将控件移交给人类,并且无法做出安全的决定。该术语《 OOD检测》于2017年首次出现,此后引起了研究界的越来越多的关注,从而导致了大量开发的方法,从基于分类到基于密度到基于距离的方法。同时,其他几个问题,包括异常检测(AD),新颖性检测(ND),开放式识别(OSR)和离群检测(OD)(OD),在动机和方法方面与OOD检测密切相关。尽管有共同的目标,但这些主题是孤立发展的,它们在定义和问题设定方面的细微差异通常会使读者和从业者感到困惑。在这项调查中,我们首先提出一个称为广义OOD检测的统一框架,该框架涵盖了上述五个问题,即AD,ND,OSR,OOD检测和OD。在我们的框架下,这五个问题可以看作是特殊情况或子任务,并且更容易区分。然后,我们通过总结了他们最近的技术发展来审查这五个领域中的每一个,特别关注OOD检测方法。我们以公开挑战和潜在的研究方向结束了这项调查。
translated by 谷歌翻译
我们表明,在AutoEncoders(AE)的潜在空间中使用最近的邻居显着提高了单一和多级上下文中半监督新颖性检测的性能。通过学习来检测新奇的方法,以区分非新颖培训类和所有其他看不见的课程。我们的方法利用了最近邻居的重建和给定输入的潜在表示的潜在邻居的结合。我们证明了我们最近的潜在邻居(NLN)算法是内存和时间效率,不需要大量的数据增强,也不依赖于预先训练的网络。此外,我们表明NLN算法很容易应用于多个数据集而无需修改。此外,所提出的算法对于AutoEncoder架构和重建错误方法是不可知的。我们通过使用重建,剩余或具有一致损耗,验证了多个不同的自动码架构,如诸如香草,对抗和变形自身额度的各种标准数据集的方法。结果表明,NLN算法在多级案例的接收器操作特性(AUROC)曲线性能下授予面积增加17%,为单级新颖性检测8%。
translated by 谷歌翻译
We present a detailed study on Variational Autoencoders (VAEs) for anomalous jet tagging at the Large Hadron Collider. By taking in low-level jet constituents' information, and training with background QCD jets in an unsupervised manner, the VAE is able to encode important information for reconstructing jets, while learning an expressive posterior distribution in the latent space. When using the VAE as an anomaly detector, we present different approaches to detect anomalies: directly comparing in the input space or, instead, working in the latent space. In order to facilitate general search approaches such as bump-hunt, mass-decorrelated VAEs based on distance correlation regularization are also studied. We find that the naive mass-decorrelated VAEs fail at maintaining proper detection performance, by assigning higher probabilities to some anomalous samples. To build a performant mass-decorrelated anomalous jet tagger, we propose the Outlier Exposed VAE (OE-VAE), for which some outlier samples are introduced in the training process to guide the learned information. OE-VAEs are employed to achieve two goals at the same time: increasing sensitivity of outlier detection and decorrelating jet mass from the anomaly score. We succeed in reaching excellent results from both aspects. Code implementation of this work can be found at https://github.com/taolicheng/VAE-Jet
translated by 谷歌翻译
异常检测(AD),将异常与正常数据分开,从安全性到医疗保健都有许多范围内的应用程序。尽管大多数以前的作品都被证明对具有完全或部分标记数据的案例有效,但由于标记对此任务特别乏味,因此设置在实践中较不常见。在本文中,我们专注于完全无监督的AD,其中包含正常样本和异常样本的整个培训数据集未标记。为了有效地解决这个问题,我们建议通过使用数据改进过程来提高接受自我监督表示的一类分类的鲁棒性。我们提出的数据完善方法基于单级分类器(OCCS)的集合,每个分类器均经过培训的训练数据子集。随着数据改进的改进,通过自我监督学习学到的表示的表示。我们在具有图像和表格数据的各种无监督的AD任务上演示了我们的方法。 CIFAR-10图像数据的异常比率为10% /甲状腺表格数据的2.5%异常比率,该方法的表现优于最先进的单级分类器,高于6.3 AUC和12.5平均精度 / 22.9 F1评分。 。
translated by 谷歌翻译
新奇检测是识别不属于目标类分布的样本的任务。在培训期间,缺乏新颖的课程,防止使用传统分类方法。深度自动化器已被广泛用作许多无监督的新奇检测方法的基础。特别地,上下文自动码器在新颖的检测任务中已经成功了,因为他们通过从随机屏蔽的图像重建原始图像来学习的更有效的陈述。然而,上下文AutoEncoders的显着缺点是随机屏蔽不能一致地涵盖输入图像的重要结构,导致次优表示 - 特别是对于新颖性检测任务。在本文中,为了优化输入掩蔽,我们设计了由两个竞争网络,掩模模块和重建器组成的框架。掩码模块是一个卷积的AutoEncoder,用于生成涵盖最重要的图像的最佳掩码。或者,重建器是卷积编码器解码器,其旨在从屏蔽图像重建未受带的图像。网络训练以侵略的方式训练,其中掩模模块生成应用于给予重构的图像的掩码。以这种方式,掩码模块寻求最大化重建错误的重建错误最小化。当应用于新颖性检测时,与上下文自动置换器相比,所提出的方法学习语义上更丰富的表示,并通过更新的屏蔽增强了在测试时间的新颖性检测。 MNIST和CIFAR-10图像数据集上的新奇检测实验证明了所提出的方法对尖端方法的优越性。在用于新颖性检测的UCSD视频数据集的进一步实验中,所提出的方法实现了最先进的结果。
translated by 谷歌翻译
异常检测是指识别偏离正常模式的观察,这是各个领域的活跃研究区域。最近,数据量表越来越多,复杂性和维度将传统的表示和基于统计的异常检测方法变得具有挑战性。在本文中,我们利用了高光谱图像异常检测的生成模型。 GIST是模拟正常数据的分布,而分布外样品可以被视为异常值。首先,研究了基于变分的基于异常的检测方法。理论上和经验地发现它们由于距离强烈的概念($ F $ -divergence)作为正则化而不稳定。其次,本文介绍了切片的Wasserstein距离,与F分歧相比,这是一种较弱的分布措施。然而,随机切片的数量难以估计真正的距离。最后,我们提出了一个投影的切片Wasserstein(PSW)基于AutoEncoder的异常筛选方法。特别是,我们利用计算友好的特征分解方法来找到切片高维数据的主成分。此外,我们所提出的距离可以用闭合形式计算,即使是先前的分布也不是高斯。在各种现实世界高光谱异常检测基准上进行的综合实验证明了我们提出的方法的卓越性能。
translated by 谷歌翻译
Novelty detection is commonly referred to as the discrimination of observations that do not conform to a learned model of regularity. Despite its importance in different application settings, designing a novelty detector is utterly complex due to the unpredictable nature of novelties and its inaccessibility during the training procedure, factors which expose the unsupervised nature of the problem. In our proposal, we design a general framework where we equip a deep autoencoder with a parametric density estimator that learns the probability distribution underlying its latent representations through an autoregressive procedure. We show that a maximum likelihood objective, optimized in conjunction with the reconstruction of normal samples, effectively acts as a regularizer for the task at hand, by minimizing the differential entropy of the distribution spanned by latent vectors. In addition to providing a very general formulation, extensive experiments of our model on publicly available datasets deliver on-par or superior performances if compared to state-of-the-art methods in one-class and video anomaly detection settings. Differently from prior works, our proposal does not make any assumption about the nature of the novelties, making our work readily applicable to diverse contexts.
translated by 谷歌翻译
当应用于具有高级别方差的目标类别的复杂数据集时,基于异常检测的基于异常检测的方法趋于下降。类似于转移学习中使用的自学学习的想法,许多域具有类似的未标记数据集,可以作为分发超出样本的代理。在本文中,我们介绍了来自类似域的未标记数据的潜在不敏感的AutoEncoder(LIS-AE)用作阳性示例以形成常规AutoEncoder的潜在层(瓶颈),使得它仅能够重建一个任务。我们为拟议的培训流程和损失职能提供了理论理的理由以及广泛的消融研究,突出了我们模型的重要方面。我们在多个异常检测设置中测试我们的模型,呈现定量和定性分析,展示了我们对异常检测任务模型的显着性能改进。
translated by 谷歌翻译
Anomaly detection is a classical problem in computer vision, namely the determination of the normal from the abnormal when datasets are highly biased towards one class (normal) due to the insufficient sample size of the other class (abnormal). While this can be addressed as a supervised learning problem, a significantly more challenging problem is that of detecting the unknown/unseen anomaly case that takes us instead into the space of a one-class, semi-supervised learning paradigm. We introduce such a novel anomaly detection model, by using a conditional generative adversarial network that jointly learns the generation of high-dimensional image space and the inference of latent space. Employing encoder-decoder-encoder sub-networks in the generator network enables the model to map the input image to a lower dimension vector, which is then used to reconstruct the generated output image. The use of the additional encoder network maps this generated image to its latent representation. Minimizing the distance between these images and the latent vectors during training aids in learning the data distribution for the normal samples. As a result, a larger distance metric from this learned data distribution at inference time is indicative of an outlier from that distribution -an anomaly. Experimentation over several benchmark datasets, from varying domains, shows the model efficacy and superiority over previous state-of-the-art approaches.
translated by 谷歌翻译
异常检测是确定不符合正常数据分布的样品。由于异常数据的无法获得,培训监督的深神经网络是一项繁琐的任务。因此,无监督的方法是解决此任务的常见方法。深度自动编码器已被广泛用作许多无监督的异常检测方法的基础。但是,深层自动编码器的一个显着缺点是,它们通过概括重建异常值来提供不足的表示异常检测的表示。在这项工作中,我们设计了一个对抗性框架,该框架由两个竞争组件组成,一个对抗性变形者和一个自动编码器。对抗性变形器是一种卷积编码器,学会产生有效的扰动,而自动编码器是一个深层卷积神经网络,旨在重建来自扰动潜在特征空间的图像。这些网络经过相反的目标训练,在这种目标中,对抗性变形者会产生用于编码器潜在特征空间的扰动,以最大化重建误差,并且自动编码器试图中和这些扰动的效果以最大程度地减少它。当应用于异常检测时,该提出的方法会由于对特征空间的扰动应用而学习语义上的富裕表示。所提出的方法在图像和视频数据集上的异常检测中优于现有的最新方法。
translated by 谷歌翻译
主体组件分析(PCA)在给定固定组件维度的一类线性模型的情况下,将重建误差最小化。概率PCA通过学习PCA潜在空间权重的概率分布,从而创建生成模型,从而添加了概率结构。自动编码器(AE)最小化固定潜在空间维度的一类非线性模型中的重建误差,在固定维度处胜过PCA。在这里,我们介绍了概率自动编码器(PAE),该自动编码器(PAE)使用归一化流量(NF)了解了AE潜在空间权重的概率分布。 PAE快速且易于训练,并在下游任务中遇到小的重建错误,样本质量高以及良好的性能。我们将PAE与差异AE(VAE)进行比较,表明PAE训练更快,达到较低的重建误差,并产生良好的样品质量,而无需特殊的调整参数或培训程序。我们进一步证明,PAE是在贝叶斯推理的背景下,用于涂抹和降解应用程序的贝叶斯推断,可以执行概率图像重建的下游任务的强大模型。最后,我们将NF的潜在空间密度确定为有希望的离群检测度量。
translated by 谷歌翻译