我们考虑根据视觉检测自动移动机器人异常的任务。我们对相关类型的视觉异常进行分类,并讨论如何通过无监督的深度学习方法检测到它们。我们提出了一个专门为此任务构建的新型数据集,并在该任务上测试了最先进的方法。我们终于在实际情况下讨论部署。
translated by 谷歌翻译
我们考虑为移动机器人构建视觉异常检测系统的问题。标准异常检测模型是使用仅由非异常数据组成的大型数据集训练的。但是,在机器人技术应用中,通常可以使用(可能很少)的异常示例。我们解决了利用这些数据以通过与Real-NVP损失共同使辅助外离群损失损失共同使实际NVP异常检测模型的性能提高性能的问题。我们在新的数据集(作为补充材料)上进行定量实验,该数据集在室内巡逻方案中设计为异常检测。在不连接测试集中,我们的方法优于替代方案,并表明即使少数异常框架也可以实现重大的性能改进。
translated by 谷歌翻译
我们考虑了在自主移动机器人的视觉传感数据流中检测的问题,这些语义模式相对于机器人在类似环境中的先前经验而言是不寻常的(即异常)。这些异常可能表明危害不可预见,并且在失败昂贵的情况下,可以用来触发避免行为。我们贡献了在机器人勘探方案中获得的三个基于图像的新型数据集,其中包括超过200k的标记帧,涵盖了各种类型的异常。在这些数据集上,我们研究了基于以不同尺度运行的自动编码器的异常检测方法的性能。
translated by 谷歌翻译
日志数据异常检测是IT操作的人工智能区域中的核心组件。但是,大量现有方法使其难以为特定系统选择正确的方法。更好地了解不同种类的异常,以及哪些算法适合检测它们,将支持研究人员和IT运营商。虽然已经存在的异常分类常见的分类,但尚未专门应用于记录数据,指出该域中的特征和特点。在本文中,我们为不同种类的日志数据异常提供了一种分类,并介绍了一种分析标记数据集中的这种异常的方法。我们将我们的分类系统应用于三个常见的基准数据集Thunderbird,Spirit和BGL,并培训了五种最先进的无监督异常检测算法,以评估它们在检测不同种类的异常中的性能。我们的结果表明,最常见的异常类型也是最容易预测的。此外,基于深度学习的方法在所有异常类型中占据了基于数据的方法,但特别是当涉及到检测语境异常时。
translated by 谷歌翻译
异常识别中的一个常见研究区域是基于纹理背景的工业图像异常检测。纹理图像的干扰和纹理异常的小型性是许多现有模型无法检测异常的主要原因。我们提出了一种异常检测策略,该策略根据上述问题结合了字典学习和归一流的流程。我们的方法增强了已经使用的两阶段异常检测方法。为了改善基线方法,这项研究增加了表示学习中的正常流程,并结合了深度学习和词典学习。在实验验证后,所有MVTEC AD纹理类型数据的改进算法超过了95 $ \%$检测精度。它显示出强大的鲁棒性。地毯数据的基线方法的检测准确性为67.9%。该文章已升级,将检测准确性提高到99.7%。
translated by 谷歌翻译
现代高性能计算(HPC)系统的复杂性日益增加,需要引入自动化和数据驱动的方法,以支持系统管理员为增加系统可用性的努力。异常检测是改善可用性不可或缺的一部分,因为它减轻了系统管理员的负担,并减少了异常和解决方案之间的时间。但是,对当前的最新检测方法进行了监督和半监督,因此它们需要具有异常的人体标签数据集 - 在生产HPC系统中收集通常是不切实际的。基于聚类的无监督异常检测方法,旨在减轻准确的异常数据的需求,到目前为止的性能差。在这项工作中,我们通过提出RUAD来克服这些局限性,RUAD是一种新型的无监督异常检测模型。 Ruad比当前的半监督和无监督的SOA方法取得了更好的结果。这是通过考虑数据中的时间依赖性以及在模型体系结构中包括长短期限内存单元的实现。提出的方法是根据tier-0系统(带有980个节点的Cineca的Marconi100的完整历史)评估的。 RUAD在半监督训练中达到曲线(AUC)下的区域(AUC)为0.763,在无监督的训练中达到了0.767的AUC,这改进了SOA方法,在半监督训练中达到0.747的AUC,无需训练的AUC和0.734的AUC在无处不在的AUC中提高了AUC。训练。它还大大优于基于聚类的当前SOA无监督的异常检测方法,其AUC为0.548。
translated by 谷歌翻译
异常检测是要识别在某些方面与训练观察结果不同的样本。这些不符合正常数据分布的样本称为异常值或异常。在现实世界的异常检测问题中,离群值不存在,定义不当或实例非常有限。最近的最新基于深度学习的异常检测方法遭受了高计算成本,复杂性,不稳定的培训程序和非平凡的实施,因此它们很难在现实世界应用中部署。为了解决这个问题,我们利用一个简单的学习程序来训练轻量级的卷积神经网络,在异常检测中达到最先进的表现。在本文中,我们建议将异常检测作为监督回归问题。我们使用连续值的两个可分离分布标记正常和异常数据。为了补偿训练时间中异常样品的不可用,我们利用直接图像增强技术来创建一组不同的样本作为异常。增强集的分布相似,但与正常数据略有偏差,而实际异常将具有进一步的分布。因此,对这些增强样品的训练回归器将导致标签的分布更加可分离,以适应正常和真实的异常数据点。图像和视频数据集的异常检测实验显示了所提出的方法比最新方法的优越性。
translated by 谷歌翻译
在图像中检测异常区域是工业监测中经常遇到的问题。一个相关的例子是对正常条件下符合特定纹理的组织和其他产品的分析,而缺陷会引入正常模式的变化。我们通过训练深层自动编码器来解决异常检测问题,我们表明,基于复杂的小波结构相似性(CW-SSIM)采用损失函数(CW-SSIM)与传统的自动编码器损失函数相比,这类图像上的检测性能出色。我们对众所周知的异常检测基准测试的实验表明,通过这种损失函数训练的简单模型可以实现可比性或优越的性能,从而利用更深入,更大,更大的计算要求的神经网络的最先进方法。
translated by 谷歌翻译
我们提出了一种用于测试使用吸收材料记录辐射电磁(EM)场的天线阵列的新方法,并使用条件编码器解码器模型通过AI评估所得到的热图像串。鉴于馈送到每个阵列元件的信号的功率和相位,我们能够通过我们训练的模型重建正常序列,并将其与热相机观察到的真实序列进行比较。这些热图仅包含低级模式,例如各种形状的斑点。然后,基于轮廓的异常检测器可以将重建误差矩阵映射到异常的分数,以识别故障的天线阵列,并将分类F量度(F-M)增加到46%。我们在天线测试系统收集的时间序列热量量表上展示了我们的方法。传统上,变形自身摩擦(VAE)学习观察噪声可以产生比具有恒定噪声假设的VAE更好的结果。然而,我们证明这不是对这种低级模式的异常检测的情况,有两个原因。首先,结合所学到的观察噪声的基线度量重建概率不能分化异常模式。其次,具有较低观察噪声假设的VAE的接收器操作特性(ROC)曲线下的区域比具有学习噪声的VAE高出11.83%。
translated by 谷歌翻译
Surveillance videos are able to capture a variety of realistic anomalies. In this paper, we propose to learn anomalies by exploiting both normal and anomalous videos. To avoid annotating the anomalous segments or clips in training videos, which is very time consuming, we propose to learn anomaly through the deep multiple instance ranking framework by leveraging weakly labeled training videos, i.e. the training labels (anomalous or normal) are at videolevel instead of clip-level. In our approach, we consider normal and anomalous videos as bags and video segments as instances in multiple instance learning (MIL), and automatically learn a deep anomaly ranking model that predicts high anomaly scores for anomalous video segments. Furthermore, we introduce sparsity and temporal smoothness constraints in the ranking loss function to better localize anomaly during training.We also introduce a new large-scale first of its kind dataset of 128 hours of videos. It consists of 1900 long and untrimmed real-world surveillance videos, with 13 realistic anomalies such as fighting, road accident, burglary, robbery, etc. as well as normal activities. This dataset can be used for two tasks. First, general anomaly detection considering all anomalies in one group and all normal activities in another group. Second, for recognizing each of 13 anomalous activities. Our experimental results show that our MIL method for anomaly detection achieves significant improvement on anomaly detection performance as compared to the state-of-the-art approaches. We provide the results of several recent deep learning baselines on anomalous activity recognition. The low recognition performance of these baselines reveals that our dataset is very challenging and opens more opportunities for future work. The dataset is
translated by 谷歌翻译
异常检测是一项具有挑战性的任务,经常在实际上出现所有工业和科学领域,从欺诈检测和数据质量监测到寻找罕见的疾病病例和寻找新物理学。大多数传统的异常检测方法,例如单级SVM和鲁棒自动编码器,是单级分类方法,即专注于将正常数据与空间的其余部分分开。这些方法基于正常和异常类别的可分离性的假设,随后不考虑任何异常的任何可用样本。尽管如此,在实际设置中,一些异常样品通常可用;但是,通常以平衡分类任务所需的量低,并且可以总是保持可分离的假设。这导致了重要的任务 - 将已知的异常样品掺入异常检测模型的训练程序中。在这项工作中,我们提出了一种新颖的模型 - 不可知论培训程序来解决这项任务。我们将单级分类重构为二进制分类问题,与伪异常样本区分开。通过将潜在分布的尾部进入模型,从标准化流动模型的低密度区域中抽出伪异常样本。这种方法允许容易地包括已知的异常进入任意分类器的训练过程。我们展示了我们的方法在一类问题上表现出可比的性能,最重要的是,在具有可变量的已知异常的任务上实现了可比或优越的结果。
translated by 谷歌翻译
The external visual inspections of rolling stock's underfloor equipment are currently being performed via human visual inspection. In this study, we attempt to partly automate visual inspection by investigating anomaly inspection algorithms that use image processing technology. As the railroad maintenance studies tend to have little anomaly data, unsupervised learning methods are usually preferred for anomaly detection; however, training cost and accuracy is still a challenge. Additionally, a researcher created anomalous images from normal images by adding noise, etc., but the anomalous targeted in this study is the rotation of piping cocks that was difficult to create using noise. Therefore, in this study, we propose a new method that uses style conversion via generative adversarial networks on three-dimensional computer graphics and imitates anomaly images to apply anomaly detection based on supervised learning. The geometry-consistent style conversion model was used to convert the image, and because of this the color and texture of the image were successfully made to imitate the real image while maintaining the anomalous shape. Using the generated anomaly images as supervised data, the anomaly detection model can be easily trained without complex adjustments and successfully detects anomalies.
translated by 谷歌翻译
异常检测方法努力以语义方式发现与规范不同的模式。这个目标是模棱两可的,因为数据点与规范不同的属性不同,例如年龄,种族或性别,可能被某些操作员认为是异常的,而其他操作员可能认为这种属性无关紧要。从先前的研究中断,我们提出了一种新的异常检测方法,该方法使操作员可以将属性排除在被认为与异常检测相关的情况下。然后,我们的方法学习了不包含有关滋扰属性的信息的表示形式。使用基于密度的方法进行异常评分。重要的是,我们的方法不需要指定与检测异常相关的属性,这在异常检测中通常是不可能的,而是只能忽略的属性。提出了一项实证研究,以验证我们方法的有效性。
translated by 谷歌翻译
This paper presents an introduction to the state-of-the-art in anomaly and change-point detection. On the one hand, the main concepts needed to understand the vast scientific literature on those subjects are introduced. On the other, a selection of important surveys and books, as well as two selected active research topics in the field, are presented.
translated by 谷歌翻译
无人驾驶飞机(UAV)通过低成本,大型覆盖,实时和高分辨率数据采集能力而广泛应用于检查,搜索和救援行动的目的。在这些过程中产生了大量航空视频,在这些过程中,正常事件通常占压倒性的比例。本地化和提取异常事件非常困难,这些事件包含手动从长视频流中的潜在有价值的信息。因此,我们致力于开发用于解决此问题的异常检测方法。在本文中,我们创建了一个新的数据集,名为Droneanomaly,用于空中视频中的异常检测。该数据集提供了37个培训视频序列和22个测试视频序列,这些视频序列来自7个不同的现实场景,其中包括各种异常事件。有87,488个彩色视频框架(训练51,635,测试35,853),每秒30帧的尺寸为640美元\ times 640美元。基于此数据集,我们评估现有方法并为此任务提供基准。此外,我们提出了一种新的基线模型,即变压器(ANDT)的异常检测,该模型将连续的视频帧视为一系列小管,它利用变压器编码器从序列中学习特征表示,并利用解码器来预测下一帧。我们的网络模型在训练阶段模型正常,并确定了具有不可预测的时间动力学的事件,作为测试阶段的异常。此外,为了全面评估我们提出的方法的性能,我们不仅使用无人机 - 异常数据集,而且使用另一个数据集。我们将使我们的数据集和代码公开可用。可以在https://youtu.be/ancczyryoby上获得演示视频。我们使数据集和代码公开可用。
translated by 谷歌翻译
We consider the problem of anomaly detection in images, and present a new detection technique. Given a sample of images, all known to belong to a "normal" class (e.g., dogs), we show how to train a deep neural model that can detect out-of-distribution images (i.e., non-dog objects). The main idea behind our scheme is to train a multi-class model to discriminate between dozens of geometric transformations applied on all the given images. The auxiliary expertise learned by the model generates feature detectors that effectively identify, at test time, anomalous images based on the softmax activation statistics of the model when applied on transformed images. We present extensive experiments using the proposed detector, which indicate that our technique consistently improves all known algorithms by a wide margin.1 Unless otherwise mentioned, the use of the adjective "normal" is unrelated to the Gaussian distribution.32nd Conference on Neural Information Processing Systems (NIPS 2018),
translated by 谷歌翻译
在许多应用程序中,检测异常行为是新兴的需求,尤其是在安全性和可靠性是关键方面的情况下。尽管对异常的定义严格取决于域框架,但它通常是不切实际的或太耗时的,无法获得完全标记的数据集。使用无监督模型来克服缺乏标签的模型通常无法捕获特定的特定异常情况,因为它们依赖于异常值的一般定义。本文提出了一种新的基于积极学习的方法Alif,以通过减少所需标签的数量并将检测器调整为用户提供的异常的定义来解决此问题。在存在决策支持系统(DSS)的情况下,提出的方法特别有吸引力,这种情况在现实世界中越来越流行。尽管常见的DSS嵌入异常检测功能取决于无监督的模型,但它们没有办法提高性能:Alif能够通过在常见操作期间利用用户反馈来增强DSS的功能。 Alif是对流行的隔离森林的轻巧修改,在许多真实的异常检测数据集中,相对于其他最先进的算法证明了相对于其他最先进算法的出色性能。
translated by 谷歌翻译
We aim at constructing a high performance model for defect detection that detects unknown anomalous patterns of an image without anomalous data. To this end, we propose a two-stage framework for building anomaly detectors using normal training data only. We first learn self-supervised deep representations and then build a generative one-class classifier on learned representations. We learn representations by classifying normal data from the CutPaste, a simple data augmentation strategy that cuts an image patch and pastes at a random location of a large image. Our empirical study on MVTec anomaly detection dataset demonstrates the proposed algorithm is general to be able to detect various types of real-world defects. We bring the improvement upon previous arts by 3.1 AUCs when learning representations from scratch. By transfer learning on pretrained representations on ImageNet, we achieve a new state-of-theart 96.6 AUC. Lastly, we extend the framework to learn and extract representations from patches to allow localizing defective areas without annotations during training.
translated by 谷歌翻译
异常检测是确定不符合正常数据分布的样品。由于异常数据的无法获得,培训监督的深神经网络是一项繁琐的任务。因此,无监督的方法是解决此任务的常见方法。深度自动编码器已被广泛用作许多无监督的异常检测方法的基础。但是,深层自动编码器的一个显着缺点是,它们通过概括重建异常值来提供不足的表示异常检测的表示。在这项工作中,我们设计了一个对抗性框架,该框架由两个竞争组件组成,一个对抗性变形者和一个自动编码器。对抗性变形器是一种卷积编码器,学会产生有效的扰动,而自动编码器是一个深层卷积神经网络,旨在重建来自扰动潜在特征空间的图像。这些网络经过相反的目标训练,在这种目标中,对抗性变形者会产生用于编码器潜在特征空间的扰动,以最大化重建误差,并且自动编码器试图中和这些扰动的效果以最大程度地减少它。当应用于异常检测时,该提出的方法会由于对特征空间的扰动应用而学习语义上的富裕表示。所提出的方法在图像和视频数据集上的异常检测中优于现有的最新方法。
translated by 谷歌翻译
时间序列的异常提供了各个行业的关键方案的见解,从银行和航空航天到信息技术,安全和医学。但是,由于异常的定义,经常缺乏标签以及此类数据中存在的极为复杂的时间相关性,因此识别时间序列数据中的异常尤其具有挑战性。LSTM自动编码器是基于长期短期内存网络的异常检测的编码器传统方案,该方案学会重建时间序列行为,然后使用重建错误来识别异常。我们将Denoising Architecture作为对该LSTM编码模型模型的补充,并研究其对现实世界以及人为生成的数据集的影响。我们证明了所提出的体系结构既提高了准确性和训练速度,从而使LSTM自动编码器更有效地用于无监督的异常检测任务。
translated by 谷歌翻译