多元时间序列中的异常检测在监视各种现实世界系统(例如IT系统运营或制造业)的行为方面起着重要作用。先前的方法对关节分布进行建模,而无需考虑多元时间序列的潜在机制,使它们变得复杂且饥饿。在本文中,我们从因果的角度提出异常检测问题,并将异常视为未遵循常规因果机制来生成多元数据的情况。然后,我们提出了一种基于因果关系的异常检测方法,该方法首先从数据中学习因果结构,然后渗透实例是否是相对于局部因果机制的异常,以从其直接原因产生每个变量,其条件分布可以直接估计从数据。鉴于因果系统的模块化特性,原始问题被分为一系列单独的低维异常检测问题,因此可以直接识别出异常的地方。我们通过模拟和公共数据集以及有关现实世界中AIOPS应用程序的案例研究评估我们的方法,显示其功效,鲁棒性和实际可行性。
translated by 谷歌翻译
Time series anomaly detection has applications in a wide range of research fields and applications, including manufacturing and healthcare. The presence of anomalies can indicate novel or unexpected events, such as production faults, system defects, or heart fluttering, and is therefore of particular interest. The large size and complex patterns of time series have led researchers to develop specialised deep learning models for detecting anomalous patterns. This survey focuses on providing structured and comprehensive state-of-the-art time series anomaly detection models through the use of deep learning. It providing a taxonomy based on the factors that divide anomaly detection models into different categories. Aside from describing the basic anomaly detection technique for each category, the advantages and limitations are also discussed. Furthermore, this study includes examples of deep anomaly detection in time series across various application domains in recent years. It finally summarises open issues in research and challenges faced while adopting deep anomaly detection models.
translated by 谷歌翻译
在智能交通系统中,交通拥堵异常检测至关重要。运输机构的目标有两个方面:监视感兴趣领域的一般交通状况,并在异常拥堵状态下定位道路细分市场。建模拥塞模式可以实现这些目标,以实现全市道路的目标,相当于学习多元时间序列(MTS)的分布。但是,现有作品要么不可伸缩,要么无法同时捕获MTS中的空间信息。为此,我们提出了一个由数据驱动的生成方法组成的原则性和全面的框架,该方法可以执行可拖动的密度估计来检测流量异常。我们的方法在特征空间中的第一群段段,然后使用条件归一化流以在无监督的设置下在群集级别识别异常的时间快照。然后,我们通过在异常群集上使用内核密度估计器来识别段级别的异常。关于合成数据集的广泛实验表明,我们的方法在召回和F1得分方面显着优于几种最新的拥塞异常检测和诊断方法。我们还使用生成模型来采样标记的数据,该数据可以在有监督的环境中训练分类器,从而减轻缺乏在稀疏设置中进行异常检测的标记数据。
translated by 谷歌翻译
故障诊断在许多领域至关重要,因为故障可能导致安全威胁或经济损失。在在线服务系统领域中,操作员依靠大量监视数据来检测和减轻故障。快速识别一组基础故障的根本原因指标可以节省大量时间减轻故障。在本文中,我们将根本原因分析问题作为一种新的因果推理任务,称为干预识别。我们提出了一种新型的无监督因果推理的方法,名为基于因果推理的根本原因分析(大约)。核心思想是一个足够的条件,可以使监视变量成为根本原因指标,即,因果关系贝叶斯网络(CBN)中父母的概率分布的变化。在在线服务系统中的应用程序中,大约根据系统体系结构的知识和一组因果假设在监视指标中构建图形。仿真研究说明了大约的理论可靠性。现实世界中数据集的性能进一步表明,大约可以将TOP-1建议的回忆提高到最佳基线方法的25%。
translated by 谷歌翻译
最近的研究表明,基于自动编码器的模型可以在异常检测任务上实现出色的性能,因为它们以无监督的方式适合复杂数据的能力出色。在这项工作中,我们提出了一种新型的基于自动编码器的模型,称为Stackvae-G,可以显着将效率和解释性带入多元时间序列异常检测。具体而言,我们通过使用权重共生方案的堆叠式重建来利用整个时间序列频道的相似性来减少学习模型的大小,并减轻培训数据中未知噪声的过度拟合。我们还利用图形学习模块来学习稀疏的邻接矩阵,以明确捕获多个时间序列通道之间的稳定相互关系结构,以便对相互关联的通道的可解释模式重建。结合了这两个模块,我们将堆叠式块VAE(变异自动编码器)与GNN(图神经网络)模型进行了多变量时间序列异常检测。我们对三个常用的公共数据集进行了广泛的实验,这表明我们的模型与最先进的模型相当(甚至更好)的性能,同时需要更少的计算和内存成本。此外,我们证明,通过模型学到的邻接矩阵可以准确捕获多个渠道之间的相互关系,并可以为失败诊断应用提供有价值的信息。
translated by 谷歌翻译
6G is envisioned to offer higher data rate, improved reliability, ubiquitous AI services, and support massive scale of connected devices. As a consequence, 6G will be much more complex than its predecessors. The growth of the system scale and complexity as well as the coexistence with the legacy networks and the diversified service requirements will inevitably incur huge maintenance cost and efforts for future 6G networks. Network Root Cause Analysis (Net-RCA) plays a critical role in identifying root causes of network faults. In this article, we first give an introduction about the envisioned 6G networks. Next, we discuss the challenges and potential solutions of 6G network operation and management, and comprehensively survey existing RCA methods. Then we propose an artificial intelligence (AI)-empowered Net-RCA framework for 6G. Performance comparisons on both synthetic and real-world network data are carried out to demonstrate that the proposed method outperforms the existing method considerably.
translated by 谷歌翻译
Aiot技术的最新进展导致利用机器学习算法来检测网络物理系统(CPS)的操作失败的越来越受欢迎。在其基本形式中,异常检测模块从物理工厂监控传感器测量和致动器状态,并检测这些测量中的异常以识别异常操作状态。然而,由于该模型必须在存在高度复杂的系统动态和未知量的传感器噪声的情况下准确地检测异常,构建有效的异常检测模型是挑战性的。在这项工作中,我们提出了一种新的时序序列异常检测方法,称为神经系统识别和贝叶斯滤波(NSIBF),其中特制的神经网络架构被构成系统识别,即捕获动态状态空间中CP的动态模型;然后,通过跟踪系统的隐藏状态的不确定性随着时间的推移,自然地施加贝叶斯滤波算法的顶部。我们提供定性的和定量实验,并在合成和三个现实世界CPS数据集上具有所提出的方法,表明NSIBF对最先进的方法比较了对CPS中异常检测的最新方法。
translated by 谷歌翻译
多元时间序列异常检测已在半监督的设置下进行了广泛的研究,其中需要所有具有正常实例的训练数据集。但是,准备这样的数据集非常费力,因为每个数据实例应完全保证是正常的。因此,希望在没有任何标签知识的情况下基于数据集探索基于数据集的多元时间序列异常检测方法。在本文中,我们提出了MTGFLOF,这是通过动态图和实体意识到的归一化流量进行多变量时间序列异常检测的无监督异常检测方法,仅依靠广泛接受的假设,即异常实例比正常情况表现出稀疏的密度。但是,实体之间的复杂相互依赖性和每个实体的不同固有特征对密度估计提出了重大挑战,更不用说基于估计的可能性分布来检测异常。为了解决这些问题,我们建议通过图结构学习模型来学习实体之间的相互关系,这有助于建模多元时间序列的准确分布。此外,考虑到各个实体的独特特征,开发了实体意识到的归一化流,以将每个实体描述为参数化的正态分布,从而产生细粒密度估计。结合了这两种策略,MTGFlowChieves出色的异常检测性能。进行了现实世界数据集的实验,表明MTGFLOW的表现分别超过了最先进的(SOTA),分别对SWAT和WADI数据集的实验分别高出5.0%和1.6%的AUROC。同样,通过单个实体贡献的异常得分,MTGFLOF可以为检测结果提供解释信息。
translated by 谷歌翻译
The detection of anomalies in time series data is crucial in a wide range of applications, such as system monitoring, health care or cyber security. While the vast number of available methods makes selecting the right method for a certain application hard enough, different methods have different strengths, e.g. regarding the type of anomalies they are able to find. In this work, we compare six unsupervised anomaly detection methods with different complexities to answer the questions: Are the more complex methods usually performing better? And are there specific anomaly types that those method are tailored to? The comparison is done on the UCR anomaly archive, a recent benchmark dataset for anomaly detection. We compare the six methods by analyzing the experimental results on a dataset- and anomaly type level after tuning the necessary hyperparameter for each method. Additionally we examine the ability of individual methods to incorporate prior knowledge about the anomalies and analyse the differences of point-wise and sequence wise features. We show with broad experiments, that the classical machine learning methods show a superior performance compared to the deep learning methods across a wide range of anomaly types.
translated by 谷歌翻译
近年来,提出了关于时间序列异常检测(TAD)的研究报告基准TAD数据集中的高F1分数,给出了TAD的清晰改进的印象。然而,大多数研究在评分之前应用了一个名为Point调整(PA)的特殊评估协议。在本文中,我们理论上实验揭示了PA协议具有高估检测性能的可能性;也就是说,即使是随机异常的分数也可以容易地变成最先进的TAD方法。因此,应用PA协议后的TAD方法的比较可能导致误导排名。此外,我们通过表示未经训练的模型对现有方法获得了可比的检测性能,即使禁止禁止,我们会解决现有TAD方法的潜力。根据我们的调查结果,我们提出了一种新的基线和评估议定书。我们预计我们的研究将有助于对TAD严格评估,并导致未来的研究进一步改善。
translated by 谷歌翻译
今天的网络世界难以多变量。在极端品种中收集的指标需要多变量算法以正确检测异常。然而,基于预测的算法,如被广泛证明的方法,通常在数据集中进行次优或不一致。一个关键的常见问题是他们努力成为一个尺寸适合的,但异常在自然中是独特的。我们提出了一种裁定到这种区别的方法。提出FMUAD - 一种基于预测,多方面,无监督的异常检测框架。FMUAD明确,分别捕获异常类型的签名性状 - 空间变化,时间变化和相关变化 - 与独立模块。然后,模块共同学习最佳特征表示,这是非常灵活和直观的,与类别中的大多数其他模型不同。广泛的实验表明我们的FMUAD框架始终如一地优于其他最先进的预测的异常探测器。
translated by 谷歌翻译
多元时间序列的异常检测对于系统行为监测有意义。本文提出了一种基于无监督的短期和长期面具表示学习(SLMR)的异常检测方法。主要思想是分别使用多尺度的残余卷积和门控复发单元(GRU)提取多元时间序列的短期局部依赖模式和长期全球趋势模式。此外,我们的方法可以通过结合时空掩盖的自我监督表示和序列分裂来理解时间上下文和特征相关性。它认为功能的重要性是不同的,我们介绍了注意机制以调整每个功能的贡献。最后,将基于预测的模型和基于重建的模型集成在一起,以关注单时间戳预测和时间序列的潜在表示。实验表明,我们方法的性能优于三个现实世界数据集上的其他最先进的模型。进一步的分析表明,我们的方法擅长可解释性。
translated by 谷歌翻译
时间序列的异常提供了各个行业的关键方案的见解,从银行和航空航天到信息技术,安全和医学。但是,由于异常的定义,经常缺乏标签以及此类数据中存在的极为复杂的时间相关性,因此识别时间序列数据中的异常尤其具有挑战性。LSTM自动编码器是基于长期短期内存网络的异常检测的编码器传统方案,该方案学会重建时间序列行为,然后使用重建错误来识别异常。我们将Denoising Architecture作为对该LSTM编码模型模型的补充,并研究其对现实世界以及人为生成的数据集的影响。我们证明了所提出的体系结构既提高了准确性和训练速度,从而使LSTM自动编码器更有效地用于无监督的异常检测任务。
translated by 谷歌翻译
As many deep anomaly detection models have been deployed in the real-world, interpretable anomaly detection becomes an emerging task. Recent studies focus on identifying features of samples leading to abnormal outcomes but cannot recommend a set of actions to flip the abnormal outcomes. In this work, we focus on interpretations via algorithmic recourse that shows how to act to revert abnormal predictions by suggesting actions on features. The key challenge is that algorithmic recourse involves interventions in the physical world, which is fundamentally a causal problem. To tackle this challenge, we propose an interpretable Anomaly Detection framework using Causal Algorithmic Recourse (ADCAR), which recommends recourse actions and infers counterfactual of abnormal samples guided by the causal mechanism. Experiments on three datasets show that ADCAR can flip the abnormal labels with minimal interventions.
translated by 谷歌翻译
Unsupervised anomaly detection in time-series has been extensively investigated in the literature. Notwithstanding the relevance of this topic in numerous application fields, a complete and extensive evaluation of recent state-of-the-art techniques is still missing. Few efforts have been made to compare existing unsupervised time-series anomaly detection methods rigorously. However, only standard performance metrics, namely precision, recall, and F1-score are usually considered. Essential aspects for assessing their practical relevance are therefore neglected. This paper proposes an original and in-depth evaluation study of recent unsupervised anomaly detection techniques in time-series. Instead of relying solely on standard performance metrics, additional yet informative metrics and protocols are taken into account. In particular, (1) more elaborate performance metrics specifically tailored for time-series are used; (2) the model size and the model stability are studied; (3) an analysis of the tested approaches with respect to the anomaly type is provided; and (4) a clear and unique protocol is followed for all experiments. Overall, this extensive analysis aims to assess the maturity of state-of-the-art time-series anomaly detection, give insights regarding their applicability under real-world setups and provide to the community a more complete evaluation protocol.
translated by 谷歌翻译
Anomaly detection on time series data is increasingly common across various industrial domains that monitor metrics in order to prevent potential accidents and economic losses. However, a scarcity of labeled data and ambiguous definitions of anomalies can complicate these efforts. Recent unsupervised machine learning methods have made remarkable progress in tackling this problem using either single-timestamp predictions or time series reconstructions. While traditionally considered separately, these methods are not mutually exclusive and can offer complementary perspectives on anomaly detection. This paper first highlights the successes and limitations of prediction-based and reconstruction-based methods with visualized time series signals and anomaly scores. We then propose AER (Auto-encoder with Regression), a joint model that combines a vanilla auto-encoder and an LSTM regressor to incorporate the successes and address the limitations of each method. Our model can produce bi-directional predictions while simultaneously reconstructing the original time series by optimizing a joint objective function. Furthermore, we propose several ways of combining the prediction and reconstruction errors through a series of ablation studies. Finally, we compare the performance of the AER architecture against two prediction-based methods and three reconstruction-based methods on 12 well-known univariate time series datasets from NASA, Yahoo, Numenta, and UCR. The results show that AER has the highest averaged F1 score across all datasets (a 23.5% improvement compared to ARIMA) while retaining a runtime similar to its vanilla auto-encoder and regressor components. Our model is available in Orion, an open-source benchmarking tool for time series anomaly detection.
translated by 谷歌翻译
时间序列的无监督检测是一个具有挑战性的问题,它要求该模型得出可区分的标准。以前的方法主要通过学习点表示或成对关联来解决问题,但是,这两个方法都不足以推理复杂的动态。最近,变形金刚在统​​一的指示和成对关联的统一建模中表现出了强大的力量,我们发现每个时间点的自我发项重量分布都可以与整个系列体现丰富的关联。我们的主要观察结果是,由于异常的罕见性,很难建立从异常点到整个系列的非平凡关联,因此,异常关联应主要集中在其相邻的时间点上。这种相邻的浓度偏见意味着基于关联的标准在正常点和异常点之间可固有地区分,我们通过\ emph {关联差异}突出显示。从技术上讲,我们使用新的\ emph {Anomaly-Interveention}机制提出\ emph {Anomaly Transformer}来计算关联差异。设计了一种最小值策略来扩大关联差异的正常明显区分性。异常变压器在六个无监督的时间序列检测基准三个应用的基准中实现了最先进的结果:服务监测,空间和地球勘探和水处理。
translated by 谷歌翻译
给定传感器读数随着时间的推移从电网上,我们如何在发生异常时准确地检测?实现这一目标的关键部分是使用电网传感器网络在电网上实时地在实时检测到自然故障或恶意的任何不寻常的事件。行业中现有的坏数据探测器缺乏鲁布布利地检测广泛类型的异常,特别是由于新兴网络攻击而造成的复杂性,因为它们一次在网格的单个测量快照上运行。新的ML方法更广泛适用,但通常不会考虑拓扑变化对传感器测量的影响,因此无法适应历史数据中的定期拓扑调整。因此,我们向DynWatch,基于域知识和拓扑知识算法用于使用动态网格上的传感器进行异常检测。我们的方法准确,优于实验中的现有方法20%以上(F-Measure);快速,在60K +分支机用中的每次传感器上平均运行小于1.7ms,使用笔记本电脑,并在图表的大小上线性缩放。
translated by 谷歌翻译
在能源系统的数字化中,传感器和智能电表越来越多地用于监视生产,运行和需求。基于智能电表数据的异常检测对于在早期阶段识别潜在的风险和异常事件至关重要,这可以作为及时启动适当动作和改善管理的参考。但是,来自能源系统的智能电表数据通常缺乏标签,并且包含噪声和各种模式,而没有明显的周期性。同时,在不同的能量场景中对异常的模糊定义和高度复杂的时间相关性对异常检测构成了巨大的挑战。许多传统的无监督异常检测算法(例如基于群集或基于距离的模型)对噪声不强大,也不完全利用时间序列中的时间依赖性以及在多个变量(传感器)中的其他依赖关系。本文提出了一种基于带有注意机制的变异复发自动编码器的无监督异常检测方法。凭借来自智能电表的“肮脏”数据,我们的方法预示了缺失的值和全球异常,以在训练中缩小其贡献。本文与基于VAE的基线方法和其他四种无监督的学习方法进行了定量比较,证明了其有效性和优势。本文通过一项实际案例研究进一步验证了所提出的方法,该研究方法是检测工业加热厂的供水温度异常。
translated by 谷歌翻译
随着阿里巴巴的业务在各种行业中扩大世界各地,对大数据云计算平台的服务质量和可靠性施加了更高的标准,这构成了阿里巴巴云的基础设施。然而,由于系统架构复杂,这些平台中的根本原因分析是非微不足道的。在本文中,我们提出了一个根本原因分析框架,称为Cloudrca,它利用包括关键绩效指标(KPI),日志以及拓扑的异构多源数据,并通过最先进的异常提取重要特征检测和日志分析技术。然后在知识通知的分层贝叶斯网络(KHBN)模型中使用工程化特征,以推断出高精度和效率的根本原因。消融研究和综合实验比较表明,与现有框架,Cloudrca 1相比,Cloudrca 1)始终如一地优于不同云系统的F1分数的现有方法; 2)由于KHBN的层次结构,可以处理新颖的根本原因; 3)相对于算法配置更强大地执行; 4)在数据和特征尺寸中更有利地缩放。实验还表明,可以采用跨平台转移学习机制来进一步提高10%以上的准确性。 Cloudrca已被整合到阿里巴巴云的诊断系统中,并在三个典型的云计算平台中使用,包括MaxCompute,实时计算和Hologres。它节省了站点可靠性工程师(SRES)在过去的十二个月内解决故障的时间超过20美元,并且显着提高了服务可靠性。
translated by 谷歌翻译