使用虚拟机或虚拟机监视器（VMM）的虚拟机（VM）的服务器虚拟化是云计算技术的重要组成部分，提供基础架构 - AS-Service（IAAS）。 VMM中的故障或异常可以传播到托管的VMS上，并最终影响在这些VM上运行的应用程序的可用性和可靠性。因此，识别并最终识别它非常重要。然而，由于用户无法访问VMM，异常VMM检测是云环境中的挑战。本文通过引入名为IAD的新机器学习的算法，解决了基于云的环境中的异常VMM检测在基于云的环境中的这种挑战。该算法仅使用VM的资源利用率数据托管在那些VMMS上进行异常VMMS检测。在包括合成和实际的四个数据集上测试了发达的算法的准确性，并与四个其他流行算法进行比较，这也可以用于所描述的问题。结果发现，所提出的IAD算法的平均F1分数为83.7％，在四个数据集上平均平均，并且也优于其他算法，平均f1分数为11 \％。

分层时间记忆（HTM）是一种无监督的学习算法，其灵感来自Neocortex的功能，可用于连续处理流数据并检测异常，而无需大量数据进行培训，也不需要标记数据。 HTM还能够从样本中不断学习，提供一个始终是关于观察的模型。这些特性使HTM特别适用于支持云系统中的在线故障预测，这是具有动态变化行为的系统必须监视以预测问题。本文介绍了在故障预测的背景下评估HTM的第一个系统研究。考虑到72个HTM配置所获得的HTM配置到Clearwater云系统中引入的12种不同类型的故障表明，HTM可以帮助预测具有足够有效性（F-Measure = 0.76）的失败，代表有趣的实际替代方案（半 - ）监督算法。

随着阿里巴巴的业务在各种行业中扩大世界各地，对大数据云计算平台的服务质量和可靠性施加了更高的标准，这构成了阿里巴巴云的基础设施。然而，由于系统架构复杂，这些平台中的根本原因分析是非微不足道的。在本文中，我们提出了一个根本原因分析框架，称为Cloudrca，它利用包括关键绩效指标（KPI），日志以及拓扑的异构多源数据，并通过最先进的异常提取重要特征检测和日志分析技术。然后在知识通知的分层贝叶斯网络（KHBN）模型中使用工程化特征，以推断出高精度和效率的根本原因。消融研究和综合实验比较表明，与现有框架，Cloudrca 1相比，Cloudrca 1）始终如一地优于不同云系统的F1分数的现有方法; 2）由于KHBN的层次结构，可以处理新颖的根本原因; 3）相对于算法配置更强大地执行; 4）在数据和特征尺寸中更有利地缩放。实验还表明，可以采用跨平台转移学习机制来进一步提高10％以上的准确性。 Cloudrca已被整合到阿里巴巴云的诊断系统中，并在三个典型的云计算平台中使用，包括MaxCompute，实时计算和Hologres。它节省了站点可靠性工程师（SRES）在过去的十二个月内解决故障的时间超过20美元，并且显着提高了服务可靠性。

现代高性能计算（HPC）系统的复杂性日益增加，需要引入自动化和数据驱动的方法，以支持系统管理员为增加系统可用性的努力。异常检测是改善可用性不可或缺的一部分，因为它减轻了系统管理员的负担，并减少了异常和解决方案之间的时间。但是，对当前的最新检测方法进行了监督和半监督，因此它们需要具有异常的人体标签数据集 - 在生产HPC系统中收集通常是不切实际的。基于聚类的无监督异常检测方法，旨在减轻准确的异常数据的需求，到目前为止的性能差。在这项工作中，我们通过提出RUAD来克服这些局限性，RUAD是一种新型的无监督异常检测模型。 Ruad比当前的半监督和无监督的SOA方法取得了更好的结果。这是通过考虑数据中的时间依赖性以及在模型体系结构中包括长短期限内存单元的实现。提出的方法是根据tier-0系统（带有980个节点的Cineca的Marconi100的完整历史）评估的。 RUAD在半监督训练中达到曲线（AUC）下的区域（AUC）为0.763，在无监督的训练中达到了0.767的AUC，这改进了SOA方法，在半监督训练中达到0.747的AUC，无需训练的AUC和0.734的AUC在无处不在的AUC中提高了AUC。训练。它还大大优于基于聚类的当前SOA无监督的异常检测方法，其AUC为0.548。

Anomaly detection is an active research topic in many different fields such as intrusion detection, network monitoring, system health monitoring, IoT healthcare, etc. However, many existing anomaly detection approaches require either human intervention or domain knowledge, and may suffer from high computation complexity, consequently hindering their applicability in real-world scenarios. Therefore, a lightweight and ready-to-go approach that is able to detect anomalies in real-time is highly sought-after. Such an approach could be easily and immediately applied to perform time series anomaly detection on any commodity machine. The approach could provide timely anomaly alerts and by that enable appropriate countermeasures to be undertaken as early as possible. With these goals in mind, this paper introduces ReRe, which is a Real-time Ready-to-go proactive Anomaly Detection algorithm for streaming time series. ReRe employs two lightweight Long Short-Term Memory (LSTM) models to predict and jointly determine whether or not an upcoming data point is anomalous based on short-term historical data points and two long-term self-adaptive thresholds. Experiments based on real-world time-series datasets demonstrate the good performance of ReRe in real-time anomaly detection without requiring human intervention or domain knowledge.

The detection of anomalies in time series data is crucial in a wide range of applications, such as system monitoring, health care or cyber security. While the vast number of available methods makes selecting the right method for a certain application hard enough, different methods have different strengths, e.g. regarding the type of anomalies they are able to find. In this work, we compare six unsupervised anomaly detection methods with different complexities to answer the questions: Are the more complex methods usually performing better? And are there specific anomaly types that those method are tailored to? The comparison is done on the UCR anomaly archive, a recent benchmark dataset for anomaly detection. We compare the six methods by analyzing the experimental results on a dataset- and anomaly type level after tuning the necessary hyperparameter for each method. Additionally we examine the ability of individual methods to incorporate prior knowledge about the anomalies and analyse the differences of point-wise and sequence wise features. We show with broad experiments, that the classical machine learning methods show a superior performance compared to the deep learning methods across a wide range of anomaly types.

Edge Federation是一种新的计算范式，无缝地互连多个边缘服务提供商的资源。此类系统中的一个关键挑战是在受约束设备中部署基于延迟和AI的资源密集型应用程序。为了应对这一挑战，我们提出了一种新型的基于记忆有效的深度学习模型，即生成优化网络（GON）。与甘斯不同，成人使用单个网络既区分输入又生成样本，从而大大降低了它们的内存足迹。利用奇数的低内存足迹，我们提出了一种称为Dragon的分散性故障耐受性方法，该方法运行模拟（按照数字建模双胞胎）来快速预测和优化边缘联邦的性能。在多个基于Raspberry-Pi的联合边缘配置上使用现实世界边缘计算基准测试的广泛实验表明，龙可以胜过故障检测和服务质量（QOS）指标的基线方法。具体而言，所提出的方法给出了与最佳深度学习方法（DL）方法更高的F1分数，而与启发式方法相比，记忆力较低。这使得违反能源消耗，响应时间和服务水平协议分别提高了74％，63％和82％。

在智能交通系统中，交通拥堵异常检测至关重要。运输机构的目标有两个方面：监视感兴趣领域的一般交通状况，并在异常拥堵状态下定位道路细分市场。建模拥塞模式可以实现这些目标，以实现全市道路的目标，相当于学习多元时间序列（MTS）的分布。但是，现有作品要么不可伸缩，要么无法同时捕获MTS中的空间信息。为此，我们提出了一个由数据驱动的生成方法组成的原则性和全面的框架，该方法可以执行可拖动的密度估计来检测流量异常。我们的方法在特征空间中的第一群段段，然后使用条件归一化流以在无监督的设置下在群集级别识别异常的时间快照。然后，我们通过在异常群集上使用内核密度估计器来识别段级别的异常。关于合成数据集的广泛实验表明，我们的方法在召回和F1得分方面显着优于几种最新的拥塞异常检测和诊断方法。我们还使用生成模型来采样标记的数据，该数据可以在有监督的环境中训练分类器，从而减轻缺乏在稀疏设置中进行异常检测的标记数据。

异常检测是识别数据中意外事件或AB差异的过程，并且已在许多不同领域（例如系统监控，欺诈检测，医疗保健，入侵检测等）应用。提供实时，轻量级和主动的异常情况对于人类干预和领域知识的时间序列的检测，由于它减少了人类的努力，并在发生灾难性事件发生之前可以进行适当的对策，因此既不具有人为干预和领域知识。据我们所知，Repad（实时主动的异常检测算法）是所有上述特征的通用方法。为了实现实时和轻质检测，重新使用长期记忆（LSTM）来检测每个即将到来的数据点是否基于短期历史数据点是异常的。但是，目前尚不清楚不同数量的历史数据点如何影响续期的性能。因此，在本文中，我们通过引入一组涵盖新颖的检测准确性措施，时间效率，准备和资源消耗等的绩效指标来研究不同历史数据对重新播放的影响。进行时间序列数据集以评估不同情况下的重新播放，并提出和讨论实验结果。

在许多应用程序中，检测异常行为是新兴的需求，尤其是在安全性和可靠性是关键方面的情况下。尽管对异常的定义严格取决于域框架，但它通常是不切实际的或太耗时的，无法获得完全标记的数据集。使用无监督模型来克服缺乏标签的模型通常无法捕获特定的特定异常情况，因为它们依赖于异常值的一般定义。本文提出了一种新的基于积极学习的方法Alif，以通过减少所需标签的数量并将检测器调整为用户提供的异常的定义来解决此问题。在存在决策支持系统（DSS）的情况下，提出的方法特别有吸引力，这种情况在现实世界中越来越流行。尽管常见的DSS嵌入异常检测功能取决于无监督的模型，但它们没有办法提高性能：Alif能够通过在常见操作期间利用用户反馈来增强DSS的功能。 Alif是对流行的隔离森林的轻巧修改，在许多真实的异常检测数据集中，相对于其他最先进的算法证明了相对于其他最先进算法的出色性能。

Most existing model-based approaches to anomaly detection construct a profile of normal instances, then identify instances that do not conform to the normal profile as anomalies. This paper proposes a fundamentally different model-based method that explicitly isolates anomalies instead of profiles normal points. To our best knowledge, the concept of isolation has not been explored in current literature. The use of isolation enables the proposed method, iForest, to exploit sub-sampling to an extent that is not feasible in existing methods, creating an algorithm which has a linear time complexity with a low constant and a low memory requirement. Our empirical evaluation shows that iForest performs favourably to ORCA, a near-linear time complexity distance-based method, LOF and Random Forests in terms of AUC and processing time, and especially in large data sets. iForest also works well in high dimensional problems which have a large number of irrelevant attributes, and in situations where training set does not contain any anomalies.

A Digital Twin (DT) is a simulation of a physical system that provides information to make decisions that add economic, social or commercial value. The behaviour of a physical system changes over time, a DT must therefore be continually updated with data from the physical systems to reflect its changing behaviour. For resource-constrained systems, updating a DT is non-trivial because of challenges such as on-board learning and the off-board data transfer. This paper presents a framework for updating data-driven DTs of resource-constrained systems geared towards system health monitoring. The proposed solution consists of: (1) an on-board system running a light-weight DT allowing the prioritisation and parsimonious transfer of data generated by the physical system; and (2) off-board robust updating of the DT and detection of anomalous behaviours. Two case studies are considered using a production gas turbine engine system to demonstrate the digital representation accuracy for real-world, time-varying physical systems.

给定传感器读数随着时间的推移从电网上，我们如何在发生异常时准确地检测？实现这一目标的关键部分是使用电网传感器网络在电网上实时地在实时检测到自然故障或恶意的任何不寻常的事件。行业中现有的坏数据探测器缺乏鲁布布利地检测广泛类型的异常，特别是由于新兴网络攻击而造成的复杂性，因为它们一次在网格的单个测量快照上运行。新的ML方法更广泛适用，但通常不会考虑拓扑变化对传感器测量的影响，因此无法适应历史数据中的定期拓扑调整。因此，我们向DynWatch，基于域知识和拓扑知识算法用于使用动态网格上的传感器进行异常检测。我们的方法准确，优于实验中的现有方法20％以上（F-Measure）;快速，在60K +分支机用中的每次传感器上平均运行小于1.7ms，使用笔记本电脑，并在图表的大小上线性缩放。

时间序列的异常提供了各个行业的关键方案的见解，从银行和航空航天到信息技术，安全和医学。但是，由于异常的定义，经常缺乏标签以及此类数据中存在的极为复杂的时间相关性，因此识别时间序列数据中的异常尤其具有挑战性。LSTM自动编码器是基于长期短期内存网络的异常检测的编码器传统方案，该方案学会重建时间序列行为，然后使用重建错误来识别异常。我们将Denoising Architecture作为对该LSTM编码模型模型的补充，并研究其对现实世界以及人为生成的数据集的影响。我们证明了所提出的体系结构既提高了准确性和训练速度，从而使LSTM自动编码器更有效地用于无监督的异常检测任务。

在M维数据点的云中，我们将如何发现，以及排名，单点和群体 - 异常？我们是第一个概括了两个维度的异常检测：第一维度是我们在统一的观点下处理点异常，以及组异常 - 我们将把它们称为广义异常。第二维度不仅可以检测到，而且还可以在可疑顺序中排名，但也排名，异常。异常检测和排名具有许多应用：例如，在癫痫患者的脑电图中，异常可能表明癫痫发作;在计算机网络流量数据中，它可能表示电源故障或DOS / DDOS攻击。我们首先设置一些合理的公理;令人惊讶的是，早期的方法都没有通过所有公理。我们的主要贡献是Gen2Out算法，具有以下理想的性质：（a）所指的原理和声音异常评分，使得探测器的公理组合，（b）倍增，在其检测到，以及排名的级别点和组异常，（c）可扩展，它是快速且可伸缩的，线性输入大小。 （d）有效，关于现实世界癫痫记录（200GB）的实验证明了临床医生证实Gen2Out的有效性。在27个现实世界基准数据集上的实验表明，GEN2OUT检测到准确性的地面真理组，匹配或优于点异常基线基线算法，没有对组异常的竞争，并且在储运机上需要大约2分钟的数据点。

Anomaly detection on time series data is increasingly common across various industrial domains that monitor metrics in order to prevent potential accidents and economic losses. However, a scarcity of labeled data and ambiguous definitions of anomalies can complicate these efforts. Recent unsupervised machine learning methods have made remarkable progress in tackling this problem using either single-timestamp predictions or time series reconstructions. While traditionally considered separately, these methods are not mutually exclusive and can offer complementary perspectives on anomaly detection. This paper first highlights the successes and limitations of prediction-based and reconstruction-based methods with visualized time series signals and anomaly scores. We then propose AER (Auto-encoder with Regression), a joint model that combines a vanilla auto-encoder and an LSTM regressor to incorporate the successes and address the limitations of each method. Our model can produce bi-directional predictions while simultaneously reconstructing the original time series by optimizing a joint objective function. Furthermore, we propose several ways of combining the prediction and reconstruction errors through a series of ablation studies. Finally, we compare the performance of the AER architecture against two prediction-based methods and three reconstruction-based methods on 12 well-known univariate time series datasets from NASA, Yahoo, Numenta, and UCR. The results show that AER has the highest averaged F1 score across all datasets (a 23.5% improvement compared to ARIMA) while retaining a runtime similar to its vanilla auto-encoder and regressor components. Our model is available in Orion, an open-source benchmarking tool for time series anomaly detection.

及时，准确地检测功率电子中的异常，对于维持复杂的生产系统而变得越来越重要。强大而可解释的策略有助于减少系统的停机时间，并抢占或减轻基础设施网络攻击。这项工作从解释当前数据集和机器学习算法输出中存在的不确定性类型开始。然后引入和分析三种打击这些不确定性的技术。我们进一步介绍了两种异常检测和分类方法，即矩阵曲线算法和异常变压器，它们是在电源电子转换器数据集的背景下应用的。具体而言，矩阵配置文件算法被证明非常适合作为检测流时间序列数据中实时异常的概括方法。迭代矩阵配置文件的结构python库实现用于创建检测器。创建了一系列自定义过滤器并将其添加到检测器中，以调整其灵敏度，回忆和检测精度。我们的数值结果表明，通过简单的参数调整，检测器在各种故障场景中提供了高精度和性能。

长序列中的子序列异常检测是在广泛域中应用的重要问题。但是，迄今为止文献中提出的方法具有严重的局限性：它们要么需要用于设计异常发现算法的先前领域知识，要么在与相同类型的复发异常情况下使用繁琐且昂贵。在这项工作中，我们解决了这些问题，并提出了一种适用于域的不可知论次序列异常检测的方法。我们的方法series2graph基于新型低维嵌入子序列的图表。 Series2Graph不需要标记的实例（例如监督技术）也不需要无异常的数据（例如零阳性学习技术），也不需要识别长度不同的异常。在迄今为止使用的最大合成和真实数据集的实验结果表明，所提出的方法正确地识别了单一和复发异常，而无需任何先验的特征，以优于多种差距的准确性，同时提高了几种竞争的方法，同时又表现出色更快的数量级。本文出现在VLDB 2020中。

Unsupervised anomaly detection in time-series has been extensively investigated in the literature. Notwithstanding the relevance of this topic in numerous application fields, a complete and extensive evaluation of recent state-of-the-art techniques is still missing. Few efforts have been made to compare existing unsupervised time-series anomaly detection methods rigorously. However, only standard performance metrics, namely precision, recall, and F1-score are usually considered. Essential aspects for assessing their practical relevance are therefore neglected. This paper proposes an original and in-depth evaluation study of recent unsupervised anomaly detection techniques in time-series. Instead of relying solely on standard performance metrics, additional yet informative metrics and protocols are taken into account. In particular, (1) more elaborate performance metrics specifically tailored for time-series are used; (2) the model size and the model stability are studied; (3) an analysis of the tested approaches with respect to the anomaly type is provided; and (4) a clear and unique protocol is followed for all experiments. Overall, this extensive analysis aims to assess the maturity of state-of-the-art time-series anomaly detection, give insights regarding their applicability under real-world setups and provide to the community a more complete evaluation protocol.

Detecting abrupt changes in data distribution is one of the most significant tasks in streaming data analysis. Although many unsupervised Change-Point Detection (CPD) methods have been proposed recently to identify those changes, they still suffer from missing subtle changes, poor scalability, or/and sensitive to noise points. To meet these challenges, we are the first to generalise the CPD problem as a special case of the Change-Interval Detection (CID) problem. Then we propose a CID method, named iCID, based on a recent Isolation Distributional Kernel (IDK). iCID identifies the change interval if there is a high dissimilarity score between two non-homogeneous temporal adjacent intervals. The data-dependent property and finite feature map of IDK enabled iCID to efficiently identify various types of change points in data streams with the tolerance of noise points. Moreover, the proposed online and offline versions of iCID have the ability to optimise key parameter settings. The effectiveness and efficiency of iCID have been systematically verified on both synthetic and real-world datasets.