长序列中的子序列异常检测是在广泛域中应用的重要问题。但是，迄今为止文献中提出的方法具有严重的局限性：它们要么需要用于设计异常发现算法的先前领域知识，要么在与相同类型的复发异常情况下使用繁琐且昂贵。在这项工作中，我们解决了这些问题，并提出了一种适用于域的不可知论次序列异常检测的方法。我们的方法series2graph基于新型低维嵌入子序列的图表。 Series2Graph不需要标记的实例（例如监督技术）也不需要无异常的数据（例如零阳性学习技术），也不需要识别长度不同的异常。在迄今为止使用的最大合成和真实数据集的实验结果表明，所提出的方法正确地识别了单一和复发异常，而无需任何先验的特征，以优于多种差距的准确性，同时提高了几种竞争的方法，同时又表现出色更快的数量级。本文出现在VLDB 2020中。

流媒体数据中对异常的实时检测正在受到越来越多的关注，因为它使我们能够提高警报，预测故障并检测到整个行业的入侵或威胁。然而，很少有人注意比较流媒体数据（即在线算法）的异常检测器的有效性和效率。在本文中，我们介绍了来自不同算法家族（即基于距离，密度，树木或投影）的主要在线检测器的定性合成概述，并突出了其构建，更新和测试检测模型的主要思想。然后，我们对在线检测算法的定量实验评估以及其离线对应物进行了彻底的分析。检测器的行为与不同数据集（即元功能）的特征相关，从而提供了对其性能的元级分析。我们的研究介绍了文献中几个缺失的见解，例如（a）检测器对随机分类器的可靠性以及什么数据集特性使它们随机执行； （b）在线探测器在何种程度上近似离线同行的性能； （c）哪种绘制检测器的策略和更新原始图最适合检测仅在数据集的功能子空间中可见的异常； （d）属于不同算法家族的探测器的有效性与效率之间的权衡是什么； （e）数据集的哪些特定特征产生在线算法以胜过所有其他特征。

The detection of anomalies in time series data is crucial in a wide range of applications, such as system monitoring, health care or cyber security. While the vast number of available methods makes selecting the right method for a certain application hard enough, different methods have different strengths, e.g. regarding the type of anomalies they are able to find. In this work, we compare six unsupervised anomaly detection methods with different complexities to answer the questions: Are the more complex methods usually performing better? And are there specific anomaly types that those method are tailored to? The comparison is done on the UCR anomaly archive, a recent benchmark dataset for anomaly detection. We compare the six methods by analyzing the experimental results on a dataset- and anomaly type level after tuning the necessary hyperparameter for each method. Additionally we examine the ability of individual methods to incorporate prior knowledge about the anomalies and analyse the differences of point-wise and sequence wise features. We show with broad experiments, that the classical machine learning methods show a superior performance compared to the deep learning methods across a wide range of anomaly types.

给定传感器读数随着时间的推移从电网上，我们如何在发生异常时准确地检测？实现这一目标的关键部分是使用电网传感器网络在电网上实时地在实时检测到自然故障或恶意的任何不寻常的事件。行业中现有的坏数据探测器缺乏鲁布布利地检测广泛类型的异常，特别是由于新兴网络攻击而造成的复杂性，因为它们一次在网格的单个测量快照上运行。新的ML方法更广泛适用，但通常不会考虑拓扑变化对传感器测量的影响，因此无法适应历史数据中的定期拓扑调整。因此，我们向DynWatch，基于域知识和拓扑知识算法用于使用动态网格上的传感器进行异常检测。我们的方法准确，优于实验中的现有方法20％以上（F-Measure）;快速，在60K +分支机用中的每次传感器上平均运行小于1.7ms，使用笔记本电脑，并在图表的大小上线性缩放。

异常和异常值检测是机器学习中的长期问题。在某些情况下，异常检测容易，例如当从诸如高斯的良好特征的分布中抽出数据时。但是，当数据占据高维空间时，异常检测变得更加困难。我们呈现蛤蜊（聚类学习近似歧管），是任何度量空间中的歧管映射技术。 CLAM以快速分层聚类技术开始，然后根据使用多个几何和拓扑功能所选择的重叠群集，从群集树中引导图表。使用这些图形，我们实现了Chaoda（群集分层异常和异常值检测算法），探索了图形的各种属性及其组成集群以查找异常值。 Chaoda采用了一种基于培训数据集的转移学习形式，并将这些知识应用于不同基数，维度和域的单独测试集。在24个公开可用的数据集上，我们将Chaoda（按衡量ROC AUC）与各种最先进的无监督异常检测算法进行比较。六个数据集用于培训。 Chaoda优于16个剩余的18个数据集的其他方法。 CLAM和Chaoda规模大，高维“大数据”异常检测问题，并贯穿数据集和距离函数。克拉姆和Chaoda的源代码在github上自由地提供https://github.com/uri-abd/clam。

Existing measures and representations for trajectories have two longstanding fundamental shortcomings, i.e., they are computationally expensive and they can not guarantee the `uniqueness' property of a distance function: dist(X,Y) = 0 if and only if X=Y, where $X$ and $Y$ are two trajectories. This paper proposes a simple yet powerful way to represent trajectories and measure the similarity between two trajectories using a distributional kernel to address these shortcomings. It is a principled approach based on kernel mean embedding which has a strong theoretical underpinning. It has three distinctive features in comparison with existing approaches. (1) A distributional kernel is used for the very first time for trajectory representation and similarity measurement. (2) It does not rely on point-to-point distances which are used in most existing distances for trajectories. (3) It requires no learning, unlike existing learning and deep learning approaches. We show the generality of this new approach in three applications: (a) trajectory anomaly detection, (b) anomalous sub-trajectory detection, and (c) trajectory pattern mining. We identify that the distributional kernel has (i) a unique data-dependent property and the above uniqueness property which are the key factors that lead to its superior task-specific performance; and (ii) runtime orders of magnitude faster than existing distance measures.

异常值是一个事件或观察，其被定义为不同于距群体的不规则距离的异常活动，入侵或可疑数据点。然而，异常事件的定义是主观的，取决于应用程序和域（能量，健康，无线网络等）。重要的是要尽可能仔细地检测异常事件，以避免基础设施故障，因为异常事件可能导致对基础设施的严重损坏。例如，诸如微电网的网络物理系统的攻击可以发起电压或频率不稳定性，从而损坏涉及非常昂贵的修复的智能逆变器。微电网中的不寻常活动可以是机械故障，行为在系统中发生变化，人体或仪器错误或恶意攻击。因此，由于其可变性，异常值检测（OD）是一个不断增长的研究领域。在本章中，我们讨论了使用AI技术的OD方法的进展。为此，通过多个类别引入每个OD模型的基本概念。广泛的OD方法分为六大类：基于统计，基于距离，基于密度的，基于群集的，基于学习的和合奏方法。对于每个类别，我们讨论最近最先进的方法，他们的应用领域和表演。之后，关于对未来研究方向的建议提供了关于各种技术的优缺点和挑战的简要讨论。该调查旨在指导读者更好地了解OD方法的最新进展，以便保证AI。

矩阵配置文件是一种有效的数据挖掘工具，可提供时间序列数据的相似关系。矩阵配置文件的用户可以使用相似性连接（即，自行连接）或使用相似性相互作用连接使用另一个时间序列加入时间序列。通过调用或两种类型的连接，矩阵配置文件可以帮助用户在数据中发现保守和异常结构。自从五年前引入矩阵简介以来，已经进行了多项努力，以加快近似联合的计算;然而，大多数这些努力只关注自我连接。在这项工作中，我们表明可以通过创建时间序列的紧凑“字典”表示，有效地使用误差限制保证来执行近似时间序列相似度。使用字典表示而不是原始时间序列，我们能够将异常挖掘系统的吞吐量至少为20倍，基本上没有准确度降低。作为副作用，字典还以语义有意义的方式总结时间序列，可以提供直观和可操作的见解。我们展示了我们的字典的内部序列相似性的实用性，如医学和运输所多样化的域。

现代高性能计算（HPC）系统的复杂性日益增加，需要引入自动化和数据驱动的方法，以支持系统管理员为增加系统可用性的努力。异常检测是改善可用性不可或缺的一部分，因为它减轻了系统管理员的负担，并减少了异常和解决方案之间的时间。但是，对当前的最新检测方法进行了监督和半监督，因此它们需要具有异常的人体标签数据集 - 在生产HPC系统中收集通常是不切实际的。基于聚类的无监督异常检测方法，旨在减轻准确的异常数据的需求，到目前为止的性能差。在这项工作中，我们通过提出RUAD来克服这些局限性，RUAD是一种新型的无监督异常检测模型。 Ruad比当前的半监督和无监督的SOA方法取得了更好的结果。这是通过考虑数据中的时间依赖性以及在模型体系结构中包括长短期限内存单元的实现。提出的方法是根据tier-0系统（带有980个节点的Cineca的Marconi100的完整历史）评估的。 RUAD在半监督训练中达到曲线（AUC）下的区域（AUC）为0.763，在无监督的训练中达到了0.767的AUC，这改进了SOA方法，在半监督训练中达到0.747的AUC，无需训练的AUC和0.734的AUC在无处不在的AUC中提高了AUC。训练。它还大大优于基于聚类的当前SOA无监督的异常检测方法，其AUC为0.548。

Time series anomaly detection has applications in a wide range of research fields and applications, including manufacturing and healthcare. The presence of anomalies can indicate novel or unexpected events, such as production faults, system defects, or heart fluttering, and is therefore of particular interest. The large size and complex patterns of time series have led researchers to develop specialised deep learning models for detecting anomalous patterns. This survey focuses on providing structured and comprehensive state-of-the-art time series anomaly detection models through the use of deep learning. It providing a taxonomy based on the factors that divide anomaly detection models into different categories. Aside from describing the basic anomaly detection technique for each category, the advantages and limitations are also discussed. Furthermore, this study includes examples of deep anomaly detection in time series across various application domains in recent years. It finally summarises open issues in research and challenges faced while adopting deep anomaly detection models.

在M维数据点的云中，我们将如何发现，以及排名，单点和群体 - 异常？我们是第一个概括了两个维度的异常检测：第一维度是我们在统一的观点下处理点异常，以及组异常 - 我们将把它们称为广义异常。第二维度不仅可以检测到，而且还可以在可疑顺序中排名，但也排名，异常。异常检测和排名具有许多应用：例如，在癫痫患者的脑电图中，异常可能表明癫痫发作;在计算机网络流量数据中，它可能表示电源故障或DOS / DDOS攻击。我们首先设置一些合理的公理;令人惊讶的是，早期的方法都没有通过所有公理。我们的主要贡献是Gen2Out算法，具有以下理想的性质：（a）所指的原理和声音异常评分，使得探测器的公理组合，（b）倍增，在其检测到，以及排名的级别点和组异常，（c）可扩展，它是快速且可伸缩的，线性输入大小。 （d）有效，关于现实世界癫痫记录（200GB）的实验证明了临床医生证实Gen2Out的有效性。在27个现实世界基准数据集上的实验表明，GEN2OUT检测到准确性的地面真理组，匹配或优于点异常基线基线算法，没有对组异常的竞争，并且在储运机上需要大约2分钟的数据点。

对于由硬件和软件组件组成的复杂分布式系统而言，异常检测是一个重要的问题。对此类系统的异常检测的要求和挑战的透彻理解对于系统的安全性至关重要，尤其是对于现实世界的部署。尽管有许多解决问题的研究领域和应用领域，但很少有人试图对这种系统进行深入研究。大多数异常检测技术是针对某些应用域的专门开发的，而其他检测技术则更为通用。在这项调查中，我们探讨了基于图的算法在复杂分布式异质系统中识别和减轻不同类型异常的重要潜力。我们的主要重点是在分布在复杂分布式系统上的异质计算设备上应用时，可深入了解图。这项研究分析，比较和对比该领域的最新研究文章。首先，我们描述了现实世界分布式系统的特征及其在复杂网络中的异常检测的特定挑战，例如数据和评估，异常的性质以及现实世界的要求。稍后，我们讨论了为什么可以在此类系统中利用图形以及使用图的好处。然后，我们将恰当地深入研究最先进的方法，并突出它们的优势和劣势。最后，我们评估和比较这些方法，并指出可能改进的领域。

孤立森林（Iforest）近年来已经成为最受欢迎的异常检测器。它迭代地在树结构中执行轴平行的数据空间分区，以将偏差的数据对象与其他数据隔离，并且定义为异常得分的对象的隔离难度。 iForest在流行的数据集基准中显示出有效的性能，但其基于轴平行的线性数据分区无效地处理高维/非线性数据空间中的硬异常，甚至更糟糕的是，它导致了臭名昭著的算法偏见。为人工制品区域分配了出乎意料的较大的异常得分。有几个扩展的Iforest，但它们仍然专注于线性数据分区，无法有效地隔离这些硬异常。本文介绍了iforest，深层隔离森林的新型扩展。我们的方法提供了一种综合的隔离方法，可以在任何大小的子空间上任意将数据任意划分数据，从而有效地避免了线性分区中的算法偏置。此外，它仅需要随机初始化的神经网络（即，我们的方法中不需要优化）来确保分区的自由。这样一来，可以完全利用基于网络的随机表示和基于随机分区的隔离的所需随机性和多样性，以显着增强基于隔离集合的异常检测。此外，我们的方法还提供了数据型 - 敏捷的异常检测解决方案。通过简单地插入功能映射中的随机初始化的神经网络来检测不同类型数据中的异常。大量现实数据集的广泛经验结果表明，我们的模型对基于最新的隔离和基于非异常的异常检测模型有了显着改善。

自动日志文件分析可以尽早发现相关事件，例如系统故障。特别是，自我学习的异常检测技术在日志数据中捕获模式，随后向系统操作员报告意外的日志事件事件，而无需提前提供或手动对异常情况进行建模。最近，已经提出了越来越多的方法来利用深度学习神经网络为此目的。与传统的机器学习技术相比，这些方法证明了出色的检测性能，并同时解决了不稳定数据格式的问题。但是，有许多不同的深度学习体系结构，并且编码由神经网络分析的原始和非结构化日志数据是不平凡的。因此，我们进行了系统的文献综述，概述了部署的模型，数据预处理机制，异常检测技术和评估。该调查没有定量比较现有方法，而是旨在帮助读者了解不同模型体系结构的相关方面，并强调未来工作的开放问题。

异常检测是识别数据集中异常实例或事件的过程，这些情况偏离了规范。在本研究中，我们提出了一种基于机器学习算法的签名，以检测给定数据集的稀有或意外项目。我们将签名或随机签名的应用作为异常检测算法的特征提取器;此外，我们为随机签名构建提供了简单的，表示的理论理由。我们的第一个申请基于合成数据，旨在区分股票价格的实际和假轨迹，这是通过目视检查无法区分的。我们还通过使用加密货币市场的交易数据来显示实际应用程序。在这种情况下，我们能够通过无监督的学习算法识别在社交网络上组织的泵和转储尝试，该算法高达88％，从而实现了靠近现场最先进的结果基于监督学习。

Most existing model-based approaches to anomaly detection construct a profile of normal instances, then identify instances that do not conform to the normal profile as anomalies. This paper proposes a fundamentally different model-based method that explicitly isolates anomalies instead of profiles normal points. To our best knowledge, the concept of isolation has not been explored in current literature. The use of isolation enables the proposed method, iForest, to exploit sub-sampling to an extent that is not feasible in existing methods, creating an algorithm which has a linear time complexity with a low constant and a low memory requirement. Our empirical evaluation shows that iForest performs favourably to ORCA, a near-linear time complexity distance-based method, LOF and Random Forests in terms of AUC and processing time, and especially in large data sets. iForest also works well in high dimensional problems which have a large number of irrelevant attributes, and in situations where training set does not contain any anomalies.

异常的可视化和检测异常（异常值）对许多领域，特别是网络安全的重要性至关重要。在这些领域提出了几种方法，但我们的知识迄今为止，它们都不是在一个相干框架中同时或合作地满足了两个目标。引入了这些方法的可视化方法，用于解释检测算法的输出，而不是用于促进独立视觉检测的数据探测。这是我们的出发点：未经避免，不审视和非分析方法，对Vission（人类流程）和检测（算法）的异常值，分配不变的异常分数（标准化为$ [0,1] $） ，而不是硬二元决定。 Novely的新颖性的主要方面是它将数据转换为新的空间，该空间是在本文中引入的作为邻域累积密度函数（NCDF），其中进行了可视化和检测。在该空间中，异常值非常明显可区分，因此检测算法分配的异常分数在ROC曲线（AUC）下实现了高区域。我们在模拟和最近公布的网络安全数据集中评估了不避免，并将其与其中的三种最成功的异常检测方法进行比较：LOF，IF和FABOD。就AUC而言，不避免几乎是整体胜利者。这篇文章通过提供了对未避免的新理论和实际途径的预测来了解。其中包括设计一种可视化辅助异常检测（Vaad），一种软件通过提供不避免的检测算法（在后发动机中运行），NCDF可视化空间（呈现为绘图）以及其他传统方法在原始特征空间中的可视化，所有这些都在一个交互环境中链接。

该行业许多领域的自动化越来越多地要求为检测异常事件设计有效的机器学习解决方案。随着传感器的普遍存在传感器监测几乎连续地区的复杂基础设施的健康，异常检测现在可以依赖于以非常高的频率进行采样的测量，从而提供了在监视下的现象的非常丰富的代表性。为了充分利用如此收集的信息，观察不能再被视为多变量数据，并且需要一个功能分析方法。本文的目的是探讨近期对实际数据集的功能设置中异常检测技术的性能。在概述最先进的和视觉描述性研究之后，比较各种异常检测方法。虽然功能设置中的异常分类（例如，形状，位置）在文献中记录，但为所识别的异常分配特定类型似乎是一个具有挑战性的任务。因此，鉴于模拟研究中的这些突出显示类型，现有方法的强度和弱点是基准测试。接下来在两个数据集上评估异常检测方法，与飞行中的直升机监测和建筑材料的光谱相同有关。基准分析由从业者的建议指导结束。

Unsupervised anomaly detection in time-series has been extensively investigated in the literature. Notwithstanding the relevance of this topic in numerous application fields, a complete and extensive evaluation of recent state-of-the-art techniques is still missing. Few efforts have been made to compare existing unsupervised time-series anomaly detection methods rigorously. However, only standard performance metrics, namely precision, recall, and F1-score are usually considered. Essential aspects for assessing their practical relevance are therefore neglected. This paper proposes an original and in-depth evaluation study of recent unsupervised anomaly detection techniques in time-series. Instead of relying solely on standard performance metrics, additional yet informative metrics and protocols are taken into account. In particular, (1) more elaborate performance metrics specifically tailored for time-series are used; (2) the model size and the model stability are studied; (3) an analysis of the tested approaches with respect to the anomaly type is provided; and (4) a clear and unique protocol is followed for all experiments. Overall, this extensive analysis aims to assess the maturity of state-of-the-art time-series anomaly detection, give insights regarding their applicability under real-world setups and provide to the community a more complete evaluation protocol.

在许多应用程序中，检测异常行为是新兴的需求，尤其是在安全性和可靠性是关键方面的情况下。尽管对异常的定义严格取决于域框架，但它通常是不切实际的或太耗时的，无法获得完全标记的数据集。使用无监督模型来克服缺乏标签的模型通常无法捕获特定的特定异常情况，因为它们依赖于异常值的一般定义。本文提出了一种新的基于积极学习的方法Alif，以通过减少所需标签的数量并将检测器调整为用户提供的异常的定义来解决此问题。在存在决策支持系统（DSS）的情况下，提出的方法特别有吸引力，这种情况在现实世界中越来越流行。尽管常见的DSS嵌入异常检测功能取决于无监督的模型，但它们没有办法提高性能：Alif能够通过在常见操作期间利用用户反馈来增强DSS的功能。 Alif是对流行的隔离森林的轻巧修改，在许多真实的异常检测数据集中，相对于其他最先进的算法证明了相对于其他最先进算法的出色性能。