Most existing model-based approaches to anomaly detection construct a profile of normal instances, then identify instances that do not conform to the normal profile as anomalies. This paper proposes a fundamentally different model-based method that explicitly isolates anomalies instead of profiles normal points. To our best knowledge, the concept of isolation has not been explored in current literature. The use of isolation enables the proposed method, iForest, to exploit sub-sampling to an extent that is not feasible in existing methods, creating an algorithm which has a linear time complexity with a low constant and a low memory requirement. Our empirical evaluation shows that iForest performs favourably to ORCA, a near-linear time complexity distance-based method, LOF and Random Forests in terms of AUC and processing time, and especially in large data sets. iForest also works well in high dimensional problems which have a large number of irrelevant attributes, and in situations where training set does not contain any anomalies.

孤立森林（Iforest）近年来已经成为最受欢迎的异常检测器。它迭代地在树结构中执行轴平行的数据空间分区，以将偏差的数据对象与其他数据隔离，并且定义为异常得分的对象的隔离难度。 iForest在流行的数据集基准中显示出有效的性能，但其基于轴平行的线性数据分区无效地处理高维/非线性数据空间中的硬异常，甚至更糟糕的是，它导致了臭名昭著的算法偏见。为人工制品区域分配了出乎意料的较大的异常得分。有几个扩展的Iforest，但它们仍然专注于线性数据分区，无法有效地隔离这些硬异常。本文介绍了iforest，深层隔离森林的新型扩展。我们的方法提供了一种综合的隔离方法，可以在任何大小的子空间上任意将数据任意划分数据，从而有效地避免了线性分区中的算法偏置。此外，它仅需要随机初始化的神经网络（即，我们的方法中不需要优化）来确保分区的自由。这样一来，可以完全利用基于网络的随机表示和基于随机分区的隔离的所需随机性和多样性，以显着增强基于隔离集合的异常检测。此外，我们的方法还提供了数据型 - 敏捷的异常检测解决方案。通过简单地插入功能映射中的随机初始化的神经网络来检测不同类型数据中的异常。大量现实数据集的广泛经验结果表明，我们的模型对基于最新的隔离和基于非异常的异常检测模型有了显着改善。

We combine the metrics of distance and isolation to develop the \textit{Analytic Isolation and Distance-based Anomaly (AIDA) detection algorithm}. AIDA is the first distance-based method that does not rely on the concept of nearest-neighbours, making it a parameter-free model. Differently from the prevailing literature, in which the isolation metric is always computed via simulations, we show that AIDA admits an analytical expression for the outlier score, providing new insights into the isolation metric. Additionally, we present an anomaly explanation method based on AIDA, the \textit{Tempered Isolation-based eXplanation (TIX)} algorithm, which finds the most relevant outlier features even in data sets with hundreds of dimensions. We test both algorithms on synthetic and empirical data: we show that AIDA is competitive when compared to other state-of-the-art methods, and it is superior in finding outliers hidden in multidimensional feature subspaces. Finally, we illustrate how the TIX algorithm is able to find outliers in multidimensional feature subspaces, and use these explanations to analyze common benchmarks used in anomaly detection.

流媒体数据中对异常的实时检测正在受到越来越多的关注，因为它使我们能够提高警报，预测故障并检测到整个行业的入侵或威胁。然而，很少有人注意比较流媒体数据（即在线算法）的异常检测器的有效性和效率。在本文中，我们介绍了来自不同算法家族（即基于距离，密度，树木或投影）的主要在线检测器的定性合成概述，并突出了其构建，更新和测试检测模型的主要思想。然后，我们对在线检测算法的定量实验评估以及其离线对应物进行了彻底的分析。检测器的行为与不同数据集（即元功能）的特征相关，从而提供了对其性能的元级分析。我们的研究介绍了文献中几个缺失的见解，例如（a）检测器对随机分类器的可靠性以及什么数据集特性使它们随机执行； （b）在线探测器在何种程度上近似离线同行的性能； （c）哪种绘制检测器的策略和更新原始图最适合检测仅在数据集的功能子空间中可见的异常； （d）属于不同算法家族的探测器的有效性与效率之间的权衡是什么； （e）数据集的哪些特定特征产生在线算法以胜过所有其他特征。

在许多应用程序中，检测异常行为是新兴的需求，尤其是在安全性和可靠性是关键方面的情况下。尽管对异常的定义严格取决于域框架，但它通常是不切实际的或太耗时的，无法获得完全标记的数据集。使用无监督模型来克服缺乏标签的模型通常无法捕获特定的特定异常情况，因为它们依赖于异常值的一般定义。本文提出了一种新的基于积极学习的方法Alif，以通过减少所需标签的数量并将检测器调整为用户提供的异常的定义来解决此问题。在存在决策支持系统（DSS）的情况下，提出的方法特别有吸引力，这种情况在现实世界中越来越流行。尽管常见的DSS嵌入异常检测功能取决于无监督的模型，但它们没有办法提高性能：Alif能够通过在常见操作期间利用用户反馈来增强DSS的功能。 Alif是对流行的隔离森林的轻巧修改，在许多真实的异常检测数据集中，相对于其他最先进的算法证明了相对于其他最先进算法的出色性能。

异常检测涉及识别不符合预期行为的数据集中的示例。虽然存在大量的异常检测算法，但是已经支付了很少的注意，以解释这些算法标志某些示例作为异常的原因。然而，这样的解释对于解释算法输出的任何人来说可能非常有用。本文开发了一种解释最先进的隔离森林异常检测算法的异常预测的方法。该方法输出解释载体，该解释矢量捕获示例的每个属性的重要性是如何将其识别为异常。合成和现实世界数据集的彻底实验评估表明，我们的方法比大多数现代最先进的解释性方法更准确，更有效。

在M维数据点的云中，我们将如何发现，以及排名，单点和群体 - 异常？我们是第一个概括了两个维度的异常检测：第一维度是我们在统一的观点下处理点异常，以及组异常 - 我们将把它们称为广义异常。第二维度不仅可以检测到，而且还可以在可疑顺序中排名，但也排名，异常。异常检测和排名具有许多应用：例如，在癫痫患者的脑电图中，异常可能表明癫痫发作;在计算机网络流量数据中，它可能表示电源故障或DOS / DDOS攻击。我们首先设置一些合理的公理;令人惊讶的是，早期的方法都没有通过所有公理。我们的主要贡献是Gen2Out算法，具有以下理想的性质：（a）所指的原理和声音异常评分，使得探测器的公理组合，（b）倍增，在其检测到，以及排名的级别点和组异常，（c）可扩展，它是快速且可伸缩的，线性输入大小。 （d）有效，关于现实世界癫痫记录（200GB）的实验证明了临床医生证实Gen2Out的有效性。在27个现实世界基准数据集上的实验表明，GEN2OUT检测到准确性的地面真理组，匹配或优于点异常基线基线算法，没有对组异常的竞争，并且在储运机上需要大约2分钟的数据点。

隔离林或“IFOREST”是一种直观且广泛使用的异常检测算法，其遵循一个简单而有效的想法：在给定的数据分布中，如果在某种变量和数据的范围内随机地均匀选择阈值（分割点）根据它们是否更大或小于此阈值，异常值更可能在较小的分区中最终或较小分区划分点。原始程序建议选择变量以在每个步骤中随机均匀地完成变量的变量，但本文表明“集群化”不同的异常值 - 通常比其他人更有趣的异常值 - 可以更多通过应用非均匀 - 随机的变量和/或阈值来容易地识别。比较不同的分割指导标准，发现一些结果导致某些异常值的明显差异更好。

异常和异常值检测是机器学习中的长期问题。在某些情况下，异常检测容易，例如当从诸如高斯的良好特征的分布中抽出数据时。但是，当数据占据高维空间时，异常检测变得更加困难。我们呈现蛤蜊（聚类学习近似歧管），是任何度量空间中的歧管映射技术。 CLAM以快速分层聚类技术开始，然后根据使用多个几何和拓扑功能所选择的重叠群集，从群集树中引导图表。使用这些图形，我们实现了Chaoda（群集分层异常和异常值检测算法），探索了图形的各种属性及其组成集群以查找异常值。 Chaoda采用了一种基于培训数据集的转移学习形式，并将这些知识应用于不同基数，维度和域的单独测试集。在24个公开可用的数据集上，我们将Chaoda（按衡量ROC AUC）与各种最先进的无监督异常检测算法进行比较。六个数据集用于培训。 Chaoda优于16个剩余的18个数据集的其他方法。 CLAM和Chaoda规模大，高维“大数据”异常检测问题，并贯穿数据集和距离函数。克拉姆和Chaoda的源代码在github上自由地提供https://github.com/uri-abd/clam。

长序列中的子序列异常检测是在广泛域中应用的重要问题。但是，迄今为止文献中提出的方法具有严重的局限性：它们要么需要用于设计异常发现算法的先前领域知识，要么在与相同类型的复发异常情况下使用繁琐且昂贵。在这项工作中，我们解决了这些问题，并提出了一种适用于域的不可知论次序列异常检测的方法。我们的方法series2graph基于新型低维嵌入子序列的图表。 Series2Graph不需要标记的实例（例如监督技术）也不需要无异常的数据（例如零阳性学习技术），也不需要识别长度不同的异常。在迄今为止使用的最大合成和真实数据集的实验结果表明，所提出的方法正确地识别了单一和复发异常，而无需任何先验的特征，以优于多种差距的准确性，同时提高了几种竞争的方法，同时又表现出色更快的数量级。本文出现在VLDB 2020中。

无监督的异常检测解决了在没有标签可用性的情况下发现数据集内的异常问题的问题;由于数据标记通常很难或获得昂贵，因此近年来这些方法已经看到了巨大的适用性。在这种情况下，隔离森林是一种流行的算法，可以通过称为隔离树的独特树的集合来定义异常分数。这些是使用无规分区过程构建，这些程序非常快捷，廉价培训。但是，我们发现标准算法可以在内存要求，延迟和性能方面提高;这对低资源场景和在超约束微处理器上的Tinyml实现中特别重要。此外，异常检测方法目前没有利用弱势监督：通常在决策支持系统中消耗，用户来自用户的反馈，即使罕见，也可以是目前未探索的有价值的信息来源。除了展示IFOSEST培训限制外，我们在此提出TIWS-IFOREST，一种方法，即通过利用弱监管能够降低隔离森林复杂性并提高检测性能。我们展示了TIWS-IFOREST在真实单词数据集上的有效性，我们在公共存储库中共享代码，以增强可重复性。

Existing measures and representations for trajectories have two longstanding fundamental shortcomings, i.e., they are computationally expensive and they can not guarantee the `uniqueness' property of a distance function: dist(X,Y) = 0 if and only if X=Y, where $X$ and $Y$ are two trajectories. This paper proposes a simple yet powerful way to represent trajectories and measure the similarity between two trajectories using a distributional kernel to address these shortcomings. It is a principled approach based on kernel mean embedding which has a strong theoretical underpinning. It has three distinctive features in comparison with existing approaches. (1) A distributional kernel is used for the very first time for trajectory representation and similarity measurement. (2) It does not rely on point-to-point distances which are used in most existing distances for trajectories. (3) It requires no learning, unlike existing learning and deep learning approaches. We show the generality of this new approach in three applications: (a) trajectory anomaly detection, (b) anomalous sub-trajectory detection, and (c) trajectory pattern mining. We identify that the distributional kernel has (i) a unique data-dependent property and the above uniqueness property which are the key factors that lead to its superior task-specific performance; and (ii) runtime orders of magnitude faster than existing distance measures.

异常的可视化和检测异常（异常值）对许多领域，特别是网络安全的重要性至关重要。在这些领域提出了几种方法，但我们的知识迄今为止，它们都不是在一个相干框架中同时或合作地满足了两个目标。引入了这些方法的可视化方法，用于解释检测算法的输出，而不是用于促进独立视觉检测的数据探测。这是我们的出发点：未经避免，不审视和非分析方法，对Vission（人类流程）和检测（算法）的异常值，分配不变的异常分数（标准化为$ [0,1] $） ，而不是硬二元决定。 Novely的新颖性的主要方面是它将数据转换为新的空间，该空间是在本文中引入的作为邻域累积密度函数（NCDF），其中进行了可视化和检测。在该空间中，异常值非常明显可区分，因此检测算法分配的异常分数在ROC曲线（AUC）下实现了高区域。我们在模拟和最近公布的网络安全数据集中评估了不避免，并将其与其中的三种最成功的异常检测方法进行比较：LOF，IF和FABOD。就AUC而言，不避免几乎是整体胜利者。这篇文章通过提供了对未避免的新理论和实际途径的预测来了解。其中包括设计一种可视化辅助异常检测（Vaad），一种软件通过提供不避免的检测算法（在后发动机中运行），NCDF可视化空间（呈现为绘图）以及其他传统方法在原始特征空间中的可视化，所有这些都在一个交互环境中链接。

异常值是一个事件或观察，其被定义为不同于距群体的不规则距离的异常活动，入侵或可疑数据点。然而，异常事件的定义是主观的，取决于应用程序和域（能量，健康，无线网络等）。重要的是要尽可能仔细地检测异常事件，以避免基础设施故障，因为异常事件可能导致对基础设施的严重损坏。例如，诸如微电网的网络物理系统的攻击可以发起电压或频率不稳定性，从而损坏涉及非常昂贵的修复的智能逆变器。微电网中的不寻常活动可以是机械故障，行为在系统中发生变化，人体或仪器错误或恶意攻击。因此，由于其可变性，异常值检测（OD）是一个不断增长的研究领域。在本章中，我们讨论了使用AI技术的OD方法的进展。为此，通过多个类别引入每个OD模型的基本概念。广泛的OD方法分为六大类：基于统计，基于距离，基于密度的，基于群集的，基于学习的和合奏方法。对于每个类别，我们讨论最近最先进的方法，他们的应用领域和表演。之后，关于对未来研究方向的建议提供了关于各种技术的优缺点和挑战的简要讨论。该调查旨在指导读者更好地了解OD方法的最新进展，以便保证AI。

The detection of anomalies in time series data is crucial in a wide range of applications, such as system monitoring, health care or cyber security. While the vast number of available methods makes selecting the right method for a certain application hard enough, different methods have different strengths, e.g. regarding the type of anomalies they are able to find. In this work, we compare six unsupervised anomaly detection methods with different complexities to answer the questions: Are the more complex methods usually performing better? And are there specific anomaly types that those method are tailored to? The comparison is done on the UCR anomaly archive, a recent benchmark dataset for anomaly detection. We compare the six methods by analyzing the experimental results on a dataset- and anomaly type level after tuning the necessary hyperparameter for each method. Additionally we examine the ability of individual methods to incorporate prior knowledge about the anomalies and analyse the differences of point-wise and sequence wise features. We show with broad experiments, that the classical machine learning methods show a superior performance compared to the deep learning methods across a wide range of anomaly types.

树合奏是广泛使用的强大模型。但是，它们容易受到对抗性示例的影响，这些例子是故意构建的，以引起该模型的错误预测。这可以降低性能并侵蚀用户对模型的信任。通常，方法试图通过验证学习合奏或鲁棒性学习过程来缓解这个问题。我们采用另一种方法，并试图在剥离后环境中检测对抗性示例。我们为此任务提供了一种新颖的方法，该方法是通过分析看不见的示例的输出配置来工作的，这是整体组成树做出的一组预测。我们的方法与任何添加树的合奏一起使用，不需要训练单独的型号。我们在三个不同的树合奏学习者上评估我们的方法。我们从经验上表明，我们的方法目前是树形合奏的最佳对抗检测方法。

考虑到过去几十年中开发的一长串异常检测算法，它们如何在（i）（i）不同级别的监督，（ii）不同类型的异常以及（iii）嘈杂和损坏的数据方面执行？在这项工作中，我们通过（据我们所知）在55个名为Adbench的55个基准数据集中使用30个算法来回答这些关键问题。我们的广泛实验（总共93,654）确定了对监督和异常类型的作用的有意义的见解，并解锁了研究人员在算法选择和设计中的未来方向。借助Adbench，研究人员可以轻松地对数据集（包括我们从自然语言和计算机视觉域的贡献）对现有基线的新提出的方法进行全面和公平的评估。为了促进可访问性和可重复性，我们完全开源的Adbench和相应的结果。

现代云计算系统包含数百到数千个计算和存储服务器。这种规模与不断增长的系统复杂性相结合，对可靠云计算的失败和资源管理导致关键挑战。自主失败检测是了解系统级可靠性保证的紧急，云现象和自我管理云资源的重要技术。要检测到失败，我们需要监控云执行并收集运行时性能数据。这些数据通常是未标记的，因此在生产云中并不总是可用的现有故障历史。在本文中，我们提出了一种\ emph {自我不断发展的异常检测}（SEAD）框架，用于云可靠性保证。我们的框架通过递归探索新验证的异常记录并在线持续更新异常探测器。作为我们框架的鲜明优势，云系统管理员只需要检查少量检测到的异常，并且它们的决定可以利用以更新探测器。因此，探测器在升级系统硬件，软件堆栈的更新和用户工作负载的更改之后演变。此外，我们设计了两种类型的探测器，一个用于一般异常检测，另一类用于特异性异常检测。在自我不断发展的技术的帮助下，我们的探测器可以平均达到88.94 \％的灵敏度和94.60 \％，这使得它们适合现实世界部署。

基于用法的保险已成为车辆保险的新标准；因此，找到使用保险人的驾驶数据的有效方法很重要。在车辆的行程摘要中应用异常检测，我们开发了一种方法，允许为每辆车辆得出“常规”和“特殊性”异常轮廓。为此，使用每辆车辆进行的每次旅行的异常检测算法来计算常规和特殊性异常得分。与相关车辆进行的其他旅行相比，前者测量了旅行的异常程度，而后者则与任何车辆进行的旅行相比，衡量了其异常程度。所得的异常得分向量用作常规和特殊性曲线。然后从这些配置文件中提取功能，我们为其研究索赔分类框架中的预测能力。使用真实数据，我们发现从车辆的特殊性概况提取的功能改善了分类。

This paper proposes a new tree-based ensemble method for supervised classification and regression problems. It essentially consists of randomizing strongly both attribute and cut-point choice while splitting a tree node. In the extreme case, it builds totally randomized trees whose structures are independent of the output values of the learning sample. The strength of the randomization can be tuned to problem specifics by the appropriate choice of a parameter. We evaluate the robustness of the default choice of this parameter, and we also provide insight on how to adjust it in particular situations. Besides accuracy, the main strength of the resulting algorithm is computational efficiency. A bias/variance analysis of the Extra-Trees algorithm is also provided as well as a geometrical and a kernel characterization of the models induced.