异常检测涉及识别不符合预期行为的数据集中的示例。虽然存在大量的异常检测算法，但是已经支付了很少的注意，以解释这些算法标志某些示例作为异常的原因。然而，这样的解释对于解释算法输出的任何人来说可能非常有用。本文开发了一种解释最先进的隔离森林异常检测算法的异常预测的方法。该方法输出解释载体，该解释矢量捕获示例的每个属性的重要性是如何将其识别为异常。合成和现实世界数据集的彻底实验评估表明，我们的方法比大多数现代最先进的解释性方法更准确，更有效。

Most existing model-based approaches to anomaly detection construct a profile of normal instances, then identify instances that do not conform to the normal profile as anomalies. This paper proposes a fundamentally different model-based method that explicitly isolates anomalies instead of profiles normal points. To our best knowledge, the concept of isolation has not been explored in current literature. The use of isolation enables the proposed method, iForest, to exploit sub-sampling to an extent that is not feasible in existing methods, creating an algorithm which has a linear time complexity with a low constant and a low memory requirement. Our empirical evaluation shows that iForest performs favourably to ORCA, a near-linear time complexity distance-based method, LOF and Random Forests in terms of AUC and processing time, and especially in large data sets. iForest also works well in high dimensional problems which have a large number of irrelevant attributes, and in situations where training set does not contain any anomalies.

异常检测领域中的大多数建议仅集中在检测阶段，特别是在最近的深度学习方法上。在提供高度准确的预测的同时，这些模型通常缺乏透明度，充当“黑匣子”。这种批评已经越来越多，即解释在可接受性和可靠性方面被认为非常相关。在本文中，我们通过检查ADMNC（混合数值和分类空间的异常检测）模型来解决此问题，这是一种现有的非常准确的，尽管不透明的异常检测器能够使用数值和分类输入进行操作。这项工作介绍了扩展EADMNC（在混合数值和分类空间上可解释的异常检测），这为原始模型获得的预测提供了解释性。通过Apache Spark Framework，我们保留了原始方法的可伸缩性。 EADMNC利用了先前的ADMNC模型的配方，以提供事前和事后解释性，同时保持原始体系结构的准确性。我们提出了一个事前模型，该模型在全球范围内通过将输入数据分割为均质组，仅使用少数变量来解释输出。我们设计了基于回归树的图形表示，主管可以检查以了解正常数据和异常数据之间的差异。我们的事后解释由基于文本的模板方法组成，该方法在本地提供了支持每个检测的文本参数。我们报告了广泛的现实数据，特别是在网络入侵检测领域的实验结果。使用网络入侵域中的专家知识来评估解释的有用性。

在M维数据点的云中，我们将如何发现，以及排名，单点和群体 - 异常？我们是第一个概括了两个维度的异常检测：第一维度是我们在统一的观点下处理点异常，以及组异常 - 我们将把它们称为广义异常。第二维度不仅可以检测到，而且还可以在可疑顺序中排名，但也排名，异常。异常检测和排名具有许多应用：例如，在癫痫患者的脑电图中，异常可能表明癫痫发作;在计算机网络流量数据中，它可能表示电源故障或DOS / DDOS攻击。我们首先设置一些合理的公理;令人惊讶的是，早期的方法都没有通过所有公理。我们的主要贡献是Gen2Out算法，具有以下理想的性质：（a）所指的原理和声音异常评分，使得探测器的公理组合，（b）倍增，在其检测到，以及排名的级别点和组异常，（c）可扩展，它是快速且可伸缩的，线性输入大小。 （d）有效，关于现实世界癫痫记录（200GB）的实验证明了临床医生证实Gen2Out的有效性。在27个现实世界基准数据集上的实验表明，GEN2OUT检测到准确性的地面真理组，匹配或优于点异常基线基线算法，没有对组异常的竞争，并且在储运机上需要大约2分钟的数据点。

在许多应用程序中，检测异常行为是新兴的需求，尤其是在安全性和可靠性是关键方面的情况下。尽管对异常的定义严格取决于域框架，但它通常是不切实际的或太耗时的，无法获得完全标记的数据集。使用无监督模型来克服缺乏标签的模型通常无法捕获特定的特定异常情况，因为它们依赖于异常值的一般定义。本文提出了一种新的基于积极学习的方法Alif，以通过减少所需标签的数量并将检测器调整为用户提供的异常的定义来解决此问题。在存在决策支持系统（DSS）的情况下，提出的方法特别有吸引力，这种情况在现实世界中越来越流行。尽管常见的DSS嵌入异常检测功能取决于无监督的模型，但它们没有办法提高性能：Alif能够通过在常见操作期间利用用户反馈来增强DSS的功能。 Alif是对流行的隔离森林的轻巧修改，在许多真实的异常检测数据集中，相对于其他最先进的算法证明了相对于其他最先进算法的出色性能。

在人类循环机器学习应用程序的背景下，如决策支持系统，可解释性方法应在不使用户等待的情况下提供可操作的见解。在本文中，我们提出了加速的模型 - 不可知论解释（ACME），一种可解释的方法，即在全球和本地层面迅速提供特征重要性分数。可以将acme应用于每个回归或分类模型的后验。 ACME计算功能排名不仅提供了一个什么，但它还提供了一个用于评估功能值的变化如何影响模型预测的原因 - 如果分析工具。我们评估了综合性和现实世界数据集的建议方法，同时也与福芙添加剂解释（Shap）相比，我们制作了灵感的方法，目前是最先进的模型无关的解释性方法。我们在生产解释的质量方面取得了可比的结果，同时急剧减少计算时间并为全局和局部解释提供一致的可视化。为了促进该领域的研究，为重复性，我们还提供了一种存储库，其中代码用于实验。

解释性是决策系统的压迫问题。已经提出了许多后的HOC方法来解释任何机器学习模型的预测。但是，业务流程和决策系统很少归属于单个独立的模型。这些系统组合了产生关键预测的多个模型，然后应用决策规则以生成最终决定。为了解释此类决定，我们呈现SMACE，半模型 - 不可知论式解释器，一种新的解释方法，该方法将决策规则与现有的机器学习模型进行决策规则，以生成对最终用户身份定制的直观特征排名。我们表明，建立的模型 - 无可止境方法在这一框架中产生了不良的结果。

人工智能（AI）和机器学习（ML）在网络安全挑战中的应用已在行业和学术界的吸引力，部分原因是对关键系统（例如云基础架构和政府机构）的广泛恶意软件攻击。入侵检测系统（IDS）使用某些形式的AI，由于能够以高预测准确性处理大量数据，因此获得了广泛的采用。这些系统托管在组织网络安全操作中心（CSOC）中，作为一种防御工具，可监视和检测恶意网络流，否则会影响机密性，完整性和可用性（CIA）。 CSOC分析师依靠这些系统来决定检测到的威胁。但是，使用深度学习（DL）技术设计的IDS通常被视为黑匣子模型，并且没有为其预测提供理由。这为CSOC分析师造成了障碍，因为他们无法根据模型的预测改善决策。解决此问题的一种解决方案是设计可解释的ID（X-IDS）。这项调查回顾了可解释的AI（XAI）的最先进的ID，目前的挑战，并讨论了这些挑战如何涉及X-ID的设计。特别是，我们全面讨论了黑匣子和白盒方法。我们还在这些方法之间的性能和产生解释的能力方面提出了权衡。此外，我们提出了一种通用体系结构，该建筑认为人类在循环中，该架构可以用作设计X-ID时的指南。研究建议是从三个关键观点提出的：需要定义ID的解释性，需要为各种利益相关者量身定制的解释以及设计指标来评估解释的需求。

We combine the metrics of distance and isolation to develop the \textit{Analytic Isolation and Distance-based Anomaly (AIDA) detection algorithm}. AIDA is the first distance-based method that does not rely on the concept of nearest-neighbours, making it a parameter-free model. Differently from the prevailing literature, in which the isolation metric is always computed via simulations, we show that AIDA admits an analytical expression for the outlier score, providing new insights into the isolation metric. Additionally, we present an anomaly explanation method based on AIDA, the \textit{Tempered Isolation-based eXplanation (TIX)} algorithm, which finds the most relevant outlier features even in data sets with hundreds of dimensions. We test both algorithms on synthetic and empirical data: we show that AIDA is competitive when compared to other state-of-the-art methods, and it is superior in finding outliers hidden in multidimensional feature subspaces. Finally, we illustrate how the TIX algorithm is able to find outliers in multidimensional feature subspaces, and use these explanations to analyze common benchmarks used in anomaly detection.

检测会计异常是财务报表审核中的反复挑战。最近，已经提出了源自深度学习（DL）的新方法来审核声明的基本会计记录的大量。但是，由于它们的大量参数，这种模型表现出固有不透明的缺点。同时，隐藏模型的内部运作通常会阻碍其现实世界的应用。该观察结果在财务审计中尤其如此，因为审计师必须合理地解释和证明其审计决定是合理的。如今，已经提出了各种可解释的AI（XAI）技术来应对这一挑战，例如Shapley添加说明（Shap）。但是，在经常在财务审核中应用的无监督DL中，这些方法在编码变量级别上解释了模型输出。结果，人类审计师通常很难理解自动编码器神经网络（AENNS）的解释。为了减轻此缺点，我们提出（重塑），该属性在汇总属性级别上解释了模型输出。此外，我们引入了一个评估框架，以比较XAI方法在审计中的多功能性。我们的实验结果表明，经验证据表明，与最先进的基线相比，重塑结果是多功能解释的。我们将这种属性级别的解释视为在财务审计中采用无监督的DL技术的必要下一步。

孤立森林（Iforest）近年来已经成为最受欢迎的异常检测器。它迭代地在树结构中执行轴平行的数据空间分区，以将偏差的数据对象与其他数据隔离，并且定义为异常得分的对象的隔离难度。 iForest在流行的数据集基准中显示出有效的性能，但其基于轴平行的线性数据分区无效地处理高维/非线性数据空间中的硬异常，甚至更糟糕的是，它导致了臭名昭著的算法偏见。为人工制品区域分配了出乎意料的较大的异常得分。有几个扩展的Iforest，但它们仍然专注于线性数据分区，无法有效地隔离这些硬异常。本文介绍了iforest，深层隔离森林的新型扩展。我们的方法提供了一种综合的隔离方法，可以在任何大小的子空间上任意将数据任意划分数据，从而有效地避免了线性分区中的算法偏置。此外，它仅需要随机初始化的神经网络（即，我们的方法中不需要优化）来确保分区的自由。这样一来，可以完全利用基于网络的随机表示和基于随机分区的隔离的所需随机性和多样性，以显着增强基于隔离集合的异常检测。此外，我们的方法还提供了数据型 - 敏捷的异常检测解决方案。通过简单地插入功能映射中的随机初始化的神经网络来检测不同类型数据中的异常。大量现实数据集的广泛经验结果表明，我们的模型对基于最新的隔离和基于非异常的异常检测模型有了显着改善。

无监督的异常检测解决了在没有标签可用性的情况下发现数据集内的异常问题的问题;由于数据标记通常很难或获得昂贵，因此近年来这些方法已经看到了巨大的适用性。在这种情况下，隔离森林是一种流行的算法，可以通过称为隔离树的独特树的集合来定义异常分数。这些是使用无规分区过程构建，这些程序非常快捷，廉价培训。但是，我们发现标准算法可以在内存要求，延迟和性能方面提高;这对低资源场景和在超约束微处理器上的Tinyml实现中特别重要。此外，异常检测方法目前没有利用弱势监督：通常在决策支持系统中消耗，用户来自用户的反馈，即使罕见，也可以是目前未探索的有价值的信息来源。除了展示IFOSEST培训限制外，我们在此提出TIWS-IFOREST，一种方法，即通过利用弱监管能够降低隔离森林复杂性并提高检测性能。我们展示了TIWS-IFOREST在真实单词数据集上的有效性，我们在公共存储库中共享代码，以增强可重复性。

长序列中的子序列异常检测是在广泛域中应用的重要问题。但是，迄今为止文献中提出的方法具有严重的局限性：它们要么需要用于设计异常发现算法的先前领域知识，要么在与相同类型的复发异常情况下使用繁琐且昂贵。在这项工作中，我们解决了这些问题，并提出了一种适用于域的不可知论次序列异常检测的方法。我们的方法series2graph基于新型低维嵌入子序列的图表。 Series2Graph不需要标记的实例（例如监督技术）也不需要无异常的数据（例如零阳性学习技术），也不需要识别长度不同的异常。在迄今为止使用的最大合成和真实数据集的实验结果表明，所提出的方法正确地识别了单一和复发异常，而无需任何先验的特征，以优于多种差距的准确性，同时提高了几种竞争的方法，同时又表现出色更快的数量级。本文出现在VLDB 2020中。

隔离林或“IFOREST”是一种直观且广泛使用的异常检测算法，其遵循一个简单而有效的想法：在给定的数据分布中，如果在某种变量和数据的范围内随机地均匀选择阈值（分割点）根据它们是否更大或小于此阈值，异常值更可能在较小的分区中最终或较小分区划分点。原始程序建议选择变量以在每个步骤中随机均匀地完成变量的变量，但本文表明“集群化”不同的异常值 - 通常比其他人更有趣的异常值 - 可以更多通过应用非均匀 - 随机的变量和/或阈值来容易地识别。比较不同的分割指导标准，发现一些结果导致某些异常值的明显差异更好。

日志数据异常检测是IT操作的人工智能区域中的核心组件。但是，大量现有方法使其难以为特定系统选择正确的方法。更好地了解不同种类的异常，以及哪些算法适合检测它们，将支持研究人员和IT运营商。虽然已经存在的异常分类常见的分类，但尚未专门应用于记录数据，指出该域中的特征和特点。在本文中，我们为不同种类的日志数据异常提供了一种分类，并介绍了一种分析标记数据集中的这种异常的方法。我们将我们的分类系统应用于三个常见的基准数据集Thunderbird，Spirit和BGL，并培训了五种最先进的无监督异常检测算法，以评估它们在检测不同种类的异常中的性能。我们的结果表明，最常见的异常类型也是最容易预测的。此外，基于深度学习的方法在所有异常类型中占据了基于数据的方法，但特别是当涉及到检测语境异常时。

使用福利值的添加特征说明已经成为为每个特征的相对重要性提供给机器学习模型的个人预测的透明度。虽然福利值在合作博弈论中提供了独特的添加剂特征归因，但即使是单机学习模型也可以生成的福利值远非独特，具有影响所产生的血统的理论和实施决策。在这里，我们考虑福利值的应用解释决策树集合，并提出了一种可以应用于随机林和提升决策树的基于福芙值的特征归属的新方法。这种新方法提供了准确地反映各个实例的模型预测算法的细节的属性，同时使用最广泛使用的当前方法之一进行计算竞争。我们解释了标准和新颖方法之间的理论差异，并使用合成和实数据进行比较它们的绩效。

对可解释的AI（XAI）的需求已经很好，但是在监督学习范式之外，几乎没有发表相对较少的发表。本文着重于将解释性和解释性应用于无监督异常检测任务的原则方法。我们认为，解释性主要是一项算法任务，解释性主要是认知任务，并利用认知科学的见解，提出了一种通用方法，用于使用解释异常进行实践诊断。我们定义归因误差，并使用现实世界标记的数据集证明我们基于集成梯度（IG）的方法比替代方法所产生的归因误差明显低。

与经典的统计学习方法相比，机器和深度学习生存模型表现出相似甚至改进事件的预测能力，但太复杂了，无法被人类解释。有几种模型不合时宜的解释可以克服这个问题。但是，没有一个直接解释生存函数预测。在本文中，我们介绍了Survhap（t），这是第一个允许解释生存黑盒模型的解释。它基于Shapley添加性解释，其理论基础稳定，并在机器学习从业人员中广泛采用。拟议的方法旨在增强精确诊断和支持领域的专家做出决策。关于合成和医学数据的实验证实，survhap（t）可以检测具有时间依赖性效果的变量，并且其聚集是对变量对预测的重要性的决定因素，而不是存活。 survhap（t）是模型不可屈服的，可以应用于具有功能输出的所有型号。我们在http://github.com/mi2datalab/survshap中提供了python中时间相关解释的可访问实现。

Explainability of a classification model is crucial when deployed in real-world decision support systems. Explanations make predictions actionable to the user and should inform about the capabilities and limitations of the system. Existing explanation methods, however, typically only provide explanations for individual predictions. Information about conditions under which the classifier is able to support the decision maker is not available, while for instance information about when the system is not able to differentiate classes can be very helpful. In the development phase it can support the search for new features or combining models, and in the operational phase it supports decision makers in deciding e.g. not to use the system. This paper presents a method to explain the qualities of a trained base classifier, called PERFormance EXplainer (PERFEX). Our method consists of a meta tree learning algorithm that is able to predict and explain under which conditions the base classifier has a high or low error or any other classification performance metric. We evaluate PERFEX using several classifiers and datasets, including a case study with urban mobility data. It turns out that PERFEX typically has high meta prediction performance even if the base classifier is hardly able to differentiate classes, while giving compact performance explanations.

流媒体数据中对异常的实时检测正在受到越来越多的关注，因为它使我们能够提高警报，预测故障并检测到整个行业的入侵或威胁。然而，很少有人注意比较流媒体数据（即在线算法）的异常检测器的有效性和效率。在本文中，我们介绍了来自不同算法家族（即基于距离，密度，树木或投影）的主要在线检测器的定性合成概述，并突出了其构建，更新和测试检测模型的主要思想。然后，我们对在线检测算法的定量实验评估以及其离线对应物进行了彻底的分析。检测器的行为与不同数据集（即元功能）的特征相关，从而提供了对其性能的元级分析。我们的研究介绍了文献中几个缺失的见解，例如（a）检测器对随机分类器的可靠性以及什么数据集特性使它们随机执行； （b）在线探测器在何种程度上近似离线同行的性能； （c）哪种绘制检测器的策略和更新原始图最适合检测仅在数据集的功能子空间中可见的异常； （d）属于不同算法家族的探测器的有效性与效率之间的权衡是什么； （e）数据集的哪些特定特征产生在线算法以胜过所有其他特征。