对于高度不平衡的信用卡欺诈检测问题，大多数现有方法要么使用数据增强方法或常规的机器学习模型，而基于神经网络的异常检测方法缺乏。此外，很少有研究使用AI解释性工具来研究交易数据的特征重要性，这对于黑盒欺诈检测模块至关重要。考虑到这两个点，我们提出了一个新颖的信用卡欺诈检测框架检测框架，以及负责预测解释的模型解释模块。欺诈检测模型由两个深神经网络组成，这些网络以无监督和对抗性的方式进行了训练。确切地说，发电机是一种旨在重建真实交易数据的自动编码器，而鉴别器是用于欺诈检测的完全连接的网络。解释模块分别具有三个白框解释器，负责自动编码器，鉴别器和整个检测模型的解释。实验结果表明，与基线相比，我们在基准数据集上的欺诈检测模型的最新性能。此外，提出了三个解释器的预测分析，对感兴趣实例的每个特征如何有助于最终模型输出，从而提供了一个清晰的观点。

人工智能（AI）和机器学习（ML）在网络安全挑战中的应用已在行业和学术界的吸引力，部分原因是对关键系统（例如云基础架构和政府机构）的广泛恶意软件攻击。入侵检测系统（IDS）使用某些形式的AI，由于能够以高预测准确性处理大量数据，因此获得了广泛的采用。这些系统托管在组织网络安全操作中心（CSOC）中，作为一种防御工具，可监视和检测恶意网络流，否则会影响机密性，完整性和可用性（CIA）。 CSOC分析师依靠这些系统来决定检测到的威胁。但是，使用深度学习（DL）技术设计的IDS通常被视为黑匣子模型，并且没有为其预测提供理由。这为CSOC分析师造成了障碍，因为他们无法根据模型的预测改善决策。解决此问题的一种解决方案是设计可解释的ID（X-IDS）。这项调查回顾了可解释的AI（XAI）的最先进的ID，目前的挑战，并讨论了这些挑战如何涉及X-ID的设计。特别是，我们全面讨论了黑匣子和白盒方法。我们还在这些方法之间的性能和产生解释的能力方面提出了权衡。此外，我们提出了一种通用体系结构，该建筑认为人类在循环中，该架构可以用作设计X-ID时的指南。研究建议是从三个关键观点提出的：需要定义ID的解释性，需要为各种利益相关者量身定制的解释以及设计指标来评估解释的需求。

如今，许多分类算法已应用于各个行业，以帮助他们在现实生活中解决他们的问题。但是，在许多二进制分类任务中，少数族裔类中的样本仅构成了所有实例的一小部分，这导致了我们通常患有高失衡比的数据集。现有模型有时将少数族裔类别视为噪音，或者将它们视为遇到数据偏斜的异常值。为了解决这个问题，我们提出了一个装袋合奏学习框架$ ASE $（基于异常得分的合奏学习）。该框架具有基于异常检测算法的评分系统，可以通过将多数类中的样本分为子空间来指导重采样策略。那么，特定数量的实例将从每个子空间中采样较低，以通过与少数族裔类结合来构建子集。我们根据异常检测模型的分类结果和子空间的统计数据计算由子集训练的基本分类器的权重。已经进行了实验，这表明我们的合奏学习模型可以显着提高基本分类器的性能，并且比在广泛的不平衡比率，数据量表和数据维度下的其他现有方法更有效。 $ ase $可以与各种分类器结合使用，我们的框架的每个部分都被证明是合理和必要的。

机器学习（ML）和深度学习（DL）方法正在迅速采用，尤其是计算机网络安全，如欺诈检测，网络异常检测，入侵检测等等。然而，ML和DL基础模型缺乏透明度是其实施和由于其黑​​匣子性质而受到批评的主要障碍，即使具有如此巨大的结果。可解释的人工智能（XAI）是一个有希望的区域，可以通过给出解释和解释其产出来改善这些模型的可信度。如果ML和基于DL的模型的内部工作是可以理解的，那么它可以进一步帮助改善其性能。本文的目的是表明，Xai如何用于解释DL模型的结果，在这种情况下是AutoEncoder。并且，根据解释，我们改善了计算机网络异常检测的性能。基于福谢值的内核形状方法用作新颖的特征选择技术。此方法用于仅识别实际上导致该组攻击/异常实例的异常行为的那些功能。稍后，这些功能集用于培训和验证AutoEncoder，而是仅在良性数据上验证。最后，基于特征选择方法提出的其他两个模型的内置Shap_Model始终。整个实验是在最新的Cicids2017网络数据集的子集上进行的。 Shap_Model的总体精度和AUC分别为94％和0.969。

可解释的AI（XAI）的最新进展增加了对各个行业中安全和可解释的AI模型部署的需求。尽管深度神经网络在各种领域取得了最新的成功，但了解这种复杂模型的决策过程对于领域专家来说仍然是一项艰巨的任务。尤其是在金融领域，仅指向通常由数百种混合类型列组成的异常，对专家的价值有限。因此，在本文中，我们提出了一个框架，用于解释使用用于混合类型表格数据的Denoisising自动编码器。我们专门将技术集中在错误的观察方面上。这是通过将潜在误差定位的单个样品柱（单元）定位并分配相应的置信度得分来实现的。此外，该模型提供了预期的单元格估计来解决错误。我们根据三个标准的公共表格数据集（信用默认，成人，IEEE欺诈）和一个专有数据集（Holdings）来评估我们的方法。我们发现，适用于此任务的Denoing自动编码器已经在细胞误差检测率和预期价值率中的其他方法都优于其他方法。此外，我们分析了设计用于细胞误差检测的专门损失如何进一步改善这些指标。我们的框架是为域专家设计的，以了解异常的异常特征，并改善内部数据质量管理流程。

无监督的异常检测旨在通过在正常数据上训练来建立模型以有效地检测看不见的异常。尽管以前的基于重建的方法取得了富有成效的进展，但由于两个危急挑战，他们的泛化能力受到限制。首先，训练数据集仅包含正常模式，这限制了模型泛化能力。其次，现有模型学到的特征表示通常缺乏代表性，妨碍了保持正常模式的多样性的能力。在本文中，我们提出了一种称为自适应存储器网络的新方法，具有自我监督的学习（AMSL）来解决这些挑战，并提高无监督异常检测中的泛化能力。基于卷积的AutoEncoder结构，AMSL包含一个自我监督的学习模块，以学习一般正常模式和自适应内存融合模块来学习丰富的特征表示。四个公共多变量时间序列数据集的实验表明，与其他最先进的方法相比，AMSL显着提高了性能。具体而言，在具有9亿个样本的最大帽睡眠阶段检测数据集上，AMSL以精度和F1分数\ TextBF {4} \％+优于第二个最佳基线。除了增强的泛化能力之外，AMSL还针对输入噪声更加强大。

不平衡的数据（ID）是阻止机器学习（ML）模型以实现令人满意的结果的问题。 ID是一种情况，即属于一个类别的样本的数量超过另一个类别的情况，这使此类模型学习过程偏向多数类。近年来，为了解决这个问题，已经提出了几种解决方案，该解决方案选择合成为少数族裔类生成新数据，或者减少平衡数据的多数类的数量。因此，在本文中，我们研究了基于深神经网络（DNN）和卷积神经网络（CNN）的方法的有效性，并与各种众所周知的不平衡数据解决方案混合，这意味着过采样和降采样。为了评估我们的方法，我们使用了龙骨，乳腺癌和Z-Alizadeh Sani数据集。为了获得可靠的结果，我们通过随机洗牌的数据分布进行了100次实验。分类结果表明，混合的合成少数族裔过采样技术（SMOTE） - 正态化-CNN优于在24个不平衡数据集上达到99.08％精度的不同方法。因此，提出的混合模型可以应用于其他实际数据集上的不平衡算法分类问题。

由于欺诈模式随着时间的流逝而变化，并且欺诈示例的可用性有限，以学习这种复杂的模式，因此欺诈检测是一项具有挑战性的任务。因此，借助智能版本的机器学习（ML）工具的欺诈检测对于确保安全至关重要。欺诈检测是主要的ML分类任务；但是，相应的ML工具的最佳性能取决于最佳的超参数值的使用。此外，在不平衡类中的分类非常具有挑战性，因为它在少数群体中导致绩效差，大多数ML分类技术都忽略了。因此，我们研究了四种最先进的ML技术，即逻辑回归，决策树，随机森林和极端梯度提升，它们适用于处理不平衡类别以最大程度地提高精度并同时降低假阳性。首先，这些分类器经过两个原始基准测试不平衡检测数据集的培训，即网站网站URL和欺诈性信用卡交易。然后，通过实现采样框架，即RandomundSampler，Smote和Smoteenn，为每个原始数据集生产了三个合成平衡的数据集。使用RandomzedSearchCV方法揭示了所有16个实验的最佳超参数。使用两个基准性能指标比较了欺诈检测中16种方法的有效性，即接收器操作特性（AUC ROC）和精度和召回曲线下的面积（AUC PR）（AUC PR）。对于网络钓鱼网站URL和信用卡欺诈事务数据集，结果表明，对原始数据的极端梯度提升显示了不平衡数据集中值得信赖的性能，并以AUC ROC和AUC PR来超越其他三种方法。

机器学习模型通常会遇到与训练分布不同的样本。无法识别分布（OOD）样本，因此将该样本分配给课堂标签会显着损害模​​型的可靠性。由于其对在开放世界中的安全部署模型的重要性，该问题引起了重大关注。由于对所有可能的未知分布进行建模的棘手性，检测OOD样品是具有挑战性的。迄今为止，一些研究领域解决了检测陌生样本的问题，包括异常检测，新颖性检测，一级学习，开放式识别识别和分布外检测。尽管有相似和共同的概念，但分别分布，开放式检测和异常检测已被独立研究。因此，这些研究途径尚未交叉授粉，创造了研究障碍。尽管某些调查打算概述这些方法，但它们似乎仅关注特定领域，而无需检查不同领域之间的关系。这项调查旨在在确定其共同点的同时，对各个领域的众多著名作品进行跨域和全面的审查。研究人员可以从不同领域的研究进展概述中受益，并协同发展未来的方法。此外，据我们所知，虽然进行异常检测或单级学习进行了调查，但没有关于分布外检测的全面或最新的调查，我们的调查可广泛涵盖。最后，有了统一的跨域视角，我们讨论并阐明了未来的研究线，打算将这些领域更加紧密地融为一体。

本文研究了与可解释的AI（XAI）实践有关的两个不同但相关的问题。机器学习（ML）在金融服务中越来越重要，例如预批准，信用承销，投资以及各种前端和后端活动。机器学习可以自动检测培训数据中的非线性和相互作用，从而促进更快，更准确的信用决策。但是，机器学习模型是不透明的，难以解释，这是建立可靠技术所需的关键要素。该研究比较了各种机器学习模型，包括单个分类器（逻辑回归，决策树，LDA，QDA），异质集合（Adaboost，随机森林）和顺序神经网络。结果表明，整体分类器和神经网络的表现优于表现。此外，使用基于美国P2P贷款平台Lending Club提供的开放式访问数据集评估了两种先进的事后不可解释能力 - 石灰和外形来评估基于ML的信用评分模型。对于这项研究，我们还使用机器学习算法来开发新的投资模型，并探索可以最大化盈利能力同时最大程度地降低风险的投资组合策略。

由于医疗保健是关键方面，健康保险已成为最大程度地减少医疗费用的重要计划。此后，由于保险的增加，医疗保健行业的欺诈活动大幅增加，欺诈行业已成为医疗费用上升的重要贡献者，尽管可以使用欺诈检测技术来减轻其影响。为了检测欺诈，使用机器学习技术。美国联邦政府的医疗补助和医疗保险服务中心（CMS）在本研究中使用“医疗保险D部分”保险索赔来开发欺诈检测系统。在类不平衡且高维的Medicare数据集中使用机器学习算法是一项艰巨的任务。为了紧凑此类挑战，目前的工作旨在在数据采样之后执行功能提取，然后应用各种分类算法，以获得更好的性能。特征提取是一种降低降低方法，该方法将属性转换为实际属性的线性或非线性组合，生成较小，更多样化的属性集，从而降低了尺寸。数据采样通常用于通过扩大少数族裔类的频率或降低多数类的频率以获得两种类别的出现数量大约相等的频率来解决类不平衡。通过标准性能指标评估所提出的方法。因此，为了有效地检测欺诈，本研究将自动编码器作为特征提取技术，合成少数族裔过采样技术（SMOTE）作为数据采样技术，以及各种基于决策树的分类器作为分类算法。实验结果表明，自动编码器的结合，然后在LightGBM分类器上获得SMOTE，取得了最佳的结果。

异常检测是机器学习中的重要问题。应用领域包括网络安全，保健，欺诈检测等，涉及高维数据集。典型的异常检测系统始终面临不同类别的样本大小的巨大差异的类别不平衡问题。他们通常有课堂重叠问题。本研究使用了胶囊网络进行异常检测任务。据我们所知，这是第一实例，其中在高维非图像复杂数据设置中分析了对异常检测任务的胶囊网络的实例。我们还处理相关的新颖性和异常值检测问题。胶囊网络的架构适用于二进制分类任务。胶囊网络由于在内部胶囊架构中捕获的预测中捕获的观点不变性的效果，因此提供了一种良好的选择。我们使用了六分层的完整的AutoEncoder架构，其中包含胶囊的第二层和第三层。使用动态路由算法训练胶囊。我们从原始MNIST DataSet创建了10美元的高价数据集，并使用5美元的基准模型进行了胶囊网络的性能。我们的领先的测试设定措施是少数民族阶级和ROC曲线下的F1分数。我们发现胶囊网络通过仅使用10个时期进行训练和不使用任何其他数据级别和算法级别方法，胶囊网络在异常检测任务上表现出对异常检测任务的所有其他基线模型。因此，我们得出结论，胶囊网络在为异常检测任务进行建模复杂的高维不平衡数据集。

新奇检测是识别不属于目标类分布的样本的任务。在培训期间，缺乏新颖的课程，防止使用传统分类方法。深度自动化器已被广泛用作许多无监督的新奇检测方法的基础。特别地，上下文自动码器在新颖的检测任务中已经成功了，因为他们通过从随机屏蔽的图像重建原始图像来学习的更有效的陈述。然而，上下文AutoEncoders的显着缺点是随机屏蔽不能一致地涵盖输入图像的重要结构，导致次优表示 - 特别是对于新颖性检测任务。在本文中，为了优化输入掩蔽，我们设计了由两个竞争网络，掩模模块和重建器组成的框架。掩码模块是一个卷积的AutoEncoder，用于生成涵盖最重要的图像的最佳掩码。或者，重建器是卷积编码器解码器，其旨在从屏蔽图像重建未受带的图像。网络训练以侵略的方式训练，其中掩模模块生成应用于给予重构的图像的掩码。以这种方式，掩码模块寻求最大化重建错误的重建错误最小化。当应用于新颖性检测时，与上下文自动置换器相比，所提出的方法学习语义上更丰富的表示，并通过更新的屏蔽增强了在测试时间的新颖性检测。 MNIST和CIFAR-10图像数据集上的新奇检测实验证明了所提出的方法对尖端方法的优越性。在用于新颖性检测的UCSD视频数据集的进一步实验中，所提出的方法实现了最先进的结果。

异常检测是确定不符合正常数据分布的样品。由于异常数据的无法获得，培训监督的深神经网络是一项繁琐的任务。因此，无监督的方法是解决此任务的常见方法。深度自动编码器已被广泛用作许多无监督的异常检测方法的基础。但是，深层自动编码器的一个显着缺点是，它们通过概括重建异常值来提供不足的表示异常检测的表示。在这项工作中，我们设计了一个对抗性框架，该框架由两个竞争组件组成，一个对抗性变形者和一个自动编码器。对抗性变形器是一种卷积编码器，学会产生有效的扰动，而自动编码器是一个深层卷积神经网络，旨在重建来自扰动潜在特征空间的图像。这些网络经过相反的目标训练，在这种目标中，对抗性变形者会产生用于编码器潜在特征空间的扰动，以最大化重建误差，并且自动编码器试图中和这些扰动的效果以最大程度地减少它。当应用于异常检测时，该提出的方法会由于对特征空间的扰动应用而学习语义上的富裕表示。所提出的方法在图像和视频数据集上的异常检测中优于现有的最新方法。

检测会计异常是财务报表审核中的反复挑战。最近，已经提出了源自深度学习（DL）的新方法来审核声明的基本会计记录的大量。但是，由于它们的大量参数，这种模型表现出固有不透明的缺点。同时，隐藏模型的内部运作通常会阻碍其现实世界的应用。该观察结果在财务审计中尤其如此，因为审计师必须合理地解释和证明其审计决定是合理的。如今，已经提出了各种可解释的AI（XAI）技术来应对这一挑战，例如Shapley添加说明（Shap）。但是，在经常在财务审核中应用的无监督DL中，这些方法在编码变量级别上解释了模型输出。结果，人类审计师通常很难理解自动编码器神经网络（AENNS）的解释。为了减轻此缺点，我们提出（重塑），该属性在汇总属性级别上解释了模型输出。此外，我们引入了一个评估框架，以比较XAI方法在审计中的多功能性。我们的实验结果表明，经验证据表明，与最先进的基线相比，重塑结果是多功能解释的。我们将这种属性级别的解释视为在财务审计中采用无监督的DL技术的必要下一步。

作为智能车辆控制系统的中心神经，车载网络总线对于车辆驾驶的安全至关重要。车载网络的最佳标准之一是控制器区域网络（CAN BUS）协议。但是，由于缺乏安全机制，CAN总线被设计为容易受到各种攻击的影响。为了增强车载网络的安全性并根据大量的CAN网络流量数据和提取的有价值的功能来促进该领域的研究，本研究全面比较了完全监督的机器学习与半监督的机器学习方法可以发信息异常检测。评估了传统的机器学习模型（包括单个分类器和集合模型）和基于神经网络的深度学习模型。此外，这项研究提出了一种基于自动编码器的深度自动编码器的半监督学习方法，该方法适用于CAN传达异常检测，并验证了其优于其他半监督方法的优势。广泛的实验表明，全面监督的方法通常优于半监督者，因为它们使用更多信息作为输入。通常，开发的基于XGBoost的模型以最佳准确性（98.65％），精度（0.9853）和Roc AUC（0.9585）击败了文献中报道的其他方法。

我们描述了作为黑暗机器倡议和LES Houches 2019年物理学研讨会进行的数据挑战的结果。挑战的目标是使用无监督机器学习算法检测LHC新物理学的信号。首先，我们提出了如何实现异常分数以在LHC搜索中定义独立于模型的信号区域。我们定义并描述了一个大型基准数据集，由> 10亿美元的Muton-Proton碰撞，其中包含> 10亿美元的模拟LHC事件组成。然后，我们在数据挑战的背景下审查了各种异常检测和密度估计算法，我们在一组现实分析环境中测量了它们的性能。我们绘制了一些有用的结论，可以帮助开发无监督的新物理搜索在LHC的第三次运行期间，并为我们的基准数据集提供用于HTTPS://www.phenomldata.org的未来研究。重现分析的代码在https://github.com/bostdiek/darkmachines-unsupervisedChallenge提供。

Anomaly detection is a classical problem in computer vision, namely the determination of the normal from the abnormal when datasets are highly biased towards one class (normal) due to the insufficient sample size of the other class (abnormal). While this can be addressed as a supervised learning problem, a significantly more challenging problem is that of detecting the unknown/unseen anomaly case that takes us instead into the space of a one-class, semi-supervised learning paradigm. We introduce such a novel anomaly detection model, by using a conditional generative adversarial network that jointly learns the generation of high-dimensional image space and the inference of latent space. Employing encoder-decoder-encoder sub-networks in the generator network enables the model to map the input image to a lower dimension vector, which is then used to reconstruct the generated output image. The use of the additional encoder network maps this generated image to its latent representation. Minimizing the distance between these images and the latent vectors during training aids in learning the data distribution for the normal samples. As a result, a larger distance metric from this learned data distribution at inference time is indicative of an outlier from that distribution -an anomaly. Experimentation over several benchmark datasets, from varying domains, shows the model efficacy and superiority over previous state-of-the-art approaches.

As the number of heterogenous IP-connected devices and traffic volume increase, so does the potential for security breaches. The undetected exploitation of these breaches can bring severe cybersecurity and privacy risks. Anomaly-based \acp{IDS} play an essential role in network security. In this paper, we present a practical unsupervised anomaly-based deep learning detection system called ARCADE (Adversarially Regularized Convolutional Autoencoder for unsupervised network anomaly DEtection). With a convolutional \ac{AE}, ARCADE automatically builds a profile of the normal traffic using a subset of raw bytes of a few initial packets of network flows so that potential network anomalies and intrusions can be efficiently detected before they cause more damage to the network. ARCADE is trained exclusively on normal traffic. An adversarial training strategy is proposed to regularize and decrease the \ac{AE}'s capabilities to reconstruct network flows that are out-of-the-normal distribution, thereby improving its anomaly detection capabilities. The proposed approach is more effective than state-of-the-art deep learning approaches for network anomaly detection. Even when examining only two initial packets of a network flow, ARCADE can effectively detect malware infection and network attacks. ARCADE presents 20 times fewer parameters than baselines, achieving significantly faster detection speed and reaction time.

作为一种主动网络安全保护方案，入侵检测系统（IDS）承担以恶意网络流量形式检测网络攻击的重要责任。入侵检测技术是ID的重要组成部分。目前，许多学者已经对入侵检测技术进行了广泛的研究。但是，为大规模网络流量数据开发有效的入侵检测方法仍然很困难。由于生成的对抗网络（GAN）具有强大的建模功能，可用于复杂的高维数据，因此它们为解决此问题提供了新的想法。在本文中，我们提出了一种基于Ebgan的入侵检测方法IDS-Ebgan，该方法将网络记录归类为正常流量或恶意流量。 IDS-Ebgan中的发电机负责将培训中的原始恶意网络流量转换为对抗性恶意示例。这是因为我们想使用对抗性学习来提高歧视者检测恶意流量的能力。同时，鉴别器采用自动编码器模型。在测试过程中，IDS-Ebgan使用歧视器的重建错误来对流量记录进行分类。