异常检测是指识别偏离正常模式的观察，这是各个领域的活跃研究区域。最近，数据量表越来越多，复杂性和维度将传统的表示和基于统计的异常检测方法变得具有挑战性。在本文中，我们利用了高光谱图像异常检测的生成模型。 GIST是模拟正常数据的分布，而分布外样品可以被视为异常值。首先，研究了基于变分的基于异常的检测方法。理论上和经验地发现它们由于距离强烈的概念（$ F $ -divergence）作为正则化而不稳定。其次，本文介绍了切片的Wasserstein距离，与F分歧相比，这是一种较弱的分布措施。然而，随机切片的数量难以估计真正的距离。最后，我们提出了一个投影的切片Wasserstein（PSW）基于AutoEncoder的异常筛选方法。特别是，我们利用计算友好的特征分解方法来找到切片高维数据的主成分。此外，我们所提出的距离可以用闭合形式计算，即使是先前的分布也不是高斯。在各种现实世界高光谱异常检测基准上进行的综合实验证明了我们提出的方法的卓越性能。

我们提出了一种用于测试使用吸收材料记录辐射电磁（EM）场的天线阵列的新方法，并使用条件编码器解码器模型通过AI评估所得到的热图像串。鉴于馈送到每个阵列元件的信号的功率和相位，我们能够通过我们训练的模型重建正常序列，并将其与热相机观察到的真实序列进行比较。这些热图仅包含低级模式，例如各种形状的斑点。然后，基于轮廓的异常检测器可以将重建误差矩阵映射到异常的分数，以识别故障的天线阵列，并将分类F量度（F-M）增加到46％。我们在天线测试系统收集的时间序列热量量表上展示了我们的方法。传统上，变形自身摩擦（VAE）学习观察噪声可以产生比具有恒定噪声假设的VAE更好的结果。然而，我们证明这不是对这种低级模式的异常检测的情况，有两个原因。首先，结合所学到的观察噪声的基线度量重建概率不能分化异常模式。其次，具有较低观察噪声假设的VAE的接收器操作特性（ROC）曲线下的区域比具有学习噪声的VAE高出11.83％。

在印刷电路板（PCB）的组装过程中，大多数误差是由表面安装装置（SMD）中的焊点引起的。在文献中，传统的特征提取基于方法需要设计手工制作的特征，并依赖于分层的RGB照明来检测焊接接头误差，而基于监督的卷积神经网络（CNN）的方法需要大量标记的异常样本（有缺陷的焊点）实现高精度。为了解决无限制环境中的光学检查问题，没有特殊的照明，没有无差错的参考板，我们提出了一种用于异常检测的新的Beta变化AutoEncoders（Beta-VAE）架构，可以在IC上工作和非IC组件。我们表明，拟议的模型学会了Disondled的数据表示，导致更独立的功能和改进的潜在空间表示。我们比较用于表征异常的激活和基于梯度的表示;并观察不同Beta参数对精度的影响，并在β-VAE中的特征表示中的影响。最后，我们表明，可以通过在没有指定的硬件或特征工程的直接正常样品上培训的模型来检测焊点上的异常。

机器学习模型通常会遇到与训练分布不同的样本。无法识别分布（OOD）样本，因此将该样本分配给课堂标签会显着损害模​​型的可靠性。由于其对在开放世界中的安全部署模型的重要性，该问题引起了重大关注。由于对所有可能的未知分布进行建模的棘手性，检测OOD样品是具有挑战性的。迄今为止，一些研究领域解决了检测陌生样本的问题，包括异常检测，新颖性检测，一级学习，开放式识别识别和分布外检测。尽管有相似和共同的概念，但分别分布，开放式检测和异常检测已被独立研究。因此，这些研究途径尚未交叉授粉，创造了研究障碍。尽管某些调查打算概述这些方法，但它们似乎仅关注特定领域，而无需检查不同领域之间的关系。这项调查旨在在确定其共同点的同时，对各个领域的众多著名作品进行跨域和全面的审查。研究人员可以从不同领域的研究进展概述中受益，并协同发展未来的方法。此外，据我们所知，虽然进行异常检测或单级学习进行了调查，但没有关于分布外检测的全面或最新的调查，我们的调查可广泛涵盖。最后，有了统一的跨域视角，我们讨论并阐明了未来的研究线，打算将这些领域更加紧密地融为一体。

We present a detailed study on Variational Autoencoders (VAEs) for anomalous jet tagging at the Large Hadron Collider. By taking in low-level jet constituents' information, and training with background QCD jets in an unsupervised manner, the VAE is able to encode important information for reconstructing jets, while learning an expressive posterior distribution in the latent space. When using the VAE as an anomaly detector, we present different approaches to detect anomalies: directly comparing in the input space or, instead, working in the latent space. In order to facilitate general search approaches such as bump-hunt, mass-decorrelated VAEs based on distance correlation regularization are also studied. We find that the naive mass-decorrelated VAEs fail at maintaining proper detection performance, by assigning higher probabilities to some anomalous samples. To build a performant mass-decorrelated anomalous jet tagger, we propose the Outlier Exposed VAE (OE-VAE), for which some outlier samples are introduced in the training process to guide the learned information. OE-VAEs are employed to achieve two goals at the same time: increasing sensitivity of outlier detection and decorrelating jet mass from the anomaly score. We succeed in reaching excellent results from both aspects. Code implementation of this work can be found at https://github.com/taolicheng/VAE-Jet

近似复杂的概率密度是现代统计中的核心问题。在本文中，我们介绍了变分推理（VI）的概念，这是一种机器学习中的流行方法，该方法使用优化技术来估计复杂的概率密度。此属性允许VI汇聚速度比经典方法更快，例如Markov Chain Monte Carlo采样。概念上，VI通过选择一个概率密度函数，然后找到最接近实际概率密度的家庭 - 通常使用Kullback-Leibler（KL）发散作为优化度量。我们介绍了缩窄的证据，以促进近似的概率密度，我们审查了平均场变分推理背后的想法。最后，我们讨论VI对变分式自动编码器（VAE）和VAE-生成的对抗网络（VAE-GAN）的应用。用本文，我们的目标是解释VI的概念，并通过这种方法协助协助。

与许多其他任务一样，神经网络对于异常检测目的而言非常有效。但是，很少有深度学习模型适合于在表格数据集上检测异常。本文提出了一种新的方法来标记基于Tracin的异常，这是最初引入的出于明确目的而引入的影响度量。所提出的方法可以增加任何无监督的深度异常检测方法。我们使用变异自动编码器测试我们的方法，并表明训练点子样本对测试点的平均影响可以作为异常的代理。与最先进的方法相比，我们的模型被证明具有竞争力：它在医疗和网络安全表格基准数据上的检测准确性方面具有可比性或更好的性能。

在能源系统的数字化中，传感器和智能电表越来越多地用于监视生产，运行和需求。基于智能电表数据的异常检测对于在早期阶段识别潜在的风险和异常事件至关重要，这可以作为及时启动适当动作和改善管理的参考。但是，来自能源系统的智能电表数据通常缺乏标签，并且包含噪声和各种模式，而没有明显的周期性。同时，在不同的能量场景中对异常的模糊定义和高度复杂的时间相关性对异常检测构成了巨大的挑战。许多传统的无监督异常检测算法（例如基于群集或基于距离的模型）对噪声不强大，也不完全利用时间序列中的时间依赖性以及在多个变量（传感器）中的其他依赖关系。本文提出了一种基于带有注意机制的变异复发自动编码器的无监督异常检测方法。凭借来自智能电表的“肮脏”数据，我们的方法预示了缺失的值和全球异常，以在训练中缩小其贡献。本文与基于VAE的基线方法和其他四种无监督的学习方法进行了定量比较，证明了其有效性和优势。本文通过一项实际案例研究进一步验证了所提出的方法，该研究方法是检测工业加热厂的供水温度异常。

在异常检测（AD）中，给出了识别测试样本是否异常，给出了正常样本的数据集。近期和有希望的广告方法依赖于深度生成模型，例如变形自动化器（VAES），用于对正常数据分布的无监督学习。在半监督广告（SSAD）中，数据还包括标记异常的小样本。在这项工作中，我们提出了两个用于SSAD培训VAES的两个变分方法。两种方法中的直观思路是将编码器训练到潜在向量之间的“分开”以进行正常和异常数据。我们表明，这个想法可以源于问题的原则概率制剂，并提出了简单有效的算法。我们的方法可以应用于各种数据类型，因为我们在从自然图像到天文学和医学的SSAD数据集上展示，可以与任何VAE模型架构相结合，并且自然与合奏相兼容。与未特定于特定数据类型的最先进的SSAD方法比较时，我们获得了异常值检测的显着改进。

Unsupervised learning-based anomaly detection in latent space has gained importance since discriminating anomalies from normal data becomes difficult in high-dimensional space. Both density estimation and distance-based methods to detect anomalies in latent space have been explored in the past. These methods prove that retaining valuable properties of input data in latent space helps in the better reconstruction of test data. Moreover, real-world sensor data is skewed and non-Gaussian in nature, making mean-based estimators unreliable for skewed data. Again, anomaly detection methods based on reconstruction error rely on Euclidean distance, which does not consider useful correlation information in the feature space and also fails to accurately reconstruct the data when it deviates from the training distribution. In this work, we address the limitations of reconstruction error-based autoencoders and propose a kernelized autoencoder that leverages a robust form of Mahalanobis distance (MD) to measure latent dimension correlation to effectively detect both near and far anomalies. This hybrid loss is aided by the principle of maximizing the mutual information gain between the latent dimension and the high-dimensional prior data space by maximizing the entropy of the latent space while preserving useful correlation information of the original data in the low-dimensional latent space. The multi-objective function has two goals -- it measures correlation information in the latent feature space in the form of robust MD distance and simultaneously tries to preserve useful correlation information from the original data space in the latent space by maximizing mutual information between the prior and latent space.

在没有监督信号的情况下学习简洁的数据表示是机器学习的基本挑战。实现此目标的一种突出方法是基于可能性的模型，例如变异自动编码器（VAE），以基于元元素来学习潜在表示，这是对下游任务有益的一般前提（例如，disentanglement）。但是，这种方法通常偏离原始的可能性体系结构，以应用引入的元优势，从而导致他们的培训不良变化。在本文中，我们提出了一种新颖的表示学习方法，Gromov-Wasserstein自动编码器（GWAE），该方法与潜在和数据分布直接匹配。 GWAE模型不是基于可能性的目标，而是通过最小化Gromov-Wasserstein（GW）度量的训练优化。 GW度量测量了在无与伦比的空间上支持的分布之间的面向结构的差异，例如具有不同的维度。通过限制可训练的先验的家庭，我们可以介绍元主题来控制下游任务的潜在表示。与现有基于VAE的方法的经验比较表明，GWAE模型可以通过更改先前的家族而无需进一步修改GW目标来基于元家庭学习表示。

半监督异常检测旨在使用在正常数据上培训的模型来检测来自正常样本的异常。随着近期深度学习的进步，研究人员设计了高效的深度异常检测方法。现有作品通常使用神经网络将数据映射到更具内容性的表示中，然后应用异常检测算法。在本文中，我们提出了一种方法，DASVDD，它共同学习AutoEncoder的参数，同时最小化其潜在表示上的封闭超球的音量。我们提出了一个异常的分数，它是自动化器的重建误差和距离潜在表示中封闭边距中心的距离的组合。尽量减少这种异常的分数辅助我们在培训期间学习正常课程的潜在分布。包括异常分数中的重建错误确保DESVDD不受常见的极度崩溃问题，因为DESVDD模型不会收敛到映射到潜在表示中的恒定点的常量点。几个基准数据集上的实验评估表明，该方法优于常用的最先进的异常检测算法，同时在不同的异常类中保持鲁棒性能。

vae或变异自动编码器将数据压缩为潜在属性，并生成不同品种的新数据。基于KL差异的VAE被认为是数据增强的有效技术。在本文中，我们提出使用Wasserstein距离作为潜在属性的分布相似性的量度，并显示其优质的理论下限（ELBO）与在轻度条件下的KL差异相比。使用多个实验，我们证明了新的损失函数具有更好的收敛属性，并生成可以更好地帮助图像分类任务的人工图像。

变异推理（VI）的核心原理是将计算复杂后概率密度计算的统计推断问题转换为可拖动的优化问题。该属性使VI比几种基于采样的技术更快。但是，传统的VI算法无法扩展到大型数据集，并且无法轻易推断出越野数据点，而无需重新运行优化过程。该领域的最新发展，例如随机，黑框和摊销VI，已帮助解决了这些问题。如今，生成的建模任务广泛利用摊销VI来实现其效率和可扩展性，因为它利用参数化函数来学习近似的后验密度参数。在本文中，我们回顾了各种VI技术的数学基础，以构成理解摊销VI的基础。此外，我们还概述了最近解决摊销VI问题的趋势，例如摊销差距，泛化问题，不一致的表示学习和后验崩溃。最后，我们分析了改善VI优化的替代差异度量。

本文旨在开发一种基于声学信号的无监督异常检测方法来自动机器监测。现有的方法，例如Deep AutoCoder（DAE），变异自动编码器（VAE），条件变异自动编码器（CVAE）等在潜在空间中的表示功能有限，因此，异常检测性能差。必须为每种不同类型的机器培训不同的模型，以准确执行异常检测任务。为了解决此问题，我们提出了一种新方法，称为层次条件变化自动编码器（HCVAE）。该方法利用有关工业设施的可用分类学等级知识来完善潜在空间表示。这些知识也有助于模型改善异常检测性能。我们通过使用适当的条件证明了单个HCVAE模型对不同类型机器的概括能力。此外，为了显示拟议方法的实用性，（i）我们在不同领域评估了HCVAE模型，（ii）我们检查了部分分层知识的影响。我们的结果表明，HCVAE方法验证了这两个点，并且在AUC得分度量上最大的15％在异常检测任务上的基线系统的表现优于基线系统。

我们如何检测异常：也就是说，与给定的一组高维数据（例如图像或传感器数据）显着不同的样品？这是众多应用程序的实际问题，也与使学习算法对意外输入更强大的目标有关。自动编码器是一种流行的方法，部分原因是它们的简单性和降低维度的能力。但是，异常评分函数并不适应正常样品范围内重建误差的自然变化，这阻碍了它们检测实际异常的能力。在本文中，我们从经验上证明了局部适应性对具有真实数据的实验中异常评分的重要性。然后，我们提出了新颖的自适应重建基于错误的评分方法，该方法根据潜在空间的重建误差的局部行为来适应其评分。我们表明，这改善了各种基准数据集中相关基线的异常检测性能。

在运行时检测新颖类的问题称为开放式检测，对于各种现实世界应用，例如医疗应用，自动驾驶等。在深度学习的背景下进行开放式检测涉及解决两个问题：（i）：（i）必须将输入图像映射到潜在表示中，该图像包含足够的信息来检测异常值，并且（ii）必须学习一个可以从潜在表示中提取此信息以识别异常情况的异常评分函数。深度异常检测方法的研究缓慢进展。原因之一可能是大多数论文同时引入了新的表示学习技术和新的异常评分方法。这项工作的目的是通过提供分别衡量表示学习和异常评分的有效性的方法来改善这种方法。这项工作做出了两项方法论贡献。首先是引入甲骨文异常检测的概念，以量化学习潜在表示中可用的信息。第二个是引入Oracle表示学习，该学习产生的表示形式可以保证足以准确的异常检测。这两种技术可帮助研究人员将学习表示的质量与异常评分机制的性能分开，以便他们可以调试和改善系统。这些方法还为通过更好的异常评分机制改善了多少开放类别检测提供了上限。两个牙齿的组合给出了任何开放类别检测方法可以实现的性能的上限。这项工作介绍了这两种Oracle技术，并通过将它们应用于几种领先的开放类别检测方法来演示其实用性。

大量的数据和创新算法使数据驱动的建模成为现代行业的流行技术。在各种数据驱动方法中，潜在变量模型（LVM）及其对应物占主要份额，并在许多工业建模领域中起着至关重要的作用。 LVM通常可以分为基于统计学习的经典LVM和基于神经网络的深层LVM（DLVM）。我们首先讨论经典LVM的定义，理论和应用，该定义和应用既是综合教程，又是对经典LVM的简短申请调查。然后，我们对当前主流DLVM进行了彻底的介绍，重点是其理论和模型体系结构，此后不久就提供了有关DLVM的工业应用的详细调查。上述两种类型的LVM具有明显的优势和缺点。具体而言，经典的LVM具有简洁的原理和良好的解释性，但是它们的模型能力无法解决复杂的任务。基于神经网络的DLVM具有足够的模型能力，可以在复杂的场景中实现令人满意的性能，但它以模型的解释性和效率为例。旨在结合美德并减轻这两种类型的LVM的缺点，并探索非神经网络的举止以建立深层模型，我们提出了一个新颖的概念，称为“轻量级Deep LVM（LDLVM）”。在提出了这个新想法之后，该文章首先阐述了LDLVM的动机和内涵，然后提供了两个新颖的LDLVM，并详尽地描述了其原理，建筑和优点。最后，讨论了前景和机会，包括重要的开放问题和可能的研究方向。

当应用于具有高级别方差的目标类别的复杂数据集时，基于异常检测的基于异常检测的方法趋于下降。类似于转移学习中使用的自学学习的想法，许多域具有类似的未标记数据集，可以作为分发超出样本的代理。在本文中，我们介绍了来自类似域的未标记数据的潜在不敏感的AutoEncoder（LIS-AE）用作阳性示例以形成常规AutoEncoder的潜在层（瓶颈），使得它仅能够重建一个任务。我们为拟议的培训流程和损失职能提供了理论理的理由以及广泛的消融研究，突出了我们模型的重要方面。我们在多个异常检测设置中测试我们的模型，呈现定量和定性分析，展示了我们对异常检测任务模型的显着性能改进。

异常（或异常值）在现实世界的经验观察中普遍存在，并且潜在地掩盖了重要的基础结构。准确识别异常样品对于下游数据分析任务的成功至关重要。为了自动识别异常，我们提出了概率鲁棒性自动编码器（PRAE）。 PRAE的目的是同时删除异常值并确定嵌入式样品的低维表示。我们首先提出了强大的自动编码器（RAE）目标，作为将数据拆分为嵌入式和离群值的最小化问题。我们的目标旨在排除离群值，同时包括可以使用自动编码器（AE）有效重建的样本（Inliers）的子集。 RAE最小化自动编码器的重建误差，同时合并尽可能多的样品。可以通过减去$ \ ell_0 $ norm对重建项中所选样本的数量进行$ \ ell_0 $ norm来制定这一点。不幸的是，这导致了一个棘手的组合问题。因此，我们提出了两种RAE的概率放松，它们是可区分的，可以减轻组合搜索的需求。我们证明，解决PRAE问题的解决方案等效于RAE的解决方案。我们使用合成数据来表明PRAE可以准确地删除广泛污染水平的异常值。最后，我们证明，使用PRAE进行异常检测会导致各种基准数据集中的最新结果。