了解小规模对流和风暴形成的细节至关重要，可以准确地代表较大规模的行星动态。目前，大气科学家运营高分辨率，风暴解决模拟，以捕获这些公里规模的天气细节。但是，由于它们包含丰富的信息，所以这些模拟可能会压倒地分析传统方法。本文采用数据驱动方法，并将垂直风速，温度和水蒸气信息共同嵌入为VAE架构的三个“通道”。我们的“多通道VAE”导致比早期的工作分析隔离的垂直速度更具可解释和强大的潜在结构。分析和聚类VAE的潜在空间以完全无人监督的方式识别天气模式及其地理表现。我们的方法表明，VAES可以在分析高维模拟数据和提取危重天气和气候特征方面发挥重要作用。

我们采用变化性AutoEncoders从单粒子Anderson杂质模型谱函数的数据集中提取物理洞察。培训AutoEncoders以查找低维，潜在的空间表示，其忠实地表征培训集的每个元素，通过重建误差测量。变形式自动化器，标准自动化器的概率概括，进一步条件促进了高度可解释的特征。在我们的研究中，我们发现学习的潜在变量与众所周知的众所周知，但非活动的参数强烈关联，这些参数表征了安德森杂质模型中的紧急行为。特别地，一种潜在的可变变量与粒子孔不对称相关，而另一个潜在的变量与杂质模型中动态产生的低能量尺度接近一对一的对应关系。使用符号回归，我们将此变量模拟了该变量作为已知的裸物理输入参数和“重新发现”的kondo温度的非扰动公式。我们开发的机器学习管道表明了一种通用方法，它开启了发现其他物理系统中的新领域知识的机会。

无监督的异常检测对于未来在大型数据集中搜索稀有现象的分析可能至关重要，例如在LHC收集的。为此，我们介绍了一个受到物理启发的变量自动编码器（VAE）体系结构，该体系结构在LHC奥运会机器学习挑战数据集中竞争性和稳健性。我们证明了如何将某些物理可观察物直接嵌入VAE潜在空间中，同时使分类器显然是不可知的，可以帮助识别和表征测得的光谱中的特征，这是由于数据集中存在异常而引起的。

在能源系统的数字化中，传感器和智能电表越来越多地用于监视生产，运行和需求。基于智能电表数据的异常检测对于在早期阶段识别潜在的风险和异常事件至关重要，这可以作为及时启动适当动作和改善管理的参考。但是，来自能源系统的智能电表数据通常缺乏标签，并且包含噪声和各种模式，而没有明显的周期性。同时，在不同的能量场景中对异常的模糊定义和高度复杂的时间相关性对异常检测构成了巨大的挑战。许多传统的无监督异常检测算法（例如基于群集或基于距离的模型）对噪声不强大，也不完全利用时间序列中的时间依赖性以及在多个变量（传感器）中的其他依赖关系。本文提出了一种基于带有注意机制的变异复发自动编码器的无监督异常检测方法。凭借来自智能电表的“肮脏”数据，我们的方法预示了缺失的值和全球异常，以在训练中缩小其贡献。本文与基于VAE的基线方法和其他四种无监督的学习方法进行了定量比较，证明了其有效性和优势。本文通过一项实际案例研究进一步验证了所提出的方法，该研究方法是检测工业加热厂的供水温度异常。

We present a detailed study on Variational Autoencoders (VAEs) for anomalous jet tagging at the Large Hadron Collider. By taking in low-level jet constituents' information, and training with background QCD jets in an unsupervised manner, the VAE is able to encode important information for reconstructing jets, while learning an expressive posterior distribution in the latent space. When using the VAE as an anomaly detector, we present different approaches to detect anomalies: directly comparing in the input space or, instead, working in the latent space. In order to facilitate general search approaches such as bump-hunt, mass-decorrelated VAEs based on distance correlation regularization are also studied. We find that the naive mass-decorrelated VAEs fail at maintaining proper detection performance, by assigning higher probabilities to some anomalous samples. To build a performant mass-decorrelated anomalous jet tagger, we propose the Outlier Exposed VAE (OE-VAE), for which some outlier samples are introduced in the training process to guide the learned information. OE-VAEs are employed to achieve two goals at the same time: increasing sensitivity of outlier detection and decorrelating jet mass from the anomaly score. We succeed in reaching excellent results from both aspects. Code implementation of this work can be found at https://github.com/taolicheng/VAE-Jet

我们描述了作为黑暗机器倡议和LES Houches 2019年物理学研讨会进行的数据挑战的结果。挑战的目标是使用无监督机器学习算法检测LHC新物理学的信号。首先，我们提出了如何实现异常分数以在LHC搜索中定义独立于模型的信号区域。我们定义并描述了一个大型基准数据集，由> 10亿美元的Muton-Proton碰撞，其中包含> 10亿美元的模拟LHC事件组成。然后，我们在数据挑战的背景下审查了各种异常检测和密度估计算法，我们在一组现实分析环境中测量了它们的性能。我们绘制了一些有用的结论，可以帮助开发无监督的新物理搜索在LHC的第三次运行期间，并为我们的基准数据集提供用于HTTPS://www.phenomldata.org的未来研究。重现分析的代码在https://github.com/bostdiek/darkmachines-unsupervisedChallenge提供。

风力涡轮机刀片中的冰积累可能导致它们描述异常旋转或根本没有旋转，从而影响电力和功率输出的产生。在这项工作中，我们通过将其作为异常检测多变频时间序列来调查风力涡轮机中的冰积累问题。我们的方法侧重于两个主要部分：首先，使用变分性复发性AutoEncoder（VRAE）学习时间序列的低维表示，并使用无监督的聚类算法将学习的表示分类为正常（无冰积累）或异常（ICE）积累）。我们在自定义风力涡轮机时间序列数据集中评估了我们的方法，对于两班问题（一个正常与一个异常类），我们获得了最多96美元的分类准确性。对于多级问题（一个正常与多种异常类别），我们对低维学习潜空间的定性分析，提供了对我们解决此类问题的方法的能力的见解。重现这项工作的代码可以在这里找到https://github.com/agrija9/wind-turbines-vraepaper。

在印刷电路板（PCB）的组装过程中，大多数误差是由表面安装装置（SMD）中的焊点引起的。在文献中，传统的特征提取基于方法需要设计手工制作的特征，并依赖于分层的RGB照明来检测焊接接头误差，而基于监督的卷积神经网络（CNN）的方法需要大量标记的异常样本（有缺陷的焊点）实现高精度。为了解决无限制环境中的光学检查问题，没有特殊的照明，没有无差错的参考板，我们提出了一种用于异常检测的新的Beta变化AutoEncoders（Beta-VAE）架构，可以在IC上工作和非IC组件。我们表明，拟议的模型学会了Disondled的数据表示，导致更独立的功能和改进的潜在空间表示。我们比较用于表征异常的激活和基于梯度的表示;并观察不同Beta参数对精度的影响，并在β-VAE中的特征表示中的影响。最后，我们表明，可以通过在没有指定的硬件或特征工程的直接正常样品上培训的模型来检测焊点上的异常。

Anomaly detection in MRI is of high clinical value in imaging and diagnosis. Unsupervised methods for anomaly detection provide interesting formulations based on reconstruction or latent embedding, offering a way to observe properties related to factorization. We study four existing modeling methods, and report our empirical observations using simple data science tools, to seek outcomes from the perspective of factorization as it would be most relevant to the task of unsupervised anomaly detection, considering the case of brain structural MRI. Our study indicates that anomaly detection algorithms that exhibit factorization related properties are well capacitated with delineatory capabilities to distinguish between normal and anomaly data. We have validated our observations in multiple anomaly and normal datasets.

我们提出了一种用于超声心动图视频的新型异常检测方法。引入的方法利用心脏周期的周期性来学习各种潜在轨迹模型（TVAE）的不同变体。对这些模型进行了对婴儿超声心动图视频内部数据集的健康样本的培训，这些数据集由多个室内视图组成，以了解健康人群的规范性。在推断期间，最大值基于后验（MAP）的异常检测以检测我们数据集中的分布样品。所提出的方法可靠地识别出严重的先天性心脏缺陷，例如Ebstein的异常或Shonecomplex。此外，它在检测肺动脉高压和右心室扩张的任务方面，通过标准变异自动编码器实现了优于基于地图的异常检测。最后，我们证明了所提出的方法通过热图提供了对其输出的可解释解释，该图突出了与异常心脏结构相对应的区域。

在异常检测（AD）中，给出了识别测试样本是否异常，给出了正常样本的数据集。近期和有希望的广告方法依赖于深度生成模型，例如变形自动化器（VAES），用于对正常数据分布的无监督学习。在半监督广告（SSAD）中，数据还包括标记异常的小样本。在这项工作中，我们提出了两个用于SSAD培训VAES的两个变分方法。两种方法中的直观思路是将编码器训练到潜在向量之间的“分开”以进行正常和异常数据。我们表明，这个想法可以源于问题的原则概率制剂，并提出了简单有效的算法。我们的方法可以应用于各种数据类型，因为我们在从自然图像到天文学和医学的SSAD数据集上展示，可以与任何VAE模型架构相结合，并且自然与合奏相兼容。与未特定于特定数据类型的最先进的SSAD方法比较时，我们获得了异常值检测的显着改进。

人脑解剖图像的专家解释是神经放射学的中心部分。已经提出了几种基于机器学习的技术来协助分析过程。但是，通常需要对ML模型进行培训以执行特定的任务，例如脑肿瘤分割或分类。相应的培训数据不仅需要费力的手动注释，而且人脑MRI中可以存在多种异常 - 甚至同时发生，这使得所有可能的异常情况都非常具有挑战性。因此，可能的解决方案是一种无监督的异常检测（UAD）系统，可以从健康受试者的未标记数据集中学习数据分布，然后应用以检测​​分布样本。然后，这种技术可用于检测异常 - 病变或异常，例如脑肿瘤，而无需明确训练该特定病理的模型。过去已经为此任务提出了几种基于变异的自动编码器（VAE）技术。即使它们在人为模拟的异常情况下表现良好，但其中许多在检测临床数据中的异常情况下表现较差。这项研究提出了“上下文编码” VAE（CEVAE）模型的紧凑版本，并结合了预处理和后处理步骤，创建了UAD管道（Strega）（Strega），该步骤对临床数据更强大，并显示其在检测到其检测方面的适用性脑MRI中的肿瘤等异常。 The proposed pipeline achieved a Dice score of 0.642$\pm$0.101 while detecting tumours in T2w images of the BraTS dataset and 0.859$\pm$0.112 while detecting artificially induced anomalies, while the best performing baseline achieved 0.522$\pm$0.135 and 0.783$\ PM分别为0.111美元。

Time series anomaly detection has applications in a wide range of research fields and applications, including manufacturing and healthcare. The presence of anomalies can indicate novel or unexpected events, such as production faults, system defects, or heart fluttering, and is therefore of particular interest. The large size and complex patterns of time series have led researchers to develop specialised deep learning models for detecting anomalous patterns. This survey focuses on providing structured and comprehensive state-of-the-art time series anomaly detection models through the use of deep learning. It providing a taxonomy based on the factors that divide anomaly detection models into different categories. Aside from describing the basic anomaly detection technique for each category, the advantages and limitations are also discussed. Furthermore, this study includes examples of deep anomaly detection in time series across various application domains in recent years. It finally summarises open issues in research and challenges faced while adopting deep anomaly detection models.

基于自动编码器的降低订购建模（ROM）最近由于其捕获基本非线性特征的能力而引起了极大的关注。但是，两个关键缺点严重破坏了其对各种物理应用的可伸缩性：纠缠和无法解释的潜在变量（LVS）和潜在空间维度的眼罩确定。在这方面，本研究提出了仅使用$ \ beta $ - variational AutoCododer提取的可解释和信息密集型LV的物理感知ROM，在本文中被称为物理意识的LV。为了提取这些LV，它们的独立性和信息强度在二维跨音速基准问题中进行了定量检查。然后，对物理意识的LV的物理含义进行了彻底的研究，我们确认，使用适当的超参数$ \ beta $，它们实际上对应于训练数据集的生成因子，马赫数和攻击角度。据作者所知，我们的工作是第一个实际上确认$ \ beta $ variational自动编码器可以自动提取应用物理领域的物理生成因子。最后，将仅利用物理意识的LVS的物理学意识ROM与常规ROM进行了比较，并且成功验证了其有效性和效率。

视频异常检测是现在计算机视觉中的热门研究主题之一，因为异常事件包含大量信息。异常是监控系统中的主要检测目标之一，通常需要实时行动。关于培训的标签数据的可用性（即，没有足够的标记数据进行异常），半监督异常检测方法最近获得了利益。本文介绍了该领域的研究人员，以新的视角，并评论了最近的基于深度学习的半监督视频异常检测方法，基于他们用于异常检测的共同策略。我们的目标是帮助研究人员开发更有效的视频异常检测方法。由于选择右深神经网络的选择对于这项任务的几个部分起着重要作用，首先准备了对DNN的快速比较审查。与以前的调查不同，DNN是从时空特征提取观点审查的，用于视频异常检测。这部分审查可以帮助本领域的研究人员选择合适的网络，以获取其方法的不同部分。此外，基于其检测策略，一些最先进的异常检测方法受到严格调查。审查提供了一种新颖，深入了解现有方法，并导致陈述这些方法的缺点，这可能是未来作品的提示。

本文旨在开发一种基于声学信号的无监督异常检测方法来自动机器监测。现有的方法，例如Deep AutoCoder（DAE），变异自动编码器（VAE），条件变异自动编码器（CVAE）等在潜在空间中的表示功能有限，因此，异常检测性能差。必须为每种不同类型的机器培训不同的模型，以准确执行异常检测任务。为了解决此问题，我们提出了一种新方法，称为层次条件变化自动编码器（HCVAE）。该方法利用有关工业设施的可用分类学等级知识来完善潜在空间表示。这些知识也有助于模型改善异常检测性能。我们通过使用适当的条件证明了单个HCVAE模型对不同类型机器的概括能力。此外，为了显示拟议方法的实用性，（i）我们在不同领域评估了HCVAE模型，（ii）我们检查了部分分层知识的影响。我们的结果表明，HCVAE方法验证了这两个点，并且在AUC得分度量上最大的15％在异常检测任务上的基线系统的表现优于基线系统。

神经网络在许多科学学科中发挥着越来越大的作用，包括物理学。变形AutoEncoders（VAE）是能够表示在低维潜空间中的高维数据的基本信息，该神经网络具有概率解释。特别是所谓的编码器网络，VAE的第一部分，其将其输入到潜伏空间中的位置，另外在该位置的方差方面提供不确定性信息。在这项工作中，介绍了对AutoEncoder架构的扩展，渔民。在该架构中，借助于Fisher信息度量，不使用编码器中的附加信息信道生成潜在空间不确定性，而是从解码器导出。这种架构具有来自理论观点的优点，因为它提供了从模型的直接不确定性量化，并且还考虑不确定的交叉相关。我们可以通过实验表明，渔民生产比可比较的VAE更准确的数据重建，并且其学习性能也明显较好地缩放了潜伏空间尺寸的数量。

机器学习在加强和加速寻求新基本物理学方面发挥着至关重要的作用。我们审查了新物理学的机器学习方法和应用中，在地面高能量物理实验的背景下，包括大型强子撞机，罕见的事件搜索和中微生实验。虽然机器学习在这些领域拥有悠久的历史，但深入学习革命（2010年代初）就研究的范围和雄心而产生了定性转变。这些现代化的机器学习发展是本综述的重点。

现代工业系统中成像和配置传感器的广泛可访问性创造了大量的高维传感变量。这导致对高维过程监测的研究日益兴趣。然而，文献中的大多数方法都假设控制内人群以给定基础（即样条，小波，核等）或未知基础（即主成分分析及其变体）的线性歧管（即样条，小波，内核等）。 ，不能用来有效地用非线性流形对概况进行建模，这在许多现实生活中很常见。我们将深层概率自动编码器作为一种可行的无监督学习方法来建模这种歧管。为此，我们从经典方法中制定了监测统计数据的非线性和概率扩展，作为预期重建误差（ERE）和基于KL-Divergence（KLD）的监视统计量。通过广泛的仿真研究，我们提供了有关为什么基于潜在空间的统计数据不可靠的见解，以及为什么基于残留空间的统计数据通常在基于深度学习的方法方面表现更好。最后，我们通过模拟研究和现实生活中的案例研究展示了深层概率模型的优势，涉及热钢滚动过程中缺陷的图像。

主体组件分析（PCA）在给定固定组件维度的一类线性模型的情况下，将重建误差最小化。概率PCA通过学习PCA潜在空间权重的概率分布，从而创建生成模型，从而添加了概率结构。自动编码器（AE）最小化固定潜在空间维度的一类非线性模型中的重建误差，在固定维度处胜过PCA。在这里，我们介绍了概率自动编码器（PAE），该自动编码器（PAE）使用归一化流量（NF）了解了AE潜在空间权重的概率分布。 PAE快速且易于训练，并在下游任务中遇到小的重建错误，样本质量高以及良好的性能。我们将PAE与差异AE（VAE）进行比较，表明PAE训练更快，达到较低的重建误差，并产生良好的样品质量，而无需特殊的调整参数或培训程序。我们进一步证明，PAE是在贝叶斯推理的背景下，用于涂抹和降解应用程序的贝叶斯推断，可以执行概率图像重建的下游任务的强大模型。最后，我们将NF的潜在空间密度确定为有希望的离群检测度量。