内核主成分分析（KPCA）是一种公认​​的非线性维度减少方法，已广泛用于非线性故障检测任务。作为基于内核的基于核心的方法，KPCA继承了两个主要问题。首先，通常盲目地选择内核函数的形式和参数，根据试验和误差来盲目地选择。因此，在不适当的选择情况下可能存在严重的性能下降。其次，在在线监测阶段，KPCA具有多大的计算负担和实时性能差，因为内核方法需要利用所有离线训练数据。在这项工作中，为了处理两个缺点，提出了一种可学习的传统KPCA的更快实现。核心思想是使用新颖的非线性DAE-FE（基于深度AutoEncoder的特征提取）框架来参数化所有可行的内核函数，并详细提出DAE-PCA（基于深度AutoEncoder的主成分分析）方法。证明所提出的DAE-PCA方法等同于KPCA，但在根据输入的自动搜索最合适的非线性高维空间方面具有更多优势。此外，与传统KPCA相比，在线计算效率提高了大约100次。与田纳西州伊斯特曼（TE）的过程基准，说明了所提出的方法的有效性和优越性。

大量的数据和创新算法使数据驱动的建模成为现代行业的流行技术。在各种数据驱动方法中，潜在变量模型（LVM）及其对应物占主要份额，并在许多工业建模领域中起着至关重要的作用。 LVM通常可以分为基于统计学习的经典LVM和基于神经网络的深层LVM（DLVM）。我们首先讨论经典LVM的定义，理论和应用，该定义和应用既是综合教程，又是对经典LVM的简短申请调查。然后，我们对当前主流DLVM进行了彻底的介绍，重点是其理论和模型体系结构，此后不久就提供了有关DLVM的工业应用的详细调查。上述两种类型的LVM具有明显的优势和缺点。具体而言，经典的LVM具有简洁的原理和良好的解释性，但是它们的模型能力无法解决复杂的任务。基于神经网络的DLVM具有足够的模型能力，可以在复杂的场景中实现令人满意的性能，但它以模型的解释性和效率为例。旨在结合美德并减轻这两种类型的LVM的缺点，并探索非神经网络的举止以建立深层模型，我们提出了一个新颖的概念，称为“轻量级Deep LVM（LDLVM）”。在提出了这个新想法之后，该文章首先阐述了LDLVM的动机和内涵，然后提供了两个新颖的LDLVM，并详尽地描述了其原理，建筑和优点。最后，讨论了前景和机会，包括重要的开放问题和可能的研究方向。

虽然数据驱动的故障诊断方法已被广泛应用，但模型培训需要大规模标记数据。然而，在真正的行业实施这一点难以阻碍这些方法的应用。因此，迫切需要在这种情况下运行良好的有效诊断方法。本​​研究中，多级半监督改进的深度嵌入式聚类（MS-SSIDEC）方法，将半监督学习与改进的深度嵌入式聚类相结合（IDEC），建议共同探索稀缺标记的数据和大规模的未标记数据。在第一阶段，提出了一种可以自动将未标记的数据映射到低维特征空间中的跳过连接的卷积自动编码器（SCCAE），并预先培训以成为故障特征提取器。在第二阶段，提出了一个半监督的改进的深嵌入式聚类（SSIDEC）网络以进行聚类。首先用可用标记数据初始化，然后用于同时优化群集标签分配，并使要素空间更加群集。为了解决过度装备现象，在本阶段将虚拟的对抗培训（增值税）作为正则化术语。在第三阶段，伪标签是通过SSIDEC的高质量结果获得的。标记的数据集可以由这些伪标记的数据增强，然后利用以训练轴承故障诊断模型。来自滚动轴承的两个振动数据数据集用于评估所提出的方法的性能。实验结果表明，该方法在半监督和无监督的故障诊断任务中实现了有希望的性能。该方法通过有效地探索无监督数据，提供了在有限标记样本的情况下的故障诊断方法。

通过深度学习（DL）大大扩展了数据驱动故障诊断模型的范围。然而，经典卷积和反复化结构具有计算效率和特征表示的缺陷，而基于注意机制的最新变压器架构尚未应用于该字段。为了解决这些问题，我们提出了一种新颖的时变电片（TFT）模型，其灵感来自序列加工的香草变压器大规模成功。特别是，我们设计了一个新的笨蛋和编码器模块，以从振动信号的时频表示（TFR）中提取有效抽象。在此基础上，本文提出了一种基于时变电片的新的端到端故障诊断框架。通过轴承实验数据集的案例研究，我们构建了最佳变压器结构并验证了其故障诊断性能。与基准模型和其他最先进的方法相比，证明了所提出的方法的优越性。

考虑到应用时间序列数据的上下文信息的模型可以改善故障诊断性能，提出了一些神经网络结构（例如RNN，LSTM和GRU）有效地对故障诊断进行建模。但是，这些模型受其串行计算的限制，因此无法实现高诊断效率。同样，平行CNN很难以有效的方式实施故障诊断，因为它需要更大的卷积内核或深层结构才能实现长期特征提取能力。此外，BERT模型还采用绝对位置嵌入以将上下文信息引入模型，这将为原始数据带来噪声，因此不能直接应用于故障诊断。为了解决上述问题，本文提出了一个名为“深层平行时间序列关系网络”（DPTRN）的故障诊断模型。 DPTRN有三个优点：（1）我们提出的时间关系单元基于完整的多层感知器（MLP）结构，因此，DPTRN以并行方式执行故障诊断，并显着提高计算效率。 （2）通过改善绝对位置的嵌入，我们的新型解耦位置嵌入单元可以直接应用于故障诊断并学习上下文信息。 （3）我们提出的DPTRN在功能解释性方面具有明显的优势。我们确认了所提出的方法对四个数据集的影响，结果显示了所提出的DPTRN模型的有效性，效率和解释性。

卷积神经网络（CNN）由于其强大的特征提取和分类功能而广泛用于机械系统的故障诊断。但是，CNN是一个典型的黑盒模型，CNN决策的机制尚不清楚，这限制了其在高可授权要求的故障诊断方案中的应用。为了解决这个问题，我们提出了一个新颖的可解释的神经网络，称为时频网（TFN），其中物理上有意义的时频变换（TFT）方法被嵌入传统的卷积层中，作为自适应预处理层。这个称为时频卷积（TFCONV）层的预处理层受到精心设计的内核函数的约束，以提取与故障相关的时间频率信息。它不仅改善了诊断性能，而且还揭示了频域中CNN预测的逻辑基础。不同的TFT方法对应于TFCONV层的不同内核函数。在这项研究中，考虑了四种典型的TFT方法来制定TFN，并且通过三个机械故障诊断实验证明了它们的有效性和解释性。实验结果还表明，所提出的TFCONV层可以很容易地推广到具有不同深度的其他CNN。 TFN的代码可在https://github.com/chenqian0618/tfn上获得。

现代工业设施在生产过程中生成大量的原始传感器数据。该数据用于监视和控制过程，可以分析以检测和预测过程异常。通常，数据必须由专家注释，以进一步用于预测建模。当今的大多数研究都集中在需要手动注释数据的无监督异常检测算法或监督方法上。这些研究通常是使用过程模拟器生成的狭窄事件类别的数据进行的，并且在公开可用的数据集上很少验证建议的算法。在本文中，我们提出了一种新型的方法，用于用于工业化学传感器数据的无监督故障检测和诊断。我们根据具有各种故障类型的田纳西州伊士曼进程的两个公开数据集证明了我们的模型性能。结果表明，我们的方法显着优于现有方法（固定FPR的+0.2-0.3 TPR），并在不使用专家注释的情况下检测大多数过程故障。此外，我们进行了实验，以证明我们的方法适用于未提前不知道故障类型数量的现实世界应用。

由于维度的诅咒和训练数据的限制，即使对于强大的深度神经网络，近似高维功能是一个非常具有挑战性的任务。灵感来自使用可逆剩余网络（REVNET）的非线性级别集学习（NLL）方法，本文提出了一种通过学习级别集（钻头）的尺寸减少方法，用于函数近似。我们的方法包含两个主要组件：一个是伪可逆神经网络（PRNN）模块，有效地将高维输入变量转换为低维活动变量，另一个是基于变换的近似函数值的合成回归模块低维空间中的数据。 PRNN由于使用RevEN而言，PRNN不仅放宽了NLL方法中存在的非线性变换的可逆性约束，还可以自适应地重量每个样本的影响并控制函数对学习的活动变量的灵敏度。合成的回归使用输入空间中的欧几里德距离来选择相邻样本，其在活动变量的空间上的投影用于执行局部最小二乘性多项式拟合。这有助于解决传统本地和全球回归中存在的数值振荡问题。广泛的实验结果表明，我们的钻探方法优于NLL和有源子空间方法，特别是当目标函数在其输入域内部拥有临界点时。

内核方法是机器学习中最流行的技术之一，使用再现内核希尔伯特空间（RKHS）的属性来解决学习任务。在本文中，我们提出了一种新的数据分析框架，与再现内核Hilbert $ C ^ * $ - 模块（rkhm）和rkhm中的内核嵌入（kme）。由于RKHM包含比RKHS或VVRKHS）的更丰富的信息，因此使用RKHM的分析使我们能够捕获和提取诸如功能数据的结构属性。我们向RKHM展示了rkhm理论的分支，以适用于数据分析，包括代表性定理，以及所提出的KME的注射性和普遍性。我们还显示RKHM概括RKHS和VVRKHS。然后，我们提供采用RKHM和提议的KME对数据分析的具体程序。

图表神经网络（GNN）基于故障诊断（FD）近年来收到了越来越多的关注，因为来自来自多个应用域的数据可以有利地表示为图。实际上，与传统的FD方法相比，这种特殊的代表性表格导致了卓越的性能。在本次审查中，给出了GNN，对故障诊断领域的潜在应用以及未来观点的简单介绍。首先，通过专注于它们的数据表示，即时间序列，图像和图形，回顾基于神经网络的FD方法。其次，引入了GNN的基本原则和主要架构，注意了图形卷积网络，图注意网络，图形样本和聚合，图形自动编码器和空间 - 时间图卷积网络。第三，通过详细实验验证基于GNN的最相关的故障诊断方法，结论是基于GNN的方法可以实现良好的故障诊断性能。最后，提供了讨论和未来的挑战。

The ongoing transition from a linear (produce-use-dispose) to a circular economy poses significant challenges to current state-of-the-art information and communication technologies. In particular, the derivation of integrated, high-level views on material, process, and product streams from (real-time) data produced along value chains is challenging for several reasons. Most importantly, sufficiently rich data is often available yet not shared across company borders because of privacy concerns which make it impossible to build integrated process models that capture the interrelations between input materials, process parameters, and key performance indicators along value chains. In the current contribution, we propose a privacy-preserving, federated multivariate statistical process control (FedMSPC) framework based on Federated Principal Component Analysis (PCA) and Secure Multiparty Computation to foster the incentive for closer collaboration of stakeholders along value chains. We tested our approach on two industrial benchmark data sets - SECOM and ST-AWFD. Our empirical results demonstrate the superior fault detection capability of the proposed approach compared to standard, single-party (multiway) PCA. Furthermore, we showcase the possibility of our framework to provide privacy-preserving fault diagnosis to each data holder in the value chain to underpin the benefits of secure data sharing and federated process modeling.

在工业应用中，电动机的故障近一半是由于滚动元件轴承（REB）的退化引起的。因此，准确估算REB的剩余使用寿命（RUL）对于确保机械系统的可靠性和安全至关重要。为了应对这一挑战，基于模型的方法通常受到数学建模的复杂性的限制。另一方面，传统的数据驱动方法需要巨大的努力来提取降解功能并构建健康指数。在本文中，提出了一个新颖的在线数据驱动框架，以利用深度卷积神经网络（CNN）的采用来预测轴承的统治。更具体地说，训练轴承的原始振动首先是使用Hilbert-huang变换（HHT）处理的，并将新型的非线性降解指标构建为学习标签。然后使用CNN来识别提取的降解指示器和训练轴承振动之间的隐藏模式，这使得可以自动估计测试轴承的降解。最后，通过使用$ \ epsilon $ -Support向量回归模型来预测测试轴承的规定。与最先进的方法相比，提出的规则估计框架的出色性能通过实验结果证明。提出的CNN模型的一般性也通过转移到经历不同操作条件的轴承来验证。

现代工业系统中成像和配置传感器的广泛可访问性创造了大量的高维传感变量。这导致对高维过程监测的研究日益兴趣。然而，文献中的大多数方法都假设控制内人群以给定基础（即样条，小波，核等）或未知基础（即主成分分析及其变体）的线性歧管（即样条，小波，内核等）。 ，不能用来有效地用非线性流形对概况进行建模，这在许多现实生活中很常见。我们将深层概率自动编码器作为一种可行的无监督学习方法来建模这种歧管。为此，我们从经典方法中制定了监测统计数据的非线性和概率扩展，作为预期重建误差（ERE）和基于KL-Divergence（KLD）的监视统计量。通过广泛的仿真研究，我们提供了有关为什么基于潜在空间的统计数据不可靠的见解，以及为什么基于残留空间的统计数据通常在基于深度学习的方法方面表现更好。最后，我们通过模拟研究和现实生活中的案例研究展示了深层概率模型的优势，涉及热钢滚动过程中缺陷的图像。

无监督的域适应（UDA）显示出近年来工作条件下的轴承故障诊断的显着结果。但是，大多数UDA方法都不考虑数据的几何结构。此外，通常应用全局域适应技术，这忽略了子域之间的关系。本文通过呈现新的深亚域适应图卷积神经网络（DSAGCN）来解决提到的挑战，具有两个关键特性：首先，采用图形卷积神经网络（GCNN）来模拟数据结构。二，对抗域适应和局部最大平均差异（LMMD）方法同时应用，以对准子域的分布并降低相关子域和全局域之间的结构差异。 CWRU和Paderborn轴承数据集用于验证DSAGCN方法的比较模型之间的效率和优越性。实验结果表明，将结构化子域与域适应方法对准，以获得无监督故障诊断的准确数据驱动模型。

最近的智能故障诊断（IFD）的进展大大依赖于深度代表学习和大量标记数据。然而，机器通常以各种工作条件操作，或者目标任务具有不同的分布，其中包含用于训练的收集数据（域移位问题）。此外，目标域中的新收集的测试数据通常是未标记的，导致基于无监督的深度转移学习（基于UDTL为基础的）IFD问题。虽然它已经实现了巨大的发展，但标准和开放的源代码框架以及基于UDTL的IFD的比较研究尚未建立。在本文中，我们根据不同的任务，构建新的分类系统并对基于UDTL的IFD进行全面审查。对一些典型方法和数据集的比较分析显示了基于UDTL的IFD中的一些开放和基本问题，这很少研究，包括特征，骨干，负转移，物理前导等的可转移性，强调UDTL的重要性和再现性 - 基于IFD，整个测试框架将发布给研究界以促进未来的研究。总之，发布的框架和比较研究可以作为扩展界面和基本结果，以便对基于UDTL的IFD进行新的研究。代码框架可用于\ url {https:/github.com/zhaozhibin/udtl}。

这是一门专门针对STEM学生开发的介绍性机器学习课程。我们的目标是为有兴趣的读者提供基础知识，以在自己的项目中使用机器学习，并将自己熟悉术语作为进一步阅读相关文献的基础。在这些讲义中，我们讨论受监督，无监督和强化学习。注释从没有神经网络的机器学习方法的说明开始，例如原理分析，T-SNE，聚类以及线性回归和线性分类器。我们继续介绍基本和先进的神经网络结构，例如密集的进料和常规神经网络，经常性的神经网络，受限的玻尔兹曼机器，（变性）自动编码器，生成的对抗性网络。讨论了潜在空间表示的解释性问题，并使用梦和对抗性攻击的例子。最后一部分致力于加强学习，我们在其中介绍了价值功能和政策学习的基本概念。

基于部分微分方程的物理模拟通常会生成空间场结果，这些结果可用于计算系统设计和优化系统的特定属性。由于模拟的密集计算负担，替代模型将低维输入映射到空间场通常是基于相对较小的数据集构建的。为了解决预测整个空间场的挑战，流行的核心区域线性线性模型（LMC）可以在高维空间场输出中解散复杂的相关性，并提供准确的预测。但是，如果通过基本函数与潜在过程的线性组合无法很好地近似空间场，则LMC会失败。在本文中，我们通过引入可演化的神经网络来线性化高度复杂和非线性空间场，以便LMC可以轻松地将非线性问题概括为非线性问题，同时保留了放大学性和可伸缩性。几个现实世界的应用程序表明，E-LMC可以有效利用空间相关性，显示出比原始LMC的最大提高约40％，并且表现优于其他最先进的空间场模型。

NYSTR \“ OM方法是提高内核方法可伸缩性的最流行技术之一。但是，它尚未与经典PCA一致的核PCA得出。在本文中，我们使用NyStr \”来得出核PCA。OM方法，从而提供了使内核PCA可扩展的少数可用选项之一。我们通过与完整方法相比，通过有限样本的置信度结合了经验重建误差，进一步研究其统计精度。该方法和绑定的行为通过在多个现实世界数据集上的计算机实验进行说明。作为该方法的应用，我们使用NyStr \“ Om方法表示内核主成分回归，作为NyStr \“ Om内核脊回归的替代方案，可用于使用核有效正规化回归。

天然气管道中的泄漏检测是石油和天然气行业的一个重要且持续的问题。这尤其重要，因为管道是运输天然气的最常见方法。这项研究旨在研究数据驱动的智能模型使用基本操作参数检测天然气管道的小泄漏的能力，然后使用现有的性能指标比较智能模型。该项目应用观察者设计技术，使用回归分类层次模型来检测天然气管道中的泄漏，其中智能模型充当回归器，并且修改后的逻辑回归模型充当分类器。该项目使用四个星期的管道数据流研究了五个智能模型（梯度提升，决策树，随机森林，支持向量机和人工神经网络）。结果表明，虽然支持向量机和人工神经网络比其他网络更好，但由于其内部复杂性和所使用的数据量，它们并未提供最佳的泄漏检测结果。随机森林和决策树模型是最敏感的，因为它们可以在大约2小时内检测到标称流量的0.1％的泄漏。所有智能模型在测试阶段中具有高可靠性，错误警报率为零。将所有智能模型泄漏检测的平均时间与文献中的实时短暂模型进行了比较。结果表明，智能模型在泄漏检测问题中的表现相对较好。该结果表明，可以与实时瞬态模型一起使用智能模型，以显着改善泄漏检测结果。

Multi-class ensemble classification remains a popular focus of investigation within the research community. The popularization of cloud services has sped up their adoption due to the ease of deploying large-scale machine-learning models. It has also drawn the attention of the industrial sector because of its ability to identify common problems in production. However, there are challenges to conform an ensemble classifier, namely a proper selection and effective training of the pool of classifiers, the definition of a proper architecture for multi-class classification, and uncertainty quantification of the ensemble classifier. The robustness and effectiveness of the ensemble classifier lie in the selection of the pool of classifiers, as well as in the learning process. Hence, the selection and the training procedure of the pool of classifiers play a crucial role. An (ensemble) classifier learns to detect the classes that were used during the supervised training. However, when injecting data with unknown conditions, the trained classifier will intend to predict the classes learned during the training. To this end, the uncertainty of the individual and ensemble classifier could be used to assess the learning capability. We present a novel approach for novel detection using ensemble classification and evidence theory. A pool selection strategy is presented to build a solid ensemble classifier. We present an architecture for multi-class ensemble classification and an approach to quantify the uncertainty of the individual classifiers and the ensemble classifier. We use uncertainty for the anomaly detection approach. Finally, we use the benchmark Tennessee Eastman to perform experiments to test the ensemble classifier's prediction and anomaly detection capabilities.