面对昂贵且琐碎的数据收集和注释的难度，如何在小型训练数据集上进行深度学习的短期电压稳定性评估（STVSA）模型良好工作是一个具有挑战性和紧迫的问题。虽然可以通过应急仿真直接产生足够大的数据集，但这种数据生成过程通常很麻烦和效率低;虽然数据增强提供了一种低成本和有效的方式来人为地膨胀具有标签保存转换的代表性和多样化的训练数据集。在这方面，本文提出了一种新的深学习智能系统，包括用于电力系统的STVSA的数据增强。首先，由于可靠的定量标准来判断特定电力系统的稳定状态，利用半监督集群学习，以在原始小型数据集中获得标记的样本。其次，为了使适用于小型数据集的深度学习，引入了条件最小二乘生成的对抗网络（LSGAN）基础的数据增强，以通过人为创建额外的有效样本来扩展原始数据集。第三，为了从系统的后扰动动态轨迹中提取时间依赖性，建立了一种基于注意机制的评估模型的双向门控复发单元，这双向学习了重要的时间依赖性并自动分配注意力。测试结果展示了所提出的方法管理以实现更好的准确性和与原始小型数据集的响应时间更快。除了分类准确性，这项工作除了统计措施，全面审查提案的履行情况。

Time series anomaly detection has applications in a wide range of research fields and applications, including manufacturing and healthcare. The presence of anomalies can indicate novel or unexpected events, such as production faults, system defects, or heart fluttering, and is therefore of particular interest. The large size and complex patterns of time series have led researchers to develop specialised deep learning models for detecting anomalous patterns. This survey focuses on providing structured and comprehensive state-of-the-art time series anomaly detection models through the use of deep learning. It providing a taxonomy based on the factors that divide anomaly detection models into different categories. Aside from describing the basic anomaly detection technique for each category, the advantages and limitations are also discussed. Furthermore, this study includes examples of deep anomaly detection in time series across various application domains in recent years. It finally summarises open issues in research and challenges faced while adopting deep anomaly detection models.

大量的数据和创新算法使数据驱动的建模成为现代行业的流行技术。在各种数据驱动方法中，潜在变量模型（LVM）及其对应物占主要份额，并在许多工业建模领域中起着至关重要的作用。 LVM通常可以分为基于统计学习的经典LVM和基于神经网络的深层LVM（DLVM）。我们首先讨论经典LVM的定义，理论和应用，该定义和应用既是综合教程，又是对经典LVM的简短申请调查。然后，我们对当前主流DLVM进行了彻底的介绍，重点是其理论和模型体系结构，此后不久就提供了有关DLVM的工业应用的详细调查。上述两种类型的LVM具有明显的优势和缺点。具体而言，经典的LVM具有简洁的原理和良好的解释性，但是它们的模型能力无法解决复杂的任务。基于神经网络的DLVM具有足够的模型能力，可以在复杂的场景中实现令人满意的性能，但它以模型的解释性和效率为例。旨在结合美德并减轻这两种类型的LVM的缺点，并探索非神经网络的举止以建立深层模型，我们提出了一个新颖的概念，称为“轻量级Deep LVM（LDLVM）”。在提出了这个新想法之后，该文章首先阐述了LDLVM的动机和内涵，然后提供了两个新颖的LDLVM，并详尽地描述了其原理，建筑和优点。最后，讨论了前景和机会，包括重要的开放问题和可能的研究方向。

虽然数据驱动的故障诊断方法已被广泛应用，但模型培训需要大规模标记数据。然而，在真正的行业实施这一点难以阻碍这些方法的应用。因此，迫切需要在这种情况下运行良好的有效诊断方法。本​​研究中，多级半监督改进的深度嵌入式聚类（MS-SSIDEC）方法，将半监督学习与改进的深度嵌入式聚类相结合（IDEC），建议共同探索稀缺标记的数据和大规模的未标记数据。在第一阶段，提出了一种可以自动将未标记的数据映射到低维特征空间中的跳过连接的卷积自动编码器（SCCAE），并预先培训以成为故障特征提取器。在第二阶段，提出了一个半监督的改进的深嵌入式聚类（SSIDEC）网络以进行聚类。首先用可用标记数据初始化，然后用于同时优化群集标签分配，并使要素空间更加群集。为了解决过度装备现象，在本阶段将虚拟的对抗培训（增值税）作为正则化术语。在第三阶段，伪标签是通过SSIDEC的高质量结果获得的。标记的数据集可以由这些伪标记的数据增强，然后利用以训练轴承故障诊断模型。来自滚动轴承的两个振动数据数据集用于评估所提出的方法的性能。实验结果表明，该方法在半监督和无监督的故障诊断任务中实现了有希望的性能。该方法通过有效地探索无监督数据，提供了在有限标记样本的情况下的故障诊断方法。

深度学习属于人工智能领域，机器执行通常需要某种人类智能的任务。类似于大脑的基本结构，深度学习算法包括一种人工神经网络，其类似于生物脑结构。利用他们的感官模仿人类的学习过程，深入学习网络被送入（感官）数据，如文本，图像，视频或声音。这些网络在不同的任务中优于最先进的方法，因此，整个领域在过去几年中看到了指数增长。这种增长在过去几年中每年超过10,000多种出版物。例如，只有在医疗领域中的所有出版物中覆盖的搜索引擎只能在Q3 2020中覆盖所有出版物的子集，用于搜索术语“深度学习”，其中大约90％来自过去三年。因此，对深度学习领域的完全概述已经不可能在不久的将来获得，并且在不久的将来可能会难以获得难以获得子场的概要。但是，有几个关于深度学习的综述文章，这些文章专注于特定的科学领域或应用程序，例如计算机愿景的深度学习进步或在物体检测等特定任务中进行。随着这些调查作为基础，这一贡献的目的是提供对不同科学学科的深度学习的第一个高级，分类的元调查。根据底层数据来源（图像，语言，医疗，混合）选择了类别（计算机愿景，语言处理，医疗信息和其他工程）。此外，我们还审查了每个子类别的常见架构，方法，专业，利弊，评估，挑战和未来方向。

非侵入性负载监控（NILM）是将总功率消耗分为单个子组件的任务。多年来，已经合并了信号处理和机器学习算法以实现这一目标。关于最先进的方法，进行了许多出版物和广泛的研究工作，以涉及最先进的方法。科学界最初使用机器学习工具的尼尔姆问题制定和描述的最初兴趣已经转变为更实用的尼尔姆。如今，我们正处于成熟的尼尔姆时期，在现实生活中的应用程序方案中尝试使用尼尔姆。因此，算法的复杂性，可转移性，可靠性，实用性和普遍的信任度是主要的关注问题。这篇评论缩小了早期未成熟的尼尔姆时代与成熟的差距。特别是，本文仅对住宅电器的尼尔姆方法提供了全面的文献综述。本文分析，总结并介绍了大量最近发表的学术文章的结果。此外，本文讨论了这些方法的亮点，并介绍了研究人员应考虑的研究困境，以应用尼尔姆方法。最后，我们表明需要将传统分类模型转移到一个实用且值得信赖的框架中。

近年来，随着传感器和智能设备的广泛传播，物联网（IoT）系统的数据生成速度已大大增加。在物联网系统中，必须经常处理，转换和分析大量数据，以实现各种物联网服务和功能。机器学习（ML）方法已显示出其物联网数据分析的能力。但是，将ML模型应用于物联网数据分析任务仍然面临许多困难和挑战，特别是有效的模型选择，设计/调整和更新，这给经验丰富的数据科学家带来了巨大的需求。此外，物联网数据的动态性质可能引入概念漂移问题，从而导致模型性能降解。为了减少人类的努力，自动化机器学习（AUTOML）已成为一个流行的领域，旨在自动选择，构建，调整和更新机器学习模型，以在指定任务上实现最佳性能。在本文中，我们对Automl区域中模型选择，调整和更新过程中的现有方法进行了审查，以识别和总结将ML算法应用于IoT数据分析的每个步骤的最佳解决方案。为了证明我们的发现并帮助工业用户和研究人员更好地实施汽车方法，在这项工作中提出了将汽车应用于IoT异常检测问题的案例研究。最后，我们讨论并分类了该领域的挑战和研究方向。

Electronic Health Records (EHRs) are a valuable asset to facilitate clinical research and point of care applications; however, many challenges such as data privacy concerns impede its optimal utilization. Deep generative models, particularly, Generative Adversarial Networks (GANs) show great promise in generating synthetic EHR data by learning underlying data distributions while achieving excellent performance and addressing these challenges. This work aims to review the major developments in various applications of GANs for EHRs and provides an overview of the proposed methodologies. For this purpose, we combine perspectives from healthcare applications and machine learning techniques in terms of source datasets and the fidelity and privacy evaluation of the generated synthetic datasets. We also compile a list of the metrics and datasets used by the reviewed works, which can be utilized as benchmarks for future research in the field. We conclude by discussing challenges in GANs for EHRs development and proposing recommended practices. We hope that this work motivates novel research development directions in the intersection of healthcare and machine learning.

The stock market prediction has been a traditional yet complex problem researched within diverse research areas and application domains due to its non-linear, highly volatile and complex nature. Existing surveys on stock market prediction often focus on traditional machine learning methods instead of deep learning methods. Deep learning has dominated many domains, gained much success and popularity in recent years in stock market prediction. This motivates us to provide a structured and comprehensive overview of the research on stock market prediction focusing on deep learning techniques. We present four elaborated subtasks of stock market prediction and propose a novel taxonomy to summarize the state-of-the-art models based on deep neural networks from 2011 to 2022. In addition, we also provide detailed statistics on the datasets and evaluation metrics commonly used in the stock market. Finally, we highlight some open issues and point out several future directions by sharing some new perspectives on stock market prediction.

鉴于无线频谱的有限性和对无线通信最近的技术突破产生的频谱使用不断增加的需求，干扰问题仍在继续持续存在。尽管最近解决干涉问题的进步，但干扰仍然呈现出有效使用频谱的挑战。这部分是由于Wi-Fi的无许可和管理共享乐队使用的升高，长期演进（LTE）未许可（LTE-U），LTE许可辅助访问（LAA），5G NR等机会主义频谱访问解决方案。因此，需要对干扰稳健的有效频谱使用方案的需求从未如此重要。在过去，通过使用避免技术以及非AI缓解方法（例如，自适应滤波器）来解决问题的大多数解决方案。非AI技术的关键缺陷是需要提取或开发信号特征的域专业知识，例如CycrationArity，带宽和干扰信号的调制。最近，研究人员已成功探索了AI / ML的物理（PHY）层技术，尤其是深度学习，可减少或补偿干扰信号，而不是简单地避免它。 ML基于ML的方法的潜在思想是学习来自数据的干扰或干扰特性，从而使需要对抑制干扰的域专业知识进行侧联。在本文中，我们审查了广泛的技术，这些技术已经深入了解抑制干扰。我们为干扰抑制中许多不同类型的深度学习技术提供比较和指导。此外，我们突出了在干扰抑制中成功采用深度学习的挑战和潜在的未来研究方向。

REED继电器是功能测试的基本组成部分，与电子产品的成功质量检查密切相关。为了为REED继电器提供准确的剩余使用寿命（RUL）估计，根据以下三个考虑，提出了具有降解模式聚类的混合深度学习网络。首先，对于REED继电器，观察到多种降解行为，因此提供了基于动态的$ K $ -MEANS聚类，以区分彼此的退化模式。其次，尽管适当的功能选择具有重要意义，但很少有研究可以指导选择。提出的方法建议进行操作规则，以实施轻松实施。第三，提出了用于剩余使用寿命估计的神经网络（RULNET），以解决卷积神经网络（CNN）在捕获顺序数据的时间信息中的弱点，该信息在卷积操作的高级特征表示后结合了时间相关能力。通过这种方式，lulnet的三种变体由健康指标，具有自组织地图的功能或具有曲线拟合的功能构建。最终，将提出的混合模型与典型的基线模型（包括CNN和长期记忆网络（LSTM））进行了比较，该模型通过具有两个不同不同降级方式的实用REED继电器数据集进行了比较。两种降解案例的结果表明，所提出的方法在索引均方根误差方面优于CNN和LSTM。

最近的智能故障诊断（IFD）的进展大大依赖于深度代表学习和大量标记数据。然而，机器通常以各种工作条件操作，或者目标任务具有不同的分布，其中包含用于训练的收集数据（域移位问题）。此外，目标域中的新收集的测试数据通常是未标记的，导致基于无监督的深度转移学习（基于UDTL为基础的）IFD问题。虽然它已经实现了巨大的发展，但标准和开放的源代码框架以及基于UDTL的IFD的比较研究尚未建立。在本文中，我们根据不同的任务，构建新的分类系统并对基于UDTL的IFD进行全面审查。对一些典型方法和数据集的比较分析显示了基于UDTL的IFD中的一些开放和基本问题，这很少研究，包括特征，骨干，负转移，物理前导等的可转移性，强调UDTL的重要性和再现性 - 基于IFD，整个测试框架将发布给研究界以促进未来的研究。总之，发布的框架和比较研究可以作为扩展界面和基本结果，以便对基于UDTL的IFD进行新的研究。代码框架可用于\ url {https:/github.com/zhaozhibin/udtl}。

作为自然现象的地震，历史上不断造成伤害和人类生活的损失。地震预测是任何社会计划的重要方面，可以增加公共准备，并在很大程度上减少损坏。然而，由于地震的随机特征以及实现了地震预测的有效和可靠模型的挑战，迄今为止努力一直不足，需要新的方法来解决这个问题。本文意识到​​这些问题，提出了一种基于注意机制（AM），卷积神经网络（CNN）和双向长短期存储器（BILSTM）模型的新型预测方法，其可以预测数量和最大幅度中国大陆各地区的地震为基于该地区的地震目录。该模型利用LSTM和CNN具有注意机制，以更好地关注有效的地震特性并产生更准确的预测。首先，将零阶保持技术应用于地震数据上的预处理，使得模型的输入数据更适当。其次，为了有效地使用空间信息并减少输入数据的维度，CNN用于捕获地震数据之间的空间依赖性。第三，使用Bi-LSTM层来捕获时间依赖性。第四，引入了AM层以突出其重要的特征来实现更好的预测性能。结果表明，该方法具有比其他预测方法更好的性能和概括能力。

通过深度学习（DL）大大扩展了数据驱动故障诊断模型的范围。然而，经典卷积和反复化结构具有计算效率和特征表示的缺陷，而基于注意机制的最新变压器架构尚未应用于该字段。为了解决这些问题，我们提出了一种新颖的时变电片（TFT）模型，其灵感来自序列加工的香草变压器大规模成功。特别是，我们设计了一个新的笨蛋和编码器模块，以从振动信号的时频表示（TFR）中提取有效抽象。在此基础上，本文提出了一种基于时变电片的新的端到端故障诊断框架。通过轴承实验数据集的案例研究，我们构建了最佳变压器结构并验证了其故障诊断性能。与基准模型和其他最先进的方法相比，证明了所提出的方法的优越性。

电子邮件是通信最广泛的方法之一，数以百万计的人和企业每天依靠它来交流和分享知识和信息。然而，近年来，电子邮件用户的增长量增加了垃圾邮件的急剧增加。适当地为个人和公司进行处理和管理电子邮件变得越来越困难。本文提出了一种用于电子邮件垃圾邮件检测的新技术，该技术基于卷积神经网络，封闭式复发单元和注意机制的组合。在系统培训期间，网络选择性地关注电子邮件文本的必要部分。卷积层的用法是通过层次表示提取更有意义，抽象和可推广的特征，这是本研究的主要贡献。此外，此贡献还包括交叉数据集评估，从而使模型培训数据集产生了更多独立的绩效。根据跨数据库评估结果，该提出的技术通过使用时间卷积来推动基于注意力的技术的结果，这使我们使用了更灵活的接收场大小。将建议的技术的发现与最先进的模型的发现进行了比较，并表明我们的方法表现优于它们。

在大数据的时代，基于数据驱动的分类已成为智能制造业的基本方法，以指导生产和优化检查。实践中获得的工业数据通常是由软传感器收集的时间序列数据，这是高度非线性，非间断，不平衡和嘈杂的。大多数现有的软传感机器学习模型侧重于捕获串联内部时间依赖关系或预定义的序列间相关性，同时忽略标签之间的相关性，每个实例同时与多个标签相关联。在本文中，我们提出了一种基于曲线的新颖的曲线图，用于多变量时间序列分类噪声和高度不平衡的软感测数据。所提出的基层能够在光谱域中捕获串联串联和串联系列依赖项; 2）通过叠加由统计共生信息构建的标签图来利用标签相关性; 3）从文本和数值域中使用注意机制学习功能; 4）利用未标记的数据并通过半监督学习缓解数据不平衡。与其他常用分类器的比较研究在希捷软感测数据上进行，实验结果验证了我们提出的方法的竞争性能。

X-ray imaging technology has been used for decades in clinical tasks to reveal the internal condition of different organs, and in recent years, it has become more common in other areas such as industry, security, and geography. The recent development of computer vision and machine learning techniques has also made it easier to automatically process X-ray images and several machine learning-based object (anomaly) detection, classification, and segmentation methods have been recently employed in X-ray image analysis. Due to the high potential of deep learning in related image processing applications, it has been used in most of the studies. This survey reviews the recent research on using computer vision and machine learning for X-ray analysis in industrial production and security applications and covers the applications, techniques, evaluation metrics, datasets, and performance comparison of those techniques on publicly available datasets. We also highlight some drawbacks in the published research and give recommendations for future research in computer vision-based X-ray analysis.

轴承是容易出乎意料断层的旋转机的重要组成部分之一。因此，轴承诊断和状况监测对于降低众多行业的运营成本和停机时间至关重要。在各种生产条件下，轴承可以在一系列载荷和速度下进行操作，这会导致与每种故障类型相关的不同振动模式。正常数据很足够，因为系统通常在所需条件下工作。另一方面，故障数据很少见，在许多情况下，没有记录故障类别的数据。访问故障数据对于开发数据驱动的故障诊断工具至关重要，该工具可以提高操作的性能和安全性。为此，引入了基于条件生成对抗网络（CGAN）的新型算法。该算法对任何实际故障条件的正常和故障数据进行培训，从目标条件的正常数据中生成故障数据。所提出的方法在现实世界中的数据集上进行了验证，并为不同条件生成故障数据。实施了几种最先进的分类器和可视化模型，以评估合成数据的质量。结果证明了所提出的算法的功效。

在过去的几十年中，数据科学领域已经存在着激烈的进展，而其他学科则不断受益于此。结构健康监测（SHM）是使用人工智能（AI）的那些领域之一，例如机器学习（ML）和深度学习（DL）算法，用于基于所收集的数据的民用结构的条件评估。 ML和DL方法需要大量的培训程序数据;但是，在SHM中，来自民间结构的数据收集非常详尽;特别是获得有用的数据（相关数据损坏）可能非常具有挑战性。本文使用1-D Wasserstein深卷积生成的对抗网络，使用梯度惩罚（1-D WDCGAN-GP）进行合成标记的振动数据生成。然后，通过使用1-D深卷积神经网络（1-D DCNN）来实现在不同级别的合成增强振动数据集的结构损伤检测。损伤检测结果表明，1-D WDCAN-GP可以成功地利用以解决基于振动的民用结构的损伤诊断数据稀缺。关键词：结构健康监测（SHM），结构损伤诊断，结构损伤检测，1-D深卷积神经网络（1-D DCNN），1-D生成对抗网络（1-D GAN），深卷积生成的对抗网络（ DCGAN），Wassersein生成的对抗性网络具有梯度惩罚（WAN-GP）

现代工业设施在生产过程中生成大量的原始传感器数据。该数据用于监视和控制过程，可以分析以检测和预测过程异常。通常，数据必须由专家注释，以进一步用于预测建模。当今的大多数研究都集中在需要手动注释数据的无监督异常检测算法或监督方法上。这些研究通常是使用过程模拟器生成的狭窄事件类别的数据进行的，并且在公开可用的数据集上很少验证建议的算法。在本文中，我们提出了一种新型的方法，用于用于工业化学传感器数据的无监督故障检测和诊断。我们根据具有各种故障类型的田纳西州伊士曼进程的两个公开数据集证明了我们的模型性能。结果表明，我们的方法显着优于现有方法（固定FPR的+0.2-0.3 TPR），并在不使用专家注释的情况下检测大多数过程故障。此外，我们进行了实验，以证明我们的方法适用于未提前不知道故障类型数量的现实世界应用。