轴承诊断对于降低旋转机器的损害风险并进一步改善经济利润至关重要。最近，以深度学习为代表的机器学习在轴承诊断方面取得了巨大进展。但是，将深度学习应用到这样的任务仍然面临一个主要问题。众所周知，深层网络是黑匣子。很难知道模型如何分类分类背后的正常原理和物理原理的错误信号。为了解决可解释性问题，首先，我们原型是一个具有最近发明的二次神经元的卷积网络。由于二次神经元的特征表示能力，这种二次神经元授权网络可以鉴定噪声轴承数据。此外，我们通过将学到的二次功能分解为类似于注意力的二次神经元（称为Qttention）的注意机制独立得出了注意力机制，从而使模型具有固有解释的二次神经元。公众和我们的数据集进行的实验表明，提出的网络可以促进有效且可解释的轴承故障诊断。

卷积神经网络（CNN）由于其强大的特征提取和分类功能而广泛用于机械系统的故障诊断。但是，CNN是一个典型的黑盒模型，CNN决策的机制尚不清楚，这限制了其在高可授权要求的故障诊断方案中的应用。为了解决这个问题，我们提出了一个新颖的可解释的神经网络，称为时频网（TFN），其中物理上有意义的时频变换（TFT）方法被嵌入传统的卷积层中，作为自适应预处理层。这个称为时频卷积（TFCONV）层的预处理层受到精心设计的内核函数的约束，以提取与故障相关的时间频率信息。它不仅改善了诊断性能，而且还揭示了频域中CNN预测的逻辑基础。不同的TFT方法对应于TFCONV层的不同内核函数。在这项研究中，考虑了四种典型的TFT方法来制定TFN，并且通过三个机械故障诊断实验证明了它们的有效性和解释性。实验结果还表明，所提出的TFCONV层可以很容易地推广到具有不同深度的其他CNN。 TFN的代码可在https://github.com/chenqian0618/tfn上获得。

通过深度学习（DL）大大扩展了数据驱动故障诊断模型的范围。然而，经典卷积和反复化结构具有计算效率和特征表示的缺陷，而基于注意机制的最新变压器架构尚未应用于该字段。为了解决这些问题，我们提出了一种新颖的时变电片（TFT）模型，其灵感来自序列加工的香草变压器大规模成功。特别是，我们设计了一个新的笨蛋和编码器模块，以从振动信号的时频表示（TFR）中提取有效抽象。在此基础上，本文提出了一种基于时变电片的新的端到端故障诊断框架。通过轴承实验数据集的案例研究，我们构建了最佳变压器结构并验证了其故障诊断性能。与基准模型和其他最先进的方法相比，证明了所提出的方法的优越性。

在工业应用中，电动机的故障近一半是由于滚动元件轴承（REB）的退化引起的。因此，准确估算REB的剩余使用寿命（RUL）对于确保机械系统的可靠性和安全至关重要。为了应对这一挑战，基于模型的方法通常受到数学建模的复杂性的限制。另一方面，传统的数据驱动方法需要巨大的努力来提取降解功能并构建健康指数。在本文中，提出了一个新颖的在线数据驱动框架，以利用深度卷积神经网络（CNN）的采用来预测轴承的统治。更具体地说，训练轴承的原始振动首先是使用Hilbert-huang变换（HHT）处理的，并将新型的非线性降解指标构建为学习标签。然后使用CNN来识别提取的降解指示器和训练轴承振动之间的隐藏模式，这使得可以自动估计测试轴承的降解。最后，通过使用$ \ epsilon $ -Support向量回归模型来预测测试轴承的规定。与最先进的方法相比，提出的规则估计框架的出色性能通过实验结果证明。提出的CNN模型的一般性也通过转移到经历不同操作条件的轴承来验证。

滚动轴承是工业机器中最广泛使用的轴承之一。滚动轴承条件的劣化可导致旋转机械的总失效。基于AI的方法广泛应用于滚动轴承的诊断。已显示杂交NN的方法来达到最佳诊断结果。通常，原始数据由安装在机器壳体上的加速度计产生。然而，每个信号的诊断实用性高度依赖于相应加速度计的位置。本文提出了一种新型混合CNN-MLP模型的诊断方法，其结合了混合输入来执行滚动轴承诊断。该方法使用来自轴安装的无线加速度传感器的加速度数据成功地检测和定位轴承缺陷。实验结果表明，混合模型优于分别操作的CNN和MLP型号，并且可以为轴承故障提供99,6％的高检测精度，而CNN的98％和MLP型号的81％。

设想制造部门受到基于人工智能的技术的严重影响，计算能力和数据量的大幅增加。制造业领域的一个核心挑战在于一般框架的要求，以确保满足不同制造应用中的诊断和监视性能。在这里，我们提出了一个通用数据驱动的端到端框架，用于监视制造系统。该框架是从深度学习技术中得出的，评估了融合的感觉测量值，以检测甚至预测故障和磨损条件。这项工作利用了深度学习的预测能力，从嘈杂的时间表数据中自动提取隐藏的降解功能。我们已经在从各种制造应用中绘制的十个代表性数据集上试验了拟议的框架。结果表明，该框架在检查的基准应用中表现良好，可以在不同的情况下应用，这表明其潜在用作智能制造中的关键角石。

最近的基于学习的图像分类和语音识别方法使得广泛利用注意力机制来实现最先进的识别力，这表明了注意力机制的有效性。由于调制无线电信号的频率和时间信息对调制模式识别至关重要的事实，本文提出了一种卷积神经网络（CNN）的调制识别框架的频率时间注意机制。所提出的频率 - 时间注意模块旨在了解哪些频道，频率和时间信息在CNN中更有意义，以进行调制识别。我们分析了所提出的频率时期注意机制的有效性，并比较了两个现有的基于学习的方法的提出方法。在开源调制识别数据集上的实验表明，所提出的框架的识别性能优于框架的识别性能，而无需朝向基于学习的方法。

轴承是容易出乎意料断层的旋转机的重要组成部分之一。因此，轴承诊断和状况监测对于降低众多行业的运营成本和停机时间至关重要。在各种生产条件下，轴承可以在一系列载荷和速度下进行操作，这会导致与每种故障类型相关的不同振动模式。正常数据很足够，因为系统通常在所需条件下工作。另一方面，故障数据很少见，在许多情况下，没有记录故障类别的数据。访问故障数据对于开发数据驱动的故障诊断工具至关重要，该工具可以提高操作的性能和安全性。为此，引入了基于条件生成对抗网络（CGAN）的新型算法。该算法对任何实际故障条件的正常和故障数据进行培训，从目标条件的正常数据中生成故障数据。所提出的方法在现实世界中的数据集上进行了验证，并为不同条件生成故障数据。实施了几种最先进的分类器和可视化模型，以评估合成数据的质量。结果证明了所提出的算法的功效。

无监督的域适应（UDA）显示出近年来工作条件下的轴承故障诊断的显着结果。但是，大多数UDA方法都不考虑数据的几何结构。此外，通常应用全局域适应技术，这忽略了子域之间的关系。本文通过呈现新的深亚域适应图卷积神经网络（DSAGCN）来解决提到的挑战，具有两个关键特性：首先，采用图形卷积神经网络（GCNN）来模拟数据结构。二，对抗域适应和局部最大平均差异（LMMD）方法同时应用，以对准子域的分布并降低相关子域和全局域之间的结构差异。 CWRU和Paderborn轴承数据集用于验证DSAGCN方法的比较模型之间的效率和优越性。实验结果表明，将结构化子域与域适应方法对准，以获得无监督故障诊断的准确数据驱动模型。

第五代（5G）网络和超越设想巨大的东西互联网（物联网）推出，以支持延长现实（XR），增强/虚拟现实（AR / VR），工业自动化，自主驾驶和智能所有带来的破坏性应用一起占用射频（RF）频谱的大规模和多样化的IOT设备。随着频谱嘎嘎和吞吐量挑战，这种大规模的无线设备暴露了前所未有的威胁表面。 RF指纹识别是预约的作为候选技术，可以与加密和零信任安全措施相结合，以确保无线网络中的数据隐私，机密性和完整性。在未来的通信网络中，在这项工作中，在未来的通信网络中的相关性，我们对RF指纹识别方法进行了全面的调查，从传统观点到最近的基于深度学习（DL）的算法。现有的调查大多专注于无线指纹方法的受限制呈现，然而，许多方面仍然是不可能的。然而，在这项工作中，我们通过解决信号智能（SIGINT），应用程序，相关DL算法，RF指纹技术的系统文献综述来缓解这一点，跨越过去二十年的RF指纹技术的系统文献综述，对数据集和潜在研究途径的讨论 - 必须以百科全书的方式阐明读者的必要条件。

哥内克人Sentinel Imagery的纯粹卷的可用性为使用深度学习的大尺度创造了新的土地利用陆地覆盖（Lulc）映射的机会。虽然在这种大型数据集上培训是一个非琐碎的任务。在这项工作中，我们试验Lulc Image分类和基准不同最先进模型的Bigearthnet数据集，包括卷积神经网络，多层感知，视觉变压器，高效导通和宽残余网络（WRN）架构。我们的目标是利用分类准确性，培训时间和推理率。我们提出了一种基于用于网络深度，宽度和输入数据分辨率的WRNS复合缩放的高效导通的框架，以有效地训练和测试不同的模型设置。我们设计一种新颖的缩放WRN架构，增强了有效的通道注意力机制。我们提出的轻量级模型具有较小的培训参数，实现所有19个LULC类的平均F分类准确度达到4.5％，并且验证了我们使用的resnet50最先进的模型速度快两倍作为基线。我们提供超过50种培训的型号，以及我们在多个GPU节点上分布式培训的代码。

虽然数据驱动的故障诊断方法已被广泛应用，但模型培训需要大规模标记数据。然而，在真正的行业实施这一点难以阻碍这些方法的应用。因此，迫切需要在这种情况下运行良好的有效诊断方法。本​​研究中，多级半监督改进的深度嵌入式聚类（MS-SSIDEC）方法，将半监督学习与改进的深度嵌入式聚类相结合（IDEC），建议共同探索稀缺标记的数据和大规模的未标记数据。在第一阶段，提出了一种可以自动将未标记的数据映射到低维特征空间中的跳过连接的卷积自动编码器（SCCAE），并预先培训以成为故障特征提取器。在第二阶段，提出了一个半监督的改进的深嵌入式聚类（SSIDEC）网络以进行聚类。首先用可用标记数据初始化，然后用于同时优化群集标签分配，并使要素空间更加群集。为了解决过度装备现象，在本阶段将虚拟的对抗培训（增值税）作为正则化术语。在第三阶段，伪标签是通过SSIDEC的高质量结果获得的。标记的数据集可以由这些伪标记的数据增强，然后利用以训练轴承故障诊断模型。来自滚动轴承的两个振动数据数据集用于评估所提出的方法的性能。实验结果表明，该方法在半监督和无监督的故障诊断任务中实现了有希望的性能。该方法通过有效地探索无监督数据，提供了在有限标记样本的情况下的故障诊断方法。

使用深神经网络算法分析振动数据是检测早期旋转机械损害的有效方法。但是，这些方法的黑框方法通常无法提供令人满意的解决方案，因为人类无法理解分类的原因。因此，这项工作调查了可解释的AI（XAI）算法在基于振动状态监测的卷积神经网络中的应用。为此，将各种XAI算法应用于基于傅立叶变换以及振动信号的顺序分析的分类。将结果可视化，是每分钟旋转（rpm）的函数，频率-RPM映射和订单RPM映射的形状。这允许评估取决于旋转速度和恒定频率的功能的显着性。为了比较XAI方法的解释能力，首先使用具有已知类别特异性特征的合成数据集进行了研究。然后，使用了针对电动机上基于振动的不平衡分类的现实世界数据集，该数据集以广泛的旋转速度运行。特别重点放在数据的可变周期性的一致性上，这转化为现实世界机器的不同旋转速度。这项工作旨在显示此用例的方法的不同优势和劣势：Gradcam，LRP和Lime具有新的扰动策略。

除了极其非线性的情况外，如果不是数十亿个参数来解决或至少要获得良好的解决方案，并且众所周知，众所周知，众所周知，并且通过深化和扩大其拓扑来实现复杂性的神经网络增加更好近似所需的非线性水平。然而，紧凑的拓扑始终优先于更深的拓扑，因为它们提供了使用较少计算单元和更少参数的优势。这种兼容性以减少的非线性的价格出现，因此有限的解决方案搜索空间。我们提出了使用自动多项式内核估计的1维多项式神经网络（1DPNN）模型，用于1维卷积神经网络（1dcnns），并且从第一层引入高度的非线性，这可以补偿深度的需要和/或宽拓扑。我们表明，这种非线性使得模型能够产生比与音频信号相关的各种分类和回归问题的常规1dcnn的计算和空间复杂性更好的结果，即使它在神经元水平上引入了更多的计算和空间复杂性。实验在三个公共数据集中进行，并证明，在解决的问题上，所提出的模型可以在更少的时间内从数据中提取比1dcnn更多的相关信息，并且存储器较少。

滚动轴承是旋转机械的最关键组成部分。及时识别有缺陷的轴承可能会阻止整个机械系统的故障。由于机器零件的快速发展，机械状况监测场已进入大数据阶段。当使用大量数据时，手动特征提取方法的缺点是效率低下和不准确。近年来，诸如深度学习方法之类的数据驱动方法已成功用于机械智能故障检测。卷积神经网络（CNN）主要用于早期研究中，以检测和识别轴承断层。但是，CNN模型遭受了难以管理故障时间信息的缺点，这导致缺乏分类结果。在这项研究中，使用最先进的视觉变压器（VIT）对轴承缺陷进行了分类。使用Case Western Reserve University（CWRU）实验室实验数据对轴承缺陷进行了分类。该研究还考虑了除正常轴承条件外，在0负载情况下的13种不同类型的缺陷。使用短时傅立叶变换（STFT），将振动信号转换为2D时频图像。 2D时频图像用作VIT的输入参数。该模型的总体准确度为98.8％。

Time Series Classification (TSC) is an important and challenging problem in data mining. With the increase of time series data availability, hundreds of TSC algorithms have been proposed. Among these methods, only a few have considered Deep Neural Networks (DNNs) to perform this task. This is surprising as deep learning has seen very successful applications in the last years. DNNs have indeed revolutionized the field of computer vision especially with the advent of novel deeper architectures such as Residual and Convolutional Neural Networks. Apart from images, sequential data such as text and audio can also be processed with DNNs to reach state-of-the-art performance for document classification and speech recognition. In this article, we study the current state-ofthe-art performance of deep learning algorithms for TSC by presenting an empirical study of the most recent DNN architectures for TSC. We give an overview of the most successful deep learning applications in various time series domains under a unified taxonomy of DNNs for TSC. We also provide an open source deep learning framework to the TSC community where we implemented each of the compared approaches and evaluated them on a univariate TSC benchmark (the UCR/UEA archive) and 12 multivariate time series datasets. By training 8,730 deep learning models on 97 time series datasets, we propose the most exhaustive study of DNNs for TSC to date.

在情感计算领域的基于生理信号的情感识别，已经支付了相当大的关注。对于可靠性和用户友好的采集，电卸电子活动（EDA）在实际应用中具有很大的优势。然而，基于EDA的情感识别与数百个科目仍然缺乏有效的解决方案。在本文中，我们的工作试图融合主题的各个EDA功能和外部诱发的音乐功能。我们提出了端到端的多模式框架，1维剩余时间和通道注意网络（RTCAN-1D）。对于EDA特征，基于新型的基于凸优化的EDA（CVXEDA）方法被应用于将EDA信号分解为PAHSIC和TONC信号，以进行动态和稳定的功能。首先涉及基于EDA的情感识别的渠道时间关注机制，以改善时间和渠道明智的表示。对于音乐功能，我们将音乐信号与开源工具包opensmile处理，以获取外部特征向量。来自EDA信号和来自音乐的外部情绪基准的个体情感特征在分类层中融合。我们对三个多模式数据集（PMEMO，DEAP，AMIGOS）进行了系统的比较，适用于2级薪酬/唤醒情感识别。我们提出的RTCAN-1D优于现有的最先进的模型，这也验证了我们的工作为大规模情感认可提供了可靠和有效的解决方案。我们的代码已在https://github.com/guanghaoyin/rtcan-1发布。

确实，卷积神经网络（CNN）更合适。然而，固定内核大小使传统的CNN太具体，既不灵活也不有利于特征学习，从而影响分类准确性。不同内核大小网络的卷积可以通过捕获更多辨别和相关信息来克服这个问题。鉴于此，所提出的解决方案旨在将3D和2D成立网的核心思想与促进混合方案中的HSIC CNN性能提升。生成的\ Textit {注意融合混合网络}（AFNET）基于三个关注融合的并行混合子网，每个块中的不同内核使用高级功能，以增强最终的地面图。简而言之，AFNET能够选择性地过滤滤除对分类至关重要的辨别特征。与最先进的模型相比，HSI数据集的几次测试为AFNET提供了竞争力的结果。拟议的管道实现，实际上，印度松树的总体准确性为97 \％，博茨瓦纳100 \％，帕尔茨大学，帕维亚中心和萨利纳斯数据集的99 \％。

高光谱图像（HSI）分类一直是决定的热门话题，因为高光谱图像具有丰富的空间和光谱信息，并为区分不同的土地覆盖物体提供了有力的基础。从深度学习技术的发展中受益，基于深度学习的HSI分类方法已实现了有希望的表现。最近，已经提出了一些用于HSI分类的神经架构搜索（NAS）算法，这将HSI分类的准确性进一步提高到了新的水平。在本文中，NAS和变压器首次合并用于处理HSI分类任务。与以前的工作相比，提出的方法有两个主要差异。首先，我们重新访问了先前的HSI分类NAS方法中设计的搜索空间，并提出了一个新型的混合搜索空间，该搜索空间由空间主导的细胞和频谱主导的单元组成。与以前的工作中提出的搜索空间相比，所提出的混合搜索空间与HSI数据的特征更加一致，即HSIS具有相对较低的空间分辨率和非常高的光谱分辨率。其次，为了进一步提高分类准确性，我们尝试将新兴变压器模块移植到自动设计的卷积神经网络（CNN）上，以将全局信息添加到CNN学到的局部区域的特征中。三个公共HSI数据集的实验结果表明，所提出的方法的性能要比比较方法更好，包括手动设计的网络和基于NAS的HSI分类方法。特别是在最近被捕获的休斯顿大学数据集中，总体准确性提高了近6个百分点。代码可在以下网址获得：https：//github.com/cecilia-xue/hyt-nas。

Remaining Useful Life (RUL) estimation plays a critical role in Prognostics and Health Management (PHM). Traditional machine health maintenance systems are often costly, requiring sufficient prior expertise, and are difficult to fit into highly complex and changing industrial scenarios. With the widespread deployment of sensors on industrial equipment, building the Industrial Internet of Things (IIoT) to interconnect these devices has become an inexorable trend in the development of the digital factory. Using the device's real-time operational data collected by IIoT to get the estimated RUL through the RUL prediction algorithm, the PHM system can develop proactive maintenance measures for the device, thus, reducing maintenance costs and decreasing failure times during operation. This paper carries out research into the remaining useful life prediction model for multi-sensor devices in the IIoT scenario. We investigated the mainstream RUL prediction models and summarized the basic steps of RUL prediction modeling in this scenario. On this basis, a data-driven approach for RUL estimation is proposed in this paper. It employs a Multi-Head Attention Mechanism to fuse the multi-dimensional time-series data output from multiple sensors, in which the attention on features is used to capture the interactions between features and attention on sequences is used to learn the weights of time steps. Then, the Long Short-Term Memory Network is applied to learn the features of time series. We evaluate the proposed model on two benchmark datasets (C-MAPSS and PHM08), and the results demonstrate that it outperforms the state-of-art models. Moreover, through the interpretability of the multi-head attention mechanism, the proposed model can provide a preliminary explanation of engine degradation. Therefore, this approach is promising for predictive maintenance in IIoT scenarios.