在工业4.0中，现代制造和自动化工作场所的剩余寿命（RUL）预测至关重要。显然，这是连续的工具磨损，或更糟糕的是，突然的机器故障会导致各种制造故障，这显然会导致经济损失。借助深度学习方法的可用性，将其用于RUL预测的巨大潜力和前景导致了几种模型，这些模型是由制造机的操作数据驱动的。目前，基于完全监督模型的这些努力严重依赖于其规定标记的数据。但是，只有在机器崩溃发生后才能获得所需的RUL预测数据（即来自错误和/或降解机器的注释和标记的数据）。现代制造和自动化工作场所中破碎的机器在现实情况下的稀缺性增加了获得足够注释和标记数据的困难。相比之下，从健康机器中收集的数据要容易得多。因此，我们指出了这一挑战以及提高有效性和适用性的潜力，因此我们提出（并充分开发）一种基于掩盖自动编码器的概念的方法，该方法将利用未标记的数据进行自学。因此，在这里的工作中，开发和利用了一种值得注意的掩盖自我监督的学习方法。这旨在通过利用未标记的数据来建立一个深度学习模型，以实现RUL预测。在C-MAPSS数据集中实施了验证该开发有效性的实验（这些实验是从NASA Turbofan发动机的数据中收集的）。结果清楚地表明，与使用全面监督模型相比，我们在这里的发展和方法在准确性和有效性上都表现得更好。

通过深度学习技术的开花，完全有监督的基于骨架的动作识别取得了巨大进步。但是，这些方法需要足够的标记数据，这不容易获得。相比之下，基于自我监督的骨骼的动作识别引起了更多的关注。通过利用未标记的数据，可以学会更多可概括的功能来减轻过度拟合的问题并减少大规模标记的培训数据的需求。受到MAE的启发，我们提出了一个空间式蒙面的自动编码器框架，用于基于3D骨架的自我监管的动作识别（Skeletonmae）。在MAE的掩蔽和重建管道之后，我们利用基于骨架的编码器变压器体系结构来重建蒙版的骨架序列。一种新颖的掩蔽策略，称为时空掩蔽，是根据骨架序列的联合级别和框架级别引入的。这种预训练策略使编码器输出可推广的骨骼特征具有空间和时间依赖性。给定未掩盖的骨架序列，编码器用于动作识别任务。广泛的实验表明，我们的骨架达到了出色的性能，并优于NTU RGB+D和NTU RGB+D 120数据集的最新方法。

基于变压器的自我监督表示方法学习方法从未标记的数据集中学习通用功能，以提供有用的网络初始化参数，用于下游任务。最近，基于掩盖3D点云数据的局部表面斑块的自我监督学习的探索还不足。在本文中，我们提出了3D点云表示学习中的蒙版自动编码器（缩写为MAE3D），这是一种新颖的自动编码范式，用于自我监督学习。我们首先将输入点云拆分为补丁，然后掩盖其中的一部分，然后使用我们的补丁嵌入模块提取未掩盖的补丁的功能。其次，我们采用贴片的MAE3D变形金刚学习点云补丁的本地功能以及补丁之间的高级上下文关系，并完成蒙版补丁的潜在表示。我们将点云重建模块与多任务损失一起完成，从而完成不完整的点云。我们在Shapenet55上进行了自我监督的预训练，并使用点云完成前文本任务，并在ModelNet40和ScanObjectnn（PB \ _t50 \ _RS，最难的变体）上微调预训练的模型。全面的实验表明，我们的MAE3D从Point Cloud补丁提取的本地功能对下游分类任务有益，表现优于最先进的方法（$ 93.4 \％\％\％\％$和$ 86.2 \％$ $分类精度）。

Remaining Useful Life (RUL) estimation plays a critical role in Prognostics and Health Management (PHM). Traditional machine health maintenance systems are often costly, requiring sufficient prior expertise, and are difficult to fit into highly complex and changing industrial scenarios. With the widespread deployment of sensors on industrial equipment, building the Industrial Internet of Things (IIoT) to interconnect these devices has become an inexorable trend in the development of the digital factory. Using the device's real-time operational data collected by IIoT to get the estimated RUL through the RUL prediction algorithm, the PHM system can develop proactive maintenance measures for the device, thus, reducing maintenance costs and decreasing failure times during operation. This paper carries out research into the remaining useful life prediction model for multi-sensor devices in the IIoT scenario. We investigated the mainstream RUL prediction models and summarized the basic steps of RUL prediction modeling in this scenario. On this basis, a data-driven approach for RUL estimation is proposed in this paper. It employs a Multi-Head Attention Mechanism to fuse the multi-dimensional time-series data output from multiple sensors, in which the attention on features is used to capture the interactions between features and attention on sequences is used to learn the weights of time steps. Then, the Long Short-Term Memory Network is applied to learn the features of time series. We evaluate the proposed model on two benchmark datasets (C-MAPSS and PHM08), and the results demonstrate that it outperforms the state-of-art models. Moreover, through the interpretability of the multi-head attention mechanism, the proposed model can provide a preliminary explanation of engine degradation. Therefore, this approach is promising for predictive maintenance in IIoT scenarios.

The dichotomy between the challenging nature of obtaining annotations for activities, and the more straightforward nature of data collection from wearables, has resulted in significant interest in the development of techniques that utilize large quantities of unlabeled data for learning representations. Contrastive Predictive Coding (CPC) is one such method, learning effective representations by leveraging properties of time-series data to setup a contrastive future timestep prediction task. In this work, we propose enhancements to CPC, by systematically investigating the encoder architecture, the aggregator network, and the future timestep prediction, resulting in a fully convolutional architecture, thereby improving parallelizability. Across sensor positions and activities, our method shows substantial improvements on four of six target datasets, demonstrating its ability to empower a wide range of application scenarios. Further, in the presence of very limited labeled data, our technique significantly outperforms both supervised and self-supervised baselines, positively impacting situations where collecting only a few seconds of labeled data may be possible. This is promising, as CPC does not require specialized data transformations or reconstructions for learning effective representations.

多元时间序列（MTS）预测在广泛的应用中起着至关重要的作用。最近，时空图神经网络（STGNN）已成为越来越流行的MTS预测方法。 STGNN通过图神经网络和顺序模型共同对MTS的空间和时间模式进行建模，从而显着提高了预测准确性。但是受模型复杂性的限制，大多数STGNN仅考虑短期历史MTS数据，例如过去一个小时的数据。但是，需要根据长期的历史MTS数据来分析时间序列的模式及其之间的依赖关系（即时间和空间模式）。为了解决这个问题，我们提出了一个新颖的框架，其中STGNN通过可扩展的时间序列预训练模型（步骤）增强。具体而言，我们设计了一个预训练模型，以从非常长期的历史时间序列（例如，过去两周）中有效地学习时间模式并生成细分级表示。这些表示为短期时间序列输入到STGNN提供了上下文信息，并促进了时间序列之间的建模依赖关系。三个公共现实世界数据集的实验表明，我们的框架能够显着增强下游STGNN，并且我们的训练前模型可恰当地捕获时间模式。

由于其广泛的应用，例如自动驾驶，机器人技术等，认识到Point Cloud视频的人类行为引起了学术界和行业的极大关注。但是，当前的点云动作识别方法通常需要大量的数据，其中具有手动注释和具有较高计算成本的复杂骨干网络，这使得对现实世界应用程序不切实际。因此，本文考虑了半监督点云动作识别的任务。我们提出了一个蒙版的伪标记自动编码器（\ textbf {Maple}）框架，以学习有效表示，以较少的注释以供点云动作识别。特别是，我们设计了一个新颖有效的\ textbf {de}耦合\ textbf {s} patial- \ textbf {t} emporal trans \ textbf {pert}（\ textbf {destbrof {destformer}）作为maple的backbone。在Destformer中，4D点云视频的空间和时间维度被脱钩，以实现有效的自我注意，以学习长期和短期特征。此外，要从更少的注释中学习判别功能，我们设计了一个蒙版的伪标记自动编码器结构，以指导Destformer从可用框架中重建蒙面帧的功能。更重要的是，对于未标记的数据，我们从分类头中利用伪标签作为从蒙版框架重建功能的监督信号。最后，全面的实验表明，枫树在三个公共基准上取得了优异的结果，并且在MSR-ACTION3D数据集上以8.08 \％的精度优于最先进的方法。

现代工业设施在生产过程中生成大量的原始传感器数据。该数据用于监视和控制过程，可以分析以检测和预测过程异常。通常，数据必须由专家注释，以进一步用于预测建模。当今的大多数研究都集中在需要手动注释数据的无监督异常检测算法或监督方法上。这些研究通常是使用过程模拟器生成的狭窄事件类别的数据进行的，并且在公开可用的数据集上很少验证建议的算法。在本文中，我们提出了一种新型的方法，用于用于工业化学传感器数据的无监督故障检测和诊断。我们根据具有各种故障类型的田纳西州伊士曼进程的两个公开数据集证明了我们的模型性能。结果表明，我们的方法显着优于现有方法（固定FPR的+0.2-0.3 TPR），并在不使用专家注释的情况下检测大多数过程故障。此外，我们进行了实验，以证明我们的方法适用于未提前不知道故障类型数量的现实世界应用。

近年来，自我监督的学习（SSL）引起了病理图像分析的越来越多的关注。与需要仔细设计的对比学习相比，从生成范式中掩盖了自动编码器（MAE）构建SSL可能是一种更简单的方法。在本文中，我们介绍MAE并验证可见斑块对病理图像分类的影响。基于它，提出了一种新型的SD-MAE模型，以使RAW MAE顶部的自我验证增强SSL。除了掩盖图像贴片的重建损失外，SD-MAE还进一步对可见斑块施加了自我验证损失。它传递了由解码器的全球注意力引起的知识，该知识仅利用局部关注。我们将SD-MAE应用于两个公共病理图像数据集。实验表明，与其他SSL方法相比，SD-MAE的竞争性高。我们的代码将很快发布。

Semi-Supervised Learning (SSL) has recently accomplished successful achievements in various fields such as image classification, object detection, and semantic segmentation, which typically require a lot of labour to construct ground-truth. Especially in the depth estimation task, annotating training data is very costly and time-consuming, and thus recent SSL regime seems an attractive solution. In this paper, for the first time, we introduce a novel framework for semi-supervised learning of monocular depth estimation networks, using consistency regularization to mitigate the reliance on large ground-truth depth data. We propose a novel data augmentation approach, called K-way disjoint masking, which allows the network for learning how to reconstruct invisible regions so that the model not only becomes robust to perturbations but also generates globally consistent output depth maps. Experiments on the KITTI and NYU-Depth-v2 datasets demonstrate the effectiveness of each component in our pipeline, robustness to the use of fewer and fewer annotated images, and superior results compared to other state-of-the-art, semi-supervised methods for monocular depth estimation. Our code is available at https://github.com/KU-CVLAB/MaskingDepth.

The development of deep learning models in medical image analysis is majorly limited by the lack of large-sized and well-annotated datasets. Unsupervised learning does not require labels and is more suitable for solving medical image analysis problems. However, most of the current unsupervised learning methods need to be applied to large datasets. To make unsupervised learning applicable to small datasets, we proposed Swin MAE, which is a masked autoencoder with Swin Transformer as its backbone. Even on a dataset of only a few thousand medical images and without using any pre-trained models, Swin MAE is still able to learn useful semantic features purely from images. It can equal or even slightly outperform the supervised model obtained by Swin Transformer trained on ImageNet in terms of the transfer learning results of downstream tasks. The code will be publicly available soon.

我们提出了引导蒙面的自动编码器（bootmae），这是一种新的视觉BERT预训练方法。 Bootmae用两个核心设计改进了原始的蒙版自动编码器（MAE）：1）动量编码器，该动量编码器可作为额外的BERT预测目标提供在线功能； 2）试图降低编码器的压力以记住目标特定信息的靶向解码器。第一个设计的动机是通过观察到的，即使用预定的MAE提取特征，因为掩盖令牌的BERT预测目标可以实现更好的预训练性能。因此，我们与原始的MAE编码器并行添加了一个动量编码器，该编码器通过将其自己的表示作为BERT预测目标来引导预处理性能。在第二个设计中，我们将特定于目标的信息（例如，未掩盖贴片的像素值）直接传达到解码器中，以减少记住目标特定信息的编码器的压力。因此，编码器专注于语义建模，这是BERT预训练的目的，并且不需要浪费其在记住与预测目标相关的未掩盖令牌的信息时的能力。通过广泛的实验，我们的Bootmae在ImageNet-1k上获得了$ 84.2 \％$ $ $ $+0.8 \％$在同一预训练时期。 Bootmae还获得了$+1.0 $ MIOU在ADE20K上的语义细分和$+1.3 $ box ap，$+1.4 $+1.4 $ bask ap改进对象检测和可可数据集上的细分。代码在https://github.com/lightdxy/bootmae上发布。

最近，蒙面图像建模（MIM）由于其能力从大量未标记的数据中学习而引起了人们的关注，并且已被证明对涉及自然图像的各种视觉任务有效。同时，由于未标记的图像的数量高，预计3D医学图像中的自我监督学习的潜力预计将是巨大的，以及质量标签的费用和困难。但是，MIM对医学图像的适用性仍然不确定。在本文中，我们证明了掩盖的图像建模方法还可以推进3D医学图像分析，除了自然图像。我们研究掩盖图像建模策略如何从3D医学图像分割的角度利用性能作为代表性的下游任务：i）与天真的对比度学习相比，蒙版的图像建模方法可以加快监督培训的收敛性，甚至更快（1.40美元$ \ times $ \ times $ $ $ ）并最终产生更高的骰子分数； ii）预测具有较高掩盖比和相对较小的贴片大小的原始体素值是用于医学图像建模的非平凡的自我监督借口任务； iii）重建的轻质解码器或投影头设计对于3D医学图像上的掩盖图像建模非常有力，该图像加快了训练并降低成本； iv）最后，我们还研究了在不同的实际情况下使用不同图像分辨率和标记的数据比率的MIM方法的有效性。

蒙面自动编码在图像和语言领域的自我监督学习方面取得了巨大的成功。但是，基于面具的预处理尚未显示出对点云理解的好处，这可能是由于PointNet（PointNet）无法正确处理训练的标准骨架，而不是通过训练期间掩盖引入的测试分配不匹配。在本文中，我们通过提出一个判别性掩码式变压器框架，maskPoint}来弥合这一差距。我们的关键想法是将点云表示为离散的占用值（1如果点云的一部分；如果不是的，则为0），并在蒙版对象点和采样噪声点之间执行简单的二进制分类作为代理任务。这样，我们的方法是对点云中的点采样差异的强大，并促进了学习丰富的表示。我们在几个下游任务中评估了验证的模型，包括3D形状分类，分割和现实词对象检测，并展示了最新的结果，同时获得了明显的预读速度（例如，扫描仪上的4.1倍）先前的最新变压器基线。代码可在https://github.com/haotian-liu/maskpoint上找到。

大量的数据和创新算法使数据驱动的建模成为现代行业的流行技术。在各种数据驱动方法中，潜在变量模型（LVM）及其对应物占主要份额，并在许多工业建模领域中起着至关重要的作用。 LVM通常可以分为基于统计学习的经典LVM和基于神经网络的深层LVM（DLVM）。我们首先讨论经典LVM的定义，理论和应用，该定义和应用既是综合教程，又是对经典LVM的简短申请调查。然后，我们对当前主流DLVM进行了彻底的介绍，重点是其理论和模型体系结构，此后不久就提供了有关DLVM的工业应用的详细调查。上述两种类型的LVM具有明显的优势和缺点。具体而言，经典的LVM具有简洁的原理和良好的解释性，但是它们的模型能力无法解决复杂的任务。基于神经网络的DLVM具有足够的模型能力，可以在复杂的场景中实现令人满意的性能，但它以模型的解释性和效率为例。旨在结合美德并减轻这两种类型的LVM的缺点，并探索非神经网络的举止以建立深层模型，我们提出了一个新颖的概念，称为“轻量级Deep LVM（LDLVM）”。在提出了这个新想法之后，该文章首先阐述了LDLVM的动机和内涵，然后提供了两个新颖的LDLVM，并详尽地描述了其原理，建筑和优点。最后，讨论了前景和机会，包括重要的开放问题和可能的研究方向。

最近，自我监督的预训练在W.R.T.的各种任务上具有先进的视觉变压器。不同的数据模式，例如图像和3D点云数据。在本文中，我们探讨了基于变压器的3D网格数据分析的学习范式。由于将变压器体系结构应用于新模式通常是非平凡的，因此我们首先将视觉变压器适应3D网格数据处理，即网格变压器。具体而言，我们将网格分为几个非重叠的本地贴片，每个贴片包含相同数量的面部，并使用每个贴片中心点的3D位置形成位置嵌入。受MAE的启发，我们探讨了如何使用基于变压器的结构对3D网格数据进行预训练如何使下游3D网格分析任务受益。我们首先随机掩盖网格的一些补丁，并将损坏的网格馈入网格变形金刚。然后，通过重建蒙版补丁的信息，该网络能够学习网格数据的区分表示。因此，我们命名我们的方法meshmae，可以在网格分析任务（即分类和分割）上产生最先进或可比性的性能。此外，我们还进行了全面的消融研究，以显示我们方法中关键设计的有效性。

在本文中，我们提出了一个文本降低不变的自动编码器（Text-Diae），这是一种旨在解决两个任务的自我监督模型，即文本识别（手写或场景文本）和文档图像增强。我们首先采用基于变压器的体系结构，该体系结构将三个借口任务作为学习目标，在预训练期间必须在不使用标签数据的情况下进行优化。每个借口目标都是专门针对最终下游任务量身定制的。我们进行了几项消融实验，以确认所选借口任务的设计选择。重要的是，所提出的模型并未基于对比损失表现出先前最新方法的局限性，而同时需要更少的数据样本来收敛。最后，我们证明我们的方法超过了手写和场景文本识别和文档图像增强的现有监督和自我监督的设置中的最新设置。我们的代码和训练有素的模型将在〜\ url {http：// on_accepters}上公开提供。

从自然语言嵌入中汲取灵感，我们提出了Astromer，这是一种基于变压器的模型，以创建光曲线的表示。Astromer接受了数以百万计的Macho R波段样品的培训，并且很容易对其进行微调以匹配与下游任务相关的特定域。例如，本文显示了使用预训练的表示形式对变量恒星进行分类的好处。此外，我们还提供了一个Python库，其中包括这项工作中使用的所有功能。我们的图书馆包括预先培训的模型，可用于增强深度学习模型的性能，减少计算资源，同时获得最新的结果。

特征选择是机器学习的重要过程。它通过选择对预测目标贡献最大的功能来构建一个可解释且健壮的模型。但是，大多数成熟的特征选择算法，包括受监督和半监督，无法完全利用特征之间的复杂潜在结构。我们认为，这些结构对于特征选择过程非常重要，尤其是在缺乏标签并且数据嘈杂的情况下。为此，我们创新地向特征选择问题（即基于批量注意的自我划分特征选择（A-SFS））进行了创新的深入的自我监督机制。首先，多任务自我监督的自动编码器旨在在两个借口任务的支持下揭示功能之间的隐藏结构。在来自多自制的学习模型的集成信息的指导下，批处理注意机制旨在根据基于批处理的特征选择模式产生特征权重，以减轻少数嘈杂数据引入的影响。将此方法与14个主要强大基准进行了比较，包括LightGBM和XGBoost。实验结果表明，A-SFS在大多数数据集中达到了最高的精度。此外，这种设计大大降低了对标签的依赖，仅需1/10个标记的数据即可达到与那些先进的基线相同的性能。结果表明，A-SFS对于嘈杂和缺少数据也是最强大的。

随着Gen III核反应堆的质量构建，使用深度学习（DL）技术是一种流行的趋势，以快速有效地诊断可能发生的事故。为了克服使用深度学习理论诊断反应堆事故的先前工作的常见问题，本文提出了一个诊断过程，以确保对嘈杂和残废的数据的鲁棒性稳健性并且可以解释。首先，提出了一种新颖的剥离垫垫自动编码器（DPAE）来提取监视数据，其表示提取器仍在具有高达25.0的信噪比的干扰数据上有效，并监视丢失的数据丢失的数据高达40.0％。其次，提出了使用DPAE编码器提取表示形式的诊断框架，然后提出了浅统计学习算法，并在41.8％和80.8％的分类和回归任务评估指标上测试了这种逐步诊断方法，并在受干扰的数据集上进行了测试 - 到端诊断方法。最后，提出了使用SHAP和特征消融的分层解释算法，以分析输入监视参数的重要性并验证高重要性参数的有效性。这项研究的结果提供了一种参考方法，用于在具有高安全性要求的情况下在场景中构建强大而可解释的智能反应堆异常诊断系统。