缺少价值是传感器中非常普遍且不可避免的问题，研究人员已经进行了许多尝试丢失价值的尝试，尤其是在深度学习模型中。但是，对于实际传感器数据，很少考虑特定的数据分布和数据周期，因此很难为不同传感器选择适当的评估索引和模型。为了解决这个问题，本研究提出了一个基于深度学习的多阶段插补框架，并适应缺失价值插补。该模型提出了数据分布的低阶和高阶统计数据的混合测量指数，以及对数据插补性能指标的新观点，该指标比传统的平均平方误差更适应性和有效。多阶段的归档策略和动态数据长度被引入数据周期的插补过程中。对不同类型的传感器数据的实验结果表明，多阶段的归合策略和混合指数是优越的，并且缺失价值插补的效果在一定程度上得到了改善，尤其是对于大段插补问题。代码和实验结果已上传到GitHub。

时间序列数据在现实世界应用中无处不在。但是，最常见的问题之一是，时间序列数据可能会通过数据收集过程的固有性质丢失值。因此，必须从多元（相关）时间序列数据中推出缺失值，这对于改善预测性能的同时做出准确的数据驱动决策至关重要。插补的常规工作简单地删除缺失值或基于平均/零填充它们。尽管基于深层神经网络的最新作品显示出了显着的结果，但它们仍然有一个限制来捕获多元时间序列的复杂生成过程。在本文中，我们提出了一种用于多变量时间序列数据的新型插补方法，称为sting（使用GAN基于自我注意的时间序列插补网络）。我们利用生成的对抗网络和双向复发性神经网络来学习时间序列的潜在表示。此外，我们引入了一种新型的注意机制，以捕获整个序列的加权相关性，并避免无关序列带来的潜在偏见。三个现实世界数据集的实验结果表明，刺痛在插补精度以及具有估算值的下游任务方面优于现有的最新方法。

缺失值的插补代表了许多现实世界数据分析管道的重要障碍。在这里，我们专注于时间序列数据，并提出SSSD，这是一个依赖两种新兴技术的插图模型，（条件）扩散模型是最先进的生成模型，结构化状态空间模型作为内部模型体系结构，是特别适合捕获时间序列数据中的长期依赖性。我们证明，在广泛的数据集和不同的丢失方案（包括具有挑战性的停电失误的情况）上，SSSD匹配甚至超过了最先进的概率插补和预测性能，在这些情况下，先前的方法未能提供有意义的结果。

我们在多变量时间序列预测（MTSF）的域中制定了一个新的推理任务，称为变量子集预报（VSF），其中仅在推理过程中可用一小部分变量子集。由于长期数据丢失（例如，传感器故障）或列车 /测试之间的高 - >低资源域移动，因此在推理过程中没有变量。据我们所知，在文献中尚未研究MTSF模型在存在此类故障的情况下的稳健性。通过广泛的评估，我们首先表明，在VSF设置中，最新方法的性能显着降低。我们提出了一种非参数包装技术，该技术可以应用于任何现有的预测模型。通过在4个数据集和5个预测模型的系统实验中，我们表明我们的技术能够恢复模型的接近95 \％性能，即使仅存在15 \％的原始变量。

近年来，随着传感器和智能设备的广泛传播，物联网（IoT）系统的数据生成速度已大大增加。在物联网系统中，必须经常处理，转换和分析大量数据，以实现各种物联网服务和功能。机器学习（ML）方法已显示出其物联网数据分析的能力。但是，将ML模型应用于物联网数据分析任务仍然面临许多困难和挑战，特别是有效的模型选择，设计/调整和更新，这给经验丰富的数据科学家带来了巨大的需求。此外，物联网数据的动态性质可能引入概念漂移问题，从而导致模型性能降解。为了减少人类的努力，自动化机器学习（AUTOML）已成为一个流行的领域，旨在自动选择，构建，调整和更新机器学习模型，以在指定任务上实现最佳性能。在本文中，我们对Automl区域中模型选择，调整和更新过程中的现有方法进行了审查，以识别和总结将ML算法应用于IoT数据分析的每个步骤的最佳解决方案。为了证明我们的发现并帮助工业用户和研究人员更好地实施汽车方法，在这项工作中提出了将汽车应用于IoT异常检测问题的案例研究。最后，我们讨论并分类了该领域的挑战和研究方向。

Remaining Useful Life (RUL) estimation plays a critical role in Prognostics and Health Management (PHM). Traditional machine health maintenance systems are often costly, requiring sufficient prior expertise, and are difficult to fit into highly complex and changing industrial scenarios. With the widespread deployment of sensors on industrial equipment, building the Industrial Internet of Things (IIoT) to interconnect these devices has become an inexorable trend in the development of the digital factory. Using the device's real-time operational data collected by IIoT to get the estimated RUL through the RUL prediction algorithm, the PHM system can develop proactive maintenance measures for the device, thus, reducing maintenance costs and decreasing failure times during operation. This paper carries out research into the remaining useful life prediction model for multi-sensor devices in the IIoT scenario. We investigated the mainstream RUL prediction models and summarized the basic steps of RUL prediction modeling in this scenario. On this basis, a data-driven approach for RUL estimation is proposed in this paper. It employs a Multi-Head Attention Mechanism to fuse the multi-dimensional time-series data output from multiple sensors, in which the attention on features is used to capture the interactions between features and attention on sequences is used to learn the weights of time steps. Then, the Long Short-Term Memory Network is applied to learn the features of time series. We evaluate the proposed model on two benchmark datasets (C-MAPSS and PHM08), and the results demonstrate that it outperforms the state-of-art models. Moreover, through the interpretability of the multi-head attention mechanism, the proposed model can provide a preliminary explanation of engine degradation. Therefore, this approach is promising for predictive maintenance in IIoT scenarios.

大量的数据和创新算法使数据驱动的建模成为现代行业的流行技术。在各种数据驱动方法中，潜在变量模型（LVM）及其对应物占主要份额，并在许多工业建模领域中起着至关重要的作用。 LVM通常可以分为基于统计学习的经典LVM和基于神经网络的深层LVM（DLVM）。我们首先讨论经典LVM的定义，理论和应用，该定义和应用既是综合教程，又是对经典LVM的简短申请调查。然后，我们对当前主流DLVM进行了彻底的介绍，重点是其理论和模型体系结构，此后不久就提供了有关DLVM的工业应用的详细调查。上述两种类型的LVM具有明显的优势和缺点。具体而言，经典的LVM具有简洁的原理和良好的解释性，但是它们的模型能力无法解决复杂的任务。基于神经网络的DLVM具有足够的模型能力，可以在复杂的场景中实现令人满意的性能，但它以模型的解释性和效率为例。旨在结合美德并减轻这两种类型的LVM的缺点，并探索非神经网络的举止以建立深层模型，我们提出了一个新颖的概念，称为“轻量级Deep LVM（LDLVM）”。在提出了这个新想法之后，该文章首先阐述了LDLVM的动机和内涵，然后提供了两个新颖的LDLVM，并详尽地描述了其原理，建筑和优点。最后，讨论了前景和机会，包括重要的开放问题和可能的研究方向。

机器学习开始在一系列环境应用中提供最先进的性能，例如水文流域中的流量预测。但是，由于主要的水文工艺的可变性，在实践中建立准确的大规模模型在实践中仍然具有挑战性，这是通过一组与过程相关的盆地特征捕获的。现有的盆地特征遭受了噪音和不确定性的影响，以及许多其他事情，这会对模型性能产生不利影响。为了应对上述挑战，在本文中，我们提出了一种新颖的知识引导的自学学习（KGSSL）逆框架，以从驱动程序和响应数据中提取系统特征。即使特征被损坏，这个首先的框架即使在特征被损坏的情况下也达到了强大的性能。我们表明，KGSSL为骆驼的流量建模（大型研究的流域属性和气象学）实现了最新的结果，这是一个广泛使用的水文基准数据集。具体而言，KGSSL在重建特性中最多优于其他方法16 \％。此外，我们表明KGSSL比基线方法相对强大，并且在插入KGSSL推断的特征时，基线模型的表现优于35 \％。

Time series anomaly detection has applications in a wide range of research fields and applications, including manufacturing and healthcare. The presence of anomalies can indicate novel or unexpected events, such as production faults, system defects, or heart fluttering, and is therefore of particular interest. The large size and complex patterns of time series have led researchers to develop specialised deep learning models for detecting anomalous patterns. This survey focuses on providing structured and comprehensive state-of-the-art time series anomaly detection models through the use of deep learning. It providing a taxonomy based on the factors that divide anomaly detection models into different categories. Aside from describing the basic anomaly detection technique for each category, the advantages and limitations are also discussed. Furthermore, this study includes examples of deep anomaly detection in time series across various application domains in recent years. It finally summarises open issues in research and challenges faced while adopting deep anomaly detection models.

时间序列数据生成近年来越来越受到关注。已经提出了几种生成的对抗网络（GaN）的方法通常是假设目标时间序列数据良好格式化并完成的假设来解决问题。然而，现实世界时间序列（RTS）数据远离该乌托邦，例如，具有可变长度的长序列和信息缺失数据，用于设计强大的发电算法的棘手挑战。在本文中，我们向RTS数据提出了一种新的生成框架 - RTSGAN来解决上述挑战。 RTSGAN首先学习编码器 - 解码器模块，该模块提供时间序列实例和固定维度潜在载体之间的映射，然后学习生成模块以在同一潜在空间中生成vectors。通过组合发电机和解码器，RTSGAN能够生成尊重原始特征分布和时间动态的RTS。为了生成具有缺失值的时间序列，我们进一步用观察嵌入层和决定和生成解码器装备了RTSGAN，以更好地利用信息缺失模式。四个RTS数据集上的实验表明，该框架在用于下游分类和预测任务的合成数据实用程序方面优于前一代方法。

缺失数据的归责是在许多工程和科学应用中发挥着重要作用的任务。通常，这种缺失的数据来自传感器的限制或后处理转换误差的实验观察中。其他时间从计算机模拟中的数值和算法约束产生。本文的一个这样的实例和应用重点是风暴浪涌的数值模拟。模拟数据对应于感兴趣的地理领域内的多个保存点的时间序列浪涌预测，创建了浪涌点在空间且时间上大量相关的时空呈现问题，并且缺失的值区域在结构上分布随机的。最近，已经开发了机器学习技术，例如神经网络方法，并用于缺少数据归档任务。生成的对抗网（GAN）和基于GAN的技术是特别引起了无监督机器学习方法的关注。在这项研究中，通过应用卷积神经网络而不是完全连接的层来改善生成的对抗性归纳网（增益）性能，以更好地捕获数据的相关性并从相邻的浪涌点促进学习。对所研究的数据所需的方法的另一调整是考虑点作为附加特征的点的坐标，以通过卷积层提供更多信息。我们将所提出的方法称为卷积生成的对抗性普通网（CONV-GAIL）。通过考虑风暴浪涌数据所需的改进和适应来评估和与原始增益和其他一些技术进行评估，提出的方法的表现。结果表明，CONV增益比研究数据上的替代方法具有更好的性能。

考虑在数据集中插入缺失值的问题。一方面，使用迭代插补的一方面，传统的方法可以直接从学习条件分布的简单性和可定制性中受益，但遭受了对每个变量的适当模型规范的实际要求。另一方面，使用深层生成建模的最新方法受益于神经网络功能近似器的学习能力和效率，但通常很难优化和依赖更强大的数据假设。在这项工作中，我们研究了一种嫁给两者优势的方法：我们提出了 *Hyperibute *，这是一种适应性和自动配置列型模型及其超级参数的广义迭代插补框架。实际上，我们为开箱即用的学习者，优化者，模拟器和可扩展的接口提供具体的实现。从经验上讲，我们通过在各种公共数据集上通过全面的实验和敏感性调查了该框架，并证明了其相对于强大基准测试套件而产生准确的归精的能力。与最近的工作相反，我们认为我们的发现构成了对迭代归档范式的强烈辩护。

REED继电器是功能测试的基本组成部分，与电子产品的成功质量检查密切相关。为了为REED继电器提供准确的剩余使用寿命（RUL）估计，根据以下三个考虑，提出了具有降解模式聚类的混合深度学习网络。首先，对于REED继电器，观察到多种降解行为，因此提供了基于动态的$ K $ -MEANS聚类，以区分彼此的退化模式。其次，尽管适当的功能选择具有重要意义，但很少有研究可以指导选择。提出的方法建议进行操作规则，以实施轻松实施。第三，提出了用于剩余使用寿命估计的神经网络（RULNET），以解决卷积神经网络（CNN）在捕获顺序数据的时间信息中的弱点，该信息在卷积操作的高级特征表示后结合了时间相关能力。通过这种方式，lulnet的三种变体由健康指标，具有自组织地图的功能或具有曲线拟合的功能构建。最终，将提出的混合模型与典型的基线模型（包括CNN和长期记忆网络（LSTM））进行了比较，该模型通过具有两个不同不同降级方式的实用REED继电器数据集进行了比较。两种降解案例的结果表明，所提出的方法在索引均方根误差方面优于CNN和LSTM。

作为自然现象的地震，历史上不断造成伤害和人类生活的损失。地震预测是任何社会计划的重要方面，可以增加公共准备，并在很大程度上减少损坏。然而，由于地震的随机特征以及实现了地震预测的有效和可靠模型的挑战，迄今为止努力一直不足，需要新的方法来解决这个问题。本文意识到​​这些问题，提出了一种基于注意机制（AM），卷积神经网络（CNN）和双向长短期存储器（BILSTM）模型的新型预测方法，其可以预测数量和最大幅度中国大陆各地区的地震为基于该地区的地震目录。该模型利用LSTM和CNN具有注意机制，以更好地关注有效的地震特性并产生更准确的预测。首先，将零阶保持技术应用于地震数据上的预处理，使得模型的输入数据更适当。其次，为了有效地使用空间信息并减少输入数据的维度，CNN用于捕获地震数据之间的空间依赖性。第三，使用Bi-LSTM层来捕获时间依赖性。第四，引入了AM层以突出其重要的特征来实现更好的预测性能。结果表明，该方法具有比其他预测方法更好的性能和概括能力。

Traffic forecasting has attracted widespread attention recently. In reality, traffic data usually contains missing values due to sensor or communication errors. The Spatio-temporal feature in traffic data brings more challenges for processing such missing values, for which the classic techniques (e.g., data imputations) are limited: 1) in temporal axis, the values can be randomly or consecutively missing; 2) in spatial axis, the missing values can happen on one single sensor or on multiple sensors simultaneously. Recent models powered by Graph Neural Networks achieved satisfying performance on traffic forecasting tasks. However, few of them are applicable to such a complex missing-value context. To this end, we propose GCN-M, a Graph Convolutional Network model with the ability to handle the complex missing values in the Spatio-temporal context. Particularly, we jointly model the missing value processing and traffic forecasting tasks, considering both local Spatio-temporal features and global historical patterns in an attention-based memory network. We propose as well a dynamic graph learning module based on the learned local-global features. The experimental results on real-life datasets show the reliability of our proposed method.

在不完整的数据集中对样本进行分类是机器学习从业人员的普遍目的，但并非平凡。在大多数现实世界数据集中发现缺失的数据，这些缺失值通常是使用已建立的方法估算的，然后进行分类现在完成，估算的样本。然后，机器学习研究人员的重点是优化下游分类性能。在这项研究中，我们强调必须考虑插补的质量。我们展示了如何评估质量的常用措施有缺陷，并提出了一类新的差异评分，这些分数着重于该方法重新创建数据的整体分布的程度。总而言之，我们强调了使用不良数据训练的分类器模型的可解释性损害。

Forecasting time series with extreme events has been a challenging and prevalent research topic, especially when the time series data are affected by complicated uncertain factors, such as is the case in hydrologic prediction. Diverse traditional and deep learning models have been applied to discover the nonlinear relationships and recognize the complex patterns in these types of data. However, existing methods usually ignore the negative influence of imbalanced data, or severe events, on model training. Moreover, methods are usually evaluated on a small number of generally well-behaved time series, which does not show their ability to generalize. To tackle these issues, we propose a novel probability-enhanced neural network model, called NEC+, which concurrently learns extreme and normal prediction functions and a way to choose among them via selective back propagation. We evaluate the proposed model on the difficult 3-day ahead hourly water level prediction task applied to 9 reservoirs in California. Experimental results demonstrate that the proposed model significantly outperforms state-of-the-art baselines and exhibits superior generalization ability on data with diverse distributions.

合奏的基本分支混合合奏在许多机器学习问题，尤其是回归中蓬勃发展。几项研究证实了多样性的重要性。但是，以前的合奏仅考虑在子模型训练阶段的多样性，与单个模型相比，改进有限。相反，本研究从异质模型池中选择和权重子模型。它使用内点过滤线性搜索算法解决了优化问题。这种优化问题创新地将负相关学习作为惩罚项，可以选择多种模型子集。实验结果显示了一些有意义的观点。模型池构造需要不同类别的模型，每个类别都作为子模型为所有可能的参数集。选择每个类的最佳子模型以构建基于NCL的合奏，该集合比子模型的平均值要好得多。此外，与经典常数和非恒定加权方法相比，基于NCL的合奏在几种预测指标中具有重要优势。实际上，由于模型不确定性，很难在事先结论数据集的最佳子模型。但是，我们的方法将获得可比较的精度作为RMSE度量的潜在最佳子模型。总之，这项研究的价值在于它的易用性和有效性，使混合团合奏可以接受多样性和准确性。

尽管电子健康记录是生物医学研究的丰富数据来源，但这些系统并未在医疗环境中统一地实施，并且由于医疗保健碎片化和孤立的电子健康记录之间缺乏互操作性，可能缺少大量数据。考虑到缺少数据的案例的删除可能会在随后的分析中引起严重的偏见，因此，一些作者更喜欢采用多重插补策略来恢复缺失的信息。不幸的是，尽管几项文献作品已经通过使用现在可以自由研究的任何不同的多个归档算法记录了有希望的结果，但尚无共识，MI算法效果最好。除了选择MI策略之外，归纳算法及其应用程序设置的选择也至关重要且具有挑战性。在本文中，受鲁宾和范布伦的开创性作品的启发，我们提出了一个方法学框架，可以应用于评估和比较多种多个插补技术，旨在选择用于计算临床研究工作中最有效的推断。我们的框架已被应用于验证和扩展较大的队列，这是我们在先前的文献研究中提出的结果，我们在其中评估了关键患者的描述符和Covid-19的影响在2型糖尿病患者中的影响，其数据为2型糖尿病，其数据为2型糖尿病由国家共同队列合作飞地提供。

预测基金绩效对投资者和基金经理都是有益的，但这是一项艰巨的任务。在本文中，我们测试了深度学习模型是否比传统统计技术更准确地预测基金绩效。基金绩效通常通过Sharpe比率进行评估，该比例代表了风险调整的绩效，以确保基金之间有意义的可比性。我们根据每月收益率数据序列数据计算了年度夏普比率，该数据的时间序列数据为600多个投资于美国上市大型股票的开放式共同基金投资。我们发现，经过现代贝叶斯优化训练的长期短期记忆（LSTM）和封闭式复发单元（GRUS）深度学习方法比传统统计量相比，预测基金的Sharpe比率更高。结合了LSTM和GRU的预测的合奏方法，可以实现所有模型的最佳性能。有证据表明，深度学习和结合能提供有希望的解决方案，以应对基金绩效预测的挑战。