在大数据的时代，基于数据驱动的分类已成为智能制造业的基本方法，以指导生产和优化检查。实践中获得的工业数据通常是由软传感器收集的时间序列数据，这是高度非线性，非间断，不平衡和嘈杂的。大多数现有的软传感机器学习模型侧重于捕获串联内部时间依赖关系或预定义的序列间相关性，同时忽略标签之间的相关性，每个实例同时与多个标签相关联。在本文中，我们提出了一种基于曲线的新颖的曲线图，用于多变量时间序列分类噪声和高度不平衡的软感测数据。所提出的基层能够在光谱域中捕获串联串联和串联系列依赖项; 2）通过叠加由统计共生信息构建的标签图来利用标签相关性; 3）从文本和数值域中使用注意机制学习功能; 4）利用未标记的数据并通过半监督学习缓解数据不平衡。与其他常用分类器的比较研究在希捷软感测数据上进行，实验结果验证了我们提出的方法的竞争性能。

在过去的几十年中，现代工业过程研究了几种具有成本效益的方法，以提高半导体制造的生产率和产量。虽然在促进实时监控和控制方面发挥重要作用，但行业中的数据驱动的软传感器在增强了晶圆故障诊断的深度学习方法时提供了竞争优势。尽管各个领域的深度学习方法取得了成功，但它们倾向于在多变化的软感测数据域上遭受不良性能。为了缓解这一点，我们提出了一种用于晶圆故障诊断分类任务的软感应集合器（卷积式变压器），主要由多头卷积模块组成，可获得快速和轻量级操作的卷曲的益处，以及能力通过多头设计相同的变压器来学习强大的表示。另一个关键问题是传统的学习范式倾向于在嘈杂和高度不平衡的软感测数据上遭受低性能。为了解决这个问题，我们使用基于课程的课程的损失函数增强了我们的软感测符合子模型，这有效地在培训的早期阶段和困难的阶段中学习易于样本。为了进一步展示我们拟议的架构的效用，我们对希捷技术的晶圆制造过程的各种工具进行了广泛的实验，这些工具与这项工作一起分享。据我们所知，这是第一次提出了课程，为软感测数据提出了基于课程的软感测符合子架构，我们的结果表明未来在软传感研究领域的使用中有很强的承诺。

随着近年来AI技术的快速发展，柔软传感区域的深层学习模型有很多研究。然而，该模型已经变得更加复杂，但数据集保持有限：研究人员用数百个数据样本拟合百万参数模型，这不足以行使其模型的有效性，因此在工业中实施时通常无法执行应用程序。为解决这一持久的问题，我们正在为公众提供大规模的高维时间序列制造传感器数据。我们展示了这些数据集上软感应变压器模型建模工业大数据的挑战和有效性。使用变压器，因为，它在自然语言处理中表现出优于最先进的技术，从直接应用到计算机视觉时也表现良好，而不引入图像特定的感应偏差。我们观察句子结构与传感器读数的相似性，并以自然语言中的句子类似的方式处理多变量传感器读数。高维时间序列数据被格式化成相同的嵌入式句子，并馈入变压器模型。结果表明，基于自动编码器和长短期存储器（LSTM）模型，变压器模型优于软感测场中的基准模型。据我们所知，我们是学术界或工业的第一支球队，以利用大规模数值软感测数据基准原始变压器模型的性能。

大量的数据和创新算法使数据驱动的建模成为现代行业的流行技术。在各种数据驱动方法中，潜在变量模型（LVM）及其对应物占主要份额，并在许多工业建模领域中起着至关重要的作用。 LVM通常可以分为基于统计学习的经典LVM和基于神经网络的深层LVM（DLVM）。我们首先讨论经典LVM的定义，理论和应用，该定义和应用既是综合教程，又是对经典LVM的简短申请调查。然后，我们对当前主流DLVM进行了彻底的介绍，重点是其理论和模型体系结构，此后不久就提供了有关DLVM的工业应用的详细调查。上述两种类型的LVM具有明显的优势和缺点。具体而言，经典的LVM具有简洁的原理和良好的解释性，但是它们的模型能力无法解决复杂的任务。基于神经网络的DLVM具有足够的模型能力，可以在复杂的场景中实现令人满意的性能，但它以模型的解释性和效率为例。旨在结合美德并减轻这两种类型的LVM的缺点，并探索非神经网络的举止以建立深层模型，我们提出了一个新颖的概念，称为“轻量级Deep LVM（LDLVM）”。在提出了这个新想法之后，该文章首先阐述了LDLVM的动机和内涵，然后提供了两个新颖的LDLVM，并详尽地描述了其原理，建筑和优点。最后，讨论了前景和机会，包括重要的开放问题和可能的研究方向。

Deep learning has revolutionized many machine learning tasks in recent years, ranging from image classification and video processing to speech recognition and natural language understanding. The data in these tasks are typically represented in the Euclidean space. However, there is an increasing number of applications where data are generated from non-Euclidean domains and are represented as graphs with complex relationships and interdependency between objects. The complexity of graph data has imposed significant challenges on existing machine learning algorithms. Recently, many studies on extending deep learning approaches for graph data have emerged. In this survey, we provide a comprehensive overview of graph neural networks (GNNs) in data mining and machine learning fields. We propose a new taxonomy to divide the state-of-the-art graph neural networks into four categories, namely recurrent graph neural networks, convolutional graph neural networks, graph autoencoders, and spatial-temporal graph neural networks. We further discuss the applications of graph neural networks across various domains and summarize the open source codes, benchmark data sets, and model evaluation of graph neural networks. Finally, we propose potential research directions in this rapidly growing field.

Time series anomaly detection has applications in a wide range of research fields and applications, including manufacturing and healthcare. The presence of anomalies can indicate novel or unexpected events, such as production faults, system defects, or heart fluttering, and is therefore of particular interest. The large size and complex patterns of time series have led researchers to develop specialised deep learning models for detecting anomalous patterns. This survey focuses on providing structured and comprehensive state-of-the-art time series anomaly detection models through the use of deep learning. It providing a taxonomy based on the factors that divide anomaly detection models into different categories. Aside from describing the basic anomaly detection technique for each category, the advantages and limitations are also discussed. Furthermore, this study includes examples of deep anomaly detection in time series across various application domains in recent years. It finally summarises open issues in research and challenges faced while adopting deep anomaly detection models.

流量预测在智能运输系统中交通控制和调度任务的实现中起着重要作用。随着数据源的多元化，合理地使用丰富的流量数据来对流量流中复杂的时空依赖性和非线性特征进行建模是智能运输系统的关键挑战。此外，清楚地评估从不同数据中提取的时空特征的重要性成为一个挑战。提出了双层 - 空间时间特征提取和评估（DL -STFEE）模型。 DL-STFEE的下层是时空特征提取层。流量数据中的空间和时间特征是通过多画图卷积和注意机制提取的，并生成了空间和时间特征的不同组合。 DL-STFEE的上层是时空特征评估层。通过高维自我注意力发项机制产生的注意力评分矩阵，空间特征组合被融合和评估，以便获得不同组合对预测效应的影响。在实际的流量数据集上进行了三组实验，以表明DL-STFEE可以有效地捕获时空特征并评估不同时空特征组合的重要性。

The task of multi-label image recognition is to predict a set of object labels that present in an image. As objects normally co-occur in an image, it is desirable to model the label dependencies to improve the recognition performance. To capture and explore such important dependencies, we propose a multi-label classification model based on Graph Convolutional Network (GCN). The model builds a directed graph over the object labels, where each node (label) is represented by word embeddings of a label, and GCN is learned to map this label graph into a set of inter-dependent object classifiers. These classifiers are applied to the image descriptors extracted by another sub-net, enabling the whole network to be end-to-end trainable. Furthermore, we propose a novel re-weighted scheme to create an effective label correlation matrix to guide information propagation among the nodes in GCN. Experiments on two multi-label image recognition datasets show that our approach obviously outperforms other existing state-of-the-art methods. In addition, visualization analyses reveal that the classifiers learned by our model maintain meaningful semantic topology.

随着传感技术的进步，多元时间序列分类（MTSC）最近受到了相当大的关注。基于深度学习的MTSC技术主要依赖于卷积或经常性神经网络，主要涉及单时间序列的时间依赖性。结果，他们努力直接在多变量变量中表达成对依赖性。此外，基于图形神经网络（GNNS）的当前空间 - 时间建模（例如，图形分类）方法本质上是平的，并且不能以分层方式聚合集线器数据。为了解决这些限制，我们提出了一种基于新的图形汇集框架MTPOOL，以获得MTS的表现力全球表示。我们首先通过采用通过图形结构学习模块的相互作用来将MTS切片转换为曲线图，并通过时间卷积模块获得空间 - 时间图节点特征。为了获得全局图形级表示，我们设计了基于“编码器 - 解码器”的变形图池池模块，用于为群集分配创建自适应质心。然后我们将GNN和我们所提出的变分图层汇集层组合用于联合图表示学习和图形粗糙化，之后该图逐渐赋予一个节点。最后，可差异化的分类器将此粗糙的表示来获取最终预测的类。 10个基准数据集的实验表明MTPOOL优于MTSC任务中最先进的策略。

Graph classification is an important area in both modern research and industry. Multiple applications, especially in chemistry and novel drug discovery, encourage rapid development of machine learning models in this area. To keep up with the pace of new research, proper experimental design, fair evaluation, and independent benchmarks are essential. Design of strong baselines is an indispensable element of such works. In this thesis, we explore multiple approaches to graph classification. We focus on Graph Neural Networks (GNNs), which emerged as a de facto standard deep learning technique for graph representation learning. Classical approaches, such as graph descriptors and molecular fingerprints, are also addressed. We design fair evaluation experimental protocol and choose proper datasets collection. This allows us to perform numerous experiments and rigorously analyze modern approaches. We arrive to many conclusions, which shed new light on performance and quality of novel algorithms. We investigate application of Jumping Knowledge GNN architecture to graph classification, which proves to be an efficient tool for improving base graph neural network architectures. Multiple improvements to baseline models are also proposed and experimentally verified, which constitutes an important contribution to the field of fair model comparison.

多变量时间序列（MTS）预测在许多智能应用中引起了很多关注。它不是一个琐碎的任务，因为我们需要考虑一个可变的依赖关系和可变间依赖关系。但是，现有的作品是针对特定场景设计的，需要很多域知识和专家努力，这难以在不同的场景之间传输。在本文中，我们提出了一种尺度意识的神经结构，用于MTS预测（SNAS4MTF）的搜索框架。多尺度分解模块将原始时间序列转换为多尺度子系列，可以保留多尺度的时间模式。自适应图形学习模块在没有任何先前知识的情况下，在不同的时间尺度下递送不同的变量间依赖关系。对于MTS预测，搜索空间旨在在每次尺度上捕获可变的可变依赖性和可变间依赖关系。在端到端框架中共同学习多尺度分解，自适应图学习和神经架构搜索模块。两个现实世界数据集的大量实验表明，与最先进的方法相比，SNAS4MTF实现了有希望的性能。

流量预测是智能交通系统中时空学习任务的规范示例。现有方法在图形卷积神经操作员中使用预定的矩阵捕获空间依赖性。但是，显式的图形结构损失了节点之间关系的一些隐藏表示形式。此外，传统的图形卷积神经操作员无法在图上汇总远程节点。为了克服这些限制，我们提出了一个新型的网络，空间 - 周期性自适应图卷积，并通过注意力网络（Staan）进行交通预测。首先，我们采用自适应依赖性矩阵，而不是在GCN处理过程中使用预定义的矩阵来推断节点之间的相互依存关系。其次，我们集成了基于图形注意力网络的PW注意，该图形是为全局依赖性设计的，而GCN作为空间块。更重要的是，在我们的时间块中采用了堆叠的散布的1D卷积，具有长期预测的效率，用于捕获不同的时间序列。我们在两个现实世界数据集上评估了我们的Staan，并且实验验证了我们的模型优于最先进的基线。

图表神经网络（GNN）基于故障诊断（FD）近年来收到了越来越多的关注，因为来自来自多个应用域的数据可以有利地表示为图。实际上，与传统的FD方法相比，这种特殊的代表性表格导致了卓越的性能。在本次审查中，给出了GNN，对故障诊断领域的潜在应用以及未来观点的简单介绍。首先，通过专注于它们的数据表示，即时间序列，图像和图形，回顾基于神经网络的FD方法。其次，引入了GNN的基本原则和主要架构，注意了图形卷积网络，图注意网络，图形样本和聚合，图形自动编码器和空间 - 时间图卷积网络。第三，通过详细实验验证基于GNN的最相关的故障诊断方法，结论是基于GNN的方法可以实现良好的故障诊断性能。最后，提供了讨论和未来的挑战。

许多实际关系系统，如社交网络和生物系统，包含动态相互作用。在学习动态图形表示时，必须采用连续的时间信息和几何结构。主流工作通过消息传递网络（例如，GCN，GAT）实现拓扑嵌入。另一方面，时间演进通常通过在栅极机构中具有方便信息过滤的存储单元（例如，LSTM或GU）来表达。但是，由于过度复杂的编码，这种设计可以防止大规模的输入序列。这项工作从自我关注的哲学中学习，并提出了一种高效的基于频谱的神经单元，采用信息的远程时间交互。发达的频谱窗口单元（SWINIT）模型预测了具有保证效率的可扩展动态图形。该架构与一些构成随机SVD，MLP和图形帧卷积的一些简单的有效计算块组装。 SVD加MLP模块编码动态图事件的长期特征演进。帧卷积中的快速帧图形变换嵌入了结构动态。两种策略都提高了模型对可扩展分析的能力。特别地，迭代的SVD近似度将注意力的计算复杂性缩小到具有n个边缘和D边缘特征的动态图形的关注的计算复杂性，并且帧卷积的多尺度变换允许在网络训练中具有足够的可扩展性。我们的Swinit在各种在线连续时间动态图表学习任务中实现了最先进的性能，而与基线方法相比，可学习参数的数量可达七倍。

人口级社会事件，如民事骚乱和犯罪，往往对我们的日常生活产生重大影响。预测此类事件对于决策和资源分配非常重要。由于缺乏关于事件发生的真实原因和潜在机制的知识，事件预测传统上具有挑战性。近年来，由于两个主要原因，研究事件预测研究取得了重大进展：（1）机器学习和深度学习算法的开发和（2）社交媒体，新闻来源，博客，经济等公共数据的可访问性指标和其他元数据源。软件/硬件技术中的数据的爆炸性增长导致了社会事件研究中的深度学习技巧的应用。本文致力于提供社会事件预测的深层学习技术的系统和全面概述。我们专注于两个社会事件的域名：\ Texit {Civil unrest}和\ texit {犯罪}。我们首先介绍事件预测问题如何作为机器学习预测任务制定。然后，我们总结了这些问题的数据资源，传统方法和最近的深度学习模型的发展。最后，我们讨论了社会事件预测中的挑战，并提出了一些有希望的未来研究方向。

疾病预测是医学应用中的知名分类问题。 GCNS提供了一个强大的工具，用于分析患者相对于彼此的特征。这可以通过将问题建模作为图形节点分类任务来实现，其中每个节点是患者。由于这种医学数据集的性质，类别不平衡是疾病预测领域的普遍存在问题，其中类的分布是歪曲的。当数据中存在类别不平衡时，现有的基于图形的分类器倾向于偏向于主要类别并忽略小类中的样本。另一方面，所有患者中罕见阳性病例的正确诊断在医疗保健系统中至关重要。在传统方法中，通过将适当的权重分配给丢失函数中的类别来解决这种不平衡，这仍然依赖于对异常值敏感的权重的相对值，并且在某些情况下偏向于小类（ES）。在本文中，我们提出了一种重加权的对抗性图形卷积网络（RA-GCN），以防止基于图形的分类器强调任何特定类的样本。这是通过将基于图形的神经网络与每个类相关联来完成的，这负责加权类样本并改变分类器的每个样本的重要性。因此，分类器自身调节并确定类之间的边界，更加关注重要样本。分类器和加权网络的参数受到侵犯方法训练。我们在合成和三个公共医疗数据集上显示实验。与最近的方法相比，ra-gcn展示了与最近的方法在所有三个数据集上识别患者状态的方法相比。详细分析作为合成数据集的定量和定性实验提供。

多变量时间序列（MTS）预测在智能应用的自动化和优化中起着重要作用。这是一个具有挑战性的任务，因为我们需要考虑复杂的变量依赖关系和可变间依赖关系。现有的作品仅在单个可变依赖项的帮助下学习时间模式。然而，许多真实世界MTS中有多种时间模式。单个可变间依赖项使模型更倾向于学习一种类型的突出和共享的时间模式。在本文中，我们提出了一个多尺度自适应图形神经网络（MOLDN）来解决上述问题。 MOLDN利用多尺度金字塔网络，以在不同的时间尺度上保留潜在的时间依赖关系。由于可变间依赖关系可以在不同的时间尺度下不同，所以自适应图学习模块被设计为在没有预先定义的前沿的情况下推断规模特定的可变依赖关系。鉴于多尺度特征表示和规模特定的可变间依赖关系，引入了一个多尺度的时间图神经网络，以共同模拟帧内依赖性和可变间依赖性。之后，我们开发一个尺度明智的融合模块，以在不同时间尺度上有效地促进协作，并自动捕获贡献的时间模式的重要性。四个真实数据集的实验表明，Magnn在各种设置上表明了最先进的方法。

从智能制造收集的数据的不断增长的可用性正在改变生产监测和控制的范式。除了时变的意外的扰动和不确定性之外，晶片制造过程的复杂性和内容的增加，使得用基于模型的方法进行控制过程，使控制过程不可行。结果，数据驱动的软感测建模在晶圆过程诊断中变得更加普遍。最近，在高度非线性和动态时间序列数据中具有高度性能的软感测系统中已经利用了深度学习。然而，尽管它在软感动系统中取得了成功，但深层学习框架的潜在逻辑很难理解。在本文中，我们提出了一种使用高度不平衡数据集的缺陷晶片检测的深度学习模型。要了解所提出的模型如何工作，应用了深度可视化方法。另外，该模型然后通过深度可视化指导进行微调。进行广泛的实验以验证所提出的系统的有效性。结果提供了一种解释模型工作原理和基于解释的有效微调方法的解释。

交通预测是智能交通系统的问题（ITS），并为个人和公共机构是至关重要的。因此，研究高度重视应对准确预报交通系统的复杂的时空相关性。但是，有两个挑战：1）大多数流量预测研究主要集中在造型相邻传感器的相关性，而忽略远程传感器，例如，商务区有类似的时空模式的相关性; 2）使用静态邻接矩阵中曲线图的卷积网络（GCNs）的现有方法不足以反映在交通系统中的动态空间依赖性。此外，它采用自注意所有的传感器模型动态关联细粒度方法忽略道路网络分层信息，并有二次计算复杂性。在本文中，我们提出了一种新动态多图形卷积递归网络（DMGCRN），以解决上述问题，可以同时距离的空间相关性，结构的空间相关性，和所述时间相关性进行建模。那么，只使用基于距离的曲线图来捕获空间信息从节点是接近距离也构建了一个新潜曲线图，其编码的道路之间的相关性的结构来捕获空间信息从节点在结构上相似。此外，我们在不同的时间将每个传感器的邻居到粗粒区域，并且动态地分配不同的权重的每个区域。同时，我们整合动态多图卷积网络到门控重复单元（GRU）来捕获时间依赖性。三个真实世界的交通数据集大量的实验证明，我们提出的算法优于国家的最先进的基线。

人类每天产生的exabytes数据，导致越来越需要对大数据带来的多标签学习的大挑战的新努力。例如，极端多标签分类是一个有效且快速增长的研究区域，可以处理具有极大数量的类或标签的分类任务;利用具有有限监督的大规模数据构建一个多标签分类模型对实际应用变得有价值。除此之外，如何收获深度学习的强大学习能力，有巨大努力，以更好地捕获多标签的标签依赖性学习，这是深入学习解决现实世界分类任务的关键。然而，有人指出，缺乏缺乏系统性研究，明确关注分析大数据时代的多标签学习的新兴趋势和新挑战。呼吁综合调查旨在满足这项任务和描绘未来的研究方向和新应用。