随着近年来AI技术的快速发展，柔软传感区域的深层学习模型有很多研究。然而，该模型已经变得更加复杂，但数据集保持有限：研究人员用数百个数据样本拟合百万参数模型，这不足以行使其模型的有效性，因此在工业中实施时通常无法执行应用程序。为解决这一持久的问题，我们正在为公众提供大规模的高维时间序列制造传感器数据。我们展示了这些数据集上软感应变压器模型建模工业大数据的挑战和有效性。使用变压器，因为，它在自然语言处理中表现出优于最先进的技术，从直接应用到计算机视觉时也表现良好，而不引入图像特定的感应偏差。我们观察句子结构与传感器读数的相似性，并以自然语言中的句子类似的方式处理多变量传感器读数。高维时间序列数据被格式化成相同的嵌入式句子，并馈入变压器模型。结果表明，基于自动编码器和长短期存储器（LSTM）模型，变压器模型优于软感测场中的基准模型。据我们所知，我们是学术界或工业的第一支球队，以利用大规模数值软感测数据基准原始变压器模型的性能。

在过去的几十年中，现代工业过程研究了几种具有成本效益的方法，以提高半导体制造的生产率和产量。虽然在促进实时监控和控制方面发挥重要作用，但行业中的数据驱动的软传感器在增强了晶圆故障诊断的深度学习方法时提供了竞争优势。尽管各个领域的深度学习方法取得了成功，但它们倾向于在多变化的软感测数据域上遭受不良性能。为了缓解这一点，我们提出了一种用于晶圆故障诊断分类任务的软感应集合器（卷积式变压器），主要由多头卷积模块组成，可获得快速和轻量级操作的卷曲的益处，以及能力通过多头设计相同的变压器来学习强大的表示。另一个关键问题是传统的学习范式倾向于在嘈杂和高度不平衡的软感测数据上遭受低性能。为了解决这个问题，我们使用基于课程的课程的损失函数增强了我们的软感测符合子模型，这有效地在培训的早期阶段和困难的阶段中学习易于样本。为了进一步展示我们拟议的架构的效用，我们对希捷技术的晶圆制造过程的各种工具进行了广泛的实验，这些工具与这项工作一起分享。据我们所知，这是第一次提出了课程，为软感测数据提出了基于课程的软感测符合子架构，我们的结果表明未来在软传感研究领域的使用中有很强的承诺。

在大数据的时代，基于数据驱动的分类已成为智能制造业的基本方法，以指导生产和优化检查。实践中获得的工业数据通常是由软传感器收集的时间序列数据，这是高度非线性，非间断，不平衡和嘈杂的。大多数现有的软传感机器学习模型侧重于捕获串联内部时间依赖关系或预定义的序列间相关性，同时忽略标签之间的相关性，每个实例同时与多个标签相关联。在本文中，我们提出了一种基于曲线的新颖的曲线图，用于多变量时间序列分类噪声和高度不平衡的软感测数据。所提出的基层能够在光谱域中捕获串联串联和串联系列依赖项; 2）通过叠加由统计共生信息构建的标签图来利用标签相关性; 3）从文本和数值域中使用注意机制学习功能; 4）利用未标记的数据并通过半监督学习缓解数据不平衡。与其他常用分类器的比较研究在希捷软感测数据上进行，实验结果验证了我们提出的方法的竞争性能。

从智能制造收集的数据的不断增长的可用性正在改变生产监测和控制的范式。除了时变的意外的扰动和不确定性之外，晶片制造过程的复杂性和内容的增加，使得用基于模型的方法进行控制过程，使控制过程不可行。结果，数据驱动的软感测建模在晶圆过程诊断中变得更加普遍。最近，在高度非线性和动态时间序列数据中具有高度性能的软感测系统中已经利用了深度学习。然而，尽管它在软感动系统中取得了成功，但深层学习框架的潜在逻辑很难理解。在本文中，我们提出了一种使用高度不平衡数据集的缺陷晶片检测的深度学习模型。要了解所提出的模型如何工作，应用了深度可视化方法。另外，该模型然后通过深度可视化指导进行微调。进行广泛的实验以验证所提出的系统的有效性。结果提供了一种解释模型工作原理和基于解释的有效微调方法的解释。

Future surveys such as the Legacy Survey of Space and Time (LSST) of the Vera C. Rubin Observatory will observe an order of magnitude more astrophysical transient events than any previous survey before. With this deluge of photometric data, it will be impossible for all such events to be classified by humans alone. Recent efforts have sought to leverage machine learning methods to tackle the challenge of astronomical transient classification, with ever improving success. Transformers are a recently developed deep learning architecture, first proposed for natural language processing, that have shown a great deal of recent success. In this work we develop a new transformer architecture, which uses multi-head self attention at its core, for general multi-variate time-series data. Furthermore, the proposed time-series transformer architecture supports the inclusion of an arbitrary number of additional features, while also offering interpretability. We apply the time-series transformer to the task of photometric classification, minimising the reliance of expert domain knowledge for feature selection, while achieving results comparable to state-of-the-art photometric classification methods. We achieve a logarithmic-loss of 0.507 on imbalanced data in a representative setting using data from the Photometric LSST Astronomical Time-Series Classification Challenge (PLAsTiCC). Moreover, we achieve a micro-averaged receiver operating characteristic area under curve of 0.98 and micro-averaged precision-recall area under curve of 0.87.

以时间序列形式出现的信号测量是医疗机学习应用中使用的最常见数据类型之一。这样的数据集的大小通常很小，收集和注释昂贵，并且可能涉及隐私问题，这阻碍了我们培训用于生物医学应用的大型，最先进的深度学习模型的能力。对于时间序列数据，我们可以用来扩展数据集大小的数据增强策略套件受到维护信号的基本属性的限制。生成对抗网络（GAN）可以用作另一种数据增强工具。在本文中，我们提出了TTS-CGAN，这是一种基于变压器的条件GAN模型，可以在现有的多级数据集上进行训练，并生成特定于类的合成时间序列序列的任意长度。我们详细介绍了模型架构和设计策略。由我们的模型生成的合成序列与真实的序列无法区分，可以用来补充或替换相同类型的真实信号，从而实现了数据增强的目标。为了评估生成的数据的质量，我们修改小波相干度量指标，以比较两组信号之间的相似性，还可以进行案例研究，其中使用合成和真实数据的混合来训练深度学习模型用于序列分类。与其他可视化技术和定性评估方法一起，我们证明TTS-CGAN生成的合成数据类似于真实数据，并且我们的模型的性能优于为时间序列数据生成而构建的其他最先进的GAN模型。

Remaining Useful Life (RUL) estimation plays a critical role in Prognostics and Health Management (PHM). Traditional machine health maintenance systems are often costly, requiring sufficient prior expertise, and are difficult to fit into highly complex and changing industrial scenarios. With the widespread deployment of sensors on industrial equipment, building the Industrial Internet of Things (IIoT) to interconnect these devices has become an inexorable trend in the development of the digital factory. Using the device's real-time operational data collected by IIoT to get the estimated RUL through the RUL prediction algorithm, the PHM system can develop proactive maintenance measures for the device, thus, reducing maintenance costs and decreasing failure times during operation. This paper carries out research into the remaining useful life prediction model for multi-sensor devices in the IIoT scenario. We investigated the mainstream RUL prediction models and summarized the basic steps of RUL prediction modeling in this scenario. On this basis, a data-driven approach for RUL estimation is proposed in this paper. It employs a Multi-Head Attention Mechanism to fuse the multi-dimensional time-series data output from multiple sensors, in which the attention on features is used to capture the interactions between features and attention on sequences is used to learn the weights of time steps. Then, the Long Short-Term Memory Network is applied to learn the features of time series. We evaluate the proposed model on two benchmark datasets (C-MAPSS and PHM08), and the results demonstrate that it outperforms the state-of-art models. Moreover, through the interpretability of the multi-head attention mechanism, the proposed model can provide a preliminary explanation of engine degradation. Therefore, this approach is promising for predictive maintenance in IIoT scenarios.

近年来，随着传感器和智能设备的广泛传播，物联网（IoT）系统的数据生成速度已大大增加。在物联网系统中，必须经常处理，转换和分析大量数据，以实现各种物联网服务和功能。机器学习（ML）方法已显示出其物联网数据分析的能力。但是，将ML模型应用于物联网数据分析任务仍然面临许多困难和挑战，特别是有效的模型选择，设计/调整和更新，这给经验丰富的数据科学家带来了巨大的需求。此外，物联网数据的动态性质可能引入概念漂移问题，从而导致模型性能降解。为了减少人类的努力，自动化机器学习（AUTOML）已成为一个流行的领域，旨在自动选择，构建，调整和更新机器学习模型，以在指定任务上实现最佳性能。在本文中，我们对Automl区域中模型选择，调整和更新过程中的现有方法进行了审查，以识别和总结将ML算法应用于IoT数据分析的每个步骤的最佳解决方案。为了证明我们的发现并帮助工业用户和研究人员更好地实施汽车方法，在这项工作中提出了将汽车应用于IoT异常检测问题的案例研究。最后，我们讨论并分类了该领域的挑战和研究方向。

通过深度学习（DL）大大扩展了数据驱动故障诊断模型的范围。然而，经典卷积和反复化结构具有计算效率和特征表示的缺陷，而基于注意机制的最新变压器架构尚未应用于该字段。为了解决这些问题，我们提出了一种新颖的时变电片（TFT）模型，其灵感来自序列加工的香草变压器大规模成功。特别是，我们设计了一个新的笨蛋和编码器模块，以从振动信号的时频表示（TFR）中提取有效抽象。在此基础上，本文提出了一种基于时变电片的新的端到端故障诊断框架。通过轴承实验数据集的案例研究，我们构建了最佳变压器结构并验证了其故障诊断性能。与基准模型和其他最先进的方法相比，证明了所提出的方法的优越性。

最近应用于从密集护理单位收集的时间序列的机器学习方法的成功暴露了缺乏标准化的机器学习基准，用于开发和比较这些方法。虽然原始数据集（例如MIMIC-IV或EICU）可以在物理体上自由访问，但是选择任务和预处理的选择通常是针对每个出版物的ad-hoc，限制出版物的可比性。在这项工作中，我们的目标是通过提供覆盖大型ICU相关任务的基准来改善这种情况。使用HirID数据集，我们定义与临床医生合作开发的多个临床相关任务。此外，我们提供可重复的端到端管道，以构建数据和标签。最后，我们提供了对当前最先进的序列建模方法的深入分析，突出了这种类型数据的深度学习方法的一些限制。通过这款基准，我们希望为研究界提供合理比较的可能性。

人类活动识别是计算机视觉中的新出现和重要领域，旨在确定个体或个体正在执行的活动。该领域的应用包括从体育中生成重点视频到智能监视和手势识别。大多数活动识别系统依赖于卷积神经网络（CNN）的组合来从数据和复发性神经网络（RNN）中进行特征提取来确定数据的时间依赖性。本文提出并设计了两个用于人类活动识别的变压器神经网络：一个经常性变压器（RET），这是一个专门的神经网络，用于对数据序列进行预测，以及视觉变压器（VIT），一种用于提取显着的变压器的变压器（VIT）图像的特征，以提高活动识别的速度和可扩展性。我们在速度和准确性方面提供了对拟议的变压器神经网络与现代CNN和基于RNN的人类活动识别模型的广泛比较。

从自然语言嵌入中汲取灵感，我们提出了Astromer，这是一种基于变压器的模型，以创建光曲线的表示。Astromer接受了数以百万计的Macho R波段样品的培训，并且很容易对其进行微调以匹配与下游任务相关的特定域。例如，本文显示了使用预训练的表示形式对变量恒星进行分类的好处。此外，我们还提供了一个Python库，其中包括这项工作中使用的所有功能。我们的图书馆包括预先培训的模型，可用于增强深度学习模型的性能，减少计算资源，同时获得最新的结果。

点击率（CTR）预测是许多应用程序的关键任务，因为它的准确性对用户体验和平台收入有直接影响。近年来，CTR预测已在学术界和工业中广泛研究，导致各种各样的CTR预测模型。不幸的是，仍然缺乏标准化的基准和CTR预测研究的统一评估协议。这导致现有研究中的不可重复或甚至不一致的实验结果，这在很大程度上限制了他们研究的实用价值和潜在影响。在这项工作中，我们的目标是对CTR预测进行开放基准测试，并以可重复的方式表现不同模型的严格比较。为此，我们运行{超过7,000多个实验，总共超过12,000 GPU小时，在多个数据集设置上重新评估24个现有型号}。令人惊讶的是，我们的实验表明，具有足够的超参数搜索和模型调整，许多深层模型的差异比预期较小。结果还表明，在CTR预测的建模上取得实际进展确实是一个非常具有挑战性的研究任务。我们相信，我们的基准工作不仅可以让研究人员可以方便地衡量新型模型的有效性，而且还使他们与艺术的国家相当相提并论。我们公开发布了我们工作的基准工具，评估协议和实验环境，以促进该领域的可重复研究。

智能制造系统以越来越多的速度部署，因为它们能够解释各种各样的感知信息并根据系统观察收集的知识采取行动。在许多情况下，智能制造系统的主要目标是快速检测（或预期）失败以降低运营成本并消除停机时间。这通常归结为检测从系统中获取的传感器日期内的异常。智能制造应用域构成了某些显着的技术挑战。特别是，通常有多种具有不同功能和成本的传感器。传感器数据特性随环境或机器的操作点而变化，例如电动机的RPM。因此，必须在工作点附近校准异常检测过程。在本文中，我们分析了从制造测试台部署的传感器中的四个数据集。我们评估了几种基于传统和ML的预测模型的性能，以预测传感器数据的时间序列。然后，考虑到一种传感器的稀疏数据，我们从高数据速率传感器中执行传输学习来执行缺陷类型分类。综上所述，我们表明可以实现预测性故障分类，从而为预测维护铺平了道路。

在这项工作中，我们审查并评估了一个具有公开可用和广泛使用的数据集的深度学习知识追踪（DLKT）模型，以及学习编程的新型学生数据集。评估的DLKT模型已重新实现，用于评估先前报告的结果的可重复性和可复制性。我们测试在与模型的主要架构上独立于模型的比较模型中找到的不同输入和输出层变化，以及在某些研究中隐含地和明确地使用的不同最大尝试计数选项。几个指标用于反映评估知识追踪模型的质量。评估的知识追踪模型包括Vanilla-DKT，两个长短期内存深度知识跟踪（LSTM-DKT）变体，两个动态键值存储器网络（DKVMN）变体，以及自我细致的知识跟踪（SAKT）。我们评估Logistic回归，贝叶斯知识跟踪（BKT）和简单的非学习模型作为基准。我们的结果表明，DLKT模型一般优于非DLKT模型，DLKT模型之间的相对差异是微妙的，并且在数据集之间经常变化。我们的研究结果还表明，通常的纯模型，例如平均预测，比更复杂的知识追踪模型更好地表现出更好的性能，尤其是在准确性方面。此外，我们的公制和封路数据分析显示，用于选择最佳模型的度量标准对模型的性能有明显的影响，并且该度量选择可以影响模型排名。我们还研究了输入和输出层变化的影响，过滤出长期尝试序列，以及随机性和硬件等非模型属性。最后，我们讨论模型性能可重量和相关问题。我们的模型实现，评估代码和数据作为本工作的一部分发布。

In this paper, we assess the viability of transformer models in end-to-end InfoSec settings, in which no intermediate feature representations or processing steps occur outside the model. We implement transformer models for two distinct InfoSec data formats - specifically URLs and PE files - in a novel end-to-end approach, and explore a variety of architectural designs, training regimes, and experimental settings to determine the ingredients necessary for performant detection models. We show that in contrast to conventional transformers trained on more standard NLP-related tasks, our URL transformer model requires a different training approach to reach high performance levels. Specifically, we show that 1) pre-training on a massive corpus of unlabeled URL data for an auto-regressive task does not readily transfer to binary classification of malicious or benign URLs, but 2) that using an auxiliary auto-regressive loss improves performance when training from scratch. We introduce a method for mixed objective optimization, which dynamically balances contributions from both loss terms so that neither one of them dominates. We show that this method yields quantitative evaluation metrics comparable to that of several top-performing benchmark classifiers. Unlike URLs, binary executables contain longer and more distributed sequences of information-rich bytes. To accommodate such lengthy byte sequences, we introduce additional context length into the transformer by providing its self-attention layers with an adaptive span similar to Sukhbaatar et al. We demonstrate that this approach performs comparably to well-established malware detection models on benchmark PE file datasets, but also point out the need for further exploration into model improvements in scalability and compute efficiency.

在本文中，我们研究了中途公司，即在市场资本化少于100亿美元的公开交易公司。在30年内使用美国中载公司的大型数据集，我们期望通过中期预测默认的概率术语结构，了解哪些数据源（即基本，市场或定价数据）对违约风险贡献最多。然而，现有方法通常要求来自不同时间段的数据首先聚合并转变为横截面特征，我们将问题框架作为多标签时间级分类问题。我们适应变压器模型，从自然语言处理领域发出的最先进的深度学习模型，以信用风险建模设置。我们还使用注意热图解释这些模型的预测。为了进一步优化模型，我们为多标签分类和新型多通道架构提供了一种自定义损耗功能，具有差异训练，使模型能够有效地使用所有输入数据。我们的结果表明，拟议的深度学习架构的卓越性能，导致传统模型的AUC（接收器运行特征曲线下的区域）提高了13％。我们还展示了如何使用特定于这些模型的福利方法生成不同数据源和时间关系的重要性排名。

TimeSeries Partitioning是大多数机器学习驱动的传感器的IOT应用程序的重要步骤。本文介绍了一种采样效率，鲁棒，时序分割模型和算法。我们表明，通过基于最大平均差异（MMD）的分割目标来学习特定于分割目标的表示，我们的算法可以鲁布布地检测不同应用程序的时间序列事件。我们的损耗功能允许我们推断是否从相同的分布（空假设）中绘制了连续的样本序列，并确定拒绝零假设的对之间的变化点（即，来自不同的分布）。我们展示了其在基于环境传感的活动识别的实际IOT部署中的适用性。此外，虽然文献中存在许多关于变更点检测的作品，但我们的模型明显更简单，匹配或优于最先进的方法。我们可以平均地在9-93秒内完全培训我们的模型，而在不同应用程序上的数据的差异很小。

Time series anomaly detection has applications in a wide range of research fields and applications, including manufacturing and healthcare. The presence of anomalies can indicate novel or unexpected events, such as production faults, system defects, or heart fluttering, and is therefore of particular interest. The large size and complex patterns of time series have led researchers to develop specialised deep learning models for detecting anomalous patterns. This survey focuses on providing structured and comprehensive state-of-the-art time series anomaly detection models through the use of deep learning. It providing a taxonomy based on the factors that divide anomaly detection models into different categories. Aside from describing the basic anomaly detection technique for each category, the advantages and limitations are also discussed. Furthermore, this study includes examples of deep anomaly detection in time series across various application domains in recent years. It finally summarises open issues in research and challenges faced while adopting deep anomaly detection models.

大量的数据和创新算法使数据驱动的建模成为现代行业的流行技术。在各种数据驱动方法中，潜在变量模型（LVM）及其对应物占主要份额，并在许多工业建模领域中起着至关重要的作用。 LVM通常可以分为基于统计学习的经典LVM和基于神经网络的深层LVM（DLVM）。我们首先讨论经典LVM的定义，理论和应用，该定义和应用既是综合教程，又是对经典LVM的简短申请调查。然后，我们对当前主流DLVM进行了彻底的介绍，重点是其理论和模型体系结构，此后不久就提供了有关DLVM的工业应用的详细调查。上述两种类型的LVM具有明显的优势和缺点。具体而言，经典的LVM具有简洁的原理和良好的解释性，但是它们的模型能力无法解决复杂的任务。基于神经网络的DLVM具有足够的模型能力，可以在复杂的场景中实现令人满意的性能，但它以模型的解释性和效率为例。旨在结合美德并减轻这两种类型的LVM的缺点，并探索非神经网络的举止以建立深层模型，我们提出了一个新颖的概念，称为“轻量级Deep LVM（LDLVM）”。在提出了这个新想法之后，该文章首先阐述了LDLVM的动机和内涵，然后提供了两个新颖的LDLVM，并详尽地描述了其原理，建筑和优点。最后，讨论了前景和机会，包括重要的开放问题和可能的研究方向。