时间序列挖掘是数据挖掘的重要分支，因为时间序列数据普遍存在，在若干域中有许多应用。时间级挖掘的主要任务是分类。时间序列表示方法在时间序列分类和其他时间级挖掘任务中发挥着重要作用。时间序列数据最受欢迎的表示方法之一是符号聚合近似（SAX）。其受欢迎程度背后的秘密是其简单和效率。然而，SAX具有一个主要缺点，这是它无法代表趋势信息。已经提出了几种方法来使SAX能够捕获趋势信息，但这是以复杂的处理，预处理或后处理程序为代价。在本文中，我们介绍了我们呼叫趋势萨克斯（TSAX）的萨克斯的新修改，这只为萨克斯增加了最小的复杂性，而是大大提高了其在时间序列分类中的性能。这是通过实验验证的50个数据集。结果显示了我们的方法的卓越性能，因为它在与萨克斯相比的39个数据集中提供了较小的分类误差。

由于高存储成本和计算要求，在实践中分析了许多或长时间序列。因此，已经提出了技术来生成时间序列的紧凑相似性保存表示，从而实现大量内存数据集合的实时相似性搜索。然而，当序列在局部间隙时，现有技术并不适合评估相似性。在本文中，我们提出了使用产品量化以了解基于时间序列的有效相似性的比较。该想法是首先通过将时间序列划分为由短代码表示的相等长度子序列来压缩数据。然后可以通过在其代码之间的预先计算的弹性距离来有效地近似于两个时间序列之间的距离。分区进入子序列强制不需要的对齐，我们使用最大重叠离散小波变换（MODWT）与预先对准步骤进行地址。为了展示我们方法的效率和准确性，我们对最近邻居分类和聚类应用中的基准数据集进行了广泛的实验评估。总的来说，所提出的解决方案作为高效（在内存使用和计算时间方面）的高效（无论是在时间序列应用中的弹性措施的替代。

许多时间序列数据挖掘问题可以通过重复使用距离度量来解决。此类任务的示例包括相似性搜索，聚类，分类，异常检测和分割。在过去的二十年中，人们已经知道，在大多数域中，动态时间扭曲（DTW）距离度量是用于大多数任务的最佳措施。由于经典的DTW算法具有二次的时间复杂性，因此引入了许多想法，以减少其摊销时间或快速近似它。最引用的近似方法之一是FastDTW。 FastDTW算法已有超过一千个引用，并已在数百个研究工作中明确使用。在这项工作中，我们提出了令人惊讶的主张。在任何现实的数据挖掘应用程序中，近似FastDTW都比确切的DTW慢得多。这个事实显然对使用此算法的社区具有影响：允许其解决更大的数据集，获得确切的结果并在更少的时间内完成。

为了允许机器学习算法从原始数据中提取知识，必须首先清除，转换，并将这些数据置于适当的形式。这些通常很耗时的阶段被称为预处理。预处理阶段的一个重要步骤是特征选择，其目的通过减少数据集的特征量来更好地执行预测模型。在这些数据集中，不同事件的实例通常是不平衡的，这意味着某些正常事件被超出，而其他罕见事件非常有限。通常，这些罕见的事件具有特殊的兴趣，因为它们具有比正常事件更具辨别力。这项工作的目的是过滤提供给这些罕见实例的特征选择方法的实例，从而积极影响特征选择过程。在这项工作过程中，我们能够表明这种过滤对分类模型的性能以及异常值检测方法适用于该过滤。对于某些数据集，所产生的性能增加仅为百分点，但对于其他数据集，我们能够实现高达16％的性能的增加。这项工作应导致预测模型的改进以及在预处理阶段的过程中的特征选择更好的可解释性。本着公开科学的精神，提高了我们的研究领域的透明度，我们已经在公开的存储库中提供了我们的所有源代码和我们的实验结果。

对自然和人制过程的研究通常会导致长时间有序值的长序列，也就是时间序列（TS）。这样的过程通常由多个状态组成，例如机器的操作模式，使观测过程中的状态变化会导致测量值形状的分布变化。时间序列分割（TSS）试图发现TS事后的这种变化，以推断数据生成过程的变化。通常将TSS视为无监督的学习问题，目的是识别某些统计属性可区分的细分。 TSS的当前算法要求用户设置依赖域的超参数，对TS值分布进行假设或可检测更改的类型，以限制其适用性。常见的超参数是段均匀性和变更点的数量的度量，对于每个数据集，这尤其难以调节。我们提出了TSS的一种新颖，高度准确，无参数和域的无义方法的方法。扣子分层将TS分为两个部分。更改点是通过训练每个可能的拆分点的二进制TS分类器来确定的，并选择最能识别从任何一个分区的子序列的一个拆分。 CLASP使用两种新颖的定制算法从数据中学习了其主要的两个模型参数。在我们使用115个数据集的基准测试的实验评估中，我们表明，扣子优于准确性，并且可以快速且可扩展。此外，我们使用几个现实世界的案例研究强调了扣子的特性。

异常值是一个事件或观察，其被定义为不同于距群体的不规则距离的异常活动，入侵或可疑数据点。然而，异常事件的定义是主观的，取决于应用程序和域（能量，健康，无线网络等）。重要的是要尽可能仔细地检测异常事件，以避免基础设施故障，因为异常事件可能导致对基础设施的严重损坏。例如，诸如微电网的网络物理系统的攻击可以发起电压或频率不稳定性，从而损坏涉及非常昂贵的修复的智能逆变器。微电网中的不寻常活动可以是机械故障，行为在系统中发生变化，人体或仪器错误或恶意攻击。因此，由于其可变性，异常值检测（OD）是一个不断增长的研究领域。在本章中，我们讨论了使用AI技术的OD方法的进展。为此，通过多个类别引入每个OD模型的基本概念。广泛的OD方法分为六大类：基于统计，基于距离，基于密度的，基于群集的，基于学习的和合奏方法。对于每个类别，我们讨论最近最先进的方法，他们的应用领域和表演。之后，关于对未来研究方向的建议提供了关于各种技术的优缺点和挑战的简要讨论。该调查旨在指导读者更好地了解OD方法的最新进展，以便保证AI。

Time Series Classification (TSC) is an important and challenging problem in data mining. With the increase of time series data availability, hundreds of TSC algorithms have been proposed. Among these methods, only a few have considered Deep Neural Networks (DNNs) to perform this task. This is surprising as deep learning has seen very successful applications in the last years. DNNs have indeed revolutionized the field of computer vision especially with the advent of novel deeper architectures such as Residual and Convolutional Neural Networks. Apart from images, sequential data such as text and audio can also be processed with DNNs to reach state-of-the-art performance for document classification and speech recognition. In this article, we study the current state-ofthe-art performance of deep learning algorithms for TSC by presenting an empirical study of the most recent DNN architectures for TSC. We give an overview of the most successful deep learning applications in various time series domains under a unified taxonomy of DNNs for TSC. We also provide an open source deep learning framework to the TSC community where we implemented each of the compared approaches and evaluated them on a univariate TSC benchmark (the UCR/UEA archive) and 12 multivariate time series datasets. By training 8,730 deep learning models on 97 time series datasets, we propose the most exhaustive study of DNNs for TSC to date.

传染媒介符号架构将高维传染料空间与一组精心设计的操作员组合起来，以便使用大型数字向量进行符号计算。主要目标是利用他们的代表权力和处理模糊和歧义的能力。在过去几年中，已经提出了几个VSA实现。可用的实现在底层矢量空间和VSA运算符的特定实现中不同。本文概述了十一可用的VSA实现，并讨论了其潜在的矢量空间和运营商的共性和差异。我们创建了一种可用绑定操作的分类，并使用来自类比推理的示例来显示非自逆绑定操作的重要分支。主要贡献是可用实施的实验比较，以便评估（1）捆绑的容量，（2）非精确解除界操作的近似质量，（3）组合绑定和捆绑操作对查询的影响回答性能，（4）两个示例应用程序的性能：视觉地位和语言识别。我们预计此比较和系统化与VSA的开发相关，并支持选择特定任务的适当VSA。实现可用。

在本文中，我们考虑在对每个群集建模时，即基于模型的时间序列群集时，将一组单个时间序列集群的任务。该任务需要一个具有足够灵活性的参数模型来描述各个时间序列中的动力学。为了解决这个问题，我们提出了一种基于模型的时间序列聚类方法，该方法具有线性高斯状态空间模型的混合物，具有很高的灵活性。提出的方法对混合模型使用一种新的期望最大化算法来估计模型参数，并使用贝叶斯信息标准确定簇数。模拟数据集上的实验证明了该方法在聚类，参数估计和模型选择中的有效性。该方法应用于真实的数据集，该数据集以前提出的时间序列聚类方法表现出低精度。结果表明，与使用先前方法获得的方法相比，我们的方法产生的聚类结果更准确。

基于签名的技术使数学洞察力洞悉不断发展的数据的复杂流之间的相互作用。这些见解可以自然地转化为理解流数据的数值方法，也许是由于它们的数学精度，已被证明在数据不规则而不是固定的情况下分析流的数据以及数据和数据的尺寸很有用样本量均为中等。了解流的多模式数据是指数的：$ d $ d $的字母中的$ n $字母中的一个单词可以是$ d^n $消息之一。签名消除了通过采样不规则性引起的指数级噪声，但仍然存在指数量的信息。这项调查旨在留在可以直接管理指数缩放的域中。在许多问题中，可伸缩性问题是一个重要的挑战，但需要另一篇调查文章和进一步的想法。这项调查描述了一系列环境集足够小以消除大规模机器学习的可能性，并且可以有效地使用一小部分免费上下文和原则性功能。工具的数学性质可以使他们对非数学家的使用恐吓。本文中介绍的示例旨在弥合此通信差距，并提供从机器学习环境中绘制的可进行的工作示例。笔记本可以在线提供这些示例中的一些。这项调查是基于伊利亚·雪佛兰（Ilya Chevryev）和安德烈·科米利津（Andrey Kormilitzin）的早期论文，它们在这种机械开发的较早时刻大致相似。本文说明了签名提供的理论见解是如何在对应用程序数据的分析中简单地实现的，这种方式在很大程度上对数据类型不可知。

在许多科学领域中发现一个有意义的，尺寸同质的，象征性的表达是一个基本挑战。我们提出了一个新颖的开源计算框架，称为科学家机器方程探测器（Scimed），该框架将科学纪律智慧与科学家在循环的方法中融合在一起，并将其与最先进的符号回归（SR）方法相结合。Scimed将基于遗传算法的包装器选择方法与自动机器学习和两个SR方法结合在一起。我们对具有和没有非线性空气动力学阻力的球体沉降的四个配置进行了测试。我们表明，疲惫不堪的人足够坚固，可以从嘈杂的数据中发现正确的物理有意义的符号表达式。我们的结果表明，与最先进的SR软件包相比，这些任务的性能更好。

能够捕获与特征向量的时间序列的特征是具有多种应用的非常重要的任务，例如分类，聚类或预测。通常，该特征是从线性和非线性时间序列测量获得的特征，其可能存在若干数据相关的缺点。在这项工作中，我们将NetF介绍作为替代特征，包括时间序列的不同复杂网络映射的几种代表性拓扑测量。我们的方法不需要数据预处理，并且无论任何数据特征如何，都适用。探索我们的新颖特征向量，我们能够将映射的网络功能连接到多样化的时间序列模型中固有的属性，显示NetF可以有用的时间数据。此外，我们还展示了我们在聚类合成和基准时间序列组中的方法的适用性，比较其具有更多传统功能的性能，展示了Netf如何实现高精度集群。我们的结果非常有前途，具有来自不同映射方法的网络特征，捕获时间序列的不同属性，将不同且丰富的功能设置为文献。

TimeSeries Partitioning是大多数机器学习驱动的传感器的IOT应用程序的重要步骤。本文介绍了一种采样效率，鲁棒，时序分割模型和算法。我们表明，通过基于最大平均差异（MMD）的分割目标来学习特定于分割目标的表示，我们的算法可以鲁布布地检测不同应用程序的时间序列事件。我们的损耗功能允许我们推断是否从相同的分布（空假设）中绘制了连续的样本序列，并确定拒绝零假设的对之间的变化点（即，来自不同的分布）。我们展示了其在基于环境传感的活动识别的实际IOT部署中的适用性。此外，虽然文献中存在许多关于变更点检测的作品，但我们的模型明显更简单，匹配或优于最先进的方法。我们可以平均地在9-93秒内完全培训我们的模型，而在不同应用程序上的数据的差异很小。

变更点检测算法的目的是定位过程的时间演变的突然变化。在本文中，我们介绍了潜在神经随机微分方程的应用，以解决变化点检测问题。我们演示了模型在一系列合成和现实世界数据集和基准测试方面的检测功能和性能。大多数研究的方案都表明，所提出的算法的表现优于最先进的算法。我们还讨论了这种方法的优势和局限性，并指示了进一步改进的方向。

Multilayer Neural Networks trained with the backpropagation algorithm constitute the best example of a successful Gradient-Based Learning technique. Given an appropriate network architecture, Gradient-Based Learning algorithms can be used to synthesize a complex decision surface that can classify high-dimensional patterns such as handwritten characters, with minimal preprocessing. This paper reviews various methods applied to handwritten character recognition and compares them on a standard handwritten digit recognition task. Convolutional Neural Networks, that are specifically designed to deal with the variability of 2D shapes, are shown to outperform all other techniques.Real-life document recognition systems are composed of multiple modules including eld extraction, segmentation, recognition, and language modeling. A new learning paradigm, called Graph Transformer Networks (GTN), allows such multi-module systems to be trained globally using Gradient-Based methods so as to minimize an overall performance measure.Two systems for on-line handwriting recognition are described. Experiments demonstrate the advantage of global training, and the exibility of Graph Transformer Networks.A Graph Transformer Network for reading bank check is also described. It uses Convolutional Neural Network character recognizers combined with global training techniques to provides record accuracy on business and personal checks. It is deployed commercially and reads several million checks per day.

动态时间翘曲（DTW）及其约束（CDTW）和加权（WDTW）变体，是具有各种应用范围的时间序列距离。它们最小化了系列之间的非线性校准成本。已经引入了CDTW和WDTW，因为DTW在其对齐方面过于允许。但是，CDTW使用粗略的步骤功能，允许窗口内的无限制灵活性，而不是超出它。 WDTW的乘法重量是相对于沿着翘曲路径的对齐点之间的距离，而不是引入的翘曲量的直接函数。在本文中，我们介绍了Amerced动态时间翘曲（ADTW），一种新的直观的DTW变体，可以通过固定的添加剂成本来惩罚翘曲的行为。像CDTW和WDTW一样，ADTW约束了翘曲量。但是，它避免突然不连续性在允许的扭曲量和乘法惩罚的局限性中。我们正式介绍ADTW，证明其一些属性，并讨论其参数化。我们展示了一个简单的示例，如何参数化以实现直观的结果，并展示其对标准时间序列分类基准的实用性。我们在C ++中提供了一个演示应用程序。

复杂的事件识别（CER）系统在过去二十年中变得流行，因为它们能够“立即”检测在实时事件流上的模式。然而，缺乏预测模式可能发生在例如由Cer发动机实际检测到这种发生之前的模式。我们提出了一项正式的框架，试图解决复杂事件预测（CEF）的问题。我们的框架结合了两个形式主义：a）用于编码复杂事件模式的符号自动机; b）预测后缀树，可以提供自动机构的行为的简洁概率描述。我们比较我们提出的方法，以防止最先进的方法，并在准确性和效率方面展示其优势。特别地，预测后缀树是可变的马尔可夫模型，可以通过仅记住足够的信息的过去序列来捕获流中的长期依赖性。我们的实验结果表明了能够捕获这种长期依赖性的准确性的益处。这是通过增加我们模型的顺序来实现的，以满足需要执行给定顺序的所有可能的过去序列的所有可能的过去序列的详尽枚举的全阶马尔可夫模型。我们还广泛讨论CEF解决方案如何最佳地评估其预测的质量。

这项研究重点是探索局部可解释性方法来解释时间序列聚类模型。许多最先进的聚类模型无法直接解释。为了提供这些聚类算法的解释，我们训练分类模型以估计群集标签。然后，我们使用可解释性方法来解释分类模型的决策。这些解释用于获得对聚类模型的见解。我们执行一项详细的数值研究，以测试多个数据集，聚类模型和分类模型上所提出的方法。结果的分析表明，所提出的方法可用于解释时间序列聚类模型，特别是当基础分类模型准确时。最后，我们对结果进行了详细的分析，讨论了如何在现实生活中使用我们的方法。

时间序列的建模在各种应用中变得越来越重要。总体而言，数据通过遵循不同的模式而演变，这些模式通常是由不同的用户行为引起的。给定时间序列，我们定义了进化基因以捕获潜在用户行为，并描述行为如何导致时间序列的产生。特别是，我们提出了一个统一的框架，该框架通过学习分类器来识别片段的不同演化基因，并通过估计片段的分布来实现对抗发电机来实现进化基因。基于合成数据集和五个现实世界数据集的实验结果表明，我们的方法不仅可以实现良好的预测结果（例如，在F1方面 +10.56％），还可以提供结果的解释。

We are interested in neurosymbolic systems consisting of a high-level symbolic layer for explainable prediction in terms of human-intelligible concepts; and a low-level neural layer for extracting symbols required to generate the symbolic explanation. Real data is often imperfect meaning that even if the symbolic theory remains unchanged, we may still need to address the problem of mapping raw data to high-level symbols, each time there is a change in the data acquisition environment or equipment. Manual (re-)annotation of the raw data each time this happens is laborious and expensive; and automated labelling methods are often imperfect, especially for complex problems. NEUROLOG proposed the use of a semantic loss function that allows an existing feature-based symbolic model to guide the extraction of feature-values from raw data, using `abduction'. However, the experiments demonstrating the use of semantic loss through abduction appear to rely heavily on a domain-specific pre-processing step that enables a prior delineation of feature locations in the raw data. We examine the use of semantic loss in domains where such pre-processing is not possible, or is not obvious. We show that without any prior information about the features, the NEUROLOG approach can continue to predict accurately even with substantially incorrect feature predictions. We show also that prior information about the features in the form of even imperfect pre-training can help correct this situation. These findings are replicated on the original problem considered by NEUROLOG, without the use of feature-delineation. This suggests that symbolic explanations constructed for data in a domain could be re-used in a related domain, by `feature-adaptation' of pre-trained neural extractors using the semantic loss function constrained by abductive feedback.