In real-world time series recognition applications, it is possible to have data with varying length patterns. However, when using artificial neural networks (ANN), it is standard practice to use fixed-sized mini-batches. To do this, time series data with varying lengths are typically normalized so that all the patterns are the same length. Normally, this is done using zero padding or truncation without much consideration. We propose a novel method of normalizing the lengths of the time series in a dataset by exploiting the dynamic matching ability of Dynamic Time Warping (DTW). In this way, the time series lengths in a dataset can be set to a fixed size while maintaining features typical to the dataset. In the experiments, all 11 datasets with varying length time series from the 2018 UCR Time Series Archive are used. We evaluate the proposed method by comparing it with 18 other length normalization methods on a Convolutional Neural Network (CNN), a Long-Short Term Memory network (LSTM), and a Bidirectional LSTM (BLSTM).

数据增强是一种通过增加数据集的大小来提高机器学习方法的泛化能力的技术。但是，由于每个增强方法对每个数据集没有同样有效，因此您需要仔细选择最佳方法。我们提出了一种神经网络，其使用互利的门控网络动态地选择最佳组合和特征一致性损失。门控网络能够控制每个数据增强的数量用于网络内的表示。另一方面，功能一致性丢失给出了来自相同输入中的增强功能的约束应该相似。在实验中，我们从2018年UCR时间序列档案中展示了所提出的方法对12个最大时间序列数据集的有效性，并通过分析所提出的方法来揭示数据增强方法之间的关系。

时间序列数据通常仅在观察过程中的中断时仅在有限的时间范围内获得。为了对这样的部分时间序列进行分类，我们需要考虑1）从2）不同时间戳绘制的可变长度数据。为了解决第一个问题，现有的卷积神经网络在卷积层之后使用全球池取消长度差异。这种体系结构遭受了将整个时间相关性纳入长数据和避免用于简短数据的功能崩溃之间的权衡。为了解决这种权衡，我们提出了自适应多尺度合并，该池从自适应数量的层中汇总了功能，即仅用于简短数据的前几层和更多的长数据层。此外，为了解决第二个问题，我们引入了时间编码，将观察时间戳嵌入中间特征中。我们的私有数据集和UCR/UEA时间序列档案中的实验表明，我们的模块提高了分类精度，尤其是在部分时间序列获得的短数据上。

Time Series Classification (TSC) is an important and challenging problem in data mining. With the increase of time series data availability, hundreds of TSC algorithms have been proposed. Among these methods, only a few have considered Deep Neural Networks (DNNs) to perform this task. This is surprising as deep learning has seen very successful applications in the last years. DNNs have indeed revolutionized the field of computer vision especially with the advent of novel deeper architectures such as Residual and Convolutional Neural Networks. Apart from images, sequential data such as text and audio can also be processed with DNNs to reach state-of-the-art performance for document classification and speech recognition. In this article, we study the current state-ofthe-art performance of deep learning algorithms for TSC by presenting an empirical study of the most recent DNN architectures for TSC. We give an overview of the most successful deep learning applications in various time series domains under a unified taxonomy of DNNs for TSC. We also provide an open source deep learning framework to the TSC community where we implemented each of the compared approaches and evaluated them on a univariate TSC benchmark (the UCR/UEA archive) and 12 multivariate time series datasets. By training 8,730 deep learning models on 97 time series datasets, we propose the most exhaustive study of DNNs for TSC to date.

事实证明，诸如层归一化（LN）和批处理（BN）之类的方法可有效改善复发性神经网络（RNN）的训练。但是，现有方法仅在一个特定的时间步骤中仅使用瞬时信息进行归一化，而归一化的结果是具有时间无关分布的预反应状态。该实现无法解释RNN的输入和体系结构中固有的某些时间差异。由于这些网络跨时间步骤共享权重，因此也可能需要考虑标准化方案中时间步长之间的连接。在本文中，我们提出了一种称为“分类时间归一化”（ATN）的归一化方法，该方法保留了来自多个连续时间步骤的信息，并使用它们归一化。这种设置使我们能够将更长的时间依赖项引入传统的归一化方法，而无需引入任何新的可训练参数。我们介绍了梯度传播的理论推导，并证明了权重缩放不变属性。我们将ATN应用于LN的实验表明，对各种任务（例如添加，复制和DENOISE问题和语言建模问题）表现出一致的改进。

在本文中，我们呈现SSDNet，这是一个新的时间序列预测的深层学习方法。SSDNet将变压器架构与状态空间模型相结合，提供概率和可解释的预测，包括趋势和季节性成分以及前一步对预测很重要。变压器架构用于学习时间模式并直接有效地估计状态空间模型的参数，而无需对卡尔曼滤波器的需要。我们全面评估了SSDNET在五个数据集上的性能，显示SSDNet是一种有效的方法，可在准确性和速度，优于最先进的深度学习和统计方法方面是一种有效的方法，能够提供有意义的趋势和季节性组件。

手写数字识别（HDR）是光学特征识别（OCR）领域中最具挑战性的任务之一。不管语言如何，HDR都存在一些固有的挑战，这主要是由于个人跨个人的写作风格的变化，编写媒介和环境的变化，无法在反复编写任何数字等时保持相同的笔触。除此之外，特定语言数字的结构复杂性可能会导致HDR的模棱两可。多年来，研究人员开发了许多离线和在线HDR管道，其中不同的图像处理技术与传统的机器学习（ML）基于基于的和/或基于深度学习（DL）的体系结构相结合。尽管文献中存在有关HDR的广泛审查研究的证据，例如：英语，阿拉伯语，印度，法尔西，中文等，但几乎没有对孟加拉人HDR（BHDR）的调查，这缺乏对孟加拉语HDR（BHDR）的研究，而这些调查缺乏对孟加拉语HDR（BHDR）的研究。挑战，基础识别过程以及可能的未来方向。在本文中，已经分析了孟加拉语手写数字的特征和固有的歧义，以及二十年来最先进的数据集的全面见解和离线BHDR的方法。此外，还详细讨论了一些涉及BHDR的现实应用特定研究。本文还将作为对离线BHDR背后科学感兴趣的研究人员的汇编，煽动了对相关研究的新途径的探索，这可能会进一步导致在不同应用领域对孟加拉语手写数字进行更好的离线认识。

本文使用签名的累积分布变换（SCDT）提出了一种新的端到端信号分类方法。我们采用基于运输的生成模型来定义分类问题。然后，我们利用SCDT的数学属性来使问题更容易在变换域中，并使用SCDT域中的最接近局部子空间（NLS）搜索算法求解未知样本的类。实验表明，所提出的方法提供了高精度的分类结果，同时又有数据效率，对分布样本的强大稳定性以及相对于深度学习端到端分类方法的计算复杂性而具有竞争力。在Python语言中的实现将其作为软件包Pytranskit（https://github.com/rohdelab/pytranskit）的一部分集成。

深度学习使用由其重量进行参数化的神经网络。通常通过调谐重量来直接最小化给定损耗功能来训练神经网络。在本文中，我们建议将权重重新参数转化为网络中各个节点的触发强度的目标。给定一组目标，可以计算使得发射强度最佳地满足这些目标的权重。有人认为，通过我们称之为级联解压缩的过程，使用培训的目标解决爆炸梯度的问题，并使损失功能表面更加光滑，因此导致更容易，培训更快，以及潜在的概括，神经网络。它还允许更容易地学习更深层次和经常性的网络结构。目标对重量的必要转换有额外的计算费用，这是在许多情况下可管理的。在目标空间中学习可以与现有的神经网络优化器相结合，以额外收益。实验结果表明了使用目标空间的速度，以及改进的泛化的示例，用于全连接的网络和卷积网络，以及调用和处理长时间序列的能力，并使用经常性网络进行自然语言处理。

动态时间翘曲（DTW）及其约束（CDTW）和加权（WDTW）变体，是具有各种应用范围的时间序列距离。它们最小化了系列之间的非线性校准成本。已经引入了CDTW和WDTW，因为DTW在其对齐方面过于允许。但是，CDTW使用粗略的步骤功能，允许窗口内的无限制灵活性，而不是超出它。 WDTW的乘法重量是相对于沿着翘曲路径的对齐点之间的距离，而不是引入的翘曲量的直接函数。在本文中，我们介绍了Amerced动态时间翘曲（ADTW），一种新的直观的DTW变体，可以通过固定的添加剂成本来惩罚翘曲的行为。像CDTW和WDTW一样，ADTW约束了翘曲量。但是，它避免突然不连续性在允许的扭曲量和乘法惩罚的局限性中。我们正式介绍ADTW，证明其一些属性，并讨论其参数化。我们展示了一个简单的示例，如何参数化以实现直观的结果，并展示其对标准时间序列分类基准的实用性。我们在C ++中提供了一个演示应用程序。

自回旋运动平均值（ARMA）模型是经典的，可以说是模型时间序列数据的最多研究的方法之一。它具有引人入胜的理论特性，并在从业者中广泛使用。最近的深度学习方法普及了经常性神经网络（RNN），尤其是长期记忆（LSTM）细胞，这些细胞已成为神经时间序列建模中最佳性能和最常见的构件之一。虽然对具有长期效果的时间序列数据或序列有利，但复杂的RNN细胞并不总是必须的，有时甚至可能不如更简单的复发方法。在这项工作中，我们介绍了ARMA细胞，这是一种在神经网络中的时间序列建模的更简单，模块化和有效的方法。该单元可以用于存在复发结构的任何神经网络体系结构中，并自然地使用矢量自动进程处理多元时间序列。我们还引入了Convarma细胞作为空间相关时间序列的自然继任者。我们的实验表明，所提出的方法在性能方面与流行替代方案具有竞争力，同时由于其简单性而变得更加强大和引人注目。

异步时间序列是一个多元时间序列，在该时间序列中，所有通道都被观察到异步独立的，使得时间序列在对齐时极为稀疏。我们经常在具有复杂的观察过程（例如医疗保健，气候科学和天文学）的应用中观察到这种影响，仅举几例。由于异步性质，它们对深度学习体系结构构成了重大挑战，假定给他们的时间序列定期采样，完全观察并与时间对齐。本文提出了一个新颖的框架，我们称深卷积集功能（DCSF），该功能高度可扩展且有效，对于异步时间序列分类任务。随着深度学习体系结构的最新进展，我们引入了一个模型，该模型不变了，在此订单中呈现了时间序列的频道。我们探索卷积神经网络，该网络对定期采样和完全观察到的时间序列的紧密相关的问题分类进行了很好的研究，以编码设置元素。我们评估DCSF的ASTS分类和在线（每个时间点）ASTS分类。我们在多个现实世界和合成数据集上进行的广泛实验验证了建议的模型在准确性和运行时间方面的表现优于一系列最新模型。

由于高存储成本和计算要求，在实践中分析了许多或长时间序列。因此，已经提出了技术来生成时间序列的紧凑相似性保存表示，从而实现大量内存数据集合的实时相似性搜索。然而，当序列在局部间隙时，现有技术并不适合评估相似性。在本文中，我们提出了使用产品量化以了解基于时间序列的有效相似性的比较。该想法是首先通过将时间序列划分为由短代码表示的相等长度子序列来压缩数据。然后可以通过在其代码之间的预先计算的弹性距离来有效地近似于两个时间序列之间的距离。分区进入子序列强制不需要的对齐，我们使用最大重叠离散小波变换（MODWT）与预先对准步骤进行地址。为了展示我们方法的效率和准确性，我们对最近邻居分类和聚类应用中的基准数据集进行了广泛的实验评估。总的来说，所提出的解决方案作为高效（在内存使用和计算时间方面）的高效（无论是在时间序列应用中的弹性措施的替代。

In this paper, we propose a new short-term load forecasting (STLF) model based on contextually enhanced hybrid and hierarchical architecture combining exponential smoothing (ES) and a recurrent neural network (RNN). The model is composed of two simultaneously trained tracks: the context track and the main track. The context track introduces additional information to the main track. It is extracted from representative series and dynamically modulated to adjust to the individual series forecasted by the main track. The RNN architecture consists of multiple recurrent layers stacked with hierarchical dilations and equipped with recently proposed attentive dilated recurrent cells. These cells enable the model to capture short-term, long-term and seasonal dependencies across time series as well as to weight dynamically the input information. The model produces both point forecasts and predictive intervals. The experimental part of the work performed on 35 forecasting problems shows that the proposed model outperforms in terms of accuracy its predecessor as well as standard statistical models and state-of-the-art machine learning models.

时间序列预测是许多应用中的重大问题，例如，金融预测和业务优化。现代数据集可以具有多个相关时间序列，这些时间往往是通过全局（共享）规律和本地（特定）动态生成的。在本文中，我们寻求与DeepdGL的这种预测问题进行解决，这是一种深入预测模型，将动态与全球和局部时间模式脱颖而出。 DeepdGL采用编码器解码器架构，包括两个编码器，分别学习全局和本地时间模式，以及解码器以进行多步预测。具体地，为了模拟复杂的全局模式，引入了矢量量化（VQ）模块，允许全局特征编码器在所有时间序列中学习共享码本。为了模型多样化和异质局部模式，提出了一种由对比多地位编码（CMC）增强的自适应参数生成模块，以为每个单独的时间序列产生本地特征编码器的参数，这使得串联之间的相互信息最大化 - 具体的上下文变量和相应时间序列的长/短期表示。我们对几个现实世界数据集的实验表明DeepdGL优于现有的最先进的模型。

Deep neural networks (DNNs) are often used for text classification tasks as they usually achieve high levels of accuracy. However, DNNs can be computationally intensive with billions of parameters and large amounts of labeled data, which can make them expensive to use, to optimize and to transfer to out-of-distribution (OOD) cases in practice. In this paper, we propose a non-parametric alternative to DNNs that's easy, light-weight and universal in text classification: a combination of a simple compressor like gzip with a $k$-nearest-neighbor classifier. Without any training, pre-training or fine-tuning, our method achieves results that are competitive with non-pretrained deep learning methods on six in-distributed datasets. It even outperforms BERT on all five OOD datasets, including four low-resource languages. Our method also performs particularly well in few-shot settings where labeled data are too scarce for DNNs to achieve a satisfying accuracy.

信息爆炸的时代促使累积巨大的时间序列数据，包括静止和非静止时间序列数据。最先进的算法在处理静止时间数据方面取得了体面的性能。然而，解决静止​​时间系列的传统算法不适用于外汇交易的非静止系列。本文调查了适用的模型，可以提高预测未来非静止时间序列序列趋势的准确性。特别是，我们专注于识别潜在模型，并调查识别模式从历史数据的影响。我们提出了基于RNN的\ Rebuttal {The} SEQ2Seq模型的组合，以及通过动态时间翘曲和Zigzag峰谷指示器提取的注重机制和富集的集合特征。定制损失函数和评估指标旨在更加关注预测序列的峰值和谷点。我们的研究结果表明，我们的模型可以在外汇数据集中预测高精度的4小时未来趋势，这在逼真的情况下至关重要，以协助外汇交易决策。我们进一步提供了对各种损失函数，评估指标，模型变体和组件对模型性能的影响的评估。

时间变化数量的估计是医疗保健和金融等领域决策的基本组成部分。但是，此类估计值的实际实用性受到它们量化预测不确定性的准确程度的限制。在这项工作中，我们解决了估计高维多元时间序列的联合预测分布的问题。我们提出了一种基于变压器体系结构的多功能方法，该方法使用基于注意力的解码器估算关节分布，该解码器可被学会模仿非参数Copulas的性质。最终的模型具有多种理想的属性：它可以扩展到数百个时间序列，支持预测和插值，可以处理不规则和不均匀的采样数据，并且可以在训练过程中无缝地适应丢失的数据。我们从经验上证明了这些属性，并表明我们的模型在多个现实世界数据集上产生了最新的预测。

我们研究了时间序列分类（TSC），是时间序列数据挖掘的根本任务。事先从两个主要方向接近TSC：（1）基于相似性的方法，用于基于最近邻居的时间系列，（2）直接以数据驱动的方式学习分类表示的深度学习模型。在这两条研究线内的不同工作机制激励，我们的目的是以与共同模拟时间序列相似度的方式连接它们并学习表示。这是一个具有挑战性的任务，因为目前尚不清楚我们应该如何有效地利用相似性信息。为了解决挑战，我们提出了相似度感知的时序分类（SIMTSC），这是一种概念上简单且一般的框架，其模型与图形神经网络（GNN）的相似性信息。具体地，我们将TSC标记为图中的节点分类问题，其中节点对应于时间序列，并且链路对应于配对相似性。我们进一步设计了一种图形施工策略和具有负采样的批量培训算法，以提高培训效率。我们将SIMTSC与RESENT作为骨干网和动态时间翘曲（DTW）作为相似度测量。在完整的UCR数据集和几个多变量数据集上的广泛实验证明了在监督和半监督设置中将相似信息纳入深度学习模型的有效性。我们的代码可在https://github.com/daochenzha/simtsc提供

随着深度学习生成模型的最新进展，它在时间序列领域的出色表现并没有花费很长时间。用于与时间序列合作的深度神经网络在很大程度上取决于培训中使用的数据集的广度和一致性。这些类型的特征通常在现实世界中不丰富，在现实世界中，它们通常受到限制，并且通常具有必须保证的隐私限制。因此，一种有效的方法是通过添加噪声或排列并生成新的合成数据来使用\ gls {da}技术增加数据数。它正在系统地审查该领域的当前最新技术，以概述所有可用的算法，并提出对最相关研究的分类法。将评估不同变体的效率；作为过程的重要组成部分，将分析评估性能的不同指标以及有关每个模型的主要问题。这项研究的最终目的是摘要摘要，这些领域的进化和性能会产生更好的结果，以指导该领域的未来研究人员。