In recent years, deep-learning-based approaches have been introduced to solving time-series forecasting-related problems. These novel methods have demonstrated impressive performance in univariate and low-dimensional multivariate time-series forecasting tasks. However, when these novel methods are used to handle high-dimensional multivariate forecasting problems, their performance is highly restricted by a practical training time and a reasonable GPU memory configuration. In this paper, inspired by a change of basis in the Hilbert space, we propose a flexible data feature extraction technique that excels in high-dimensional multivariate forecasting tasks. Our approach was originally developed for the National Science Foundation (NSF) Algorithms for Threat Detection (ATD) 2022 Challenge. Implemented using the attention mechanism and Convolutional Neural Networks (CNN) architecture, our method demonstrates great performance and compatibility. Our models trained on the GDELT Dataset finished 1st and 2nd places in the ATD sprint series and hold promise for other datasets for time series forecasting.

使用变压器的深度学习最近在许多重要领域取得了很大的成功，例如自然语言处理，计算机视觉，异常检测和推荐系统等。在变压器的几种优点中，对于时间序列预测，捕获远程时间依赖性和相互作用的能力是可取的，从而导致其在各种时间序列应用中的进步。在本文中，我们为非平稳时间序列构建了变压器模型。这个问题具有挑战性，但至关重要。我们为基于小波的变压器编码器体系结构提供了一个新颖的单变量时间序列表示学习框架，并将其称为W-Transformer。所提出的W-Transformer使用最大重叠离散小波转换（MODWT）到时间序列数据，并在分解数据集上构建本地变压器，以生动地捕获时间序列中的非机构性和远程非线性依赖性。在来自各个领域的几个公共基准时间序列数据集和具有不同特征的几个公开基准时间序列数据集上评估我们的框架，我们证明它的平均表现明显优于短期和长期预测的基线预报器，即使是由包含的数据集组成的数据集只有几百个培训样本。

在线广告收入占发布者的收入流越来越多的份额，特别是对于依赖谷歌和Facebook等技术公司广告网络的中小型出版商而言。因此，出版商可能会从准确的在线广告收入预测中获益，以更好地管理其网站货币化战略。但是，只能获得自己的收入数据的出版商缺乏出版商广告总市场的整体视图，这反过来限制了他们在他们未来的在线广告收入中产生见解的能力。为了解决这一业务问题，我们利用了一个专有的数据库，包括来自各种各样的地区的大量出版商的Google Adsense收入。我们采用时间融合变压器（TFT）模型，这是一种新的基于关注的架构，以预测出版商的广告收入。我们利用多个协变量，不仅包括出版商自己的特征，还包括其他出版商的广告收入。我们的预测结果优于多个时间范围的几个基准深度学习时间系列预测模型。此外，我们通过分析可变重要性重量来识别显着的特征和自我注意重量来解释结果，以揭示持久的时间模式。

我们向Facebook先知推出了一位继任者，为可解释，可扩展和用户友好的预测框架制定了一个行业标准。随着时间序列数据的扩散，可说明的预测仍然是企业和运营决策的具有挑战性的任务。需要混合解决方案来弥合可解释的古典方法与可扩展深层学习模型之间的差距。我们将先知视为这样一个解决方案的前兆。然而，先知缺乏本地背景，这对于预测近期未来至关重要，并且由于其斯坦坦后代而挑战。 NeultProphet是一种基于Pytorch的混合预测框架，并用标准的深度学习方法培训，开发人员可以轻松扩展框架。本地上下文使用自动回归和协变量模块引入，可以配置为经典线性回归或作为神经网络。否则，NeultProphet保留了先知的设计理念，提供了相同的基本模型组件。我们的结果表明，NeultProcrophet在一组生成的时间序列上产生了相当或优质的质量的可解释的预测组件。 NeultProphet在各种各样的现实数据集合中占先知。对于中期预测，NeultProclecrophet将预测精度提高55％至92％。

Wind power forecasting helps with the planning for the power systems by contributing to having a higher level of certainty in decision-making. Due to the randomness inherent to meteorological events (e.g., wind speeds), making highly accurate long-term predictions for wind power can be extremely difficult. One approach to remedy this challenge is to utilize weather information from multiple points across a geographical grid to obtain a holistic view of the wind patterns, along with temporal information from the previous power outputs of the wind farms. Our proposed CNN-RNN architecture combines convolutional neural networks (CNNs) and recurrent neural networks (RNNs) to extract spatial and temporal information from multi-dimensional input data to make day-ahead predictions. In this regard, our method incorporates an ultra-wide learning view, combining data from multiple numerical weather prediction models, wind farms, and geographical locations. Additionally, we experiment with global forecasting approaches to understand the impact of training the same model over the datasets obtained from multiple different wind farms, and we employ a method where spatial information extracted from convolutional layers is passed to a tree ensemble (e.g., Light Gradient Boosting Machine (LGBM)) instead of fully connected layers. The results show that our proposed CNN-RNN architecture outperforms other models such as LGBM, Extra Tree regressor and linear regression when trained globally, but fails to replicate such performance when trained individually on each farm. We also observe that passing the spatial information from CNN to LGBM improves its performance, providing further evidence of CNN's spatial feature extraction capabilities.

最近，对于长期时间序列预测（LTSF）任务，基于变压器的解决方案激增。尽管过去几年的表现正在增长，但我们质疑这项研究中这一研究的有效性。具体而言，可以说，变形金刚是最成功的解决方案，是在长序列中提取元素之间的语义相关性。但是，在时间序列建模中，我们要在一组连续点的有序集中提取时间关系。在采用位置编码和使用令牌将子系列嵌入变压器中的同时，有助于保留某些订购信息，但\ emph {置换不变}的自我注意力专注机制的性质不可避免地会导致时间信息损失。为了验证我们的主张，我们介绍了一组名为LTSF线性的令人尴尬的简单单层线性模型，以进行比较。在九个现实生活数据集上的实验结果表明，LTSF线性在所有情况下都超过现有的基于变压器的LTSF模型，并且通常要大幅度较大。此外，我们进行了全面的经验研究，以探索LTSF模型各种设计元素对其时间关系提取能力的影响。我们希望这一令人惊讶的发现为LTSF任务打开了新的研究方向。我们还主张重新审视基于变压器解决方案对其他时间序列分析任务（例如，异常检测）的有效性。代码可在：\ url {https://github.com/cure-lab/ltsf-linear}中获得。

基于预测方法的深度学习已成为时间序列预测或预测的许多应用中的首选方法，通常通常优于其他方法。因此，在过去的几年中，这些方法现在在大规模的工业预测应用中无处不在，并且一直在预测竞赛（例如M4和M5）中排名最佳。这种实践上的成功进一步提高了学术兴趣，以理解和改善深厚的预测方法。在本文中，我们提供了该领域的介绍和概述：我们为深入预测的重要构建块提出了一定深度的深入预测；随后，我们使用这些构建块，调查了最近的深度预测文献的广度。

传染病仍然是全世界人类疾病和死亡的主要因素之一，其中许多疾病引起了流行的感染波。特定药物和预防疫苗防止大多数流行病的不可用，这使情况变得更糟。这些迫使公共卫生官员，卫生保健提供者和政策制定者依靠由流行病的可靠预测产生的预警系统。对流行病的准确预测可以帮助利益相关者调整对手的对策，例如疫苗接种运动，人员安排和资源分配，以减少手头的情况，这可以转化为减少疾病影响的影响。不幸的是，大多数过去的流行病（例如，登革热，疟疾，肝炎，流感和最新的Covid-19）表现出非线性和非平稳性特征，这是由于它们基于季节性依赖性变化以及这些流行病的性质的扩散波动而引起的。 。我们使用基于最大的重叠离散小波变换（MODWT）自动回归神经网络分析了各种流行时期时间序列数据集，并将其称为EWNET。 MODWT技术有效地表征了流行时间序列中的非平稳行为和季节性依赖性，并在拟议的集合小波网络框架中改善了自回旋神经网络的预测方案。从非线性时间序列的角度来看，我们探讨了所提出的EWNET模型的渐近平稳性，以显示相关的马尔可夫链的渐近行为。我们还理论上还研究了学习稳定性的效果以及在拟议的EWNET模型中选择隐藏的神经元的选择。从实际的角度来看，我们将我们提出的EWNET框架与以前用于流行病预测的几种统计，机器学习和深度学习模型进行了比较。

人口级社会事件，如民事骚乱和犯罪，往往对我们的日常生活产生重大影响。预测此类事件对于决策和资源分配非常重要。由于缺乏关于事件发生的真实原因和潜在机制的知识，事件预测传统上具有挑战性。近年来，由于两个主要原因，研究事件预测研究取得了重大进展：（1）机器学习和深度学习算法的开发和（2）社交媒体，新闻来源，博客，经济等公共数据的可访问性指标和其他元数据源。软件/硬件技术中的数据的爆炸性增长导致了社会事件研究中的深度学习技巧的应用。本文致力于提供社会事件预测的深层学习技术的系统和全面概述。我们专注于两个社会事件的域名：\ Texit {Civil unrest}和\ texit {犯罪}。我们首先介绍事件预测问题如何作为机器学习预测任务制定。然后，我们总结了这些问题的数据资源，传统方法和最近的深度学习模型的发展。最后，我们讨论了社会事件预测中的挑战，并提出了一些有希望的未来研究方向。

多元时间序列预测已在各种领域（包括金融，交通，能源和医疗保健）中广泛范围的应用程序。为了捕获复杂的时间模式，大量研究设计了基于RNN，GNN和Transformers的许多变体的复杂神经网络体系结构。但是，复杂的模型在计算上通常是昂贵的，因此当应用于大型现实世界数据集时，在训练和推理效率方面面临严重的挑战。在本文中，我们介绍了Lightts，这是一种基于简单的基于MLP的结构的轻度深度学习体系结构。 LightT的关键思想是在两种微妙的下采样策略之上应用基于MLP的结构，包括间隔抽样和连续采样，灵感来自至关重要的事实，即下采样时间序列通常保留其大多数信息。我们对八个广泛使用的基准数据集进行了广泛的实验。与现有的最新方法相比，Lightts在其中五个方面表现出更好的性能，其余的性能可比性。此外，Lightts高效。与最大的基准数据集上的先前SOTA方法相比，它使用的触发器少于5％。此外，Lightts的预测准确性与以前的SOTA方法相比，在长序列预测任务中，预测准确性的差异要小得多。

在本文中，我们介绍了蒙面的多步多变量预测（MMMF），这是一个新颖而普遍的自我监督学习框架，用于时间序列预测，并提供已知的未来信息。在许多真实世界的预测情况下，已知一些未来的信息，例如，在进行短期到中期的电力需求预测或进行飞机出发预测时的油价预测时，天气信息。现有的机器学习预测框架可以分为（1）基于样本的方法，在此方法中进行每个预测，以及（2）时间序列回归方法，其中未来信息未完全合并。为了克服现有方法的局限性，我们提出了MMMF，这是一个培训能够生成一系列输出的神经网络模型的框架，将过去的时间信息和有关未来的已知信息结合在一起，以做出更好的预测。实验在两个现实世界数据集上进行（1）中期电力需求预测，以及（2）前两个月的飞行偏离预测。他们表明，所提出的MMMF框架的表现不仅优于基于样本的方法，而且具有与完全相同的基本模型的现有时间序列预测模型。此外，一旦通过MMMF进行了神经网络模型，其推理速度与接受传统回归配方训练的相同模型的推理速度相似，从而使MMMF成为现有回归训练的时间序列的更好替代品，如果有一些可用的未来，信息。

特征提取方法有助于降低维度并捕获相关信息。在时间序列预测（TSF）中，功能可以用作辅助信息，以实现更好的准确性。传统上，TSF中使用的功能是手工制作的，需要域知识和重要的数据工程工作。在这项研究中，我们首先介绍了静态和动态功能的概念，然后使我们能够开发自主功能，以检索不需要域知识的静态特征（FRAN）的自动回归网络（FRAN）。该方法基于CNN分类器，该分类器经过训练，可以为每个系列创建一个集体和独特的类表示，要么是从该系列的部分中或（如果可以使用的类标签），从一组同一类中。它允许以相似的行为区分序列，但要从不同的类别中进行区分，并使从分类器提取的特征具有最大歧视性。我们探讨了我们功能的解释性，并评估预测元学习环境中该方法的预测能力。我们的结果表明，在大多数情况下，我们的功能会提高准确性。一旦训练，我们的方法就会创建比统计方法快的阶数级级。

在时间序列预测的背景下，常用做法是评估多种方法，并选择其中一种方法或用于产生最佳预测的合奏。然而，在多种方法中选择不同的集合仍然是当方法的数量增加时，仍然是经历组合爆炸的具有挑战性的任务。在需求预测或收入预测的背景下，这一挑战在大量时间序列以及由于不断变化的业务环境而获得的有限的历史数据点，进一步加剧。虽然深入学习预测方法旨在同时预测大量时间序列，但由于有限的历史可用，可能不会产生理想的结果，它们变得挑战。我们提出了一种通过在使用交叉验证的潜在时间序列上组合低级时间矩阵分解和最佳模型选择来预测短高维时间序列数据的框架。我们展示预测潜在因子与直接应用于时间序列的不同UNI变化模型相比，潜在因子导致显着的性能提升。在M4月数据集的截断版本上验证了性能，其中包含来自来自多个域的时间序列数据，显示该方法的一般适用性。此外，由于在将预测方法直接应用于高维数据集时通常是不切实际的潜在因子而言，可以将未来的分析师视图纳入未来的分析师观。

Dengue fever is a virulent disease spreading over 100 tropical and subtropical countries in Africa, the Americas, and Asia. This arboviral disease affects around 400 million people globally, severely distressing the healthcare systems. The unavailability of a specific drug and ready-to-use vaccine makes the situation worse. Hence, policymakers must rely on early warning systems to control intervention-related decisions. Forecasts routinely provide critical information for dangerous epidemic events. However, the available forecasting models (e.g., weather-driven mechanistic, statistical time series, and machine learning models) lack a clear understanding of different components to improve prediction accuracy and often provide unstable and unreliable forecasts. This study proposes an ensemble wavelet neural network with exogenous factor(s) (XEWNet) model that can produce reliable estimates for dengue outbreak prediction for three geographical regions, namely San Juan, Iquitos, and Ahmedabad. The proposed XEWNet model is flexible and can easily incorporate exogenous climate variable(s) confirmed by statistical causality tests in its scalable framework. The proposed model is an integrated approach that uses wavelet transformation into an ensemble neural network framework that helps in generating more reliable long-term forecasts. The proposed XEWNet allows complex non-linear relationships between the dengue incidence cases and rainfall; however, mathematically interpretable, fast in execution, and easily comprehensible. The proposal's competitiveness is measured using computational experiments based on various statistical metrics and several statistical comparison tests. In comparison with statistical, machine learning, and deep learning methods, our proposed XEWNet performs better in 75% of the cases for short-term and long-term forecasting of dengue incidence.

预测基金绩效对投资者和基金经理都是有益的，但这是一项艰巨的任务。在本文中，我们测试了深度学习模型是否比传统统计技术更准确地预测基金绩效。基金绩效通常通过Sharpe比率进行评估，该比例代表了风险调整的绩效，以确保基金之间有意义的可比性。我们根据每月收益率数据序列数据计算了年度夏普比率，该数据的时间序列数据为600多个投资于美国上市大型股票的开放式共同基金投资。我们发现，经过现代贝叶斯优化训练的长期短期记忆（LSTM）和封闭式复发单元（GRUS）深度学习方法比传统统计量相比，预测基金的Sharpe比率更高。结合了LSTM和GRU的预测的合奏方法，可以实现所有模型的最佳性能。有证据表明，深度学习和结合能提供有希望的解决方案，以应对基金绩效预测的挑战。

神经预测的最新进展加速了大规模预测系统的性能。然而，长途预测仍然是一项非常艰巨的任务。困扰任务的两个常见挑战是预测的波动及其计算复杂性。我们介绍了N-HITS，该模型通过结合新的分层插值和多率数据采样技术来解决挑战。这些技术使提出的方法能够顺序组装其预测，并在分解输入信号并合成预测的同时强调不同频率和尺度的组件。我们证明，在平稳性的情况下，层次结构插值技术可以有效地近似于任意长的视野。此外，我们从长远的预测文献中进行了广泛的大规模数据集实验，证明了我们方法比最新方法的优势，在该方法中，N-HITS可提供比最新的16％的平均准确性提高。变压器体系结构在减少计算时间的同时（50次）。我们的代码可在https://bit.ly/3jlibp8上找到。

制定准确的旅游预测模型对于为旅游管理做出理想的政策决策至关重要。早期研究旅游管理专注于发现与旅游需求相关的外部因素。最近的研究利用深度学习随需需求预测以及这些外部因素。它们主要使用递归神经网络模型，例如LSTM和RNN的框架。然而，这些模型不适合用于预测旅游需求。这是因为旅游需求受到各种外部因素变化的强烈影响，递归神经网络模型在处理这些多变量输入方面具有限制。我们提出了一种多主题CNN模型（MHAC），用于解决这些限制。 MHAC使用1D卷积神经网络来分析时间模式和注意机制，以反映输入变量之间的相关性。该模型可以从各种变量的时间序列数据中提取空间特征。我们通过考虑韩国文化的政治，疾病，季节和吸引力等外部因素，应用我们的预测框架来预测韩国的入境旅游变化。广泛实验的性能结果表明，我们的方法优于韩国旅游预测的其他基于深受学习的预测框架。

Time series anomaly detection has applications in a wide range of research fields and applications, including manufacturing and healthcare. The presence of anomalies can indicate novel or unexpected events, such as production faults, system defects, or heart fluttering, and is therefore of particular interest. The large size and complex patterns of time series have led researchers to develop specialised deep learning models for detecting anomalous patterns. This survey focuses on providing structured and comprehensive state-of-the-art time series anomaly detection models through the use of deep learning. It providing a taxonomy based on the factors that divide anomaly detection models into different categories. Aside from describing the basic anomaly detection technique for each category, the advantages and limitations are also discussed. Furthermore, this study includes examples of deep anomaly detection in time series across various application domains in recent years. It finally summarises open issues in research and challenges faced while adopting deep anomaly detection models.

对传染病疾病的准确预测是有效控制该地区流行病的关键。大多数现有方法忽略了区域之间的潜在动态依赖性或区域之间的时间依赖性和相互依存关系的重要性。在本文中，我们提出了一个内部和内部嵌入式融合网络（SEFNET），以改善流行病预测性能。 SEFNET由两个平行模块组成，分别是嵌入模块的系列间嵌入模块。在嵌入模块的串间嵌入模块中，提出了一个多尺度的统一卷积组件，称为“区域感知卷积”，该组件与自我发挥作用，以捕获从多个区域获得的时间序列之间捕获动态依赖性。内部嵌入模块使用长期的短期内存来捕获每个时间序列中的时间关系。随后，我们学习了两个嵌入的影响度，并将它们与参数矩阵融合法融合在一起。为了进一步提高鲁棒性，Sefnet还与非线性神经网络并行整合了传统的自回归组件。在四个现实世界流行有关的数据集上进行的实验表明，SEFNET具有有效性，并且表现优于最先进的基线。

Deep learning approaches for spatio-temporal prediction problems such as crowd-flow prediction assumes data to be of fixed and regular shaped tensor and face challenges of handling irregular, sparse data tensor. This poses limitations in use-case scenarios such as predicting visit counts of individuals' for a given spatial area at a particular temporal resolution using raster/image format representation of the geographical region, since the movement patterns of an individual can be largely restricted and localized to a certain part of the raster. Additionally, current deep-learning approaches for solving such problem doesn't account for the geographical awareness of a region while modelling the spatio-temporal movement patterns of an individual. To address these limitations, there is a need to develop a novel strategy and modeling approach that can handle both sparse, irregular data while incorporating geo-awareness in the model. In this paper, we make use of quadtree as the data structure for representing the image and introduce a novel geo-aware enabled deep learning layer, GA-ConvLSTM that performs the convolution operation based on a novel geo-aware module based on quadtree data structure for incorporating spatial dependencies while maintaining the recurrent mechanism for accounting for temporal dependencies. We present this approach in the context of the problem of predicting spatial behaviors of an individual (e.g., frequent visits to specific locations) through deep-learning based predictive model, GADST-Predict. Experimental results on two GPS based trace data shows that the proposed method is effective in handling frequency visits over different use-cases with considerable high accuracy.