The time-series forecasting (TSF) problem is a traditional problem in the field of artificial intelligence. Models such as Recurrent Neural Network (RNN), Long Short Term Memory (LSTM), and GRU (Gate Recurrent Units) have contributed to improving the predictive accuracy of TSF. Furthermore, model structures have been proposed to combine time-series decomposition methods, such as seasonal-trend decomposition using Loess (STL) to ensure improved predictive accuracy. However, because this approach is learned in an independent model for each component, it cannot learn the relationships between time-series components. In this study, we propose a new neural architecture called a correlation recurrent unit (CRU) that can perform time series decomposition within a neural cell and learn correlations (autocorrelation and correlation) between each decomposition component. The proposed neural architecture was evaluated through comparative experiments with previous studies using five univariate time-series datasets and four multivariate time-series data. The results showed that long- and short-term predictive performance was improved by more than 10%. The experimental results show that the proposed CRU is an excellent method for TSF problems compared to other neural architectures.

With the evolution of power systems as it is becoming more intelligent and interactive system while increasing in flexibility with a larger penetration of renewable energy sources, demand prediction on a short-term resolution will inevitably become more and more crucial in designing and managing the future grid, especially when it comes to an individual household level. Projecting the demand for electricity for a single energy user, as opposed to the aggregated power consumption of residential load on a wide scale, is difficult because of a considerable number of volatile and uncertain factors. This paper proposes a customized GRU (Gated Recurrent Unit) and Long Short-Term Memory (LSTM) architecture to address this challenging problem. LSTM and GRU are comparatively newer and among the most well-adopted deep learning approaches. The electricity consumption datasets were obtained from individual household smart meters. The comparison shows that the LSTM model performs better for home-level forecasting than alternative prediction techniques-GRU in this case. To compare the NN-based models with contrast to the conventional statistical technique-based model, ARIMA based model was also developed and benchmarked with LSTM and GRU model outcomes in this study to show the performance of the proposed model on the collected time series data.

预测基金绩效对投资者和基金经理都是有益的，但这是一项艰巨的任务。在本文中，我们测试了深度学习模型是否比传统统计技术更准确地预测基金绩效。基金绩效通常通过Sharpe比率进行评估，该比例代表了风险调整的绩效，以确保基金之间有意义的可比性。我们根据每月收益率数据序列数据计算了年度夏普比率，该数据的时间序列数据为600多个投资于美国上市大型股票的开放式共同基金投资。我们发现，经过现代贝叶斯优化训练的长期短期记忆（LSTM）和封闭式复发单元（GRUS）深度学习方法比传统统计量相比，预测基金的Sharpe比率更高。结合了LSTM和GRU的预测的合奏方法，可以实现所有模型的最佳性能。有证据表明，深度学习和结合能提供有希望的解决方案，以应对基金绩效预测的挑战。

In this paper we compare different types of recurrent units in recurrent neural networks (RNNs). Especially, we focus on more sophisticated units that implement a gating mechanism, such as a long short-term memory (LSTM) unit and a recently proposed gated recurrent unit (GRU). We evaluate these recurrent units on the tasks of polyphonic music modeling and speech signal modeling. Our experiments revealed that these advanced recurrent units are indeed better than more traditional recurrent units such as tanh units. Also, we found GRU to be comparable to LSTM.

Accurate traffic flow prediction, a hotspot for intelligent transportation research, is the prerequisite for mastering traffic and making travel plans. The speed of traffic flow can be affected by roads condition, weather, holidays, etc. Furthermore, the sensors to catch the information about traffic flow will be interfered with by environmental factors such as illumination, collection time, occlusion, etc. Therefore, the traffic flow in the practical transportation system is complicated, uncertain, and challenging to predict accurately. This paper proposes a deep encoder-decoder prediction framework based on variational Bayesian inference. A Bayesian neural network is constructed by combining variational inference with gated recurrent units (GRU) and used as the deep neural network unit of the encoder-decoder framework to mine the intrinsic dynamics of traffic flow. Then, the variational inference is introduced into the multi-head attention mechanism to avoid noise-induced deterioration of prediction accuracy. The proposed model achieves superior prediction performance on the Guangzhou urban traffic flow dataset over the benchmarks, particularly when the long-term prediction.

作为自然现象的地震，历史上不断造成伤害和人类生活的损失。地震预测是任何社会计划的重要方面，可以增加公共准备，并在很大程度上减少损坏。然而，由于地震的随机特征以及实现了地震预测的有效和可靠模型的挑战，迄今为止努力一直不足，需要新的方法来解决这个问题。本文意识到​​这些问题，提出了一种基于注意机制（AM），卷积神经网络（CNN）和双向长短期存储器（BILSTM）模型的新型预测方法，其可以预测数量和最大幅度中国大陆各地区的地震为基于该地区的地震目录。该模型利用LSTM和CNN具有注意机制，以更好地关注有效的地震特性并产生更准确的预测。首先，将零阶保持技术应用于地震数据上的预处理，使得模型的输入数据更适当。其次，为了有效地使用空间信息并减少输入数据的维度，CNN用于捕获地震数据之间的空间依赖性。第三，使用Bi-LSTM层来捕获时间依赖性。第四，引入了AM层以突出其重要的特征来实现更好的预测性能。结果表明，该方法具有比其他预测方法更好的性能和概括能力。

准确的负载预测对于电力系统的电力市场运营以及电力系统中的其他实时决策任务至关重要。本文认为社区内的住宅客户的短期负荷预测（STLF）问题。现有的STLF工作主要侧重于预测馈线系统或单一客户的汇总负荷，但是在预测单个设备水平的负荷上，已经努力。在这项工作中，我们介绍了一种用于有效预测各个电器的功耗的STLF算法。所提出的方法在深度学习中强大的经常性神经网络（RNN）架构，称为长短短期记忆（LSTM）。当每个设备具有唯一重复的消耗模式时，将跟踪预测误差的模式，使得过去的预测误差可用于提高最终预测性能。实际负载数据集的数值测试证明了在现有的基于LSTM的方法和其他基准方法上提高了所提出的方法。

In this paper, we propose a new short-term load forecasting (STLF) model based on contextually enhanced hybrid and hierarchical architecture combining exponential smoothing (ES) and a recurrent neural network (RNN). The model is composed of two simultaneously trained tracks: the context track and the main track. The context track introduces additional information to the main track. It is extracted from representative series and dynamically modulated to adjust to the individual series forecasted by the main track. The RNN architecture consists of multiple recurrent layers stacked with hierarchical dilations and equipped with recently proposed attentive dilated recurrent cells. These cells enable the model to capture short-term, long-term and seasonal dependencies across time series as well as to weight dynamically the input information. The model produces both point forecasts and predictive intervals. The experimental part of the work performed on 35 forecasting problems shows that the proposed model outperforms in terms of accuracy its predecessor as well as standard statistical models and state-of-the-art machine learning models.

短期负荷预测（STLF）由于复杂的时间序列（TS）是一种表达三个季节性模式和非线性趋势的挑战。本文提出了一种新的混合分层深度学习模型，涉及多个季节性，并产生两点预测和预测间隔（PIS）。它结合了指数平滑（ES）和经常性神经网络（RNN）。 ES动态提取每个单独的TS的主要组件，并启用在飞行的临时化，这在相对较小的数据集上操作时特别有用。多层RNN配备了一种新型扩张的经常性电池，旨在有效地模拟TS中的短期和长期依赖性。为了改善内部TS表示，因此模型的性能，RNN同时学习ES参数和主要映射函数将输入转换为预测。我们比较我们对几种基线方法的方法，包括古典统计方法和机器学习（ML）方法，在35个欧洲国家的STLF问题。实证研究清楚地表明，该模型具有高表现力，以解决非线性随机预测问题，包括多个季节性和显着的随机波动。实际上，它在准确性方面优于统计和最先进的ML模型。

自回旋运动平均值（ARMA）模型是经典的，可以说是模型时间序列数据的最多研究的方法之一。它具有引人入胜的理论特性，并在从业者中广泛使用。最近的深度学习方法普及了经常性神经网络（RNN），尤其是长期记忆（LSTM）细胞，这些细胞已成为神经时间序列建模中最佳性能和最常见的构件之一。虽然对具有长期效果的时间序列数据或序列有利，但复杂的RNN细胞并不总是必须的，有时甚至可能不如更简单的复发方法。在这项工作中，我们介绍了ARMA细胞，这是一种在神经网络中的时间序列建模的更简单，模块化和有效的方法。该单元可以用于存在复发结构的任何神经网络体系结构中，并自然地使用矢量自动进程处理多元时间序列。我们还引入了Convarma细胞作为空间相关时间序列的自然继任者。我们的实验表明，所提出的方法在性能方面与流行替代方案具有竞争力，同时由于其简单性而变得更加强大和引人注目。

我们在在线环境中研究了非线性预测，并引入了混合模型，该模型通过端到端体系结构有效地减轻了对手工设计的功能的需求和传统非线性预测/回归方法的手动模型选择问题。特别是，我们使用递归结构从顺序信号中提取特征，同时保留状态信息，即历史记录和增强决策树以产生最终输出。该连接是以端到端方式的，我们使用随机梯度下降共同优化整个体系结构，我们还为此提供了向后的通过更新方程。特别是，我们采用了一个经常性的神经网络（LSTM）来从顺序数据中提取自适应特征，并提取梯度增强机械（Soft GBDT），以进行有效的监督回归。我们的框架是通用的，因此可以使用其他深度学习体系结构进行特征提取（例如RNN和GRU）和机器学习算法进行决策，只要它们是可区分的。我们证明了算法对合成数据的学习行为以及各种现实生活数据集对常规方法的显着性能改进。此外，我们公开分享提出的方法的源代码，以促进进一步的研究。

温度监测对于电动机确定是否应执行设备保护措施至关重要。但是，永久磁铁同步电动机（PMSM）的内部结构的复杂性使内部组件的直接温度测量变得困难。这项工作务实地开发了三种深度学习模型，以根据易于测量的外部数量估算PMSM的内部温度。拟议的监督学习模型利用了长期记忆（LSTM）模块，双向LSTM和注意机制形成编码器解码器结构，以同时预测定子绕组，牙齿，牙齿，Yoke和永久磁铁的温度。在基准数据集上以详尽的方式进行实验，以验证提出的模型的性能。比较分析表明，拟议的基于全球注意的编码器模型（ENDEC）模型提供了1.72平均平方误差（MSE）和5.34平均绝对误差（MAE）的竞争总体性能。

冠状病毒疾病或Covid-19是由SARS-COV-2病毒引起的一种传染病。该病毒引起的第一个确认病例是在2019年12月底在中国武汉市发现的。然后，此案遍布全球，包括印度尼西亚。因此，联合19案被WHO指定为全球大流行。可以使用多种方法（例如深神经网络（DNN））预测COVID-19病例的增长，尤其是在印度尼西亚。可以使用的DNN模型之一是可以预测时间序列的深变压器。该模型经过多种测试方案的培训，以获取最佳模型。评估是找到最佳的超参数。然后，使用预测天数，优化器，功能数量以及与长期短期记忆（LSTM）（LSTM）和复发性神经网络（RNN）的先前模型进行比较的最佳超参数设置进行了进一步的评估。 。所有评估均使用平均绝对百分比误差（MAPE）的度量。基于评估的结果，深层变压器在使用前层归一化时会产生最佳的结果，并预测有一天的MAPE值为18.83。此外，接受Adamax优化器训练的模型在其他测试优化器中获得了最佳性能。 Deep Transformer的性能还超过了其他测试模型，即LSTM和RNN。

从广泛的流量监视传感器收集的旅行时间数据需要大数据分析工具来查询，可视化和识别有意义的流量模式。本文利用了Caltrans性能测量系统（PEMS）系统的大规模旅行时间数据集，该系统是传统数据处理和建模工具的溢出。为了克服大量数据的挑战，大数据分析引擎Apache Spark和Apache MXNET用于数据争吵和建模。进行季节性和自相关以探索和可视化时变数据的趋势。受到许多人工智能（AI）任务的层次结构成功的启发，我们巩固了细胞和隐藏状态，从低级到高级LSTM传递，其注意力集中在类似于人类感知系统的运作方式上。设计的分层LSTM模型可以在不同的时间尺度上考虑依赖项，以捕获网络级别旅行时间的时空相关性。然后，设计了另一个自我发场模块，以将LSTM提取的功能连接到完全连接的层，从而预测所有走廊的旅行时间，而不是单个链接/路线。比较结果表明，层次的LSTM引起注意（HIERLSTMAT）模型在30分钟和45分钟的视野时给出了最佳的预测结果，并且可以成功预测不寻常的拥塞。通过将它们与流行的数据科学和深度学习框架进行比较，从大数据分析工具中得出的效率得到了评估。

时间序列数据在现实世界应用中无处不在。但是，最常见的问题之一是，时间序列数据可能会通过数据收集过程的固有性质丢失值。因此，必须从多元（相关）时间序列数据中推出缺失值，这对于改善预测性能的同时做出准确的数据驱动决策至关重要。插补的常规工作简单地删除缺失值或基于平均/零填充它们。尽管基于深层神经网络的最新作品显示出了显着的结果，但它们仍然有一个限制来捕获多元时间序列的复杂生成过程。在本文中，我们提出了一种用于多变量时间序列数据的新型插补方法，称为sting（使用GAN基于自我注意的时间序列插补网络）。我们利用生成的对抗网络和双向复发性神经网络来学习时间序列的潜在表示。此外，我们引入了一种新型的注意机制，以捕获整个序列的加权相关性，并避免无关序列带来的潜在偏见。三个现实世界数据集的实验结果表明，刺痛在插补精度以及具有估算值的下游任务方面优于现有的最新方法。

信息爆炸的时代促使累积巨大的时间序列数据，包括静止和非静止时间序列数据。最先进的算法在处理静止时间数据方面取得了体面的性能。然而，解决静止​​时间系列的传统算法不适用于外汇交易的非静止系列。本文调查了适用的模型，可以提高预测未来非静止时间序列序列趋势的准确性。特别是，我们专注于识别潜在模型，并调查识别模式从历史数据的影响。我们提出了基于RNN的\ Rebuttal {The} SEQ2Seq模型的组合，以及通过动态时间翘曲和Zigzag峰谷指示器提取的注重机制和富集的集合特征。定制损失函数和评估指标旨在更加关注预测序列的峰值和谷点。我们的研究结果表明，我们的模型可以在外汇数据集中预测高精度的4小时未来趋势，这在逼真的情况下至关重要，以协助外汇交易决策。我们进一步提供了对各种损失函数，评估指标，模型变体和组件对模型性能的影响的评估。

In a typical car-following scenario, target vehicle speed fluctuations act as an external disturbance to the host vehicle and in turn affect its energy consumption. To control a host vehicle in an energy-efficient manner using model predictive control (MPC), and moreover, enhance the performance of an ecological adaptive cruise control (EACC) strategy, forecasting the future velocities of a target vehicle is essential. For this purpose, a deep recurrent neural network-based vehicle speed prediction using long-short term memory (LSTM) and gated recurrent units (GRU) is studied in this work. Besides these, the physics-based constant velocity (CV) and constant acceleration (CA) models are discussed. The sequential time series data for training (e.g. speed trajectories of the target and its preceding vehicles obtained through vehicle-to-vehicle (V2V) communication, road speed limits, traffic light current and future phases collected using vehicle-to-infrastructure (V2I) communication) is gathered from both urban and highway networks created in the microscopic traffic simulator SUMO. The proposed speed prediction models are evaluated for long-term predictions (up to 10 s) of target vehicle future velocities. Moreover, the results revealed that the LSTM-based speed predictor outperformed other models in terms of achieving better prediction accuracy on unseen test datasets, and thereby showcasing better generalization ability. Furthermore, the performance of EACC-equipped host car on the predicted velocities is evaluated, and its energy-saving benefits for different prediction horizons are presented.

对于长期来说，研究人员一直在开发可靠而准确的股票价格预测预测模型。根据文献，如果预测模型是正确的设计和精炼，他们可以煞费苦心地和忠实地估计未来的库存价值。本文展示了一组时间序列，计量经济性和各种基于学习的股票价格预测模型。在此处使用来自2004年1月至2019年12月至2019年12月的Infosys，Icici和Sun Pharma的数据用于培训和测试模型，以了解哪种模型在哪个部门中表现最佳。一个时间序列模型（Holt-Winters指数平滑），一个计量计量模型（Arima），两台机器学习模型（随机林和火星），以及两种深度学习的模型（简单的RNN和LSTM）已被列入本文。火星已被证明是最好的执行机器学习模式，而LSTM已被证明是表现最好的深层学习模式。但总体而言，对于所有三个部门 - 它（在Infosys数据上），银行业务（在ICICI数据）和健康（在Sun Pharma数据上），Mars已被证明是销售预测中最佳表现模式。

近年来，图形神经网络（GNN）与复发性神经网络（RNN）的变体相结合，在时空预测任务中达到了最先进的性能。对于流量预测，GNN模型使用道路网络的图形结构来解释链接和节点之间的空间相关性。最近的解决方案要么基于复杂的图形操作或避免预定义的图。本文提出了一种新的序列结构，以使用具有稀疏体系结构的GNN-RNN细胞在多个抽象的抽象上提取时空相关性，以减少训练时间与更复杂的设计相比。通过多个编码器编码相同的输入序列，并随着编码层的增量增加，使网络能够通过多级抽象来学习一般和详细的信息。我们进一步介绍了来自加拿大蒙特利尔的街道细分市场流量数据的新基准数据集。与高速公路不同，城市路段是循环的，其特征是复杂的空间依赖性。与基线方法相比，一小时预测的实验结果和我们的MSLTD街道级段数据集对我们的模型提高了7％以上，同时将计算资源要求提高了一半以上竞争方法。

粒子加速器是复杂的设施，可产生大量的结构化数据，并具有明确的优化目标以及精确定义的控制要求。因此，它们自然适合数据驱动的研究方法。来自传感器和监视加速器形式的多元时间序列的数据。在加速器控制和诊断方面，快速的先发制人方法是高度首选的，数据驱动的时间序列预测方法的应用尤其有希望。这篇综述提出了时间序列预测问题，并总结了现有模型，并在各个科学领域的应用中进行了应用。引入了粒子加速器领域中的几次和将来的尝试。预测到粒子加速器的时间序列的应用显示出令人鼓舞的结果和更广泛使用的希望，现有的问题（例如数据一致性和兼容性）已开始解决。