时间序列模型通常处理极端事件和异常，这两者都在现实世界数据集中普遍存在。这样的模型通常需要提供仔细的概率预测，这对于诸如飓风和大流行等极端事件的风险管理至关重要。但是，自动检测并学习对大规模数据集使用极端事件和异常，这是一项挑战，这通常需要手动努力。因此，我们提出了一个异常的预测框架，该框架利用了先前看到的异常作用来提高其在极端事件存在期间和之后的预测准确性。具体而言，该框架会自动提取异常，并通过注意机制将其合并，以提高其未来极端事件的准确性。此外，该框架采用动态不确定性优化算法，以在线方式降低预测的不确定性。所提出的框架表现出一致的卓越精度，而在三个数据集上，与当前预测模型相比，三个具有不同异常的数据集的不确定性。

Time series anomaly detection has applications in a wide range of research fields and applications, including manufacturing and healthcare. The presence of anomalies can indicate novel or unexpected events, such as production faults, system defects, or heart fluttering, and is therefore of particular interest. The large size and complex patterns of time series have led researchers to develop specialised deep learning models for detecting anomalous patterns. This survey focuses on providing structured and comprehensive state-of-the-art time series anomaly detection models through the use of deep learning. It providing a taxonomy based on the factors that divide anomaly detection models into different categories. Aside from describing the basic anomaly detection technique for each category, the advantages and limitations are also discussed. Furthermore, this study includes examples of deep anomaly detection in time series across various application domains in recent years. It finally summarises open issues in research and challenges faced while adopting deep anomaly detection models.

今天的网络世界难以多变量。在极端品种中收集的指标需要多变量算法以正确检测异常。然而，基于预测的算法，如被广泛证明的方法，通常在数据集中进行次优或不一致。一个关键的常见问题是他们努力成为一个尺寸适合的，但异常在自然中是独特的。我们提出了一种裁定到这种区别的方法。提出FMUAD - 一种基于预测，多方面，无监督的异常检测框架。FMUAD明确，分别捕获异常类型的签名性状 - 空间变化，时间变化和相关变化 - 与独立模块。然后，模块共同学习最佳特征表示，这是非常灵活和直观的，与类别中的大多数其他模型不同。广泛的实验表明我们的FMUAD框架始终如一地优于其他最先进的预测的异常探测器。

基于预测方法的深度学习已成为时间序列预测或预测的许多应用中的首选方法，通常通常优于其他方法。因此，在过去的几年中，这些方法现在在大规模的工业预测应用中无处不在，并且一直在预测竞赛（例如M4和M5）中排名最佳。这种实践上的成功进一步提高了学术兴趣，以理解和改善深厚的预测方法。在本文中，我们提供了该领域的介绍和概述：我们为深入预测的重要构建块提出了一定深度的深入预测；随后，我们使用这些构建块，调查了最近的深度预测文献的广度。

Wind power forecasting helps with the planning for the power systems by contributing to having a higher level of certainty in decision-making. Due to the randomness inherent to meteorological events (e.g., wind speeds), making highly accurate long-term predictions for wind power can be extremely difficult. One approach to remedy this challenge is to utilize weather information from multiple points across a geographical grid to obtain a holistic view of the wind patterns, along with temporal information from the previous power outputs of the wind farms. Our proposed CNN-RNN architecture combines convolutional neural networks (CNNs) and recurrent neural networks (RNNs) to extract spatial and temporal information from multi-dimensional input data to make day-ahead predictions. In this regard, our method incorporates an ultra-wide learning view, combining data from multiple numerical weather prediction models, wind farms, and geographical locations. Additionally, we experiment with global forecasting approaches to understand the impact of training the same model over the datasets obtained from multiple different wind farms, and we employ a method where spatial information extracted from convolutional layers is passed to a tree ensemble (e.g., Light Gradient Boosting Machine (LGBM)) instead of fully connected layers. The results show that our proposed CNN-RNN architecture outperforms other models such as LGBM, Extra Tree regressor and linear regression when trained globally, but fails to replicate such performance when trained individually on each farm. We also observe that passing the spatial information from CNN to LGBM improves its performance, providing further evidence of CNN's spatial feature extraction capabilities.

在本文中，我们呈现SSDNet，这是一个新的时间序列预测的深层学习方法。SSDNet将变压器架构与状态空间模型相结合，提供概率和可解释的预测，包括趋势和季节性成分以及前一步对预测很重要。变压器架构用于学习时间模式并直接有效地估计状态空间模型的参数，而无需对卡尔曼滤波器的需要。我们全面评估了SSDNET在五个数据集上的性能，显示SSDNet是一种有效的方法，可在准确性和速度，优于最先进的深度学习和统计方法方面是一种有效的方法，能够提供有意义的趋势和季节性组件。

预测基金绩效对投资者和基金经理都是有益的，但这是一项艰巨的任务。在本文中，我们测试了深度学习模型是否比传统统计技术更准确地预测基金绩效。基金绩效通常通过Sharpe比率进行评估，该比例代表了风险调整的绩效，以确保基金之间有意义的可比性。我们根据每月收益率数据序列数据计算了年度夏普比率，该数据的时间序列数据为600多个投资于美国上市大型股票的开放式共同基金投资。我们发现，经过现代贝叶斯优化训练的长期短期记忆（LSTM）和封闭式复发单元（GRUS）深度学习方法比传统统计量相比，预测基金的Sharpe比率更高。结合了LSTM和GRU的预测的合奏方法，可以实现所有模型的最佳性能。有证据表明，深度学习和结合能提供有希望的解决方案，以应对基金绩效预测的挑战。

已经显示混合方法以在预测任务中以纯粹的统计和纯粹的深度学习方法优于预测，并定量与这些预测（预测间隔）的相关不确定性。一个示例是指数平滑复发性神经网络（ES-RNN），统计预测模型和经常性神经网络变体之间的混合。 ES-RNN在Makridakis-4预测竞争中实现了9.4 \％的绝对错误。这种改进和类似的混合模型的表现主要是仅在单变量数据集上展示。将混合预测方法应用于多变量数据的困难包括（$ i $）的高参数调整所涉及的高计算成本，用于与数据中固有的自动关联相关的模型（II $）挑战，以及（ $ iii $）在可能难以捕获的协变量之间的复杂依赖（交叉相关）。本文介绍了多变量指数平滑的长短短期记忆（MES-LSTM），对ES-RNN的广义多元扩展，克服了这些挑战。 MES-LSTM利用了矢量化实现。我们在2019年（Covid-19）发病率数据集的几种聚集冠状病毒病中测试MES-LSTM，并发现我们的混合方法在预测准确性和预测间隔建设下对纯统计和深度学习方法进行了一致的，显着改善。

In this paper, we propose a new short-term load forecasting (STLF) model based on contextually enhanced hybrid and hierarchical architecture combining exponential smoothing (ES) and a recurrent neural network (RNN). The model is composed of two simultaneously trained tracks: the context track and the main track. The context track introduces additional information to the main track. It is extracted from representative series and dynamically modulated to adjust to the individual series forecasted by the main track. The RNN architecture consists of multiple recurrent layers stacked with hierarchical dilations and equipped with recently proposed attentive dilated recurrent cells. These cells enable the model to capture short-term, long-term and seasonal dependencies across time series as well as to weight dynamically the input information. The model produces both point forecasts and predictive intervals. The experimental part of the work performed on 35 forecasting problems shows that the proposed model outperforms in terms of accuracy its predecessor as well as standard statistical models and state-of-the-art machine learning models.

信息爆炸的时代促使累积巨大的时间序列数据，包括静止和非静止时间序列数据。最先进的算法在处理静止时间数据方面取得了体面的性能。然而，解决静止​​时间系列的传统算法不适用于外汇交易的非静止系列。本文调查了适用的模型，可以提高预测未来非静止时间序列序列趋势的准确性。特别是，我们专注于识别潜在模型，并调查识别模式从历史数据的影响。我们提出了基于RNN的\ Rebuttal {The} SEQ2Seq模型的组合，以及通过动态时间翘曲和Zigzag峰谷指示器提取的注重机制和富集的集合特征。定制损失函数和评估指标旨在更加关注预测序列的峰值和谷点。我们的研究结果表明，我们的模型可以在外汇数据集中预测高精度的4小时未来趋势，这在逼真的情况下至关重要，以协助外汇交易决策。我们进一步提供了对各种损失函数，评估指标，模型变体和组件对模型性能的影响的评估。

Forecasting time series with extreme events has been a challenging and prevalent research topic, especially when the time series data are affected by complicated uncertain factors, such as is the case in hydrologic prediction. Diverse traditional and deep learning models have been applied to discover the nonlinear relationships and recognize the complex patterns in these types of data. However, existing methods usually ignore the negative influence of imbalanced data, or severe events, on model training. Moreover, methods are usually evaluated on a small number of generally well-behaved time series, which does not show their ability to generalize. To tackle these issues, we propose a novel probability-enhanced neural network model, called NEC+, which concurrently learns extreme and normal prediction functions and a way to choose among them via selective back propagation. We evaluate the proposed model on the difficult 3-day ahead hourly water level prediction task applied to 9 reservoirs in California. Experimental results demonstrate that the proposed model significantly outperforms state-of-the-art baselines and exhibits superior generalization ability on data with diverse distributions.

预测可帮助企业分配资源并实现目标。在LinkedIn，产品所有者使用预测来设定业务目标，跟踪前景和监视健康。工程师使用预测有效地提供硬件。开发一种预测解决方案来满足这些需求，需要对各种时间序列进行准确，可解释的预测，并以次数至季度的频率。我们提出了Greykite，这是一个用于预测的开源Python库，已在LinkedIn上部署了二十多种用例。它的旗舰算法Silverkite提供了可解释的，快速且高度灵活的单变量预测，可捕获诸如时期增长和季节性，自相关，假期和回归剂等效果。该库通过促进数据探索，模型配置，执行和解释来实现自我服务的准确性和信任。我们的基准结果显示了来自各个域的数据集的现成速度和准确性。在过去的两年中，金融，工程和产品团队的资源计划和分配，目标设置和进度跟踪，异常检测和根本原因分析的资源团队一直信任灰金矿的预测。我们希望灰金矿对具有类似应用的预测从业者有用，这些应用需要准确，可解释的预测，这些预测捕获了与人类活动相关的时间序列共有的复杂动力学。

准确可靠的流行病预测是对公共卫生规划和疾病缓解影响的重要问题。大多数现有的疫情预测模型无视不确定性量化，导致错误校准的预测。近期神经模型的作品，用于不确定感知的时序预测也有几个限制;例如很难在贝叶斯NNS中指定有意义的前瞻，而Deep Leaseming的方法在实践中是计算昂贵的。在本文中，我们填补了这个重要的差距。我们将预测任务模拟为概率生成过程，并提出了一种名为EPIFNP的功能神经过程模型，其直接模拟预测值的概率密度。 EPIFNP利用动态随机相关图来模拟非参数方式之间序列之间的相关性，并设计不同的随机潜变量以捕获不同视角的功能不确定性。我们在实时流感预测环境中的广泛实验表明，EPIFNP在准确性和校准度量中显着优于先前的最先进模型，精度高达2.5倍，校准2.4倍。此外，由于其生成过程的性质，EPIFNP了解当前季节与历史季节类似模式之间的关系，从而实现可解释的预测。超越疫情预测，EPIFNP可以是独立的利益，以便在深度顺序模型中推进预测性分析的深度顺序模型

电力行业正在大力实施智能网格技术，以提高可靠性，可用性，安全性和效率。该实施需要技术进步，标准和法规的发展以及测试和计划。智能电网载荷预测和管理对于降低需求波动和改善连接发电机，分销商和零售商的市场机制至关重要。在政策实施或外部干预措施中，有必要分析其对电力需求的影响的不确定性，以使系统对需求的波动更加准确。本文分析了外部干预的不确定性对电力需求的影响。它实现了一种结合概率和全局预测模型的框架，使用深度学习方法来估计干预措施的因果影响分布。通过预测受影响实例的反事实分布结果，然后将其与实际结果进行对比来评估因果效应。我们将COVID-19锁定对能源使用的影响视为评估这种干预对电力需求分布的不均匀影响的案例研究。我们可以证明，在澳大利亚和某些欧洲国家的最初封锁期间，槽通常比峰值更大的下降，而平均值几乎不受影响。

Recently, there has been a significant amount of interest in satellite telemetry anomaly detection (AD) using neural networks (NN). For AD purposes, the current approaches focus on either forecasting or reconstruction of the time series, and they cannot measure the level of reliability or the probability of correct detection. Although the Bayesian neural network (BNN)-based approaches are well known for time series uncertainty estimation, they are computationally intractable. In this paper, we present a tractable approximation for BNN based on the Monte Carlo (MC) dropout method for capturing the uncertainty in the satellite telemetry time series, without sacrificing accuracy. For time series forecasting, we employ an NN, which consists of several Long Short-Term Memory (LSTM) layers followed by various dense layers. We employ the MC dropout inside each LSTM layer and before the dense layers for uncertainty estimation. With the proposed uncertainty region and by utilizing a post-processing filter, we can effectively capture the anomaly points. Numerical results show that our proposed time series AD approach outperforms the existing methods from both prediction accuracy and AD perspectives.

人口级社会事件，如民事骚乱和犯罪，往往对我们的日常生活产生重大影响。预测此类事件对于决策和资源分配非常重要。由于缺乏关于事件发生的真实原因和潜在机制的知识，事件预测传统上具有挑战性。近年来，由于两个主要原因，研究事件预测研究取得了重大进展：（1）机器学习和深度学习算法的开发和（2）社交媒体，新闻来源，博客，经济等公共数据的可访问性指标和其他元数据源。软件/硬件技术中的数据的爆炸性增长导致了社会事件研究中的深度学习技巧的应用。本文致力于提供社会事件预测的深层学习技术的系统和全面概述。我们专注于两个社会事件的域名：\ Texit {Civil unrest}和\ texit {犯罪}。我们首先介绍事件预测问题如何作为机器学习预测任务制定。然后，我们总结了这些问题的数据资源，传统方法和最近的深度学习模型的发展。最后，我们讨论了社会事件预测中的挑战，并提出了一些有希望的未来研究方向。

作为自然现象的地震，历史上不断造成伤害和人类生活的损失。地震预测是任何社会计划的重要方面，可以增加公共准备，并在很大程度上减少损坏。然而，由于地震的随机特征以及实现了地震预测的有效和可靠模型的挑战，迄今为止努力一直不足，需要新的方法来解决这个问题。本文意识到​​这些问题，提出了一种基于注意机制（AM），卷积神经网络（CNN）和双向长短期存储器（BILSTM）模型的新型预测方法，其可以预测数量和最大幅度中国大陆各地区的地震为基于该地区的地震目录。该模型利用LSTM和CNN具有注意机制，以更好地关注有效的地震特性并产生更准确的预测。首先，将零阶保持技术应用于地震数据上的预处理，使得模型的输入数据更适当。其次，为了有效地使用空间信息并减少输入数据的维度，CNN用于捕获地震数据之间的空间依赖性。第三，使用Bi-LSTM层来捕获时间依赖性。第四，引入了AM层以突出其重要的特征来实现更好的预测性能。结果表明，该方法具有比其他预测方法更好的性能和概括能力。

最近，对于长期时间序列预测（LTSF）任务，基于变压器的解决方案激增。尽管过去几年的表现正在增长，但我们质疑这项研究中这一研究的有效性。具体而言，可以说，变形金刚是最成功的解决方案，是在长序列中提取元素之间的语义相关性。但是，在时间序列建模中，我们要在一组连续点的有序集中提取时间关系。在采用位置编码和使用令牌将子系列嵌入变压器中的同时，有助于保留某些订购信息，但\ emph {置换不变}的自我注意力专注机制的性质不可避免地会导致时间信息损失。为了验证我们的主张，我们介绍了一组名为LTSF线性的令人尴尬的简单单层线性模型，以进行比较。在九个现实生活数据集上的实验结果表明，LTSF线性在所有情况下都超过现有的基于变压器的LTSF模型，并且通常要大幅度较大。此外，我们进行了全面的经验研究，以探索LTSF模型各种设计元素对其时间关系提取能力的影响。我们希望这一令人惊讶的发现为LTSF任务打开了新的研究方向。我们还主张重新审视基于变压器解决方案对其他时间序列分析任务（例如，异常检测）的有效性。代码可在：\ url {https://github.com/cure-lab/ltsf-linear}中获得。

良好的研究努力致力于利用股票预测中的深度神经网络。虽然远程依赖性和混沌属性仍然是在预测未来价格趋势之前降低最先进的深度学习模型的表现。在这项研究中，我们提出了一个新的框架来解决这两个问题。具体地，在将时间序列转换为复杂网络方面，我们将市场价格系列转换为图形。然后，从映射的图表中提取参考时间点和节点权重之间的关联的结构信息以解决关于远程依赖性和混沌属性的问题。我们采取图形嵌入式以表示时间点之间的关联作为预测模型输入。节点重量被用作先验知识，以增强时间关注的学习。我们拟议的框架的有效性通过现实世界股票数据验证，我们的方法在几个最先进的基准中获得了最佳性能。此外，在进行的交易模拟中，我们的框架进一步获得了最高的累积利润。我们的结果补充了复杂网络方法在金融领域的现有应用，并为金融市场中决策支持的投资应用提供了富有识别的影响。

评估能源转型和能源市场自由化对资源充足性的影响是一种越来越重要和苛刻的任务。能量系统的上升复杂性需要足够的能量系统建模方法，从而提高计算要求。此外，随着复杂性，同样调用概率评估和场景分析同样增加不确定性。为了充分和高效地解决这些各种要求，需要来自数据科学领域的新方法来加速当前方法。通过我们的系统文献综述，我们希望缩小三个学科之间的差距（1）电力供应安全性评估，（2）人工智能和（3）实验设计。为此，我们对所选应用领域进行大规模的定量审查，并制作彼此不同学科的合成。在其他发现之外，我们使用基于AI的方法和应用程序的AI方法和应用来确定电力供应模型的复杂安全性的元素，并作为未充分涵盖的应用领域的储存调度和（非）可用性。我们结束了推出了一种新的方法管道，以便在评估电力供应安全评估时充分有效地解决当前和即将到来的挑战。