现实世界中的时间序列数据集经常违反预测的标准监督学习的假设 - 它们的分布会随着时间的推移而发展，从而使传统的培训和模型选择程序均优化。在本文中，我们提出了一种新颖的方法，即自适应预测（SAF），以修改时间序列预测模型的培训，以通过此类非平稳时间序列数据提高其在预测任务上的性能。 SAF在基于“背景”的预测之前集成了自适应阶段，即在时间后退预测掩盖的输入。这是一种测试时间培训的形式，在执行预测任务之前，在测试样本上会在测试样本上创建一个自我监督的学习问题。通过这种方式，我们的方法可以有效地适应编码表示的分布，从而导致卓越的概括。 SAF可以与任何基于经典的编码器码头架构架构（例如经常性神经网络或基于注意力的体系结构）集成。关于众所周知，众所周知的非统计数据（例如医疗保健和金融）的域中的合成和现实数据集，我们证明了SAF在提高预测准确性方面具有重大好处。

基于预测方法的深度学习已成为时间序列预测或预测的许多应用中的首选方法，通常通常优于其他方法。因此，在过去的几年中，这些方法现在在大规模的工业预测应用中无处不在，并且一直在预测竞赛（例如M4和M5）中排名最佳。这种实践上的成功进一步提高了学术兴趣，以理解和改善深厚的预测方法。在本文中，我们提供了该领域的介绍和概述：我们为深入预测的重要构建块提出了一定深度的深入预测；随后，我们使用这些构建块，调查了最近的深度预测文献的广度。

在本文中，我们介绍了蒙面的多步多变量预测（MMMF），这是一个新颖而普遍的自我监督学习框架，用于时间序列预测，并提供已知的未来信息。在许多真实世界的预测情况下，已知一些未来的信息，例如，在进行短期到中期的电力需求预测或进行飞机出发预测时的油价预测时，天气信息。现有的机器学习预测框架可以分为（1）基于样本的方法，在此方法中进行每个预测，以及（2）时间序列回归方法，其中未来信息未完全合并。为了克服现有方法的局限性，我们提出了MMMF，这是一个培训能够生成一系列输出的神经网络模型的框架，将过去的时间信息和有关未来的已知信息结合在一起，以做出更好的预测。实验在两个现实世界数据集上进行（1）中期电力需求预测，以及（2）前两个月的飞行偏离预测。他们表明，所提出的MMMF框架的表现不仅优于基于样本的方法，而且具有与完全相同的基本模型的现有时间序列预测模型。此外，一旦通过MMMF进行了神经网络模型，其推理速度与接受传统回归配方训练的相同模型的推理速度相似，从而使MMMF成为现有回归训练的时间序列的更好替代品，如果有一些可用的未来，信息。

深度学习已被积极应用于预测时间序列，从而导致了大量新的自回归模型体系结构。然而，尽管基于时间指数的模型具有吸引人的属性，例如随着时间的推移是连续信号函数，导致表达平滑，但对它们的关注很少。实际上，尽管基于天真的深度指数模型比基于经典时间指数的模型的手动预定义函数表示表达得多，但由于缺乏电感偏见和时间序列的非平稳性，它们的预测不足以预测。在本文中，我们提出了DeepTime，这是一种基于深度指数的模型，该模型通过元学习公式训练，该公式克服了这些局限性，从而产生了有效而准确的预测模型。对现实世界数据集的广泛实验表明，我们的方法通过最先进的方法实现了竞争成果，并且高效。代码可从https://github.com/salesforce/deeptime获得。

最近，深度神经网络在时间序列的预测中越来越受欢迎。他们成功的主要原因是他们有效捕获多个相关时间序列的复杂时间动态的能力。这些深度预测者的优势才开始在有足够数量的数据的情况下开始出现。这对实践中的典型预测问题提出了挑战，在实践中，每个时间序列的时间序列或观察值有限，或者两者兼而有之。为了应对这些数据稀缺问题，我们提出了一个新颖的域适应框架，域适应预报员（DAF）。 DAF利用具有丰富数据样本（源）的相关领域的统计强度，以通过有限的数据（目标）提高感兴趣域的性能。特别是，我们使用基于注意力的共享模块，该模块与跨域跨域和私人模块的域歧视器一起使用。我们同时诱导域不变的潜在特征（查询和密钥）和重新培训特定特征（值），以使源和目标域上的预报员的联合训练。一个主要的见解是，我们对齐密钥的设计使目标域即使具有不同的特征也可以利用源时间序列。对各个领域的广泛实验表明，我们提出的方法在合成和现实世界数据集上优于最先进的基准，而消融研究验证了我们的设计选择的有效性。

虽然古典时间系列预测被隔离考虑个人时间序列，但基于深度学习的最近进步表明，从大型相关时间序列中共同学习可以提高预测精度。然而，与古典预测方法相比，这些方法的准确性大大限制了它们的适用性，这是极大的。为了弥合这一差距，我们采用了一个时间序列预测问题的元学习视图。我们介绍了一种新的预测方法，称为Meta全球 - 本地自动回归（Meta-Glar），通过从经常性神经网络（RNN）产生的映射到一个 - 前方预测。至关重要的是，RNN的参数在多个时间序列中学习通过闭合形式适配机制来抛弃多个时间序列。在我们广泛的实证评估中，我们表明，我们的方法与先前工作中报告的样本超出预测精度有竞争力。

急诊部门（EDS）是葡萄牙国家卫生服务局的基本要素，可作为具有多样化和非常严重医疗问题的用户的切入点。由于ED的固有特征；预测使用服务的患者数量特别具有挑战性。富裕和医疗专业人员人数之间的不匹配可能会导致提供的服务质量下降，并造成对整个医院产生影响的问题，并从其他部门征用医疗保健工作者以及推迟手术。 。 ED人满为患的部分是由非紧急患者驱动的，尽管没有医疗紧急情况，但诉诸于紧急服务，几乎占每日患者总数的一半。本文描述了一种新颖的深度学习体系结构，即时间融合变压器，该结构使用日历和时间序列协变量来预测预测间隔和4周期间的点预测。我们得出的结论是，可以预测葡萄牙健康区域（HRA）（HRA）的平均绝对百分比误差（MAPE）和均方根误差（RMSE）为84.4102人/天的平均绝对百分比误差（MAPE）。本文显示了支持使用静态和时间序列协变量的多元方法的经验证据，同时超越了文献中常见的其他模型。

时间变化数量的估计是医疗保健和金融等领域决策的基本组成部分。但是，此类估计值的实际实用性受到它们量化预测不确定性的准确程度的限制。在这项工作中，我们解决了估计高维多元时间序列的联合预测分布的问题。我们提出了一种基于变压器体系结构的多功能方法，该方法使用基于注意力的解码器估算关节分布，该解码器可被学会模仿非参数Copulas的性质。最终的模型具有多种理想的属性：它可以扩展到数百个时间序列，支持预测和插值，可以处理不规则和不均匀的采样数据，并且可以在训练过程中无缝地适应丢失的数据。我们从经验上证明了这些属性，并表明我们的模型在多个现实世界数据集上产生了最新的预测。

概率时间序列预测在许多应用领域至关重要，例如零售，电子商务，金融或生物学。随着大量数据的增加，已经提出了许多神经架构为此问题。特别是，基于变压器的方法实现了现实世界基准的最先进的性能。然而，这些方法需要了解大量参数，这对培训此类模型的计算资源施加了高的内存要求。为了解决这个问题，我们介绍了一种新颖的双向时间卷积网络（Bitcn），该网络（Bitcn）需要比公共变换器的方法更少的参数较少的阶数。我们的模型结合了两个时间卷积网络（TCN）：第一个网络编码了时间序列的未来协变量，而第二网络编码过往观察和协变量。我们通过这两个网络联合估计输出分布的参数。四个现实世界数据集的实验表明，我们的方法与四个最先进的概率预测方法进行了表演，包括基于变压器的方法和Wavenet，在两点指标（Smape，NRMSE）以及A上大多数情况下的范围指标（定量损失百分位数）集。其次，我们证明我们的方法比基于变压器的方法所需的参数明显更少，这意味着模型可以培训更快，内存要求显着降低，因此降低了部署这些模型的基础架构成本。

The outburst of COVID-19 in late 2019 was the start of a health crisis that shook the world and took millions of lives in the ensuing years. Many governments and health officials failed to arrest the rapid circulation of infection in their communities. The long incubation period and the large proportion of asymptomatic cases made COVID-19 particularly elusive to track. However, wastewater monitoring soon became a promising data source in addition to conventional indicators such as confirmed daily cases, hospitalizations, and deaths. Despite the consensus on the effectiveness of wastewater viral load data, there is a lack of methodological approaches that leverage viral load to improve COVID-19 forecasting. This paper proposes using deep learning to automatically discover the relationship between daily confirmed cases and viral load data. We trained one Deep Temporal Convolutional Networks (DeepTCN) and one Temporal Fusion Transformer (TFT) model to build a global forecasting model. We supplement the daily confirmed cases with viral loads and other socio-economic factors as covariates to the models. Our results suggest that TFT outperforms DeepTCN and learns a better association between viral load and daily cases. We demonstrated that equipping the models with the viral load improves their forecasting performance significantly. Moreover, viral load is shown to be the second most predictive input, following the containment and health index. Our results reveal the feasibility of training a location-agnostic deep-learning model to capture the dynamics of infection diffusion when wastewater viral load data is provided.

在本文中，我们呈现SSDNet，这是一个新的时间序列预测的深层学习方法。SSDNet将变压器架构与状态空间模型相结合，提供概率和可解释的预测，包括趋势和季节性成分以及前一步对预测很重要。变压器架构用于学习时间模式并直接有效地估计状态空间模型的参数，而无需对卡尔曼滤波器的需要。我们全面评估了SSDNET在五个数据集上的性能，显示SSDNet是一种有效的方法，可在准确性和速度，优于最先进的深度学习和统计方法方面是一种有效的方法，能够提供有意义的趋势和季节性组件。

Forecasting time series with extreme events has been a challenging and prevalent research topic, especially when the time series data are affected by complicated uncertain factors, such as is the case in hydrologic prediction. Diverse traditional and deep learning models have been applied to discover the nonlinear relationships and recognize the complex patterns in these types of data. However, existing methods usually ignore the negative influence of imbalanced data, or severe events, on model training. Moreover, methods are usually evaluated on a small number of generally well-behaved time series, which does not show their ability to generalize. To tackle these issues, we propose a novel probability-enhanced neural network model, called NEC+, which concurrently learns extreme and normal prediction functions and a way to choose among them via selective back propagation. We evaluate the proposed model on the difficult 3-day ahead hourly water level prediction task applied to 9 reservoirs in California. Experimental results demonstrate that the proposed model significantly outperforms state-of-the-art baselines and exhibits superior generalization ability on data with diverse distributions.

时间是时间序列最重要的特征之一，但没有得到足够的关注。先前的时间序列预测研究主要集中于将过去的子序列（查找窗口）映射到未来的系列（预测窗口），而系列的时间通常只是在大多数情况下都扮演辅助角色。由于这些窗口中的点处理，将其推断为长期未来在模式上是艰难的。为了克服这一障碍，我们提出了一个名为DateFormer的全新时间序列预测框架，他将注意力转移到建模时间上，而不是遵循上述实践。具体而言，首先按时间序列分为补丁，以监督通过Transformers（DERT）的日期编码器表示的动态日期代表的学习。然后将这些表示形式馈入一个简单的解码器，以产生更粗的（或全局）预测，并用于帮助模型从回顾窗口中寻求有价值的信息，以学习精致（或本地）的预测。 DateFormer通过将上述两个部分求和来获得最终结果。我们对七个基准测试的经验研究表明，与序列建模方法相比，时间模型方法对于长期序列预测更有效。 DateFormer产生最先进的准确性，相对改进40％，并将最大可靠的预测范围扩大到半年水平。

由于非平稳性，现实世界多变量时间序列（MTS）的分布会随着时间而变化，称为分布漂移。大多数现有的MT预测模型都会极大地遭受分销漂移的影响，并随着时间的推移降低了预测性能。现有方法通过适应最新到达数据或根据未来数据得出的元知识进行自我纠正来解决分布漂移。尽管在MT的预测中取得了巨大的成功，但这些方法几乎无法捕获固有的分布变化，尤其是从分布的角度来看。因此，我们提出了一个新型的框架时间条件变化自动编码器（TCVAE），以对MTS中历史观察结果和未来数据之间的动态分布依赖性进行建模，并将依赖性作为时间条件分布推断为利用潜在变量。具体而言，新型的颞鹰注意机制代表了随后馈入馈送前网络的时间因素，以估计潜在变量的先前高斯分布。时间因素的表示进一步动态地调整了基于变压器的编码器和解码器的结构，以利用门控注意机制来变化。此外，我们引入条件连续归一化流量，以将先前的高斯转化为复杂且无形式的分布，以促进对时间条件分布的灵活推断。在六个现实世界MTS数据集上进行的广泛实验表明，与最先进的MTS预测基线相比，TCVAE的出色鲁棒性和有效性。我们进一步说明了TCVAE通过多方面的案例研究和现实情况下的可视化来说明TCVAE的适用性。

最近，对于长期时间序列预测（LTSF）任务，基于变压器的解决方案激增。尽管过去几年的表现正在增长，但我们质疑这项研究中这一研究的有效性。具体而言，可以说，变形金刚是最成功的解决方案，是在长序列中提取元素之间的语义相关性。但是，在时间序列建模中，我们要在一组连续点的有序集中提取时间关系。在采用位置编码和使用令牌将子系列嵌入变压器中的同时，有助于保留某些订购信息，但\ emph {置换不变}的自我注意力专注机制的性质不可避免地会导致时间信息损失。为了验证我们的主张，我们介绍了一组名为LTSF线性的令人尴尬的简单单层线性模型，以进行比较。在九个现实生活数据集上的实验结果表明，LTSF线性在所有情况下都超过现有的基于变压器的LTSF模型，并且通常要大幅度较大。此外，我们进行了全面的经验研究，以探索LTSF模型各种设计元素对其时间关系提取能力的影响。我们希望这一令人惊讶的发现为LTSF任务打开了新的研究方向。我们还主张重新审视基于变压器解决方案对其他时间序列分析任务（例如，异常检测）的有效性。代码可在：\ url {https://github.com/cure-lab/ltsf-linear}中获得。

已经显示混合方法以在预测任务中以纯粹的统计和纯粹的深度学习方法优于预测，并定量与这些预测（预测间隔）的相关不确定性。一个示例是指数平滑复发性神经网络（ES-RNN），统计预测模型和经常性神经网络变体之间的混合。 ES-RNN在Makridakis-4预测竞争中实现了9.4 \％的绝对错误。这种改进和类似的混合模型的表现主要是仅在单变量数据集上展示。将混合预测方法应用于多变量数据的困难包括（$ i $）的高参数调整所涉及的高计算成本，用于与数据中固有的自动关联相关的模型（II $）挑战，以及（ $ iii $）在可能难以捕获的协变量之间的复杂依赖（交叉相关）。本文介绍了多变量指数平滑的长短短期记忆（MES-LSTM），对ES-RNN的广义多元扩展，克服了这些挑战。 MES-LSTM利用了矢量化实现。我们在2019年（Covid-19）发病率数据集的几种聚集冠状病毒病中测试MES-LSTM，并发现我们的混合方法在预测准确性和预测间隔建设下对纯统计和深度学习方法进行了一致的，显着改善。

Time series anomaly detection has applications in a wide range of research fields and applications, including manufacturing and healthcare. The presence of anomalies can indicate novel or unexpected events, such as production faults, system defects, or heart fluttering, and is therefore of particular interest. The large size and complex patterns of time series have led researchers to develop specialised deep learning models for detecting anomalous patterns. This survey focuses on providing structured and comprehensive state-of-the-art time series anomaly detection models through the use of deep learning. It providing a taxonomy based on the factors that divide anomaly detection models into different categories. Aside from describing the basic anomaly detection technique for each category, the advantages and limitations are also discussed. Furthermore, this study includes examples of deep anomaly detection in time series across various application domains in recent years. It finally summarises open issues in research and challenges faced while adopting deep anomaly detection models.

我们调查预测中的合奏技术，并检查其使用与Covid-19大流行早期类似的非季度时间系列的潜力。开发改进的预测方法是必不可少的，因为它们在关键阶段为组织和决策者提供数据驱动的决策。我们建议使用后期数据融合，使用两个预测模型的堆叠集合和两个元特征，并在初步预测阶段证明其预测力。最终的集合包括先知和长期短期内存（LSTM）神经网络作为基础模型。基础模型由多层的Perceptron（MLP）组合，考虑到元素，表示与每个基础模型的预测精度最高的相关性。我们进一步表明，包含Meta-Features通常会在七和十四天的两个预测视野中提高集合的预测准确性。该研究强化了以前的工作，并展示了与深层学习模型相结合的传统统计模型的价值，以生产更多来自不同领域和季节性的时间序列的预测模型。

Dengue fever is a virulent disease spreading over 100 tropical and subtropical countries in Africa, the Americas, and Asia. This arboviral disease affects around 400 million people globally, severely distressing the healthcare systems. The unavailability of a specific drug and ready-to-use vaccine makes the situation worse. Hence, policymakers must rely on early warning systems to control intervention-related decisions. Forecasts routinely provide critical information for dangerous epidemic events. However, the available forecasting models (e.g., weather-driven mechanistic, statistical time series, and machine learning models) lack a clear understanding of different components to improve prediction accuracy and often provide unstable and unreliable forecasts. This study proposes an ensemble wavelet neural network with exogenous factor(s) (XEWNet) model that can produce reliable estimates for dengue outbreak prediction for three geographical regions, namely San Juan, Iquitos, and Ahmedabad. The proposed XEWNet model is flexible and can easily incorporate exogenous climate variable(s) confirmed by statistical causality tests in its scalable framework. The proposed model is an integrated approach that uses wavelet transformation into an ensemble neural network framework that helps in generating more reliable long-term forecasts. The proposed XEWNet allows complex non-linear relationships between the dengue incidence cases and rainfall; however, mathematically interpretable, fast in execution, and easily comprehensible. The proposal's competitiveness is measured using computational experiments based on various statistical metrics and several statistical comparison tests. In comparison with statistical, machine learning, and deep learning methods, our proposed XEWNet performs better in 75% of the cases for short-term and long-term forecasting of dengue incidence.

深度学习模型在各种时间序列预测任务中显示出了令人印象深刻的结果，在这些任务中，对过去的未来有条件分布进行建模是本质。但是，当这种条件分布是非平稳的时候，这些模型始终学习并准确预测的挑战。在这项工作中，我们提出了一种新方法，通过清楚地将固定的条件分布模型从非平稳动力学建模中清晰地取消固定的条件分布建模，以对非平稳条件分布进行建模。我们的方法基于贝叶斯动态模型，该模型可以适应条件分布的变化和深层条件分布模型，该模型可以使用分解的输出空间处理大型多元时间序列。我们对合成和流行的公共数据集的实验结果表明，我们的模型可以比最先进的深度学习解决方案更好地适应非平稳时间序列。