本研究提出了两种直接但有效的方法，以减少通过使用多时间级时间序列数据作为输入通过经常性神经网络（RNN）来计算时间序列建模所需的计算时间。一种方法并行地提供输入时间序列的粗略和精细时间分辨率至RNN。在将它们视为RNN的输入之前，另一个将输入时间序列数据的粗略和精细时间分辨率连接在一起。在这两种方法中，首先，利用更精细的时间分辨率数据来学习目标数据的精细时间尺度行为。接下来，预期较粗糙的时间分辨率数据将捕获输入和目标变量之间的长时间依赖性。通过采用长期和短期记忆（LSTM）网络，在雪撬流域实施时，为每小时降雨 - 径流建模实施，这是一种新型的RNN。随后，使用每日和每小时的气象数据作为输入，并将每小时流量放电视为目标数据。结果证实，两种拟议方法都可以显着降低RNN培训的计算时间（高达32.4次）。此外，提出的方法之一提高了估计准确性。

由一维卷积神经网络（1D-CNN）和长短期存储器（LSTM）网络组成的架构，该架构被提出为CNNSLSTM，用于在此中进行每小时降雨 - 径流模型学习。在CNNSLTSM中，CNN分量在长时间接收小时气象时间序列数据，然后LSTM组件从1D-CNN和小时气象时间序列数据接收提取的特征以进行短期持续时间。以案例研究为例，CNNSLSTM在日本伊希卡里河流域的每小时降雨径流建模。气象数据集由沉淀，空气温度，蒸发散，和长波辐射组成，用作输入，河流流量用作目标数据。为了评估所提出的CNNSLSTM的性能，将CNNSLSTM的结果与1D-CNN，LSTM的结果进行比较，仅用每小时输入（LSTMWHOUT），1D-CNN和LSTM（CNNPLSTM）的并行架构，以及使用每日的LSTM架构每小时输入数据（LSTMWDPH）。与三个传统架构（1D-CNN，LSTMWHOUL和CNNPLSTM）相比，CNNSLSTM对估计准确度明显改进，最近提出了LSTMWDPH。与观察到的流动相比，测试时段的NSE值的中值为0.455-0.469，用于1d-CNN（基于NCHF = 8,16和32，第一层的特征图的信道的数量CNN），用于CNNPLSTM的0.639-0.656（基于NCHF = 8,16和32），LSTMWHOUR的0.745，LSTMWDPH的0.831，CNNSLSTM为0.865-0.873（基于NCHF = 8,16和32）。此外，所提出的CNNSLSTM将1D-CNN的中值降低50.2％-51.4％，CNPLSTM在37.4％-40.8％，LSTMWHOUR，达27.3％-29.5％，LSTMWDPH为10.6％-13.4％。

本研究调查了深度学习方法可以在输入和输出数据之间识别的关系。作为一个案例研究，选择了通过长期和短期内存（LSTM）网络在雪撬流域中的降雨 - 径流建模。每日沉淀和平均空气温度用作估计日常流量放电的模型输入。在模型培训和验证之后，使用假设输入进行了两个实验模拟，而不是观察到的气象数据，以澄清训练模型对输入的响应。第一个数值实验表明，即使没有输入沉淀，训练有素的模型产生流量放电，特别是冬季低流量和高流量在融雪期间。在没有沉淀的情况下，还通过训练模型复制了暖和较冷的条件对流动放电的影响。此外，该模型仅反映了在总年流量放电的积雪期间的总降水量的17-39％，揭示了强烈缺乏水量保护。本研究的结果表明，深度学习方法可能无法正确学习输入和目标变量之间的显式物理关系，尽管它们仍然能够保持强大的拟合效果。

深入学习已被利用气候数据的统计侦查。具体地，已经成功地应用于降水估计的二维（2D）卷积神经网络（CNN）。该研究实现了一种三维（3D）CNN，以估计来自3D大气数据的流域规模的每日降水，并将结果与2D CNN的结果进行比较。沿时间方向（3D-CNN-TIME）和垂直方向（3D-CNN-VERT）延伸2D CNN。将这些扩展CNN的降水估计与第2D CNN的降水估计与根均方误差（RMSE），NASH-SUTCLIFFE效率（NSE）和第99百分位RMSE相比。发现3D-CNN-TIME和3D-CNN-VERT与2D CNN相比提高了降水估计的模型精度。3D-CNN-VERT在RMSE和NSE方面提供了培训和测试期间的最佳估计。

电价是影响所有市场参与者决策的关键因素。准确的电价预测非常重要，并且由于各种因素，电价高度挥发性，电价也非常具有挑战性。本文提出了一项综合的长期经常性卷积网络（ILRCN）模型，以预测考虑到市场价格的大多数贡献属性的电力价格。所提出的ILRCN模型将卷积神经网络和长短期记忆（LSTM）算法的功能与所提出的新颖的条件纠错项相结合。组合的ILRCN模型可以识别输入数据内的线性和非线性行为。我们使用鄂尔顿批发市场价格数据以及负载型材，温度和其他因素来说明所提出的模型。使用平均绝对误差和准确性等性能/评估度量来验证所提出的ILRCN电价预测模型的性能。案例研究表明，与支持向量机（SVM）模型，完全连接的神经网络模型，LSTM模型和LRCN模型，所提出的ILRCN模型在电价预测中是准确和有效的电力价格预测。

作为自然现象的地震，历史上不断造成伤害和人类生活的损失。地震预测是任何社会计划的重要方面，可以增加公共准备，并在很大程度上减少损坏。然而，由于地震的随机特征以及实现了地震预测的有效和可靠模型的挑战，迄今为止努力一直不足，需要新的方法来解决这个问题。本文意识到​​这些问题，提出了一种基于注意机制（AM），卷积神经网络（CNN）和双向长短期存储器（BILSTM）模型的新型预测方法，其可以预测数量和最大幅度中国大陆各地区的地震为基于该地区的地震目录。该模型利用LSTM和CNN具有注意机制，以更好地关注有效的地震特性并产生更准确的预测。首先，将零阶保持技术应用于地震数据上的预处理，使得模型的输入数据更适当。其次，为了有效地使用空间信息并减少输入数据的维度，CNN用于捕获地震数据之间的空间依赖性。第三，使用Bi-LSTM层来捕获时间依赖性。第四，引入了AM层以突出其重要的特征来实现更好的预测性能。结果表明，该方法具有比其他预测方法更好的性能和概括能力。

With the evolution of power systems as it is becoming more intelligent and interactive system while increasing in flexibility with a larger penetration of renewable energy sources, demand prediction on a short-term resolution will inevitably become more and more crucial in designing and managing the future grid, especially when it comes to an individual household level. Projecting the demand for electricity for a single energy user, as opposed to the aggregated power consumption of residential load on a wide scale, is difficult because of a considerable number of volatile and uncertain factors. This paper proposes a customized GRU (Gated Recurrent Unit) and Long Short-Term Memory (LSTM) architecture to address this challenging problem. LSTM and GRU are comparatively newer and among the most well-adopted deep learning approaches. The electricity consumption datasets were obtained from individual household smart meters. The comparison shows that the LSTM model performs better for home-level forecasting than alternative prediction techniques-GRU in this case. To compare the NN-based models with contrast to the conventional statistical technique-based model, ARIMA based model was also developed and benchmarked with LSTM and GRU model outcomes in this study to show the performance of the proposed model on the collected time series data.

预测基金绩效对投资者和基金经理都是有益的，但这是一项艰巨的任务。在本文中，我们测试了深度学习模型是否比传统统计技术更准确地预测基金绩效。基金绩效通常通过Sharpe比率进行评估，该比例代表了风险调整的绩效，以确保基金之间有意义的可比性。我们根据每月收益率数据序列数据计算了年度夏普比率，该数据的时间序列数据为600多个投资于美国上市大型股票的开放式共同基金投资。我们发现，经过现代贝叶斯优化训练的长期短期记忆（LSTM）和封闭式复发单元（GRUS）深度学习方法比传统统计量相比，预测基金的Sharpe比率更高。结合了LSTM和GRU的预测的合奏方法，可以实现所有模型的最佳性能。有证据表明，深度学习和结合能提供有希望的解决方案，以应对基金绩效预测的挑战。

人类从不同地点和时间的事件的发生中学习，以预测类似的事件轨迹。我们将松散的分离时间（LDT）现象定义为两个或多个事件，这些事件可能在不同的地方和不同的时间表中发生，但在事件的性质和位置的属性上共享相似之处。在这项工作中，我们改善了重复的神经网络（RNN）的使用，特别是短期内存（LSTM）网络，以启用为LDT生成更好的时间表预测的AI解决方案。我们根据趋势使用时间表之间的相似性度量，并引入代表这些趋势的嵌入。嵌入代表事件的属性，该属性与LSTM结构相结合，可以聚集以识别类似的时间不对然后的事件。在本文中，我们探讨了从与LSTM建模的地球物理和人口统计学现象有关的时间不变数据中播种多元LSTM的方法。我们将这些方法应用于从COVID-19检测到的感染和死亡病例中得出的时间表数据。我们使用公开可用的社会经济数据来播种LSTM模型，创建嵌入，以确定这种播种是否改善了病例预测。这些LSTM产生的嵌入量被聚集，以识别预测不断发展的时间表的最佳匹配候选者。采用这种方法，我们显示了美国县一级疾病传播的10天移动平均预测的改善。

我们提出并展示了一种基于物理引导的机器学习的城市排水系统液压系统快速准确的替代建模的新方法。替代物是根据流体动力（HIFI）模型的一组有限的仿真结果训练的。与HIFI模型相比，我们的方法将模拟时间减少了一到两个数量级。因此，它比例如概念性水文模型，但它可以模拟排水网络的所有节点和链接中的水位，流和附加费，因此很大程度上保留了HIFI模型提供的细节水平。比较由替代物和HIFI模型模拟的时间序列，达到了0.9顺序的R2值。替代培训时间目前为一小时。但是，可以通过应用转移学习和图形神经网络来减少它们。我们的替代方法对于城市排水系统的初始设计阶段以及实时应用的互动讲习班将很有用。此外，我们的模型公式是通用的，未来的研究应调查其在模拟其他供水系统中的应用。

我们研究机器学习（ML）和深度学习（DL）算法的能力，基于地下温度观察推断表面/地面交换通量。观察和助势是由代表哥伦比亚河附近的高分辨率数值模型，位于华盛顿州东南部的能源部汉福德遗址附近。随机测量误差，不同幅度的加入合成温度观察。结果表明，两个ML和DL方法可用于推断表面/地面交换通量。 DL方法，尤其是卷积神经网络，当用于用施加的平滑滤波器解释噪声温度数据时越高。然而，ML方法也表现良好，它们可以更好地识别减少数量的重要观察，这对于测量网络优化也是有用的。令人惊讶的是，M1和DL方法比向下通量更好地推断出向上的助焊剂。这与使用数值模型从温度观测推断出来的先前发现与先前的发现与先前的发现相反，并且可能表明将ML或DL推断的组合使用与数值推断相结合可以改善河流系统下方的助焊剂估计。

The geospace environment is volatile and highly driven. Space weather has effects on Earth's magnetosphere that cause a dynamic and enigmatic response in the thermosphere, particularly on the evolution of neutral mass density. Many models exist that use space weather drivers to produce a density response, but these models are typically computationally expensive or inaccurate for certain space weather conditions. In response, this work aims to employ a probabilistic machine learning (ML) method to create an efficient surrogate for the Thermosphere Ionosphere Electrodynamics General Circulation Model (TIE-GCM), a physics-based thermosphere model. Our method leverages principal component analysis to reduce the dimensionality of TIE-GCM and recurrent neural networks to model the dynamic behavior of the thermosphere much quicker than the numerical model. The newly developed reduced order probabilistic emulator (ROPE) uses Long-Short Term Memory neural networks to perform time-series forecasting in the reduced state and provide distributions for future density. We show that across the available data, TIE-GCM ROPE has similar error to previous linear approaches while improving storm-time modeling. We also conduct a satellite propagation study for the significant November 2003 storm which shows that TIE-GCM ROPE can capture the position resulting from TIE-GCM density with < 5 km bias. Simultaneously, linear approaches provide point estimates that can result in biases of 7 - 18 km.

时间序列预测在许多现实世界中都起着重要的作用，例如设备生命周期预测，天气预报和交通流量预测。从最近的研究中可以看出，各种基于变压器的模型在预测时间序列中显示出了显着的结果。但是，仍然有一些问题限制了在时间序列预测任务上基于变压器的模型的能力：（i）直接在原始数据上学习由于其复杂且不稳定的功能表示，因此对噪声易受噪声； （ii）自我发挥的机制不足以对变化的特征和时间依赖性的关注不足。为了解决这两个问题，我们提出了一个基于变压器的差异重构注意模型Draformer。具体而言，Draformer具有以下创新：（i）对差异序列进行学习，该序列通过差异和突出序列的变化属性来保留清晰和稳定的序列特征； （ii）重建的注意力：综合距离注意力通过可学习的高斯内核表现出顺序距离，分布式差异注意通过将差异序列映射到适应性特征空间来计算分布差异，并且两者的组合有效地集中在具有显着关联的序列上; （iii）重建的解码器输入，该输入通过集成变异信息和时间相关来提取序列特征，从而获得了更全面的序列表示。在四个大型数据集上进行的广泛实验表明，Draformer的表现优于最先进的基线。

In this paper, we propose a new short-term load forecasting (STLF) model based on contextually enhanced hybrid and hierarchical architecture combining exponential smoothing (ES) and a recurrent neural network (RNN). The model is composed of two simultaneously trained tracks: the context track and the main track. The context track introduces additional information to the main track. It is extracted from representative series and dynamically modulated to adjust to the individual series forecasted by the main track. The RNN architecture consists of multiple recurrent layers stacked with hierarchical dilations and equipped with recently proposed attentive dilated recurrent cells. These cells enable the model to capture short-term, long-term and seasonal dependencies across time series as well as to weight dynamically the input information. The model produces both point forecasts and predictive intervals. The experimental part of the work performed on 35 forecasting problems shows that the proposed model outperforms in terms of accuracy its predecessor as well as standard statistical models and state-of-the-art machine learning models.

A well-performing prediction model is vital for a recommendation system suggesting actions for energy-efficient consumer behavior. However, reliable and accurate predictions depend on informative features and a suitable model design to perform well and robustly across different households and appliances. Moreover, customers' unjustifiably high expectations of accurate predictions may discourage them from using the system in the long term. In this paper, we design a three-step forecasting framework to assess predictability, engineering features, and deep learning architectures to forecast 24 hourly load values. First, our predictability analysis provides a tool for expectation management to cushion customers' anticipations. Second, we design several new weather-, time- and appliance-related parameters for the modeling procedure and test their contribution to the model's prediction performance. Third, we examine six deep learning techniques and compare them to tree- and support vector regression benchmarks. We develop a robust and accurate model for the appliance-level load prediction based on four datasets from four different regions (US, UK, Austria, and Canada) with an equal set of appliances. The empirical results show that cyclical encoding of time features and weather indicators alongside a long-short term memory (LSTM) model offer the optimal performance.

在所需的环境保护系统中，可能不排除地下水。除了过度开发的问题外，与可持续发展的概念完全分歧外，另一个不容易忽略的问题涉及地下水的污染。主要是由于强化农业活动或工业化地区。在文献中，有几篇论文处理了运输问题，尤其是在确定发布历史记录或源位置的反问题上。本文的创新目的是开发一个数据驱动的模型，该模型能够分析多种情况，甚至强烈非线性，以解决前进和反向运输问题，从而保留结果的可靠性并降低不确定性。此外，该工具具有提供极快响应的特征，对于立即确定补救策略至关重要。将模型产生的优点与文献研究进行了比较。在这方面，经过训练以处理不同情况的馈电馈线人工神经网络代表数据驱动的模型。首先，在研究区域的特定观察点上确定污染物的浓度（正向问题）；其次，要处理识别已知源位置的发布历史记录的反问题；然后，在一个污染物来源的情况下，确定了释放历史记录，同时识别源在研究区域的特定子域中的位置。最后，研究并估计了观察误差。结果令人满意地实现了结果，突出了ANN通过近似非线性函数来处理多种情况的能力，而无需物理观点来描述该现象，从而提供可靠的结果，并具有非常低的计算负担和不确定性。

探讨了使用深神经网络（DNN）模型作为线性和非线性结构动力系统的代理。目标是开发基于DNN的代理，以预测给定输入（谐波）激发的结构响应，即位移和加速度。特别是，重点是使用完全连接，稀疏连接和卷积网络层的有效网络架构的开发，以及相应的培训策略，可以在目标数据用品中的整体网络复杂性和预测准确性之间提供平衡。对于线性动力学，网络层中重量矩阵的稀疏模式用于构建具有稀疏层的卷积DNN。对于非线性动力学，显示网络层中的稀疏性丢失，并探讨了具有完全连接和卷积网络层的高效DNN架构。还介绍了转移学习策略以成功培训所提出的DNN，研究了影响网络架构的各种装载因素。结果表明，所提出的DNN可以用作在谐波载荷下预测线性和非线性动态响应的有效和准确的代理。

Forecasting time series with extreme events has been a challenging and prevalent research topic, especially when the time series data are affected by complicated uncertain factors, such as is the case in hydrologic prediction. Diverse traditional and deep learning models have been applied to discover the nonlinear relationships and recognize the complex patterns in these types of data. However, existing methods usually ignore the negative influence of imbalanced data, or severe events, on model training. Moreover, methods are usually evaluated on a small number of generally well-behaved time series, which does not show their ability to generalize. To tackle these issues, we propose a novel probability-enhanced neural network model, called NEC+, which concurrently learns extreme and normal prediction functions and a way to choose among them via selective back propagation. We evaluate the proposed model on the difficult 3-day ahead hourly water level prediction task applied to 9 reservoirs in California. Experimental results demonstrate that the proposed model significantly outperforms state-of-the-art baselines and exhibits superior generalization ability on data with diverse distributions.

僵尸网络使用域生成算法（DGA）来构建C＆C服务器和机器人之间的隐身命令和控制（C＆C）通信通道。DGA可以定期生成大量的伪随机算法生成的域（AGD）。AGD检测算法为现有的DGA技术提供了一种轻巧，有希望的解决方案。在本文中，提出了用于AGD检测的GCNN（封闭式卷积神经网络）-LSTM（长期记忆）混合神经网络（GLHNN）。在GLHNN中，GCNN用于从LSTM顶部的域名中提取信息性特征，从而进一步处理特征序列。GLHNN使用覆盖六类DGA的代表性AGD对GLHNN进行了实验验证。将GLHNN与最先进的检测模型进行了比较，并证明了这些测试模型中最佳的总体检测性能。

熟练的水流预测可以为水政策和管理各个领域的决策提供信息。我们集成了数值天气预测集合和分布式水文模型，以在中范围的交货时间（1-7天）下生成集合流量预测。我们展示了一项用于在美国东部的Susquehanna河流盆地的后处理过程中进行机器学习应用的案例研究。为了进行预测验证，我们使用不同的指标，例如技能得分和可靠性图，以提前时间，流量阈值和季节为条件。验证结果表明，机器学习后处理器可以改善相对于低复杂性预测（例如气候和时间持久性）以及确定性和原始集合预测的水流预测。与原始合奏相比，与较短的交货时间相比，在中等时间表的相对增益在后期时间表通常更高。与低压流相比，高流量和与凉爽的流量相比。总体而言，我们的结果突出了机器学习在许多方面的好处，以提高流量预测的技能和可靠性。