由一维卷积神经网络(1D-CNN)和长短期存储器(LSTM)网络组成的架构,该架构被提出为CNNSLSTM,用于在此中进行每小时降雨 - 径流模型学习。在CNNSLTSM中,CNN分量在长时间接收小时气象时间序列数据,然后LSTM组件从1D-CNN和小时气象时间序列数据接收提取的特征以进行短期持续时间。以案例研究为例,CNNSLSTM在日本伊希卡里河流域的每小时降雨径流建模。气象数据集由沉淀,空气温度,蒸发散,和长波辐射组成,用作输入,河流流量用作目标数据。为了评估所提出的CNNSLSTM的性能,将CNNSLSTM的结果与1D-CNN,LSTM的结果进行比较,仅用每小时输入(LSTMWHOUT),1D-CNN和LSTM(CNNPLSTM)的并行架构,以及使用每日的LSTM架构每小时输入数据(LSTMWDPH)。与三个传统架构(1D-CNN,LSTMWHOUL和CNNPLSTM)相比,CNNSLSTM对估计准确度明显改进,最近提出了LSTMWDPH。与观察到的流动相比,测试时段的NSE值的中值为0.455-0.469,用于1d-CNN(基于NCHF = 8,16和32,第一层的特征图的信道的数量CNN),用于CNNPLSTM的0.639-0.656(基于NCHF = 8,16和32),LSTMWHOUR的0.745,LSTMWDPH的0.831,CNNSLSTM为0.865-0.873(基于NCHF = 8,16和32)。此外,所提出的CNNSLSTM将1D-CNN的中值降低50.2%-51.4%,CNPLSTM在37.4%-40.8%,LSTMWHOUR,达27.3%-29.5%,LSTMWDPH为10.6%-13.4%。
translated by 谷歌翻译
本研究提出了两种直接但有效的方法,以减少通过使用多时间级时间序列数据作为输入通过经常性神经网络(RNN)来计算时间序列建模所需的计算时间。一种方法并行地提供输入时间序列的粗略和精细时间分辨率至RNN。在将它们视为RNN的输入之前,另一个将输入时间序列数据的粗略和精细时间分辨率连接在一起。在这两种方法中,首先,利用更精细的时间分辨率数据来学习目标数据的精细时间尺度行为。接下来,预期较粗糙的时间分辨率数据将捕获输入和目标变量之间的长时间依赖性。通过采用长期和短期记忆(LSTM)网络,在雪撬流域实施时,为每小时降雨 - 径流建模实施,这是一种新型的RNN。随后,使用每日和每小时的气象数据作为输入,并将每小时流量放电视为目标数据。结果证实,两种拟议方法都可以显着降低RNN培训的计算时间(高达32.4次)。此外,提出的方法之一提高了估计准确性。
translated by 谷歌翻译
本研究调查了深度学习方法可以在输入和输出数据之间识别的关系。作为一个案例研究,选择了通过长期和短期内存(LSTM)网络在雪撬流域中的降雨 - 径流建模。每日沉淀和平均空气温度用作估计日常流量放电的模型输入。在模型培训和验证之后,使用假设输入进行了两个实验模拟,而不是观察到的气象数据,以澄清训练模型对输入的响应。第一个数值实验表明,即使没有输入沉淀,训练有素的模型产生流量放电,特别是冬季低流量和高流量在融雪期间。在没有沉淀的情况下,还通过训练模型复制了暖和较冷的条件对流动放电的影响。此外,该模型仅反映了在总年流量放电的积雪期间的总降水量的17-39%,揭示了强烈缺乏水量保护。本研究的结果表明,深度学习方法可能无法正确学习输入和目标变量之间的显式物理关系,尽管它们仍然能够保持强大的拟合效果。
translated by 谷歌翻译
深入学习已被利用气候数据的统计侦查。具体地,已经成功地应用于降水估计的二维(2D)卷积神经网络(CNN)。该研究实现了一种三维(3D)CNN,以估计来自3D大气数据的流域规模的每日降水,并将结果与2D CNN的结果进行比较。沿时间方向(3D-CNN-TIME)和垂直方向(3D-CNN-VERT)延伸2D CNN。将这些扩展CNN的降水估计与第2D CNN的降水估计与根均方误差(RMSE),NASH-SUTCLIFFE效率(NSE)和第99百分位RMSE相比。发现3D-CNN-TIME和3D-CNN-VERT与2D CNN相比提高了降水估计的模型精度。3D-CNN-VERT在RMSE和NSE方面提供了培训和测试期间的最佳估计。
translated by 谷歌翻译
僵尸网络使用域生成算法(DGA)来构建C&C服务器和机器人之间的隐身命令和控制(C&C)通信通道。DGA可以定期生成大量的伪随机算法生成的域(AGD)。AGD检测算法为现有的DGA技术提供了一种轻巧,有希望的解决方案。在本文中,提出了用于AGD检测的GCNN(封闭式卷积神经网络)-LSTM(长期记忆)混合神经网络(GLHNN)。在GLHNN中,GCNN用于从LSTM顶部的域名中提取信息性特征,从而进一步处理特征序列。GLHNN使用覆盖六类DGA的代表性AGD对GLHNN进行了实验验证。将GLHNN与最先进的检测模型进行了比较,并证明了这些测试模型中最佳的总体检测性能。
translated by 谷歌翻译
作为自然现象的地震,历史上不断造成伤害和人类生活的损失。地震预测是任何社会计划的重要方面,可以增加公共准备,并在很大程度上减少损坏。然而,由于地震的随机特征以及实现了地震预测的有效和可靠模型的挑战,迄今为止努力一直不足,需要新的方法来解决这个问题。本文意识到​​这些问题,提出了一种基于注意机制(AM),卷积神经网络(CNN)和双向长短期存储器(BILSTM)模型的新型预测方法,其可以预测数量和最大幅度中国大陆各地区的地震为基于该地区的地震目录。该模型利用LSTM和CNN具有注意机制,以更好地关注有效的地震特性并产生更准确的预测。首先,将零阶保持技术应用于地震数据上的预处理,使得模型的输入数据更适当。其次,为了有效地使用空间信息并减少输入数据的维度,CNN用于捕获地震数据之间的空间依赖性。第三,使用Bi-LSTM层来捕获时间依赖性。第四,引入了AM层以突出其重要的特征来实现更好的预测性能。结果表明,该方法具有比其他预测方法更好的性能和概括能力。
translated by 谷歌翻译
我们研究机器学习(ML)和深度学习(DL)算法的能力,基于地下温度观察推断表面/地面交换通量。观察和助势是由代表哥伦比亚河附近的高分辨率数值模型,位于华盛顿州东南部的能源部汉福德遗址附近。随机测量误差,不同幅度的加入合成温度观察。结果表明,两个ML和DL方法可用于推断表面/地面交换通量。 DL方法,尤其是卷积神经网络,当用于用施加的平滑滤波器解释噪声温度数据时越高。然而,ML方法也表现良好,它们可以更好地识别减少数量的重要观察,这对于测量网络优化也是有用的。令人惊讶的是,M1和DL方法比向下通量更好地推断出向上的助焊剂。这与使用数值模型从温度观测推断出来的先前发现与先前的发现与先前的发现相反,并且可能表明将ML或DL推断的组合使用与数值推断相结合可以改善河流系统下方的助焊剂估计。
translated by 谷歌翻译
电价是影响所有市场参与者决策的关键因素。准确的电价预测非常重要,并且由于各种因素,电价高度挥发性,电价也非常具有挑战性。本文提出了一项综合的长期经常性卷积网络(ILRCN)模型,以预测考虑到市场价格的大多数贡献属性的电力价格。所提出的ILRCN模型将卷积神经网络和长短期记忆(LSTM)算法的功能与所提出的新颖的条件纠错项相结合。组合的ILRCN模型可以识别输入数据内的线性和非线性行为。我们使用鄂尔顿批发市场价格数据以及负载型材,温度和其他因素来说明所提出的模型。使用平均绝对误差和准确性等性能/评估度量来验证所提出的ILRCN电价预测模型的性能。案例研究表明,与支持向量机(SVM)模型,完全连接的神经网络模型,LSTM模型和LRCN模型,所提出的ILRCN模型在电价预测中是准确和有效的电力价格预测。
translated by 谷歌翻译
准确预测高海洋状态的滚动运动对于海洋车辆的可操作性,安全性和生存能力而言是重要的。本文介绍了一种新型的数据驱动方法,用于实现高海国船舶运动的多步骤预测。提出了一个名为ConvlSTMPNET的混合神经网络,以并行执行长期记忆(LSTM)和一维卷积神经网络(CNN),以从多维输入中提取时间依赖性和时空信息。采用KC作为研究对象,使用计算流体动力学方法的数值解决方案可用于在带有不同波动方向的Sea State 7中生成船舶运动数据。考虑到运动状态和波高度的时间史的影响,对特征空间的选择进行了深入的比较研究。比较结果表明,选择运动状态和波高作为多步预测的特征空间的优越性。此外,结果表明,在滚动运动的多步骤预测中,ConvlstMnet比LSTM和CNN方法更准确,从而验证了所提出的方法的效率。
translated by 谷歌翻译
Sentiment analysis is the computational study of opinions and emotions ex-pressed in text. Deep learning is a model that is currently producing state-of-the-art in various application domains, including sentiment analysis. Many researchers are using a hybrid approach that combines different deep learning models and has been shown to improve model performance. In sentiment analysis, input in text data is first converted into a numerical representation. The standard method used to obtain a text representation is the fine-tuned embedding method. However, this method does not pay attention to each word's context in the sentence. Therefore, the Bidirectional Encoder Representation from Transformer (BERT) model is used to obtain text representations based on the context and position of words in sentences. This research extends the previous hybrid deep learning using BERT representation for Indonesian sentiment analysis. Our simulation shows that the BERT representation improves the accuracies of all hybrid architectures. The BERT-based LSTM-CNN also reaches slightly better accuracies than other BERT-based hybrid architectures.
translated by 谷歌翻译
探讨了使用深神经网络(DNN)模型作为线性和非线性结构动力系统的代理。目标是开发基于DNN的代理,以预测给定输入(谐波)激发的结构响应,即位移和加速度。特别是,重点是使用完全连接,稀疏连接和卷积网络层的有效网络架构的开发,以及相应的培训策略,可以在目标数据用品中的整体网络复杂性和预测准确性之间提供平衡。对于线性动力学,网络层中重量矩阵的稀疏模式用于构建具有稀疏层的卷积DNN。对于非线性动力学,显示网络层中的稀疏性丢失,并探讨了具有完全连接和卷积网络层的高效DNN架构。还介绍了转移学习策略以成功培训所提出的DNN,研究了影响网络架构的各种装载因素。结果表明,所提出的DNN可以用作在谐波载荷下预测线性和非线性动态响应的有效和准确的代理。
translated by 谷歌翻译
As ride-hailing services become increasingly popular, being able to accurately predict demand for such services can help operators efficiently allocate drivers to customers, and reduce idle time, improve congestion, and enhance the passenger experience. This paper proposes UberNet, a deep learning Convolutional Neural Network for short-term prediction of demand for ride-hailing services. UberNet empploys a multivariate framework that utilises a number of temporal and spatial features that have been found in the literature to explain demand for ride-hailing services. The proposed model includes two sub-networks that aim to encode the source series of various features and decode the predicting series, respectively. To assess the performance and effectiveness of UberNet, we use 9 months of Uber pickup data in 2014 and 28 spatial and temporal features from New York City. By comparing the performance of UberNet with several other approaches, we show that the prediction quality of the model is highly competitive. Further, Ubernet's prediction performance is better when using economic, social and built environment features. This suggests that Ubernet is more naturally suited to including complex motivators in making real-time passenger demand predictions for ride-hailing services.
translated by 谷歌翻译
日本气象学机构经营着网格的温度指导,以预测二维降雪量和降水类型,例如雨雪,因为表面温度是预测它们的关键元素之一。操作温度引导基于卡尔曼滤波器,该滤波器使用温度观察和数值天气预报(NWP)仅在观察部位周围输出。当NWP模型错误地预测前部的位置或观察到的温度非常冷或热时,纠正温度场。在这项研究中,已经提出了一种基于编码器的解码器的卷积神经网络,以预测日本的康托地区周围的表面上的包装温度。验证结果表明,该模型大大提高了运营指导,可以纠正NWP模型偏差,如前方和极端温度的位置误差。
translated by 谷歌翻译
时间序列预测在许多现实世界中都起着重要的作用,例如设备生命周期预测,天气预报和交通流量预测。从最近的研究中可以看出,各种基于变压器的模型在预测时间序列中显示出了显着的结果。但是,仍然有一些问题限制了在时间序列预测任务上基于变压器的模型的能力:(i)直接在原始数据上学习由于其复杂且不稳定的功能表示,因此对噪声易受噪声; (ii)自我发挥的机制不足以对变化的特征和时间依赖性的关注不足。为了解决这两个问题,我们提出了一个基于变压器的差异重构注意模型Draformer。具体而言,Draformer具有以下创新:(i)对差异序列进行学习,该序列通过差异和突出序列的变化属性来保留清晰和稳定的序列特征; (ii)重建的注意力:综合距离注意力通过可学习的高斯内核表现出顺序距离,分布式差异注意通过将差异序列映射到适应性特征空间来计算分布差异,并且两者的组合有效地集中在具有显着关联的序列上; (iii)重建的解码器输入,该输入通过集成变异信息和时间相关来提取序列特征,从而获得了更全面的序列表示。在四个大型数据集上进行的广泛实验表明,Draformer的表现优于最先进的基线。
translated by 谷歌翻译
熟练的水流预测可以为水政策和管理各个领域的决策提供信息。我们集成了数值天气预测集合和分布式水文模型,以在中范围的交货时间(1-7天)下生成集合流量预测。我们展示了一项用于在美国东部的Susquehanna河流盆地的后处理过程中进行机器学习应用的案例研究。为了进行预测验证,我们使用不同的指标,例如技能得分和可靠性图,以提前时间,流量阈值和季节为条件。验证结果表明,机器学习后处理器可以改善相对于低复杂性预测(例如气候和时间持久性)以及确定性和原始集合预测的水流预测。与原始合奏相比,与较短的交货时间相比,在中等时间表的相对增益在后期时间表通常更高。与低压流相比,高流量和与凉爽的流量相比。总体而言,我们的结果突出了机器学习在许多方面的好处,以提高流量预测的技能和可靠性。
translated by 谷歌翻译
With the evolution of power systems as it is becoming more intelligent and interactive system while increasing in flexibility with a larger penetration of renewable energy sources, demand prediction on a short-term resolution will inevitably become more and more crucial in designing and managing the future grid, especially when it comes to an individual household level. Projecting the demand for electricity for a single energy user, as opposed to the aggregated power consumption of residential load on a wide scale, is difficult because of a considerable number of volatile and uncertain factors. This paper proposes a customized GRU (Gated Recurrent Unit) and Long Short-Term Memory (LSTM) architecture to address this challenging problem. LSTM and GRU are comparatively newer and among the most well-adopted deep learning approaches. The electricity consumption datasets were obtained from individual household smart meters. The comparison shows that the LSTM model performs better for home-level forecasting than alternative prediction techniques-GRU in this case. To compare the NN-based models with contrast to the conventional statistical technique-based model, ARIMA based model was also developed and benchmarked with LSTM and GRU model outcomes in this study to show the performance of the proposed model on the collected time series data.
translated by 谷歌翻译
动力学受部分微分方程(PDE)控制的物理系统在许多领域(从工程设计到天气预报)中找到了应用。从此类PDE中获取解决方案的过程对于大规模和参数化问题的计算昂贵。在这项工作中,使用LSTM和TCN等时间表预测开发的深度学习技术,或用于为CNN等空间功能提取而开发的,用于建模系统动力学,以占主导问题。这些模型将输入作为从PDE获得的连续时间步长的一系列高保真矢量解,并预测使用自动回归的后续时间步长的解决方案;从而减少获得此类高保真解决方案所需的计算时间和功率。这些模型经过数值基准测试(1D汉堡的方程式和Stoker的大坝断裂问题),以评估长期预测准确性,甚至在训练域之外(外推)。在向预测模型输入之前,使用非侵入性的降低订购建模技术(例如深度自动编码网络)来压缩高保真快照,以减少在线和离线阶段的复杂性和所需的计算。深层合奏被用来对预测模型进行不确定性量化,该模型提供了有关认知不确定性导致预测方差的信息。
translated by 谷歌翻译
A well-performing prediction model is vital for a recommendation system suggesting actions for energy-efficient consumer behavior. However, reliable and accurate predictions depend on informative features and a suitable model design to perform well and robustly across different households and appliances. Moreover, customers' unjustifiably high expectations of accurate predictions may discourage them from using the system in the long term. In this paper, we design a three-step forecasting framework to assess predictability, engineering features, and deep learning architectures to forecast 24 hourly load values. First, our predictability analysis provides a tool for expectation management to cushion customers' anticipations. Second, we design several new weather-, time- and appliance-related parameters for the modeling procedure and test their contribution to the model's prediction performance. Third, we examine six deep learning techniques and compare them to tree- and support vector regression benchmarks. We develop a robust and accurate model for the appliance-level load prediction based on four datasets from four different regions (US, UK, Austria, and Canada) with an equal set of appliances. The empirical results show that cyclical encoding of time features and weather indicators alongside a long-short term memory (LSTM) model offer the optimal performance.
translated by 谷歌翻译
In this paper, we propose a new short-term load forecasting (STLF) model based on contextually enhanced hybrid and hierarchical architecture combining exponential smoothing (ES) and a recurrent neural network (RNN). The model is composed of two simultaneously trained tracks: the context track and the main track. The context track introduces additional information to the main track. It is extracted from representative series and dynamically modulated to adjust to the individual series forecasted by the main track. The RNN architecture consists of multiple recurrent layers stacked with hierarchical dilations and equipped with recently proposed attentive dilated recurrent cells. These cells enable the model to capture short-term, long-term and seasonal dependencies across time series as well as to weight dynamically the input information. The model produces both point forecasts and predictive intervals. The experimental part of the work performed on 35 forecasting problems shows that the proposed model outperforms in terms of accuracy its predecessor as well as standard statistical models and state-of-the-art machine learning models.
translated by 谷歌翻译
公共收费站占用预测在开发智能充电策略方面发挥了重要意义,以减少电动车辆(EV)操作员和用户不便。然而,现有研究主要基于具有有限的准确度的传统经济学或时间序列方法。我们提出了一种新的混合长期内记忆神经网络,其包括历史充电状态序列和时间相关的特征,用于多步离散充电占用状态预测。与现有的LSTM网络不同,所提出的模型将不同类型的特征分开,并用混合神经网络架构处理它们。该模型与许多最先进的机器学习和深度学习方法进行了比较,基于从英国邓迪市的开放数据门户网站获得的EV充电数据。结果表明,该方法分别产生非常准确的预测(99.99%和81.87%,分别前进(10分钟)和6个步骤(1小时),优于基准接近的(+ 22.4%)前方预测和6步前方的预测和6.2%)。进行灵敏度分析,以评估模型参数对预测精度的影响。
translated by 谷歌翻译