野火传播的计算模拟通常在各种条件下(例如地形,燃料类型,天气)采用经验分布计算。条件下的小扰动通常会导致火灾传播(例如速度和方向)的显着变化,因此需要进行计算昂贵的大型模拟以量化不确定性。模型仿真寻求使用机器学习的物理模型的替代表示,旨在提供更有效和/或简化的替代模型。我们提出了一个专用时空神经网络,用于模型仿真,能够捕获火灾传播模型的复杂行为。所提出的方法可以在基于神经网络的方法通常具有挑战性的空间和时间分辨率上进行近似预测。此外,由于新的数据增强方法,即使使用小型训练集,提出的方法也是可靠的。经验实验表明,模拟和模拟的火山之间的良好一致性,平均Jaccard得分为0.76。
translated by 谷歌翻译
由于其对人类生命,运输,粮食生产和能源管理的高度影响,因此在科学上研究了预测天气的问题。目前的运营预测模型基于物理学,并使用超级计算机来模拟大气预测,提前预测数小时和日期。更好的基于物理的预测需要改进模型本身,这可能是一个实质性的科学挑战,以及潜在的分辨率的改进,可以计算令人望而却步。基于神经网络的新出现的天气模型代表天气预报的范式转变:模型学习来自数据的所需变换,而不是依赖于手工编码的物理,并计算效率。然而,对于神经模型,每个额外的辐射时间都会构成大量挑战,因为它需要捕获更大的空间环境并增加预测的不确定性。在这项工作中,我们提出了一个神经网络,能够提前十二小时的大规模降水预测,并且从相同的大气状态开始,该模型能够比最先进的基于物理的模型更高的技能HRRR和HREF目前在美国大陆运营。可解释性分析加强了模型学会模拟先进物理原则的观察。这些结果代表了建立与神经网络有效预测的新范式的实质性步骤。
translated by 谷歌翻译
Machine learning models are frequently employed to perform either purely physics-free or hybrid downscaling of climate data. However, the majority of these implementations operate over relatively small downscaling factors of about 4--6x. This study examines the ability of convolutional neural networks (CNN) to downscale surface wind speed data from three different coarse resolutions (25km, 48km, and 100km side-length grid cells) to 3km and additionally focuses on the ability to recover subgrid-scale variability. Within each downscaling factor, namely 8x, 16x, and 32x, we consider models that produce fine-scale wind speed predictions as functions of different input features: coarse wind fields only; coarse wind and fine-scale topography; and coarse wind, topography, and temporal information in the form of a timestamp. Furthermore, we train one model at 25km to 3km resolution whose fine-scale outputs are probability density function parameters through which sample wind speeds can be generated. All CNN predictions performed on one out-of-sample data outperform classical interpolation. Models with coarse wind and fine topography are shown to exhibit the best performance compared to other models operating across the same downscaling factor. Our timestamp encoding results in lower out-of-sample generalizability compared to other input configurations. Overall, the downscaling factor plays the largest role in model performance.
translated by 谷歌翻译
尽管有持续的改进,但降水预测仍然没有其他气象变量的准确和可靠。造成这种情况的一个主要因素是,几个影响降水分布和强度的关键过程出现在全球天气模型的解决规模以下。计算机视觉社区已经证明了生成的对抗网络(GAN)在超分辨率问题上取得了成功,即学习为粗图像添加精细的结构。 Leinonen等。 (2020年)先前使用GAN来产生重建的高分辨率大气场的集合,并给定较粗糙的输入数据。在本文中,我们证明了这种方法可以扩展到更具挑战性的问题,即通过使用高分辨率雷达测量值作为“地面真相”来提高天气预报模型中相对低分辨率输入的准确性和分辨率。神经网络必须学会添加分辨率和结构,同时考虑不可忽略的预测错误。我们表明,甘斯和vae-gan可以在创建高分辨率的空间相干降水图的同时,可以匹配最新的后处理方法的统计特性。我们的模型比较比较与像素和合并的CRP分数,功率谱信息和等级直方图(用于评估校准)的最佳现有缩减方法。我们测试了我们的模型,并表明它们在各种场景中的表现,包括大雨。
translated by 谷歌翻译
预测野火蔓延对于土地管理和灾害准备至关重要。为此,我们呈现“第二天野火蔓延,”一种策划,大规模的多变量数据集,历史野火的历史野火占据了美国近十年的遥感数据。与基于地球观测卫星的现有火灾数据集相比,我们的数据集合了2D解释性变量(例如,地形,植被,天气,干旱指数,人口密度)与2D区域对齐,提供了丰富的数据为机器学习设置。为了演示该数据集的有用性,我们实现了一个卷积的AutoEncoder,它利用了该数据的空间信息来预测野火扩散。我们将神经网络与其他机器学习模型的性能进行比较:Logistic回归和随机林。该数据集可以用作基于遥感数据开发野火传播模型的基准,以便有一天的提前期。
translated by 谷歌翻译
降水预测是一项重要的科学挑战,对社会产生广泛影响。从历史上看,这项挑战是使用数值天气预测(NWP)模型解决的,该模型基于基于物理的模拟。最近,许多作品提出了一种替代方法,使用端到端深度学习(DL)模型来替代基于物理的NWP。尽管这些DL方法显示出提高的性能和计算效率,但它们在长期预测中表现出局限性,并且缺乏NWP模型的解释性。在这项工作中,我们提出了一个混合NWP-DL工作流程,以填补独立NWP和DL方法之间的空白。在此工作流程下,NWP输出被馈入深层模型,该模型后处理数据以产生精致的降水预测。使用自动气象站(AWS)观测值作为地面真相标签,对深层模型进行了监督训练。这可以实现两全其美,甚至可以从NWP技术的未来改进中受益。为了促进朝这个方向进行研究,我们提出了一个专注于朝鲜半岛的新型数据集,该数据集称为KOMET(KOMEN(KOREA气象数据集),由NWP预测和AWS观察组成。对于NWP,我们使用全局数据同化和预测系统-KOREA集成模型(GDAPS-KIM)。
translated by 谷歌翻译
野火预测对于减少灾害风险和环境可持续性至关重要。我们将每日火灾危险预测作为机器学习任务,使用过去十年来预测下一天的火灾危险。为此,我们收集,预先处理和协调开放式DataCube,其中包括一组协变量,共同影响火灾发生和传播,例如天气条件,卫星衍生的产品,与人类活动相关的地形特征和变量。我们实施各种深度学习(DL)模型,以捕获空间,时间或时空上下文,并将它们与随机林(RF)基线进行比较。我们发现空间或时间上下文足以超越RF,而利用时空上下文的Convlstm在接收器的操作特性为0.926的接收器下的测试区域最佳地执行。我们基于DL的概念证明提供了全国范围的日常火灾危险地图,其空间分辨率高于现有的运营解决方案。
translated by 谷歌翻译
本文描述了一个新颖的机器学习(ML)框架,用于热带气旋强度和轨道预测,结合了多种ML技术并利用了多种数据源。我们的多模式框架(称为Hurricast)有效地结合了时空数据和统计数据,通过提取具有深度学习的编码器编码器体系结构的特征,并通过梯度增强的树进行预测。我们在2016 - 2019年在北大西洋和东太平洋盆地进行了24小时的提前时间和强度预测,评估我们的模型,并表明它们在秒内计算时达到了当前操作预测模型的可比平均绝对误差和技能。此外,将飓风纳入运营预测的共识模型可以改善国家飓风中心的官方预测,从而通过现有方法突出显示互补物业。总而言之,我们的工作表明,利用机器学习技术结合不同的数据源可以带来热带气旋预测的新机会。
translated by 谷歌翻译
Time series anomaly detection has applications in a wide range of research fields and applications, including manufacturing and healthcare. The presence of anomalies can indicate novel or unexpected events, such as production faults, system defects, or heart fluttering, and is therefore of particular interest. The large size and complex patterns of time series have led researchers to develop specialised deep learning models for detecting anomalous patterns. This survey focuses on providing structured and comprehensive state-of-the-art time series anomaly detection models through the use of deep learning. It providing a taxonomy based on the factors that divide anomaly detection models into different categories. Aside from describing the basic anomaly detection technique for each category, the advantages and limitations are also discussed. Furthermore, this study includes examples of deep anomaly detection in time series across various application domains in recent years. It finally summarises open issues in research and challenges faced while adopting deep anomaly detection models.
translated by 谷歌翻译
几个世纪以来,科学家一直观察到自然要了解支配物理世界的法律。将观察变成身体理解的传统过程很慢。构建和测试不完善的模型以解释数据中的关系。强大的新算法可以使计算机通过观察图像和视频来学习物理。受这个想法的启发,而不是使用物理量训练机器学习模型,我们使用了图像,即像素信息。对于这项工作和概念证明,感兴趣的物理学是风向的空间模式。这些现象包括风水沙丘和火山灰沉积,野火烟雾和空气污染羽状的特征。我们使用空间沉积模式的计算机模型仿真来近似假设成像设备的图像,其输出为红色,绿色和蓝色(RGB)颜色图像,通道值范围为0到255。在本文中,我们探索深度卷积神经网络基于基于风向的空间模式的关系,通常在地球科学中发生,并降低其尺寸。使用编码器降低数据维度大小,可以训练将地理和气象标量输入数量连接到编码空间的深层,完全连接的神经网络模型。一旦实现了这一目标,使用解码器重建了完整的空间模式。我们在污染源的空间沉积图像上证明了这种方法,其中编码器将维度压缩到原始大小的0.02%,并且测试数据上的完整预测模型性能的精度为92%。
translated by 谷歌翻译
Wind power forecasting helps with the planning for the power systems by contributing to having a higher level of certainty in decision-making. Due to the randomness inherent to meteorological events (e.g., wind speeds), making highly accurate long-term predictions for wind power can be extremely difficult. One approach to remedy this challenge is to utilize weather information from multiple points across a geographical grid to obtain a holistic view of the wind patterns, along with temporal information from the previous power outputs of the wind farms. Our proposed CNN-RNN architecture combines convolutional neural networks (CNNs) and recurrent neural networks (RNNs) to extract spatial and temporal information from multi-dimensional input data to make day-ahead predictions. In this regard, our method incorporates an ultra-wide learning view, combining data from multiple numerical weather prediction models, wind farms, and geographical locations. Additionally, we experiment with global forecasting approaches to understand the impact of training the same model over the datasets obtained from multiple different wind farms, and we employ a method where spatial information extracted from convolutional layers is passed to a tree ensemble (e.g., Light Gradient Boosting Machine (LGBM)) instead of fully connected layers. The results show that our proposed CNN-RNN architecture outperforms other models such as LGBM, Extra Tree regressor and linear regression when trained globally, but fails to replicate such performance when trained individually on each farm. We also observe that passing the spatial information from CNN to LGBM improves its performance, providing further evidence of CNN's spatial feature extraction capabilities.
translated by 谷歌翻译
提出了一个深度学习模型,以便在未来60分钟的五分钟时间分辨率下以闪电的形式出现。该模型基于反复横向的结构,该结构使其能够识别并预测对流的时空发展,包括雷暴细胞的运动,生长和衰变。预测是在固定网格上执行的,而无需使用风暴对象检测和跟踪。从瑞士和周围的区域收集的输入数据包括地面雷达数据,可见/红外卫星数据以及衍生的云产品,闪电检测,数值天气预测和数字高程模型数据。我们分析了不同的替代损失功能,班级加权策略和模型特征,为将来的研究提供了指南,以最佳地选择损失功能,并正确校准其模型的概率预测。基于这些分析,我们在这项研究中使用焦点损失,但得出结论,它仅在交叉熵方面提供了较小的好处,如果模型的重新校准不实用,这是一个可行的选择。该模型在60分钟的现有周期内实现了0.45的像素临界成功指数(CSI)为0.45,以预测8 km的闪电发生,范围从5分钟的CSI到5分钟的提前时间到CSI到CSI的0.32在A处。收货时间60分钟。
translated by 谷歌翻译
在本文中,我们探讨了通过深度学习来检测C波段SAR图像中极性低的可能性。具体而言,我们介绍了一个新的数据集,该数据集由Sentinel-1图像组成,分为两个类别,分别代表海上中clo子的存在和不存在。该数据集是使用ERE5数据集作为基线构建的,它由2004年注释的图像组成。据我们所知,这是公开发布此类数据集的第一个数据集。该数据集用于训练深度学习模型以对标记的图像进行分类。该模型在独立的测试集上进行了评估,其F-1得分为0.95,表明可以从SAR图像中始终检测到极性低。应用于深度学习模型的可解释性技术表明,大气方面和旋风眼是分类的关键特征。此外,实验结果表明,即使:(i)由于SAR的宽度有限,该模型是正确的:(ii)特征部分被海冰覆盖,(iii)土地覆盖了显着图像的一部分。通过评估多个输入图像分辨率上的模型性能(像素大小为500m,1km和2km),发现较高的分辨率会产生最佳性能。这强调了使用高分辨率传感器(例如SAR来检测极性低)的潜力,与常规使用的传感器(例如散射计)相比。
translated by 谷歌翻译
Accurate and timely rain prediction is crucial for decision making and is also a challenging task. This paper presents a solution which won the 2 nd prize in the Weather4cast 2022 NeurIPS competition using 3D U-Nets and EarthFormers for 8-hour probabilistic rain prediction based on multi-band satellite images. The spatial context effect of the input satellite image has been deeply explored and optimal context range has been found. Based on the imbalanced rain distribution, we trained multiple models with different loss functions. To further improve the model performance, multi-model ensemble and threshold optimization were used to produce the final probabilistic rain prediction. Experiment results and leaderboard scores demonstrate that optimal spatial context, combined loss function, multi-model ensemble, and threshold optimization all provide modest model gain. A permutation test was used to analyze the effect of each satellite band on rain prediction, and results show that satellite bands signifying cloudtop phase (8.7 um) and cloud-top height (10.8 and 13.4 um) are the best predictors for rain prediction. The source code is available at https://github.com/bugsuse/weather4cast-2022-stage2.
translated by 谷歌翻译
在许多环境环境中的风险管理需要了解驱动极端事件的机制。量化这种风险的有用指标是响应变量的极端分位数,该变量是基于描述气候,生物圈和环境状态的预测变量的。通常,这些分位数位于可观察数据的范围之内,因此,为了估算,需要在回归框架内规范参数极值模型。在这种情况下,经典方法利用预测变量和响应变量之间的线性或加性关系,并在其预测能力或计算效率中受苦;此外,它们的简单性不太可能捕获导致极端野火创造的真正复杂结构。在本文中,我们提出了一个新的方法学框架,用于使用人工中性网络执行极端分位回归,该网络能够捕获复杂的非线性关系并很好地扩展到高维数据。神经网络的“黑匣子”性质意味着它们缺乏从业者通常会喜欢的可解释性的理想特征。因此,我们将线性和加法模型的各个方面与深度学习相结合,以创建可解释的神经网络,这些神经网络可用于统计推断,但保留了高预测准确性。为了补充这种方法,我们进一步提出了一个新颖的点过程模型,以克服与广义极值分布类别相关的有限的下端问题。我们的统一框架的功效在具有高维预测器集的美国野火数据上说明了,我们说明了基于线性和基于样条的回归技术的预测性能的大幅改进。
translated by 谷歌翻译
Climate change is expected to intensify and increase extreme events in the weather cycle. Since this has a significant impact on various sectors of our life, recent works are concerned with identifying and predicting such extreme events from Earth observations. This paper proposes a 2D/3D two-branch convolutional neural network (CNN) for wildfire danger forecasting. To use a unified framework, previous approaches duplicate static variables along the time dimension and neglect the intrinsic differences between static and dynamic variables. Furthermore, most existing multi-branch architectures lose the interconnections between the branches during the feature learning stage. To address these issues, we propose a two-branch architecture with a Location-aware Adaptive Denormalization layer (LOADE). Using LOADE as a building block, we can modulate the dynamic features conditional on their geographical location. Thus, our approach considers feature properties as a unified yet compound 2D/3D model. Besides, we propose using an absolute temporal encoding for time-related forecasting problems. Our experimental results show a better performance of our approach than other baselines on the challenging FireCube dataset.
translated by 谷歌翻译
Sunquakes are seismic emissions visible on the solar surface, associated with some solar flares. Although discovered in 1998, they have only recently become a more commonly detected phenomenon. Despite the availability of several manual detection guidelines, to our knowledge, the astrophysical data produced for sunquakes is new to the field of Machine Learning. Detecting sunquakes is a daunting task for human operators and this work aims to ease and, if possible, to improve their detection. Thus, we introduce a dataset constructed from acoustic egression-power maps of solar active regions obtained for Solar Cycles 23 and 24 using the holography method. We then present a pedagogical approach to the application of machine learning representation methods for sunquake detection using AutoEncoders, Contrastive Learning, Object Detection and recurrent techniques, which we enhance by introducing several custom domain-specific data augmentation transformations. We address the main challenges of the automated sunquake detection task, namely the very high noise patterns in and outside the active region shadow and the extreme class imbalance given by the limited number of frames that present sunquake signatures. With our trained models, we find temporal and spatial locations of peculiar acoustic emission and qualitatively associate them to eruptive and high energy emission. While noting that these models are still in a prototype stage and there is much room for improvement in metrics and bias levels, we hypothesize that their agreement on example use cases has the potential to enable detection of weak solar acoustic manifestations.
translated by 谷歌翻译
随着过去几年的深度学习的出现,地球观察研究中的新机会出现了新的机会。尽管如此,他们也带来了新的挑战。深度学习模型的数据饥饿培训过程需要大,资源昂贵,注释的数据集和部分替换知识驱动的方法,以便模型行为和最终预测过程成为黑匣子。所提出的Synteo方法使地球观测研究人员能够自动生成大型深度学习就绪数据集,从而释放其他占用资源。 Synteo通过以高度结构化的方式在数据生成过程中包括专业知识来实现​​这一点。通过这种方式,建立了完全可控的实验环境,支持模型培训的见解。因此,Synteo使学习过程可接近和模型行为可解释,是可解释机器学习的重要基石。我们通过在世界上两个最大的海上风能生产基地预测Sentinel-1图像中的海上风电场来展示Synteo方法。最大生成的数据集具有90,000个培训示例。用于对象检测的基本卷积神经网络,仅在这种合成数据上培训,自信地通过最小化挑战环境中的假检测来自信地检测海上风电场。此外,生成了四个顺序数据集,展示了Synteo方法如何精确定义数据集结构并影响训练过程。因此,Synteo是一种混合方法,它在专家知识和数据驱动的图像分析之间创造了一个接口。
translated by 谷歌翻译
卫星遥感提供了一种具有成本效益的概要洪水监测的解决方案,卫星衍生的洪水图为传统上使用的数值洪水淹没模型提供了一种计算有效的替代方法。尽管卫星碰巧涵盖正在进行的洪水事件时确实提供了及时的淹没信息,但它们受其时空分辨率的限制,因为它们在各种规模上动态监测洪水演变的能力。不断改善对新卫星数据源的访问以及大数据处理功能,就此问题的数据驱动解决方案而言,已经解锁了前所未有的可能性。具体而言,来自卫星的数据融合,例如哥白尼前哨,它们具有很高的空间和低时间分辨率,以及来自NASA SMAP和GPM任务的数据,它们的空间较低,但时间较高的时间分辨率可能会导致高分辨率的洪水淹没在A处的高分辨率洪水。每日规模。在这里,使用Sentinel-1合成孔径雷达和各种水文,地形和基于土地利用的预测因子衍生出的洪水淹没图对卷积神经网络进行了训练,以预测高分辨率的洪水泛滥概率图。使用Sentinel-1和Sentinel-2衍生的洪水面罩,评估了UNET和SEGNET模型架构的性能,分别具有95%的信心间隔。精确召回曲线(PR-AUC)曲线下的区域(AUC)被用作主要评估指标,这是由于二进制洪水映射问题中类固有的不平衡性质,最佳模型提供了PR-AUC 0.85。
translated by 谷歌翻译
我们开发了多种深入学习(DL)模型,用于推进全局极光粒子沉淀的最先进预测。我们使用来自电子能量通量的低地球轨道航天器的观测来开发一种改善加速颗粒的全球漫游(观察时的预测)的模型。比较多机学习(ML)建模方法,包括一种新的多任务模型,具有基于尾和分配的损耗功能的模型,以及时空稀疏的2D卷积模型。我们详细介绍了数据准备过程以及模型开发,将在太空天气和域中的许多类似时间序列全球回归问题中说明。我们的ML改进是三倍:1)损失函数工程; 2)多任务学习; 3)将任务从时间序列预测转换为时空预测。值得注意的是,ML模型改善了极端事件的预测,历史上顽固地顽固,准确规范,并表明ML创新提供的表现力增加可以解决太空天气科学的大挑战。
translated by 谷歌翻译