自1970年代初以来,已经开发并改进了质谱仪和不连贯的散射雷达(MSIS)模型家族。 MSI的最新版本是海军研究实验室(NRL)MSIS 2.0经验大气模型。 NRLMSIS 2.0提供物种密度,质量密度和温度估计作为位置和空间天气条件的功能。长期以来,MSIS模型一直是研究和运营社区中的大气模型的流行选择,但与许多模型一样,并未提供不确定性估计。在这项工作中,我们开发了基于机器学习(ML)的外层温度模型,该模型可与NRLMSIS 2.0一起使用,以相对于高保真卫星密度估计值校准其。我们的模型(称为MSIS-UQ)没有提供点估计,而是输出一个分布,该分布将使用称为校准误差评分的度量进行评估。我们表明,MSIS-UQ的DEMIAS nRLMSIS 2.0导致模型和卫星密度之间的差异减少25%,并且比太空力量的高精度卫星阻力模型更接近卫星密度。我们还通过生成物种密度,质量密度和温度的高度曲线来显示模型的不确定性估计功能。这明确证明了外层温度概率如何影响NRLMSIS 2.0内的密度和温度曲线。另一项研究显示,相对于单独的NRLMSIS 2.0,迅速过冷的能力提高了,从而增强了它可以捕获的现象。
translated by 谷歌翻译
机器学习(ML)通常被视为一种黑盒回归技术,无法提供相当大的科学见解。 ML模型是通用函数近似器,如果正确使用,则可以提供与用于拟合的地面数据集有关的科学信息。 ML比参数模型的好处是,没有预定义的基础函数限制可以建模的现象。在这项工作中,我们在三个数据集上开发了ML模型:太空环境技术(SET)高精度卫星阻力模型(HASDM)密度数据库,这是Jacchia-Bowman 2008经验热层密度模型(JB2008),Jacchia-Bowman 2008经验的空间端段匹配数据集,以及具有挑战性的Minisatellite有效载荷(Champ)的加速度计衍生的密度数据集。将这些ML模型与海军研究实验室质谱仪和不相互分的散射雷达(NRLMSIS 2.0)模型进行比较,以研究中热层中传感后冷却的存在。我们发现NRLMSIS 2.0和JB2008-ML都不能说明后冷却,因此在强烈的地磁风暴(例如2003年万圣节风暴)之后的时期内表现不佳。相反,HASDM-ML和Champ-ML确实显示了传感后冷却的证据,表明这种现象存在于原始数据集中。结果表明,根据位置和暴风雨强度,速度1-3天的密度降低可能会发生1--3天。
translated by 谷歌翻译
机器学习(ML)近年来往往应用于太空天气(SW)问题。 SW起源于太阳能扰动,包括由此产生的复杂变化,它们导致太阳和地球之间的系统。这些系统紧密耦合并不太了解。这为熟练的模型创造了具有关于他们预测的信心的知识。这种动态系统的一个例子是热层,地球上层大气的中性区域。我们无法预测其在低地球轨道中对象的卫星拖拽和碰撞操作的背景下具有严重的影响。即使使用(假设)完美的驾驶员预测,我们对系统的不完全知识也会导致往往是不准确的中性质量密度预测。正在进行持续努力来提高模型准确性,但密度模型很少提供不确定性的估计。在这项工作中,我们提出了两种技术来开发非线性ML模型以预测热散,同时提供校准的不确定性估计:蒙特卡罗(MC)丢失和直接预测概率分布,既使用预测密度(NLPD)损耗函数的负对数。我们展示了在本地和全局数据集上培训的模型的性能。这表明NLPD为这两种技术提供了类似的结果,但是直接概率方法具有更低的计算成本。对于在集合HASDM密度数据库上回归的全局模型,我们在具有良好校准的不确定性估计的独立测试数据上实现11%的错误。使用原位校准密度数据集,这两种技术都提供了13%的测试误差。 CHAMP模型(独立数据)占测试所有预测间隔的完美校准的2%。该模型也可用于获得具有给定时期的不确定性的全局预测。
translated by 谷歌翻译
The geospace environment is volatile and highly driven. Space weather has effects on Earth's magnetosphere that cause a dynamic and enigmatic response in the thermosphere, particularly on the evolution of neutral mass density. Many models exist that use space weather drivers to produce a density response, but these models are typically computationally expensive or inaccurate for certain space weather conditions. In response, this work aims to employ a probabilistic machine learning (ML) method to create an efficient surrogate for the Thermosphere Ionosphere Electrodynamics General Circulation Model (TIE-GCM), a physics-based thermosphere model. Our method leverages principal component analysis to reduce the dimensionality of TIE-GCM and recurrent neural networks to model the dynamic behavior of the thermosphere much quicker than the numerical model. The newly developed reduced order probabilistic emulator (ROPE) uses Long-Short Term Memory neural networks to perform time-series forecasting in the reduced state and provide distributions for future density. We show that across the available data, TIE-GCM ROPE has similar error to previous linear approaches while improving storm-time modeling. We also conduct a satellite propagation study for the significant November 2003 storm which shows that TIE-GCM ROPE can capture the position resulting from TIE-GCM density with < 5 km bias. Simultaneously, linear approaches provide point estimates that can result in biases of 7 - 18 km.
translated by 谷歌翻译
赤道等离子体气泡(EPB)是低密度血浆的羽毛,它们从F层的底部升至Exosphere。 EPB是无线电波闪烁的已知原因,可以降低与航天器的通信。我们构建了一个随机的森林回归剂,以预测和预测IBI处理器在船上检测到的EPB [0-1]的可能性。我们使用从2014年到2021年的8年群数据,并将数据从时间序列转换为5维空间,该空间包括纬度,经度,MLT,年份和年度。我们还增加了KP,F10.7厘米和太阳风速。关于地理位置,当地时间,季节和太阳活动的EPB的观察主要与现有工作一致,而链接的地磁活动尚不清楚。该预测的精度为88%,并且在EPB特异性时空尺度上的性能很好。这证明了XGBoost方法能够成功捕获群EPB的气候和每日变异性。由于电离层内的局部和随机特征,捕获每日方差长期以来一直逃避研究人员。我们利用Shapley值来解释该模型并深入了解EPB的物理学。我们发现,随着太阳能速度的增加,EPB的概率降低。我们还确定了EPB概率周围的尖峰。这两个见解直接源自XGBoost和Shapley技术。
translated by 谷歌翻译
我们开发了多种深入学习(DL)模型,用于推进全局极光粒子沉淀的最先进预测。我们使用来自电子能量通量的低地球轨道航天器的观测来开发一种改善加速颗粒的全球漫游(观察时的预测)的模型。比较多机学习(ML)建模方法,包括一种新的多任务模型,具有基于尾和分配的损耗功能的模型,以及时空稀疏的2D卷积模型。我们详细介绍了数据准备过程以及模型开发,将在太空天气和域中的许多类似时间序列全球回归问题中说明。我们的ML改进是三倍:1)损失函数工程; 2)多任务学习; 3)将任务从时间序列预测转换为时空预测。值得注意的是,ML模型改善了极端事件的预测,历史上顽固地顽固,准确规范,并表明ML创新提供的表现力增加可以解决太空天气科学的大挑战。
translated by 谷歌翻译
美国宇航局的全球生态系统动力学调查(GEDI)是一个关键的气候使命,其目标是推进我们对森林在全球碳循环中的作用的理解。虽然GEDI是第一个基于空间的激光器,明确优化,以测量地上生物质的垂直森林结构预测,这对广泛的观测和环境条件的大量波形数据的准确解释是具有挑战性的。在这里,我们提出了一种新颖的监督机器学习方法来解释GEDI波形和全球标注冠层顶部高度。我们提出了一种基于深度卷积神经网络(CNN)集合的概率深度学习方法,以避免未知效果的显式建模,例如大气噪声。该模型学会提取概括地理区域的强大特征,此外,产生可靠的预测性不确定性估计。最终,我们模型产生的全球顶棚顶部高度估计估计的预期RMSE为2.7米,低偏差。
translated by 谷歌翻译
目前,由精确的径向速度(RV)观察结果受到恒星活性引入的虚假RV信号的限制。我们表明,诸如线性回归和神经网络之类的机器学习技术可以有效地从RV观测中删除活动信号(由于星形/张图引起的)。先前的工作着重于使用高斯工艺回归等建模技术仔细地过滤活性信号(例如Haywood等人,2014年)。取而代之的是,我们仅使用对光谱线平均形状的更改进行系统地删除活动信号,也没有有关收集观测值的信息。我们对模拟数据(使用SOAP 2.0软件生成; Dumusque等人,2014年生成)和从Harps-N太阳能望远镜(Dumusque等,2015; Phillips等人2015; 2016; Collier训练)培训了机器学习模型。 Cameron等人2019)。我们发现,这些技术可以从模拟数据(将RV散射从82 cm/s提高到3 cm/s)以及从HARPS-N太阳能望远镜中几乎每天进行的600多种真实观察结果来预测和消除恒星活动(将RV散射从82 cm/s提高到3 cm/s)。 (将RV散射从1.753 m/s提高到1.039 m/s,提高了约1.7倍)。将来,这些或类似的技术可能会从太阳系以外的恒星观察中去除活动信号,并最终有助于检测到阳光状恒星周围可居住的区域质量系外行星。
translated by 谷歌翻译
以知情方式监测和管理地球林是解决生物多样性损失和气候变化等挑战的重要要求。虽然森林评估的传统或空中运动提供了在区域一级分析的准确数据,但将其扩展到整个国家,以外的高度分辨率几乎不可能。在这项工作中,我们提出了一种贝叶斯深度学习方法,以10米的分辨率为全国范围的森林结构变量,使用自由可用的卫星图像作为输入。我们的方法将Sentinel-2光学图像和Sentinel-1合成孔径雷达图像共同变换为五种不同的森林结构变量的地图:95th高度百分位,平均高度,密度,基尼系数和分数盖。我们从挪威的41个机载激光扫描任务中培训和测试我们的模型,并证明它能够概括取消测试区域,从而达到11%和15%之间的归一化平均值误差,具体取决于变量。我们的工作也是第一个提出贝叶斯深度学习方法的工作,以预测具有良好校准的不确定性估计的森林结构变量。这些提高了模型的可信度及其适用于需要可靠的信心估计的下游任务,例如知情决策。我们提出了一组广泛的实验,以验证预测地图的准确性以及预测的不确定性的质量。为了展示可扩展性,我们为五个森林结构变量提供挪威地图。
translated by 谷歌翻译
提出了一个深度学习模型,以便在未来60分钟的五分钟时间分辨率下以闪电的形式出现。该模型基于反复横向的结构,该结构使其能够识别并预测对流的时空发展,包括雷暴细胞的运动,生长和衰变。预测是在固定网格上执行的,而无需使用风暴对象检测和跟踪。从瑞士和周围的区域收集的输入数据包括地面雷达数据,可见/红外卫星数据以及衍生的云产品,闪电检测,数值天气预测和数字高程模型数据。我们分析了不同的替代损失功能,班级加权策略和模型特征,为将来的研究提供了指南,以最佳地选择损失功能,并正确校准其模型的概率预测。基于这些分析,我们在这项研究中使用焦点损失,但得出结论,它仅在交叉熵方面提供了较小的好处,如果模型的重新校准不实用,这是一个可行的选择。该模型在60分钟的现有周期内实现了0.45的像素临界成功指数(CSI)为0.45,以预测8 km的闪电发生,范围从5分钟的CSI到5分钟的提前时间到CSI到CSI的0.32在A处。收货时间60分钟。
translated by 谷歌翻译
Flooding is one of the most disastrous natural hazards, responsible for substantial economic losses. A predictive model for flood-induced financial damages is useful for many applications such as climate change adaptation planning and insurance underwriting. This research assesses the predictive capability of regressors constructed on the National Flood Insurance Program (NFIP) dataset using neural networks (Conditional Generative Adversarial Networks), decision trees (Extreme Gradient Boosting), and kernel-based regressors (Gaussian Process). The assessment highlights the most informative predictors for regression. The distribution for claims amount inference is modeled with a Burr distribution permitting the introduction of a bias correction scheme and increasing the regressor's predictive capability. Aiming to study the interaction with physical variables, we incorporate Daymet rainfall estimation to NFIP as an additional predictor. A study on the coastal counties in the eight US South-West states resulted in an $R^2=0.807$. Further analysis of 11 counties with a significant number of claims in the NFIP dataset reveals that Extreme Gradient Boosting provides the best results, that bias correction significantly improves the similarity with the reference distribution, and that the rainfall predictor strengthens the regressor performance.
translated by 谷歌翻译
陆地温度(LST)是监控土地面过程时的关键参数。然而,云污染和空间和时间分辨率之间的权衡大大妨碍了对高质量的热红外(TIR)遥感数据的访问。尽管采取了巨大的努力来解决这些困境,但仍然难以通过并发空间完整性和高时空分辨率产生LST估计。陆地表面模型(LSM)可用于模拟高度的时间分辨率的Genpless LST,但这通常具有低空间分辨率。在本文中,我们向卫星观察和LSM模拟LST数据提供了一个集成的温度融合框架,以通过60米的空间分辨率和半小时时间分辨率映射Gapless LST。全局线性模型(GLOLM)模型和昼夜陆地表面温度周期(DTC)模型分别作为预处理步骤进行传感器和不同LST数据之间的时间归一化。然后使用基于滤波器的时空集成融合模型融合Landsat LST,适度分辨率成像光谱仪(MODIS)LST和社区土地模型5.0(CLM 5.0)-SIMUTION LST。在一个城市主导地区(中国武汉市)和自然主导地区(中国海河流域)实施了评估,在准确性,空间可变性和日颞动力学方面。结果表明,熔融LST与实际LANDSAT LST数据(原位LST测量)高于Pearson相关系数,在0.94(0.97-0.99)方面,平均绝对误差为0.71-0.98k(0.82-3.17 k )和根平均误差为0.97-1.26 k(1.09-3.97 k)。
translated by 谷歌翻译
自50年代后期以来,当发射第一个人造卫星时,居民太空物品(RSO)的数量已稳步增加。据估计,目前约有100万个大于1厘米的物体正在绕地球绕,只有30,000个,大于10厘米,目前正在跟踪。为了避免碰撞的链反应,称为凯斯勒综合征,必须准确跟踪和预测空间碎片和卫星的轨道是必不可少的。当前基于物理的方法在7天的预测中存在误差,在考虑大部分小于1米的空间碎片时,这是不够的。通常,这种故障是由于轨迹开始时空间对象状态周围的不确定性,在环境条件(例如大气阻力)中的预测错误以及RSO的质量或几何形状等特定的未知特征。利用数据驱动的技术,即机器学习,可以提高轨道预测准确性:通过得出未测量的对象的特征,改善非保守力的效果,并通过深度学习模型具有高度复杂的非复杂性非 - 的卓越抽象能力来建模线性系统。在这项调查中,我们概述了该领域正在完成的当前工作。
translated by 谷歌翻译
Different machine learning (ML) models are trained on SCADA and meteorological data collected at an onshore wind farm and then assessed in terms of fidelity and accuracy for predictions of wind speed, turbulence intensity, and power capture at the turbine and wind farm levels for different wind and atmospheric conditions. ML methods for data quality control and pre-processing are applied to the data set under investigation and found to outperform standard statistical methods. A hybrid model, comprised of a linear interpolation model, Gaussian process, deep neural network (DNN), and support vector machine, paired with a DNN filter, is found to achieve high accuracy for modeling wind turbine power capture. Modifications of the incoming freestream wind speed and turbulence intensity, $TI$, due to the evolution of the wind field over the wind farm and effects associated with operating turbines are also captured using DNN models. Thus, turbine-level modeling is achieved using models for predicting power capture while farm-level modeling is achieved by combining models predicting wind speed and $TI$ at each turbine location from freestream conditions with models predicting power capture. Combining these models provides results consistent with expected power capture performance and holds promise for future endeavors in wind farm modeling and diagnostics. Though training ML models is computationally expensive, using the trained models to simulate the entire wind farm takes only a few seconds on a typical modern laptop computer, and the total computational cost is still lower than other available mid-fidelity simulation approaches.
translated by 谷歌翻译
到2021年底,全球电力容量的可再生能源份额达到38.3%,新设施以风能和太阳能为主,分别显示全球增长12.7%和18.5%。但是,风能和光伏能源都是高度挥发性的,使得对网格操作员的计划很难,因此对相应天气变量的准确预测对于可靠的电力预测至关重要。天气预测中最先进的方法是合奏方法,它为概率预测打开了大门。尽管合奏预测通常不足,并且会遭受系统的偏见。因此,它们需要某种形式的统计后处理,其中参数模型提供了手头天气变量的完整预测分布。我们提出了一种基于两步机的一般学习方法,用于校准集合天气预报,在第一步中,生成了改进点的预测,然后将其与各种合奏统计数据一起作为神经网络的输入特征,估计估计的参数。预测分布。在两个案例研究中,基于100m风速和全球水平辐照度预测匈牙利气象服务的操作集合词典系统,将这种新颖方法的预测性能与原始合奏的预测技能进行了比较ART参数方法。两种案例研究都证实,至少高达48H统计后处理可实质上改善了所有被考虑的预测范围的原始合奏的预测性能。所提出的两步方法的研究变体在其竞争对手方面优于技能,建议的新方法非常适用于不同的天气数量和广泛的预测分布。
translated by 谷歌翻译
我们从一组稀疏的光谱时间序列中构建了一个物理参数化的概率自动编码器(PAE),以学习IA型超新星(SNE IA)的内在多样性。 PAE是一个两阶段的生成模型,由自动编码器(AE)组成,该模型在使用归一化流(NF)训练后概率地解释。我们证明,PAE学习了一个低维的潜在空间,该空间可捕获人口内存在的非线性特征范围,并且可以直接从数据直接从数据中准确地对整个波长和观察时间进行精确模拟SNE IA的光谱演化。通过引入相关性惩罚项和多阶段训练设置以及我们的物理参数化网络,我们表明可以在训练期间分离内在和外在的可变性模式,从而消除了需要进行额外标准化的其他模型。然后,我们在SNE IA的许多下游任务中使用PAE进行越来越精确的宇宙学分析,包括自动检测SN Outliers,与数据分布一致的样本的产生以及在存在噪音和不完整数据的情况下解决逆问题限制宇宙距离测量。我们发现,与以前的研究相一致的最佳固有模型参数数量似乎是三个,并表明我们可以用$ 0.091 \ pm 0.010 $ mag标准化SNE IA的测试样本,该样本对应于$ 0.074 \ pm。 0.010 $ mag如果删除了特殊的速度贡献。训练有素的模型和代码在\ href {https://github.com/georgestein/supaernova} {github.com/georgestein/supaernova}上发布
translated by 谷歌翻译
太阳能现在是历史上最便宜的电力形式。不幸的是,由于其变异性,显着提高栅格的太阳能的一部分仍然具有挑战性,这使得电力的供需平衡更加困难。虽然热发电机坡度 - 它们可以改变输出的最高速率 - 是有限的,太阳能的坡度基本上是无限的。因此,准确的近期太阳能预测或垂圈,对于提供预警来调整热发电机输出,以响应于太阳能变化来调整热发电机,以确保平衡供需。为了解决问题,本文开发了使用自我监督学习的丰富和易于使用的多光谱卫星数据的太阳能垂圈的一般模型。具体而言,我们使用卷积神经网络(CNN)和长短期内存网络(LSTM)开发深度自动回归模型,这些模型在多个位置训练全球培训,以预测最近推出的最近收集的时空数据的未来观察-R系列卫星。我们的模型估计了基于卫星观测的未来的太阳辐照度,我们向较小的场地特定的太阳能数据培训的回归模型提供,以提供近期太阳能光伏(PV)预测,其考虑了现场特征的特征。我们评估了我们在25个太阳能场所的不同覆盖区域和预测视野的方法,并表明我们的方法利用地面真理观察结果产生靠近模型的错误。
translated by 谷歌翻译
我们开发了一个基于深度学习的卷积回归模型,该模型估计了土壤顶部〜5 cm中的体积土壤水分含量。输入预测因子包括Sentinel-1(活动雷达),Sentinel-2(光学图像)和SMAP(被动雷达),以及来自GLDAS的土壤格林和建模土壤水分领域的地球物理变量。该模型在2015年至2021年期间对全球约1300个原位传感器的数据进行了训练和评估,并获得了0.727的平均每传感器相关性为0.727,UBRMSE为0.054,可用于在名义上生产土壤水分图。320m分辨率。这些结果是针对不同位置的其他13个土壤水分厂进行基准测试的,并使用消融研究来识别重要的预测因子。
translated by 谷歌翻译
This paper presents an algorithm that relies on a series of dense and deep neural networks for passive microwave retrieval of precipitation. The neural networks learn from coincidences of brightness temperatures from the Global Precipitation Measurement (GPM) Microwave Imager (GMI) with the active precipitating retrievals from the Dual-frequency Precipitation Radar (DPR) onboard GPM as well as those from the {CloudSat} Profiling Radar (CPR). The algorithm first detects the precipitation occurrence and phase and then estimates its rate, while conditioning the results to some key ancillary information including parameters related to cloud microphysical properties. The results indicate that we can reconstruct the DPR rainfall and CPR snowfall with a detection probability of more than 0.95 while the probability of a false alarm remains below 0.08 and 0.03, respectively. Conditioned to the occurrence of precipitation, the unbiased root mean squared error in estimation of rainfall (snowfall) rate using DPR (CPR) data is less than 0.8 (0.1) mm/hr over oceans and land. Beyond methodological developments, comparing the results with ERA5 reanalysis and official GPM products demonstrates that the uncertainty in global satellite snowfall retrievals continues to be large while there is a good agreement among rainfall products. Moreover, the results indicate that CPR active snowfall data can improve passive microwave estimates of global snowfall while the current CPR rainfall retrievals should only be used for detection and not estimation of rates.
translated by 谷歌翻译
由于其对人类生命,运输,粮食生产和能源管理的高度影响,因此在科学上研究了预测天气的问题。目前的运营预测模型基于物理学,并使用超级计算机来模拟大气预测,提前预测数小时和日期。更好的基于物理的预测需要改进模型本身,这可能是一个实质性的科学挑战,以及潜在的分辨率的改进,可以计算令人望而却步。基于神经网络的新出现的天气模型代表天气预报的范式转变:模型学习来自数据的所需变换,而不是依赖于手工编码的物理,并计算效率。然而,对于神经模型,每个额外的辐射时间都会构成大量挑战,因为它需要捕获更大的空间环境并增加预测的不确定性。在这项工作中,我们提出了一个神经网络,能够提前十二小时的大规模降水预测,并且从相同的大气状态开始,该模型能够比最先进的基于物理的模型更高的技能HRRR和HREF目前在美国大陆运营。可解释性分析加强了模型学会模拟先进物理原则的观察。这些结果代表了建立与神经网络有效预测的新范式的实质性步骤。
translated by 谷歌翻译