人为强迫下未来气候情景的预测对于了解气候变化至关重要,并评估潜在的反演技技术的影响。用于这种预测的机器学习和混合技术依赖于对依赖性敏感但往往微妙的影响的信息测量。对于大气动态,气候系统的关键部分,不确定度量,目前仍然在实践中使用目视检查。然而,这种“眼球度量标准”不能用于机器学习,其中需要算法描述。通过中间神经网络激活的成功作为学习指标的基础,例如,在计算机愿景中,我们提出了一种专为大气动态而设计的新颖,自我监督的代表性学习方法。我们的方法称为Atmodist,在简单的辅助任务上培训一个神经网络:预测随机混合的大气领域的元件之间的时间距离(例如,风场的组件从再分析或模拟中的风场的组件)。该任务迫使网络将数据的重要内在方面作为其层中的激活学习,因此可以获得判别度量。我们通过使用atmodist来证明这一点来定义基于GaN的超分辨率的度量的度量和发散。我们的上部数据在视觉上以及其统计数据方面与高分辨率相匹配,并且基于平均平方误差显着优于最先进的。由于大气逻辑是无监督,因此只需要一个时间的字段序列,并且使用简单的辅助任务,它有可能在各种应用中具有实用性。
translated by 谷歌翻译
在各种机器学习应用中,表示学习已被证明是一种强大的方法。然而,对于大气动力学,迄今为止尚未考虑它,这可以说是由于缺乏可用于培训的大型,标记的数据集。在这项工作中,我们表明困难是良性的,并引入了一项自我监督的学习任务,该任务定义了各种未标记的大气数据集的绝对损失。具体而言,我们在简单而复杂的任务上训练神经网络,即预测与不同但附近的大气场之间的时间距离。我们证明,对ERA5重新分析进行此任务的培训会导致内部表示,从而捕获了大气动态的内在方面。我们通过为大气状态引入数据驱动的距离度量来做到这一点。当在其他机器学习应用程序中用作损失功能时,与经典$ \ ell_2 $ -loss相比,该ATMODIST距离会改善结果。例如,对于缩小缩放,一个人获得了更高的分辨率字段,该字段比以前的方法更接近真正的统计信息,而对于缺失或遮挡数据的插值,ATMODIST距离导致的结果导致包含更真实的精细规模特征的结果。由于它来自观察数据,因此Atmodist还提供了关于大气可预测性的新观点。
translated by 谷歌翻译
许多工程问题需要预测实现实现变异性或建模量的精致描述。在这种情况下,有必要采用未知高维空间的元素,其中可能具有数百万自由度。虽然存在能够具有具有已知形状的概率密度函数(PDF)的方法的方法,但是当分布未知时需要进行若干近似。在本文中,基础分布的采样方法以及底层分布的推动都是用一种称为生成对抗网络(GaN)的数据驱动方法,该方法列举了两个竞争的神经网络来生产可以有效地产生样本的网络从训练集分发。在实践中,通常需要从条件分布中绘制样品。当条件变量是连续的时,可以仅可用对应于调节变量的特定值的一个(如果有)数据点,这不足以估计条件分布。使用PDF的条件时刻的先验估计,处理此问题。这里比较两种方法,随机估计和外部神经网络,用于计算这些时刻;但是,可以使用任何优选的方法。在过滤的湍流流场的解构的情况下,证明了算法。结果表明,与最先进的方法相比,所提出的算法的所有版本有效地对目标条件分布进行了最小的影响,对样品的质量的影响最小。另外,该过程可以用作由连续变量的条件GaN(CGAN)产生的样本的分集的度量。
translated by 谷歌翻译
尽管有持续的改进,但降水预测仍然没有其他气象变量的准确和可靠。造成这种情况的一个主要因素是,几个影响降水分布和强度的关键过程出现在全球天气模型的解决规模以下。计算机视觉社区已经证明了生成的对抗网络(GAN)在超分辨率问题上取得了成功,即学习为粗图像添加精细的结构。 Leinonen等。 (2020年)先前使用GAN来产生重建的高分辨率大气场的集合,并给定较粗糙的输入数据。在本文中,我们证明了这种方法可以扩展到更具挑战性的问题,即通过使用高分辨率雷达测量值作为“地面真相”来提高天气预报模型中相对低分辨率输入的准确性和分辨率。神经网络必须学会添加分辨率和结构,同时考虑不可忽略的预测错误。我们表明,甘斯和vae-gan可以在创建高分辨率的空间相干降水图的同时,可以匹配最新的后处理方法的统计特性。我们的模型比较比较与像素和合并的CRP分数,功率谱信息和等级直方图(用于评估校准)的最佳现有缩减方法。我们测试了我们的模型,并表明它们在各种场景中的表现,包括大雨。
translated by 谷歌翻译
在本文中,我们根据卷积神经网络训练湍流模型。这些学到的湍流模型改善了在模拟时为不可压缩的Navier-Stokes方程的溶解不足的低分辨率解。我们的研究涉及开发可区分的数值求解器,该求解器通过多个求解器步骤支持优化梯度的传播。这些属性的重要性是通过那些模型的出色稳定性和准确性来证明的,这些模型在训练过程中展开了更多求解器步骤。此外,我们基于湍流物理学引入损失项,以进一步提高模型的准确性。这种方法应用于三个二维的湍流场景,一种均匀的腐烂湍流案例,一个暂时进化的混合层和空间不断发展的混合层。与无模型模拟相比,我们的模型在长期A-posterii统计数据方面取得了重大改进,而无需将这些统计数据直接包含在学习目标中。在推论时,我们提出的方法还获得了相似准确的纯粹数值方法的实质性改进。
translated by 谷歌翻译
傅里叶神经运营商(FNO)是一种基于学习的方法,用于有效地模拟部分微分方程。我们提出了分解的傅立叶神经运营商(F-FNO),允许与更深的网络更好地推广。通过仔细组合傅里叶分解,跨所有层,Markov属性和残差连接的共享内核积分运算符,F-FNOS在Navier-Stokes基准数据集的最动力设置上达到六倍的误差。我们表明我们的模型保持了2%的错误率,同时仍然比数值求解器更快地运行幅度,即使问题设置扩展到包括诸如粘度和时变力的附加上下文,也是如此。这使得与相同的预制神经网络能够模拟巨大不同的条件。
translated by 谷歌翻译
生成高度详细的复杂数据是机器学习领域中的长期存在且经常考虑的问题。但是,开发细节感知的发电机仍然是一个具有挑战性和开放的问题。生成对抗网络是许多最新方法的基础。但是,他们引入了第二个网络作为损失函数训练,使对学习功能的解释变得更加困难。作为替代方案,我们提出了一种基于小波损耗公式的新方法,该方法在优化方面保持透明。在生成具有高频细节的数据时,基于小波的损耗函数用于克服常规距离指标(例如L1或L2距离)的局限性。我们表明,我们的方法可以在说明性合成测试案例中成功重建高频细节。此外,我们根据物理模拟应用于更复杂的表面时评估性能。以大致近似的模拟为输入,我们的方法在考虑它们的发展方式的同时进化了相应的空间细节。我们考虑了这个问题,从空间和时间频率方面,并利用训练有我们的小波损失的生成网络来学习表面动力学的所需时空信号。我们通过一组合成波函数测试以及弹性塑料材料的复杂2D和3D动力学测试方法的功能。
translated by 谷歌翻译
拉格朗日轨迹或粒子分散模型以及半拉格朗日对流方案需要气象数据,例如在与常规网格独立移动的粒子的精确时空位置上的风,温度和地球电位。传统上,这种高分辨率数据是通过从气象模型或重新分析的网格数据中插值来获得的,例如在时空中使用线性插值。但是,插值误差是这些模型的巨大错误来源。减少它们需要具有较高空间和时间分辨率的气象输入字段,这可能并不总是可用,并且可能导致严重的数据存储和传输问题。在这里,我们将此问题解释为单个图像序列任务。我们将其本地分辨率可用的气象领域解释为低分辨率图像,并训练深层神经网络以将其提高到更高的分辨率,从而为Lagrangian模型提供了更准确的数据。我们训练各种最先进的版本增强的深层剩余网络,以实现低分辨率ERA5重新分析数据的超分辨率,以将这些数据提高到任意空间分辨率。我们表明,由此产生的向上缩放的风场具有均方根误差,该错误是在可接受的计算推理成本下以线性空间插值获得的风的一半。在使用Lagrangian粒子分散模型Flexpart和减少分辨率的风场的测试设置中,我们证明了计算出的轨迹与以0.5 {\ deg}计算的“地面真相”轨迹的绝对水平运输偏差至少减少了49.59.5。 48小时后,在2 {\ deg}对1 {\ deg}(4 {\ deg}到2 {\ deg})分辨率数据时,使用风数据的线性插值相对于轨迹的%(21.8%)。
translated by 谷歌翻译
具有经典数字求解器的湍流模拟需要非常高分辨率的网格来准确地解决动态。在这里,我们以低空间和时间分辨率培训学习模拟器,以捕获高分辨率产生的湍流动态。我们表明我们所提出的模型可以比各种科学相关指标的相同低分辨率的经典数字求解器更准确地模拟湍流动态。我们的模型从数据训练结束到底,能够以低分辨率学习一系列挑战性的混乱和动态动态,包括最先进的雅典娜++发动机产生的轨迹。我们表明,我们的更简单,通用体系结构优于来自所学到的湍流模拟文献的各种专业的湍流特异性架构。一般来说,我们看到学习的模拟器产生不稳定的轨迹;但是,我们表明调整训练噪音和时间下采样解决了这个问题。我们还发现,虽然超出培训分配的泛化是学习模型,训练噪声,卷积架构以及增加损失约束的挑战。广泛地,我们得出的结论是,我们所知的模拟器优于传统的求解器在较粗糙的网格上运行,并强调简单的设计选择可以提供稳定性和鲁棒的泛化。
translated by 谷歌翻译
Modeling the risk of extreme weather events in a changing climate is essential for developing effective adaptation and mitigation strategies. Although the available low-resolution climate models capture different scenarios, accurate risk assessment for mitigation and adaption often demands detail that they typically cannot resolve. Here, we develop a dynamic data-driven downscaling (super-resolution) method that incorporates physics and statistics in a generative framework to learn the fine-scale spatial details of rainfall. Our method transforms coarse-resolution ($0.25^{\circ} \times 0.25^{\circ}$) climate model outputs into high-resolution ($0.01^{\circ} \times 0.01^{\circ}$) rainfall fields while efficaciously quantifying uncertainty. Results indicate that the downscaled rainfall fields closely match observed spatial fields and their risk distributions.
translated by 谷歌翻译
数据驱动的湍流建模正在经历数据科学算法和硬件开发后的兴趣激增。我们讨论了一种使用可区分物理范式的方法,该方法将已知的物理学与机器学习结合起来,以开发汉堡湍流的闭合模型。我们将1D汉堡系统视为一种原型测试问题,用于建模以对流为主的湍流问题中未解决的术语。我们训练一系列模型,这些模型在后验损失函数上结合了不同程度的物理假设,以测试模型在一系列系统参数(包括粘度,时间和网格分辨率)上的疗效。我们发现,以部分微分方程形式的归纳偏差的约束模型包含已知物理或现有闭合方法会产生高度数据效率,准确和可推广的模型,并且表现优于最先进的基准。以物理信息形式添加结构还为模型带来了一定程度的解释性,可能为封闭建模的未来提供了垫脚石。
translated by 谷歌翻译
超级解决全球气候模拟的粗略产出,称为缩减,对于需要长期气候变化预测的系统做出政治和社会决策至关重要。但是,现有的快速超分辨率技术尚未保留气候数据的空间相关性,这在我们以空间扩展(例如运输基础设施的开发)处理系统时尤其重要。本文中,我们展示了基于对抗性的网络的机器学习,使我们能够在降尺度中正确重建区域间空间相关性,并高达五十,同时保持像素统计的一致性。与测量的温度和降水分布的气象数据的直接比较表明,整合气候上重要的物理信息对于准确的缩减至关重要,这促使我们称我们的方法称为$ \ pi $ srgan(物理学知情的超级分辨率生成生成的对手网络)。本方法对气候变化影响的区域间一致评估具有潜在的应用。
translated by 谷歌翻译
Machine learning models are frequently employed to perform either purely physics-free or hybrid downscaling of climate data. However, the majority of these implementations operate over relatively small downscaling factors of about 4--6x. This study examines the ability of convolutional neural networks (CNN) to downscale surface wind speed data from three different coarse resolutions (25km, 48km, and 100km side-length grid cells) to 3km and additionally focuses on the ability to recover subgrid-scale variability. Within each downscaling factor, namely 8x, 16x, and 32x, we consider models that produce fine-scale wind speed predictions as functions of different input features: coarse wind fields only; coarse wind and fine-scale topography; and coarse wind, topography, and temporal information in the form of a timestamp. Furthermore, we train one model at 25km to 3km resolution whose fine-scale outputs are probability density function parameters through which sample wind speeds can be generated. All CNN predictions performed on one out-of-sample data outperform classical interpolation. Models with coarse wind and fine topography are shown to exhibit the best performance compared to other models operating across the same downscaling factor. Our timestamp encoding results in lower out-of-sample generalizability compared to other input configurations. Overall, the downscaling factor plays the largest role in model performance.
translated by 谷歌翻译
Single image super-resolution is the task of inferring a high-resolution image from a single low-resolution input. Traditionally, the performance of algorithms for this task is measured using pixel-wise reconstruction measures such as peak signal-to-noise ratio (PSNR) which have been shown to correlate poorly with the human perception of image quality. As a result, algorithms minimizing these metrics tend to produce over-smoothed images that lack highfrequency textures and do not look natural despite yielding high PSNR values.We propose a novel application of automated texture synthesis in combination with a perceptual loss focusing on creating realistic textures rather than optimizing for a pixelaccurate reproduction of ground truth images during training. By using feed-forward fully convolutional neural networks in an adversarial training setting, we achieve a significant boost in image quality at high magnification ratios. Extensive experiments on a number of datasets show the effectiveness of our approach, yielding state-of-the-art results in both quantitative and qualitative benchmarks.
translated by 谷歌翻译
在本文中,提出了一种新的深度学习框架,用于血管流动的时间超分辨率模拟,其中从低时间分辨率的流动模拟结果产生高时分分辨时变血管流动模拟。在我们的框架中,Point-Cloud用于表示复杂的血管模型,建议电阻 - 时间辅助表模型用于提取时变流场的时间空间特征,最后我们可以重建高精度和高精度高分辨率流场通过解码器模块。特别地,从速度的矢量特征提出了速度的幅度损失和方向损失。并且这两个度量的组合构成了网络培训的最终损失函数。给出了几个例子来说明血管流动时间超分辨率模拟所提出的框架的有效和效率。
translated by 谷歌翻译
机器学习正迅速成为科学计算的核心技术,并有许多机会推进计算流体动力学领域。从这个角度来看,我们强调了一些潜在影响最高的领域,包括加速直接数值模拟,以改善湍流闭合建模,并开发增强的减少订单模型。我们还讨论了机器学习的新兴领域,这对于计算流体动力学以及应考虑的一些潜在局限性是有希望的。
translated by 谷歌翻译
这本数字本书包含在物理模拟的背景下与深度学习相关的一切实际和全面的一切。尽可能多,所有主题都带有Jupyter笔记本的形式的动手代码示例,以便快速入门。除了标准的受监督学习的数据中,我们将看看物理丢失约束,更紧密耦合的学习算法,具有可微分的模拟,以及加强学习和不确定性建模。我们生活在令人兴奋的时期:这些方法具有从根本上改变计算机模拟可以实现的巨大潜力。
translated by 谷歌翻译
基于深度学习(DL)的降尺度已成为地球科学中的流行工具。越来越多的DL方法被采用来降低降水量的降水量数据,并在局部(〜几公里甚至更小)的尺度上产生更准确和可靠的估计值。尽管有几项研究采用了降水的动力学或统计缩减,但准确性受地面真理的可用性受到限制。衡量此类方法准确性的一个关键挑战是将缩小的数据与点尺度观测值进行比较,这些观察值通常在如此小的尺度上是无法使用的。在这项工作中,我们进行了基于DL的缩减,以估计印度气象部(IMD)的当地降水数据,该数据是通过近似从车站位置到网格点的价值而创建的。为了测试不同DL方法的疗效,我们采用了四种不同的缩小方法并评估其性能。所考虑的方法是(i)深度统计缩小(DEEPSD),增强卷积长期记忆(ConvlstM),完全卷积网络(U-NET)和超分辨率生成对抗网络(SR-GAN)。 SR-GAN中使用的自定义VGG网络是在这项工作中使用沉淀数据开发的。结果表明,SR-GAN是降水数据缩减的最佳方法。 IMD站的降水值验证了缩小的数据。这种DL方法为统计缩减提供了有希望的替代方法。
translated by 谷歌翻译
高维时空动力学通常可以在低维子空间中编码。用于建模,表征,设计和控制此类大规模系统的工程应用通常依赖于降低尺寸,以实时计算解决方案。降低维度的常见范例包括线性方法,例如奇异值分解(SVD)和非线性方法,例如卷积自动编码器(CAE)的变体。但是,这些编码技术缺乏有效地表示与时空数据相关的复杂性的能力,后者通常需要可变的几何形状,非均匀的网格分辨率,自适应网格化和/或参数依赖性。为了解决这些实用的工程挑战,我们提出了一个称为神经隐式流(NIF)的一般框架,该框架可以实现大型,参数,时空数据的网格不稳定,低级别表示。 NIF由两个修改的多层感知器(MLP)组成:(i)shapenet,它分离并代表空间复杂性,以及(ii)参数,该参数解释了任何其他输入复杂性,包括参数依赖关系,时间和传感器测量值。我们演示了NIF用于参数替代建模的实用性,从而实现了复杂时空动力学的可解释表示和压缩,有效的多空间质量任务以及改善了稀疏重建的通用性能。
translated by 谷歌翻译
数值模拟中信息丢失可能来自各种来源,同时求解离散的部分微分方程。特别地,与等效的64位模拟相比,使用低精确的16位浮点算术进行模拟时,与精度相关的错误可能会积累在关注量中。在这里,低精度计算所需的资源要比高精度计算要低得多。最近提出的几种机器学习(ML)技术已成功纠正空间离散化引起的错误。在这项工作中,我们扩展了这些技术,以改善使用低数值精度进行的计算流体动力学(CFD)模拟。我们首先量化了在Kolmogorov强制湍流测试案例中累积的精度相关误差。随后,我们采用了卷积神经网络以及执行16位算术的完全可区分的数值求解器,以学习紧密耦合的ML-CFD混合求解器。与16位求解器相比,我们证明了ML-CFD混合求解器在减少速度场中的误差积累并在较高频率下改善动能光谱的功效。
translated by 谷歌翻译