我们为有限的信息提供了一种用于平行扩散过程的超分辨率模型。虽然大多数超分辨率模型在训练中假设高分辨率(HR)地面真实数据,但在许多情况下,这种HR数据集不易访问。在这里,我们表明,通过基于物理的规则化训练的经常性卷积网络能够在不具有HR地面真实数据的情况下重建HR信息。此外,考虑到超分辨率问题的不良性质,我们采用了经常性的Wasserstein AutoEncoder来模拟不确定性。
translated by 谷歌翻译
可靠,高分辨率气候和天气数据的可用性对于为气候适应和缓解的长期决策提供了重要的意见,并指导对极端事件的快速响应。预测模型受到计算成本的限制,因此通常以粗空间分辨率预测数量。统计降尺度可以提供高采样低分辨率数据的有效方法。在这个领域,经常使用计算机视觉中超分辨率域中的方法成功地应用了深度学习。尽管经常取得令人信服的结果,但这种模型在预测物理变量时通常会违反保护法。为了节省重要的物理量,我们开发的方法可以通过深层缩减模型来确保物理约束,同时还根据传统指标提高其性能。我们介绍了约束网络的两种方法:添加到神经网络末尾的重新归一化层,并连续的方法随着增加的采样因子的增加而扩展。我们使用ERE5重新分析数据显示了我们在不同流行架构和更高采样因子上的方法的适用性。
translated by 谷歌翻译
This work presents a physics-informed deep learning-based super-resolution framework to enhance the spatio-temporal resolution of the solution of time-dependent partial differential equations (PDE). Prior works on deep learning-based super-resolution models have shown promise in accelerating engineering design by reducing the computational expense of traditional numerical schemes. However, these models heavily rely on the availability of high-resolution (HR) labeled data needed during training. In this work, we propose a physics-informed deep learning-based framework to enhance the spatial and temporal resolution of coarse-scale (both in space and time) PDE solutions without requiring any HR data. The framework consists of two trainable modules independently super-resolving the PDE solution, first in spatial and then in temporal direction. The physics based losses are implemented in a novel way to ensure tight coupling between the spatio-temporally refined outputs at different times and improve framework accuracy. We analyze the capability of the developed framework by investigating its performance on an elastodynamics problem. It is observed that the proposed framework can successfully super-resolve (both in space and time) the low-resolution PDE solutions while satisfying physics-based constraints and yielding high accuracy. Furthermore, the analysis and obtained speed-up show that the proposed framework is well-suited for integration with traditional numerical methods to reduce computational complexity during engineering design.
translated by 谷歌翻译
Image super-resolution is a one-to-many problem, but most deep-learning based methods only provide one single solution to this problem. In this work, we tackle the problem of diverse super-resolution by reusing VD-VAE, a state-of-the art variational autoencoder (VAE). We find that the hierarchical latent representation learned by VD-VAE naturally separates the image low-frequency information, encoded in the latent groups at the top of the hierarchy, from the image high-frequency details, determined by the latent groups at the bottom of the latent hierarchy. Starting from this observation, we design a super-resolution model exploiting the specific structure of VD-VAE latent space. Specifically, we train an encoder to encode low-resolution images in the subset of VD-VAE latent space encoding the low-frequency information, and we combine this encoder with VD-VAE generative model to sample diverse super-resolved version of a low-resolution input. We demonstrate the ability of our method to generate diverse solutions to the super-resolution problem on face super-resolution with upsampling factors x4, x8, and x16.
translated by 谷歌翻译
许多工程问题需要预测实现实现变异性或建模量的精致描述。在这种情况下,有必要采用未知高维空间的元素,其中可能具有数百万自由度。虽然存在能够具有具有已知形状的概率密度函数(PDF)的方法的方法,但是当分布未知时需要进行若干近似。在本文中,基础分布的采样方法以及底层分布的推动都是用一种称为生成对抗网络(GaN)的数据驱动方法,该方法列举了两个竞争的神经网络来生产可以有效地产生样本的网络从训练集分发。在实践中,通常需要从条件分布中绘制样品。当条件变量是连续的时,可以仅可用对应于调节变量的特定值的一个(如果有)数据点,这不足以估计条件分布。使用PDF的条件时刻的先验估计,处理此问题。这里比较两种方法,随机估计和外部神经网络,用于计算这些时刻;但是,可以使用任何优选的方法。在过滤的湍流流场的解构的情况下,证明了算法。结果表明,与最先进的方法相比,所提出的算法的所有版本有效地对目标条件分布进行了最小的影响,对样品的质量的影响最小。另外,该过程可以用作由连续变量的条件GaN(CGAN)产生的样本的分集的度量。
translated by 谷歌翻译
复杂物理系统的高保真模拟在时空尺度上昂贵且无法访问。最近,人们对利用深度学习来增强基于粗粒的模拟来增强科学数据的兴趣越来越大,这是廉价的计算费用,并保留了令人满意的解决方案精度。但是,现有的主要工作集中在数据驱动的方法上,这些方法依赖丰富的培训数据集并缺乏足够的身体约束。为此,我们提出了一个通过物理知识学习的新颖而有效的时空超分辨率框架,灵感来自部分微分方程(PDES)中的时间和空间衍生物之间的独立性。一般原则是利用时间插值来进行流量估计,然后引入卷积转递的神经网络以学习时间细化。此外,我们采用了具有较大激活的堆叠残留块,并带有像素舍式的子像素层进行空间重建,其中特征提取是在低分辨率的潜在潜在空间中进行的。此外,我们考虑在网络中严重施加边界条件以提高重建精度。结果表明,通过广泛的数值实验,与基线算法相比,该方法的卓越有效性和效率。
translated by 谷歌翻译
尽管有持续的改进,但降水预测仍然没有其他气象变量的准确和可靠。造成这种情况的一个主要因素是,几个影响降水分布和强度的关键过程出现在全球天气模型的解决规模以下。计算机视觉社区已经证明了生成的对抗网络(GAN)在超分辨率问题上取得了成功,即学习为粗图像添加精细的结构。 Leinonen等。 (2020年)先前使用GAN来产生重建的高分辨率大气场的集合,并给定较粗糙的输入数据。在本文中,我们证明了这种方法可以扩展到更具挑战性的问题,即通过使用高分辨率雷达测量值作为“地面真相”来提高天气预报模型中相对低分辨率输入的准确性和分辨率。神经网络必须学会添加分辨率和结构,同时考虑不可忽略的预测错误。我们表明,甘斯和vae-gan可以在创建高分辨率的空间相干降水图的同时,可以匹配最新的后处理方法的统计特性。我们的模型比较比较与像素和合并的CRP分数,功率谱信息和等级直方图(用于评估校准)的最佳现有缩减方法。我们测试了我们的模型,并表明它们在各种场景中的表现,包括大雨。
translated by 谷歌翻译
超级解决全球气候模拟的粗略产出,称为缩减,对于需要长期气候变化预测的系统做出政治和社会决策至关重要。但是,现有的快速超分辨率技术尚未保留气候数据的空间相关性,这在我们以空间扩展(例如运输基础设施的开发)处理系统时尤其重要。本文中,我们展示了基于对抗性的网络的机器学习,使我们能够在降尺度中正确重建区域间空间相关性,并高达五十,同时保持像素统计的一致性。与测量的温度和降水分布的气象数据的直接比较表明,整合气候上重要的物理信息对于准确的缩减至关重要,这促使我们称我们的方法称为$ \ pi $ srgan(物理学知情的超级分辨率生成生成的对手网络)。本方法对气候变化影响的区域间一致评估具有潜在的应用。
translated by 谷歌翻译
在各种机器学习应用中,表示学习已被证明是一种强大的方法。然而,对于大气动力学,迄今为止尚未考虑它,这可以说是由于缺乏可用于培训的大型,标记的数据集。在这项工作中,我们表明困难是良性的,并引入了一项自我监督的学习任务,该任务定义了各种未标记的大气数据集的绝对损失。具体而言,我们在简单而复杂的任务上训练神经网络,即预测与不同但附近的大气场之间的时间距离。我们证明,对ERA5重新分析进行此任务的培训会导致内部表示,从而捕获了大气动态的内在方面。我们通过为大气状态引入数据驱动的距离度量来做到这一点。当在其他机器学习应用程序中用作损失功能时,与经典$ \ ell_2 $ -loss相比,该ATMODIST距离会改善结果。例如,对于缩小缩放,一个人获得了更高的分辨率字段,该字段比以前的方法更接近真正的统计信息,而对于缺失或遮挡数据的插值,ATMODIST距离导致的结果导致包含更真实的精细规模特征的结果。由于它来自观察数据,因此Atmodist还提供了关于大气可预测性的新观点。
translated by 谷歌翻译
The primary aim of single-image super-resolution is to construct a high-resolution (HR) image from a corresponding low-resolution (LR) input. In previous approaches, which have generally been supervised, the training objective typically measures a pixel-wise average distance between the super-resolved (SR) and HR images. Optimizing such metrics often leads to blurring, especially in high variance (detailed) regions. We propose an alternative formulation of the super-resolution problem based on creating realistic SR images that downscale correctly. We present a novel super-resolution algorithm addressing this problem, PULSE (Photo Upsampling via Latent Space Exploration), which generates high-resolution, realistic images at resolutions previously unseen in the literature. It accomplishes this in an entirely self-supervised fashion and is not confined to a specific degradation operator used during training, unlike previous methods (which require training on databases of LR-HR image pairs for supervised learning). Instead of starting with the LR image and slowly adding detail, PULSE traverses the high-resolution natural image manifold, searching for images that downscale to the original LR image. This is formalized through the "downscaling loss," which guides exploration through the latent space of a generative model. By leveraging properties of high-dimensional Gaussians, we restrict the search space to guarantee that our outputs are realistic. PULSE thereby generates super-resolved images that both are realistic and downscale correctly. We show extensive experimental results demonstrating the efficacy of our approach in the domain of face super-resolution (also known as face hallucination). We also present a discussion of the limitations and biases of the method as currently implemented with an accompanying model card with relevant metrics. Our method outperforms state-of-the-art methods in perceptual quality at higher resolutions and scale factors than previously pos-sible.
translated by 谷歌翻译
在本文中,提出了一种新的深度学习框架,用于血管流动的时间超分辨率模拟,其中从低时间分辨率的流动模拟结果产生高时分分辨时变血管流动模拟。在我们的框架中,Point-Cloud用于表示复杂的血管模型,建议电阻 - 时间辅助表模型用于提取时变流场的时间空间特征,最后我们可以重建高精度和高精度高分辨率流场通过解码器模块。特别地,从速度的矢量特征提出了速度的幅度损失和方向损失。并且这两个度量的组合构成了网络培训的最终损失函数。给出了几个例子来说明血管流动时间超分辨率模拟所提出的框架的有效和效率。
translated by 谷歌翻译
基于有限元分析的传统方法已成功地用于预测在工业应用中广泛使用的异质材料(复合材料,多组分合金和多晶)的宏观行为。但是,这必须使网格大小小于材料中微结构异质性的特征长度尺度,从而导致计算昂贵且耗时的计算。基于深度学习的图像超分辨率(SR)算法的最新进展通过使研究人员能够增强从粗网格模拟获得的数据的时空分辨率来解决这一计算挑战的有希望的途径。然而,在开发高保真SR模型以应用于计算固体力学上,尤其是对于经历较大变形的材料,仍然存在技术挑战。这项工作旨在开发基于深度学习的超分辨率框架(Physrnet),该框架能够从低分辨率对应物中重建高分辨率变形场(位移和压力),而无需高分辨率标记的数据。我们设计了一项合成案例研究,以说明所提出的框架的有效性,并证明超排除的字段与高级数值求解器的准确性相匹配,以粗网格分辨率为400倍,同时满足(高度非线性)控制定律。该方法为应用机器学习和串联的传统数值方法打开了大门,以降低计算复杂性加速科学发现和工程设计。
translated by 谷歌翻译
这项工作提出了一种新的物理信息信息基于深度学习的超分辨率框架,可以从低分辨率对应物重建高分辨率变形领域,从粗地网格模拟或实验中获得。我们利用了物理系统的控制方程和边界条件,在不使用任何高分辨率标记数据的情况下培训模型。所提出的方法用于从低分辨率应力和通过在粗啮环上运行模拟获得的低分辨率应力和位移场来获得超分辨的变形场,以进行线性弹性变形。我们证明,超分辨的字段匹配粗地网格分辨率400倍运行的高级数值求解器的准确性,同时满足管理法律。简要评估研究比较了两种基于深度学习的超分辨率架构的性能。
translated by 谷歌翻译
当将高分辨率(HR)图像降低到低分辨率(LR)图像中时,该图像将失去一些现有信息。因此,多个HR图像可以对应于LR图像。大多数现有方法都不考虑由随机属性引起的不确定性,这只能从概率上推断出来。因此,预测的HR图像通常是模糊的,因为网络试图反映单个输出图像中的所有可能性。为了克服这一限制,本文提出了一种新颖的面部超分辨率(SR)方案,以通过随机建模来探讨不确定性。具体而言,LR图像中的信息分别编码为确定性和随机属性。此外,提出了一个输入条件属性预测因子并分别训练,以预测仅从LR图像的部分生存的随机属性。广泛的评估表明,所提出的方法成功地降低了学习过程中的不确定性,并优于现有的最新方法。
translated by 谷歌翻译
Denoising diffusion probabilistic models are a promising new class of generative models that mark a milestone in high-quality image generation. This paper showcases their ability to sequentially generate video, surpassing prior methods in perceptual and probabilistic forecasting metrics. We propose an autoregressive, end-to-end optimized video diffusion model inspired by recent advances in neural video compression. The model successively generates future frames by correcting a deterministic next-frame prediction using a stochastic residual generated by an inverse diffusion process. We compare this approach against five baselines on four datasets involving natural and simulation-based videos. We find significant improvements in terms of perceptual quality for all datasets. Furthermore, by introducing a scalable version of the Continuous Ranked Probability Score (CRPS) applicable to video, we show that our model also outperforms existing approaches in their probabilistic frame forecasting ability.
translated by 谷歌翻译
Machine learning models are frequently employed to perform either purely physics-free or hybrid downscaling of climate data. However, the majority of these implementations operate over relatively small downscaling factors of about 4--6x. This study examines the ability of convolutional neural networks (CNN) to downscale surface wind speed data from three different coarse resolutions (25km, 48km, and 100km side-length grid cells) to 3km and additionally focuses on the ability to recover subgrid-scale variability. Within each downscaling factor, namely 8x, 16x, and 32x, we consider models that produce fine-scale wind speed predictions as functions of different input features: coarse wind fields only; coarse wind and fine-scale topography; and coarse wind, topography, and temporal information in the form of a timestamp. Furthermore, we train one model at 25km to 3km resolution whose fine-scale outputs are probability density function parameters through which sample wind speeds can be generated. All CNN predictions performed on one out-of-sample data outperform classical interpolation. Models with coarse wind and fine topography are shown to exhibit the best performance compared to other models operating across the same downscaling factor. Our timestamp encoding results in lower out-of-sample generalizability compared to other input configurations. Overall, the downscaling factor plays the largest role in model performance.
translated by 谷歌翻译
超级分辨率是一个不良问题,其中基本真理的高分辨率图像仅代表合理解决方案的空间中的一种可能性。然而,主导范式是采用像素 - 明智的损失,例如L_1,其驱动预测模糊的平均值。当与对抗性损失相结合时,这导致了根本相互矛盾的目标,这降低了最终质量。我们通过重新审视L_1丢失来解决此问题,并表明它对应于单层条件流程。灵感来自这一关系,我们探讨了一般流动作为L_1目标的忠诚替代品。我们证明,在与对抗性损失结合时,更深流量的灵活性导致更好的视觉质量和一致性。我们对三个数据集和比例因子进行广泛的用户研究,其中我们的方法被证明了为光逼真的超分辨率优于最先进的方法。代码和培训的型号可在:git.io/adflow
translated by 谷歌翻译
拉格朗日轨迹或粒子分散模型以及半拉格朗日对流方案需要气象数据,例如在与常规网格独立移动的粒子的精确时空位置上的风,温度和地球电位。传统上,这种高分辨率数据是通过从气象模型或重新分析的网格数据中插值来获得的,例如在时空中使用线性插值。但是,插值误差是这些模型的巨大错误来源。减少它们需要具有较高空间和时间分辨率的气象输入字段,这可能并不总是可用,并且可能导致严重的数据存储和传输问题。在这里,我们将此问题解释为单个图像序列任务。我们将其本地分辨率可用的气象领域解释为低分辨率图像,并训练深层神经网络以将其提高到更高的分辨率,从而为Lagrangian模型提供了更准确的数据。我们训练各种最先进的版本增强的深层剩余网络,以实现低分辨率ERA5重新分析数据的超分辨率,以将这些数据提高到任意空间分辨率。我们表明,由此产生的向上缩放的风场具有均方根误差,该错误是在可接受的计算推理成本下以线性空间插值获得的风的一半。在使用Lagrangian粒子分散模型Flexpart和减少分辨率的风场的测试设置中,我们证明了计算出的轨迹与以0.5 {\ deg}计算的“地面真相”轨迹的绝对水平运输偏差至少减少了49.59.5。 48小时后,在2 {\ deg}对1 {\ deg}(4 {\ deg}到2 {\ deg})分辨率数据时,使用风数据的线性插值相对于轨迹的%(21.8%)。
translated by 谷歌翻译
本文提出了动态系统的不确定性定量(UQ),这是一种基于物理信息的生成对抗网络(GAN)。流动流基地采用标准化流程模型作为发电机,以明确估计数据的可能性。对该流模型进行了训练,以最大程度地提高数据的可能性并生成可以欺骗卷积歧视者的合成数据。我们使用先前的物理信息(所谓的物理学深度学习(PIDL))进一步正规化了这一训练过程。据我们所知,我们是第一个为UQ问题提供流动,GAN和PIDL的集成的人。我们采用交通状态估计(TSE),旨在使用部分观察到的数据来估计流量变量(例如,交通密度和速度),以证明我们提出的模型的性能。我们进行数值实验,其中应用了所提出的模型来学习随机微分方程的解决方案。结果证明了所提出的模型的鲁棒性和准确性,以及学习机器学习替代模型的能力。我们还在现实世界数据集(NGSIM)上对其进行了测试,以证明所提出的流量流可以胜过基线,包括纯流程模型,物理信息信息流量模型和基于流量的GAN模型。
translated by 谷歌翻译
基于深度学习(DL)的降尺度已成为地球科学中的流行工具。越来越多的DL方法被采用来降低降水量的降水量数据,并在局部(〜几公里甚至更小)的尺度上产生更准确和可靠的估计值。尽管有几项研究采用了降水的动力学或统计缩减,但准确性受地面真理的可用性受到限制。衡量此类方法准确性的一个关键挑战是将缩小的数据与点尺度观测值进行比较,这些观察值通常在如此小的尺度上是无法使用的。在这项工作中,我们进行了基于DL的缩减,以估计印度气象部(IMD)的当地降水数据,该数据是通过近似从车站位置到网格点的价值而创建的。为了测试不同DL方法的疗效,我们采用了四种不同的缩小方法并评估其性能。所考虑的方法是(i)深度统计缩小(DEEPSD),增强卷积长期记忆(ConvlstM),完全卷积网络(U-NET)和超分辨率生成对抗网络(SR-GAN)。 SR-GAN中使用的自定义VGG网络是在这项工作中使用沉淀数据开发的。结果表明,SR-GAN是降水数据缩减的最佳方法。 IMD站的降水值验证了缩小的数据。这种DL方法为统计缩减提供了有希望的替代方法。
translated by 谷歌翻译