我们展示了OpenFWI,是用于地震全波形反演(FWI)的大型开源基准数据集的集合。OpenFWI是地球科学和机器学习界的一流,以促进对基于机器学习的FWI多元化,严谨和可重复的研究。OpenFWI包括多个尺度的数据集,包含不同的域,涵盖各种级别的模型复杂性。除了数据集之外,我们还对每个数据集进行实证研究,具有完全卷积的深度学习模型。OpenFWI已被核心维护,并将通过新数据和实验结果定期更新。我们感谢社区的投入,帮助我们进一步改进OpenFWI。在当前版本,我们在OpenFWI中发布了七个数据集,其中为3D FWI指定了一个,其余的是2D场景。所有数据集和相关信息都可以通过我们的网站访问https://openfwi.github.io/。
translated by 谷歌翻译
反转技术被广泛用于重建基于表面的地球物理测量值(例如,地震,电气/磁(EM)数据)的地下物理特性(例如,速度,电导率)。这些问题受波浪或麦克斯韦方程等部分微分方程(PDE)的控制。解决地球物理反演问题由于不适当和高计算成本而具有挑战性。为了减轻这些问题,最近的研究利用深层神经网络来学习从测量到物业的倒置映射。在本文中,我们表明,这样的映射可以通过仅有五层的非常浅(但不是宽)网络来很好地建模。这是基于我们对有趣属性的新发现来实现的:在高维空间中应用积分变换后,输入和输出之间的近乎线性关系。特别是,在处理由波方程控制的从地震数据到地下速度的反演时,与高斯核的速度的积分结果与正弦核的地震数据的积分线性相关。此外,该属性可以轻松地转变为用于反转的轻质编码器网络。编码器包含地震数据和线性转换的整合,而无需进行微调。解码器仅由一个单个变压器块组成,以逆转速度的积分。实验表明,这种有趣的属性可用于四个不同数据集的两个地球物理倒置问题。与更深的倒置网络相比,我们的方法达到了可比的精度,但消耗的参数大大减少。
translated by 谷歌翻译
数据驱动方法已被证明是解决复杂科学问题的有希望的技术。全波形反转(FWI)通常被阐述为图像到图像转换任务,这激励了深度神经网络作为端到端解决方案的使用。尽管采用了合成数据培训,但在用足够的真实数据评估时,深度学习驱动的FWI预计将表现良好。在本文中,我们通过询问研究此类属性:这些深度神经网络的强大是如何发展以及它们如何概括?对于稳健性,我们证明了从清洁和嘈杂数据之间预测之间的偏差的上限。此外,我们展示了噪声水平与额外损失增益之间的相互作用。对于泛化,我们通过稳定性泛化框架证明了基于常规的泛化误差。地震FWI数据集与理论结果的实验​​结果,揭示了利用深度学习对复杂的科学应用的影响。
translated by 谷歌翻译
在对地下地震成像的研究中,求解声波方程是现有模型中的关键成分。随着深度学习的发展,神经网络通过学习输入和方程解决方案之间的映射,特别是波动方程式,将神经网络应用于数值求解部分微分方程,因为如果要花很多时间,传统方法可能会很耗时解决了。以前专注于通过神经网络解决波动方程的工作考虑单个速度模型或多个简单速度模型,这在实践中受到限制。因此,受操作员学习的构想的启发,这项工作利用了傅立叶神经操作员(FNO)在可变速度模型的背景下有效地学习频域地震波场。此外,我们提出了一个与傅立叶神经操作员(PFNO)并行的新框架,以有效地训练基于FNO的求解器,给定多个源位置和频率。数值实验证明了OpenFWI数据集中使用复杂速度模型的FNO和PFNO的高精度。此外,跨数据集泛化测试验证了PFNO适应过分速度模型的。同样,在标签中存在随机噪声的情况下,PFNO具有强大的性能。最后,与传统的有限差异方法相比,PFNO在大规模测试数据集上接受了更高的计算效率。上述优势赋予了基于FNO的求解器的潜力,可以为地震波研究建立强大的模型。
translated by 谷歌翻译
Machine learning-based modeling of physical systems has experienced increased interest in recent years. Despite some impressive progress, there is still a lack of benchmarks for Scientific ML that are easy to use but still challenging and representative of a wide range of problems. We introduce PDEBench, a benchmark suite of time-dependent simulation tasks based on Partial Differential Equations (PDEs). PDEBench comprises both code and data to benchmark the performance of novel machine learning models against both classical numerical simulations and machine learning baselines. Our proposed set of benchmark problems contribute the following unique features: (1) A much wider range of PDEs compared to existing benchmarks, ranging from relatively common examples to more realistic and difficult problems; (2) much larger ready-to-use datasets compared to prior work, comprising multiple simulation runs across a larger number of initial and boundary conditions and PDE parameters; (3) more extensible source codes with user-friendly APIs for data generation and baseline results with popular machine learning models (FNO, U-Net, PINN, Gradient-Based Inverse Method). PDEBench allows researchers to extend the benchmark freely for their own purposes using a standardized API and to compare the performance of new models to existing baseline methods. We also propose new evaluation metrics with the aim to provide a more holistic understanding of learning methods in the context of Scientific ML. With those metrics we identify tasks which are challenging for recent ML methods and propose these tasks as future challenges for the community. The code is available at https://github.com/pdebench/PDEBench.
translated by 谷歌翻译
本文介绍了频率卷积神经网络(CNN),用于快速,无创的​​2D剪切波速度(VS)成像的近表面地质材料。在频速度域中运行,可以在用于生成CNN输入的线性阵列,主动源实验测试配置中具有显着的灵活性,这些配置是归一化的分散图像。与波场图像不同,标准化的分散图像对实验测试配置相对不敏感,可容纳各种源类型,源偏移,接收器数量和接收器间距。我们通过将其应用于经典的近乎表面地球物理学问题,即成像两层,起伏的土壤 - 旁质界面的界面来证明频率CNN的有效性。最近,通过开发一个时间距离CNN来研究这个问题,该问题表现出了很大的希望,但在使用不同的现场测试配置方面缺乏灵活性。本文中,新的频道CNN显示出与时距CNN的可比精度,同时提供了更大的灵活性来处理各种现场应用程序。使用100,000个合成近表面模型对频率速度CNN进行了训练,验证和测试。首先,使用训练集的合成近表面模型测试了提议的频率CNN跨各种采集配置概括跨各种采集配置的能力,然后应用于在Austin的Hornsby Bend在Austin的Hornsby Bend收集的实验场数据美国德克萨斯州,美国。当针对更广泛的地质条件范围充分开发时,提出的CNN最终可以用作当前伪2D表面波成像技术的快速,端到端替代方案,或开发用于完整波形倒置的启动模型。
translated by 谷歌翻译
高维时空动力学通常可以在低维子空间中编码。用于建模,表征,设计和控制此类大规模系统的工程应用通常依赖于降低尺寸,以实时计算解决方案。降低维度的常见范例包括线性方法,例如奇异值分解(SVD)和非线性方法,例如卷积自动编码器(CAE)的变体。但是,这些编码技术缺乏有效地表示与时空数据相关的复杂性的能力,后者通常需要可变的几何形状,非均匀的网格分辨率,自适应网格化和/或参数依赖性。为了解决这些实用的工程挑战,我们提出了一个称为神经隐式流(NIF)的一般框架,该框架可以实现大型,参数,时空数据的网格不稳定,低级别表示。 NIF由两个修改的多层感知器(MLP)组成:(i)shapenet,它分离并代表空间复杂性,以及(ii)参数,该参数解释了任何其他输入复杂性,包括参数依赖关系,时间和传感器测量值。我们演示了NIF用于参数替代建模的实用性,从而实现了复杂时空动力学的可解释表示和压缩,有效的多空间质量任务以及改善了稀疏重建的通用性能。
translated by 谷歌翻译
这本数字本书包含在物理模拟的背景下与深度学习相关的一切实际和全面的一切。尽可能多,所有主题都带有Jupyter笔记本的形式的动手代码示例,以便快速入门。除了标准的受监督学习的数据中,我们将看看物理丢失约束,更紧密耦合的学习算法,具有可微分的模拟,以及加强学习和不确定性建模。我们生活在令人兴奋的时期:这些方法具有从根本上改变计算机模拟可以实现的巨大潜力。
translated by 谷歌翻译
With the development of convolutional neural networks, hundreds of deep learning based dehazing methods have been proposed. In this paper, we provide a comprehensive survey on supervised, semi-supervised, and unsupervised single image dehazing. We first discuss the physical model, datasets, network modules, loss functions, and evaluation metrics that are commonly used. Then, the main contributions of various dehazing algorithms are categorized and summarized. Further, quantitative and qualitative experiments of various baseline methods are carried out. Finally, the unsolved issues and challenges that can inspire the future research are pointed out. A collection of useful dehazing materials is available at \url{https://github.com/Xiaofeng-life/AwesomeDehazing}.
translated by 谷歌翻译
压缩传感(CS)一直在加速磁共振成像(MRI)采集过程中的关键作用。随着人工智能的复苏,深神经网络和CS算法正在集成以重新定义快速MRI的领域。过去几年目睹了基于深度学习的CS技术的复杂性,多样性和表现的大量增长,这些技术致力于快速MRI。在该荟萃分析中,我们系统地审查了快速MRI的深度学习的CS技术,描述了关键模型设计,突出突破,并讨论了有希望的方向。我们还介绍了一个综合分析框架和分类系统,以评估深度学习在基于CS的加速度的MRI的关键作用。
translated by 谷歌翻译
使用计算流体动力学(CFD)方法近似风流可能是耗时的。创建用于在观察风流量变化的同时以交互式设计原型的工具需要更简单的模型来模拟更快。代替运行数值近似导致的详细计算,深度学习中的数据驱动方法可能能够在一小部分中提供类似的结果。这项工作将使用CFD计算到计算3D流场的问题,以在建筑占地面积上使用CFD到基于2D图像到图像转换的问题,以预测行人高度水平的流场。我们调查使用生成的对冲网络(GAN),例如PIX2PIX [1]和CYCREGAN [2]代表各种域中的图像到图像转换任务以及U-Net AutoEncoder [ 3]。模型可以以数据驱动的方式学习数据集的基础分布,我们认为可以帮助模型从CFD中了解底层雷诺平均的Navier-Stokes(RANS)方程。我们在具有且没有高度信息的各种三维诈唬型建筑物上进行新型模拟数据集。此外,我们为生成的图像提供了广泛的定性和定量评估,以选择模型,并将其性能与CFD传递的模拟进行比较。然后,我们通过提出用于在不同架构上注入这种信息的一般框架,将位置数据添加到输入可以产生更准确的结果。此外,我们表明模型通过应用注意机制和光谱归一化来改善,以便于稳定训练。
translated by 谷歌翻译
物理信息的神经网络(PINN)是神经网络(NNS),它们作为神经网络本身的组成部分编码模型方程,例如部分微分方程(PDE)。如今,PINN是用于求解PDE,分数方程,积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架,在该框架中,NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述:虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络,这些神经网络构成了香草·皮恩(Vanilla Pinn)以及许多其他变体,例如物理受限的神经网络(PCNN),各种HP-VPINN,变量HP-VPINN,VPINN,VPINN,变体。和保守的Pinn(CPINN)。该研究表明,大多数研究都集中在通过不同的激活功能,梯度优化技术,神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛,但通过证明其在某些情况下比有限元方法(FEM)等经典数值技术更可行的能力,但仍有可能的进步,最著名的是尚未解决的理论问题。
translated by 谷歌翻译
Recent years have witnessed a growth in mathematics for deep learning--which seeks a deeper understanding of the concepts of deep learning with mathematics, and explores how to make it more robust--and deep learning for mathematics, where deep learning algorithms are used to solve problems in mathematics. The latter has popularised the field of scientific machine learning where deep learning is applied to problems in scientific computing. Specifically, more and more neural network architectures have been developed to solve specific classes of partial differential equations (PDEs). Such methods exploit properties that are inherent to PDEs and thus solve the PDEs better than classical feed-forward neural networks, recurrent neural networks, and convolutional neural networks. This has had a great impact in the area of mathematical modeling where parametric PDEs are widely used to model most natural and physical processes arising in science and engineering, In this work, we review such methods and extend them for parametric studies as well as for solving the related inverse problems. We equally proceed to show their relevance in some industrial applications.
translated by 谷歌翻译
随着深度学习(DL)的出现,超分辨率(SR)也已成为一个蓬勃发展的研究领域。然而,尽管结果有希望,但该领域仍然面临需要进一步研究的挑战,例如,允许灵活地采样,更有效的损失功能和更好的评估指标。我们根据最近的进步来回顾SR的域,并检查最新模型,例如扩散(DDPM)和基于变压器的SR模型。我们对SR中使用的当代策略进行了批判性讨论,并确定了有前途但未开发的研究方向。我们通过纳入该领域的最新发展,例如不确定性驱动的损失,小波网络,神经体系结构搜索,新颖的归一化方法和最新评估技术来补充先前的调查。我们还为整章中的模型和方法提供了几种可视化,以促进对该领域趋势的全球理解。最终,这篇综述旨在帮助研究人员推动DL应用于SR的界限。
translated by 谷歌翻译
信号处理是几乎任何传感器系统的基本组件,具有不同科学学科的广泛应用。时间序列数据,图像和视频序列包括可以增强和分析信息提取和量化的代表性形式的信号。人工智能和机器学习的最近进步正在转向智能,数据驱动,信号处理的研究。该路线图呈现了最先进的方法和应用程序的关键概述,旨在突出未来的挑战和对下一代测量系统的研究机会。它涵盖了广泛的主题,从基础到工业研究,以简明的主题部分组织,反映了每个研究领域的当前和未来发展的趋势和影响。此外,它为研究人员和资助机构提供了识别新前景的指导。
translated by 谷歌翻译
电磁源成像(ESI)需要解决高度不良的反问题。为了寻求独特的解决方案,传统的ESI方法施加了各种形式的先验,这些方法可能无法准确反映实际的源属性,这可能会阻碍其广泛的应用。为了克服这一局限性,在本文中,提出了一种新的数据合成的时空卷积编码器网络方法,称为dst-cednet。 DST-CEDNET将ESI作为机器学习问题重新铸造,其中歧视性学习和潜在空间表示形式集成到卷积编码器decoder网络(CEDNET)中,以从测量的电脑摄影/磁脑摄影学(E/MEG)信号中学习强大的映射,大脑活动。特别是,通过纳入有关动态大脑活动的先验知识,设计了一种新型的数据合成策略来生成大规模样本,以有效训练Cednet。这与传统的ESI方法相反,在传统的ESI方法中,通常通过主要旨在用于数学便利的约束来实施先前的信息。广泛的数值实验以及对真实MEG和癫痫脑电图数据集的分析表明,DST-Cednet在多种源配置下稳健估计源信号的多种最新ESI方法的表现。
translated by 谷歌翻译
地震数据处理在很大程度上取决于物理驱动的反问题的解决方案。在存在不利的数据采集条件下(例如,源和/或接收器的规则或不规则的粗略采样),基本的反问题变得非常不适,需要先进的信息才能获得令人满意的解决方案。刺激性反演,再加上固定基础的稀疏转换,代表了许多处理任务的首选方法,因为其实施简单性并在各种采集方案中都成功地应用了成功应用。利用深神经网络找到复杂的多维矢量空间的紧凑表示的能力,我们建议训练自动编码器网络,以了解输入地震数据和代表性潜流歧管之间的直接映射。随后,训练有素的解码器被用作手头物理驱动的逆问题的非线性预处理。提供了各种地震处理任务的合成数据和现场数据,并且所提出的非线性,学习的转换被证明超过了固定基本的转换,并更快地收敛到所寻求的解决方案。
translated by 谷歌翻译
Delimiting salt inclusions from migrated images is a time-consuming activity that relies on highly human-curated analysis and is subject to interpretation errors or limitations of the methods available. We propose to use migrated images produced from an inaccurate velocity model (with a reasonable approximation of sediment velocity, but without salt inclusions) to predict the correct salt inclusions shape using a Convolutional Neural Network (CNN). Our approach relies on subsurface Common Image Gathers to focus the sediments' reflections around the zero offset and to spread the energy of salt reflections over large offsets. Using synthetic data, we trained a U-Net to use common-offset subsurface images as input channels for the CNN and the correct salt-masks as network output. The network learned to predict the salt inclusions masks with high accuracy; moreover, it also performed well when applied to synthetic benchmark data sets that were not previously introduced. Our training process tuned the U-Net to successfully learn the shape of complex salt bodies from partially focused subsurface offset images.
translated by 谷歌翻译
Despite great progress in simulating multiphysics problems using the numerical discretization of partial differential equations (PDEs), one still cannot seamlessly incorporate noisy data into existing algorithms, mesh generation remains complex, and high-dimensional problems governed by parameterized PDEs cannot be tackled. Moreover, solving inverse problems with hidden physics is often prohibitively expensive and requires different formulations and elaborate computer codes. Machine learning has emerged as a promising alternative, but training deep neural networks requires big data, not always available for scientific problems. Instead, such networks can be trained from additional information obtained by enforcing the physical laws (for example, at random points in the continuous space-time domain). Such physics-informed learning integrates (noisy) data and mathematical models, and implements them through neural networks or other kernel-based regression networks. Moreover, it may be possible to design specialized network architectures that automatically satisfy some of the physical invariants for better accuracy, faster training and improved generalization. Here, we review some of the prevailing trends in embedding physics into machine learning, present some of the current capabilities and limitations and discuss diverse applications of physics-informed learning both for forward and inverse problems, including discovering hidden physics and tackling high-dimensional problems.
translated by 谷歌翻译
颠倒地震数据以建立3D地质结构是一项艰巨的任务,这是由于大量获得的地震数据,以及由于波动方程的迭代数值解决方案而引起的最高计算负载,如行业标准的工具所要求的,例如Full WaveForm反转(FWI)。例如,在3.5公里$ \ $ 4.5公里的地面尺寸的区域中,3D模型重建需要数百个地震射击场立方体,从而导致记录数据的Terabytes。本文提出了一种深度学习解决方案,用于在地震调查中记录的田间噪声的情况下重建现实的3D模型。我们实施和分析了一个卷积编码器架构,该体系结构有效地处理了数百种地震收集立方体的整个集合。所提出的解决方案表明,在存在10dB信噪比的场噪声的情况下,可以以结构相似性指数度量(SSIM)为0.8554(在1.0中)重建现实的3D模型。
translated by 谷歌翻译