反转技术被广泛用于重建基于表面的地球物理测量值(例如,地震,电气/磁(EM)数据)的地下物理特性(例如,速度,电导率)。这些问题受波浪或麦克斯韦方程等部分微分方程(PDE)的控制。解决地球物理反演问题由于不适当和高计算成本而具有挑战性。为了减轻这些问题,最近的研究利用深层神经网络来学习从测量到物业的倒置映射。在本文中,我们表明,这样的映射可以通过仅有五层的非常浅(但不是宽)网络来很好地建模。这是基于我们对有趣属性的新发现来实现的:在高维空间中应用积分变换后,输入和输出之间的近乎线性关系。特别是,在处理由波方程控制的从地震数据到地下速度的反演时,与高斯核的速度的积分结果与正弦核的地震数据的积分线性相关。此外,该属性可以轻松地转变为用于反转的轻质编码器网络。编码器包含地震数据和线性转换的整合,而无需进行微调。解码器仅由一个单个变压器块组成,以逆转速度的积分。实验表明,这种有趣的属性可用于四个不同数据集的两个地球物理倒置问题。与更深的倒置网络相比,我们的方法达到了可比的精度,但消耗的参数大大减少。
translated by 谷歌翻译
我们展示了OpenFWI,是用于地震全波形反演(FWI)的大型开源基准数据集的集合。OpenFWI是地球科学和机器学习界的一流,以促进对基于机器学习的FWI多元化,严谨和可重复的研究。OpenFWI包括多个尺度的数据集,包含不同的域,涵盖各种级别的模型复杂性。除了数据集之外,我们还对每个数据集进行实证研究,具有完全卷积的深度学习模型。OpenFWI已被核心维护,并将通过新数据和实验结果定期更新。我们感谢社区的投入,帮助我们进一步改进OpenFWI。在当前版本,我们在OpenFWI中发布了七个数据集,其中为3D FWI指定了一个,其余的是2D场景。所有数据集和相关信息都可以通过我们的网站访问https://openfwi.github.io/。
translated by 谷歌翻译
在对地下地震成像的研究中,求解声波方程是现有模型中的关键成分。随着深度学习的发展,神经网络通过学习输入和方程解决方案之间的映射,特别是波动方程式,将神经网络应用于数值求解部分微分方程,因为如果要花很多时间,传统方法可能会很耗时解决了。以前专注于通过神经网络解决波动方程的工作考虑单个速度模型或多个简单速度模型,这在实践中受到限制。因此,受操作员学习的构想的启发,这项工作利用了傅立叶神经操作员(FNO)在可变速度模型的背景下有效地学习频域地震波场。此外,我们提出了一个与傅立叶神经操作员(PFNO)并行的新框架,以有效地训练基于FNO的求解器,给定多个源位置和频率。数值实验证明了OpenFWI数据集中使用复杂速度模型的FNO和PFNO的高精度。此外,跨数据集泛化测试验证了PFNO适应过分速度模型的。同样,在标签中存在随机噪声的情况下,PFNO具有强大的性能。最后,与传统的有限差异方法相比,PFNO在大规模测试数据集上接受了更高的计算效率。上述优势赋予了基于FNO的求解器的潜力,可以为地震波研究建立强大的模型。
translated by 谷歌翻译
物理信息的神经网络(PINN)是神经网络(NNS),它们作为神经网络本身的组成部分编码模型方程,例如部分微分方程(PDE)。如今,PINN是用于求解PDE,分数方程,积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架,在该框架中,NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述:虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络,这些神经网络构成了香草·皮恩(Vanilla Pinn)以及许多其他变体,例如物理受限的神经网络(PCNN),各种HP-VPINN,变量HP-VPINN,VPINN,VPINN,变体。和保守的Pinn(CPINN)。该研究表明,大多数研究都集中在通过不同的激活功能,梯度优化技术,神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛,但通过证明其在某些情况下比有限元方法(FEM)等经典数值技术更可行的能力,但仍有可能的进步,最著名的是尚未解决的理论问题。
translated by 谷歌翻译
电磁(EM)成像广泛用于感应安全性,生物医学,地球物理学和各种行业。这是一个不当的逆问题,其解决方案通常在计算上昂贵。机器学习(ML)技术,尤其是深度学习(DL)在快速准确的成像中显示出潜力。但是,纯粹的数据驱动方法的高性能依赖于构建与实用方案一致的训练集,而在EM成像任务中通常不可能。因此,普遍性成为主要问题。另一方面,物理原理是EM现象的基础,并为当前的成像技术提供了基准。为了从大数据中的先验知识和物理定律的理论约束中受益,物理学嵌入的ML成像方法已成为近期大量工作的重点。本文调查了各种方案,以将物理学纳入基于学习的EM成像中。我们首先介绍有关逆问题的EM成像和基本公式的背景。然后,我们专注于将物理和ML进行线性和非线性成像组合的三种类型的策略,并讨论它们的优势和局限性。最后,我们在这个快速发展的领域中以公开的挑战和可能的前进方式得出结论。我们的目的是促进将有效,可解释和可控制的智能EM成像方法的研究。
translated by 谷歌翻译
神经网络的经典发展主要集中在有限维欧基德空间或有限组之间的学习映射。我们提出了神经网络的概括,以学习映射无限尺寸函数空间之间的运算符。我们通过一类线性积分运算符和非线性激活函数的组成制定运营商的近似,使得组合的操作员可以近似复杂的非线性运算符。我们证明了我们建筑的普遍近似定理。此外,我们介绍了四类运算符参数化:基于图形的运算符,低秩运算符,基于多极图形的运算符和傅里叶运算符,并描述了每个用于用每个计算的高效算法。所提出的神经运营商是决议不变的:它们在底层函数空间的不同离散化之间共享相同的网络参数,并且可以用于零击超分辨率。在数值上,与现有的基于机器学习的方法,达西流程和Navier-Stokes方程相比,所提出的模型显示出卓越的性能,而与传统的PDE求解器相比,与现有的基于机器学习的方法有关的基于机器学习的方法。
translated by 谷歌翻译
高维时空动力学通常可以在低维子空间中编码。用于建模,表征,设计和控制此类大规模系统的工程应用通常依赖于降低尺寸,以实时计算解决方案。降低维度的常见范例包括线性方法,例如奇异值分解(SVD)和非线性方法,例如卷积自动编码器(CAE)的变体。但是,这些编码技术缺乏有效地表示与时空数据相关的复杂性的能力,后者通常需要可变的几何形状,非均匀的网格分辨率,自适应网格化和/或参数依赖性。为了解决这些实用的工程挑战,我们提出了一个称为神经隐式流(NIF)的一般框架,该框架可以实现大型,参数,时空数据的网格不稳定,低级别表示。 NIF由两个修改的多层感知器(MLP)组成:(i)shapenet,它分离并代表空间复杂性,以及(ii)参数,该参数解释了任何其他输入复杂性,包括参数依赖关系,时间和传感器测量值。我们演示了NIF用于参数替代建模的实用性,从而实现了复杂时空动力学的可解释表示和压缩,有效的多空间质量任务以及改善了稀疏重建的通用性能。
translated by 谷歌翻译
These notes were compiled as lecture notes for a course developed and taught at the University of the Southern California. They should be accessible to a typical engineering graduate student with a strong background in Applied Mathematics. The main objective of these notes is to introduce a student who is familiar with concepts in linear algebra and partial differential equations to select topics in deep learning. These lecture notes exploit the strong connections between deep learning algorithms and the more conventional techniques of computational physics to achieve two goals. First, they use concepts from computational physics to develop an understanding of deep learning algorithms. Not surprisingly, many concepts in deep learning can be connected to similar concepts in computational physics, and one can utilize this connection to better understand these algorithms. Second, several novel deep learning algorithms can be used to solve challenging problems in computational physics. Thus, they offer someone who is interested in modeling a physical phenomena with a complementary set of tools.
translated by 谷歌翻译
Recent years have witnessed a growth in mathematics for deep learning--which seeks a deeper understanding of the concepts of deep learning with mathematics, and explores how to make it more robust--and deep learning for mathematics, where deep learning algorithms are used to solve problems in mathematics. The latter has popularised the field of scientific machine learning where deep learning is applied to problems in scientific computing. Specifically, more and more neural network architectures have been developed to solve specific classes of partial differential equations (PDEs). Such methods exploit properties that are inherent to PDEs and thus solve the PDEs better than classical feed-forward neural networks, recurrent neural networks, and convolutional neural networks. This has had a great impact in the area of mathematical modeling where parametric PDEs are widely used to model most natural and physical processes arising in science and engineering, In this work, we review such methods and extend them for parametric studies as well as for solving the related inverse problems. We equally proceed to show their relevance in some industrial applications.
translated by 谷歌翻译
数据驱动方法已被证明是解决复杂科学问题的有希望的技术。全波形反转(FWI)通常被阐述为图像到图像转换任务,这激励了深度神经网络作为端到端解决方案的使用。尽管采用了合成数据培训,但在用足够的真实数据评估时,深度学习驱动的FWI预计将表现良好。在本文中,我们通过询问研究此类属性:这些深度神经网络的强大是如何发展以及它们如何概括?对于稳健性,我们证明了从清洁和嘈杂数据之间预测之间的偏差的上限。此外,我们展示了噪声水平与额外损失增益之间的相互作用。对于泛化,我们通过稳定性泛化框架证明了基于常规的泛化误差。地震FWI数据集与理论结果的实验​​结果,揭示了利用深度学习对复杂的科学应用的影响。
translated by 谷歌翻译
标准的神经网络可以近似一般的非线性操作员,要么通过数学运算符的组合(例如,在对流 - 扩散反应部分微分方程中)的组合,要么仅仅是黑匣子,例如黑匣子,例如一个系统系统。第一个神经操作员是基于严格的近似理论于2019年提出的深层操作员网络(DeepOnet)。从那时起,已经发布了其他一些较少的一般操作员,例如,基于图神经网络或傅立叶变换。对于黑匣子系统,对神经操作员的培训仅是数据驱动的,但是如果知道管理方程式可以在培训期间将其纳入损失功能,以开发物理知识的神经操作员。神经操作员可以用作设计问题,不确定性量化,自主系统以及几乎任何需要实时推断的应用程序中的代替代物。此外,通过将它们与相对轻的训练耦合,可以将独立的预训练deponets用作复杂多物理系统的组成部分。在这里,我们介绍了Deponet,傅立叶神经操作员和图神经操作员的评论,以及适当的扩展功能扩展,并突出显示它们在计算机械师中的各种应用中的实用性,包括多孔媒体,流体力学和固体机制, 。
translated by 谷歌翻译
Implicitly defined, continuous, differentiable signal representations parameterized by neural networks have emerged as a powerful paradigm, offering many possible benefits over conventional representations. However, current network architectures for such implicit neural representations are incapable of modeling signals with fine detail, and fail to represent a signal's spatial and temporal derivatives, despite the fact that these are essential to many physical signals defined implicitly as the solution to partial differential equations. We propose to leverage periodic activation functions for implicit neural representations and demonstrate that these networks, dubbed sinusoidal representation networks or SIRENs, are ideally suited for representing complex natural signals and their derivatives. We analyze SIREN activation statistics to propose a principled initialization scheme and demonstrate the representation of images, wavefields, video, sound, and their derivatives. Further, we show how SIRENs can be leveraged to solve challenging boundary value problems, such as particular Eikonal equations (yielding signed distance functions), the Poisson equation, and the Helmholtz and wave equations. Lastly, we combine SIRENs with hypernetworks to learn priors over the space of SIREN functions. Please see the project website for a video overview of the proposed method and all applications.
translated by 谷歌翻译
部分微分方程(PDE)参见在科学和工程中的广泛使用,以将物理过程的模拟描述为标量和向量场随着时间的推移相互作用和协调。由于其标准解决方案方法的计算昂贵性质,神经PDE代理已成为加速这些模拟的积极研究主题。但是,当前的方法并未明确考虑不同字段及其内部组件之间的关系,这些关系通常是相关的。查看此类相关场的时间演变通过多活动场的镜头,使我们能够克服这些局限性。多胎场由标量,矢量以及高阶组成部分组成,例如双分数和三分分射线。 Clifford代数可以描述它们的代数特性,例如乘法,加法和其他算术操作。据我们所知,本文介绍了此类多人表示的首次使用以及Clifford的卷积和Clifford Fourier在深度学习的背景下的转换。由此产生的Clifford神经层普遍适用,并将在流体动力学,天气预报和一般物理系统的建模领域中直接使用。我们通过经验评估克利福德神经层的好处,通过在二维Navier-Stokes和天气建模任务以及三维Maxwell方程式上取代其Clifford对应物中常见的神经PDE代理中的卷积和傅立叶操作。克利福德神经层始终提高测试神经PDE代理的概括能力。
translated by 谷歌翻译
本文介绍了频率卷积神经网络(CNN),用于快速,无创的​​2D剪切波速度(VS)成像的近表面地质材料。在频速度域中运行,可以在用于生成CNN输入的线性阵列,主动源实验测试配置中具有显着的灵活性,这些配置是归一化的分散图像。与波场图像不同,标准化的分散图像对实验测试配置相对不敏感,可容纳各种源类型,源偏移,接收器数量和接收器间距。我们通过将其应用于经典的近乎表面地球物理学问题,即成像两层,起伏的土壤 - 旁质界面的界面来证明频率CNN的有效性。最近,通过开发一个时间距离CNN来研究这个问题,该问题表现出了很大的希望,但在使用不同的现场测试配置方面缺乏灵活性。本文中,新的频道CNN显示出与时距CNN的可比精度,同时提供了更大的灵活性来处理各种现场应用程序。使用100,000个合成近表面模型对频率速度CNN进行了训练,验证和测试。首先,使用训练集的合成近表面模型测试了提议的频率CNN跨各种采集配置概括跨各种采集配置的能力,然后应用于在Austin的Hornsby Bend在Austin的Hornsby Bend收集的实验场数据美国德克萨斯州,美国。当针对更广泛的地质条件范围充分开发时,提出的CNN最终可以用作当前伪2D表面波成像技术的快速,端到端替代方案,或开发用于完整波形倒置的启动模型。
translated by 谷歌翻译
事实证明,神经操作员是无限维函数空间之间非线性算子的强大近似值,在加速偏微分方程(PDE)的溶液方面是有希望的。但是,它需要大量的模拟数据,这些数据可能成本高昂,从而导致鸡肉 - 蛋的困境并限制其在求解PDE中的使用。为了摆脱困境,我们提出了一个无数据的范式,其中神经网络直接从由离散的PDE构成的平方平方残留(MSR)损失中学习物理。我们研究了MSR损失中的物理信息,并确定神经网络必须具有对PDE空间域中的远距离纠缠建模的挑战,PDE的空间域中的模式在不同的PDE中有所不同。因此,我们提出了低级分解网络(Lordnet),该网络可调节,并且也有效地建模各种纠缠。具体而言,Lordnet通过简单的完全连接的层学习了与全球纠缠的低级别近似值,从而以降低的计算成本来提取主要模式。关于解决泊松方程和纳维尔 - 长方式方程的实验表明,MSR损失的物理约束可以提高神经网络的精确度和泛化能力。此外,Lordnet在PDE中的其他现代神经网络体系结构都优于最少的参数和最快的推理速度。对于Navier-Stokes方程式,学习的运算符的速度比具有相同计算资源的有限差异解决方案快50倍。
translated by 谷歌翻译
监督运营商学习是一种新兴机器学习范例,用于建模时空动态系统的演变和近似功能数据之间的一般黑盒关系的应用。我们提出了一种新颖的操作员学习方法,LOCA(学习操作员耦合注意力),激励了最近的注意机制的成功。在我们的体系结构中,输入函数被映射到有限的一组特征,然后按照依赖于输出查询位置的注意重量平均。通过将这些注意重量与积分变换一起耦合,LOCA能够明确地学习目标输出功能中的相关性,使我们能够近似非线性运算符,即使训练集测量中的输出功能的数量非常小。我们的配方伴随着拟议模型的普遍表现力的严格近似理论保证。经验上,我们在涉及普通和部分微分方程的系统管理的若干操作员学习场景中,评估LOCA的表现,以及黑盒气候预测问题。通过这些场景,我们展示了最先进的准确性,对噪声输入数据的鲁棒性以及在测试数据集上始终如一的错误传播,即使对于分发超出预测任务。
translated by 谷歌翻译
地震波的频域模拟在地震反演中起着重要作用,但在大型模型中仍然具有挑战性。作为有效的深度学习方法,最近提出的物理知识的神经网络(PINN)在解决广泛的偏微分方程(PDES)方面取得了成功的应用,并且在这方面仍然有改进的余地。例如,当PDE系数不平滑并描述结构复合介质时,PINN可能导致溶液不准确。在本文中,我们通过使用PINN而不是波方程来求解频域中的声学和Visco声学散射的场波方程,以消除源奇异性。我们首先说明,当在损失函数中未实现边界条件时,非平滑速度模型导致波场不准确。然后,我们在PINN的损耗函数中添加了完美匹配的层(PML)条件,并设计了二次神经网络,以克服PINN中非平滑模型的有害影响。我们表明,PML和二次神经元改善了结果和衰减,并讨论了这种改进的原因。我们还说明,在波场模拟中训练的网络可用于预先训练PDE-Coeff及时改变后另一个波场模拟的神经网络,并相应地提高收敛速度。当两次连续迭代或两个连续的实验之间的模型扰动时,这种预训练策略应在迭代全波形反转(FWI)和时置目标成像中找到应用。
translated by 谷歌翻译
傅里叶神经运营商(FNO)是一种基于学习的方法,用于有效地模拟部分微分方程。我们提出了分解的傅立叶神经运营商(F-FNO),允许与更深的网络更好地推广。通过仔细组合傅里叶分解,跨所有层,Markov属性和残差连接的共享内核积分运算符,F-FNOS在Navier-Stokes基准数据集的最动力设置上达到六倍的误差。我们表明我们的模型保持了2%的错误率,同时仍然比数值求解器更快地运行幅度,即使问题设置扩展到包括诸如粘度和时变力的附加上下文,也是如此。这使得与相同的预制神经网络能够模拟巨大不同的条件。
translated by 谷歌翻译
全波形反演(FWI)通常代表成像地下结构和物理参数的最新方法,但是,其实施通常面临着巨大的挑战,例如建立一个良好的初始模型以逃脱本地的最小值,并评估评估反转结果的不确定性。在本文中,我们建议使用连续和隐式定义的深神经表示形式提出隐式全波形反演(IFWI)算法。与对初始模型敏感的FWI相比,IFWI从增加的自由度中受益于深度学习优化,从而可以从随机初始化开始,从而大大降低了非唯一性的风险,并被当地的微型捕获。理论分析和实验分析都表明,在随机初始模型的情况下,IFWI能够收敛到全局最小值并产生具有精细结构的地下的高分辨率图像。此外,通过使用各种深度学习方法近似贝叶斯推断,可以轻松地对IFWI进行不确定性分析,这在本文中通过添加辍学神经元进行了分析。此外,IFWI具有一定程度的鲁棒性和强大的概括能力,在各种2D地质模型的实验中被例证。通过适当的设置,IFWI也可以非常适合多规模关节地球物理反演。
translated by 谷歌翻译
地震数据处理在很大程度上取决于物理驱动的反问题的解决方案。在存在不利的数据采集条件下(例如,源和/或接收器的规则或不规则的粗略采样),基本的反问题变得非常不适,需要先进的信息才能获得令人满意的解决方案。刺激性反演,再加上固定基础的稀疏转换,代表了许多处理任务的首选方法,因为其实施简单性并在各种采集方案中都成功地应用了成功应用。利用深神经网络找到复杂的多维矢量空间的紧凑表示的能力,我们建议训练自动编码器网络,以了解输入地震数据和代表性潜流歧管之间的直接映射。随后,训练有素的解码器被用作手头物理驱动的逆问题的非线性预处理。提供了各种地震处理任务的合成数据和现场数据,并且所提出的非线性,学习的转换被证明超过了固定基本的转换,并更快地收敛到所寻求的解决方案。
translated by 谷歌翻译