深度学习（DL）反转是用于实时解释测井的有希望的方法，同时钻井（LWD）电阻率测量井进行井导航应用。在这种情况下，测量噪声可以显着影响反转结果。检查测量噪声对DL反演结果的影响的现有出版物是稀缺的。我们开发一种生成培训数据集的方法，并构建DL架构，可以在存在嘈杂的LWD电阻率测量时增强DL反转方法的鲁棒性。我们使用两个合成电阻率模型来测试三种方法，明确地考虑噪声的存在：（1）将噪声添加到训练集中的测量中，（2）通过复制它并添加不同的噪声实现来增强训练集，并添加不同的噪声实现，以及（3 ）在DL架构中添加噪声层。数值结果证实，这三种方法产生了去噪效果，不仅可以对基本的DL反转而比较的预测地球模型和测量结果的更好的反演，而且产生了更好的反演，而且还产生了传统基于梯度的反转结果。第二种和第三种方法的组合提供了最佳结果。所提出的方法可以容易地广泛地推广到多维DL反转。
translated by 谷歌翻译
估计河床型材，也称为沐浴型，在许多应用中起着至关重要的作用，例如安全有效的内陆导航，对银行侵蚀，地面沉降和洪水风险管理的预测。直接沐浴术调查的高成本和复杂物流，即深度成像，鼓励使用间接测量，例如表面流速。然而，从间接测量估计高分辨率的沐浴族是可以计算地具有挑战性的逆问题。在这里，我们提出了一种基于阶的模型（ROM）的方法，其利用变形的自动化器（VAE），一系列深神经网络，中间具有窄层，以压缩沐浴族和流速信息并加速沐浴逆问题流速测量。在我们的应用中，浅水方程（SWE）具有适当的边界条件（BCS），例如排出和/或自由表面升高，构成前向问题，以预测流速。然后，通过变分编码器在低维度的非线性歧管上构造SWES的ROM。利用不确定性量化（UQ）的估计在贝叶斯环境中的低维潜空间上执行。我们已经在美国萨凡纳河的一英里接触到美国，测试了我们的反转方法。一旦培训了神经网络（离线阶段），所提出的技术就可以比通常基于线性投影的传统反转方法更快地执行幅度的反转操作级，例如主成分分析（PCA）或主要成分地质统计方法（PCGA）。此外，即使具有稀疏的流速测量，测试也可以估计算法估计良好的精度均匀的浴权。
translated by 谷歌翻译
深神经网络（DNNS）为孔孔电阻率测量的反转提供了实时解决方案，以近似向前和逆操作员。可以使用极大的DNN来近似运营商，但需要大量的培训时间。此外，在训练后评估网络还需要大量的内存和处理能力。此外，我们可能会过度拟合模型。在这项工作中，我们提出了一个评分函数，该评分函数与参考DNN相比，说明了DNN的准确性和大小，该参考DNN为操作员提供了良好的近似值。使用此评分函数，我们使用DNN体系结构搜索算法获得小于参考网络的准最佳DNN。因此，在培训和评估过程中需要减少计算工作。准最佳的DNN提供了与原始大型DNN相当的精度。
translated by 谷歌翻译
深度学习（DL），尤其是深神经网络（DNN），默认情况下纯粹是数据驱动的，通常不需要物理。这是DL的优势，但在应用于科学和工程问题时，它的主要局限性之一就是必不可少的物理特性和所需的准确性。其原始形式的DL方法也无法尊重基本的数学模型或即使在大数据制度中也可以达到所需的准确性。但是，许多数据驱动的科学和工程问题（例如反问题）通常具有有限的实验或观察数据，而在这种情况下，DL会过分拟合数据。我们认为，利用基础数学模型中编码的信息，不仅可以补偿低数据制度中缺少的信息，而且还提供了将DL方法与基础物理学配备的机会，从而促进了更好的概括。本文开发了一种模型受限的深度学习方法及其变体TNET，该方法能够学习隐藏在培训数据和基础数学模型中的信息，以解决由部分微分方程控制的反问题。我们为提出的方法提供了构造和一些理论结果。我们表明，数据随机化可以增强网络的平滑度及其概括。全面的数值结果不仅确认了理论发现，而且还表明，即使仅20个训练数据样本，一维卷积的训练数据样本，50次反向2D热电导率问题，100和50对于时间依赖的2D汉堡方程和逆初始条件和50 2D Navier-Stokes方程。 TNET溶液可以像Tikhonov溶液一样准确，同时几个数量级。由于模型受限项，复制和随机化，这可能是可能的。
translated by 谷歌翻译
逆问题本质上是普遍存在的，几乎在科学和工程的几乎所有领域都出现，从地球物理学和气候科学到天体物理学和生物力学。解决反问题的核心挑战之一是解决他们的不良天性。贝叶斯推论提供了一种原则性的方法来克服这一方法，通过将逆问题提出为统计框架。但是，当推断具有大幅度的离散表示的字段（所谓的“维度的诅咒”）和/或仅以先前获取的解决方案的形式可用时。在这项工作中，我们提出了一种新的方法，可以使用深层生成模型进行有效，准确的贝叶斯反转。具体而言，我们证明了如何使用生成对抗网络（GAN）在贝叶斯更新中学到的近似分布，并在GAN的低维度潜在空间中重新解决所得的推断问题，从而有效地解决了大规模的解决方案。贝叶斯逆问题。我们的统计框架保留了潜在的物理学，并且被证明可以通过可靠的不确定性估计得出准确的结果，即使没有有关基础噪声模型的信息，这对于许多现有方法来说都是一个重大挑战。我们证明了提出方法对各种反问题的有效性，包括合成和实验观察到的数据。
translated by 谷歌翻译
延时电阻率断层扫描（ERT）是一种流行的地球物理方法，可从电势差测量中估算三维（3D）通透性场。传统的反转和数据同化方法用于将这些数据吸收到水域模型中以估计渗透性。由于不适合性和维度的诅咒，现有的反转策略提供了较差的估计值和3D渗透率场的低分辨率。深度学习的最新进展为我们提供了强大的算法来克服这一挑战。本文提出了一个深度学习（DL）框架，以估算从延时ERT数据中的3D地下渗透性。为了测试所提出的框架的可行性，我们在模拟数据上训练了启用DL的逆模型。基于水域物理学的地下过程模型用于生成此合成数据以进行深度学习分析。结果表明，拟议的弱监督学习可以捕获3D渗透性领域中的显着空间特征。在数量上，在标记的训练，验证和测试数据集的平均平方平方误差（就自然日志而言）小于0.5。 R2评分（全局度量）大于0.75，每个单元格（本地度量）的百分比误差小于10％。最后，在计算成本方面的额外好处是，所提出的基于DL的反向模型至少比运行正向模型快的速度（104）倍。请注意，传统倒置可能需要多个前向模型模拟（例如，按10到1000的顺序），这非常昂贵。这种计算节省（O（105）-O（107））使提出的基于DL的逆模型具有对地下成像和实时ERT监视应用程序的吸引力，这是由于快速而相当准确的渗透性场估计。
translated by 谷歌翻译
Recent years have witnessed a growth in mathematics for deep learning--which seeks a deeper understanding of the concepts of deep learning with mathematics, and explores how to make it more robust--and deep learning for mathematics, where deep learning algorithms are used to solve problems in mathematics. The latter has popularised the field of scientific machine learning where deep learning is applied to problems in scientific computing. Specifically, more and more neural network architectures have been developed to solve specific classes of partial differential equations (PDEs). Such methods exploit properties that are inherent to PDEs and thus solve the PDEs better than classical feed-forward neural networks, recurrent neural networks, and convolutional neural networks. This has had a great impact in the area of mathematical modeling where parametric PDEs are widely used to model most natural and physical processes arising in science and engineering, In this work, we review such methods and extend them for parametric studies as well as for solving the related inverse problems. We equally proceed to show their relevance in some industrial applications.
translated by 谷歌翻译
在地质不确定性下，快速同化监测数据以更新压力累积和压力累积和二氧化碳（CO2）羽流迁移的预测是地质碳储存中的一个具有挑战性的问题。具有高维参数空间的数据同化的高计算成本阻碍了商业规模库管理的快速决策。我们建议利用具有深度学习技术的多孔介质流动行为的物理理解，以开发快速历史匹配 - 水库响应预测工作流程。应用集合更顺畅的多数据同化框架，工作流程更新地质特性，并通过通过地震反转解释的压力历史和二氧化碳羽毛的量化不确定性来预测水库性能。由于这种工作流程中最具计算昂贵的组件是储层模拟，我们开发了代理模型，以在多孔注射下预测动态压力和CO2羽流量。代理模型采用深度卷积神经网络，具体地，宽的剩余网络和残留的U-Net。该工作流程针对代表碎屑货架沉积环境的扁平三维储层模型验证。智能处理应用于真正的3D储层模型中数量与单层储层模型之间的桥梁。工作流程可以在主流个人工作站上不到一小时内完成历史匹配和储库预测，在不到一小时内。
translated by 谷歌翻译
我们展示了OpenFWI，是用于地震全波形反演（FWI）的大型开源基准数据集的集合。OpenFWI是地球科学和机器学习界的一流，以促进对基于机器学习的FWI多元化，严谨和可重复的研究。OpenFWI包括多个尺度的数据集，包含不同的域，涵盖各种级别的模型复杂性。除了数据集之外，我们还对每个数据集进行实证研究，具有完全卷积的深度学习模型。OpenFWI已被核心维护，并将通过新数据和实验结果定期更新。我们感谢社区的投入，帮助我们进一步改进OpenFWI。在当前版本，我们在OpenFWI中发布了七个数据集，其中为3D FWI指定了一个，其余的是2D场景。所有数据集和相关信息都可以通过我们的网站访问https://openfwi.github.io/。
translated by 谷歌翻译
这本数字本书包含在物理模拟的背景下与深度学习相关的一切实际和全面的一切。尽可能多，所有主题都带有Jupyter笔记本的形式的动手代码示例，以便快速入门。除了标准的受监督学习的数据中，我们将看看物理丢失约束，更紧密耦合的学习算法，具有可微分的模拟，以及加强学习和不确定性建模。我们生活在令人兴奋的时期：这些方法具有从根本上改变计算机模拟可以实现的巨大潜力。
translated by 谷歌翻译
深神经网络（DNNS）是在存在多路径和非线视线错误的情况下定位全局导航卫星系统（GNSS）的有前途的工具，这是由于它们使用数据建模复杂错误的能力。但是，为GNSS定位开发DNN提出了各种挑战，例如1）由于卫星可见性的变化和，在全球范围内测量和位置值的差异很大而导致的数值和位置值差异很大，数量和位置值差。 3）过度适合可用数据。在这项工作中，我们解决了上述挑战，并通过将基于DNN的校正应用于初始位置猜测，提出了GNSS定位的方法。我们的DNN学会了使用伪残留物和卫星视线向量作为输入来输出位置校正。这些输入和输出值的有限变化可改善我们DNN的数值条件。我们设计了DNN体系结构，以结合可用GNSS测量的信息，这些信息通过利用基于设定的深度学习方法的最新进步，在数量和顺序上不同。此外，我们提出了一种数据增强策略，用于通过随机将初始位置猜测随机减少DNN中的过度拟合。我们首先执行模拟，并在应用基于DNN的校正时显示出初始定位误差的改进。此后，我们证明我们的方法在现实世界数据上的表现优于WLS基线。我们的实施可在github.com/stanford-navlab/deep_gnss上获得。
translated by 谷歌翻译
风电场设计主要取决于风力涡轮机唤醒流向大气风条件的可变性，以及唤醒之间的相互作用。使用高保真度捕获唤醒流场的物理学模型是计算风电场的布局优化的计算非常昂贵，因此数据驱动的减少的订单模型可以代表模拟风电场的有效替代方案。在这项工作中，我们使用现实世界的光检测和测量（LIDAR）测量的风力涡轮机唤醒，用机器学习构建预测代理模型。具体而言，我们首先展示使用深度自动控制器来找到低维\ emph {潜在}空间，其给出了唤醒激光雷达测量的计算易逼近的近似。然后，我们学习使用深神经网络的参数空间和（潜在空间）唤醒流场之间的映射。此外，我们还展示了使用概率机器学习技术，即高斯过程建模，除了数据中的认知和炼拉内不确定性之外，学习参数空间潜空间映射。最后，为了应对培训大型数据集，我们展示了使用变分高斯过程模型，为大型数据集提供了传统的高斯工艺模型的传统高斯工艺模型。此外，我们介绍了主动学习以自适应地构建和改进传统的高斯过程模型预测能力。总的来说，我们发现我们的方法提供了风力涡轮机唤醒流场的准确近似，其可以以比具有基于高保真物理的模拟产生的级别更便宜的成本来查询。
translated by 谷歌翻译
识别异质电导率场并重建污染物释放历史是地下修复的关键方面。通过有限和嘈杂的液压头和集中度测量实现这两个目标是具有挑战性的。这些障碍包括解决高维参数的反问题，以及重复前进建模所需的高计算成本。我们使用卷积对抗自动编码器（CAAE）进行异质非高斯电导率场的参数化，并具有低维的潜在表示。此外，我们训练了三维密集的卷积编码器（密集）网络，以作为流和运输过程的正向替代。结合了CAAE和密度向前的替代模型，使用多个数据同化（ESMDA）算法的整体更平滑，用于从未知参数的贝叶斯后分布中进行采样，形成CAAE密集的ESMDA反转框架。我们在三维污染物源和电导率域识别问题中应用了这种CAAE密集的ESMDA反转框架。提供了CAAE-ESMDA与物理流和运输模拟器和CAAE密度浓度ESMDA的反转结果的比较，这表明以更高的计算效率实现了准确的重建结果。
translated by 谷歌翻译
深入学习，核算用于使用精心讲解的神经网络，最近被开发为一种有效而强大的工具，可以解决物理和其他科学中的不同问题。在目前的工作中，我们提出了一种基于混合网络的新型学习方法，其集成了两种不同类型的神经网络：长期内存（LSTM）和深度剩余网络（Reset），以克服数值模拟中遇到困难实际系统的强烈振动动态演变。通过以双倍潜力的浓缩物的动态为例，我们表明我们的新方法是高效的预学习和对整个动态的高保真预测。这种利益来自LSTM和Reset的组合，并且在直接学习的情况下，单个网络是不可能实现的。我们的方法可以应用于借助于辅助频谱分析模拟具有快多频振荡的系统中的复杂协作动态。
translated by 谷歌翻译
全波形反演（FWI）通常代表成像地下结构和物理参数的最新方法，但是，其实施通常面临着巨大的挑战，例如建立一个良好的初始模型以逃脱本地的最小值，并评估评估反转结果的不确定性。在本文中，我们建议使用连续和隐式定义的深神经表示形式提出隐式全波形反演（IFWI）算法。与对初始模型敏感的FWI相比，IFWI从增加的自由度中受益于深度学习优化，从而可以从随机初始化开始，从而大大降低了非唯一性的风险，并被当地的微型捕获。理论分析和实验分析都表明，在随机初始模型的情况下，IFWI能够收敛到全局最小值并产生具有精细结构的地下的高分辨率图像。此外，通过使用各种深度学习方法近似贝叶斯推断，可以轻松地对IFWI进行不确定性分析，这在本文中通过添加辍学神经元进行了分析。此外，IFWI具有一定程度的鲁棒性和强大的概括能力，在各种2D地质模型的实验中被例证。通过适当的设置，IFWI也可以非常适合多规模关节地球物理反演。
translated by 谷歌翻译
我们研究机器学习（ML）和深度学习（DL）算法的能力，基于地下温度观察推断表面/地面交换通量。观察和助势是由代表哥伦比亚河附近的高分辨率数值模型，位于华盛顿州东南部的能源部汉福德遗址附近。随机测量误差，不同幅度的加入合成温度观察。结果表明，两个ML和DL方法可用于推断表面/地面交换通量。 DL方法，尤其是卷积神经网络，当用于用施加的平滑滤波器解释噪声温度数据时越高。然而，ML方法也表现良好，它们可以更好地识别减少数量的重要观察，这对于测量网络优化也是有用的。令人惊讶的是，M1和DL方法比向下通量更好地推断出向上的助焊剂。这与使用数值模型从温度观测推断出来的先前发现与先前的发现与先前的发现相反，并且可能表明将ML或DL推断的组合使用与数值推断相结合可以改善河流系统下方的助焊剂估计。
translated by 谷歌翻译
神经运营商最近成为设计神经网络形式的功能空间之间的解决方案映射的流行工具。不同地，从经典的科学机器学习方法，以固定分辨率为输入参数的单个实例学习参数，神经运算符近似PDE系列的解决方案图。尽管他们取得了成功，但是神经运营商的用途迄今为止仅限于相对浅的神经网络，并限制了学习隐藏的管理法律。在这项工作中，我们提出了一种新颖的非局部神经运营商，我们将其称为非本体内核网络（NKN），即独立的分辨率，其特征在于深度神经网络，并且能够处理各种任务，例如学习管理方程和分类图片。我们的NKN源于神经网络的解释，作为离散的非局部扩散反应方程，在无限层的极限中，相当于抛物线非局部方程，其稳定性通过非本种载体微积分分析。与整体形式的神经运算符相似允许NKN捕获特征空间中的远程依赖性，而节点到节点交互的持续处理使NKNS分辨率独立于NKNS分辨率。与神经杂物中的相似性，在非本体意义上重新解释，并且层之间的稳定网络动态允许NKN的最佳参数从浅到深网络中的概括。这一事实使得能够使用浅层初始化技术。我们的测试表明，NKNS在学习管理方程和图像分类任务中占据基线方法，并概括到不同的分辨率和深度。
translated by 谷歌翻译
我们建议使用贝叶斯推理和深度神经网络的技术，将地震成像中的不确定性转化为图像上执行的任务的不确定性，例如地平线跟踪。地震成像是由于带宽和孔径限制，这是一个不良的逆问题，由于噪声和线性化误差的存在而受到阻碍。但是，许多正规化方法，例如变形域的稀疏性促进，已设计为处理这些错误的不利影响，但是，这些方法具有偏向解决方案的风险，并且不提供有关图像空间中不确定性的信息以及如何提供信息。不确定性会影响图像上的某些任务。提出了一种系统的方法，以将由于数据中的噪声引起的不确定性转化为图像中自动跟踪视野的置信区间。不确定性的特征是卷积神经网络（CNN）并评估这些不确定性，样品是从CNN权重的后验分布中得出的，用于参数化图像。与传统先验相比，文献中认为，这些CNN引入了灵活的感应偏见，这非常适合各种问题。随机梯度Langevin动力学的方法用于从后验分布中采样。该方法旨在处理大规模的贝叶斯推理问题，即具有地震成像中的计算昂贵的远期操作员。除了提供强大的替代方案外，最大的后验估计值容易过度拟合外，访问这些样品还可以使我们能够在数据中的噪声中转换图像中的不确定性，以便在跟踪的视野上不确定性。例如，它承认图像上的重点标准偏差和自动跟踪视野的置信区间的估计值。
translated by 谷歌翻译
逆源问题对于声学，地球物理学，非破坏性测试等的许多应用是至关重要的。传统成像方法受到分辨率极限的影响，防止源的区别比发射的波长小于发射的波长。在这项工作中，我们提出了一种基于物理信息的神经网络来解决源重新关注问题的方法，构建了一个新颖的损失项，该损失术语促进了网络的超解决能力，并基于波传播的物理。我们证明了在二维矩形波导中通过沿垂直横截面的波场记录的测量值进行成像的设置中的方法。结果表明，即使将彼此靠近时，该方法的能力也可以高精度近似于源的位置。
translated by 谷歌翻译
在2015年和2019年之间，地平线的成员2020年资助的创新培训网络名为“Amva4newphysics”，研究了高能量物理问题的先进多变量分析方法和统计学习工具的定制和应用，并开发了完全新的。其中许多方法已成功地用于提高Cern大型Hadron撞机的地图集和CMS实验所执行的数据分析的敏感性;其他几个人，仍然在测试阶段，承诺进一步提高基本物理参数测量的精确度以及新现象的搜索范围。在本文中，在研究和开发的那些中，最相关的新工具以及对其性能的评估。
translated by 谷歌翻译