在本文中,我们提出了一种深度学习技术,用于数据驱动的流体介质中波传播的预测。该技术依赖于基于注意力的卷积复发自动编码器网络(AB-CRAN)。为了构建波传播数据的低维表示,我们采用了基于转化的卷积自动编码器。具有基于注意力的长期短期记忆细胞的AB-CRAN体系结构构成了我们的深度神经网络模型,用于游行低维特征的时间。我们评估了针对标准复发性神经网络的拟议的AB-Cran框架,用于波传播的低维学习。为了证明AB-Cran模型的有效性,我们考虑了三个基准问题,即一维线性对流,非线性粘性汉堡方程和二维圣人浅水系统。我们的新型AB-CRAN结构使用基准问题的空间 - 时空数据集,可以准确捕获波幅度,并在长期范围内保留溶液的波特性。与具有长期短期记忆细胞的标准复发性神经网络相比,基于注意力的序列到序列网络增加了预测的时间莫。 Denoising自动编码器进一步减少了预测的平方平方误差,并提高了参数空间中的概括能力。
translated by 谷歌翻译
动力学受部分微分方程(PDE)控制的物理系统在许多领域(从工程设计到天气预报)中找到了应用。从此类PDE中获取解决方案的过程对于大规模和参数化问题的计算昂贵。在这项工作中,使用LSTM和TCN等时间表预测开发的深度学习技术,或用于为CNN等空间功能提取而开发的,用于建模系统动力学,以占主导问题。这些模型将输入作为从PDE获得的连续时间步长的一系列高保真矢量解,并预测使用自动回归的后续时间步长的解决方案;从而减少获得此类高保真解决方案所需的计算时间和功率。这些模型经过数值基准测试(1D汉堡的方程式和Stoker的大坝断裂问题),以评估长期预测准确性,甚至在训练域之外(外推)。在向预测模型输入之前,使用非侵入性的降低订购建模技术(例如深度自动编码网络)来压缩高保真快照,以减少在线和离线阶段的复杂性和所需的计算。深层合奏被用来对预测模型进行不确定性量化,该模型提供了有关认知不确定性导致预测方差的信息。
translated by 谷歌翻译
物理信息的神经网络(PINN)是神经网络(NNS),它们作为神经网络本身的组成部分编码模型方程,例如部分微分方程(PDE)。如今,PINN是用于求解PDE,分数方程,积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架,在该框架中,NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述:虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络,这些神经网络构成了香草·皮恩(Vanilla Pinn)以及许多其他变体,例如物理受限的神经网络(PCNN),各种HP-VPINN,变量HP-VPINN,VPINN,VPINN,变体。和保守的Pinn(CPINN)。该研究表明,大多数研究都集中在通过不同的激活功能,梯度优化技术,神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛,但通过证明其在某些情况下比有限元方法(FEM)等经典数值技术更可行的能力,但仍有可能的进步,最著名的是尚未解决的理论问题。
translated by 谷歌翻译
高维时空动力学通常可以在低维子空间中编码。用于建模,表征,设计和控制此类大规模系统的工程应用通常依赖于降低尺寸,以实时计算解决方案。降低维度的常见范例包括线性方法,例如奇异值分解(SVD)和非线性方法,例如卷积自动编码器(CAE)的变体。但是,这些编码技术缺乏有效地表示与时空数据相关的复杂性的能力,后者通常需要可变的几何形状,非均匀的网格分辨率,自适应网格化和/或参数依赖性。为了解决这些实用的工程挑战,我们提出了一个称为神经隐式流(NIF)的一般框架,该框架可以实现大型,参数,时空数据的网格不稳定,低级别表示。 NIF由两个修改的多层感知器(MLP)组成:(i)shapenet,它分离并代表空间复杂性,以及(ii)参数,该参数解释了任何其他输入复杂性,包括参数依赖关系,时间和传感器测量值。我们演示了NIF用于参数替代建模的实用性,从而实现了复杂时空动力学的可解释表示和压缩,有效的多空间质量任务以及改善了稀疏重建的通用性能。
translated by 谷歌翻译
部分微分方程(PDE)在研究大量科学和工程问题方面发挥着至关重要的作用。数值求解的非线性和/或高维PDE通常是一个具有挑战性的任务。灵感来自传统有限差分和有限元的方法和机器学习的新兴进步,我们提出了一个名为神经PDE的序列深度学习框架,这允许通过使用双向来自动学习从现有数据的任何时间依赖于现有数据的管理规则LSTM编码器,并预测下一个时间步长数据。我们所提出的框架的一个关键特征是,神经PDE能够同时学习和模拟多尺度变量。我们通过一维PDE的一系列示例测试神经PDE到高维和非线性复杂流体模型。结果表明,神经PDE能够学习初始条件,边界条件和差分运营商,而不知道PDE系统的特定形式。在我们的实验中,神经PDE可以有效地提取20个时期训练内的动态,并产生准确的预测。此外,与在学习PDE中的传统机器学习方法不同,例如CNN和MLP,这需要用于模型精度的巨大参数,神经PDE在所有时间步骤中共享参数,从而显着降低了计算复杂性并导致快速学习算法。
translated by 谷歌翻译
相位场建模是一种有效但计算昂贵的方法,用于捕获材料中的中尺度形态和微观结构演化。因此,需要快速且可推广的替代模型来减轻计算征税流程的成本,例如在材料的优化和设计中。尖锐相边界的存在所产生的物理现象的固有不连续性使替代模型的训练繁琐。我们开发了一个框架,该框架将卷积自动编码器架构与深神经操作员(DeepOnet)集成在一起,以了解两相混合物的动态演化,并加速预测微结构演变的时间。我们利用卷积自动编码器在低维的潜在空间中提供微观结构数据的紧凑表示。 DeepOnet由两个子网络组成,一个用于编码固定数量的传感器位置(分支网)的输入函数,另一个用于编码输出功能的位置(TRUNK NET),了解微观结构Evolution的中尺度动力学从自动编码器潜在空间。然后,卷积自动编码器的解码器部分从deponet预测中重建了时间进化的微结构。然后,可以使用训练有素的DeepOnet架构来替换插值任务中的高保真相位数值求解器或在外推任务中加速数值求解器。
translated by 谷歌翻译
在本文中,我们为非稳定于3D流体结构交互系统提供了一种基于深度学习的阶数(DL-ROM)。所提出的DL-ROM具有非线性状态空间模型的格式,并采用具有长短期存储器(LSTM)的经常性神经网络。我们考虑一种以状态空间格式的可弹性安装的球体的规范流体结构系统,其具有不可压缩的流体流动。我们开发了一种非线性数据驱动的耦合,用于预测横向方向自由振动球的非定常力和涡旋诱导的振动(VIV)锁定。我们设计输入输出关系作为用于流体结构系统的低维逼近的力和位移数据集的时间序列。基于VIV锁定过程的先验知识,输入功能包含一系列频率和幅度,其能够实现高效的DL-ROM,而无需用于低维建模的大量训练数据集。一旦训练,网络就提供了输入 - 输出动态的非线性映射,其可以通过反馈过程预测较长地平线的耦合流体结构动态。通过将LSTM网络与Eigensystem实现算法(时代)集成,我们构造了用于减少阶稳定性分析的数据驱动状态空间模型。我们通过特征值选择过程调查VIV的潜在机制和稳定性特征。为了了解频率锁定机制,我们研究了针对降低振荡频率和质量比的范围的特征值轨迹。与全阶模拟一致,通过组合的LSTM-ERA程序精确捕获频率锁定分支。所提出的DL-ROM与涉及流体结构相互作用的物理学数字双胞胎的基于物理的数字双胞胎。
translated by 谷歌翻译
数字双胞胎已成为优化工程产品和系统性能的关键技术。高保真数值模拟构成了工程设计的骨干,从而准确地了解了复杂系统的性能。但是,大规模的,动态的非线性模型需要大量的计算资源,并且对于实时数字双胞胎应用而言是高度的。为此,采用了减少的订单模型(ROM),以近似高保真解决方案,同时准确捕获身体行为的主要方面。本工作提出了一个新的机器学习(ML)平台,用于开发ROM,以处理处理瞬态非线性偏微分方程的大规模数值问题。我们的框架被称为$ \ textit {fastsvd-ml-rom} $,利用$ \ textit {(i)} $单数值分解(SVD)更新方法,以计算多效性解决方案的线性子空间仿真过程,$ \ textIt {(ii)} $降低非线性维度的卷积自动编码器,$ \ textit {(iii)} $ feed-feed-feed-forderward神经网络以将输入参数映射到潜在的空间,以及$ \ textit {(iv) )} $长的短期内存网络,以预测和预测参数解决方案的动力学。 $ \ textit {fastsvd-ml-rom} $框架的效率用于2D线性对流扩散方程,圆柱周围的流体问题以及动脉段内的3D血流。重建结果的准确性证明了鲁棒性,并评估了所提出的方法的效率。
translated by 谷歌翻译
功能空间中的监督学习是机器学习研究的一个新兴领域,并应用了复杂物理系统(例如流体流,固体力学和气候建模)的预测。通过直接学习无限尺寸函数空间之间的地图(运算符),这些模型能够学习目标函数的离散不变表示。一种常见的方法是将此类目标函数表示为从数据中学到的基础元素的线性组合。但是,在一个简单的方案中,即使目标函数形成低维的子手机,也需要大量的基础元素才能进行准确的线性表示。在这里,我们提出了Nomad,这是一个新型的操作员学习框架,该框架具有一个非线性解码器图,能够学习功能空间中非线性子手机的有限尺寸表示。我们表明,该方法能够准确地学习溶液歧管的低维表示,而偏微分方程的表现优于较大尺寸的线性模型。此外,我们将最先进的操作员学习方法进行比较,并在复杂的流体动力学基准上进行学习,并以明显较小的模型尺寸和训练成本实现竞争性能。
translated by 谷歌翻译
由于它们在文本中建模长期依赖性的能力,变压器广泛用于自然语言处理。虽然这些模型实现了许多语言相关任务的最先进的性能,但它们在自然语言处理领域之外的适用性是最小的。在这项工作中,我们建议使用变压器模型来预测代表物理现象的动态系统。基于Koopman的嵌入式的使用提供了一种独特而强大的方法,可以将任何动态系统投影到矢量表示中,然后可以由变压器预测。所提出的模型能够准确地预测各种动态系统和优于科学机学习文献中常用的经典方法。
translated by 谷歌翻译
标准的神经网络可以近似一般的非线性操作员,要么通过数学运算符的组合(例如,在对流 - 扩散反应部分微分方程中)的组合,要么仅仅是黑匣子,例如黑匣子,例如一个系统系统。第一个神经操作员是基于严格的近似理论于2019年提出的深层操作员网络(DeepOnet)。从那时起,已经发布了其他一些较少的一般操作员,例如,基于图神经网络或傅立叶变换。对于黑匣子系统,对神经操作员的培训仅是数据驱动的,但是如果知道管理方程式可以在培训期间将其纳入损失功能,以开发物理知识的神经操作员。神经操作员可以用作设计问题,不确定性量化,自主系统以及几乎任何需要实时推断的应用程序中的代替代物。此外,通过将它们与相对轻的训练耦合,可以将独立的预训练deponets用作复杂多物理系统的组成部分。在这里,我们介绍了Deponet,傅立叶神经操作员和图神经操作员的评论,以及适当的扩展功能扩展,并突出显示它们在计算机械师中的各种应用中的实用性,包括多孔媒体,流体力学和固体机制, 。
translated by 谷歌翻译
Recent years have witnessed a growth in mathematics for deep learning--which seeks a deeper understanding of the concepts of deep learning with mathematics, and explores how to make it more robust--and deep learning for mathematics, where deep learning algorithms are used to solve problems in mathematics. The latter has popularised the field of scientific machine learning where deep learning is applied to problems in scientific computing. Specifically, more and more neural network architectures have been developed to solve specific classes of partial differential equations (PDEs). Such methods exploit properties that are inherent to PDEs and thus solve the PDEs better than classical feed-forward neural networks, recurrent neural networks, and convolutional neural networks. This has had a great impact in the area of mathematical modeling where parametric PDEs are widely used to model most natural and physical processes arising in science and engineering, In this work, we review such methods and extend them for parametric studies as well as for solving the related inverse problems. We equally proceed to show their relevance in some industrial applications.
translated by 谷歌翻译
神经网络的经典发展主要集中在有限维欧基德空间或有限组之间的学习映射。我们提出了神经网络的概括,以学习映射无限尺寸函数空间之间的运算符。我们通过一类线性积分运算符和非线性激活函数的组成制定运营商的近似,使得组合的操作员可以近似复杂的非线性运算符。我们证明了我们建筑的普遍近似定理。此外,我们介绍了四类运算符参数化:基于图形的运算符,低秩运算符,基于多极图形的运算符和傅里叶运算符,并描述了每个用于用每个计算的高效算法。所提出的神经运营商是决议不变的:它们在底层函数空间的不同离散化之间共享相同的网络参数,并且可以用于零击超分辨率。在数值上,与现有的基于机器学习的方法,达西流程和Navier-Stokes方程相比,所提出的模型显示出卓越的性能,而与传统的PDE求解器相比,与现有的基于机器学习的方法有关的基于机器学习的方法。
translated by 谷歌翻译
机器学习正迅速成为科学计算的核心技术,并有许多机会推进计算流体动力学领域。从这个角度来看,我们强调了一些潜在影响最高的领域,包括加速直接数值模拟,以改善湍流闭合建模,并开发增强的减少订单模型。我们还讨论了机器学习的新兴领域,这对于计算流体动力学以及应考虑的一些潜在局限性是有希望的。
translated by 谷歌翻译
Despite great progress in simulating multiphysics problems using the numerical discretization of partial differential equations (PDEs), one still cannot seamlessly incorporate noisy data into existing algorithms, mesh generation remains complex, and high-dimensional problems governed by parameterized PDEs cannot be tackled. Moreover, solving inverse problems with hidden physics is often prohibitively expensive and requires different formulations and elaborate computer codes. Machine learning has emerged as a promising alternative, but training deep neural networks requires big data, not always available for scientific problems. Instead, such networks can be trained from additional information obtained by enforcing the physical laws (for example, at random points in the continuous space-time domain). Such physics-informed learning integrates (noisy) data and mathematical models, and implements them through neural networks or other kernel-based regression networks. Moreover, it may be possible to design specialized network architectures that automatically satisfy some of the physical invariants for better accuracy, faster training and improved generalization. Here, we review some of the prevailing trends in embedding physics into machine learning, present some of the current capabilities and limitations and discuss diverse applications of physics-informed learning both for forward and inverse problems, including discovering hidden physics and tackling high-dimensional problems.
translated by 谷歌翻译
We present an end-to-end framework to learn partial differential equations that brings together initial data production, selection of boundary conditions, and the use of physics-informed neural operators to solve partial differential equations that are ubiquitous in the study and modeling of physics phenomena. We first demonstrate that our methods reproduce the accuracy and performance of other neural operators published elsewhere in the literature to learn the 1D wave equation and the 1D Burgers equation. Thereafter, we apply our physics-informed neural operators to learn new types of equations, including the 2D Burgers equation in the scalar, inviscid and vector types. Finally, we show that our approach is also applicable to learn the physics of the 2D linear and nonlinear shallow water equations, which involve three coupled partial differential equations. We release our artificial intelligence surrogates and scientific software to produce initial data and boundary conditions to study a broad range of physically motivated scenarios. We provide the source code, an interactive website to visualize the predictions of our physics informed neural operators, and a tutorial for their use at the Data and Learning Hub for Science.
translated by 谷歌翻译
这本数字本书包含在物理模拟的背景下与深度学习相关的一切实际和全面的一切。尽可能多,所有主题都带有Jupyter笔记本的形式的动手代码示例,以便快速入门。除了标准的受监督学习的数据中,我们将看看物理丢失约束,更紧密耦合的学习算法,具有可微分的模拟,以及加强学习和不确定性建模。我们生活在令人兴奋的时期:这些方法具有从根本上改变计算机模拟可以实现的巨大潜力。
translated by 谷歌翻译
许多物理过程,例如天气现象或流体力学由部分微分方程(PDE)管辖。使用神经网络建模这种动态系统是一个新兴的研究领域。然而,目前的方法以各种方式限制:它们需要关于控制方程的先验知识,并限于线性或一阶方程。在这项工作中,我们提出了一种将卷积神经网络(CNNS)与可微分的颂歌求解器结合到模型动力系统的模型。我们表明,标准PDE求解器中使用的线路方法可以使用卷曲来表示,这使得CNN是对参数化任意PDE动态的自然选择。我们的模型可以应用于任何数据而不需要任何关于管理PDE的知识。我们评估通过求解各种PDE而产生的数据集的NeuralPDE,覆盖更高的订单,非线性方程和多个空间尺寸。
translated by 谷歌翻译
传统上,基于标度律维模型已被用于参数对流换热岩类地行星像地球,火星,水星和金星的内部,以解决二维或三维高保真前插的计算瓶颈。然而,这些在物理它们可以建模(例如深度取决于材料特性),并预测只平均量的量的限制,例如平均温度地幔。我们最近发现,前馈神经网络(FNN),使用了大量的二维模拟可以克服这个限制和可靠地预测整个1D横向平均温度分布的演变,及时为复杂的模型训练。我们现在扩展该方法以预测的完整2D温度字段,它包含在对流结构如热羽状和冷downwellings的形式的信息。使用的地幔热演化的10,525二维模拟数据集火星般的星球,我们表明,深度学习技术能够产生可靠的参数代理人(即代理人即预测仅基于参数状态变量,如温度)底层偏微分方程。我们首先使用卷积自动编码由142倍以压缩温度场,然后使用FNN和长短期存储器网络(LSTM)来预测所述压缩字段。平均起来,FNN预测是99.30%,并且LSTM预测是准确相对于看不见模拟99.22%。在LSTM和FNN预测显示,尽管较低的绝对平均相对精度,LSTMs捕捉血流动力学优于FNNS适当的正交分解(POD)。当求和,从FNN预测和从LSTM预测量至96.51%,相对97.66%到原始模拟的系数,分别与POD系数。
translated by 谷歌翻译
数据驱动的湍流建模正在经历数据科学算法和硬件开发后的兴趣激增。我们讨论了一种使用可区分物理范式的方法,该方法将已知的物理学与机器学习结合起来,以开发汉堡湍流的闭合模型。我们将1D汉堡系统视为一种原型测试问题,用于建模以对流为主的湍流问题中未解决的术语。我们训练一系列模型,这些模型在后验损失函数上结合了不同程度的物理假设,以测试模型在一系列系统参数(包括粘度,时间和网格分辨率)上的疗效。我们发现,以部分微分方程形式的归纳偏差的约束模型包含已知物理或现有闭合方法会产生高度数据效率,准确和可推广的模型,并且表现优于最先进的基准。以物理信息形式添加结构还为模型带来了一定程度的解释性,可能为封闭建模的未来提供了垫脚石。
translated by 谷歌翻译