在这项工作中,我们提出了一种深度自适应采样(DAS)方法,用于求解部分微分方程(PDE),其中利用深神经网络近似PDE和深生成模型的解决方案,用于生成改进训练集的新的搭配点。 DAS的整体过程由两个组件组成:通过最小化训练集中的搭配点上的剩余损失来解决PDE,并生成新的训练集,以进一步提高电流近似解的准确性。特别地,我们将残差作为概率密度函数进行处理,并用一个被称为Krnet的深生成模型近似它。来自Krnet的新样品与残留物诱导的分布一致,即,更多样品位于大残留的区域中,并且较少的样品位于小残余区域中。类似于经典的自适应方法,例如自适应有限元,Krnet作为引导训练集的改进的错误指示器。与用均匀分布的搭配点获得的神经网络近似相比,发达的算法可以显着提高精度,特别是对于低规律性和高维问题。我们展示了一个理论分析,表明所提出的DAS方法可以减少误差并展示其与数值实验的有效性。
translated by 谷歌翻译
本文介绍了一种基于Krnet(ADDA-KR)的自适应深度近似策略,用于求解稳态Fokker-Planck(F-P)方程。 F-P方程通常是高维度和在无限域上定义的,这限制了基于传统网格的数值方法的应用。通过Knothe-Rosenblatt重新排列,我们的新提出的基于流的生成模型称为KrNet,提供了一种概率密度函数的家族,以作为Fokker-Planck方程的有效解决方案候选者,这与传统的计算方法较弱的维度依赖性较弱并且可以有效地估计一般的高维密度函数。为了获得用于F-P方程的近似的有效随机搭配点,我们开发了一种自适应采样过程,其中使用每次迭代的近似密度函数来迭代地生成样本。我们介绍了ADDA-KR的一般框架,验证了其准确性并通过数值实验展示了其效率。
translated by 谷歌翻译
在这项工作中,我们已经提出了一种称为VAE-Krnet的生成模型,用于密度估计或近似,其将规范变形Autiachoder(VAE)与我们最近开发的基于流的生成模型相结合,称为Krnet。 VAE用作尺寸减少技术以捕获潜伏空间,并且Krnet用于模拟潜在变量的分布。在数据和潜在变量之间使用线性模型,我们表明VAE-Krnet可以比规范VAE更有效且鲁棒。 VAE-KRNET可以用作密度模型,以近似数据分布或任意概率密度函数(PDF)已知到常数。 VAE-KRNET在维度方面灵活。当尺寸的数量相对较小时,Krnet可以有效地近似于原始随机变量的分布。对于高维病例,我们可以使用VAE-Krnet合并尺寸减少。 VAE-Krnet的一个重要应用是用于后部分布的近似的变分贝叶。变分贝叶斯方法通常基于模型和后部之间的Kullback-Leibler(KL)发散的最小化。对于高尺寸分布,由于维度的诅咒构建精确的密度模型是非常具有挑战性的,其中通常引入额外的假设以效率。例如,经典平均场方法假设尺寸之间的相互独立性,这通常会导致由于过度简化而产生低估的方差。为了减轻这个问题,我们包括丢失潜在随机变量和原始随机变量之间的相互信息的最大化,这有助于从低密度的区域保持更多信息,使得方差估计得到改善。
translated by 谷歌翻译
在这项工作中,我们提出了一种基于时间归一化流的自适应学习方法,用于解决时间依赖于依赖的Fokker-Planck(TFP)方程。众所周知,这种等式的解决方案是概率密度函数,因此我们的方法依赖于使用时间标准化流程建模目标解决方案。然后基于TFP损耗函数训练时间归一化流量,而不需要任何标记的数据。作为一种机器学习方案,所提出的方法是无网线的,并且可以很容易地应用于高维度问题。我们提出了各种测试问题以表明学习方法的有效性。
translated by 谷歌翻译
在这项工作中,我们开发了一个有效的求解器,该求解器基于泊松方程的深神经网络,具有可变系数和由Dirac Delta函数$ \ delta(\ Mathbf {x})$表示的可变系数和单数来源。这类问题涵盖了一般点源,线路源和点线组合,并且具有广泛的实际应用。所提出的方法是基于将真实溶液分解为一个单一部分,该部分使用拉普拉斯方程的基本解决方案在分析上以分析性的方式,以及一个正常零件,该零件满足适合的椭圆形PDE,并使用更平滑的来源,然后使用深层求解常规零件,然后使用深层零件来求解。丽兹法。建议提出遵守路径遵循的策略来选择罚款参数以惩罚Dirichlet边界条件。提出了具有点源,线源或其组合的两维空间和多维空间中的广泛数值实验,以说明所提出的方法的效率,并提供了一些现有方法的比较研究,这清楚地表明了其竞争力的竞争力具体的问题类别。此外,我们简要讨论该方法的误差分析。
translated by 谷歌翻译
物理知情的神经网络(PINN)要求定期的基础PDE解决方案,以确保准确的近似值。因此,它们可能会在近似PDE的不连续溶液(例如非线性双曲方程)的情况下失败。为了改善这一点,我们提出了一种新颖的PINN变体,称为弱PINN(WPINNS),以准确地近似标量保护定律的熵溶液。WPINN是基于近似于根据Kruzkhov熵定义的残留的最小最大优化问题的解决方案,以确定近似熵解决方案的神经网络的参数以及测试功能。我们证明了WPINN发生的误差的严格界限,并通过数值实验说明了它们的性能,以证明WPINN可以准确地近似熵解决方案。
translated by 谷歌翻译
在本文中,开发了用于求解具有delta功能奇异源的椭圆方程的浅丽兹型神经网络。目前的工作中有三个新颖的功能。即,(i)Delta函数奇异性自然删除,(ii)级别集合函数作为功能输入引入,(iii)它完全浅,仅包含一个隐藏层。我们首先介绍问题的能量功能,然后转换奇异源对沿界面的常规表面积分的贡献。以这种方式,可以自然删除三角洲函数,而无需引入传统正规化方法(例如众所周知的沉浸式边界方法)中常用的函数。然后将最初的问题重新重新审议为最小化问题。我们提出了一个带有一个隐藏层的浅丽兹型神经网络,以近似能量功能的全局最小化器。结果,通过最大程度地减少能源的离散版本的损耗函数来训练网络。此外,我们将界面的级别设置函数作为网络的功能输入,并发现它可以显着提高训练效率和准确性。我们执行一系列数值测试,以显示本方法的准确性及其在不规则域和较高维度中问题的能力。
translated by 谷歌翻译
在这项工作中,我们分析了不同程度的不同精度和分段多项式测试函数如何影响变异物理学知情神经网络(VPINN)的收敛速率,同时解决椭圆边界边界值问题,如何影响变异物理学知情神经网络(VPINN)的收敛速率。使用依靠INF-SUP条件的Petrov-Galerkin框架,我们在精确解决方案和合适的计算神经网络的合适的高阶分段插值之间得出了一个先验误差估计。数值实验证实了理论预测并突出了INF-SUP条件的重要性。我们的结果表明,以某种方式违反直觉,对于平滑解决方案,实现高衰减率的最佳策略在选择最低多项式程度的测试功能方面,同时使用适当高精度的正交公式。
translated by 谷歌翻译
High-dimensional PDEs have been a longstanding computational challenge. We propose to solve highdimensional PDEs by approximating the solution with a deep neural network which is trained to satisfy the differential operator, initial condition, and boundary conditions. Our algorithm is meshfree, which is key since meshes become infeasible in higher dimensions. Instead of forming a mesh, the neural network is trained on batches of randomly sampled time and space points. The algorithm is tested on a class of high-dimensional free boundary PDEs, which we are able to accurately solve in up to 200 dimensions. The algorithm is also tested on a high-dimensional Hamilton-Jacobi-Bellman PDE and Burgers' equation. The deep learning algorithm approximates the general solution to the Burgers' equation for a continuum of different boundary conditions and physical conditions (which can be viewed as a high-dimensional space). We call the algorithm a "Deep Galerkin Method (DGM)" since it is similar in spirit to Galerkin methods, with the solution approximated by a neural network instead of a linear combination of basis functions. In addition, we prove a theorem regarding the approximation power of neural networks for a class of quasilinear parabolic PDEs.
translated by 谷歌翻译
在本文中,我们研究了Wasserstein生成对抗网络(WGAN)的物理信息算法,用于偏微分方程溶液中的不确定性定量。通过在对抗网络歧视器中使用GroupsOrt激活函数,使用网络生成器来学习从初始/边界数据观察到的部分微分方程解决方案的不确定性。在温和的假设下,我们表明,当取得足够的样品数量时,计算机发电机的概括误差会收敛到网络的近似误差,概率很高。根据我们既定的错误约束,我们还发现我们的物理知识的WGAN对鉴别器的能力比发电机具有更高的要求。据报道,关于部分微分方程的合成示例的数值结果,以验证我们的理论结果,并证明如何获得偏微分方程溶液以及初始/边界数据的分布的不确定性定量。但是,内部所有点的不确定性量化理论的质量或准确性仍然是理论空缺,并且需要进行进一步研究。
translated by 谷歌翻译
在概率密度范围内相对于Wassersein度量的空间的梯度流程通常具有很好的特性,并且已在几种机器学习应用中使用。计算Wasserstein梯度流量的标准方法是有限差异,使网格上的基础空间离散,并且不可扩展。在这项工作中,我们提出了一种可扩展的近端梯度型算法,用于Wassersein梯度流。我们的方法的关键是目标函数的变分形式,这使得可以通过引流 - 双重优化实现JKO近端地图。可以通过替代地更新内部和外环中的参数来有效地解决该原始问题。我们的框架涵盖了包括热方程和多孔介质方程的所有经典Wasserstein梯度流。我们展示了若干数值示例的算法的性能和可扩展性。
translated by 谷歌翻译
度量的运输提供了一种用于建模复杂概率分布的多功能方法,并具有密度估计,贝叶斯推理,生成建模及其他方法的应用。单调三角传输地图$ \ unicode {x2014} $近似值$ \ unicode {x2013} $ rosenblatt(kr)重新安排$ \ unicode {x2014} $是这些任务的规范选择。然而,此类地图的表示和参数化对它们的一般性和表现力以及对从数据学习地图学习(例如,通过最大似然估计)出现的优化问题的属性产生了重大影响。我们提出了一个通用框架,用于通过平滑函数的可逆变换来表示单调三角图。我们建立了有关转化的条件,以使相关的无限维度最小化问题没有伪造的局部最小值,即所有局部最小值都是全球最小值。我们展示了满足某些尾巴条件的目标分布,唯一的全局最小化器与KR地图相对应。鉴于来自目标的样品,我们提出了一种自适应算法,该算法估计了基础KR映射的稀疏半参数近似。我们证明了如何将该框架应用于关节和条件密度估计,无可能的推断以及有向图形模型的结构学习,并在一系列样本量之间具有稳定的概括性能。
translated by 谷歌翻译
This paper proposes Friedrichs learning as a novel deep learning methodology that can learn the weak solutions of PDEs via a minmax formulation, which transforms the PDE problem into a minimax optimization problem to identify weak solutions. The name "Friedrichs learning" is for highlighting the close relationship between our learning strategy and Friedrichs theory on symmetric systems of PDEs. The weak solution and the test function in the weak formulation are parameterized as deep neural networks in a mesh-free manner, which are alternately updated to approach the optimal solution networks approximating the weak solution and the optimal test function, respectively. Extensive numerical results indicate that our mesh-free method can provide reasonably good solutions to a wide range of PDEs defined on regular and irregular domains in various dimensions, where classical numerical methods such as finite difference methods and finite element methods may be tedious or difficult to be applied.
translated by 谷歌翻译
本文提出了一个无网格的计算框架和机器学习理论,用于在未知的歧管上求解椭圆形PDE,并根据扩散地图(DM)和深度学习确定点云。 PDE求解器是作为监督的学习任务制定的,以解决最小二乘回归问题,该问题施加了近似PDE的代数方程(如果适用)。该代数方程涉及通过DM渐近扩展获得的图形拉平型矩阵,该基质是二阶椭圆差差算子的一致估计器。最终的数值方法是解决受神经网络假设空间解决方案的高度非凸经验最小化问题。在体积良好的椭圆PDE设置中,当假设空间由具有无限宽度或深度的神经网络组成时,我们表明,经验损失函数的全球最小化器是大型训练数据极限的一致解决方案。当假设空间是一个两层神经网络时,我们表明,对于足够大的宽度,梯度下降可以识别经验损失函数的全局最小化器。支持数值示例证明了解决方案的收敛性,范围从具有低和高共限度的简单歧管到具有和没有边界的粗糙表面。我们还表明,所提出的NN求解器可以在具有概括性误差的新数据点上稳健地概括PDE解决方案,这些误差几乎与训练错误相同,从而取代了基于Nystrom的插值方法。
translated by 谷歌翻译
Recent years have witnessed a growth in mathematics for deep learning--which seeks a deeper understanding of the concepts of deep learning with mathematics, and explores how to make it more robust--and deep learning for mathematics, where deep learning algorithms are used to solve problems in mathematics. The latter has popularised the field of scientific machine learning where deep learning is applied to problems in scientific computing. Specifically, more and more neural network architectures have been developed to solve specific classes of partial differential equations (PDEs). Such methods exploit properties that are inherent to PDEs and thus solve the PDEs better than classical feed-forward neural networks, recurrent neural networks, and convolutional neural networks. This has had a great impact in the area of mathematical modeling where parametric PDEs are widely used to model most natural and physical processes arising in science and engineering, In this work, we review such methods and extend them for parametric studies as well as for solving the related inverse problems. We equally proceed to show their relevance in some industrial applications.
translated by 谷歌翻译
概率密度演化的推导提供了对许多随机系统及其性能的行为的宝贵洞察力。但是,对于大多数实时应用程序,对概率密度演变的数值确定是一项艰巨的任务。后者是由于所需的时间和空间离散方案引起的,这些方案使大多数计算解决方案过于效率和不切实际。在这方面,有效的计算替代模型的开发至关重要。关于物理受限网络的最新研究表明,可以通过编码对深神经网络的物理洞察力来实现合适的替代物。为此,目前的工作介绍了Deeppdem,它利用物理信息网络的概念通过提出深度学习方法来解决概率密度的演变。 Deeppdem了解随机结构的一般密度演化方程(GDEE)。这种方法为无网格学习方法铺平了道路,该方法可以通过以前的模拟数据解决密度演化问题。此外,它还可以作为优化方案或实时应用程序中任何其他时空点的溶液的有效替代物。为了证明所提出的框架的潜在适用性,研究了两个具有不同激活功能的网络体系结构以及两个优化器。关于三个不同问题的数值实施验证了所提出方法的准确性和功效。
translated by 谷歌翻译
在本文中,我们提出了一种求解高维椭圆局部微分方程(PDE)的半群方法和基于神经网络的相关特征值问题。对于PDE问题,我们在半群运营商的帮助下将原始方程式重构为变分问题,然后解决神经网络(NN)参数化的变分问题。主要优点是在随机梯度下降训练期间不需要混合的二阶衍生计算,并且由半群运算符自动考虑边界条件。与Pinn \ Cite {Raissi2019physics}和DeepRitz \ Cite {Weinan2018Deep}不同的流行方法,其中仅通过惩罚功能强制执行,因此改变了真实解决方案,所提出的方法能够解决没有惩罚功能的边界条件它即使添加了惩罚功能,它也会给出正确的真实解决方案,感谢semigoup运算符。对于特征值问题,提出了一种原始方法,有效地解析了简单的标量双变量的约束,并与BSDE求解器\ Cite {Han202020Solving}相比,诸如与线性相关的特征值问题之类的问题相比,算法更快地算法SCHR \“Odinger操作员。提供了数值结果以证明所提出的方法的性能。
translated by 谷歌翻译
物理信息的神经网络(PINN)已证明是解决部分微分方程(PDE)的前进和反问题的有效工具。 PINN将PDE嵌入神经网络的丢失中,并在一组散射的残留点上评估该PDE损失。这些点的分布对于PINN的性能非常重要。但是,在现有的针对PINN的研究中,仅使用了一些简单的残留点抽样方法。在这里,我们介绍了两类采样的全面研究:非自适应均匀抽样和适应性非均匀抽样。我们考虑了六个均匀的采样,包括(1)稳定的均匀网格,(2)均匀随机采样,(3)拉丁语超立方体采样,(4)Halton序列,(5)Hammersley序列和(6)Sobol序列。我们还考虑了用于均匀抽样的重采样策略。为了提高采样效率和PINN的准确性,我们提出了两种新的基于残余的自适应抽样方法:基于残留的自适应分布(RAD)和基于残留的自适应改进,并具有分布(RAR-D),它们会动态地改善基于训练过程中PDE残差的剩余点。因此,我们总共考虑了10种不同的采样方法,包括6种非自适应均匀抽样,重采样的均匀抽样,两种提议的自适应抽样和现有的自适应抽样。我们广泛测试了这些抽样方法在许多设置中的四个正向问题和两个反问题的性能。我们在本研究中介绍的数值结果总结了6000多个PINN的模拟。我们表明,RAD和RAR-D的提议的自适应采样方法显着提高了PINN的准确性,其残留点较少。在这项研究中获得的结果也可以用作选择抽样方法的实用指南。
translated by 谷歌翻译
我们提出了一种非常重要的抽样方法,该方法适用于估计高维问题中的罕见事件概率。我们将一般重要性抽样问题中的最佳重要性分布近似为在订单保留转换组成下的参考分布的推动力,在这种转换的组成下,每种转换都是由平方的张量训练 - 培训分解形成的。平方张量训练的分解提供了可扩展的ANSATZ,用于通过密度近似值来构建具有订单的高维转换。沿着一系列桥接密度移动的地图组成的使用减轻了直接近似浓缩密度函数的难度。为了计算对非规范概率分布的期望,我们设计了一个比率估计器,该比率估计器使用单独的重要性分布估算归一化常数,这再次通过张量训练格式的转换组成构建。与自称的重要性抽样相比,这提供了更好的理论差异,因此为贝叶斯推理问题中罕见事件概率的有效计算打开了大门。关于受微分方程约束的问题的数值实验显示,计算复杂性几乎没有增加,事件概率将零,并允许对迄今为止对复杂,高维后密度的罕见事件概率的迄今无法获得的估计。
translated by 谷歌翻译
神经网络的经典发展主要集中在有限维欧基德空间或有限组之间的学习映射。我们提出了神经网络的概括,以学习映射无限尺寸函数空间之间的运算符。我们通过一类线性积分运算符和非线性激活函数的组成制定运营商的近似,使得组合的操作员可以近似复杂的非线性运算符。我们证明了我们建筑的普遍近似定理。此外,我们介绍了四类运算符参数化:基于图形的运算符,低秩运算符,基于多极图形的运算符和傅里叶运算符,并描述了每个用于用每个计算的高效算法。所提出的神经运营商是决议不变的:它们在底层函数空间的不同离散化之间共享相同的网络参数,并且可以用于零击超分辨率。在数值上,与现有的基于机器学习的方法,达西流程和Navier-Stokes方程相比,所提出的模型显示出卓越的性能,而与传统的PDE求解器相比,与现有的基于机器学习的方法有关的基于机器学习的方法。
translated by 谷歌翻译