我们提出了一种高斯工艺方法(GP)方法(高斯过程流体动力学,GPH),用于求解Euler和Navier-Stokes方程。与平滑的粒子流体动力学(SPH)一样,GPH是一种基于拉格朗日粒子的方法,涉及跟踪流量运输的有限数量的颗粒。但是,这些颗粒不代表物质的易变粒子,而是传递有关连续流的离散/部分信息。闭合是通过将无差异GP的先验$ \ xi $放在粒子位置的涡度上的条件来实现。已知的物理学(例如Richardson Cascade和Velocity-Incrients Power Laws)已通过物理知识的添加剂纳入了GP。这相当于将$ \ xi $表示为独立GPS $ \ xi^l $的总和,我们称之为模式,以不同的比例作用。通过分析这些模式的激活,这种方法导致对理查森级联的定量分析,并使我们能够以统计方式而不是确定性的方式粗粒湍流。由于GPH是在涡度方程式上配制的,因此不需要求解压力方程。通过选择核的可压缩性和流体/结构边界条件,GPH所需的颗粒比SPH少得多。由于GPH具有自然的概率解释,因此数值结果具有不确定性估计,因此可以将其掺入UQ管道中,并以适应性的方式添加/去除粒子。提出的方法可以接受分析,它继承了最新的求解器对密集核矩阵的复杂性,并导致自然的湍流定义作为信息丢失。数值实验支持选择物理信息内核的重要性,并说明了此类内核对准确性和稳定性的主要影响。
translated by 谷歌翻译
Linear partial differential equations (PDEs) are an important, widely applied class of mechanistic models, describing physical processes such as heat transfer, electromagnetism, and wave propagation. In practice, specialized numerical methods based on discretization are used to solve PDEs. They generally use an estimate of the unknown model parameters and, if available, physical measurements for initialization. Such solvers are often embedded into larger scientific models or analyses with a downstream application such that error quantification plays a key role. However, by entirely ignoring parameter and measurement uncertainty, classical PDE solvers may fail to produce consistent estimates of their inherent approximation error. In this work, we approach this problem in a principled fashion by interpreting solving linear PDEs as physics-informed Gaussian process (GP) regression. Our framework is based on a key generalization of a widely-applied theorem for conditioning GPs on a finite number of direct observations to observations made via an arbitrary bounded linear operator. Crucially, this probabilistic viewpoint allows to (1) quantify the inherent discretization error; (2) propagate uncertainty about the model parameters to the solution; and (3) condition on noisy measurements. Demonstrating the strength of this formulation, we prove that it strictly generalizes methods of weighted residuals, a central class of PDE solvers including collocation, finite volume, pseudospectral, and (generalized) Galerkin methods such as finite element and spectral methods. This class can thus be directly equipped with a structured error estimate and the capability to incorporate uncertain model parameters and observations. In summary, our results enable the seamless integration of mechanistic models as modular building blocks into probabilistic models.
translated by 谷歌翻译
我们为相互作用粒子系统的平均场方程中相互作用内核的可识别性提供了完整的表征。关键是识别概率二次损耗功能具有独特的最小化器的功能空间。我们考虑两个数据自适应$ l^2 $空间,一个带有Lebesgue度量,另一个具有均值固有的探索度量。对于每个$ l^2 $空间,损耗功能的Fr \'echet导数会导致半阳性的积分运算符,因此,可识别性在集成运算符的非零特征值和功能空间的特征空间上保留在特征空间上识别是与积分运算符相关的RKHS的$ l^2 $ clublosure。此外,仅当整体操作员严格呈正时,可识别性在$ l^2 $空间上。因此,逆问题是错误的,需要正则化。在截断的SVD正则化的背景下,我们从数值上证明了加权$ l^2 $空间比未加权的$ l^2 $空间更可取,因为它会导致更准确的正则化估计器。
translated by 谷歌翻译
Interacting particle or agent systems that display a rich variety of swarming behaviours are ubiquitous in science and engineering. A fundamental and challenging goal is to understand the link between individual interaction rules and swarming. In this paper, we study the data-driven discovery of a second-order particle swarming model that describes the evolution of $N$ particles in $\mathbb{R}^d$ under radial interactions. We propose a learning approach that models the latent radial interaction function as Gaussian processes, which can simultaneously fulfill two inference goals: one is the nonparametric inference of {the} interaction function with pointwise uncertainty quantification, and the other one is the inference of unknown scalar parameters in the non-collective friction forces of the system. We formulate the learning problem as a statistical inverse problem and provide a detailed analysis of recoverability conditions, establishing that a coercivity condition is sufficient for recoverability. Given data collected from $M$ i.i.d trajectories with independent Gaussian observational noise, we provide a finite-sample analysis, showing that our posterior mean estimator converges in a Reproducing kernel Hilbert space norm, at an optimal rate in $M$ equal to the one in the classical 1-dimensional Kernel Ridge regression. As a byproduct, we show we can obtain a parametric learning rate in $M$ for the posterior marginal variance using $L^{\infty}$ norm, and the rate could also involve $N$ and $L$ (the number of observation time instances for each trajectory), depending on the condition number of the inverse problem. Numerical results on systems that exhibit different swarming behaviors demonstrate efficient learning of our approach from scarce noisy trajectory data.
translated by 谷歌翻译
贝叶斯神经网络试图将神经网络的强大预测性能与与贝叶斯架构预测产出相关的不确定性的正式量化相结合。然而,它仍然不清楚如何在升入网络的输出空间时,如何赋予网络的参数。提出了一种可能的解决方案,使用户能够为手头的任务提供适当的高斯过程协方差函数。我们的方法构造了网络参数的先前分配,称为ridgelet,它近似于网络的输出空间中的Posited高斯过程。与神经网络和高斯过程之间的连接的现有工作相比,我们的分析是非渐近的,提供有限的样本大小的错误界限。这建立了贝叶斯神经网络可以近似任何高斯过程,其协方差函数是足够规律的任何高斯过程。我们的实验评估仅限于概念验证,在那里我们证明ridgele先前可以在可以提供合适的高斯过程的回归问题之前出现非结构化。
translated by 谷歌翻译
湍流无处不在,获得有效,准确且可概括的订单模型仍然是一个具有挑战性的问题。该手稿开发了减少拉格朗日模型的湍流模型的层次结构,以研究和比较在拉格朗日框架内实施平滑的粒子流体动力学(SPH)结构与嵌入神经网络(NN)作为通用函数近似器中的效果。 SPH是用于近似流体力学方程的无网格拉格朗日方法。从基于神经网络(NN)的拉格朗日加速运算符的参数化开始,该层次结构逐渐结合了一个弱化和参数化的SPH框架,该框架可以执行物理对称性和保护定律。开发了两个新的参数化平滑核,其中包含在完全参数化的SPH模拟器中,并与立方和四分之一的平滑核进行了比较。对于每个模型,我们使用基于梯度的优化最小化的不同损耗函数,其中使用自动分化(AD)和灵敏度分析(SA)获得了有效的梯度计算。每个模型均经过两个地面真理(GT)数据集训练,该数据集与每周可压缩的均质各向同性湍流(hit),(1)使用弱压缩SPH的验证集,(2)来自直接数值模拟(DNS)的高忠诚度集。数值证据表明:(a)对“合成” SPH数据的方法验证; (b)嵌入在SPH框架中近似状态方程的NN的能力; (b)每个模型都能插入DNS数据; (c)编码更多的SPH结构可提高对不同湍流的马赫数和时间尺度的普遍性; (d)引入两个新型参数化平滑核可提高SPH比标准平滑核的准确性。
translated by 谷歌翻译
本文提出了一个身体一致的高斯过程(GP),以识别不确定的拉格朗日系统。该功能空间是根据拉格朗日和微分方程结构的能量成分量身定制的,可以在分析上保证物理和数学特性,例如能量保护和二次形式。Cholesky分解矩阵内核的新型配方可允许概率保留正定性。在扭矩,速度和加速度中允许高斯噪声时,仅需要进行函数图的差分输入测量值。我们证明了该方法在数值模拟中的有效性。
translated by 谷歌翻译
We study a double robust Bayesian inference procedure on the average treatment effect (ATE) under unconfoundedness. Our Bayesian approach involves a correction term for prior distributions adjusted by the propensity score. We prove asymptotic equivalence of our Bayesian estimator and efficient frequentist estimators by establishing a new semiparametric Bernstein-von Mises theorem under double robustness; i.e., the lack of smoothness of conditional mean functions can be compensated by high regularity of the propensity score and vice versa. Consequently, the resulting Bayesian point estimator internalizes the bias correction as the frequentist-type doubly robust estimator, and the Bayesian credible sets form confidence intervals with asymptotically exact coverage probability. In simulations, we find that this corrected Bayesian procedure leads to significant bias reduction of point estimation and accurate coverage of confidence intervals, especially when the dimensionality of covariates is large relative to the sample size and the underlying functions become complex. We illustrate our method in an application to the National Supported Work Demonstration.
translated by 谷歌翻译
我们研究了非线性状态空间模型中对不可糊化的观察函数的无监督学习。假设观察过程的大量数据以及状态过程的分布,我们引入了一种非参数通用力矩方法,以通过约束回归来估计观察函数。主要的挑战来自观察函数的不可抑制性以及国家与观察之间缺乏数据对。我们解决了二次损失功能可识别性的基本问题,并表明可识别性的功能空间是闭合状态过程的RKHS。数值结果表明,前两个矩和时间相关以及上限和下限可以识别从分段多项式到平滑函数的功能,从而导致收敛估计器。还讨论了该方法的局限性,例如由于对称性和平稳性而引起的非识别性。
translated by 谷歌翻译
本论文主要涉及解决深层(时间)高斯过程(DGP)回归问题的状态空间方法。更具体地,我们代表DGP作为分层组合的随机微分方程(SDES),并且我们通过使用状态空间过滤和平滑方法来解决DGP回归问题。由此产生的状态空间DGP(SS-DGP)模型生成丰富的电视等级,与建模许多不规则信号/功能兼容。此外,由于他们的马尔可道结构,通过使用贝叶斯滤波和平滑方法可以有效地解决SS-DGPS回归问题。本论文的第二次贡献是我们通过使用泰勒力矩膨胀(TME)方法来解决连续离散高斯滤波和平滑问题。这诱导了一类滤波器和SmooThers,其可以渐近地精确地预测随机微分方程(SDES)解决方案的平均值和协方差。此外,TME方法和TME过滤器和SmoOthers兼容模拟SS-DGP并解决其回归问题。最后,本文具有多种状态 - 空间(深)GPS的应用。这些应用主要包括(i)来自部分观察到的轨迹的SDES的未知漂移功能和信号的光谱 - 时间特征估计。
translated by 谷歌翻译
在许多学科中,动态系统的数据信息预测模型的开发引起了广泛的兴趣。我们提出了一个统一的框架,用于混合机械和机器学习方法,以从嘈杂和部分观察到的数据中识别动态系统。我们将纯数据驱动的学习与混合模型进行比较,这些学习结合了不完善的域知识。我们的公式与所选的机器学习模型不可知,在连续和离散的时间设置中都呈现,并且与表现出很大的内存和错误的模型误差兼容。首先,我们从学习理论的角度研究无内存线性(W.R.T.参数依赖性)模型误差,从而定义了过多的风险和概括误差。对于沿阵行的连续时间系统,我们证明,多余的风险和泛化误差都通过与T的正方形介于T的术语(指定训练数据的时间间隔)的术语界定。其次,我们研究了通过记忆建模而受益的方案,证明了两类连续时间复发性神经网络(RNN)的通用近似定理:两者都可以学习与内存有关的模型误差。此外,我们将一类RNN连接到储层计算,从而将学习依赖性错误的学习与使用随机特征在Banach空间之间进行监督学习的最新工作联系起来。给出了数值结果(Lorenz '63,Lorenz '96多尺度系统),以比较纯粹的数据驱动和混合方法,发现混合方法较少,渴望数据较少,并且更有效。最后,我们从数值上证明了如何利用数据同化来从嘈杂,部分观察到的数据中学习隐藏的动态,并说明了通过这种方法和培训此类模型来表示记忆的挑战。
translated by 谷歌翻译
提出了用于基于合奏的估计和模拟高维动力系统(例如海洋或大气流)的方法学框架。为此,动态系统嵌入了一个由动力学驱动的内核功能的繁殖核Hilbert空间的家族中。这个家庭因其吸引人的财产而被昵称为仙境。在梦游仙境中,Koopman和Perron-Frobenius操作员是统一且均匀的。该属性保证它们可以在一系列可对角线的无限发电机中表达。访问Lyapunov指数和切线线性动力学的精确集合表达式也可以直接可用。仙境使我们能够根据轨迹样本的恒定时间线性组合来设计出惊人的简单集合数据同化方法。通过几个基本定理的完全合理的叠加原则,使这种令人尴尬的简单策略成为可能。
translated by 谷歌翻译
神经网络的经典发展主要集中在有限维欧基德空间或有限组之间的学习映射。我们提出了神经网络的概括,以学习映射无限尺寸函数空间之间的运算符。我们通过一类线性积分运算符和非线性激活函数的组成制定运营商的近似,使得组合的操作员可以近似复杂的非线性运算符。我们证明了我们建筑的普遍近似定理。此外,我们介绍了四类运算符参数化:基于图形的运算符,低秩运算符,基于多极图形的运算符和傅里叶运算符,并描述了每个用于用每个计算的高效算法。所提出的神经运营商是决议不变的:它们在底层函数空间的不同离散化之间共享相同的网络参数,并且可以用于零击超分辨率。在数值上,与现有的基于机器学习的方法,达西流程和Navier-Stokes方程相比,所提出的模型显示出卓越的性能,而与传统的PDE求解器相比,与现有的基于机器学习的方法有关的基于机器学习的方法。
translated by 谷歌翻译
基本上有三种不确定性量化方法(UQ):(a)强大的优化,(b)贝叶斯,(c)决策理论。尽管(a)坚固,但在准确性和数据同化方面是不利的。 (b)需要先验,通常是脆弱的,后验估计可能很慢。尽管(c)导致对最佳先验的识别,但其近似遭受了维度的诅咒,风险的概念是相对于数据分布的平均值。我们引入了第四种,它是(a),(b),(c)和假设检验之间的杂种。可以总结为在观察样本$ x $之后,(1)通过相对可能性定义了可能性区域,(2)在该区域玩Minmax游戏以定义最佳估计器及其风险。最终的方法具有几种理想的属性(a)测量数据后确定了最佳先验,并且风险概念是后部的,(b)确定最佳估计值,其风险可以降低到计算最小封闭的最小封闭式。利益图量下的可能性区域图像的球(这是快速的,不受维数的诅咒)。该方法的特征在于$ [0,1] $中的参数,该参数是在观察到的数据(相对可能性)的稀有度上被假定的下限。当该参数接近$ 1 $时,该方法会产生一个后分布,该分布集中在最大似然估计的情况下,并具有较低的置信度UQ估计值。当该参数接近$ 0 $时,该方法会产生最大风险后验分布,并具有很高的信心UQ估计值。除了导航准确性不确定性权衡外,该建议的方法还通过导航与数据同化相关的稳健性 - 准确性权衡解决了贝叶斯推断的脆弱性。
translated by 谷歌翻译
Koopman运算符是无限维的运算符,可全球线性化非线性动态系统,使其光谱信息可用于理解动态。然而,Koopman运算符可以具有连续的光谱和无限维度的子空间,使得它们的光谱信息提供相当大的挑战。本文介绍了具有严格融合的数据驱动算法,用于从轨迹数据计算Koopman运算符的频谱信息。我们引入了残余动态模式分解(ResDMD),它提供了第一种用于计算普通Koopman运算符的Spectra和PseudtoStra的第一种方案,无需光谱污染。使用解析器操作员和RESDMD,我们还计算与测量保存动态系统相关的光谱度量的平滑近似。我们证明了我们的算法的显式收敛定理,即使计算连续频谱和离散频谱的密度,也可以实现高阶收敛即使是混沌系统。我们展示了在帐篷地图,高斯迭代地图,非线性摆,双摆,洛伦茨系统和11美元延长洛伦兹系统的算法。最后,我们为具有高维状态空间的动态系统提供了我们的算法的核化变体。这使我们能够计算与具有20,046维状态空间的蛋白质分子的动态相关的光谱度量,并计算出湍流流过空气的误差界限的非线性Koopman模式,其具有雷诺数为$> 10 ^ 5 $。一个295,122维的状态空间。
translated by 谷歌翻译
Recent years have witnessed a growth in mathematics for deep learning--which seeks a deeper understanding of the concepts of deep learning with mathematics, and explores how to make it more robust--and deep learning for mathematics, where deep learning algorithms are used to solve problems in mathematics. The latter has popularised the field of scientific machine learning where deep learning is applied to problems in scientific computing. Specifically, more and more neural network architectures have been developed to solve specific classes of partial differential equations (PDEs). Such methods exploit properties that are inherent to PDEs and thus solve the PDEs better than classical feed-forward neural networks, recurrent neural networks, and convolutional neural networks. This has had a great impact in the area of mathematical modeling where parametric PDEs are widely used to model most natural and physical processes arising in science and engineering, In this work, we review such methods and extend them for parametric studies as well as for solving the related inverse problems. We equally proceed to show their relevance in some industrial applications.
translated by 谷歌翻译
在高维度中整合时间依赖性的fokker-planck方程的选择方法是通过集成相关的随机微分方程来生成溶液中的样品。在这里,我们介绍了基于整合描述概率流的普通微分方程的替代方案。与随机动力学不同,该方程式在以后的任何时候都会从初始密度将样品从溶液中的样品推到样品。该方法具有直接访问数量的优势,这些数量挑战仅估算仅给定解决方案的样品,例如概率电流,密度本身及其熵。概率流程方程取决于溶液对数的梯度(其“得分”),因此A-Priori未知也是如此。为了解决这种依赖性,我们用一个深神网络对分数进行建模,该网络通过根据瞬时概率电流传播一组粒子来实现,该网络可以在直接学习中学习。我们的方法是基于基于得分的生成建模的最新进展,其重要区别是训练程序是独立的,并且不需要来自目标密度的样本才能事先可用。为了证明该方法的有效性,我们考虑了相互作用粒子系统物理学的几个示例。我们发现该方法可以很好地缩放到高维系统,并准确匹配可用的分析解决方案和通过蒙特卡洛计算的力矩。
translated by 谷歌翻译
计算机代数可以使用符号算法回答有关部分微分方程的各种问题。但是,在计算机代数中将数据包含在方程式中很少。因此,最近,计算机代数模型与高斯流程(机器学习中的回归模型)相结合,以描述数据下某些微分方程的行为。尽管可以在这种情况下描述多项式边界条件,但我们将这些模型扩展到分析边界条件。此外,我们描述了具有某些分析系数的Weyl代数的gr \ obner和Janet碱基的必要算法。使用这些算法,我们提供了由分析功能界定并适应观察结果的域中无差流流的示例。
translated by 谷歌翻译
Partial differential equations (PDEs) are widely used for description of physical and engineering phenomena. Some key parameters involved in PDEs, which represents certain physical properties with important scientific interpretations, are difficult or even impossible to be measured directly. Estimation of these parameters from noisy and sparse experimental data of related physical quantities is an important task. Many methods for PDE parameter inference involve a large number of evaluations of numerical solution of PDE through algorithms such as finite element method, which can be time-consuming especially for nonlinear PDEs. In this paper, we propose a novel method for estimating unknown parameters in PDEs, called PDE-Informed Gaussian Process Inference (PIGPI). Through modeling the PDE solution as a Gaussian process (GP), we derive the manifold constraints induced by the (linear) PDE structure such that under the constraints, the GP satisfies the PDE. For nonlinear PDEs, we propose an augmentation method that transfers the nonlinear PDE into an equivalent PDE system linear in all derivatives that our PIGPI can handle. PIGPI can be applied to multi-dimensional PDE systems and PDE systems with unobserved components. The method completely bypasses the numerical solver for PDE, thus achieving drastic savings in computation time, especially for nonlinear PDEs. Moreover, the PIGPI method can give the uncertainty quantification for both the unknown parameters and the PDE solution. The proposed method is demonstrated by several application examples from different areas.
translated by 谷歌翻译
数据驱动的降级模型通常无法对沿坐标敏感的高维非线性系统进行准确的预测,因为这种坐标通常经常被截断,例如,通过正确的正交分解,核心成分分析和自动范围。这种系统在剪切主导的流体流中经常遇到,在剪切主导的流体流中,非正常性在障碍的生长中起着重要作用。为了解决这些问题,我们采用来自活跃子空间的想法来查找模型减少的坐标的低维系统,以平衡伴随的信息,以了解该系统的敏感性与沿轨迹的状态方差的敏感性。所得的方法是使用伴随快照(Cobras)称为协方差平衡降低,与平衡截断与状态和基于伴随的梯度协方差矩阵取代了系统gramians并遵守相同的关键转换定律。在这里,提取的坐标与可用于构建彼得罗夫 - 盖尔金还原模型的倾斜投影相关。我们提供了一种有效的基于快照的计算方法,类似于平衡的正交分解。这也导致观察到,可以单独依靠状态和梯度样品的内部产品来计算还原的坐标,从而使我们能够通过用核函数替换内部产品来找到丰富的非线性坐标。在这些坐标中,可以使用回归来学习减少的模型。我们演示了这些技术,并与简单但具有挑战性的三维系统和轴对称喷气流仿真进行比较,并具有$ 10^5 $状态变量。
translated by 谷歌翻译