自动化数据驱动的建模,直接发现系统的管理方程的过程越来越多地用于科学界。 Pysindy是一个Python包,提供用于应用非线性动力学(SINDY)方法的稀疏识别到数据驱动模型发现的工具。在Pysindy的这一主要更新中,我们实现了几种高级功能,使得能够从嘈杂和有限的数据中发现更一般的微分方程。延长候选术语库,用于识别致动系统,部分微分方程(PDE)和隐式差分方程。还实施了包括Sindy和合奏技术的整体形式的强大配方,以提高现实世界数据的性能。最后,我们提供了一系列新的优化算法,包括多元稀疏的回归技术和算法来强制执行和促进不等式约束和稳定性。这些更新在一起,可以在文献中尚未报告的全新SINDY模型发现能力,例如约束PDE识别和使用不同稀疏的回归优化器合并。
translated by 谷歌翻译
In this paper, we introduce PDE-LEARN, a novel PDE discovery algorithm that can identify governing partial differential equations (PDEs) directly from noisy, limited measurements of a physical system of interest. PDE-LEARN uses a Rational Neural Network, $U$, to approximate the system response function and a sparse, trainable vector, $\xi$, to characterize the hidden PDE that the system response function satisfies. Our approach couples the training of $U$ and $\xi$ using a loss function that (1) makes $U$ approximate the system response function, (2) encapsulates the fact that $U$ satisfies a hidden PDE that $\xi$ characterizes, and (3) promotes sparsity in $\xi$ using ideas from iteratively reweighted least-squares. Further, PDE-LEARN can simultaneously learn from several data sets, allowing it to incorporate results from multiple experiments. This approach yields a robust algorithm to discover PDEs directly from realistic scientific data. We demonstrate the efficacy of PDE-LEARN by identifying several PDEs from noisy and limited measurements.
translated by 谷歌翻译
在科学的背景下,众所周知的格言“一张图片胜过千言万语”可能是“一个型号胜过一千个数据集”。在本手稿中,我们将Sciml软件生态系统介绍作为混合物理法律和科学模型的信息,并使用数据驱动的机器学习方法。我们描述了一个数学对象,我们表示通用微分方程(UDE),作为连接生态系统的统一框架。我们展示了各种各样的应用程序,从自动发现解决高维汉密尔顿 - Jacobi-Bellman方程的生物机制,可以通过UDE形式主义和工具进行措辞和有效地处理。我们展示了软件工具的一般性,以处理随机性,延迟和隐式约束。这使得各种SCIML应用程序变为核心训练机构的核心集,这些训练机构高度优化,稳定硬化方程,并与分布式并行性和GPU加速器兼容。
translated by 谷歌翻译
拟合科学数据的部分微分方程(PDE)可以用可解释的机制来代表各种以数学为导向的受试者的物理定律。从科学数据中发现PDE的数据驱动的发现蓬勃发展,作为对自然界中复杂现象进行建模的新尝试,但是当前实践的有效性通常受数据的稀缺性和现象的复杂性的限制。尤其是,从低质量数据中发现具有高度非线性系数的PDE在很大程度上已经不足。为了应对这一挑战,我们提出了一种新颖的物理学指导学习方法,该方法不仅可以编码观察知识,例如初始和边界条件,而且还包含了基本的物理原理和法律来指导模型优化。我们从经验上证明,所提出的方法对数据噪声和稀疏性更为强大,并且可以将估计误差较大。此外,我们第一次能够发现具有高度非线性系数的PDE。凭借有希望的性能,提出的方法推动了PDE的边界,这可以通过机器学习模型来进行科学发现。
translated by 谷歌翻译
识别非线性动态系统的控制方程是理解系统物理特征的关键,并构建概括超出可用数据的动态的准确模型。我们提出了一种用于发现这些管理方程的机器学习框架,仅使用部分观察,将编码器与稀疏符号模型相结合。我们的测试表明,此方法可以成功地重建完整的系统状态,并确定各种颂歌和PDE系统的底层动态。
translated by 谷歌翻译
封闭形式的微分方程,包括部分微分方程和高阶普通微分方程,是科学家用来建模和更好地理解自然现象的最重要工具之一。直接从数据中发现这些方程是具有挑战性的,因为它需要在数据中未观察到的各种衍生物之间建模关系(\ textit {equation-data不匹配}),并且涉及在可能的方程式的巨大空间中搜索。当前的方法对方程式的形式做出了强烈的假设,因此未能发现许多知名系统。此外,其中许多通过估计衍生物来解决方程数据不匹配,这使得它们不足以噪音且不经常采样系统。为此,我们提出了D-Cipher,这对测量工件非常健壮,可以发现新的且非常通用的微分方程类别。我们进一步设计了一种新颖的优化程序Collie,以帮助D-Cipher搜索该课程。最后,我们从经验上证明,它可以发现许多众所周知的方程,这些方程超出了当前方法的功能。
translated by 谷歌翻译
PDE发现显示了揭示复杂物理系统的预测模型,但在测量稀疏和嘈杂时难以困难。我们介绍了一种新方法,用于PDE发现,它使用两个合理的神经网络和原始的稀疏回归算法来识别管理系统响应的隐藏动态。第一网络了解系统响应函数,而第二个网络了解一个驱动系统演进的隐藏PDE。然后,我们使用无参数稀疏回归算法从第二网络中提取隐藏PDE的人类可读形式。我们在名为PDE-读取的开源库中实现了我们的方法。我们的方法成功地识别了热,汉堡和KorteDeg-de Vries方程,具有显着的一致性。我们表明,我们的方法对稀疏性和噪音都是前所未有的强大,因此适用于现实世界的观察数据。
translated by 谷歌翻译
数据科学和机器学习的进展已在非线性动力学系统的建模和模拟方面取得了重大改进。如今,可以准确预测复杂系统,例如天气,疾病模型或股市。预测方法通常被宣传为对控制有用,但是由于系统的复杂性,较大的数据集的需求以及增加的建模工作,这些细节经常没有得到解答。换句话说,自治系统的替代建模比控制系统要容易得多。在本文中,我们介绍了Quasimodo框架(量化模拟模拟模拟 - 优化),以将任意预测模型转换为控制系统,从而使数据驱动的替代模型的巨大进步可访问控制系统。我们的主要贡献是,我们通过自动化动力学(产生混合企业控制问题)来贸易控制效率,以获取任意,即使用的自主替代建模技术。然后,我们通过利用混合成员优化的最新结果来恢复原始问题的复杂性。 Quasimodo的优点是数据要求在控制维度方面的线性增加,性能保证仅依赖于使用的预测模型的准确性,而控制理论中的知识知识要求很少来解决复杂的控制问题。
translated by 谷歌翻译
最近的机器学习(ML)和深度学习(DL)的发展增加了所有部门的机会。 ML是一种重要的工具,可以应用于许多学科,但其直接应用于土木工程问题可能是挑战性的。在实验室中模拟的土木工程应用程序通常在现实世界测试中失败。这通常归因于用于培训和测试ML模型的数据之间的数据不匹配以及它在现实世界中遇到的数据,称为数据偏移的现象。然而,基于物理的ML模型集成了数据,部分微分方程(PDE)和数学模型以解决数据移位问题。基于物理的ML模型训练,以解决监督学习任务,同时尊重一般非线性方程描述的任何给定的物理定律。基于物理的ML,它在许多科学学科中占据中心阶段,在流体动力学,量子力学,计算资源和数据存储中起着重要作用。本文综述了基于物理学的ML历史及其在土木工程中的应用。
translated by 谷歌翻译
Data-driven identification of differential equations is an interesting but challenging problem, especially when the given data are corrupted by noise. When the governing differential equation is a linear combination of various differential terms, the identification problem can be formulated as solving a linear system, with the feature matrix consisting of linear and nonlinear terms multiplied by a coefficient vector. This product is equal to the time derivative term, and thus generates dynamical behaviors. The goal is to identify the correct terms that form the equation to capture the dynamics of the given data. We propose a general and robust framework to recover differential equations using a weak formulation, for both ordinary and partial differential equations (ODEs and PDEs). The weak formulation facilitates an efficient and robust way to handle noise. For a robust recovery against noise and the choice of hyper-parameters, we introduce two new mechanisms, narrow-fit and trimming, for the coefficient support and value recovery, respectively. For each sparsity level, Subspace Pursuit is utilized to find an initial set of support from the large dictionary. Then, we focus on highly dynamic regions (rows of the feature matrix), and error normalize the feature matrix in the narrow-fit step. The support is further updated via trimming of the terms that contribute the least. Finally, the support set of features with the smallest Cross-Validation error is chosen as the result. A comprehensive set of numerical experiments are presented for both systems of ODEs and PDEs with various noise levels. The proposed method gives a robust recovery of the coefficients, and a significant denoising effect which can handle up to $100\%$ noise-to-signal ratio for some equations. We compare the proposed method with several state-of-the-art algorithms for the recovery of differential equations.
translated by 谷歌翻译
物理信息的神经网络(PINN)是神经网络(NNS),它们作为神经网络本身的组成部分编码模型方程,例如部分微分方程(PDE)。如今,PINN是用于求解PDE,分数方程,积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架,在该框架中,NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述:虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络,这些神经网络构成了香草·皮恩(Vanilla Pinn)以及许多其他变体,例如物理受限的神经网络(PCNN),各种HP-VPINN,变量HP-VPINN,VPINN,VPINN,变体。和保守的Pinn(CPINN)。该研究表明,大多数研究都集中在通过不同的激活功能,梯度优化技术,神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛,但通过证明其在某些情况下比有限元方法(FEM)等经典数值技术更可行的能力,但仍有可能的进步,最著名的是尚未解决的理论问题。
translated by 谷歌翻译
许多物理过程,例如天气现象或流体力学由部分微分方程(PDE)管辖。使用神经网络建模这种动态系统是一个新兴的研究领域。然而,目前的方法以各种方式限制:它们需要关于控制方程的先验知识,并限于线性或一阶方程。在这项工作中,我们提出了一种将卷积神经网络(CNNS)与可微分的颂歌求解器结合到模型动力系统的模型。我们表明,标准PDE求解器中使用的线路方法可以使用卷曲来表示,这使得CNN是对参数化任意PDE动态的自然选择。我们的模型可以应用于任何数据而不需要任何关于管理PDE的知识。我们评估通过求解各种PDE而产生的数据集的NeuralPDE,覆盖更高的订单,非线性方程和多个空间尺寸。
translated by 谷歌翻译
Despite great progress in simulating multiphysics problems using the numerical discretization of partial differential equations (PDEs), one still cannot seamlessly incorporate noisy data into existing algorithms, mesh generation remains complex, and high-dimensional problems governed by parameterized PDEs cannot be tackled. Moreover, solving inverse problems with hidden physics is often prohibitively expensive and requires different formulations and elaborate computer codes. Machine learning has emerged as a promising alternative, but training deep neural networks requires big data, not always available for scientific problems. Instead, such networks can be trained from additional information obtained by enforcing the physical laws (for example, at random points in the continuous space-time domain). Such physics-informed learning integrates (noisy) data and mathematical models, and implements them through neural networks or other kernel-based regression networks. Moreover, it may be possible to design specialized network architectures that automatically satisfy some of the physical invariants for better accuracy, faster training and improved generalization. Here, we review some of the prevailing trends in embedding physics into machine learning, present some of the current capabilities and limitations and discuss diverse applications of physics-informed learning both for forward and inverse problems, including discovering hidden physics and tackling high-dimensional problems.
translated by 谷歌翻译
这项工作探讨了物理驱动的机器学习技术运算符推理(IMIPF),以预测混乱的动力系统状态。 OPINF提供了一种非侵入性方法来推断缩小空间中多项式操作员的近似值,而无需访问离散模型中出现的完整订单操作员。物理系统的数据集是使用常规数值求解器生成的,然后通过主成分分析(PCA)投影到低维空间。在潜在空间中,设置了一个最小二乘问题以适合二次多项式操作员,该操作员随后在时间整合方案中使用,以便在同一空间中产生外推。解决后,将对逆PCA操作进行重建原始空间中的外推。通过标准化的根平方误差(NRMSE)度量评估了OPINF预测的质量,从中计算有效的预测时间(VPT)。考虑混乱系统Lorenz 96和Kuramoto-Sivashinsky方程的数值实验显示,具有VPT范围的OPINF降低订单模型的有希望的预测能力,这些模型均超过了最先进的机器学习方法,例如返回和储层计算循环新的Neural网络[1 ],以及马尔可夫神经操作员[2]。
translated by 谷歌翻译
部分微分方程(PDE)的自动模型发现通常考虑单个实验或数据集以推断底层的控制方程。在实践中,实验在不能简单地平均出来的参数,初始和边界条件下具有固有的自然变性。我们介绍了一个随机的自适应组套索稀疏性估算器,以促进分组的稀疏性并在基于深入的学习PDE发现框架中实施。它允许创建一个学习偏差,其意味着先验的假设,即所有实验都可以用具有潜在不同系数的相同的基础PDE术语解释。我们的实验结果显示了更广泛的PDE,可以从多个高度嘈杂的数据集中找到,通过此分组的稀疏性促销,而不是简单地执行独立的模型发现。
translated by 谷歌翻译
我们考虑从高噪声限制的时间序列数据中控制方程的数据驱动发现。该算法开发描述了在非线性动力学(SINDY)框架的稀疏识别的背景下避免噪声的广泛影响的方法的广泛工具包。我们提供了两个主要贡献,都集中在系统x'= f(x)中获取的嘈杂数据。首先,我们提出用于高噪声设置的广泛工具包,这是一个批判性的回归方法的扩展,从完整的库中逐步剔除剔除功能,并产生一组稀疏方程,其回归到衍生x' 。这些创新可以从高噪声时间序列数据中提取稀疏控制方程和系数(例如,增加噪声300%)。例如,它发现洛伦茨系统中的正确稀疏文库,中值系数估计误差等于1% - 3%(50%噪声),6% - 8%(100%噪声);和23% - 25%(噪音300%)。工具包中的启用模块组合成单个方法,但各个模块可以在其他方程发现方法(Sindy或不)中进行战术,以改善高噪声数据的结果。其次,我们提出了一种技术,适用于基于X'= F(X)的任何模型发现方法,以评估由于噪声数据而在非唯一解决方案的上下文中发现模型的准确性。目前,这种非唯一性可以模糊发现模型的准确性,从而造成发现方法的有效性。我们描述了一种使用线性依赖性的技术,该技术将发现的模型转换为最接近真实模型的等效形式,从而能够更准确地评估发现的模型的准确性。
translated by 谷歌翻译
虽然深受深度学习在各种科学和工程问题中,由于其强大的高维非线性映射能力,但它在科学知识发现中使用有限。在这项工作中,我们提出了一种基于深度学习的框架,以发现基于高分辨率微观模拟数据的粘性重力电流的宏观控制方程,而无需先前了解基础术语。对于具有不同粘度比的两个典型方案,基于深度学习的公式完全捕获与理论上派生的术语相同的主导术语,以描述验证所提出的框架的长期渐近行为。然后获得未知的宏观方程以描述用于描述短期行为,并且最终发现了额外的深度学习补偿项。后检测的比较表明,基于深度学习的PDE实际上比理论上衍生的PDE更好地在预测长期和短期制度中预测演化粘性重力电流。此外,拟议的框架被证明是对训练的非偏见数据噪声非常稳健,这高达20%。因此,所提出的深度学习框架表明,从原始实验或模拟导致数据空间中发现了在科学语义空间中发现了未经验证的内在法律的相当潜力。
translated by 谷歌翻译
从非线性系统中提取预测模型是科学机器学习中的一个中心任务。一个关键问题是现代数据驱动方法与第一个原则之间的对帐。尽管机器学习技术快速进展,但将域知识嵌入到数据驱动的模型中仍然是一个挑战。在这项工作中,我们为基于观察的非线性系统提取了一个通用学习框架,用于从非线性系统中提取预测模型。我们的框架可以容易地纳入第一个原理知识,因为它自然地模拟非线性系统作为连续时间系统。这两种都改善了提取的模型的外推功率,并减少了培训所需的数据量。此外,我们的框架还具有对观察噪声的稳健和适用性的优点,不规则采样数据。我们通过学习各种系统的预测模型来展示我们方案的有效性,包括普拉登·德隆振荡器,Lorenz系统和Kuramoto-Sivashinsky方程。对于Lorenz系统,并入不同类型的域知识,以展示数据驱动系统识别中的知识强度。
translated by 谷歌翻译
来自数据的顺序模式是各种时间序列预测任务的核心。深度学习模型大大优于许多传统模型,但是这些黑框模型通常缺乏预测和决策的解释性。为了揭示具有可理解的数学表达式的潜在趋势,科学家和经济学家倾向于使用部分微分方程(PDE)来解释顺序模式的高度非线性动力学。但是,它通常需要领域专家知识和一系列简化的假设,这些假设并不总是实用的,并且可能偏离不断变化的世界。是否可以动态地学习与数据的差异关系以解释时间不断发展的动态?在这项工作中,我们提出了一个学习框架,该框架可以自动从顺序数据中获取可解释的PDE模型。特别是,该框架由可学习的差分块组成,称为$ p $ blocks,事实证明,该框架能够近似于理论上随着时间不断变化的复杂连续功能。此外,为了捕获动力学变化,该框架引入了元学习控制器,以动态优化混合PDE模型的超参数。 《时代》系列预测金融,工程和健康数据的广泛实验表明,我们的模型可以提供有价值的解释性并实现与最先进模型相当的性能。从经验研究中,我们发现学习一些差异操作员可能会捕获无需大量计算复杂性的顺序动力学的主要趋势。
translated by 谷歌翻译
Given ample experimental data from a system governed by differential equations, it is possible to use deep learning techniques to construct the underlying differential operators. In this work we perform symbolic discovery of differential operators in a situation where there is sparse experimental data. This small data regime in machine learning can be made tractable by providing our algorithms with prior information about the underlying dynamics. Physics Informed Neural Networks (PINNs) have been very successful in this regime (reconstructing entire ODE solutions using only a single point or entire PDE solutions with very few measurements of the initial condition). We modify the PINN approach by adding a neural network that learns a representation of unknown hidden terms in the differential equation. The algorithm yields both a surrogate solution to the differential equation and a black-box representation of the hidden terms. These hidden term neural networks can then be converted into symbolic equations using symbolic regression techniques like AI Feynman. In order to achieve convergence of these neural networks, we provide our algorithms with (noisy) measurements of both the initial condition as well as (synthetic) experimental data obtained at later times. We demonstrate strong performance of this approach even when provided with very few measurements of noisy data in both the ODE and PDE regime.
translated by 谷歌翻译