从数据学习动态模型在工程设计,优化和预测中起着重要作用。使用经验知识或第一个原则描述复杂过程(例如,天气动态或反应流量)的动态的建筑模型是繁重或不可行的。此外,这些模型是高维但空间相关的。然而,观察到高保真模型的动态经常在低维歧管中发展。此外,还已知用于定义非线性动力学的足够平滑的矢量场,二次模型可以在适当的坐标系中准确地描述它,赋予非透露优化中的McCormick松弛思想。在这里,我们的目标是找到高保真动态数据的低维嵌入,确保了一个简单的二次模型来解释其动态。为此目的,这项工作利用深度学习来识别高保真动态系统的低维二次嵌入。精确地,我们使用autoencoder识别数据嵌入数据以具有嵌入的所需属性。我们还嵌入了漫游 - 库特塔方法,以避免时间衍生计算,这通常是一个挑战。我们说明了在描述流动动态和振荡管式反应器模型中产生的几个示例的方法的能力。
translated by 谷歌翻译
我们开发一种方法来构造来自表示基本上非线性(或不可连锁的)动态系统的数据集构成低维预测模型,其中具有由有限许多频率的外部强制进行外部矫正的双曲线线性部分。我们的数据驱动,稀疏,非线性模型获得为低维,吸引动力系统的光谱子纤维(SSM)的降低的动态的延长正常形式。我们说明了数据驱动的SSM降低了高维数值数据集的功率和涉及梁振荡,涡旋脱落和水箱中的晃动的实验测量。我们发现,在未加工的数据上培训的SSM减少也在额外的外部强制下准确预测非线性响应。
translated by 谷歌翻译
物理信息的神经网络(PINN)是神经网络(NNS),它们作为神经网络本身的组成部分编码模型方程,例如部分微分方程(PDE)。如今,PINN是用于求解PDE,分数方程,积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架,在该框架中,NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述:虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络,这些神经网络构成了香草·皮恩(Vanilla Pinn)以及许多其他变体,例如物理受限的神经网络(PCNN),各种HP-VPINN,变量HP-VPINN,VPINN,VPINN,变体。和保守的Pinn(CPINN)。该研究表明,大多数研究都集中在通过不同的激活功能,梯度优化技术,神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛,但通过证明其在某些情况下比有限元方法(FEM)等经典数值技术更可行的能力,但仍有可能的进步,最著名的是尚未解决的理论问题。
translated by 谷歌翻译
在科学的背景下,众所周知的格言“一张图片胜过千言万语”可能是“一个型号胜过一千个数据集”。在本手稿中,我们将Sciml软件生态系统介绍作为混合物理法律和科学模型的信息,并使用数据驱动的机器学习方法。我们描述了一个数学对象,我们表示通用微分方程(UDE),作为连接生态系统的统一框架。我们展示了各种各样的应用程序,从自动发现解决高维汉密尔顿 - Jacobi-Bellman方程的生物机制,可以通过UDE形式主义和工具进行措辞和有效地处理。我们展示了软件工具的一般性,以处理随机性,延迟和隐式约束。这使得各种SCIML应用程序变为核心训练机构的核心集,这些训练机构高度优化,稳定硬化方程,并与分布式并行性和GPU加速器兼容。
translated by 谷歌翻译
在本文中,我们提出了一种深度学习技术,用于数据驱动的流体介质中波传播的预测。该技术依赖于基于注意力的卷积复发自动编码器网络(AB-CRAN)。为了构建波传播数据的低维表示,我们采用了基于转化的卷积自动编码器。具有基于注意力的长期短期记忆细胞的AB-CRAN体系结构构成了我们的深度神经网络模型,用于游行低维特征的时间。我们评估了针对标准复发性神经网络的拟议的AB-Cran框架,用于波传播的低维学习。为了证明AB-Cran模型的有效性,我们考虑了三个基准问题,即一维线性对流,非线性粘性汉堡方程和二维圣人浅水系统。我们的新型AB-CRAN结构使用基准问题的空间 - 时空数据集,可以准确捕获波幅度,并在长期范围内保留溶液的波特性。与具有长期短期记忆细胞的标准复发性神经网络相比,基于注意力的序列到序列网络增加了预测的时间莫。 Denoising自动编码器进一步减少了预测的平方平方误差,并提高了参数空间中的概括能力。
translated by 谷歌翻译
我们提出了一种从数据模拟动态系统的数值方法。我们使用最近引入的方法可扩展的概率近似(SPA)从欧几里德空间到凸多台的项目点,并表示在新的低维坐标中的系统的预计状态,表示其在多晶硅中的位置。然后,我们介绍特定的非线性变换,以构建多特渗透中动力学的模型,并转换回原始状态空间。为了克服投影到低维层的潜在信息损失,我们在局部延迟嵌入定理的意义上使用记忆。通过施工,我们的方法产生稳定的模型。我们说明了在各种示例上具有多个连接组件的甚至复制混沌动力学和吸引子的方法的能力。
translated by 谷歌翻译
AutoEncoder技术在减少秩序建模中发现越来越常见的用途作为创建潜在空间的手段。这种缩小的订单表示为与时间序列预测模型集成时的非线性动力系统提供了模块化数据驱动建模方法。在这封信中,我们提出了一个非线性适当的正交分解(POD)框架,它是一个端到端的Galerkin的模型,组合AutoEncoders,用于动态的长短期内存网络。通过消除由于Galerkin模型的截断导致的投影误差,所提出的非流体方法的关键推动器是在POD系数的全级扩展和动态发展的潜空间之间的非线性映射的运动结构。我们测试我们的模型减少对流主导系统的框架,这通常是针对减少订单模型的具有挑战性。我们的方法不仅提高了准确性,而且显着降低了培训和测试的计算成本。
translated by 谷歌翻译
在研究和实践中,近几十年来,机器学习(ML)取得了巨大的成功。在网络物理系统(CPS)中,ML例如用于优化系统,以检测异常或识别系统故障的根本原因。然而,现有算法遭受了两个主要缺点:(i)他们很难被人类专家解释。 (ii)将一个系统转移到另一个系统(类似)系统的结果通常是一个挑战。概念学习,或代表学习(Repl),是两个缺点的解决方案;模仿人的解决方案方法来解释能力和转移能力:通过学习诸如物理量或系统状态的一般概念,模型由人类解释。此外,这种抽象水平的概念通常可以应用于各种不同的系统。现代ML方法已广泛用于CPS,但到目前为止,概念学习和转移学习几乎不使用。在本文中,我们提供了关于在时间序列数据中学习物理概念的方法的当前研究状态的概述,这是CPS的传感器数据的主要形式。我们还使用三箱系统的示例来分析来自现有技术的最重要的方法。基于这些混凝土实现1,我们讨论了方法的优缺点,并显示了哪些目的,并且可以在其中使用它们的条件。
translated by 谷歌翻译
动态模型是我们理解和预测自然系统行为的能力。无论是从第一原理推导还是从观察数据开发的动力模型,它们都基于我们选择状态变量。状态变量的选择是由便利性和直觉驱动的,在数据​​驱动的情况下,观察到的变量通常被选择为状态变量。这些变量的维度(以及动态模型)可以任意大,从而掩盖了系统的基本行为。实际上,这些变量通常是高度冗余的,并且该系统是由一组潜在的内在变量集驱动的。在这项研究中,我们将流形的数学理论与神经网络的代表能力相结合,以开发一种方法,该方法直接从时间序列数据中学习了系统的内在状态变量,还可以学习其动力学的预测模型。我们方法的区别在于,它有能力将数据减少到其居住的非线性流形的固有维度。从流形理论中的图表和地图集的概念可以实现这种能力,从而使歧管由缝制在一起的贴片的集合表示,这是获得内在维度的必要表示。我们在几个具有低维行为的高维系统上证明了这种方法。最终的框架提供了开发最低维度的动态模型的能力,从而捕获了系统的本质。
translated by 谷歌翻译
最近的机器学习(ML)和深度学习(DL)的发展增加了所有部门的机会。 ML是一种重要的工具,可以应用于许多学科,但其直接应用于土木工程问题可能是挑战性的。在实验室中模拟的土木工程应用程序通常在现实世界测试中失败。这通常归因于用于培训和测试ML模型的数据之间的数据不匹配以及它在现实世界中遇到的数据,称为数据偏移的现象。然而,基于物理的ML模型集成了数据,部分微分方程(PDE)和数学模型以解决数据移位问题。基于物理的ML模型训练,以解决监督学习任务,同时尊重一般非线性方程描述的任何给定的物理定律。基于物理的ML,它在许多科学学科中占据中心阶段,在流体动力学,量子力学,计算资源和数据存储中起着重要作用。本文综述了基于物理学的ML历史及其在土木工程中的应用。
translated by 谷歌翻译
所有物理定律都被描述为状态变量之间的关系,其提供相关系统动态的完整和非冗余描述。然而,尽管计算功率和AI的普及,但识别隐藏状态变量本身的过程已经抵制了自动化。用于建模物理现象的大多数数据驱动方法仍然假设观察到的数据流已经对应于相关状态变量。关键挑战是仅给予高维观察数据,从头开始识别可能的状态变量集。在这里,我们提出了一种新的原理,用于确定观察到的系统可能具有多少状态变量,以及这些变量可以直接来自视频流。我们展示了使用各种物理动态系统的视频录制的这种方法的有效性,从弹性双摆到火焰。如果没有任何相关的物理知识,我们的算法发现观察到的动态的内在尺寸,并识别候选州变量集。我们建议这种方法可以帮助促进对越来越复杂的系统的理解,预测和控制。项目网站是:https://www.cs.columbia.edu/~bchen/nebural-tate-variables
translated by 谷歌翻译
我们建议采用统计回归作为投影操作员,以使数据驱动以数据为基础的Mori-Zwanzig形式主义中的运营商学习。我们提出了一种原则性方法,用于为任何回归模型提取Markov和内存操作员。我们表明,线性回归的选择导致了基于Mori的投影操作员最近提出的数据驱动的学习算法,这是一种高阶近似Koopman学习方法。我们表明,更具表现力的非线性回归模型自然填补了高度理想化和计算有效的MORI投影操作符和最佳迄今为止计算上最佳的Zwanzig投影仪之间的差距。我们进行了数值实验,并提取了一系列基于回归的投影的运算符,包括线性,多项式,样条和基于神经网络的回归,随着回归模型的复杂性的增加而显示出渐进的改进。我们的命题提供了一个通用框架来提取内存依赖性校正,并且可以轻松地应用于文献中固定动力学系统的一系列数据驱动的学习方法。
translated by 谷歌翻译
时间序列数据的生成和分析与许多从经济学到流体力学的定量字段相关。在物理科学中,诸如亚稳态和连贯的组的结构,慢松弛过程,集体变量显性过渡途径或歧管流动流动的概率流动可能非常重视理解和表征系统的动力动力学和机械性质。 Deeptime是一种通用Python库,提供各种工具来估计基于时间序列数据的动态模型,包括传统的线性学习方法,例如马尔可夫状态模型(MSM),隐藏的马尔可夫模型和Koopman模型,以及内核和深度学习方法如vampnets和深msms。该库主要兼容Scikit-Searn,为这些不同的模型提供一系列估计器类,但与Scikit-Ge劳说相比,还提供了深度模型类,例如,在MSM的情况下,提供了多种分析方法来计算有趣的热力学,动力学和动态量,例如自由能,松弛时间和过渡路径。图书馆专为易于使用而设计,而且易于维护和可扩展的代码。在本文中,我们介绍了Deeptime软件的主要特征和结构。
translated by 谷歌翻译
基于多维时间序列预测的歧管学习,我们解决了三层数值框架。在第一步,我们使用诸如局部线性嵌入和扩散图的非线性歧管学习算法将时间序列嵌入到降低的低维空间中。在第二步,我们在歧管中构建倒计阶回归模型,特别是多变量自回归(MVAR)和高斯过程回归(GPR)模型,以预测嵌入式动态。在最后一步,我们使用径向基函数插值和几何谐波将嵌入的时间序列抬回原始的高维空间。对于我们的插图,我们使用四组时间序列测试所提出的数值方案的预测性能:三种合成随机等于具有不同模型订单的线性和非线性随机模型的EEG信号,以及包含每日时间的一个真实数据集跨越时间段03 / 09/2001-29 / 10/2020的10个关键外汇汇率(外汇)系列。使用歧管学习,建模和提升方法的组合评估所提出的数值方案的预测性能。我们还提供与主成分分析算法以及天真随机步道模型的比较,以及培训的MVAR和GPR模型直接在高维空间中实现。
translated by 谷歌翻译
识别非线性动态系统的控制方程是理解系统物理特征的关键,并构建概括超出可用数据的动态的准确模型。我们提出了一种用于发现这些管理方程的机器学习框架,仅使用部分观察,将编码器与稀疏符号模型相结合。我们的测试表明,此方法可以成功地重建完整的系统状态,并确定各种颂歌和PDE系统的底层动态。
translated by 谷歌翻译
许多科学领域需要对复杂系统的时间行为的可靠预测。然而,这种强烈的兴趣是通过建模问题阻碍:通常,描述所考虑的系统物理学的控制方程是不可访问的,或者在已知时,它们的解决方案可能需要与预测时间约束不兼容的计算时间。如今,以通用功能格式近似复杂的系统,并从可用观察中通知IT Nihilo已成为一个常见的做法,如过去几年出现的巨大科学工作所示。许多基于深神经网络的成功示例已经可用,尽管易于忽视了模型和保证边缘的概括性。在这里,我们考虑长期内存神经网络,并彻底调查训练集的影响及其结构对长期预测的质量。利用ergodic理论,我们分析了保证物理系统忠实模型的先验的数据量。我们展示了根据系统不变的培训集的知情设计如何以及潜在的吸引子的结构,显着提高了所产生的模型,在积极学习的背景下开放研究。此外,将说明依赖于存储器能够的模型时内存初始化的非琐碎效果。我们的调查结果为有效数据驱动建模的任何复杂动态系统所需的数量和选择提供了基于证据的良好实践。
translated by 谷歌翻译
我们开发了包含几何信息和拓扑信息的数据驱动方法,以从观察值中学习非线性动力学的简约表示。我们开发了使用与变异自动编码器(VAE)相关的训练策略来学习一般歧管潜在空间动力学的非线性状态空间模型的方法。我们的方法称为几何动力学(GD)变化自动编码器(GD-VAE)。我们根据包括一般多层感知器(MLP),卷积神经网络(CNNS)和转置CNN(T-CNN)在内的深层神经网络体系结构学习系统状态和进化的编码器和分解器。由参数化的PDE和物理学引起的问题的促进,我们研究了我们在学习非线性汉堡方程,约束机械系统和反应扩散系统的空间场的低维表示任务方面的性能。 GD-VAE提供了用于获取表示涉及动态任务的表示形式的方法。
translated by 谷歌翻译
从非线性系统中提取预测模型是科学机器学习中的一个中心任务。一个关键问题是现代数据驱动方法与第一个原则之间的对帐。尽管机器学习技术快速进展,但将域知识嵌入到数据驱动的模型中仍然是一个挑战。在这项工作中,我们为基于观察的非线性系统提取了一个通用学习框架,用于从非线性系统中提取预测模型。我们的框架可以容易地纳入第一个原理知识,因为它自然地模拟非线性系统作为连续时间系统。这两种都改善了提取的模型的外推功率,并减少了培训所需的数据量。此外,我们的框架还具有对观察噪声的稳健和适用性的优点,不规则采样数据。我们通过学习各种系统的预测模型来展示我们方案的有效性,包括普拉登·德隆振荡器,Lorenz系统和Kuramoto-Sivashinsky方程。对于Lorenz系统,并入不同类型的域知识,以展示数据驱动系统识别中的知识强度。
translated by 谷歌翻译
Koopman运算符将非线性动力学模型为线性动力学系统,该系统作用于非线性函数作为状态。这种非标准状态通常被称为可观察到的koopman,通常通过从\ textit {dictionary}绘制的函数的叠加来近似数值。广泛使用的算法是\ textit {扩展动态模式分解},其中字典函数是从固定的均匀函数类中绘制的。最近,深度学习与EDMD相结合已被用来通过称为“深度动态模式分解(DEEPDMD)”的算法学习新的字典函数。学到的表示(1)都准确地模型,并且(2)与原始非线性系统的尺寸相当地缩放。在本文中,我们从deepDMD分析了学习的词典,并探索了其强劲性能的理论基础。我们发现了一类新型的字典函数,以近似Koopman可观察结果。这些字典函数的错误分析表明它们满足子空间近似的属性,我们将其定义为统一的有限近似闭合。我们发现,从不同类别的非线性函数绘制的异质词典函数的结构化混合达到了与DEEPDMD相同的精度和尺寸缩放。该混合词典以降低参数的数量级来进行,同时保持几何可解释性。我们的结果提供了一个假设,可以解释深度神经网络在学习数值近似值对Koopman操作员的成功。
translated by 谷歌翻译
由于它们在文本中建模长期依赖性的能力,变压器广泛用于自然语言处理。虽然这些模型实现了许多语言相关任务的最先进的性能,但它们在自然语言处理领域之外的适用性是最小的。在这项工作中,我们建议使用变压器模型来预测代表物理现象的动态系统。基于Koopman的嵌入式的使用提供了一种独特而强大的方法,可以将任何动态系统投影到矢量表示中,然后可以由变压器预测。所提出的模型能够准确地预测各种动态系统和优于科学机学习文献中常用的经典方法。
translated by 谷歌翻译