所有物理定律都被描述为状态变量之间的关系,其提供相关系统动态的完整和非冗余描述。然而,尽管计算功率和AI的普及,但识别隐藏状态变量本身的过程已经抵制了自动化。用于建模物理现象的大多数数据驱动方法仍然假设观察到的数据流已经对应于相关状态变量。关键挑战是仅给予高维观察数据,从头开始识别可能的状态变量集。在这里,我们提出了一种新的原理,用于确定观察到的系统可能具有多少状态变量,以及这些变量可以直接来自视频流。我们展示了使用各种物理动态系统的视频录制的这种方法的有效性,从弹性双摆到火焰。如果没有任何相关的物理知识,我们的算法发现观察到的动态的内在尺寸,并识别候选州变量集。我们建议这种方法可以帮助促进对越来越复杂的系统的理解,预测和控制。项目网站是:https://www.cs.columbia.edu/~bchen/nebural-tate-variables
translated by 谷歌翻译
动态系统参见在物理,生物学,化学等自然科学中广泛使用,以及电路分析,计算流体动力学和控制等工程学科。对于简单的系统,可以通过应用基本物理法来导出管理动态的微分方程。然而,对于更复杂的系统,这种方法变得非常困难。数据驱动建模是一种替代范式,可以使用真实系统的观察来了解系统的动态的近似值。近年来,对数据驱动的建模技术的兴趣增加,特别是神经网络已被证明提供了解决广泛任务的有效框架。本文提供了使用神经网络构建动态系统模型的不同方式的调查。除了基础概述外,我们还审查了相关的文献,概述了这些建模范式必须克服的数值模拟中最重要的挑战。根据审查的文献和确定的挑战,我们提供了关于有前途的研究领域的讨论。
translated by 谷歌翻译
在许多学科中,动态系统的数据信息预测模型的开发引起了广泛的兴趣。我们提出了一个统一的框架,用于混合机械和机器学习方法,以从嘈杂和部分观察到的数据中识别动态系统。我们将纯数据驱动的学习与混合模型进行比较,这些学习结合了不完善的域知识。我们的公式与所选的机器学习模型不可知,在连续和离散的时间设置中都呈现,并且与表现出很大的内存和错误的模型误差兼容。首先,我们从学习理论的角度研究无内存线性(W.R.T.参数依赖性)模型误差,从而定义了过多的风险和概括误差。对于沿阵行的连续时间系统,我们证明,多余的风险和泛化误差都通过与T的正方形介于T的术语(指定训练数据的时间间隔)的术语界定。其次,我们研究了通过记忆建模而受益的方案,证明了两类连续时间复发性神经网络(RNN)的通用近似定理:两者都可以学习与内存有关的模型误差。此外,我们将一类RNN连接到储层计算,从而将学习依赖性错误的学习与使用随机特征在Banach空间之间进行监督学习的最新工作联系起来。给出了数值结果(Lorenz '63,Lorenz '96多尺度系统),以比较纯粹的数据驱动和混合方法,发现混合方法较少,渴望数据较少,并且更有效。最后,我们从数值上证明了如何利用数据同化来从嘈杂,部分观察到的数据中学习隐藏的动态,并说明了通过这种方法和培训此类模型来表示记忆的挑战。
translated by 谷歌翻译
虽然牛顿力学的基本规律得到了很好的理解,但是解释了物理场景仍然需要用合适的方程式制造问题并估计相关参数。为了能够利用人工智能技术在这种物理相关的背景下利用近似能力,研究人员已经手工制作了相关状态,然后使用神经网络来学习使用模拟运行作为训练数据的状态转换。遗憾的是,这种方法不适合建模复杂的现实情景,在手动创作相关的状态空间往往是乏味和挑战性的。在这项工作中,我们研究了神经网络是否可以基于视觉数据隐含地学习现实世界机械过程的物理状态,而在内部建模非均匀环境中,并且在该过程中可以实现长期物理推断。我们为此任务开发了经常性的神经网络架构,并且还以不断变化的方差估计的形式表征了结果的不确定性。我们评估我们的设置,以推断在不同形状和方向的碗上的滚珠球运动,以及仅使用图像作为输入的任意高度场。我们在对预测的准确性和情景复杂性方面,我们报告了对现有的基于图像的方法的显着改进;并报告与我们不同的方法,竞争性能与我们不同,承担进入内部物理状态。
translated by 谷歌翻译
学习动态是机器学习(ML)的许多重要应用的核心,例如机器人和自主驾驶。在这些设置中,ML算法通常需要推理使用高维观察的物理系统,例如图像,而不访问底层状态。最近,已经提出了几种方法将从经典机制的前沿集成到ML模型中,以解决图像的物理推理的挑战。在这项工作中,我们清醒了这些模型的当前功能。为此,我们介绍一套由17个数据集组成的套件,该数据集基于具有呈现各种动态的物理系统的视觉观测。我们对几种强大的基线进行了彻底的和详细比较了物理启发方法的主要类别。虽然包含物理前沿的模型通常可以学习具有所需特性的潜在空间,但我们的结果表明这些方法无法显着提高标准技术。尽管如此,我们发现使用连续和时间可逆动力学的使用效益所有课程的模型。
translated by 谷歌翻译
Despite great progress in simulating multiphysics problems using the numerical discretization of partial differential equations (PDEs), one still cannot seamlessly incorporate noisy data into existing algorithms, mesh generation remains complex, and high-dimensional problems governed by parameterized PDEs cannot be tackled. Moreover, solving inverse problems with hidden physics is often prohibitively expensive and requires different formulations and elaborate computer codes. Machine learning has emerged as a promising alternative, but training deep neural networks requires big data, not always available for scientific problems. Instead, such networks can be trained from additional information obtained by enforcing the physical laws (for example, at random points in the continuous space-time domain). Such physics-informed learning integrates (noisy) data and mathematical models, and implements them through neural networks or other kernel-based regression networks. Moreover, it may be possible to design specialized network architectures that automatically satisfy some of the physical invariants for better accuracy, faster training and improved generalization. Here, we review some of the prevailing trends in embedding physics into machine learning, present some of the current capabilities and limitations and discuss diverse applications of physics-informed learning both for forward and inverse problems, including discovering hidden physics and tackling high-dimensional problems.
translated by 谷歌翻译
保护定律是理解,表征和建模非线性动力系统的关键理论和实用工具。但是,对于许多复杂的动态系统,难以识别相应的保守量,因此很难分析其动力学并建立高效,稳定的预测模型。当前发现保护定律的方法通常取决于详细的动态信息,例如运动方程或细粒度的时间测量,许多最新的建议还依赖于黑匣子参数深度学习方法。相反,我们将这项任务重新制定为一种多种学习问题,并提出了一种非参数方法,将最佳运输中的Wasserstein指标与扩散图相结合,以发现从动力学系统中采样的轨迹中变化的保守数量。我们在各种物理系统上测试了这种新方法$ \ unicode {x2014} $,包括保守的汉密尔顿系统,耗散系统和时空系统$ \ unicode {x2014} $保守数量并提取其价值。使用最佳运输理论和流形学习中的工具,我们提出的方法提供了一种直接的几何方法来识别既有坚固且可解释的保护定律,而无需明确的系统模型或准确的时间信息。
translated by 谷歌翻译
物理信息的神经网络(PINN)是神经网络(NNS),它们作为神经网络本身的组成部分编码模型方程,例如部分微分方程(PDE)。如今,PINN是用于求解PDE,分数方程,积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架,在该框架中,NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述:虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络,这些神经网络构成了香草·皮恩(Vanilla Pinn)以及许多其他变体,例如物理受限的神经网络(PCNN),各种HP-VPINN,变量HP-VPINN,VPINN,VPINN,变体。和保守的Pinn(CPINN)。该研究表明,大多数研究都集中在通过不同的激活功能,梯度优化技术,神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛,但通过证明其在某些情况下比有限元方法(FEM)等经典数值技术更可行的能力,但仍有可能的进步,最著名的是尚未解决的理论问题。
translated by 谷歌翻译
如果机器人曾经实现与动物所展示的机器人相当的自动运动,则它们必须获得在损害,故障或环境条件下快速恢复运动行为的能力,从而损害了其有效移动的能力。我们提出了一种方法,该方法使我们的机器人和模拟机器人能够在几十次尝试中恢复自由运动行为的高度。我们的方法采用行为规范,以等级的差异约束来表达所需的行为。我们展示了如何通过编码模板来考虑这些约束,从而产生了将先前优化的行为推广到新情况下以快速学习的形式概括的秘诀。我们进一步说明,在数据驱动的上下文中,足够的限制通常很容易确定。作为例证,我们证明了我们在物理7 DOF六型六杆元机器人上的恢复方法,以及对6 DOF 2D运动机制的模拟。在这两种情况下,我们恢复了与先前优化的运动在功能上无法区分的行为。
translated by 谷歌翻译
在许多现实世界中,当不二维测量值时,可能会提供自由旋转3D刚体(例如卫星)的图像观察。但是,图像数据的高维度排除了学习动力学和缺乏解释性的使用,从而降低了标准深度学习方法的有用性。在这项工作中,我们提出了一个物理知识的神经网络模型,以估计和预测图像序列中的3D旋转动力学。我们使用多阶段预测管道实现了这一目标,该管道将单个图像映射到潜在表示同构为$ \ Mathbf {so}(3)$,从潜在对计算角速度,并使用Hamiltonian Motion使用Hamiltonian运动方程来预测未来的潜在状态博学的哈密顿人的代表。我们证明了方法对新的旋转刚体数据集的功效,该数据集具有旋转立方体和矩形棱镜序列,并具有均匀且不均匀的密度。
translated by 谷歌翻译
在研究和实践中,近几十年来,机器学习(ML)取得了巨大的成功。在网络物理系统(CPS)中,ML例如用于优化系统,以检测异常或识别系统故障的根本原因。然而,现有算法遭受了两个主要缺点:(i)他们很难被人类专家解释。 (ii)将一个系统转移到另一个系统(类似)系统的结果通常是一个挑战。概念学习,或代表学习(Repl),是两个缺点的解决方案;模仿人的解决方案方法来解释能力和转移能力:通过学习诸如物理量或系统状态的一般概念,模型由人类解释。此外,这种抽象水平的概念通常可以应用于各种不同的系统。现代ML方法已广泛用于CPS,但到目前为止,概念学习和转移学习几乎不使用。在本文中,我们提供了关于在时间序列数据中学习物理概念的方法的当前研究状态的概述,这是CPS的传感器数据的主要形式。我们还使用三箱系统的示例来分析来自现有技术的最重要的方法。基于这些混凝土实现1,我们讨论了方法的优缺点,并显示了哪些目的,并且可以在其中使用它们的条件。
translated by 谷歌翻译
动态模型是我们理解和预测自然系统行为的能力。无论是从第一原理推导还是从观察数据开发的动力模型,它们都基于我们选择状态变量。状态变量的选择是由便利性和直觉驱动的,在数据​​驱动的情况下,观察到的变量通常被选择为状态变量。这些变量的维度(以及动态模型)可以任意大,从而掩盖了系统的基本行为。实际上,这些变量通常是高度冗余的,并且该系统是由一组潜在的内在变量集驱动的。在这项研究中,我们将流形的数学理论与神经网络的代表能力相结合,以开发一种方法,该方法直接从时间序列数据中学习了系统的内在状态变量,还可以学习其动力学的预测模型。我们方法的区别在于,它有能力将数据减少到其居住的非线性流形的固有维度。从流形理论中的图表和地图集的概念可以实现这种能力,从而使歧管由缝制在一起的贴片的集合表示,这是获得内在维度的必要表示。我们在几个具有低维行为的高维系统上证明了这种方法。最终的框架提供了开发最低维度的动态模型的能力,从而捕获了系统的本质。
translated by 谷歌翻译
由于它们在文本中建模长期依赖性的能力,变压器广泛用于自然语言处理。虽然这些模型实现了许多语言相关任务的最先进的性能,但它们在自然语言处理领域之外的适用性是最小的。在这项工作中,我们建议使用变压器模型来预测代表物理现象的动态系统。基于Koopman的嵌入式的使用提供了一种独特而强大的方法,可以将任何动态系统投影到矢量表示中,然后可以由变压器预测。所提出的模型能够准确地预测各种动态系统和优于科学机学习文献中常用的经典方法。
translated by 谷歌翻译
我们开发了包含几何信息和拓扑信息的数据驱动方法,以从观察值中学习非线性动力学的简约表示。我们开发了使用与变异自动编码器(VAE)相关的训练策略来学习一般歧管潜在空间动力学的非线性状态空间模型的方法。我们的方法称为几何动力学(GD)变化自动编码器(GD-VAE)。我们根据包括一般多层感知器(MLP),卷积神经网络(CNNS)和转置CNN(T-CNN)在内的深层神经网络体系结构学习系统状态和进化的编码器和分解器。由参数化的PDE和物理学引起的问题的促进,我们研究了我们在学习非线性汉堡方程,约束机械系统和反应扩散系统的空间场的低维表示任务方面的性能。 GD-VAE提供了用于获取表示涉及动态任务的表示形式的方法。
translated by 谷歌翻译
这篇综述解决了在深度强化学习(DRL)背景下学习测量数据的抽象表示的问题。尽管数据通常是模棱两可,高维且复杂的解释,但许多动态系统可以通过一组低维状态变量有效地描述。从数据中发现这些状态变量是提高数据效率,稳健性和DRL方法的概括,应对维度的诅咒以及将可解释性和见解带入Black-Box DRL的关键方面。这篇综述通过描述用于学习世界的学习代表的主要深度学习工具,提供对方法和原则的系统观点,总结应用程序,基准和评估策略,并讨论开放的方式,从而提供了DRL中无监督的代表性学习的全面概述,挑战和未来的方向。
translated by 谷歌翻译
A framework for creating and updating digital twins for dynamical systems from a library of physics-based functions is proposed. The sparse Bayesian machine learning is used to update and derive an interpretable expression for the digital twin. Two approaches for updating the digital twin are proposed. The first approach makes use of both the input and output information from a dynamical system, whereas the second approach utilizes output-only observations to update the digital twin. Both methods use a library of candidate functions representing certain physics to infer new perturbation terms in the existing digital twin model. In both cases, the resulting expressions of updated digital twins are identical, and in addition, the epistemic uncertainties are quantified. In the first approach, the regression problem is derived from a state-space model, whereas in the latter case, the output-only information is treated as a stochastic process. The concepts of It\^o calculus and Kramers-Moyal expansion are being utilized to derive the regression equation. The performance of the proposed approaches is demonstrated using highly nonlinear dynamical systems such as the crack-degradation problem. Numerical results demonstrated in this paper almost exactly identify the correct perturbation terms along with their associated parameters in the dynamical system. The probabilistic nature of the proposed approach also helps in quantifying the uncertainties associated with updated models. The proposed approaches provide an exact and explainable description of the perturbations in digital twin models, which can be directly used for better cyber-physical integration, long-term future predictions, degradation monitoring, and model-agnostic control.
translated by 谷歌翻译
数据驱动模型发现中的中央挑战是存在隐藏或潜伏的变量,这些变量不会直接测量,而是动态重要。 TAKENS的定理提供了在可能随时间延迟信息中增加这些部分测量的条件,导致吸引物,这是对原始全状态系统的扩散逻辑。然而,回到原始吸引子的坐标变换通常是未知的,并且学习嵌入空间中的动态仍然是几十年的开放挑战。在这里,我们设计自定义深度AutoEncoder网络,以学习从延迟嵌入空间的坐标转换到一个新的空间,其中可以以稀疏,封闭的形式表示动态。我们在Lorenz,R \“Ossler和Lotka-Volterra系统上,从单个测量变量的学习动态展示了这种方法。作为一个具有挑战性的例子,我们从混乱的水车视频中提取的单个标量变量中学到一个洛伦兹类似物得到的建模框架结合了深入的学习来揭示可解释建模的非线性动力学(SINDY)的揭示有效坐标和稀疏识别。因此,我们表明可以同时学习闭合模型和部分的坐标系观察到的动态。
translated by 谷歌翻译
这本数字本书包含在物理模拟的背景下与深度学习相关的一切实际和全面的一切。尽可能多,所有主题都带有Jupyter笔记本的形式的动手代码示例,以便快速入门。除了标准的受监督学习的数据中,我们将看看物理丢失约束,更紧密耦合的学习算法,具有可微分的模拟,以及加强学习和不确定性建模。我们生活在令人兴奋的时期:这些方法具有从根本上改变计算机模拟可以实现的巨大潜力。
translated by 谷歌翻译
关于物理现象的学习和推理仍然是机器人开发的挑战,计算科学在寻找能够为过去事件和对未来情况的严格预测提供的准确方法中发挥了资本作用。我们提出了一种热力学知识的主动学习策略,以通过观察结果和推理。作为模型问题,我们采用了玻璃中包含的不同流体的晃动现象。从特定流体的全场和高分辨率合成数据开始,我们开发了一种跟踪(感知)和分析(推理)的方法。这种方法不仅在数据驱动(灰色框)建模中,而且在校正低数据模式和动态的部分观察中对物理和知识的重要性。提出的方法可扩展到其他领域,例如认知数字双胞胎的发展,能够从未经明确训练的现象中学习。
translated by 谷歌翻译
这项工作提出了一种随机变化深内核学习方法,用于从高维噪声数据中发现低维动力学模型的数据驱动。该框架由一个编码器组成,该编码器将高维测量值压缩为低维状态变量,以及用于状态变量的潜在动力学模型,该模型可以预测随时间时间的系统演化。提出的模型的培训是以无监督的方式进行的,即不依赖标记的数据。我们的学习方法是根据摆锤的运动进行评估的,这是通过高维嘈杂的RGB图像测量的非线性模型识别和对照的良好研究基线。结果表明,该方法可以有效地确定测量,学习紧凑的状态表示和潜在的动力学模型,并识别和量化建模不确定性。
translated by 谷歌翻译