深度学习模型能够近似一个特定的动力系统,但在学习通用动力学方面挣扎,在该动态系统中,动态系统遵守了相同的物理定律,但包含不同数量的元素(例如,双重和三铅系统)。为了缓解这个问题,我们提出了模块化拉​​格朗日网络(ModLanet),这是一个具有模块化和物理诱导偏置的结构神经网络框架。该框架使用模块化对每个元素的能量进行建模,然后通过拉格朗日力学构建目标动态系统。模块化有益于重复训练的网络和减少网络和数据集的规模。结果,我们的框架可以从更简单的系统的动力学中学习,并扩展到更复杂的框架,使用其他相关的物理信息神经网络是不可行的。我们研究了使用小型培训数据集建模双体螺旋形或三体系统的框架,与同行相比,我们的模型实现了最佳的数据效率和准确性性能。我们还将模型重新组织为建模多体型和多体系统的扩展,展示了我们框架的可重复使用功能。
translated by 谷歌翻译
学习动态是机器学习(ML)的许多重要应用的核心,例如机器人和自主驾驶。在这些设置中,ML算法通常需要推理使用高维观察的物理系统,例如图像,而不访问底层状态。最近,已经提出了几种方法将从经典机制的前沿集成到ML模型中,以解决图像的物理推理的挑战。在这项工作中,我们清醒了这些模型的当前功能。为此,我们介绍一套由17个数据集组成的套件,该数据集基于具有呈现各种动态的物理系统的视觉观测。我们对几种强大的基线进行了彻底的和详细比较了物理启发方法的主要类别。虽然包含物理前沿的模型通常可以学习具有所需特性的潜在空间,但我们的结果表明这些方法无法显着提高标准技术。尽管如此,我们发现使用连续和时间可逆动力学的使用效益所有课程的模型。
translated by 谷歌翻译
过去几年目睹了在深入学习框架中纳入物理知识的归纳偏见的兴趣增加。特别地,越来越多的文献一直在探索实施能节能的方式,同时使用来自观察时间序列数据的神经网络来学习动态的神经网络。在这项工作中,我们调查了最近提出的节能神经网络模型,包括HNN,LNN,DELAN,SYMODEN,CHNN,CLNN及其变体。我们提供了这些模型背后的理论的紧凑级,并解释了他们的相似之处和差异。它们的性能在4个物理系统中进行了比较。我们指出了利用一些这些节能模型来设计基于能量的控制器的可能性。
translated by 谷歌翻译
Recently, graph neural networks have been gaining a lot of attention to simulate dynamical systems due to their inductive nature leading to zero-shot generalizability. Similarly, physics-informed inductive biases in deep-learning frameworks have been shown to give superior performance in learning the dynamics of physical systems. There is a growing volume of literature that attempts to combine these two approaches. Here, we evaluate the performance of thirteen different graph neural networks, namely, Hamiltonian and Lagrangian graph neural networks, graph neural ODE, and their variants with explicit constraints and different architectures. We briefly explain the theoretical formulation highlighting the similarities and differences in the inductive biases and graph architecture of these systems. We evaluate these models on spring, pendulum, gravitational, and 3D deformable solid systems to compare the performance in terms of rollout error, conserved quantities such as energy and momentum, and generalizability to unseen system sizes. Our study demonstrates that GNNs with additional inductive biases, such as explicit constraints and decoupling of kinetic and potential energies, exhibit significantly enhanced performance. Further, all the physics-informed GNNs exhibit zero-shot generalizability to system sizes an order of magnitude larger than the training system, thus providing a promising route to simulate large-scale realistic systems.
translated by 谷歌翻译
物理系统通常表示为粒子的组合,即控制系统动力学的个体动力学。但是,传统方法需要了解几个抽象数量的知识,例如推断这些颗粒动力学的能量或力量。在这里,我们提出了一个框架,即拉格朗日图神经网络(LGNN),它提供了强烈的感应偏见,可以直接从轨迹中学习基于粒子系统的拉格朗日。我们在具有约束和阻力的挑战系统上测试我们的方法 - LGNN优于诸如前馈拉格朗日神经网络(LNN)等基线,其性能提高。我们还通过模拟系统模拟系统的两个数量级比受过训练的一个数量级和混合系统大的数量级来显示系统的零弹性通用性,这些数量级是一个独特的功能。与LNN相比,LGNN的图形体系结构显着简化了学习,其性能在少量少量数据上的性能高25倍。最后,我们显示了LGNN的解释性,该解释性直接提供了对模型学到的阻力和约束力的物理见解。因此,LGNN可以为理解物理系统的动力学提供纯粹的填充,这纯粹是从可观察的数量中。
translated by 谷歌翻译
Lagrangian和Hamiltonian神经网络(分别是LNN和HNN)编码强诱导偏见,使它们能够显着优于其他物理系统模型。但是,到目前为止,这些模型大多仅限于简单的系统,例如摆和弹簧或单个刚体的身体,例如陀螺仪或刚性转子。在这里,我们提出了一个拉格朗日图神经网络(LGNN),可以通过利用其拓扑来学习刚体的动态。我们通过学习以刚体为刚体的棒的绳索,链条和桁架的动力学来证明LGNN的性能。 LGNN还表现出普遍性 - 在链条上训练了一些细分市场的LGNN具有概括性,以模拟具有大量链接和任意链路长度的链条。我们还表明,LGNN可以模拟看不见的混合动力系统,包括尚未接受过培训的酒吧和链条。具体而言,我们表明LGNN可用于建模复杂的现实世界结构的动力学,例如紧张结构的稳定性。最后,我们讨论了质量矩阵的非对角性性质及其在复杂系统中概括的能力。
translated by 谷歌翻译
用神经网络对物理系统的动力学建模的最新方法强制执行拉格朗日式或哈密顿结构,以改善预测和泛化。但是,当将坐标嵌入高维数据(例如图像)中时,这些方法要么失去解释性,要么只能应用于一个特定示例。我们介绍了一种新的无监督神经网络模型,该模型从图像中学习拉格朗日动态,并具有受益于预测和控制的解释性。该模型在广义坐标上渗透Lagrangian动力学,这些动力学是通过坐标感知的变异自动编码器(VAE)同时学习的。 VAE旨在说明由飞机中多个刚体组成的物理系统的几何形状。通过推断可解释的拉格朗日动力学,该模型学习了物理系统属性,例如动力学和势能,从而可以长期预测图像空间中的动力学和基于能量控制器的合成。
translated by 谷歌翻译
我们提出KeyCLD,这是一个从图像中学习拉格朗日动态的框架。学到的关键点代表图像中的语义标志性,可以直接代表状态动力学。将这种状态解释为笛卡尔坐标,并与明确的自动限制相结合,允许用约束的拉格朗日表达动力学。我们的方法显式地对动能和势能进行了建模,从而允许基于能量的控制。我们是第一个从DM_Control Pendulum,Cartpole和Acrobot环境中的图像中展示Lagrangian动力学学习的人。这是从现实世界图像中学习拉格朗日动力学的迈出的一步,因为以前的文学作品仅适用于在空背景上具有单色形状的简约图像。请参阅我们的项目页面以获取代码和其他结果:https://rdaems.github.io/keycld/
translated by 谷歌翻译
具有基于物理的诱导偏见的神经网络,例如拉格朗日神经网络(LNN)和汉密尔顿神经网络(HNN),通过编码强诱导性偏见来学习物理系统的动态。另外,还显示出适当的感应偏见的神经odes具有相似的性能。但是,当这些模型应用于基于粒子的系统时,本质上具有转导性,因此不会推广到大型系统尺寸。在本文中,我们提出了基于图的神经ode gnode,以了解动力学系统的时间演变。此外,我们仔细分析了不同电感偏差对GNODE性能的作用。我们表明,与LNN和HNN类似,对约束进行编码可以显着提高GNODE的训练效率和性能。我们的实验还评估了该模型最终性能的其他归纳偏差(例如纽顿第三定律)的价值。我们证明,诱导这些偏见可以在能量违规和推出误差方面通过数量级来增强模型的性能。有趣的是,我们观察到,经过最有效的电感偏见训练的GNODE,即McGnode,优于LNN和HNN的图形版本,即Lagrangian Graph Networks(LGN)和Hamiltonian Graph网络(HGN)在能量侵犯的方面差异,该图表的差异大约是能量侵犯网络(HGN)摆钟系统的4个数量级,春季系统的数量级约为2个数量级。这些结果表明,可以通过诱导适当的电感偏见来获得基于节点的系统的能源保存神经网络的竞争性能。
translated by 谷歌翻译
能量保护是许多物理现象和动态系统的核心。在过去的几年中,有大量作品旨在预测使用神经网络的动力系统运动轨迹,同时遵守能源保护法。这些作品中的大多数受到古典力学的启发,例如哈密顿和拉格朗日力学以及神经普通微分方程。尽管这些作品已被证明在特定领域中分别很好地工作,但缺乏统一的方法,该方法通常不适用,而无需对神经网络体系结构进行重大更改。在这项工作中,我们旨在通过提供一种简单的方法来解决此问题,该方法不仅可以应用于能源持持势的系统,还可以应用于耗散系统,通过在不同情况下以不同的情况在不同情况下以正规化术语形式包括不同的归纳偏见。损失功能。所提出的方法不需要更改神经网络体系结构,并且可以构成验证新思想的基础,因此表明有望在这个方向上加速研究。
translated by 谷歌翻译
物理学的美在于,通常在变化的系统(称为运动常数)中保守数量。找到运动的常数对于理解系统的动力学很重要,但通常需要数学水平和手动分析工作。在本文中,我们提出了一个神经网络,该网络可以同时了解系统的动力学和来自数据的运动常数。通过利用发现的运动常数,它可以对动态产生更好的预测,并且可以比基于哈密顿的神经网络在更广泛的系统上工作。此外,我们方法的训练进展可以用作系统中运动常数数量的指示,该系统可用于研究新型物理系统。
translated by 谷歌翻译
机器人动态的准确模型对于新颖的操作条件安全和稳定控制和概括至关重要。然而,即使在仔细参数调谐后,手工设计的模型也可能是不够准确的。这激励了使用机器学习技术在训练集的状态控制轨迹上近似机器人动力学。根据其SE(3)姿势和广义速度,并满足能量原理的保护,描述了许多机器人的动态,包括地面,天线和水下车辆。本文提出了在神经常规差分方程(ODE)网络结构的SE(3)歧管上的HamiltonIAN制剂,以近似刚体的动态。与黑匣子颂网络相比,我们的配方通过施工保证了总节能。我们为学习的学习,潜在的SE(3)Hamiltonian动力学开发能量整形和阻尼注射控制,以实现具有各种平台的稳定和轨迹跟踪的统一方法,包括摆锤,刚体和四极其系统。
translated by 谷歌翻译
动态系统参见在物理,生物学,化学等自然科学中广泛使用,以及电路分析,计算流体动力学和控制等工程学科。对于简单的系统,可以通过应用基本物理法来导出管理动态的微分方程。然而,对于更复杂的系统,这种方法变得非常困难。数据驱动建模是一种替代范式,可以使用真实系统的观察来了解系统的动态的近似值。近年来,对数据驱动的建模技术的兴趣增加,特别是神经网络已被证明提供了解决广泛任务的有效框架。本文提供了使用神经网络构建动态系统模型的不同方式的调查。除了基础概述外,我们还审查了相关的文献,概述了这些建模范式必须克服的数值模拟中最重要的挑战。根据审查的文献和确定的挑战,我们提供了关于有前途的研究领域的讨论。
translated by 谷歌翻译
最近提出的一类模型试图使用哈密顿力学所通知的前沿,从高维观察中学习潜在动态的潜在动态。虽然这些模型在机器人或自主驾驶等领域具有重要潜在应用,但目前没有好方法来评估它们的性能:现有方法主要依赖于图像重建质量,这并不总是反映学习潜在动态的质量。在这项工作中,我们经验突出了现有措施的问题,并制定了一套新措施,包括依赖母亲哈密顿动态的二进制指标,我们称之为符号度量或次称。我们的措施利用了汉密尔顿动态的已知属性,并且更符合模型捕获潜在动态的能力而不是重建误差。使用Symetric,我们识别一组架构选择,可以显着提高先前提出的模型的性能,用于从像素,Hamiltonian生成网络(HGN)从像素推断潜在动态。与原始HGN不同,新的HGN ++能够在某些数据集中发现具有物理有意义的潜伏的可解释的相位空间。此外,它在不同范围的13个数据集上的卷展栏上是稳定的,在一个不同的13个数据集上产生基本上无限长度的卷展栏,在数据集的子集上没有质量下降。
translated by 谷歌翻译
Even though neural networks enjoy widespread use, they still struggle to learn the basic laws of physics. How might we endow them with better inductive biases? In this paper, we draw inspiration from Hamiltonian mechanics to train models that learn and respect exact conservation laws in an unsupervised manner. We evaluate our models on problems where conservation of energy is important, including the two-body problem and pixel observations of a pendulum. Our model trains faster and generalizes better than a regular neural network. An interesting side effect is that our model is perfectly reversible in time. Ideal mass-spring system Noisy observations Baseline NN Prediction Prediction Hamiltonian NN Figure 1: Learning the Hamiltonian of a mass-spring system. The variables q and p correspond to position and momentum coordinates. As there is no friction, the baseline's inner spiral is due to model errors. By comparison, the Hamiltonian Neural Network learns to exactly conserve a quantity that is analogous to total energy. Preprint. Under review.
translated by 谷歌翻译
最近,与神经网络的时间相关微分方程的解决方案最近引起了很多关注。核心思想是学习控制解决方案从数据演变的法律,该数据可能会被随机噪声污染。但是,与其他机器学习应用相比,通常对手头的系统了解很多。例如,对于许多动态系统,诸如能量或(角度)动量之类的物理量是完全保守的。因此,神经网络必须从数据中学习这些保护定律,并且仅由于有限的训练时间和随机噪声而被满足。在本文中,我们提出了一种替代方法,该方法使用Noether的定理将保护定律本质地纳入神经网络的体系结构。我们证明,这可以更好地预测三个模型系统:在三维牛顿引力潜能中非偏见粒子的运动,Schwarzschild指标中庞大的相对论粒子的运动和两个相互作用的粒子在四个相互作用的粒子系统中的运动方面。
translated by 谷歌翻译
Effective inclusion of physics-based knowledge into deep neural network models of dynamical systems can greatly improve data efficiency and generalization. Such a-priori knowledge might arise from physical principles (e.g., conservation laws) or from the system's design (e.g., the Jacobian matrix of a robot), even if large portions of the system dynamics remain unknown. We develop a framework to learn dynamics models from trajectory data while incorporating a-priori system knowledge as inductive bias. More specifically, the proposed framework uses physics-based side information to inform the structure of the neural network itself, and to place constraints on the values of the outputs and the internal states of the model. It represents the system's vector field as a composition of known and unknown functions, the latter of which are parametrized by neural networks. The physics-informed constraints are enforced via the augmented Lagrangian method during the model's training. We experimentally demonstrate the benefits of the proposed approach on a variety of dynamical systems -- including a benchmark suite of robotics environments featuring large state spaces, non-linear dynamics, external forces, contact forces, and control inputs. By exploiting a-priori system knowledge during training, the proposed approach learns to predict the system dynamics two orders of magnitude more accurately than a baseline approach that does not include prior knowledge, given the same training dataset.
translated by 谷歌翻译
在许多现实世界中,当不二维测量值时,可能会提供自由旋转3D刚体(例如卫星)的图像观察。但是,图像数据的高维度排除了学习动力学和缺乏解释性的使用,从而降低了标准深度学习方法的有用性。在这项工作中,我们提出了一个物理知识的神经网络模型,以估计和预测图像序列中的3D旋转动力学。我们使用多阶段预测管道实现了这一目标,该管道将单个图像映射到潜在表示同构为$ \ Mathbf {so}(3)$,从潜在对计算角速度,并使用Hamiltonian Motion使用Hamiltonian运动方程来预测未来的潜在状态博学的哈密顿人的代表。我们证明了方法对新的旋转刚体数据集的功效,该数据集具有旋转立方体和矩形棱镜序列,并具有均匀且不均匀的密度。
translated by 谷歌翻译
差分方程管理的学习动态对于预测和控制科学和工程系统来说至关重要。神经常规方程(节点)是一种与微分方程集成的深度学习模型,最近是由于其对不规则样本的鲁棒性及其对高维输入的灵活性而流行的学习动态。然而,节点的训练对数值求解器的精度敏感,这使得节点的收敛不稳定,特别是对于不稳定的动态系统。在本文中,为了减少对数值求解器的依赖,我们建议提高节点训练中的监督信号。具体地,我们预先训练神经差分运算符(NDO)以输出衍生物的估计用作额外的监督信号。 NDO在一类基础函数上预先培训,并将这些功能的轨迹样本之间的映射学习到其衍生物。为了利用来自NDO的轨迹信号和估计的衍生工具,我们提出了一种称为NDO-Node的算法,其中损耗函数包含两个术语:真正轨迹样本的适应性以及由输出的估计衍生物的适应度预先训练的NDO。各种动力学的实验表明,我们提出的NDO-Node可以一致地用一个预先训练的NDO来改善预测精度。特别是对于僵硬的杂散,我们观察到与其他正则化方法相比,NDO-Node可以更准确地捕获动态的过渡。
translated by 谷歌翻译
合并适当的归纳偏差在从数据的学习动态中发挥着关键作用。通过将拉格朗日或哈密顿的动态编码到神经网络架构中,越来越多的工作已经探索了在学习动态中实施节能的方法。这些现有方法基于微分方程,其不允许州中的不连续性,从而限制了一个人可以学习的系统。然而,实际上,大多数物理系统,例如腿机器人和机器人操纵器,涉及联系和碰撞,这在各州引入了不连续性。在本文中,我们介绍了一种可微分的接触型号,可以捕获接触机械:无摩擦/摩擦,以及弹性/无弹性。该模型还可以适应不等式约束,例如关节角度的限制。拟议的联系模式通过允许同时学习联系和系统性质来扩展拉格朗日和哈密顿神经网络的范围。我们在具有不同恢复系数和摩擦系数的一系列具有挑战性的2D和3D物理系统上展示了这一框架。学习的动态可以用作用于下游梯度的优化任务的可分解物理模拟器,例如规划和控制。
translated by 谷歌翻译