Recent studies to learn physical laws via deep learning attempt to find the shared representation of the given system by introducing physics priors or inductive biases to the neural network. However, most of these approaches tackle the problem in a system-specific manner, in which one neural network trained to one particular physical system cannot be easily adapted to another system governed by a different physical law. In this work, we use a meta-learning algorithm to identify the general manifold in neural networks that represents Hamilton's equation. We meta-trained the model with the dataset composed of five dynamical systems each governed by different physical laws. We show that with only a few gradient steps, the meta-trained model adapts well to the physical system which was unseen during the meta-training phase. Our results suggest that the meta-trained model can craft the representation of Hamilton's equation in neural networks which is shared across various dynamical systems with each governed by different physical laws.

物理学的美在于，通常在变化的系统（称为运动常数）中保守数量。找到运动的常数对于理解系统的动力学很重要，但通常需要数学水平和手动分析工作。在本文中，我们提出了一个神经网络，该网络可以同时了解系统的动力学和来自数据的运动常数。通过利用发现的运动常数，它可以对动态产生更好的预测，并且可以比基于哈密顿的神经网络在更广泛的系统上工作。此外，我们方法的训练进展可以用作系统中运动常数数量的指示，该系统可用于研究新型物理系统。

学习动态是机器学习（ML）的许多重要应用的核心，例如机器人和自主驾驶。在这些设置中，ML算法通常需要推理使用高维观察的物理系统，例如图像，而不访问底层状态。最近，已经提出了几种方法将从经典机制的前沿集成到ML模型中，以解决图像的物理推理的挑战。在这项工作中，我们清醒了这些模型的当前功能。为此，我们介绍一套由17个数据集组成的套件，该数据集基于具有呈现各种动态的物理系统的视觉观测。我们对几种强大的基线进行了彻底的和详细比较了物理启发方法的主要类别。虽然包含物理前沿的模型通常可以学习具有所需特性的潜在空间，但我们的结果表明这些方法无法显着提高标准技术。尽管如此，我们发现使用连续和时间可逆动力学的使用效益所有课程的模型。

Even though neural networks enjoy widespread use, they still struggle to learn the basic laws of physics. How might we endow them with better inductive biases? In this paper, we draw inspiration from Hamiltonian mechanics to train models that learn and respect exact conservation laws in an unsupervised manner. We evaluate our models on problems where conservation of energy is important, including the two-body problem and pixel observations of a pendulum. Our model trains faster and generalizes better than a regular neural network. An interesting side effect is that our model is perfectly reversible in time. Ideal mass-spring system Noisy observations Baseline NN Prediction Prediction Hamiltonian NN Figure 1: Learning the Hamiltonian of a mass-spring system. The variables q and p correspond to position and momentum coordinates. As there is no friction, the baseline's inner spiral is due to model errors. By comparison, the Hamiltonian Neural Network learns to exactly conserve a quantity that is analogous to total energy. Preprint. Under review.

能量保护是许多物理现象和动态系统的核心。在过去的几年中，有大量作品旨在预测使用神经网络的动力系统运动轨迹，同时遵守能源保护法。这些作品中的大多数受到古典力学的启发，例如哈密顿和拉格朗日力学以及神经普通微分方程。尽管这些作品已被证明在特定领域中分别很好地工作，但缺乏统一的方法，该方法通常不适用，而无需对神经网络体系结构进行重大更改。在这项工作中，我们旨在通过提供一种简单的方法来解决此问题，该方法不仅可以应用于能源持持势的系统，还可以应用于耗散系统，通过在不同情况下以不同的情况在不同情况下以正规化术语形式包括不同的归纳偏见。损失功能。所提出的方法不需要更改神经网络体系结构，并且可以构成验证新思想的基础，因此表明有望在这个方向上加速研究。

过去几年目睹了在深入学习框架中纳入物理知识的归纳偏见的兴趣增加。特别地，越来越多的文献一直在探索实施能节能的方式，同时使用来自观察时间序列数据的神经网络来学习动态的神经网络。在这项工作中，我们调查了最近提出的节能神经网络模型，包括HNN，LNN，DELAN，SYMODEN，CHNN，CLNN及其变体。我们提供了这些模型背后的理论的紧凑级，并解释了他们的相似之处和差异。它们的性能在4个物理系统中进行了比较。我们指出了利用一些这些节能模型来设计基于能量的控制器的可能性。

深度学习模型能够近似一个特定的动力系统，但在学习通用动力学方面挣扎，在该动态系统中，动态系统遵守了相同的物理定律，但包含不同数量的元素（例如，双重和三铅系统）。为了缓解这个问题，我们提出了模块化拉​​格朗日网络（ModLanet），这是一个具有模块化和物理诱导偏置的结构神经网络框架。该框架使用模块化对每个元素的能量进行建模，然后通过拉格朗日力学构建目标动态系统。模块化有益于重复训练的网络和减少网络和数据集的规模。结果，我们的框架可以从更简单的系统的动力学中学习，并扩展到更复杂的框架，使用其他相关的物理信息神经网络是不可行的。我们研究了使用小型培训数据集建模双体螺旋形或三体系统的框架，与同行相比，我们的模型实现了最佳的数据效率和准确性性能。我们还将模型重新组织为建模多体型和多体系统的扩展，展示了我们框架的可重复使用功能。

机器学习的进展（ML）源于数据可用性，计算资源的组合，以及对电感偏差的适当编码。有用的偏差经常利用预测问题的对称性，例如依赖于翻译设备的卷积网络。自动发现这些有用的对称具有大大提高ML系统性能的可能性，但仍然是一个挑战。在这项工作中，我们专注于连续的预测问题，并采取灵感来自Noether定理，以减少发现归纳偏差到Meta学习的有用保守数量的问题。我们提出了挪威网络：在预测函数内优化了Meta学习保存损失的新型架构。我们在理论和实验上示出了Noether网络提高了预测质量，提供了一种用于在顺序问题中发现感应偏差的一般框架。

机器人动态的准确模型对于新颖的操作条件安全和稳定控制和概括至关重要。然而，即使在仔细参数调谐后，手工设计的模型也可能是不够准确的。这激励了使用机器学习技术在训练集的状态控制轨迹上近似机器人动力学。根据其SE（3）姿势和广义速度，并满足能量原理的保护，描述了许多机器人的动态，包括地面，天线和水下车辆。本文提出了在神经常规差分方程（ODE）网络结构的SE（3）歧管上的HamiltonIAN制剂，以近似刚体的动态。与黑匣子颂网络相比，我们的配方通过施工保证了总节能。我们为学习的学习，潜在的SE（3）Hamiltonian动力学开发能量整形和阻尼注射控制，以实现具有各种平台的稳定和轨迹跟踪的统一方法，包括摆锤，刚体和四极其系统。

物理系统通常表示为粒子的组合，即控制系统动力学的个体动力学。但是，传统方法需要了解几个抽象数量的知识，例如推断这些颗粒动力学的能量或力量。在这里，我们提出了一个框架，即拉格朗日图神经网络（LGNN），它提供了强烈的感应偏见，可以直接从轨迹中学习基于粒子系统的拉格朗日。我们在具有约束和阻力的挑战系统上测试我们的方法 - LGNN优于诸如前馈拉格朗日神经网络（LNN）等基线，其性能提高。我们还通过模拟系统模拟系统的两个数量级比受过训练的一个数量级和混合系统大的数量级来显示系统的零弹性通用性，这些数量级是一个独特的功能。与LNN相比，LGNN的图形体系结构显着简化了学习，其性能在少量少量数据上的性能高25倍。最后，我们显示了LGNN的解释性，该解释性直接提供了对模型学到的阻力和约束力的物理见解。因此，LGNN可以为理解物理系统的动力学提供纯粹的填充，这纯粹是从可观察的数量中。

Recently, graph neural networks have been gaining a lot of attention to simulate dynamical systems due to their inductive nature leading to zero-shot generalizability. Similarly, physics-informed inductive biases in deep-learning frameworks have been shown to give superior performance in learning the dynamics of physical systems. There is a growing volume of literature that attempts to combine these two approaches. Here, we evaluate the performance of thirteen different graph neural networks, namely, Hamiltonian and Lagrangian graph neural networks, graph neural ODE, and their variants with explicit constraints and different architectures. We briefly explain the theoretical formulation highlighting the similarities and differences in the inductive biases and graph architecture of these systems. We evaluate these models on spring, pendulum, gravitational, and 3D deformable solid systems to compare the performance in terms of rollout error, conserved quantities such as energy and momentum, and generalizability to unseen system sizes. Our study demonstrates that GNNs with additional inductive biases, such as explicit constraints and decoupling of kinetic and potential energies, exhibit significantly enhanced performance. Further, all the physics-informed GNNs exhibit zero-shot generalizability to system sizes an order of magnitude larger than the training system, thus providing a promising route to simulate large-scale realistic systems.

在许多现实世界中，当不二维测量值时，可能会提供自由旋转3D刚体（例如卫星）的图像观察。但是，图像数据的高维度排除了学习动力学和缺乏解释性的使用，从而降低了标准深度学习方法的有用性。在这项工作中，我们提出了一个物理知识的神经网络模型，以估计和预测图像序列中的3D旋转动力学。我们使用多阶段预测管道实现了这一目标，该管道将单个图像映射到潜在表示同构为$ \ Mathbf {so}（3）$，从潜在对计算角速度，并使用Hamiltonian Motion使用Hamiltonian运动方程来预测未来的潜在状态博学的哈密顿人的代表。我们证明了方法对新的旋转刚体数据集的功效，该数据集具有旋转立方体和矩形棱镜序列，并具有均匀且不均匀的密度。

We present the interpretable meta neural ordinary differential equation (iMODE) method to rapidly learn generalizable (i.e., not parameter-specific) dynamics from trajectories of multiple dynamical systems that vary in their physical parameters. The iMODE method learns meta-knowledge, the functional variations of the force field of dynamical system instances without knowing the physical parameters, by adopting a bi-level optimization framework: an outer level capturing the common force field form among studied dynamical system instances and an inner level adapting to individual system instances. A priori physical knowledge can be conveniently embedded in the neural network architecture as inductive bias, such as conservative force field and Euclidean symmetry. With the learned meta-knowledge, iMODE can model an unseen system within seconds, and inversely reveal knowledge on the physical parameters of a system, or as a Neural Gauge to "measure" the physical parameters of an unseen system with observed trajectories. We test the validity of the iMODE method on bistable, double pendulum, Van der Pol, Slinky, and reaction-diffusion systems.

最近提出的一类模型试图使用哈密顿力学所通知的前沿，从高维观察中学习潜在动态的潜在动态。虽然这些模型在机器人或自主驾驶等领域具有重要潜在应用，但目前没有好方法来评估它们的性能：现有方法主要依赖于图像重建质量，这并不总是反映学习潜在动态的质量。在这项工作中，我们经验突出了现有措施的问题，并制定了一套新措施，包括依赖母亲哈密顿动态的二进制指标，我们称之为符号度量或次称。我们的措施利用了汉密尔顿动态的已知属性，并且更符合模型捕获潜在动态的能力而不是重建误差。使用Symetric，我们识别一组架构选择，可以显着提高先前提出的模型的性能，用于从像素，Hamiltonian生成网络（HGN）从像素推断潜在动态。与原始HGN不同，新的HGN ++能够在某些数据集中发现具有物理有意义的潜伏的可解释的相位空间。此外，它在不同范围的13个数据集上的卷展栏上是稳定的，在一个不同的13个数据集上产生基本上无限长度的卷展栏，在数据集的子集上没有质量下降。

最近，对具有神经网络的物理系统建模和计算的兴趣越来越多。在古典力学中，哈密顿系统是一种优雅而紧凑的形式主义，该动力学由一个标量功能，哈密顿量完全决定。解决方案轨迹通常受到约束，以在线性矢量空间的子序列上进化。在这项工作中，我们提出了新的方法，以准确地逼近其解决方案的示例数据信息的约束机械系统的哈密顿功能。我们通过使用明确的谎言组集成商和其他经典方案来关注学习策略中约束的重要性。

基于哈密顿配方的混合机器学习最近已成功证明了简单的机械系统。在这项工作中，我们在简单的质量弹簧系统和更复杂，更现实的系统上强调方法，具有多个内部和外部端口，包括具有多个连接储罐的系统。我们量化各种条件下的性能，并表明施加不同的假设会极大地影响性能，突出该方法的优势和局限性。我们证明，哈米尔顿港神经网络可以扩展到具有州依赖性端口的更高维度。我们考虑学习具有已知和未知外部端口的系统。哈米尔顿港的公式允许检测偏差，并在删除偏差时仍然提供有效的模型。最后，我们提出了一种对称的高级整合方案，以改善稀疏和嘈杂数据的训练。

识别物理系统的动态需要机器学习模型，可以吸收观察数据，而还包括物理定律。基于汉密尔顿人或拉格朗日NNS等物理原则的神经网络最近显示了有希望产生外推预测和准确表示系统动态的结果。我们表明，通过训练期间将实际能量水平视为正则化术语，从而使用物理信息作为感应偏差，可以进一步提高结果。特别是在只有少量数据的情况下，这些改进可以显着提高预测能力。我们将拟议的正则化术语应用于Hamiltonian神经网络（HNN），并限制了哈密顿神经网络（CHHN）的单个和双界，在看不见的初始条件下产生预测，并以预测准确性报告显着的收益。

在这里，我们提出了符合性整合的符号回归（SISR），这是一种从数据中学习物理控制方程的新技术。SISR使用具有突变的多层LSTM-RNN采用深层符号回归方法，以概率地采样哈密顿符号表达式。使用符号神经网络，我们开发了一种模型无关的方法，用于从数据中提取有意义的物理先验，这些方法可以直接施加到RNN输出中，从而限制了其搜索空间。使用四阶符号整合方案对RNN产生的汉密尔顿人进行了优化和评估；预测性能用于训练LSTM-RNN，以通过寻求风险的政策梯度方法来产生越来越更好的功能。采用这些技术，我们从振荡器，摆，两体和三体重力系统中提取正确的管理方程，并具有嘈杂且非常小的数据集。

最近，与神经网络的时间相关微分方程的解决方案最近引起了很多关注。核心思想是学习控制解决方案从数据演变的法律，该数据可能会被随机噪声污染。但是，与其他机器学习应用相比，通常对手头的系统了解很多。例如，对于许多动态系统，诸如能量或（角度）动量之类的物理量是完全保守的。因此，神经网络必须从数据中学习这些保护定律，并且仅由于有限的训练时间和随机噪声而被满足。在本文中，我们提出了一种替代方法，该方法使用Noether的定理将保护定律本质地纳入神经网络的体系结构。我们证明，这可以更好地预测三个模型系统：在三维牛顿引力潜能中非偏见粒子的运动，Schwarzschild指标中庞大的相对论粒子的运动和两个相互作用的粒子在四个相互作用的粒子系统中的运动方面。

建模物理系统的数据驱动方法无法推广到与学习域共享相同一般动态的看不见的系统，但与不同的物理环境相对应。我们为此关键问题提出了一个新的框架，即上下文知识的动态适应（CODA），该框架考虑了整个系统之间的分布转移，以快速有效地适应新的动力学。 CODA利用多个环境，每个环境都与不同的动态相关联，并学会将动态模型定为上下文参数（特定于每个环境）。调节是通过超网络进行的，并从观察到的数据与上下文向量共同学习。提出的公式限制了搜索假设空间，以促进跨环境的快速适应和更好的概括。我们从理论上激励我们的方法，并在一组非线性动力学上显示出最新的概括结果，这是多种应用领域的代​​表。我们还在这些系统上还显示，可以从上下文向量中推断出新的系统参数，并以最小的监督为准。