过去几年目睹了在深入学习框架中纳入物理知识的归纳偏见的兴趣增加。特别地，越来越多的文献一直在探索实施能节能的方式，同时使用来自观察时间序列数据的神经网络来学习动态的神经网络。在这项工作中，我们调查了最近提出的节能神经网络模型，包括HNN，LNN，DELAN，SYMODEN，CHNN，CLNN及其变体。我们提供了这些模型背后的理论的紧凑级，并解释了他们的相似之处和差异。它们的性能在4个物理系统中进行了比较。我们指出了利用一些这些节能模型来设计基于能量的控制器的可能性。

合并适当的归纳偏差在从数据的学习动态中发挥着关键作用。通过将拉格朗日或哈密顿的动态编码到神经网络架构中，越来越多的工作已经探索了在学习动态中实施节能的方法。这些现有方法基于微分方程，其不允许州中的不连续性，从而限制了一个人可以学习的系统。然而，实际上，大多数物理系统，例如腿机器人和机器人操纵器，涉及联系和碰撞，这在各州引入了不连续性。在本文中，我们介绍了一种可微分的接触型号，可以捕获接触机械：无摩擦/摩擦，以及弹性/无弹性。该模型还可以适应不等式约束，例如关节角度的限制。拟议的联系模式通过允许同时学习联系和系统性质来扩展拉格朗日和哈密顿神经网络的范围。我们在具有不同恢复系数和摩擦系数的一系列具有挑战性的2D和3D物理系统上展示了这一框架。学习的动态可以用作用于下游梯度的优化任务的可分解物理模拟器，例如规划和控制。

用神经网络对物理系统的动力学建模的最新方法强制执行拉格朗日式或哈密顿结构，以改善预测和泛化。但是，当将坐标嵌入高维数据（例如图像）中时，这些方法要么失去解释性，要么只能应用于一个特定示例。我们介绍了一种新的无监督神经网络模型，该模型从图像中学习拉格朗日动态，并具有受益于预测和控制的解释性。该模型在广义坐标上渗透Lagrangian动力学，这些动力学是通过坐标感知的变异自动编码器（VAE）同时学习的。 VAE旨在说明由飞机中多个刚体组成的物理系统的几何形状。通过推断可解释的拉格朗日动力学，该模型学习了物理系统属性，例如动力学和势能，从而可以长期预测图像空间中的动力学和基于能量控制器的合成。

Recently, graph neural networks have been gaining a lot of attention to simulate dynamical systems due to their inductive nature leading to zero-shot generalizability. Similarly, physics-informed inductive biases in deep-learning frameworks have been shown to give superior performance in learning the dynamics of physical systems. There is a growing volume of literature that attempts to combine these two approaches. Here, we evaluate the performance of thirteen different graph neural networks, namely, Hamiltonian and Lagrangian graph neural networks, graph neural ODE, and their variants with explicit constraints and different architectures. We briefly explain the theoretical formulation highlighting the similarities and differences in the inductive biases and graph architecture of these systems. We evaluate these models on spring, pendulum, gravitational, and 3D deformable solid systems to compare the performance in terms of rollout error, conserved quantities such as energy and momentum, and generalizability to unseen system sizes. Our study demonstrates that GNNs with additional inductive biases, such as explicit constraints and decoupling of kinetic and potential energies, exhibit significantly enhanced performance. Further, all the physics-informed GNNs exhibit zero-shot generalizability to system sizes an order of magnitude larger than the training system, thus providing a promising route to simulate large-scale realistic systems.

机器人动态的准确模型对于新颖的操作条件安全和稳定控制和概括至关重要。然而，即使在仔细参数调谐后，手工设计的模型也可能是不够准确的。这激励了使用机器学习技术在训练集的状态控制轨迹上近似机器人动力学。根据其SE（3）姿势和广义速度，并满足能量原理的保护，描述了许多机器人的动态，包括地面，天线和水下车辆。本文提出了在神经常规差分方程（ODE）网络结构的SE（3）歧管上的HamiltonIAN制剂，以近似刚体的动态。与黑匣子颂网络相比，我们的配方通过施工保证了总节能。我们为学习的学习，潜在的SE（3）Hamiltonian动力学开发能量整形和阻尼注射控制，以实现具有各种平台的稳定和轨迹跟踪的统一方法，包括摆锤，刚体和四极其系统。

具有基于物理的诱导偏见的神经网络，例如拉格朗日神经网络（LNN）和汉密尔顿神经网络（HNN），通过编码强诱导性偏见来学习物理系统的动态。另外，还显示出适当的感应偏见的神经odes具有相似的性能。但是，当这些模型应用于基于粒子的系统时，本质上具有转导性，因此不会推广到大型系统尺寸。在本文中，我们提出了基于图的神经ode gnode，以了解动力学系统的时间演变。此外，我们仔细分析了不同电感偏差对GNODE性能的作用。我们表明，与LNN和HNN类似，对约束进行编码可以显着提高GNODE的训练效率和性能。我们的实验还评估了该模型最终性能的其他归纳偏差（例如纽顿第三定律）的价值。我们证明，诱导这些偏见可以在能量违规和推出误差方面通过数量级来增强模型的性能。有趣的是，我们观察到，经过最有效的电感偏见训练的GNODE，即McGnode，优于LNN和HNN的图形版本，即Lagrangian Graph Networks（LGN）和Hamiltonian Graph网络（HGN）在能量侵犯的方面差异，该图表的差异大约是能量侵犯网络（HGN）摆钟系统的4个数量级，春季系统的数量级约为2个数量级。这些结果表明，可以通过诱导适当的电感偏见来获得基于节点的系统的能源保存神经网络的竞争性能。

Lagrangian和Hamiltonian神经网络（分别是LNN和HNN）编码强诱导偏见，使它们能够显着优于其他物理系统模型。但是，到目前为止，这些模型大多仅限于简单的系统，例如摆和弹簧或单个刚体的身体，例如陀螺仪或刚性转子。在这里，我们提出了一个拉格朗日图神经网络（LGNN），可以通过利用其拓扑来学习刚体的动态。我们通过学习以刚体为刚体的棒的绳索，链条和桁架的动力学来证明LGNN的性能。 LGNN还表现出普遍性 - 在链条上训练了一些细分市场的LGNN具有概括性，以模拟具有大量链接和任意链路长度的链条。我们还表明，LGNN可以模拟看不见的混合动力系统，包括尚未接受过培训的酒吧和链条。具体而言，我们表明LGNN可用于建模复杂的现实世界结构的动力学，例如紧张结构的稳定性。最后，我们讨论了质量矩阵的非对角性性质及其在复杂系统中概括的能力。

在许多现实世界中，当不二维测量值时，可能会提供自由旋转3D刚体（例如卫星）的图像观察。但是，图像数据的高维度排除了学习动力学和缺乏解释性的使用，从而降低了标准深度学习方法的有用性。在这项工作中，我们提出了一个物理知识的神经网络模型，以估计和预测图像序列中的3D旋转动力学。我们使用多阶段预测管道实现了这一目标，该管道将单个图像映射到潜在表示同构为$ \ Mathbf {so}（3）$，从潜在对计算角速度，并使用Hamiltonian Motion使用Hamiltonian运动方程来预测未来的潜在状态博学的哈密顿人的代表。我们证明了方法对新的旋转刚体数据集的功效，该数据集具有旋转立方体和矩形棱镜序列，并具有均匀且不均匀的密度。

物理系统通常表示为粒子的组合，即控制系统动力学的个体动力学。但是，传统方法需要了解几个抽象数量的知识，例如推断这些颗粒动力学的能量或力量。在这里，我们提出了一个框架，即拉格朗日图神经网络（LGNN），它提供了强烈的感应偏见，可以直接从轨迹中学习基于粒子系统的拉格朗日。我们在具有约束和阻力的挑战系统上测试我们的方法 - LGNN优于诸如前馈拉格朗日神经网络（LNN）等基线，其性能提高。我们还通过模拟系统模拟系统的两个数量级比受过训练的一个数量级和混合系统大的数量级来显示系统的零弹性通用性，这些数量级是一个独特的功能。与LNN相比，LGNN的图形体系结构显着简化了学习，其性能在少量少量数据上的性能高25倍。最后，我们显示了LGNN的解释性，该解释性直接提供了对模型学到的阻力和约束力的物理见解。因此，LGNN可以为理解物理系统的动力学提供纯粹的填充，这纯粹是从可观察的数量中。

学习动态是机器学习（ML）的许多重要应用的核心，例如机器人和自主驾驶。在这些设置中，ML算法通常需要推理使用高维观察的物理系统，例如图像，而不访问底层状态。最近，已经提出了几种方法将从经典机制的前沿集成到ML模型中，以解决图像的物理推理的挑战。在这项工作中，我们清醒了这些模型的当前功能。为此，我们介绍一套由17个数据集组成的套件，该数据集基于具有呈现各种动态的物理系统的视觉观测。我们对几种强大的基线进行了彻底的和详细比较了物理启发方法的主要类别。虽然包含物理前沿的模型通常可以学习具有所需特性的潜在空间，但我们的结果表明这些方法无法显着提高标准技术。尽管如此，我们发现使用连续和时间可逆动力学的使用效益所有课程的模型。

Incorporating prior knowledge of physics laws and structural properties of dynamical systems into the design of deep learning architectures has proven to be a powerful technique for improving their computational efficiency and generalization capacity. Learning accurate models of robot dynamics is critical for safe and stable control. Autonomous mobile robots, including wheeled, aerial, and underwater vehicles, can be modeled as controlled Lagrangian or Hamiltonian rigid-body systems evolving on matrix Lie groups. In this paper, we introduce a new structure-preserving deep learning architecture, the Lie group Forced Variational Integrator Network (LieFVIN), capable of learning controlled Lagrangian or Hamiltonian dynamics on Lie groups, either from position-velocity or position-only data. By design, LieFVINs preserve both the Lie group structure on which the dynamics evolve and the symplectic structure underlying the Hamiltonian or Lagrangian systems of interest. The proposed architecture learns surrogate discrete-time flow maps instead of surrogate vector fields, which allows better and faster prediction without requiring the use of a numerical integrator, neural ODE, or adjoint techniques. Furthermore, the learnt discrete-time dynamics can be combined seamlessly with computationally scalable discrete-time (optimal) control strategies.

最近，对具有神经网络的物理系统建模和计算的兴趣越来越多。在古典力学中，哈密顿系统是一种优雅而紧凑的形式主义，该动力学由一个标量功能，哈密顿量完全决定。解决方案轨迹通常受到约束，以在线性矢量空间的子序列上进化。在这项工作中，我们提出了新的方法，以准确地逼近其解决方案的示例数据信息的约束机械系统的哈密顿功能。我们通过使用明确的谎言组集成商和其他经典方案来关注学习策略中约束的重要性。

我们提出KeyCLD，这是一个从图像中学习拉格朗日动态的框架。学到的关键点代表图像中的语义标志性，可以直接代表状态动力学。将这种状态解释为笛卡尔坐标，并与明确的自动限制相结合，允许用约束的拉格朗日表达动力学。我们的方法显式地对动能和势能进行了建模，从而允许基于能量的控制。我们是第一个从DM_Control Pendulum，Cartpole和Acrobot环境中的图像中展示Lagrangian动力学学习的人。这是从现实世界图像中学习拉格朗日动力学的迈出的一步，因为以前的文学作品仅适用于在空背景上具有单色形状的简约图像。请参阅我们的项目页面以获取代码和其他结果：https：//rdaems.github.io/keycld/

深度学习模型能够近似一个特定的动力系统，但在学习通用动力学方面挣扎，在该动态系统中，动态系统遵守了相同的物理定律，但包含不同数量的元素（例如，双重和三铅系统）。为了缓解这个问题，我们提出了模块化拉​​格朗日网络（ModLanet），这是一个具有模块化和物理诱导偏置的结构神经网络框架。该框架使用模块化对每个元素的能量进行建模，然后通过拉格朗日力学构建目标动态系统。模块化有益于重复训练的网络和减少网络和数据集的规模。结果，我们的框架可以从更简单的系统的动力学中学习，并扩展到更复杂的框架，使用其他相关的物理信息神经网络是不可行的。我们研究了使用小型培训数据集建模双体螺旋形或三体系统的框架，与同行相比，我们的模型实现了最佳的数据效率和准确性性能。我们还将模型重新组织为建模多体型和多体系统的扩展，展示了我们框架的可重复使用功能。

能量保护是许多物理现象和动态系统的核心。在过去的几年中，有大量作品旨在预测使用神经网络的动力系统运动轨迹，同时遵守能源保护法。这些作品中的大多数受到古典力学的启发，例如哈密顿和拉格朗日力学以及神经普通微分方程。尽管这些作品已被证明在特定领域中分别很好地工作，但缺乏统一的方法，该方法通常不适用，而无需对神经网络体系结构进行重大更改。在这项工作中，我们旨在通过提供一种简单的方法来解决此问题，该方法不仅可以应用于能源持持势的系统，还可以应用于耗散系统，通过在不同情况下以不同的情况在不同情况下以正规化术语形式包括不同的归纳偏见。损失功能。所提出的方法不需要更改神经网络体系结构，并且可以构成验证新思想的基础，因此表明有望在这个方向上加速研究。

识别物理系统的动态需要机器学习模型，可以吸收观察数据，而还包括物理定律。基于汉密尔顿人或拉格朗日NNS等物理原则的神经网络最近显示了有希望产生外推预测和准确表示系统动态的结果。我们表明，通过训练期间将实际能量水平视为正则化术语，从而使用物理信息作为感应偏差，可以进一步提高结果。特别是在只有少量数据的情况下，这些改进可以显着提高预测能力。我们将拟议的正则化术语应用于Hamiltonian神经网络（HNN），并限制了哈密顿神经网络（CHHN）的单个和双界，在看不见的初始条件下产生预测，并以预测准确性报告显着的收益。

Effective inclusion of physics-based knowledge into deep neural network models of dynamical systems can greatly improve data efficiency and generalization. Such a-priori knowledge might arise from physical principles (e.g., conservation laws) or from the system's design (e.g., the Jacobian matrix of a robot), even if large portions of the system dynamics remain unknown. We develop a framework to learn dynamics models from trajectory data while incorporating a-priori system knowledge as inductive bias. More specifically, the proposed framework uses physics-based side information to inform the structure of the neural network itself, and to place constraints on the values of the outputs and the internal states of the model. It represents the system's vector field as a composition of known and unknown functions, the latter of which are parametrized by neural networks. The physics-informed constraints are enforced via the augmented Lagrangian method during the model's training. We experimentally demonstrate the benefits of the proposed approach on a variety of dynamical systems -- including a benchmark suite of robotics environments featuring large state spaces, non-linear dynamics, external forces, contact forces, and control inputs. By exploiting a-priori system knowledge during training, the proposed approach learns to predict the system dynamics two orders of magnitude more accurately than a baseline approach that does not include prior knowledge, given the same training dataset.

基于哈密顿配方的混合机器学习最近已成功证明了简单的机械系统。在这项工作中，我们在简单的质量弹簧系统和更复杂，更现实的系统上强调方法，具有多个内部和外部端口，包括具有多个连接储罐的系统。我们量化各种条件下的性能，并表明施加不同的假设会极大地影响性能，突出该方法的优势和局限性。我们证明，哈米尔顿港神经网络可以扩展到具有州依赖性端口的更高维度。我们考虑学习具有已知和未知外部端口的系统。哈米尔顿港的公式允许检测偏差，并在删除偏差时仍然提供有效的模型。最后，我们提出了一种对称的高级整合方案，以改善稀疏和嘈杂数据的训练。

物理学的美在于，通常在变化的系统（称为运动常数）中保守数量。找到运动的常数对于理解系统的动力学很重要，但通常需要数学水平和手动分析工作。在本文中，我们提出了一个神经网络，该网络可以同时了解系统的动力学和来自数据的运动常数。通过利用发现的运动常数，它可以对动态产生更好的预测，并且可以比基于哈密顿的神经网络在更广泛的系统上工作。此外，我们方法的训练进展可以用作系统中运动常数数量的指示，该系统可用于研究新型物理系统。

学习包括不同对象之间接触的动态系统的物理结构化表示是机器人技术中基于学习的方法的重要问题。黑盒神经网络可以学会大致表示不连续的动态，但是它们通常需要大量数据，并且在预测更长的时间范围时通常会遭受病理行为。在这项工作中，我们使用深层神经网络和微分方程之间的连接来设计一个深网架构家族，以表示对象之间的接触动态。我们表明，这些网络可以从传统上难以实现黑盒方法和最近启发的神经网络的设置中的嘈杂的观察结果中以数据效率的方式学习不连续的联系事件。我们的结果表明，一种理想化的触摸反馈形式（由生物系统严重依赖）是使这一学习问题可以解决的关键组成部分。加上通过网络体系结构引入的电感偏差，我们的技术可以从观测值中准确学习接触动力学。