Incorporating prior knowledge of physics laws and structural properties of dynamical systems into the design of deep learning architectures has proven to be a powerful technique for improving their computational efficiency and generalization capacity. Learning accurate models of robot dynamics is critical for safe and stable control. Autonomous mobile robots, including wheeled, aerial, and underwater vehicles, can be modeled as controlled Lagrangian or Hamiltonian rigid-body systems evolving on matrix Lie groups. In this paper, we introduce a new structure-preserving deep learning architecture, the Lie group Forced Variational Integrator Network (LieFVIN), capable of learning controlled Lagrangian or Hamiltonian dynamics on Lie groups, either from position-velocity or position-only data. By design, LieFVINs preserve both the Lie group structure on which the dynamics evolve and the symplectic structure underlying the Hamiltonian or Lagrangian systems of interest. The proposed architecture learns surrogate discrete-time flow maps instead of surrogate vector fields, which allows better and faster prediction without requiring the use of a numerical integrator, neural ODE, or adjoint techniques. Furthermore, the learnt discrete-time dynamics can be combined seamlessly with computationally scalable discrete-time (optimal) control strategies.

机器人动态的准确模型对于新颖的操作条件安全和稳定控制和概括至关重要。然而，即使在仔细参数调谐后，手工设计的模型也可能是不够准确的。这激励了使用机器学习技术在训练集的状态控制轨迹上近似机器人动力学。根据其SE（3）姿势和广义速度，并满足能量原理的保护，描述了许多机器人的动态，包括地面，天线和水下车辆。本文提出了在神经常规差分方程（ODE）网络结构的SE（3）歧管上的HamiltonIAN制剂，以近似刚体的动态。与黑匣子颂网络相比，我们的配方通过施工保证了总节能。我们为学习的学习，潜在的SE（3）Hamiltonian动力学开发能量整形和阻尼注射控制，以实现具有各种平台的稳定和轨迹跟踪的统一方法，包括摆锤，刚体和四极其系统。

稳定性和安全性是成功部署自动控制系统的关键特性。作为一个激励示例，请考虑在复杂的环境中自动移动机器人导航。概括到不同操作条件的控制设计需要系统动力学模型，鲁棒性建模错误以及对安全\ newzl {约束}的满意度，例如避免碰撞。本文开发了一个神经普通微分方程网络，以从轨迹数据中学习哈密顿系统的动态。学识渊博的哈密顿模型用于合成基于能量的被动性控制器，并分析其\ emph {鲁棒性}，以在学习模型及其\ emph {Safety}中对环境施加的约束。考虑到系统的所需参考路径，我们使用虚拟参考调查员扩展了设计，以实现跟踪控制。州长国家是一个调节点，沿参考路径移动，平衡系统能级，模型不确定性界限以及违反安全性的距离，以确保稳健性和安全性。我们的哈密顿动力学学习和跟踪控制技术在\修订后的{模拟的己谐和四型机器人}在混乱的3D环境中导航。

过去几年目睹了在深入学习框架中纳入物理知识的归纳偏见的兴趣增加。特别地，越来越多的文献一直在探索实施能节能的方式，同时使用来自观察时间序列数据的神经网络来学习动态的神经网络。在这项工作中，我们调查了最近提出的节能神经网络模型，包括HNN，LNN，DELAN，SYMODEN，CHNN，CLNN及其变体。我们提供了这些模型背后的理论的紧凑级，并解释了他们的相似之处和差异。它们的性能在4个物理系统中进行了比较。我们指出了利用一些这些节能模型来设计基于能量的控制器的可能性。

在未知环境中安全的自主导航是地面，空中和水下机器人的重要问题。本文提出了从轨迹数据中学习移动机器人动力学模型的技术，并通过安全性和稳定性综合跟踪控制器。移动机器人的状态通常包含其位置，方向和广义速度，并满足汉密尔顿的运动方程。我们使用状态控制轨迹的数据集来培训表示作为神经普通微分方程（ODE）网络的转换式非线性非线性汉密尔顿模型。学习的哈密尔顿模型用于合成能量整形的基于能量的控制器和导出的条件，保证安全调节到所需的参考姿势。最后，我们能够通过从障碍物距离测量获得的安全约束来实现所需路径的自适应跟踪。系统能量水平与安全约束违规距离之间的权衡用于自适应地沿着所需路径的参考姿势。我们的安全自适应控制器是在未知复杂环境中导航的模拟的十六轨机器人。

在现实世界机器人应用中，机器人动态的准确模型对于快速变化的操作条件下的安全和稳定控制至关重要。这激励了使用机器学习技术来近似机器人动力学及其在训练轨迹训练组上的干扰。本文展示了物理法引起的感应偏差可用于提高近似动力学模型的数据效率和准确性。例如，使用他们的$ SE（3）$姿势和满足能源原则保护，描述了许多机器人的动态，包括地面，天线和水下车辆。通过在神经常微分方程（ODE）网络的设计中施加汉密尔顿运动方程的结构，设计了机器人动态的物理卓越模型。哈密​​顿结构保证满足于美元（3）美元的运动限制和通过建设节能的节能。它还允许我们推导出基于能量的自适应控制器，该自适应控制器实现轨迹跟踪，同时补偿干扰。我们基于学习的自适应控制器验证了在致动的四轮机器机器人上。

在许多现实世界中，当不二维测量值时，可能会提供自由旋转3D刚体（例如卫星）的图像观察。但是，图像数据的高维度排除了学习动力学和缺乏解释性的使用，从而降低了标准深度学习方法的有用性。在这项工作中，我们提出了一个物理知识的神经网络模型，以估计和预测图像序列中的3D旋转动力学。我们使用多阶段预测管道实现了这一目标，该管道将单个图像映射到潜在表示同构为$ \ Mathbf {so}（3）$，从潜在对计算角速度，并使用Hamiltonian Motion使用Hamiltonian运动方程来预测未来的潜在状态博学的哈密顿人的代表。我们证明了方法对新的旋转刚体数据集的功效，该数据集具有旋转立方体和矩形棱镜序列，并具有均匀且不均匀的密度。

机器学习中的许多新的发展都与基于梯度的优化方法相连。最近，已经使用变分透视研究了这些方法。这已经开辟了使用几何集成引入变分和辛方法的可能性。特别是，在本文中，我们引入了变分集成商，使我们能够导出不同的优化方法。使用汉密尔顿和拉格朗日 - 德尔尔堡的原则，我们在一对一的对应中获得了两个各自的优化方法的一个家庭，即概括Polyak的厚球和众所周知的Nesterov加速梯度方法，其中第二个是模仿行为的第二个对应首先减少经典动量方法的振荡。然而，由于考虑的系统是明确时间依赖的，因此自主系统的杂交的保存仅在这里发生在纤维上。几个实验举例说明结果。

最近，对具有神经网络的物理系统建模和计算的兴趣越来越多。在古典力学中，哈密顿系统是一种优雅而紧凑的形式主义，该动力学由一个标量功能，哈密顿量完全决定。解决方案轨迹通常受到约束，以在线性矢量空间的子序列上进化。在这项工作中，我们提出了新的方法，以准确地逼近其解决方案的示例数据信息的约束机械系统的哈密顿功能。我们通过使用明确的谎言组集成商和其他经典方案来关注学习策略中约束的重要性。

机器人社区在为软机器人设备建模提供的理论工具的复杂程度中看到了指数增长。已经提出了不同的解决方案以克服与软机器人建模相关的困难，通常利用其他科学学科，例如连续式机械和计算机图形。这些理论基础通常被认为是理所当然的，这导致复杂的文献，因此，从未得到完整审查的主题。Withing这种情况下，提交的文件的目标是双重的。突出显示涉及建模技术的不同系列的常见理论根源，采用统一语言，以简化其主要连接和差异的分析。因此，对上市接近自然如下，并最终提供在该领域的主要作品的完整，解开，审查。

学习动态是机器学习（ML）的许多重要应用的核心，例如机器人和自主驾驶。在这些设置中，ML算法通常需要推理使用高维观察的物理系统，例如图像，而不访问底层状态。最近，已经提出了几种方法将从经典机制的前沿集成到ML模型中，以解决图像的物理推理的挑战。在这项工作中，我们清醒了这些模型的当前功能。为此，我们介绍一套由17个数据集组成的套件，该数据集基于具有呈现各种动态的物理系统的视觉观测。我们对几种强大的基线进行了彻底的和详细比较了物理启发方法的主要类别。虽然包含物理前沿的模型通常可以学习具有所需特性的潜在空间，但我们的结果表明这些方法无法显着提高标准技术。尽管如此，我们发现使用连续和时间可逆动力学的使用效益所有课程的模型。

在充满活力的腿部运动领域，实现稳定的跳跃一直是一个标志性的挑战。由于长期不足，因此，受控跳跃非常困难，加上非常短的地面阶段，必须调节地面相互作用以调节全球状态。在这项工作中，我们探讨了混合非线性模型预测控制的使用，并与多速率层次结构中的低级反馈控制器配对，以在新颖的3D跳架机器人上实现动态稳定的运动。为了在旋转的多种状态上展示更丰富的行为，规划和反馈层都必须以几何一致的方式完成。因此，我们开发了采用谎言组集成商和适当的反馈控制器的必要工具。我们在实验上证明了在新型机器人上稳定的3D跳，以及模拟中的轨迹跟踪和翻转。

本文介绍了一种控制算法，用于引导具有未知惯性的两个轮式移动机器人，以使用自适应模型预测控制（AMPC）框架的所需点和取向。两个轮式移动机器人被建模为刀刃或带有非完整运动约束的冰鞋，使用拉格朗日方法导出动态方程。每次即时的输入都是从模型预测控制（MPC）获得的，其中一组标称参数使用递归最小二乘算法更新。通过纸张末尾的数值模拟来证明算法的功效。

Many dynamical systems -- from robots interacting with their surroundings to large-scale multiphysics systems -- involve a number of interacting subsystems. Toward the objective of learning composite models of such systems from data, we present i) a framework for compositional neural networks, ii) algorithms to train these models, iii) a method to compose the learned models, iv) theoretical results that bound the error of the resulting composite models, and v) a method to learn the composition itself, when it is not known a prior. The end result is a modular approach to learning: neural network submodels are trained on trajectory data generated by relatively simple subsystems, and the dynamics of more complex composite systems are then predicted without requiring additional data generated by the composite systems themselves. We achieve this compositionality by representing the system of interest, as well as each of its subsystems, as a port-Hamiltonian neural network (PHNN) -- a class of neural ordinary differential equations that uses the port-Hamiltonian systems formulation as inductive bias. We compose collections of PHNNs by using the system's physics-informed interconnection structure, which may be known a priori, or may itself be learned from data. We demonstrate the novel capabilities of the proposed framework through numerical examples involving interacting spring-mass-damper systems. Models of these systems, which include nonlinear energy dissipation and control inputs, are learned independently. Accurate compositions are learned using an amount of training data that is negligible in comparison with that required to train a new model from scratch. Finally, we observe that the composite PHNNs enjoy properties of port-Hamiltonian systems, such as cyclo-passivity -- a property that is useful for control purposes.

用神经网络对物理系统的动力学建模的最新方法强制执行拉格朗日式或哈密顿结构，以改善预测和泛化。但是，当将坐标嵌入高维数据（例如图像）中时，这些方法要么失去解释性，要么只能应用于一个特定示例。我们介绍了一种新的无监督神经网络模型，该模型从图像中学习拉格朗日动态，并具有受益于预测和控制的解释性。该模型在广义坐标上渗透Lagrangian动力学，这些动力学是通过坐标感知的变异自动编码器（VAE）同时学习的。 VAE旨在说明由飞机中多个刚体组成的物理系统的几何形状。通过推断可解释的拉格朗日动力学，该模型学习了物理系统属性，例如动力学和势能，从而可以长期预测图像空间中的动力学和基于能量控制器的合成。

最近，与神经网络的时间相关微分方程的解决方案最近引起了很多关注。核心思想是学习控制解决方案从数据演变的法律，该数据可能会被随机噪声污染。但是，与其他机器学习应用相比，通常对手头的系统了解很多。例如，对于许多动态系统，诸如能量或（角度）动量之类的物理量是完全保守的。因此，神经网络必须从数据中学习这些保护定律，并且仅由于有限的训练时间和随机噪声而被满足。在本文中，我们提出了一种替代方法，该方法使用Noether的定理将保护定律本质地纳入神经网络的体系结构。我们证明，这可以更好地预测三个模型系统：在三维牛顿引力潜能中非偏见粒子的运动，Schwarzschild指标中庞大的相对论粒子的运动和两个相互作用的粒子在四个相互作用的粒子系统中的运动方面。

基于哈密顿配方的混合机器学习最近已成功证明了简单的机械系统。在这项工作中，我们在简单的质量弹簧系统和更复杂，更现实的系统上强调方法，具有多个内部和外部端口，包括具有多个连接储罐的系统。我们量化各种条件下的性能，并表明施加不同的假设会极大地影响性能，突出该方法的优势和局限性。我们证明，哈米尔顿港神经网络可以扩展到具有州依赖性端口的更高维度。我们考虑学习具有已知和未知外部端口的系统。哈米尔顿港的公式允许检测偏差，并在删除偏差时仍然提供有效的模型。最后，我们提出了一种对称的高级整合方案，以改善稀疏和嘈杂数据的训练。

如果机器人曾经实现与动物所展示的机器人相当的自动运动，则它们必须获得在损害，故障或环境条件下快速恢复运动行为的能力，从而损害了其有效移动的能力。我们提出了一种方法，该方法使我们的机器人和模拟机器人能够在几十次尝试中恢复自由运动行为的高度。我们的方法采用行为规范，以等级的差异约束来表达所需的行为。我们展示了如何通过编码模板来考虑这些约束，从而产生了将先前优化的行为推广到新情况下以快速学习的形式概括的秘诀。我们进一步说明，在数据驱动的上下文中，足够的限制通常很容易确定。作为例证，我们证明了我们在物理7 DOF六型六杆元机器人上的恢复方法，以及对6 DOF 2D运动机制的模拟。在这两种情况下，我们恢复了与先前优化的运动在功能上无法区分的行为。

在腿部机器人技术中，计划和执行敏捷的机动演习一直是一个长期的挑战。它需要实时得出运动计划和本地反馈政策，以处理动力学动量的非物质。为此，我们提出了一个混合预测控制器，该控制器考虑了机器人的致动界限和全身动力学。它将反馈政策与触觉信息相结合，以在本地预测未来的行动。由于采用可行性驱动的方法，它在几毫秒内收敛。我们的预测控制器使Anymal机器人能够在现实的场景中生成敏捷操作。关键要素是跟踪本地反馈策略，因为与全身控制相反，它们达到了所需的角动量。据我们所知，我们的预测控制器是第一个处理驱动限制，生成敏捷的机动操作以及执行低级扭矩控制的最佳反馈策略，而无需使用单独的全身控制器。

合并适当的归纳偏差在从数据的学习动态中发挥着关键作用。通过将拉格朗日或哈密顿的动态编码到神经网络架构中，越来越多的工作已经探索了在学习动态中实施节能的方法。这些现有方法基于微分方程，其不允许州中的不连续性，从而限制了一个人可以学习的系统。然而，实际上，大多数物理系统，例如腿机器人和机器人操纵器，涉及联系和碰撞，这在各州引入了不连续性。在本文中，我们介绍了一种可微分的接触型号，可以捕获接触机械：无摩擦/摩擦，以及弹性/无弹性。该模型还可以适应不等式约束，例如关节角度的限制。拟议的联系模式通过允许同时学习联系和系统性质来扩展拉格朗日和哈密顿神经网络的范围。我们在具有不同恢复系数和摩擦系数的一系列具有挑战性的2D和3D物理系统上展示了这一框架。学习的动态可以用作用于下游梯度的优化任务的可分解物理模拟器，例如规划和控制。