学习包括不同对象之间接触的动态系统的物理结构化表示是机器人技术中基于学习的方法的重要问题。黑盒神经网络可以学会大致表示不连续的动态，但是它们通常需要大量数据，并且在预测更长的时间范围时通常会遭受病理行为。在这项工作中，我们使用深层神经网络和微分方程之间的连接来设计一个深网架构家族，以表示对象之间的接触动态。我们表明，这些网络可以从传统上难以实现黑盒方法和最近启发的神经网络的设置中的嘈杂的观察结果中以数据效率的方式学习不连续的联系事件。我们的结果表明，一种理想化的触摸反馈形式（由生物系统严重依赖）是使这一学习问题可以解决的关键组成部分。加上通过网络体系结构引入的电感偏差，我们的技术可以从观测值中准确学习接触动力学。

合并适当的归纳偏差在从数据的学习动态中发挥着关键作用。通过将拉格朗日或哈密顿的动态编码到神经网络架构中，越来越多的工作已经探索了在学习动态中实施节能的方法。这些现有方法基于微分方程，其不允许州中的不连续性，从而限制了一个人可以学习的系统。然而，实际上，大多数物理系统，例如腿机器人和机器人操纵器，涉及联系和碰撞，这在各州引入了不连续性。在本文中，我们介绍了一种可微分的接触型号，可以捕获接触机械：无摩擦/摩擦，以及弹性/无弹性。该模型还可以适应不等式约束，例如关节角度的限制。拟议的联系模式通过允许同时学习联系和系统性质来扩展拉格朗日和哈密顿神经网络的范围。我们在具有不同恢复系数和摩擦系数的一系列具有挑战性的2D和3D物理系统上展示了这一框架。学习的动态可以用作用于下游梯度的优化任务的可分解物理模拟器，例如规划和控制。

准确地对现实世界进行建模接触行为，对于现有的刚体物理模拟器而言，近刚毛的材料仍然是一个巨大的挑战。本文介绍了一个数据增强的接触模型，该模型将分析解决方案与观察到的数据结合在一起，以预测3D接触脉冲，这可能会导致刚体在各个方向上弹跳，滑动或旋转。我们的方法通过从观察到的数据中学习接触行为来增强标准库仑接触模型的表现力，同时尽可能保留基本的接触约束。例如，对分类器进行了训练，以近似静态摩擦和动态摩擦之间的过渡，而在碰撞过程中的非渗透约束在分析中执行。我们的方法计算整个刚体的触点的汇总效果，而不是分别预测每个接触点的接触力，而保持相同的模拟速度，而与接触点的数量增加了详细的几何形状。补充视频：https：//shorturl.at/eilwx关键字：物理模拟算法，动态学习，联系人学习

学习动态是机器学习（ML）的许多重要应用的核心，例如机器人和自主驾驶。在这些设置中，ML算法通常需要推理使用高维观察的物理系统，例如图像，而不访问底层状态。最近，已经提出了几种方法将从经典机制的前沿集成到ML模型中，以解决图像的物理推理的挑战。在这项工作中，我们清醒了这些模型的当前功能。为此，我们介绍一套由17个数据集组成的套件，该数据集基于具有呈现各种动态的物理系统的视觉观测。我们对几种强大的基线进行了彻底的和详细比较了物理启发方法的主要类别。虽然包含物理前沿的模型通常可以学习具有所需特性的潜在空间，但我们的结果表明这些方法无法显着提高标准技术。尽管如此，我们发现使用连续和时间可逆动力学的使用效益所有课程的模型。

过去几年目睹了在深入学习框架中纳入物理知识的归纳偏见的兴趣增加。特别地，越来越多的文献一直在探索实施能节能的方式，同时使用来自观察时间序列数据的神经网络来学习动态的神经网络。在这项工作中，我们调查了最近提出的节能神经网络模型，包括HNN，LNN，DELAN，SYMODEN，CHNN，CLNN及其变体。我们提供了这些模型背后的理论的紧凑级，并解释了他们的相似之处和差异。它们的性能在4个物理系统中进行了比较。我们指出了利用一些这些节能模型来设计基于能量的控制器的可能性。

微弱的物理是计算机视觉和机器人的强大工具，用于了解互动的场景理解和推理。现有方法经常被限于具有预先已知的简单形状或形状的物体。在本文中，我们提出了一种新的方法来具有摩擦触点的可分解物理学，其利用符号距离场（SDF）隐含地表示物理形状。我们的模拟即使涉及的形状为非凸形表示，也支持接触点计算。此外，我们提出了区分对象形状的动力学来利用基于梯度的方法来促进形状优化。在我们的实验中，我们证明我们的方法允许从轨迹和深度图像观察的诸如摩擦系数，质量，力或形状参数的物理参数的基于模型的推断，并且在几个具有挑战性的合成场景和真实图像序列中。

我们描述了更改 - 联系机器人操作任务的框架，要求机器人与对象和表面打破触点。这种任务的不连续交互动态使得难以构建和使用单个动力学模型或控制策略，并且接触变化期间动态的高度非线性性质可能对机器人和物体造成损害。我们提出了一种自适应控制框架，使机器人能够逐步学习以预测更改联系人任务中的接触变化，从而了解了碎片连续系统的交互动态，并使用任务空间可变阻抗控制器提供平滑且精确的轨迹跟踪。我们通过实验比较我们框架的表现，以确定所需的代表性控制方法，以确定我们框架的自适应控制和增量学习组件需要在变化 - 联系机器人操纵任务中存在不连续动态的平稳控制。

具有基于物理的诱导偏见的神经网络，例如拉格朗日神经网络（LNN）和汉密尔顿神经网络（HNN），通过编码强诱导性偏见来学习物理系统的动态。另外，还显示出适当的感应偏见的神经odes具有相似的性能。但是，当这些模型应用于基于粒子的系统时，本质上具有转导性，因此不会推广到大型系统尺寸。在本文中，我们提出了基于图的神经ode gnode，以了解动力学系统的时间演变。此外，我们仔细分析了不同电感偏差对GNODE性能的作用。我们表明，与LNN和HNN类似，对约束进行编码可以显着提高GNODE的训练效率和性能。我们的实验还评估了该模型最终性能的其他归纳偏差（例如纽顿第三定律）的价值。我们证明，诱导这些偏见可以在能量违规和推出误差方面通过数量级来增强模型的性能。有趣的是，我们观察到，经过最有效的电感偏见训练的GNODE，即McGnode，优于LNN和HNN的图形版本，即Lagrangian Graph Networks（LGN）和Hamiltonian Graph网络（HGN）在能量侵犯的方面差异，该图表的差异大约是能量侵犯网络（HGN）摆钟系统的4个数量级，春季系统的数量级约为2个数量级。这些结果表明，可以通过诱导适当的电感偏见来获得基于节点的系统的能源保存神经网络的竞争性能。

Recently, graph neural networks have been gaining a lot of attention to simulate dynamical systems due to their inductive nature leading to zero-shot generalizability. Similarly, physics-informed inductive biases in deep-learning frameworks have been shown to give superior performance in learning the dynamics of physical systems. There is a growing volume of literature that attempts to combine these two approaches. Here, we evaluate the performance of thirteen different graph neural networks, namely, Hamiltonian and Lagrangian graph neural networks, graph neural ODE, and their variants with explicit constraints and different architectures. We briefly explain the theoretical formulation highlighting the similarities and differences in the inductive biases and graph architecture of these systems. We evaluate these models on spring, pendulum, gravitational, and 3D deformable solid systems to compare the performance in terms of rollout error, conserved quantities such as energy and momentum, and generalizability to unseen system sizes. Our study demonstrates that GNNs with additional inductive biases, such as explicit constraints and decoupling of kinetic and potential energies, exhibit significantly enhanced performance. Further, all the physics-informed GNNs exhibit zero-shot generalizability to system sizes an order of magnitude larger than the training system, thus providing a promising route to simulate large-scale realistic systems.

鉴于存在复杂的动力学和大量DOF，由刚性杆和柔性电缆组成的紧张机器人难以准确地建模和控制。最近已经提出了可微分的物理发动机作为数据驱动的方法，用于模型识别此类复杂的机器人系统。这些发动机通常以高频执行以实现准确的模拟。但是，由于现实世界传感器的局限性，通常在如此高的频率下，通常无法在训练可区分发动机的地面真相轨迹。目前的工作着重于此频率不匹配，这会影响建模准确性。我们为紧张的机器人的可区分物理发动机提出了一个经常性结构，即使使用低频轨迹也可以有效地训练。为了以强大的方式训练这款新的经常性引擎，这项工作相对于先前的工作介绍：（i）一种新的隐式集成方案，（ii）渐进式培训管道，以及（iii）可区分的碰撞检查器。 NASA在Mujoco上的Icosahedron Superballbot的模型被用作收集培训数据的地面真实系统。模拟实验表明，一旦对Mujoco的低频轨迹进行了训练，对复发性可区分发动机进行了训练，它就可以匹配Mujoco系统的行为。成功的标准是，是否可以将使用可区分发动机的运动策略传递回地面真相系统，并导致类似的运动。值得注意的是，训练可区分发动机所需的地面真相数据数量，使该政策可以转移到地面真实系统中，是直接在地面真相系统上训练政策所需的数据的1％。

机器人社区在为软机器人设备建模提供的理论工具的复杂程度中看到了指数增长。已经提出了不同的解决方案以克服与软机器人建模相关的困难，通常利用其他科学学科，例如连续式机械和计算机图形。这些理论基础通常被认为是理所当然的，这导致复杂的文献，因此，从未得到完整审查的主题。Withing这种情况下，提交的文件的目标是双重的。突出显示涉及建模技术的不同系列的常见理论根源，采用统一语言，以简化其主要连接和差异的分析。因此，对上市接近自然如下，并最终提供在该领域的主要作品的完整，解开，审查。

动态系统参见在物理，生物学，化学等自然科学中广泛使用，以及电路分析，计算流体动力学和控制等工程学科。对于简单的系统，可以通过应用基本物理法来导出管理动态的微分方程。然而，对于更复杂的系统，这种方法变得非常困难。数据驱动建模是一种替代范式，可以使用真实系统的观察来了解系统的动态的近似值。近年来，对数据驱动的建模技术的兴趣增加，特别是神经网络已被证明提供了解决广泛任务的有效框架。本文提供了使用神经网络构建动态系统模型的不同方式的调查。除了基础概述外，我们还审查了相关的文献，概述了这些建模范式必须克服的数值模拟中最重要的挑战。根据审查的文献和确定的挑战，我们提供了关于有前途的研究领域的讨论。

我们提出了Dojo，这是一种用于机器人技术的可区分物理引擎，优先考虑稳定的模拟，准确的接触物理学以及相对于状态，动作和系统参数的可不同性。Dojo在低样本速率下实现稳定的模拟，并通过使用变异积分器来节省能量和动量。非线性互补性问题，具有用于摩擦的二阶锥体，模型硬接触，并使用自定义的Primal Dual内部点法可靠地解决。使用隐式功能定理利用内点方法的特殊属性，以有效计算通过接触事件提供有用信息的光滑梯度。我们展示了Dojo独特的模拟紧密接触能力，同时提供了许多示例，包括轨迹优化，强化学习和系统识别。

物理信息的神经网络（PINN）是神经网络（NNS），它们作为神经网络本身的组成部分编码模型方程，例如部分微分方程（PDE）。如今，PINN是用于求解PDE，分数方程，积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架，在该框架中，NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述：虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络，这些神经网络构成了香草·皮恩（Vanilla Pinn）以及许多其他变体，例如物理受限的神经网络（PCNN），各种HP-VPINN，变量HP-VPINN，VPINN，VPINN，变体。和保守的Pinn（CPINN）。该研究表明，大多数研究都集中在通过不同的激活功能，梯度优化技术，神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛，但通过证明其在某些情况下比有限元方法（FEM）等经典数值技术更可行的能力，但仍有可能的进步，最著名的是尚未解决的理论问题。

Effective inclusion of physics-based knowledge into deep neural network models of dynamical systems can greatly improve data efficiency and generalization. Such a-priori knowledge might arise from physical principles (e.g., conservation laws) or from the system's design (e.g., the Jacobian matrix of a robot), even if large portions of the system dynamics remain unknown. We develop a framework to learn dynamics models from trajectory data while incorporating a-priori system knowledge as inductive bias. More specifically, the proposed framework uses physics-based side information to inform the structure of the neural network itself, and to place constraints on the values of the outputs and the internal states of the model. It represents the system's vector field as a composition of known and unknown functions, the latter of which are parametrized by neural networks. The physics-informed constraints are enforced via the augmented Lagrangian method during the model's training. We experimentally demonstrate the benefits of the proposed approach on a variety of dynamical systems -- including a benchmark suite of robotics environments featuring large state spaces, non-linear dynamics, external forces, contact forces, and control inputs. By exploiting a-priori system knowledge during training, the proposed approach learns to predict the system dynamics two orders of magnitude more accurately than a baseline approach that does not include prior knowledge, given the same training dataset.

Lagrangian和Hamiltonian神经网络（分别是LNN和HNN）编码强诱导偏见，使它们能够显着优于其他物理系统模型。但是，到目前为止，这些模型大多仅限于简单的系统，例如摆和弹簧或单个刚体的身体，例如陀螺仪或刚性转子。在这里，我们提出了一个拉格朗日图神经网络（LGNN），可以通过利用其拓扑来学习刚体的动态。我们通过学习以刚体为刚体的棒的绳索，链条和桁架的动力学来证明LGNN的性能。 LGNN还表现出普遍性 - 在链条上训练了一些细分市场的LGNN具有概括性，以模拟具有大量链接和任意链路长度的链条。我们还表明，LGNN可以模拟看不见的混合动力系统，包括尚未接受过培训的酒吧和链条。具体而言，我们表明LGNN可用于建模复杂的现实世界结构的动力学，例如紧张结构的稳定性。最后，我们讨论了质量矩阵的非对角性性质及其在复杂系统中概括的能力。

机器人动态的准确模型对于新颖的操作条件安全和稳定控制和概括至关重要。然而，即使在仔细参数调谐后，手工设计的模型也可能是不够准确的。这激励了使用机器学习技术在训练集的状态控制轨迹上近似机器人动力学。根据其SE（3）姿势和广义速度，并满足能量原理的保护，描述了许多机器人的动态，包括地面，天线和水下车辆。本文提出了在神经常规差分方程（ODE）网络结构的SE（3）歧管上的HamiltonIAN制剂，以近似刚体的动态。与黑匣子颂网络相比，我们的配方通过施工保证了总节能。我们为学习的学习，潜在的SE（3）Hamiltonian动力学开发能量整形和阻尼注射控制，以实现具有各种平台的稳定和轨迹跟踪的统一方法，包括摆锤，刚体和四极其系统。

Reasoning about objects, relations, and physics is central to human intelligence, and a key goal of artificial intelligence. Here we introduce the interaction network, a model which can reason about how objects in complex systems interact, supporting dynamical predictions, as well as inferences about the abstract properties of the system. Our model takes graphs as input, performs object-and relation-centric reasoning in a way that is analogous to a simulation, and is implemented using deep neural networks. We evaluate its ability to reason about several challenging physical domains: n-body problems, rigid-body collision, and non-rigid dynamics. Our results show it can be trained to accurately simulate the physical trajectories of dozens of objects over thousands of time steps, estimate abstract quantities such as energy, and generalize automatically to systems with different numbers and configurations of objects and relations. Our interaction network implementation is the first general-purpose, learnable physics engine, and a powerful general framework for reasoning about object and relations in a wide variety of complex real-world domains.

最近，对具有神经网络的物理系统建模和计算的兴趣越来越多。在古典力学中，哈密顿系统是一种优雅而紧凑的形式主义，该动力学由一个标量功能，哈密顿量完全决定。解决方案轨迹通常受到约束，以在线性矢量空间的子序列上进化。在这项工作中，我们提出了新的方法，以准确地逼近其解决方案的示例数据信息的约束机械系统的哈密顿功能。我们通过使用明确的谎言组集成商和其他经典方案来关注学习策略中约束的重要性。

逼真的模拟环境是每个机器人工具包中必不可少的工具，其用途从计划和控制到加强学习的培训政策不等。尽管模拟在现代机器人技术中的中心地位，但几乎没有做过将机器人模拟器的性能与现实世界数据进行比较的工作，尤其是对于涉及具有高速影响事件的动态运动的场景。处理动态接触是大多数模拟的计算瓶颈，因此围绕影响和摩擦的建模和算法选择构成了流行工具之间最大的区别。在这里，我们评估了几个模拟器重现涉及影响的现实世界轨迹的能力。使用实验数据，我们确定流行模拟器Drake，Mujoco和Bullet的系统特定接触参数，分析围绕这些参数进行建模选择的效果。对于扔到桌子上的立方体的简单示例，模拟器捕获了无弹性的影响，同时未能捕获弹性影响。对于跳跃Cassie Biped Landing的较高维度，模拟器可以很好地捕获散装运动，但是精度受到真实机器人和模拟器之间许多模型差异的限制。