合并适当的归纳偏差在从数据的学习动态中发挥着关键作用。通过将拉格朗日或哈密顿的动态编码到神经网络架构中，越来越多的工作已经探索了在学习动态中实施节能的方法。这些现有方法基于微分方程，其不允许州中的不连续性，从而限制了一个人可以学习的系统。然而，实际上，大多数物理系统，例如腿机器人和机器人操纵器，涉及联系和碰撞，这在各州引入了不连续性。在本文中，我们介绍了一种可微分的接触型号，可以捕获接触机械：无摩擦/摩擦，以及弹性/无弹性。该模型还可以适应不等式约束，例如关节角度的限制。拟议的联系模式通过允许同时学习联系和系统性质来扩展拉格朗日和哈密顿神经网络的范围。我们在具有不同恢复系数和摩擦系数的一系列具有挑战性的2D和3D物理系统上展示了这一框架。学习的动态可以用作用于下游梯度的优化任务的可分解物理模拟器，例如规划和控制。

过去几年目睹了在深入学习框架中纳入物理知识的归纳偏见的兴趣增加。特别地，越来越多的文献一直在探索实施能节能的方式，同时使用来自观察时间序列数据的神经网络来学习动态的神经网络。在这项工作中，我们调查了最近提出的节能神经网络模型，包括HNN，LNN，DELAN，SYMODEN，CHNN，CLNN及其变体。我们提供了这些模型背后的理论的紧凑级，并解释了他们的相似之处和差异。它们的性能在4个物理系统中进行了比较。我们指出了利用一些这些节能模型来设计基于能量的控制器的可能性。

学习包括不同对象之间接触的动态系统的物理结构化表示是机器人技术中基于学习的方法的重要问题。黑盒神经网络可以学会大致表示不连续的动态，但是它们通常需要大量数据，并且在预测更长的时间范围时通常会遭受病理行为。在这项工作中，我们使用深层神经网络和微分方程之间的连接来设计一个深网架构家族，以表示对象之间的接触动态。我们表明，这些网络可以从传统上难以实现黑盒方法和最近启发的神经网络的设置中的嘈杂的观察结果中以数据效率的方式学习不连续的联系事件。我们的结果表明，一种理想化的触摸反馈形式（由生物系统严重依赖）是使这一学习问题可以解决的关键组成部分。加上通过网络体系结构引入的电感偏差，我们的技术可以从观测值中准确学习接触动力学。

布模拟在计算机动画，服装设计和机器人辅助敷料中具有广泛的应用。这项工作提出了一个可区分的布模拟器，其附加梯度信息促进了与布相关的应用。我们可区分的模拟器扩展了基于投影动力学（PD）和干摩擦接触的最先进的布模拟器。我们从以前的工作中汲取灵感，提出了一种快速新颖的方法，用于通过干摩擦接触在基于PD的布模拟中得出梯度。此外，我们对富含接触的布模拟中梯度的实用性进行了全面的分析和评估。最后，我们证明了模拟器在许多下游应用中的功效，包括系统识别，辅助调味料的轨迹优化，闭环控制，逆设计和实际降低SIM转移。我们观察到通过使用我们的梯度信息来求解大多数这些应用程序获得的大幅加速。

准确地对现实世界进行建模接触行为，对于现有的刚体物理模拟器而言，近刚毛的材料仍然是一个巨大的挑战。本文介绍了一个数据增强的接触模型，该模型将分析解决方案与观察到的数据结合在一起，以预测3D接触脉冲，这可能会导致刚体在各个方向上弹跳，滑动或旋转。我们的方法通过从观察到的数据中学习接触行为来增强标准库仑接触模型的表现力，同时尽可能保留基本的接触约束。例如，对分类器进行了训练，以近似静态摩擦和动态摩擦之间的过渡，而在碰撞过程中的非渗透约束在分析中执行。我们的方法计算整个刚体的触点的汇总效果，而不是分别预测每个接触点的接触力，而保持相同的模拟速度，而与接触点的数量增加了详细的几何形状。补充视频：https：//shorturl.at/eilwx关键字：物理模拟算法，动态学习，联系人学习

微弱的物理是计算机视觉和机器人的强大工具，用于了解互动的场景理解和推理。现有方法经常被限于具有预先已知的简单形状或形状的物体。在本文中，我们提出了一种新的方法来具有摩擦触点的可分解物理学，其利用符号距离场（SDF）隐含地表示物理形状。我们的模拟即使涉及的形状为非凸形表示，也支持接触点计算。此外，我们提出了区分对象形状的动力学来利用基于梯度的方法来促进形状优化。在我们的实验中，我们证明我们的方法允许从轨迹和深度图像观察的诸如摩擦系数，质量，力或形状参数的物理参数的基于模型的推断，并且在几个具有挑战性的合成场景和真实图像序列中。

我们提出了Dojo，这是一种用于机器人技术的可区分物理引擎，优先考虑稳定的模拟，准确的接触物理学以及相对于状态，动作和系统参数的可不同性。Dojo在低样本速率下实现稳定的模拟，并通过使用变异积分器来节省能量和动量。非线性互补性问题，具有用于摩擦的二阶锥体，模型硬接触，并使用自定义的Primal Dual内部点法可靠地解决。使用隐式功能定理利用内点方法的特殊属性，以有效计算通过接触事件提供有用信息的光滑梯度。我们展示了Dojo独特的模拟紧密接触能力，同时提供了许多示例，包括轨迹优化，强化学习和系统识别。

用神经网络对物理系统的动力学建模的最新方法强制执行拉格朗日式或哈密顿结构，以改善预测和泛化。但是，当将坐标嵌入高维数据（例如图像）中时，这些方法要么失去解释性，要么只能应用于一个特定示例。我们介绍了一种新的无监督神经网络模型，该模型从图像中学习拉格朗日动态，并具有受益于预测和控制的解释性。该模型在广义坐标上渗透Lagrangian动力学，这些动力学是通过坐标感知的变异自动编码器（VAE）同时学习的。 VAE旨在说明由飞机中多个刚体组成的物理系统的几何形状。通过推断可解释的拉格朗日动力学，该模型学习了物理系统属性，例如动力学和势能，从而可以长期预测图像空间中的动力学和基于能量控制器的合成。

通常，地形几何形状是非平滑的，非线性的，非凸的，如果通过以机器人为中心的视觉单元感知，则似乎部分被遮住且嘈杂。这项工作介绍了能够实时处理上述问题的完整控制管道。我们制定了一个轨迹优化问题，该问题可以在基本姿势和立足点上共同优化，但要遵守高度图。为了避免收敛到不良的本地Optima，我们部署了逐步的优化技术。我们嵌入了一个紧凑的接触式自由稳定性标准，该标准与非平板地面公式兼容。直接搭配用作转录方法，导致一个非线性优化问题，可以在少于十毫秒内在线解决。为了在存在外部干扰的情况下增加鲁棒性，我们用动量观察者关闭跟踪环。我们的实验证明了爬楼梯，踏上垫脚石上的楼梯，并利用各种动态步态在缝隙上。

机器人动态的准确模型对于新颖的操作条件安全和稳定控制和概括至关重要。然而，即使在仔细参数调谐后，手工设计的模型也可能是不够准确的。这激励了使用机器学习技术在训练集的状态控制轨迹上近似机器人动力学。根据其SE（3）姿势和广义速度，并满足能量原理的保护，描述了许多机器人的动态，包括地面，天线和水下车辆。本文提出了在神经常规差分方程（ODE）网络结构的SE（3）歧管上的HamiltonIAN制剂，以近似刚体的动态。与黑匣子颂网络相比，我们的配方通过施工保证了总节能。我们为学习的学习，潜在的SE（3）Hamiltonian动力学开发能量整形和阻尼注射控制，以实现具有各种平台的稳定和轨迹跟踪的统一方法，包括摆锤，刚体和四极其系统。

我们提出了一个新型的多体动力学仿真框架，该框架可以有效地处理较大的维度和互补性多接触条件。典型的接触模拟方法执行接触式脉冲级的固定点迭代（IL-FPI），该迭代具有高度的矩阵反转和乘法以及对不良条件接触情况的敏感性。为了避免这种情况，我们提出了一个基于速​​度级固定点迭代（VL-FPI）的新颖框架，该迭代通过利用特定的替代动力学和接触淋巴结（带有虚拟节点），它不仅可以实现互联网脱钩，而且可以实现他们的轴间轴解耦合（即接触对角线化）。然后，这使我们能够在每个VL-FPI迭代环过程中单次/并行解决接触问题，而替代动态结构使我们能够规避大型/密度矩阵反转/乘法，从而显着加快了仿真的加快。有改进的收敛属性的时间。从理论上讲，我们的框架解决方案与原始问题的解决方案是一致的，进一步阐明了我们提出的求解器收敛的数学条件。我们提出的仿真框架的性能和性能也得到了证明，并针对包括可变形物体在内的各种大维/多接触场景进行了实验验证。

We present a differentiable formulation of rigid-body contact dynamics for objects and robots represented as compositions of convex primitives. Existing optimization-based approaches simulating contact between convex primitives rely on a bilevel formulation that separates collision detection and contact simulation. These approaches are unreliable in realistic contact simulation scenarios because isolating the collision detection problem introduces contact location non-uniqueness. Our approach combines contact simulation and collision detection into a unified single-level optimization problem. This disambiguates the collision detection problem in a physics-informed manner. Compared to previous differentiable simulation approaches, our formulation features improved simulation robustness and a reduction in computational complexity by more than an order of magnitude. We illustrate the contact and collision differentiability on a robotic manipulation task requiring optimization-through-contact. We provide a numerically efficient implementation of our formulation in the Julia language called Silico.jl.

在粗糙的地形上的动态运动需要准确的脚部放置，避免碰撞以及系统的动态不足的计划。在存在不完美且常常不完整的感知信息的情况下，可靠地优化此类动作和互动是具有挑战性的。我们提出了一个完整的感知，计划和控制管道，可以实时优化机器人所有自由度的动作。为了减轻地形所带来的数值挑战，凸出不平等约束的顺序被提取为立足性可行性的局部近似值，并嵌入到在线模型预测控制器中。每个高程映射预先计算了步骤性分类，平面分割和签名的距离场，以最大程度地减少优化过程中的计算工作。多次射击，实时迭代和基于滤波器的线路搜索的组合用于可靠地以高速率解决该法式问题。我们在模拟中的间隙，斜率和踏上石头的情况下验证了所提出的方法，并在Anymal四倍的平台上进行实验，从而实现了最新的动态攀登。

逼真的模拟环境是每个机器人工具包中必不可少的工具，其用途从计划和控制到加强学习的培训政策不等。尽管模拟在现代机器人技术中的中心地位，但几乎没有做过将机器人模拟器的性能与现实世界数据进行比较的工作，尤其是对于涉及具有高速影响事件的动态运动的场景。处理动态接触是大多数模拟的计算瓶颈，因此围绕影响和摩擦的建模和算法选择构成了流行工具之间最大的区别。在这里，我们评估了几个模拟器重现涉及影响的现实世界轨迹的能力。使用实验数据，我们确定流行模拟器Drake，Mujoco和Bullet的系统特定接触参数，分析围绕这些参数进行建模选择的效果。对于扔到桌子上的立方体的简单示例，模拟器捕获了无弹性的影响，同时未能捕获弹性影响。对于跳跃Cassie Biped Landing的较高维度，模拟器可以很好地捕获散装运动，但是精度受到真实机器人和模拟器之间许多模型差异的限制。

该论文提出了一个计划者，以使用质心动力学和人形机器人的完整运动学来产生步行轨迹。机器人与行走表面之间的相互作用是通过新条件明确建模的，即\ emph {动态互补性约束}。该方法不需要预定义的接触序列，并自动生成脚步。我们通过一组任务来表征机器人控制目标，并通过解决最佳控制问题来解决它。我们表明，可以通过指定最小的参考集，例如恒定所需的质量速度中心和地面上的参考点来自动实现行走运动。此外，我们分析了接触模型选择如何影响计算时间。我们通过为人形机器人ICUB生成和测试步行轨迹来验证该方法。

鉴于存在复杂的动力学和大量DOF，由刚性杆和柔性电缆组成的紧张机器人难以准确地建模和控制。最近已经提出了可微分的物理发动机作为数据驱动的方法，用于模型识别此类复杂的机器人系统。这些发动机通常以高频执行以实现准确的模拟。但是，由于现实世界传感器的局限性，通常在如此高的频率下，通常无法在训练可区分发动机的地面真相轨迹。目前的工作着重于此频率不匹配，这会影响建模准确性。我们为紧张的机器人的可区分物理发动机提出了一个经常性结构，即使使用低频轨迹也可以有效地训练。为了以强大的方式训练这款新的经常性引擎，这项工作相对于先前的工作介绍：（i）一种新的隐式集成方案，（ii）渐进式培训管道，以及（iii）可区分的碰撞检查器。 NASA在Mujoco上的Icosahedron Superballbot的模型被用作收集培训数据的地面真实系统。模拟实验表明，一旦对Mujoco的低频轨迹进行了训练，对复发性可区分发动机进行了训练，它就可以匹配Mujoco系统的行为。成功的标准是，是否可以将使用可区分发动机的运动策略传递回地面真相系统，并导致类似的运动。值得注意的是，训练可区分发动机所需的地面真相数据数量，使该政策可以转移到地面真实系统中，是直接在地面真相系统上训练政策所需的数据的1％。

在许多现实世界中，当不二维测量值时，可能会提供自由旋转3D刚体（例如卫星）的图像观察。但是，图像数据的高维度排除了学习动力学和缺乏解释性的使用，从而降低了标准深度学习方法的有用性。在这项工作中，我们提出了一个物理知识的神经网络模型，以估计和预测图像序列中的3D旋转动力学。我们使用多阶段预测管道实现了这一目标，该管道将单个图像映射到潜在表示同构为$ \ Mathbf {so}（3）$，从潜在对计算角速度，并使用Hamiltonian Motion使用Hamiltonian运动方程来预测未来的潜在状态博学的哈密顿人的代表。我们证明了方法对新的旋转刚体数据集的功效，该数据集具有旋转立方体和矩形棱镜序列，并具有均匀且不均匀的密度。

学习动态是机器学习（ML）的许多重要应用的核心，例如机器人和自主驾驶。在这些设置中，ML算法通常需要推理使用高维观察的物理系统，例如图像，而不访问底层状态。最近，已经提出了几种方法将从经典机制的前沿集成到ML模型中，以解决图像的物理推理的挑战。在这项工作中，我们清醒了这些模型的当前功能。为此，我们介绍一套由17个数据集组成的套件，该数据集基于具有呈现各种动态的物理系统的视觉观测。我们对几种强大的基线进行了彻底的和详细比较了物理启发方法的主要类别。虽然包含物理前沿的模型通常可以学习具有所需特性的潜在空间，但我们的结果表明这些方法无法显着提高标准技术。尽管如此，我们发现使用连续和时间可逆动力学的使用效益所有课程的模型。

我们提出了一种新颖有效的提升方法，以最佳控制与触点的刚体系统的最佳控制，以改善牛顿型方法的收敛性。为了放宽高非线性，我们将状态，加速度，接触力和控制输入扭矩视为优化变量以及接触框架上的逆动力学和加速约束作为平等约束。我们以有效的方式消除了在每个牛顿型迭代中求解的线性方程中的加速度，接触力及其双重变量的更新。结果，牛顿型迭代的计算成本几乎与传统的非牛顿式迭代迭代相同，该牛顿型迭代嵌入了状态方程中的接触动力学。我们对在内部方法中考虑的摩擦锥约束的各种四足步步态的全身最佳控制进行了数值实验，并证明所提出的方法可以将收敛速度显着提高到超过两倍以上的常规非额定速度的两倍以上方法。

在腿部机器人技术中，计划和执行敏捷的机动演习一直是一个长期的挑战。它需要实时得出运动计划和本地反馈政策，以处理动力学动量的非物质。为此，我们提出了一个混合预测控制器，该控制器考虑了机器人的致动界限和全身动力学。它将反馈政策与触觉信息相结合，以在本地预测未来的行动。由于采用可行性驱动的方法，它在几毫秒内收敛。我们的预测控制器使Anymal机器人能够在现实的场景中生成敏捷操作。关键要素是跟踪本地反馈策略，因为与全身控制相反，它们达到了所需的角动量。据我们所知，我们的预测控制器是第一个处理驱动限制，生成敏捷的机动操作以及执行低级扭矩控制的最佳反馈策略，而无需使用单独的全身控制器。