由于难以建模彼此的材料颗粒，颗粒材料如沙子或水稻的操纵仍然是一个未解决的挑战。目前的方法倾向于简化材料动态并省略颗粒之间的相互作用。在本文中，我们建议使用基于图形的表示来模拟材料和刚体操纵它的刚体的相互作用动态。这允许规划操纵轨迹以达到材料的所需配置。我们使用图形神经网络（GNN）通过消息传递来模拟粒子交互。为了规划操纵轨迹，我们建议最小化粒状粒子分布和所需配置之间的Wasserstein距离。我们证明，在模拟和实际情况下，该方法能够将粒状材料倒入所需的配置中。

Here we present a machine learning framework and model implementation that can learn to simulate a wide variety of challenging physical domains, involving fluids, rigid solids, and deformable materials interacting with one another. Our framework-which we term "Graph Network-based Simulators" (GNS)-represents the state of a physical system with particles, expressed as nodes in a graph, and computes dynamics via learned message-passing. Our results show that our model can generalize from single-timestep predictions with thousands of particles during training, to different initial conditions, thousands of timesteps, and at least an order of magnitude more particles at test time. Our model was robust to hyperparameter choices across various evaluation metrics: the main determinants of long-term performance were the number of message-passing steps, and mitigating the accumulation of error by corrupting the training data with noise. Our GNS framework advances the state-of-the-art in learned physical simulation, and holds promise for solving a wide range of complex forward and inverse problems.

Simulating rigid collisions among arbitrary shapes is notoriously difficult due to complex geometry and the strong non-linearity of the interactions. While graph neural network (GNN)-based models are effective at learning to simulate complex physical dynamics, such as fluids, cloth and articulated bodies, they have been less effective and efficient on rigid-body physics, except with very simple shapes. Existing methods that model collisions through the meshes' nodes are often inaccurate because they struggle when collisions occur on faces far from nodes. Alternative approaches that represent the geometry densely with many particles are prohibitively expensive for complex shapes. Here we introduce the Face Interaction Graph Network (FIGNet) which extends beyond GNN-based methods, and computes interactions between mesh faces, rather than nodes. Compared to learned node- and particle-based methods, FIGNet is around 4x more accurate in simulating complex shape interactions, while also 8x more computationally efficient on sparse, rigid meshes. Moreover, FIGNet can learn frictional dynamics directly from real-world data, and can be more accurate than analytical solvers given modest amounts of training data. FIGNet represents a key step forward in one of the few remaining physical domains which have seen little competition from learned simulators, and offers allied fields such as robotics, graphics and mechanical design a new tool for simulation and model-based planning.

由于布料的复杂动态，缺乏低维状态表示和自闭合，机器人操纵布的机器人操纵对机器人来说仍然具有挑战性。与以前的基于模型的基于模型的方法形成对比，用于学习基于像素的动态模型或压缩潜伏的潜在载体动态，我们建议从部分点云观察中学习基于粒子的动力学模型。为了克服部分可观察性的挑战，我们推出在底层布料网上连接的可见点。然后，我们通过此可见连接图来学习动态模型。与以往的基于学习的方法相比，我们的模型与其基于粒子的表示具有强烈的感应偏差，用于学习底层布理物理学;它不变于视觉功能;并且预测可以更容易地可视化。我们表明我们的方法极大地优于以前的最先进的模型和无模型加强学习方法在模拟中。此外，我们展示了零拍摄的SIM-to-Real Transfer，在那里我们部署了在法兰卡臂上的模拟中培训的模型，并表明该模型可以从弄皱的配置中成功平滑不同类型的布料。视频可以在我们的项目网站上找到。

在学识表的迅速推进的地区，几乎所有方法都训练了从输入状态直接预测未来状态的前进模型。然而，许多传统的仿真引擎使用基于约束的方法而不是直接预测。这里我们提出了一种基于约束的学习仿真的框架，其中标量约束函数被实现为神经网络，并且将来的预测被计算为在这些学习的约束下的优化问题的解决方案。我们使用图形神经网络作为约束函数和梯度下降作为约束求解器来实现我们的方法。架构可以通过标准的backprojagation培训。我们在各种具有挑战性的物理领域中测试模型，包括模拟绳索，弹跳球，碰撞不规则形状和飞溅液。我们的模型可实现更好或更具可比性的性能，以获得最佳学习的模拟器。我们模型的一个关键优势是能够在测试时间概括到更多求解器迭代，以提高模拟精度。我们还展示了如何在测试时间内添加手工制定的约束，以满足培训数据中不存在的目标，这是不可能的前进方法。我们的约束框架适用于使用前进学习模拟器的任何设置，并演示了学习的模拟器如何利用额外的归纳偏差以及来自数值方法领域的技术。

机器人中的一个重要挑战是了解机器人与由粒状材料组成的可变形地形之间的相互作用。颗粒状流量及其与刚体的互动仍然造成了几个开放的问题。有希望的方向，用于准确，且有效的建模使用的是使用连续体方法。此外，实时物理建模的新方向是利用深度学习。该研究推进了用于对刚性体驱动颗粒流建模的机器学习方法，用于应用于地面工业机器以及空间机器人（重力的效果是一个重要因素的地方）。特别是，该研究考虑了子空间机器学习仿真方法的开发。要生成培训数据集，我们利用我们的高保真连续体方法，材料点法（MPM）。主要成分分析（PCA）用于降低数据的维度。我们表明我们的高维数据的前几个主要组成部分几乎保持了数据的整个方差。培训图形网络模拟器（GNS）以学习底层子空间动态。然后，学习的GNS能够以良好的准确度预测颗粒位置和交互力。更重要的是，PCA在训练和卷展栏中显着提高了GNS的时间和记忆效率。这使得GNS能够使用具有中等VRAM的单个桌面GPU进行培训。这也使GNS实时在大规模3D物理配置（比我们的连续方法快700倍）。

基于粒子的系统提供了一种灵活而统一的方法，可以模拟具有复杂动力学的物理系统。大多数现有的基于粒子系统的数据驱动的模拟器采用图形神经网络（GNN）作为网络骨架，因为粒子及其相互作用可以由图节点和图形边缘自然表示。但是，虽然基于粒子的系统通常包含数百千个颗粒，但由于粒子相互作用的数量增加，粒子相互作用的显式建模不可避免地会导致显着的计算开销。因此，在本文中，我们提出了一种基于变压器的新型方法，称为具有隐式边缘（TIE）的变压器，以无边缘方式捕获粒子相互作用的丰富语义。领带的核心思想是将涉及涉及配对粒子相互作用的计算分散到每个颗粒更新中。这是通过调整自我发项式模块以类似于GNN中图表的更新公式来实现的。为了提高领带的概括能力，我们进一步修改了可学习的特定材料的抽象粒子，以将全球材料的语义与本地粒子语义分开。我们评估了不同复杂性和材料不同领域的模型。与现有的基于GNN的方法相比，没有铃铛和哨子，TIE可以在所有这些领域中实现卓越的性能和概括。代码和模型可在https://github.com/ftbabi/tie_eccv2022.git上找到。

机器人对高度可变形的布的操纵提供了一个有前途的机会，可以帮助人们完成几项日常任务，例如洗碗；折叠洗衣；或针对患有严重运动障碍的人的敷料，沐浴和卫生援助。在这项工作中，我们介绍了一种公式，该公式使协作机器人能够用布做出视觉触觉推理，这是在物理互动过程中推断应用力的位置和大小的行为。我们提出了两种不同的模型表示，并在物理模拟中训练，它们仅使用视觉和机器人运动学观测来实现触觉推理。我们对这些模型进行了定量评估，以模拟机器人辅助的调味料，沐浴和洗碗任务，并证明训练有素的模型可以通过不同的相互作用，人体大小和物体形状跨越不同的任务。我们还通过现实世界中的移动操纵器提出了结果，该操作器使用我们的模拟训练模型来估计应用接触力，同时用布料执行物理辅助任务。可以在我们的项目网页上找到视频。

Recently, graph neural networks have been gaining a lot of attention to simulate dynamical systems due to their inductive nature leading to zero-shot generalizability. Similarly, physics-informed inductive biases in deep-learning frameworks have been shown to give superior performance in learning the dynamics of physical systems. There is a growing volume of literature that attempts to combine these two approaches. Here, we evaluate the performance of thirteen different graph neural networks, namely, Hamiltonian and Lagrangian graph neural networks, graph neural ODE, and their variants with explicit constraints and different architectures. We briefly explain the theoretical formulation highlighting the similarities and differences in the inductive biases and graph architecture of these systems. We evaluate these models on spring, pendulum, gravitational, and 3D deformable solid systems to compare the performance in terms of rollout error, conserved quantities such as energy and momentum, and generalizability to unseen system sizes. Our study demonstrates that GNNs with additional inductive biases, such as explicit constraints and decoupling of kinetic and potential energies, exhibit significantly enhanced performance. Further, all the physics-informed GNNs exhibit zero-shot generalizability to system sizes an order of magnitude larger than the training system, thus providing a promising route to simulate large-scale realistic systems.

Lagrangian和Hamiltonian神经网络（分别是LNN和HNN）编码强诱导偏见，使它们能够显着优于其他物理系统模型。但是，到目前为止，这些模型大多仅限于简单的系统，例如摆和弹簧或单个刚体的身体，例如陀螺仪或刚性转子。在这里，我们提出了一个拉格朗日图神经网络（LGNN），可以通过利用其拓扑来学习刚体的动态。我们通过学习以刚体为刚体的棒的绳索，链条和桁架的动力学来证明LGNN的性能。 LGNN还表现出普遍性 - 在链条上训练了一些细分市场的LGNN具有概括性，以模拟具有大量链接和任意链路长度的链条。我们还表明，LGNN可以模拟看不见的混合动力系统，包括尚未接受过培训的酒吧和链条。具体而言，我们表明LGNN可用于建模复杂的现实世界结构的动力学，例如紧张结构的稳定性。最后，我们讨论了质量矩阵的非对角性性质及其在复杂系统中概括的能力。

与纺织品（例如辅助敷料）的物理互动依赖于先进的灵巧能力。拉扯和拉伸时纺织行为的潜在复杂性是由于纱线材料特性和纺织品构造技术所致。如今，还没有采用和注释的数据集评估各种交互或属性识别方法。影响这种相互作用的一种重要特性是材料弹性是由纱线材料和构造技术引起的：这两个是交织在一起的，如果不知道A-Priori，几乎无法通过在机器人平台上使用常见的传感来识别。我们介绍了弹性环境（EC），该概念集成了影响弹性行为的各种属性，以使其与纺织品进行更有效的物理互动。 EC的定义依赖于纺织工程中常用的压力/应变曲线，我们为机器人应用重新制定了压力/应变曲线。我们使用图形神经网络（GNN）使用EC来学习纺织品的通用弹性行为。此外，我们探讨了EC对非线性现实世界弹性行为的准确力量建模的影响，从而强调了当前机器人设置以感知纺织特性的挑战。

分子动力学（MD）模拟是各种科学领域的主力，但受到高计算成本的限制。基于学习的力场在加速AB-Initio MD模拟方面取得了重大进展，但对于许多需要长期MD仿真的现实世界应用程序仍然不够快。在本文中，我们采用了一种不同的机器学习方法，使用图形群集将物理系统粗糙化，并使用图形神经网络使用非常大的时间整合步骤对系统演变进行建模。一个新型的基于分数的GNN改进模块解决了长期模拟不稳定性的长期挑战。尽管仅接受了简短的MD轨迹数据训练，但我们学到的模拟器仍可以推广到看不见的新型系统，并比训练轨迹更长的时间。需要10-100 ns级的长时间动力学的属性可以在多个刻度级的速度上准确恢复，而不是经典的力场。我们证明了方法对两个现实的复杂系统的有效性：（1）隐式溶剂中的单链粗粒聚合物； （2）多组分锂离子聚合物电解质系统。

自我咬合对于布料操纵而具有挑战性，因为这使得很难估计布的全部状态。理想情况下，试图展开弄皱或折叠的布的机器人应该能够对布的遮挡区域进行推理。我们利用姿势估计的最新进展来构建一种使用明确的遮挡推理来展开皱巴布的系统的系统。具体来说，我们首先学习一个模型来重建布的网格。但是，由于布构型的复杂性以及遮挡的歧义，该模型可能会出现错误。我们的主要见解是，我们可以通过进行自我监督的损失进行测试时间填充来进一步完善预测的重建。获得的重建网格使我们能够在推理遮挡的同时使用基于网格的动力学模型来计划。我们在布料上和布料规范化上评估了系统，其目的是将布操作成典型的姿势。我们的实验表明，我们的方法显着优于未明确解释闭塞或执行测试时间优化的先验方法。可以在我们的$ \ href {https://sites.google.com/view/occlusion-reason/home/home} {\ text {project {project {project}}}上找到视频和可视化。

The abundance of data has given machine learning considerable momentum in natural sciences and engineering, though modeling of physical processes is often difficult. A particularly tough problem is the efficient representation of geometric boundaries. Triangularized geometric boundaries are well understood and ubiquitous in engineering applications. However, it is notoriously difficult to integrate them into machine learning approaches due to their heterogeneity with respect to size and orientation. In this work, we introduce an effective theory to model particle-boundary interactions, which leads to our new Boundary Graph Neural Networks (BGNNs) that dynamically modify graph structures to obey boundary conditions. The new BGNNs are tested on complex 3D granular flow processes of hoppers, rotating drums and mixers, which are all standard components of modern industrial machinery but still have complicated geometry. BGNNs are evaluated in terms of computational efficiency as well as prediction accuracy of particle flows and mixing entropies. BGNNs are able to accurately reproduce 3D granular flows within simulation uncertainties over hundreds of thousands of simulation timesteps. Most notably, in our experiments, particles stay within the geometric objects without using handcrafted conditions or restrictions.

模块化机器人可以在每天重新排列到新设计中，通过为每项新任务形成定制机器人来处理各种各样的任务。但是，重新配置的机制是不够的：每个设计还需要自己独特的控制策略。人们可以从头开始为每个新设计制作一个政策，但这种方法不可扩展，特别是给出了甚至一小组模块可以生成的大量设计。相反，我们创建了一个模块化策略框架，策略结构在硬件排列上有调节，并仅使用一个培训过程来创建控制各种设计的策略。我们的方法利用了模块化机器人的运动学可以表示为设计图，其中节点作为模块和边缘作为它们之间的连接。给定机器人，它的设计图用于创建具有相同结构的策略图，其中每个节点包含一个深神经网络，以及通过共享参数的相同类型共享知识的模块（例如，Hexapod上的所有腿都相同网络参数）。我们开发了一种基于模型的强化学习算法，交织模型学习和轨迹优化，以培训策略。我们展示了模块化政策推广到培训期间没有看到的大量设计，没有任何额外的学习。最后，我们展示了与模拟和真实机器人一起控制各种设计的政策。

Interacting systems are prevalent in nature, from dynamical systems in physics to complex societal dynamics. The interplay of components can give rise to complex behavior, which can often be explained using a simple model of the system's constituent parts. In this work, we introduce the neural relational inference (NRI) model: an unsupervised model that learns to infer interactions while simultaneously learning the dynamics purely from observational data. Our model takes the form of a variational auto-encoder, in which the latent code represents the underlying interaction graph and the reconstruction is based on graph neural networks. In experiments on simulated physical systems, we show that our NRI model can accurately recover ground-truth interactions in an unsupervised manner. We further demonstrate that we can find an interpretable structure and predict complex dynamics in real motion capture and sports tracking data.

我们提出了一种从基于隐式对象编码器，神经辐射字段（NERFS）和图神经网络的图像观测值中学习组成多对象动力学模型的方法。由于其强大的3D先验，NERF已成为代表场景的流行选择。但是，大多数NERF方法都在单个场景上进行了训练，以全球模型代表整个场景，从而对新型场景进行概括，其中包含不同数量的对象，具有挑战性。取而代之的是，我们提出了一个以对象为中心的自动编码器框架，该框架将场景的多个视图映射到一组分别表示每个对象的潜在向量。潜在矢量参数化可以从中重建场景的单个nerf。基于那些潜在向量，我们在潜在空间中训练图形神经网络动力学模型，以实现动力学预测的组成性。我们方法的一个关键特征是，潜在向量被迫通过NERF解码器编码3D信息，这使我们能够在学习动力学模型中纳入结构先验，从而使长期预测与多个基线相比更加稳定。模拟和现实世界的实验表明，我们的方法可以建模和学习构图场景的动态，包括刚性和可变形对象。视频：https：//dannydriess.github.io/compnerfdyn/

在这项工作中，我们提出了一个端到端的图形网络，其使用可解释的电感偏差来学习粒子基物理学的前进和逆模型。物理知识的神经网络通常通过特定于问题的正则化和损失功能来解决特定问题。这种显式学习偏置网络以学习数据特定模式，并且可能需要在特此限制其Generalizabiliy的丢失功能或神经网络架构的变化。虽然最近的研究已经提出了图形网络来研究前瞻性动态，但它们依赖于粒子特定参数，例如质量等。我们的图形网络通过学习来隐含地偏见，以解决多项任务，从而在任务之间共享表示，以便学习前向动态以及推断未知粒子特定属性的概率分布。我们在一步的下一个状态预测任务上评估了我们的方法，这些任务跨越具有不同粒子交互的不同数据集。我们对相关数据驱动物理学学习方法的比较揭示了我们的模型能够预测至少一种更高的准确度的前向动态。我们还表明，我们的方法能够使用较少的样本的数量令恢复未知物理参数的多模态概率分布。

物理系统通常表示为粒子的组合，即控制系统动力学的个体动力学。但是，传统方法需要了解几个抽象数量的知识，例如推断这些颗粒动力学的能量或力量。在这里，我们提出了一个框架，即拉格朗日图神经网络（LGNN），它提供了强烈的感应偏见，可以直接从轨迹中学习基于粒子系统的拉格朗日。我们在具有约束和阻力的挑战系统上测试我们的方法 - LGNN优于诸如前馈拉格朗日神经网络（LNN）等基线，其性能提高。我们还通过模拟系统模拟系统的两个数量级比受过训练的一个数量级和混合系统大的数量级来显示系统的零弹性通用性，这些数量级是一个独特的功能。与LNN相比，LGNN的图形体系结构显着简化了学习，其性能在少量少量数据上的性能高25倍。最后，我们显示了LGNN的解释性，该解释性直接提供了对模型学到的阻力和约束力的物理见解。因此，LGNN可以为理解物理系统的动力学提供纯粹的填充，这纯粹是从可观察的数量中。

离散脱位动力学（DDD）是一种广泛使用的计算方法，用于研究中尺度上的可塑性，将位错线的运动与晶体材料的宏观响应联系起来。但是，DDD模拟的计算成本仍然是限制其适用性范围的瓶颈。在这里，我们介绍了一个新的DDD-GNN框架，其中昂贵的位错运动的时间整合完全被培训的DDD轨迹训练的图神经网络（GNN）模型代替。作为第一个应用，我们在简单但相关的位错线模型上滑行障碍森林的简单但相关的模型，证明了我们方法的可行性和潜力。我们表明，DDD-GNN模型是稳定的，并且对一系列紧张的速率和障碍物密度的重现，无需在时间整合过程中明确计算淋巴结或脱位迁移率。我们的方法开放了新的有前途的途径，以加速DDD模拟并结合更复杂的脱位运动行为。