具有基于物理的诱导偏见的神经网络，例如拉格朗日神经网络（LNN）和汉密尔顿神经网络（HNN），通过编码强诱导性偏见来学习物理系统的动态。另外，还显示出适当的感应偏见的神经odes具有相似的性能。但是，当这些模型应用于基于粒子的系统时，本质上具有转导性，因此不会推广到大型系统尺寸。在本文中，我们提出了基于图的神经ode gnode，以了解动力学系统的时间演变。此外，我们仔细分析了不同电感偏差对GNODE性能的作用。我们表明，与LNN和HNN类似，对约束进行编码可以显着提高GNODE的训练效率和性能。我们的实验还评估了该模型最终性能的其他归纳偏差（例如纽顿第三定律）的价值。我们证明，诱导这些偏见可以在能量违规和推出误差方面通过数量级来增强模型的性能。有趣的是，我们观察到，经过最有效的电感偏见训练的GNODE，即McGnode，优于LNN和HNN的图形版本，即Lagrangian Graph Networks（LGN）和Hamiltonian Graph网络（HGN）在能量侵犯的方面差异，该图表的差异大约是能量侵犯网络（HGN）摆钟系统的4个数量级，春季系统的数量级约为2个数量级。这些结果表明，可以通过诱导适当的电感偏见来获得基于节点的系统的能源保存神经网络的竞争性能。

物理系统通常表示为粒子的组合，即控制系统动力学的个体动力学。但是，传统方法需要了解几个抽象数量的知识，例如推断这些颗粒动力学的能量或力量。在这里，我们提出了一个框架，即拉格朗日图神经网络（LGNN），它提供了强烈的感应偏见，可以直接从轨迹中学习基于粒子系统的拉格朗日。我们在具有约束和阻力的挑战系统上测试我们的方法 - LGNN优于诸如前馈拉格朗日神经网络（LNN）等基线，其性能提高。我们还通过模拟系统模拟系统的两个数量级比受过训练的一个数量级和混合系统大的数量级来显示系统的零弹性通用性，这些数量级是一个独特的功能。与LNN相比，LGNN的图形体系结构显着简化了学习，其性能在少量少量数据上的性能高25倍。最后，我们显示了LGNN的解释性，该解释性直接提供了对模型学到的阻力和约束力的物理见解。因此，LGNN可以为理解物理系统的动力学提供纯粹的填充，这纯粹是从可观察的数量中。

Recently, graph neural networks have been gaining a lot of attention to simulate dynamical systems due to their inductive nature leading to zero-shot generalizability. Similarly, physics-informed inductive biases in deep-learning frameworks have been shown to give superior performance in learning the dynamics of physical systems. There is a growing volume of literature that attempts to combine these two approaches. Here, we evaluate the performance of thirteen different graph neural networks, namely, Hamiltonian and Lagrangian graph neural networks, graph neural ODE, and their variants with explicit constraints and different architectures. We briefly explain the theoretical formulation highlighting the similarities and differences in the inductive biases and graph architecture of these systems. We evaluate these models on spring, pendulum, gravitational, and 3D deformable solid systems to compare the performance in terms of rollout error, conserved quantities such as energy and momentum, and generalizability to unseen system sizes. Our study demonstrates that GNNs with additional inductive biases, such as explicit constraints and decoupling of kinetic and potential energies, exhibit significantly enhanced performance. Further, all the physics-informed GNNs exhibit zero-shot generalizability to system sizes an order of magnitude larger than the training system, thus providing a promising route to simulate large-scale realistic systems.

Lagrangian和Hamiltonian神经网络（分别是LNN和HNN）编码强诱导偏见，使它们能够显着优于其他物理系统模型。但是，到目前为止，这些模型大多仅限于简单的系统，例如摆和弹簧或单个刚体的身体，例如陀螺仪或刚性转子。在这里，我们提出了一个拉格朗日图神经网络（LGNN），可以通过利用其拓扑来学习刚体的动态。我们通过学习以刚体为刚体的棒的绳索，链条和桁架的动力学来证明LGNN的性能。 LGNN还表现出普遍性 - 在链条上训练了一些细分市场的LGNN具有概括性，以模拟具有大量链接和任意链路长度的链条。我们还表明，LGNN可以模拟看不见的混合动力系统，包括尚未接受过培训的酒吧和链条。具体而言，我们表明LGNN可用于建模复杂的现实世界结构的动力学，例如紧张结构的稳定性。最后，我们讨论了质量矩阵的非对角性性质及其在复杂系统中概括的能力。

过去几年目睹了在深入学习框架中纳入物理知识的归纳偏见的兴趣增加。特别地，越来越多的文献一直在探索实施能节能的方式，同时使用来自观察时间序列数据的神经网络来学习动态的神经网络。在这项工作中，我们调查了最近提出的节能神经网络模型，包括HNN，LNN，DELAN，SYMODEN，CHNN，CLNN及其变体。我们提供了这些模型背后的理论的紧凑级，并解释了他们的相似之处和差异。它们的性能在4个物理系统中进行了比较。我们指出了利用一些这些节能模型来设计基于能量的控制器的可能性。

相互作用的粒子系统在科学和工程中起着关键作用。访问管理粒子相互作用定律是对此类系统的完整理解至关重要的。但是，固有的系统复杂性使粒子相互作用在许多情况下隐藏了。机器学习方法有可能通过将实验与数据分析方法相结合来学习相互作用的粒子系统的行为。但是，大多数现有的算法都集中在学习粒子水平的动力学上。学习成对相互作用，例如成对力或成对势能，仍然是一个开放的挑战。在这里，我们提出了一种适应图网络框架的算法，该算法包含一个边缘零件，以学习成对相互作用和节点部分，以在粒子级别对动力学进行建模。与在两个部分中使用神经网络的现有方法不同，我们在节点部分中设计了确定性操作员，该方法允许精确推断出与基本物理定律一致的成对相互作用，仅通过训​​练以预测粒子加速度。我们在多个数据集上测试了所提出的方法，并证明它在正确推断成对相互作用的同时也与所有数据集上的基础物理学一致，在正确推断成对相互作用方面取得了出色的性能。所提出的框架可扩展到较大的系统，并可以转移到任何类型的粒子相互作用。开发的方法可以支持对潜在粒子相互作用定律的更好理解和发现，从而指导具有目标特性的材料的设计。

Here we present a machine learning framework and model implementation that can learn to simulate a wide variety of challenging physical domains, involving fluids, rigid solids, and deformable materials interacting with one another. Our framework-which we term "Graph Network-based Simulators" (GNS)-represents the state of a physical system with particles, expressed as nodes in a graph, and computes dynamics via learned message-passing. Our results show that our model can generalize from single-timestep predictions with thousands of particles during training, to different initial conditions, thousands of timesteps, and at least an order of magnitude more particles at test time. Our model was robust to hyperparameter choices across various evaluation metrics: the main determinants of long-term performance were the number of message-passing steps, and mitigating the accumulation of error by corrupting the training data with noise. Our GNS framework advances the state-of-the-art in learned physical simulation, and holds promise for solving a wide range of complex forward and inverse problems.

学习动态是机器学习（ML）的许多重要应用的核心，例如机器人和自主驾驶。在这些设置中，ML算法通常需要推理使用高维观察的物理系统，例如图像，而不访问底层状态。最近，已经提出了几种方法将从经典机制的前沿集成到ML模型中，以解决图像的物理推理的挑战。在这项工作中，我们清醒了这些模型的当前功能。为此，我们介绍一套由17个数据集组成的套件，该数据集基于具有呈现各种动态的物理系统的视觉观测。我们对几种强大的基线进行了彻底的和详细比较了物理启发方法的主要类别。虽然包含物理前沿的模型通常可以学习具有所需特性的潜在空间，但我们的结果表明这些方法无法显着提高标准技术。尽管如此，我们发现使用连续和时间可逆动力学的使用效益所有课程的模型。

机器人中的一个重要挑战是了解机器人与由粒状材料组成的可变形地形之间的相互作用。颗粒状流量及其与刚体的互动仍然造成了几个开放的问题。有希望的方向，用于准确，且有效的建模使用的是使用连续体方法。此外，实时物理建模的新方向是利用深度学习。该研究推进了用于对刚性体驱动颗粒流建模的机器学习方法，用于应用于地面工业机器以及空间机器人（重力的效果是一个重要因素的地方）。特别是，该研究考虑了子空间机器学习仿真方法的开发。要生成培训数据集，我们利用我们的高保真连续体方法，材料点法（MPM）。主要成分分析（PCA）用于降低数据的维度。我们表明我们的高维数据的前几个主要组成部分几乎保持了数据的整个方差。培训图形网络模拟器（GNS）以学习底层子空间动态。然后，学习的GNS能够以良好的准确度预测颗粒位置和交互力。更重要的是，PCA在训练和卷展栏中显着提高了GNS的时间和记忆效率。这使得GNS能够使用具有中等VRAM的单个桌面GPU进行培训。这也使GNS实时在大规模3D物理配置（比我们的连续方法快700倍）。

Interacting systems are prevalent in nature, from dynamical systems in physics to complex societal dynamics. The interplay of components can give rise to complex behavior, which can often be explained using a simple model of the system's constituent parts. In this work, we introduce the neural relational inference (NRI) model: an unsupervised model that learns to infer interactions while simultaneously learning the dynamics purely from observational data. Our model takes the form of a variational auto-encoder, in which the latent code represents the underlying interaction graph and the reconstruction is based on graph neural networks. In experiments on simulated physical systems, we show that our NRI model can accurately recover ground-truth interactions in an unsupervised manner. We further demonstrate that we can find an interpretable structure and predict complex dynamics in real motion capture and sports tracking data.

最近，与神经网络的时间相关微分方程的解决方案最近引起了很多关注。核心思想是学习控制解决方案从数据演变的法律，该数据可能会被随机噪声污染。但是，与其他机器学习应用相比，通常对手头的系统了解很多。例如，对于许多动态系统，诸如能量或（角度）动量之类的物理量是完全保守的。因此，神经网络必须从数据中学习这些保护定律，并且仅由于有限的训练时间和随机噪声而被满足。在本文中，我们提出了一种替代方法，该方法使用Noether的定理将保护定律本质地纳入神经网络的体系结构。我们证明，这可以更好地预测三个模型系统：在三维牛顿引力潜能中非偏见粒子的运动，Schwarzschild指标中庞大的相对论粒子的运动和两个相互作用的粒子在四个相互作用的粒子系统中的运动方面。

分子动力学（MD）仿真是一种强大的工具，用于了解物质的动态和结构。由于MD的分辨率是原子尺度，因此实现了使用飞秒集成的长时间模拟非常昂贵。在每个MD步骤中，执行许多可以学习和避免的冗余计算。这些冗余计算可以由像图形神经网络（GNN）的深度学习模型代替和建模。在这项工作中，我们开发了一个GNN加速分子动力学（GAMD）模型，实现了快速准确的力预测，并产生与经典MD模拟一致的轨迹。我们的研究结果表明，Gamd可以准确地预测两个典型的分子系统，Lennard-Jones（LJ）颗粒和水（LJ +静电）的动态。 GAMD的学习和推理是不可知论的，它可以在测试时间缩放到更大的系统。我们还进行了一项全面的基准测试，将GAMD的实施与生产级MD软件进行了比较，我们展示了GAMD在大规模模拟上对它们具有竞争力。

在学识表的迅速推进的地区，几乎所有方法都训练了从输入状态直接预测未来状态的前进模型。然而，许多传统的仿真引擎使用基于约束的方法而不是直接预测。这里我们提出了一种基于约束的学习仿真的框架，其中标量约束函数被实现为神经网络，并且将来的预测被计算为在这些学习的约束下的优化问题的解决方案。我们使用图形神经网络作为约束函数和梯度下降作为约束求解器来实现我们的方法。架构可以通过标准的backprojagation培训。我们在各种具有挑战性的物理领域中测试模型，包括模拟绳索，弹跳球，碰撞不规则形状和飞溅液。我们的模型可实现更好或更具可比性的性能，以获得最佳学习的模拟器。我们模型的一个关键优势是能够在测试时间概括到更多求解器迭代，以提高模拟精度。我们还展示了如何在测试时间内添加手工制定的约束，以满足培训数据中不存在的目标，这是不可能的前进方法。我们的约束框架适用于使用前进学习模拟器的任何设置，并演示了学习的模拟器如何利用额外的归纳偏差以及来自数值方法领域的技术。

物理学的美在于，通常在变化的系统（称为运动常数）中保守数量。找到运动的常数对于理解系统的动力学很重要，但通常需要数学水平和手动分析工作。在本文中，我们提出了一个神经网络，该网络可以同时了解系统的动力学和来自数据的运动常数。通过利用发现的运动常数，它可以对动态产生更好的预测，并且可以比基于哈密顿的神经网络在更广泛的系统上工作。此外，我们方法的训练进展可以用作系统中运动常数数量的指示，该系统可用于研究新型物理系统。

我们将图形神经网络训练来自小工具N体模拟的光晕目录的神经网络，以执行宇宙学参数的无现场级别可能的推断。目录包含$ \ Lessim $ 5,000 HAROS带质量$ \ gtrsim 10^{10} 〜h^{ - 1} m_ \ odot $，定期卷为$（25〜H^{ - 1} {\ rm mpc}）{\ rm mpc}） ^3 $;目录中的每个光环都具有多种特性，例如位置，质量，速度，浓度和最大圆速度。我们的模型构建为置换，翻译和旋转的不变性，不施加最低限度的规模来提取信息，并能够以平均值来推断$ \ omega _ {\ rm m} $和$ \ sigma_8 $的值$ \ sim6 \％$的相对误差分别使用位置加上速度和位置加上质量。更重要的是，我们发现我们的模型非常强大：他们可以推断出使用数千个N-n-Body模拟的Halo目录进行测试时，使用五个不同的N-进行测试时，在使用Halo目录进行测试时，$ \ omega _ {\ rm m} $和$ \ sigma_8 $身体代码：算盘，Cubep $^3 $ M，Enzo，PKDGrav3和Ramses。令人惊讶的是，经过培训的模型推断$ \ omega _ {\ rm m} $在对数千个最先进的骆驼水力动力模拟进行测试时也可以使用，该模拟使用四个不同的代码和子网格物理实现。使用诸如浓度和最大循环速度之类的光环特性允许我们的模型提取更多信息，而牺牲了模型的鲁棒性。这可能会发生，因为不同的N体代码不会在与这些参数相对应的相关尺度上收敛。

The abundance of data has given machine learning considerable momentum in natural sciences and engineering, though modeling of physical processes is often difficult. A particularly tough problem is the efficient representation of geometric boundaries. Triangularized geometric boundaries are well understood and ubiquitous in engineering applications. However, it is notoriously difficult to integrate them into machine learning approaches due to their heterogeneity with respect to size and orientation. In this work, we introduce an effective theory to model particle-boundary interactions, which leads to our new Boundary Graph Neural Networks (BGNNs) that dynamically modify graph structures to obey boundary conditions. The new BGNNs are tested on complex 3D granular flow processes of hoppers, rotating drums and mixers, which are all standard components of modern industrial machinery but still have complicated geometry. BGNNs are evaluated in terms of computational efficiency as well as prediction accuracy of particle flows and mixing entropies. BGNNs are able to accurately reproduce 3D granular flows within simulation uncertainties over hundreds of thousands of simulation timesteps. Most notably, in our experiments, particles stay within the geometric objects without using handcrafted conditions or restrictions.

深度学习模型能够近似一个特定的动力系统，但在学习通用动力学方面挣扎，在该动态系统中，动态系统遵守了相同的物理定律，但包含不同数量的元素（例如，双重和三铅系统）。为了缓解这个问题，我们提出了模块化拉​​格朗日网络（ModLanet），这是一个具有模块化和物理诱导偏置的结构神经网络框架。该框架使用模块化对每个元素的能量进行建模，然后通过拉格朗日力学构建目标动态系统。模块化有益于重复训练的网络和减少网络和数据集的规模。结果，我们的框架可以从更简单的系统的动力学中学习，并扩展到更复杂的框架，使用其他相关的物理信息神经网络是不可行的。我们研究了使用小型培训数据集建模双体螺旋形或三体系统的框架，与同行相比，我们的模型实现了最佳的数据效率和准确性性能。我们还将模型重新组织为建模多体型和多体系统的扩展，展示了我们框架的可重复使用功能。

学习包括不同对象之间接触的动态系统的物理结构化表示是机器人技术中基于学习的方法的重要问题。黑盒神经网络可以学会大致表示不连续的动态，但是它们通常需要大量数据，并且在预测更长的时间范围时通常会遭受病理行为。在这项工作中，我们使用深层神经网络和微分方程之间的连接来设计一个深网架构家族，以表示对象之间的接触动态。我们表明，这些网络可以从传统上难以实现黑盒方法和最近启发的神经网络的设置中的嘈杂的观察结果中以数据效率的方式学习不连续的联系事件。我们的结果表明，一种理想化的触摸反馈形式（由生物系统严重依赖）是使这一学习问题可以解决的关键组成部分。加上通过网络体系结构引入的电感偏差，我们的技术可以从观测值中准确学习接触动力学。

经典分子动力学模拟基于求解牛顿运动方程。使用小型时间的数字集成商，例如法语，如法术生成粒子的轨迹作为牛顿方程的解决方案。我们介绍了使用经常性神经网络衍生的运算符，可使用过去轨迹数据的序列来准确地解决牛顿方程，并使用比法术时间更大的时间最高4000倍的粒子的节能动态。我们在许多示例问题中展示了显着的加速，包括高达16个粒子的3D系统。

基于哈密顿配方的混合机器学习最近已成功证明了简单的机械系统。在这项工作中，我们在简单的质量弹簧系统和更复杂，更现实的系统上强调方法，具有多个内部和外部端口，包括具有多个连接储罐的系统。我们量化各种条件下的性能，并表明施加不同的假设会极大地影响性能，突出该方法的优势和局限性。我们证明，哈米尔顿港神经网络可以扩展到具有州依赖性端口的更高维度。我们考虑学习具有已知和未知外部端口的系统。哈米尔顿港的公式允许检测偏差，并在删除偏差时仍然提供有效的模型。最后，我们提出了一种对称的高级整合方案，以改善稀疏和嘈杂数据的训练。