Interacting systems are prevalent in nature, from dynamical systems in physics to complex societal dynamics. The interplay of components can give rise to complex behavior, which can often be explained using a simple model of the system's constituent parts. In this work, we introduce the neural relational inference (NRI) model: an unsupervised model that learns to infer interactions while simultaneously learning the dynamics purely from observational data. Our model takes the form of a variational auto-encoder, in which the latent code represents the underlying interaction graph and the reconstruction is based on graph neural networks. In experiments on simulated physical systems, we show that our NRI model can accurately recover ground-truth interactions in an unsupervised manner. We further demonstrate that we can find an interpretable structure and predict complex dynamics in real motion capture and sports tracking data.
translated by 谷歌翻译
建模多代理系统需要了解代理的相互作用。这样的系统通常很难建模,因为它们可以涉及各种类型的相互作用,以促进丰富的社会行为动态。在这里,我们介绍了一种用于准确建模多代理系统的方法。我们介绍了使用多重注意(IMMA)的相互作用建模,这是一种前向预测模型,该模型使用多重潜在图代表多种独立类型的相互作用,并注意对不同优势的关系。我们还介绍了渐进层培训,这是该体系结构的培训策略。我们表明,我们的方法在轨迹预测和关系推理中的最先进模型优于最先进的模型,涵盖了三个多代理方案:社交导航,合作任务成就和团队运动。我们进一步证明,我们的方法可以改善零拍的概括,并使我们能够探究不同的相互作用如何影响代理行为。
translated by 谷歌翻译
具有相互作用剂的动力系统本质上是普遍的,通常由其成分之间的关​​系图建模。最近,已经提出了各种工作,以解决通过深层神经网络从系统轨迹中推断这些关系的问题,但是大多数研究都假设二进制或离散类型的相互作用类型为简单。在现实世界中,相互作用内核通常涉及连续的相互作用强度,而离散关系不能准确地近似。在这项工作中,我们提出了关系专注的推理网络(RAIN),以推断出无需任何地面相互作用强度的连续加权相互作用图。我们的模型采用新颖的成对注意(PA)机制来完善轨迹表示和图形变压器,以为每对药物提取异质相互作用权重。我们表明,使用PA机制的雨模型准确地以无监督的方式为模拟物理系统的连续相互作用强度。此外,带有PA的降雨成功地通过可解释的交互图预测了运动捕获数据的轨迹,证明了用连续权重对未知动力学进行建模的优点。
translated by 谷歌翻译
Here we present a machine learning framework and model implementation that can learn to simulate a wide variety of challenging physical domains, involving fluids, rigid solids, and deformable materials interacting with one another. Our framework-which we term "Graph Network-based Simulators" (GNS)-represents the state of a physical system with particles, expressed as nodes in a graph, and computes dynamics via learned message-passing. Our results show that our model can generalize from single-timestep predictions with thousands of particles during training, to different initial conditions, thousands of timesteps, and at least an order of magnitude more particles at test time. Our model was robust to hyperparameter choices across various evaluation metrics: the main determinants of long-term performance were the number of message-passing steps, and mitigating the accumulation of error by corrupting the training data with noise. Our GNS framework advances the state-of-the-art in learned physical simulation, and holds promise for solving a wide range of complex forward and inverse problems.
translated by 谷歌翻译
有效理解动态发展的多种互动对于捕获社会系统中代理的潜在行为至关重要。通常要直接观察这些相互作用是一项挑战,因此对潜在相互作用进行建模对于实现复杂行为至关重要。动态神经关系推断(DNRI)的最新工作在每个步骤中都捕获了明确的互动相互作用。但是,在每个步骤中的预测都会导致嘈杂的相互作用,并且没有事后检查就缺乏内在的解释性。此外,它需要访问地面真理注释来分析难以获得的预测相互作用。本文介绍了Dider,发现了可解释的动态发展关系,这是一种具有内在解释性的通用端到端交互建模框架。 Dider通过将潜在相互作用预测的任务分解为亚相互作用预测和持续时间估计,发现了一个可解释的代理相互作用序列。通过在延长的时间持续时间内强加亚相互作用类型的一致性,提出的框架可以实现内在的解释性,而无需进行任何事后检查。我们在合成数据集和现实世界数据集上评估了Dider。实验结果表明,建模解剖和可解释的动态关系可改善轨迹预测任务的性能。
translated by 谷歌翻译
Modelling interactions is critical in learning complex dynamical systems, namely systems of interacting objects with highly non-linear and time-dependent behaviour. A large class of such systems can be formalized as $\textit{geometric graphs}$, $\textit{i.e.}$, graphs with nodes positioned in the Euclidean space given an $\textit{arbitrarily}$ chosen global coordinate system, for instance vehicles in a traffic scene. Notwithstanding the arbitrary global coordinate system, the governing dynamics of the respective dynamical systems are invariant to rotations and translations, also known as $\textit{Galilean invariance}$. As ignoring these invariances leads to worse generalization, in this work we propose local coordinate frames per node-object to induce roto-translation invariance to the geometric graph of the interacting dynamical system. Further, the local coordinate frames allow for a natural definition of anisotropic filtering in graph neural networks. Experiments in traffic scenes, 3D motion capture, and colliding particles demonstrate that the proposed approach comfortably outperforms the recent state-of-the-art.
translated by 谷歌翻译
揭开多个代理之间的相互作用与过去的轨迹之间的相互作用至关重要。但是,以前的作品主要考虑与有限的关系推理的静态,成对的相互作用。为了促进更全面的互动建模和关系推理,我们提出了Dyngroupnet,这是一个动态群体感知的网络,i)可以在高度动态的场景中建模时间变化的交互; ii)捕获配对和小组互动; iii)理由互动强度和类别没有直接监督。基于Dyngroupnet,我们进一步设计了一个预测系统,以预测具有动态关系推理的社会合理轨迹。提出的预测系统利用高斯混合模型,多个抽样和预测细化,分别促进预测多样性,训练稳定性和轨迹平滑度。广泛的实验表明:1)dyngroupnet可以捕获随时间变化的群体行为,在轨迹预测过程中推断时间变化的交互类别和相互作用强度,而无需在物理模拟数据集上进行任何关系监督; 2)dyngroupnet优于最先进的轨迹预测方法,其显着改善22.6%/28.0%,26.9%/34.9%,5.1%/13.0%的ADE/FDE在NBA,NFL足球和SDD Datasets上的ADE/FDE并在ETH-COY数据集上实现最先进的性能。
translated by 谷歌翻译
机器人中的一个重要挑战是了解机器人与由粒状材料组成的可变形地形之间的相互作用。颗粒状流量及其与刚体的互动仍然造成了几个开放的问题。有希望的方向,用于准确,且有效的建模使用的是使用连续体方法。此外,实时物理建模的新方向是利用深度学习。该研究推进了用于对刚性体驱动颗粒流建模的机器学习方法,用于应用于地面工业机器以及空间机器人(重力的效果是一个重要因素的地方)。特别是,该研究考虑了子空间机器学习仿真方法的开发。要生成培训数据集,我们利用我们的高保真连续体方法,材料点法(MPM)。主要成分分析(PCA)用于降低数据的维度。我们表明我们的高维数据的前几个主要组成部分几乎保持了数据的整个方差。培训图形网络模拟器(GNS)以学习底层子空间动态。然后,学习的GNS能够以良好的准确度预测颗粒位置和交互力。更重要的是,PCA在训练和卷展栏中显着提高了GNS的时间和记忆效率。这使得GNS能够使用具有中等VRAM的单个桌面GPU进行培训。这也使GNS实时在大规模3D物理配置(比我们的连续方法快700倍)。
translated by 谷歌翻译
在学识表的迅速推进的地区,几乎所有方法都训练了从输入状态直接预测未来状态的前进模型。然而,许多传统的仿真引擎使用基于约束的方法而不是直接预测。这里我们提出了一种基于约束的学习仿真的框架,其中标量约束函数被实现为神经网络,并且将来的预测被计算为在这些学习的约束下的优化问题的解决方案。我们使用图形神经网络作为约束函数和梯度下降作为约束求解器来实现我们的方法。架构可以通过标准的backprojagation培训。我们在各种具有挑战性的物理领域中测试模型,包括模拟绳索,弹跳球,碰撞不规则形状和飞溅液。我们的模型可实现更好或更具可比性的性能,以获得最佳学习的模拟器。我们模型的一个关键优势是能够在测试时间概括到更多求解器迭代,以提高模拟精度。我们还展示了如何在测试时间内添加手工制定的约束,以满足培训数据中不存在的目标,这是不可能的前进方法。我们的约束框架适用于使用前进学习模拟器的任何设置,并演示了学习的模拟器如何利用额外的归纳偏差以及来自数值方法领域的技术。
translated by 谷歌翻译
Simulating rigid collisions among arbitrary shapes is notoriously difficult due to complex geometry and the strong non-linearity of the interactions. While graph neural network (GNN)-based models are effective at learning to simulate complex physical dynamics, such as fluids, cloth and articulated bodies, they have been less effective and efficient on rigid-body physics, except with very simple shapes. Existing methods that model collisions through the meshes' nodes are often inaccurate because they struggle when collisions occur on faces far from nodes. Alternative approaches that represent the geometry densely with many particles are prohibitively expensive for complex shapes. Here we introduce the Face Interaction Graph Network (FIGNet) which extends beyond GNN-based methods, and computes interactions between mesh faces, rather than nodes. Compared to learned node- and particle-based methods, FIGNet is around 4x more accurate in simulating complex shape interactions, while also 8x more computationally efficient on sparse, rigid meshes. Moreover, FIGNet can learn frictional dynamics directly from real-world data, and can be more accurate than analytical solvers given modest amounts of training data. FIGNet represents a key step forward in one of the few remaining physical domains which have seen little competition from learned simulators, and offers allied fields such as robotics, graphics and mechanical design a new tool for simulation and model-based planning.
translated by 谷歌翻译
实体彼此交互的系统很常见。在许多交互系统中,难以观察实体之间的关系,这是用于分析系统的关键信息。近年来,在使用图形神经网络中发现实体之间的关系越来越兴趣。然而,如果关系的数量未知或者关系复杂,则难以申请现有方法。我们提出了发现潜在关系(DSLR)模型,即使关系数目未知或存在许多类型的关系,也是灵活适用的。我们的DSLR模型的灵活性来自我们的编码器的设计概念,它代表了潜在空间中的实体之间的关系,而不是可以处理许多类型的关系的离散变量和解码器。我们对实体之间的各种关系进行了关于合成和实际图数据的实验,并将定性和定量结果与其他方法进行了比较。实验表明,该方法适用于分析具有未知数量的复杂关系的动态图。
translated by 谷歌翻译
虽然对配对关系的建模在多代理交互系统中得到了广泛的研究,但其捕获更高级别和较大规模的小组活动的能力受到限制。在本文中,我们提出了一种群体感知的关系推理方法(命名为EvolveHyhyPergraph),并明确推断了基本的动态发展的关系结构,并且我们证明了其对多机构轨迹预测的有效性。除了一对节点之间的边缘(即代理)之间的边缘外,我们还建议推断出适应性地连接多个节点的超核,以在不固定Hyperedges的数量的情况下以无聊的方式启用群体感知的关系推理。所提出的方法随着时间的推移而动态发展的关系图和超图表,以捕获关系的演变,而轨迹预测指标将其用于获得未来的状态。此外,我们建议将关系演化的平稳性和推断图或超图的稀疏性正规化,从而有效地提高了训练稳定性并增强了推断关系的解释性。在综合人群模拟和多个现实世界基准数据集上都验证了所提出的方法。我们的方法不理会在长期预测中解释,合理的团体感知关系并取得最先进的表现。
translated by 谷歌翻译
在这项工作中,我们提出了一个端到端的图形网络,其使用可解释的电感偏差来学习粒子基物理学的前进和逆模型。物理知识的神经网络通常通过特定于问题的正则化和损失功能来解决特定问题。这种显式学习偏置网络以学习数据特定模式,并且可能需要在特此限制其Generalizabiliy的丢失功能或神经网络架构的变化。虽然最近的研究已经提出了图形网络来研究前瞻性动态,但它们依赖于粒子特定参数,例如质量等。我们的图形网络通过学习来隐含地偏见,以解决多项任务,从而在任务之间共享表示,以便学习前向动态以及推断未知粒子特定属性的概率分布。我们在一步的下一个状态预测任务上评估了我们的方法,这些任务跨越具有不同粒子交互的不同数据集。我们对相关数据驱动物理学学习方法的比较揭示了我们的模型能够预测至少一种更高的准确度的前向动态。我们还表明,我们的方法能够使用较少的样本的数量令恢复未知物理参数的多模态概率分布。
translated by 谷歌翻译
学习动态是机器学习(ML)的许多重要应用的核心,例如机器人和自主驾驶。在这些设置中,ML算法通常需要推理使用高维观察的物理系统,例如图像,而不访问底层状态。最近,已经提出了几种方法将从经典机制的前沿集成到ML模型中,以解决图像的物理推理的挑战。在这项工作中,我们清醒了这些模型的当前功能。为此,我们介绍一套由17个数据集组成的套件,该数据集基于具有呈现各种动态的物理系统的视觉观测。我们对几种强大的基线进行了彻底的和详细比较了物理启发方法的主要类别。虽然包含物理前沿的模型通常可以学习具有所需特性的潜在空间,但我们的结果表明这些方法无法显着提高标准技术。尽管如此,我们发现使用连续和时间可逆动力学的使用效益所有课程的模型。
translated by 谷歌翻译
物理系统通常表示为粒子的组合,即控制系统动力学的个体动力学。但是,传统方法需要了解几个抽象数量的知识,例如推断这些颗粒动力学的能量或力量。在这里,我们提出了一个框架,即拉格朗日图神经网络(LGNN),它提供了强烈的感应偏见,可以直接从轨迹中学习基于粒子系统的拉格朗日。我们在具有约束和阻力的挑战系统上测试我们的方法 - LGNN优于诸如前馈拉格朗日神经网络(LNN)等基线,其性能提高。我们还通过模拟系统模拟系统的两个数量级比受过训练的一个数量级和混合系统大的数量级来显示系统的零弹性通用性,这些数量级是一个独特的功能。与LNN相比,LGNN的图形体系结构显着简化了学习,其性能在少量少量数据上的性能高25倍。最后,我们显示了LGNN的解释性,该解释性直接提供了对模型学到的阻力和约束力的物理见解。因此,LGNN可以为理解物理系统的动力学提供纯粹的填充,这纯粹是从可观察的数量中。
translated by 谷歌翻译
多代理行为建模和轨迹预测对于交互式情景中的自主代理安全导航至关重要。变形AutiaceCoder(VAE)已广泛应用于多代理交互建模以产生各种行为,并学习用于交互系统的低维表示。然而,如果基于VAE的模型可以正确编码相互作用,现有文献没有正式讨论。在这项工作中,我们认为,多种子体模型中的典型VAE典型配方之一受到我们称为社会后崩倒数的问题,即,在预测代理人的未来轨迹时,该模型容易忽略历史社会环境。它可能导致显着的预测误差和较差的泛化性能。我们分析了这一探索现象背后的原因,并提出了几项解决方案的措施。之后,我们在实际数据集上实施了拟议的框架和实验,用于多代理轨迹预测。特别是,我们提出了一种新颖的稀疏图表关注消息传递(稀疏垃圾)层,这有助于我们在我们的实验中检测到社会后塌崩溃。在实验中,我们确认确实发生了社会后塌崩溃。此外,拟议的措施有助于减轻这个问题。结果,当历史社会上下文是信息性的预测信息时,该模型达到了更好的泛化性能。
translated by 谷歌翻译
这本数字本书包含在物理模拟的背景下与深度学习相关的一切实际和全面的一切。尽可能多,所有主题都带有Jupyter笔记本的形式的动手代码示例,以便快速入门。除了标准的受监督学习的数据中,我们将看看物理丢失约束,更紧密耦合的学习算法,具有可微分的模拟,以及加强学习和不确定性建模。我们生活在令人兴奋的时期:这些方法具有从根本上改变计算机模拟可以实现的巨大潜力。
translated by 谷歌翻译
模块化机器人可以在每天重新排列到新设计中,通过为每项新任务形成定制机器人来处理各种各样的任务。但是,重新配置的机制是不够的:每个设计还需要自己独特的控制策略。人们可以从头开始为每个新设计制作一个政策,但这种方法不可扩展,特别是给出了甚至一小组模块可以生成的大量设计。相反,我们创建了一个模块化策略框架,策略结构在硬件排列上有调节,并仅使用一个培训过程来创建控制各种设计的策略。我们的方法利用了模块化机器人的运动学可以表示为设计图,其中节点作为模块和边缘作为它们之间的连接。给定机器人,它的设计图用于创建具有相同结构的策略图,其中每个节点包含一个深神经网络,以及通过共享参数的相同类型共享知识的模块(例如,Hexapod上的所有腿都相同网络参数)。我们开发了一种基于模型的强化学习算法,交织模型学习和轨迹优化,以培训策略。我们展示了模块化政策推广到培训期间没有看到的大量设计,没有任何额外的学习。最后,我们展示了与模拟和真实机器人一起控制各种设计的政策。
translated by 谷歌翻译
Lagrangian和Hamiltonian神经网络(分别是LNN和HNN)编码强诱导偏见,使它们能够显着优于其他物理系统模型。但是,到目前为止,这些模型大多仅限于简单的系统,例如摆和弹簧或单个刚体的身体,例如陀螺仪或刚性转子。在这里,我们提出了一个拉格朗日图神经网络(LGNN),可以通过利用其拓扑来学习刚体的动态。我们通过学习以刚体为刚体的棒的绳索,链条和桁架的动力学来证明LGNN的性能。 LGNN还表现出普遍性 - 在链条上训练了一些细分市场的LGNN具有概括性,以模拟具有大量链接和任意链路长度的链条。我们还表明,LGNN可以模拟看不见的混合动力系统,包括尚未接受过培训的酒吧和链条。具体而言,我们表明LGNN可用于建模复杂的现实世界结构的动力学,例如紧张结构的稳定性。最后,我们讨论了质量矩阵的非对角性性质及其在复杂系统中概括的能力。
translated by 谷歌翻译
具有基于物理的诱导偏见的神经网络,例如拉格朗日神经网络(LNN)和汉密尔顿神经网络(HNN),通过编码强诱导性偏见来学习物理系统的动态。另外,还显示出适当的感应偏见的神经odes具有相似的性能。但是,当这些模型应用于基于粒子的系统时,本质上具有转导性,因此不会推广到大型系统尺寸。在本文中,我们提出了基于图的神经ode gnode,以了解动力学系统的时间演变。此外,我们仔细分析了不同电感偏差对GNODE性能的作用。我们表明,与LNN和HNN类似,对约束进行编码可以显着提高GNODE的训练效率和性能。我们的实验还评估了该模型最终性能的其他归纳偏差(例如纽顿第三定律)的价值。我们证明,诱导这些偏见可以在能量违规和推出误差方面通过数量级来增强模型的性能。有趣的是,我们观察到,经过最有效的电感偏见训练的GNODE,即McGnode,优于LNN和HNN的图形版本,即Lagrangian Graph Networks(LGN)和Hamiltonian Graph网络(HGN)在能量侵犯的方面差异,该图表的差异大约是能量侵犯网络(HGN)摆钟系统的4个数量级,春季系统的数量级约为2个数量级。这些结果表明,可以通过诱导适当的电感偏见来获得基于节点的系统的能源保存神经网络的竞争性能。
translated by 谷歌翻译