我们将图形神经网络训练来自小工具N体模拟的光晕目录的神经网络，以执行宇宙学参数的无现场级别可能的推断。目录包含$ \ Lessim $ 5,000 HAROS带质量$ \ gtrsim 10^{10} 〜h^{ - 1} m_ \ odot $，定期卷为$（25〜H^{ - 1} {\ rm mpc}）{\ rm mpc}） ^3 $;目录中的每个光环都具有多种特性，例如位置，质量，速度，浓度和最大圆速度。我们的模型构建为置换，翻译和旋转的不变性，不施加最低限度的规模来提取信息，并能够以平均值来推断$ \ omega _ {\ rm m} $和$ \ sigma_8 $的值$ \ sim6 \％$的相对误差分别使用位置加上速度和位置加上质量。更重要的是，我们发现我们的模型非常强大：他们可以推断出使用数千个N-n-Body模拟的Halo目录进行测试时，使用五个不同的N-进行测试时，在使用Halo目录进行测试时，$ \ omega _ {\ rm m} $和$ \ sigma_8 $身体代码：算盘，Cubep $^3 $ M，Enzo，PKDGrav3和Ramses。令人惊讶的是，经过培训的模型推断$ \ omega _ {\ rm m} $在对数千个最先进的骆驼水力动力模拟进行测试时也可以使用，该模拟使用四个不同的代码和子网格物理实现。使用诸如浓度和最大循环速度之类的光环特性允许我们的模型提取更多信息，而牺牲了模型的鲁棒性。这可能会发生，因为不同的N体代码不会在与这些参数相对应的相关尺度上收敛。

了解晕星连接是基本的，以提高我们对暗物质的性质和性质的知识。在这项工作中，我们构建一个模型，鉴于IT主机的星系的位置，速度，恒星群体和半径的位置。为了捕获来自星系属性的相关性及其相位空间的相关信息，我们使用图形神经网络（GNN），该网络设计用于使用不规则和稀疏数据。我们从宇宙学和天体物理学中培训了我们在Galaxies上的模型，从宇宙学和天体物理学与机器学习模拟（骆驼）项目。我们的模型，占宇宙学和天体物理的不确定性，能够用$ \ SIM 0.2欧元的准确度来限制晕群。此外，在一套模拟上培训的GNN能够在用利用不同的代码的模拟上进行测试时保留其精度的一部分精度。 GNN的Pytorch几何实现在HTTPS://github.com/pablovd/halographnet上公开可用于github上

我们对托管银河系和andromeda星系的群众呈现出新的限制，并使用图形神经网络导出。我们的型号培训了骆驼项目的数千个最先进的流体动力模拟，仅利用属于晕圈的星系的位置，速度和恒星群体，并且能够对无似然推断进行无似的推理晕群，同时占宇宙学和天体物理的不确定性。我们的制约因素与其他传统方法的估计一致。

制定了具有机器学习模拟（骆驼）项目的宇宙学和天体物理学，通过数千名宇宙的流体动力模拟和机器学习将宇宙学与天体物理学结合起来。骆驼包含4,233个宇宙学仿真，2,049个n-body和2,184个最先进的流体动力模拟，在参数空间中采样巨大的体积。在本文中，我们介绍了骆驼公共数据发布，描述了骆驼模拟的特性和由它们产生的各种数据产品，包括光环，次麦，银河系和空隙目录，功率谱，Bispectra，Lyman - $ \ Alpha $光谱，概率分布函数，光环径向轮廓和X射线光子列表。我们还释放了超过骆驼 - 山姆的数十亿个星系的目录：与Santa Cruz半分析模型相结合的大量N身体模拟。我们释放包含350多个Terabytes的所有数据，并包含143,922个快照，数百万光环，星系和摘要统计数据。我们提供有关如何访问，下载，读取和处理数据AT \ URL {https://camels.readthedocs.io}的进一步技术详细信息。

我们提出了一种隐含的可能性方法，可以通过分散目录数据量化宇宙学信息，并作为图形组装。为此，我们使用模拟暗物质光环目录探索宇宙学的推断。我们采用最大化神经网络（IMNN）的信息来量化Fisher信息提取，这是图表的函数。我们a）在无噪声限制下，模块图结构对基础宇宙学具有高度敏感性，b）表明，通过比较传统统计，网络自动结合质量和聚类信息，c）证明图形神经网络仍然可以提取信息。当目录受到嘈杂的调查削减时，d）说明了如何将非线性IMNN摘要用作贝叶斯隐性可能性推断的渐近最佳压缩统计。我们在两点相关功能上，我们将$ \ omega_m，\ sigma_8 $参数约束降低了42倍，并证明网络自动组合质量和聚类信息，将关节$ \ omega_m，\ sigma_8 $参数约束减少42倍。 。这项工作利用了JAX中的图形数据的新IMNN实现，该实现可以利用数值或自动差异性。我们还显示，IMNNS成功地压缩了远离拟合网络的基准模型的模拟，这表明基于目录的分析中$ n $ point统计的有希望的替代方法。

我们为宇宙结构形成构建了一个场级模拟器，该模拟器在非线性方案中是准确的。我们的仿真器由两个卷积神经网络组成，这些神经网络训练有素，可根据其线性输入输出N体模拟粒子的非线性位移和速度。宇宙学的依赖性是在神经网络的每一层上以样式参数的形式编码的，从而使模拟器能够有效地插入了在广泛的背景问题范围内，不同扁平$ \ lambda $ cdm宇宙之间的结构形成结果。神经网络体系结构使模型可通过构造来区分，从而为快速场水平推断提供了强大的工具。我们通过考虑几个摘要统计数据，包括具有和不带红移空间扭曲的密度谱，位移功率谱，动量功率谱，密度双光谱，光晕丰度以及带有红移空间的光晕概况，并没有红移空间，我们可以测试方法的准确性。扭曲。我们将模拟器中的这些统计数据与完整的N体结果，可乐方法和没有宇宙学依赖性的基准神经网络进行了比较。我们发现我们的仿真器将准确的结果降至$ k \ sim 1 \ \ mathrm {mpc}^{ - 1} \，h $，代表对COLA和基金神经网络的可观改进。我们还证明，我们的模拟器很好地概括到包含原始非高斯性的初始条件，而无需任何其他样式参数或再培训。

Recently, graph neural networks have been gaining a lot of attention to simulate dynamical systems due to their inductive nature leading to zero-shot generalizability. Similarly, physics-informed inductive biases in deep-learning frameworks have been shown to give superior performance in learning the dynamics of physical systems. There is a growing volume of literature that attempts to combine these two approaches. Here, we evaluate the performance of thirteen different graph neural networks, namely, Hamiltonian and Lagrangian graph neural networks, graph neural ODE, and their variants with explicit constraints and different architectures. We briefly explain the theoretical formulation highlighting the similarities and differences in the inductive biases and graph architecture of these systems. We evaluate these models on spring, pendulum, gravitational, and 3D deformable solid systems to compare the performance in terms of rollout error, conserved quantities such as energy and momentum, and generalizability to unseen system sizes. Our study demonstrates that GNNs with additional inductive biases, such as explicit constraints and decoupling of kinetic and potential energies, exhibit significantly enhanced performance. Further, all the physics-informed GNNs exhibit zero-shot generalizability to system sizes an order of magnitude larger than the training system, thus providing a promising route to simulate large-scale realistic systems.

我们训练一个神经网络模型，以预测宇宙N体模拟的全相空间演化。它的成功表明，神经网络模型正在准确地近似绿色的功能扩展，该功能将模拟的初始条件与其在深层非线性方向上的后期结合到结果。我们通过评估其在具有已知精确解决方案或充分理解扩展的简单情况下的良好理解的简单案例上的表现来测试这种近似值的准确性。这些场景包括球形构型，隔离平面波和两个相互作用的平面波：与用于训练的高斯随机场有很大不同的初始条件。我们发现我们的模型可以很好地推广到这些良好理解的方案，这表明网络已经推断了一般的物理原理，并从复杂的随机高斯训练数据中学习了非线性模式耦合。这些测试还为查找模型的优势和劣势以及确定改进模型的策略提供了有用的诊断。我们还测试了仅包含横向模式的初始条件，该模式的模式不仅在其相位上有所不同，而且还与训练集中使用的纵向生长模式相比。当网络遇到与训练集正交的这些初始条件时，该模型将完全失败。除了这些简单的配置外，我们还评估了模型对N体模拟的标准初始条件的密度，位移和动量功率谱的预测。我们将这些摘要统计数据与N体结果和称为COLA的近似快速模拟方法进行了比较。我们的模型在$ k \ sim 1 \ \ mathrm {mpc}^{ - 1} \，h $的非线性尺度上达到百分比精度，代表了对COLA的显着改进。

Here we present a machine learning framework and model implementation that can learn to simulate a wide variety of challenging physical domains, involving fluids, rigid solids, and deformable materials interacting with one another. Our framework-which we term "Graph Network-based Simulators" (GNS)-represents the state of a physical system with particles, expressed as nodes in a graph, and computes dynamics via learned message-passing. Our results show that our model can generalize from single-timestep predictions with thousands of particles during training, to different initial conditions, thousands of timesteps, and at least an order of magnitude more particles at test time. Our model was robust to hyperparameter choices across various evaluation metrics: the main determinants of long-term performance were the number of message-passing steps, and mitigating the accumulation of error by corrupting the training data with noise. Our GNS framework advances the state-of-the-art in learned physical simulation, and holds promise for solving a wide range of complex forward and inverse problems.

Lagrangian和Hamiltonian神经网络（分别是LNN和HNN）编码强诱导偏见，使它们能够显着优于其他物理系统模型。但是，到目前为止，这些模型大多仅限于简单的系统，例如摆和弹簧或单个刚体的身体，例如陀螺仪或刚性转子。在这里，我们提出了一个拉格朗日图神经网络（LGNN），可以通过利用其拓扑来学习刚体的动态。我们通过学习以刚体为刚体的棒的绳索，链条和桁架的动力学来证明LGNN的性能。 LGNN还表现出普遍性 - 在链条上训练了一些细分市场的LGNN具有概括性，以模拟具有大量链接和任意链路长度的链条。我们还表明，LGNN可以模拟看不见的混合动力系统，包括尚未接受过培训的酒吧和链条。具体而言，我们表明LGNN可用于建模复杂的现实世界结构的动力学，例如紧张结构的稳定性。最后，我们讨论了质量矩阵的非对角性性质及其在复杂系统中概括的能力。

暗物质光环的质量分布是初始密度扰动通过质量积聚和合并的层次增长的结果。我们使用一个可解释的机器学习框架来提供对暗物质光环的球形平均质量概况的起源的物理见解。我们训练梯度促进的树算法，以预测聚类大小的光环的最终质量曲线，并衡量提供给算法的不同输入的重要性。我们在初始条件（ICS）中找到了两个主要量表，它们影响最终的质量曲线：大约在Haloes的Lagrangian Patch $ r_l $（$ r \ sim 0.7 \，r_l $）的比例下的密度，并且在大型中-scale环境（$ r \ sim 1.7〜r_l $）。该模型还标识了光环组装历史记录中的三个主要时间尺度，这些时间尺度影响最终轮廓：（i）晕圈内病毒化的，折叠的材料的形成时间，（ii）动态时间，捕获动态无移动的，插入的动态时间光环的第一个轨道（iii）的组成部分是第三个，最近的时间尺度，它捕获了对最近大规模合并事件外部特征的影响。尽管内部轮廓保留了IC的内存，但仅此信息就不足以对外部轮廓产生准确的预测。当我们添加有关Haloes的质量积聚历史的信息时，我们发现所有半径的预测概况都有显着改善。我们的机器学习框架为ICS和质量组装历史的作用提供了新的见解，并在确定集群大小的光环的最终质量概况中。

在学识表的迅速推进的地区，几乎所有方法都训练了从输入状态直接预测未来状态的前进模型。然而，许多传统的仿真引擎使用基于约束的方法而不是直接预测。这里我们提出了一种基于约束的学习仿真的框架，其中标量约束函数被实现为神经网络，并且将来的预测被计算为在这些学习的约束下的优化问题的解决方案。我们使用图形神经网络作为约束函数和梯度下降作为约束求解器来实现我们的方法。架构可以通过标准的backprojagation培训。我们在各种具有挑战性的物理领域中测试模型，包括模拟绳索，弹跳球，碰撞不规则形状和飞溅液。我们的模型可实现更好或更具可比性的性能，以获得最佳学习的模拟器。我们模型的一个关键优势是能够在测试时间概括到更多求解器迭代，以提高模拟精度。我们还展示了如何在测试时间内添加手工制定的约束，以满足培训数据中不存在的目标，这是不可能的前进方法。我们的约束框架适用于使用前进学习模拟器的任何设置，并演示了学习的模拟器如何利用额外的归纳偏差以及来自数值方法领域的技术。

在卷积神经网络（CNNS）上建立的生成深度学习方法提供了一种用于预测宇宙学中非线性结构的伟大工具。在这项工作中，我们预测大规模的高分辨率暗物质晕，只有低分辨率暗物质的模拟。这是通过将降低的分辨率映射到共享相同宇宙学，初始条件和盒子尺寸的仿真的更高分辨率密度字段来实现。要将结构降低到8倍的质量分辨率，我们使用U-Net的变化与条件GaN，产生直观地和统计地匹配高分辨率目标的输出。这表明我们的方法可用于从低分辨率模拟通过具有可忽略的计算工作的低分辨率模拟产生高分辨率密度输出。

The abundance of data has given machine learning considerable momentum in natural sciences and engineering, though modeling of physical processes is often difficult. A particularly tough problem is the efficient representation of geometric boundaries. Triangularized geometric boundaries are well understood and ubiquitous in engineering applications. However, it is notoriously difficult to integrate them into machine learning approaches due to their heterogeneity with respect to size and orientation. In this work, we introduce an effective theory to model particle-boundary interactions, which leads to our new Boundary Graph Neural Networks (BGNNs) that dynamically modify graph structures to obey boundary conditions. The new BGNNs are tested on complex 3D granular flow processes of hoppers, rotating drums and mixers, which are all standard components of modern industrial machinery but still have complicated geometry. BGNNs are evaluated in terms of computational efficiency as well as prediction accuracy of particle flows and mixing entropies. BGNNs are able to accurately reproduce 3D granular flows within simulation uncertainties over hundreds of thousands of simulation timesteps. Most notably, in our experiments, particles stay within the geometric objects without using handcrafted conditions or restrictions.

机器人中的一个重要挑战是了解机器人与由粒状材料组成的可变形地形之间的相互作用。颗粒状流量及其与刚体的互动仍然造成了几个开放的问题。有希望的方向，用于准确，且有效的建模使用的是使用连续体方法。此外，实时物理建模的新方向是利用深度学习。该研究推进了用于对刚性体驱动颗粒流建模的机器学习方法，用于应用于地面工业机器以及空间机器人（重力的效果是一个重要因素的地方）。特别是，该研究考虑了子空间机器学习仿真方法的开发。要生成培训数据集，我们利用我们的高保真连续体方法，材料点法（MPM）。主要成分分析（PCA）用于降低数据的维度。我们表明我们的高维数据的前几个主要组成部分几乎保持了数据的整个方差。培训图形网络模拟器（GNS）以学习底层子空间动态。然后，学习的GNS能够以良好的准确度预测颗粒位置和交互力。更重要的是，PCA在训练和卷展栏中显着提高了GNS的时间和记忆效率。这使得GNS能够使用具有中等VRAM的单个桌面GPU进行培训。这也使GNS实时在大规模3D物理配置（比我们的连续方法快700倍）。

在整个宇宙学模拟中，初始条件中的物质密度场的性质对今天形成的结构的特征具有决定性的影响。在本文中，我们使用随机森林分类算法来推断暗物质颗粒是否追溯到初始条件，最终将在肿块上高于一些阈值的暗物质卤素。该问题可能被构成为二进制分类任务，其中物质密度字段的初始条件映射到由光环发现者程序提供的分类标签。我们的研究结果表明，随机森林是有效的工具，无法在不运行完整过程的情况下预测宇宙学模拟的输出。在将来可能使用这些技术来降低计算时间并更有效地探索不同暗物质/暗能候选对宇宙结构的形成的影响。

这本数字本书包含在物理模拟的背景下与深度学习相关的一切实际和全面的一切。尽可能多，所有主题都带有Jupyter笔记本的形式的动手代码示例，以便快速入门。除了标准的受监督学习的数据中，我们将看看物理丢失约束，更紧密耦合的学习算法，具有可微分的模拟，以及加强学习和不确定性建模。我们生活在令人兴奋的时期：这些方法具有从根本上改变计算机模拟可以实现的巨大潜力。

Simulating rigid collisions among arbitrary shapes is notoriously difficult due to complex geometry and the strong non-linearity of the interactions. While graph neural network (GNN)-based models are effective at learning to simulate complex physical dynamics, such as fluids, cloth and articulated bodies, they have been less effective and efficient on rigid-body physics, except with very simple shapes. Existing methods that model collisions through the meshes' nodes are often inaccurate because they struggle when collisions occur on faces far from nodes. Alternative approaches that represent the geometry densely with many particles are prohibitively expensive for complex shapes. Here we introduce the Face Interaction Graph Network (FIGNet) which extends beyond GNN-based methods, and computes interactions between mesh faces, rather than nodes. Compared to learned node- and particle-based methods, FIGNet is around 4x more accurate in simulating complex shape interactions, while also 8x more computationally efficient on sparse, rigid meshes. Moreover, FIGNet can learn frictional dynamics directly from real-world data, and can be more accurate than analytical solvers given modest amounts of training data. FIGNet represents a key step forward in one of the few remaining physical domains which have seen little competition from learned simulators, and offers allied fields such as robotics, graphics and mechanical design a new tool for simulation and model-based planning.

具有基于物理的诱导偏见的神经网络，例如拉格朗日神经网络（LNN）和汉密尔顿神经网络（HNN），通过编码强诱导性偏见来学习物理系统的动态。另外，还显示出适当的感应偏见的神经odes具有相似的性能。但是，当这些模型应用于基于粒子的系统时，本质上具有转导性，因此不会推广到大型系统尺寸。在本文中，我们提出了基于图的神经ode gnode，以了解动力学系统的时间演变。此外，我们仔细分析了不同电感偏差对GNODE性能的作用。我们表明，与LNN和HNN类似，对约束进行编码可以显着提高GNODE的训练效率和性能。我们的实验还评估了该模型最终性能的其他归纳偏差（例如纽顿第三定律）的价值。我们证明，诱导这些偏见可以在能量违规和推出误差方面通过数量级来增强模型的性能。有趣的是，我们观察到，经过最有效的电感偏见训练的GNODE，即McGnode，优于LNN和HNN的图形版本，即Lagrangian Graph Networks（LGN）和Hamiltonian Graph网络（HGN）在能量侵犯的方面差异，该图表的差异大约是能量侵犯网络（HGN）摆钟系统的4个数量级，春季系统的数量级约为2个数量级。这些结果表明，可以通过诱导适当的电感偏见来获得基于节点的系统的能源保存神经网络的竞争性能。

理论不确定性限制了我们从诸如Thermal Sunyaev-Zel'Dovich（TSZ）效应等重的宇宙学信息中提取宇宙学信息的能力。 TSZ效应由电子压力场采购，取决于通常由昂贵的流体动力模拟建模的男性物理学。我们在Illustristng-300宇宙学模拟上训练神经网络，以预测仅重力模拟的星系簇中的连续电子压力场。对于神经网络而言，建模群集具有挑战性，因为大多数气体压力集中在少数体素中，甚至最大的流体动力模拟只包含几百个可以用于训练的簇。我们选择采用旋转等效的深度体系结构直接在暗物质颗粒集上运行，而不是传统的卷积神经网（CNN）体系结构。我们认为，基于集合的体系结构比CNN具有不同的优势。例如，我们可以执行精确的旋转和置换量比，并在TSZ领域中纳入现有的知识，并与宇宙学标准的稀疏领域一起工作。我们使用单独的，物理上有意义的模块组成我们的体系结构，使其可以解释。例如，我们可以分别研究局部和集群尺度环境的影响，确定簇三轴性具有可忽略的影响，并训练一个纠正错误居中的模块。我们的模型在适合相同模拟数据的分析概况上提高了70％。我们认为，电子压力场被视为仅重力模拟的函数，具有固有的随机性，并通过向网络的条件vae扩展进行建模。这种修饰可进一步提高7％，但受我们的小型培训集的限制。 （简略）