我们提出了一种新方案，以补偿粒子网（PM）方案产生的小规模近似值。这种模拟是大规模结构的快速和低计算成本实现，但缺乏小规模的分辨率。为了提高其准确性，我们在模拟的微分方程中引入了额外的有效力，该方程是由作用于PM估计的引力电位的傅立叶空间神经网络参数化的。我们将获得功率谱的结果与PGD方案（潜在梯度下降方案）获得的结果进行了比较。我们注意到功率谱的项有类似的改进，但是我们发现我们的方法在互相关系数方面的表现优于PGD，并且对模拟设置的变化（不同的分辨率，不同的宇宙学）的变化更为强大。

我们训练一个神经网络模型，以预测宇宙N体模拟的全相空间演化。它的成功表明，神经网络模型正在准确地近似绿色的功能扩展，该功能将模拟的初始条件与其在深层非线性方向上的后期结合到结果。我们通过评估其在具有已知精确解决方案或充分理解扩展的简单情况下的良好理解的简单案例上的表现来测试这种近似值的准确性。这些场景包括球形构型，隔离平面波和两个相互作用的平面波：与用于训练的高斯随机场有很大不同的初始条件。我们发现我们的模型可以很好地推广到这些良好理解的方案，这表明网络已经推断了一般的物理原理，并从复杂的随机高斯训练数据中学习了非线性模式耦合。这些测试还为查找模型的优势和劣势以及确定改进模型的策略提供了有用的诊断。我们还测试了仅包含横向模式的初始条件，该模式的模式不仅在其相位上有所不同，而且还与训练集中使用的纵向生长模式相比。当网络遇到与训练集正交的这些初始条件时，该模型将完全失败。除了这些简单的配置外，我们还评估了模型对N体模拟的标准初始条件的密度，位移和动量功率谱的预测。我们将这些摘要统计数据与N体结果和称为COLA的近似快速模拟方法进行了比较。我们的模型在$ k \ sim 1 \ \ mathrm {mpc}^{ - 1} \，h $的非线性尺度上达到百分比精度，代表了对COLA的显着改进。

我们为宇宙结构形成构建了一个场级模拟器，该模拟器在非线性方案中是准确的。我们的仿真器由两个卷积神经网络组成，这些神经网络训练有素，可根据其线性输入输出N体模拟粒子的非线性位移和速度。宇宙学的依赖性是在神经网络的每一层上以样式参数的形式编码的，从而使模拟器能够有效地插入了在广泛的背景问题范围内，不同扁平$ \ lambda $ cdm宇宙之间的结构形成结果。神经网络体系结构使模型可通过构造来区分，从而为快速场水平推断提供了强大的工具。我们通过考虑几个摘要统计数据，包括具有和不带红移空间扭曲的密度谱，位移功率谱，动量功率谱，密度双光谱，光晕丰度以及带有红移空间的光晕概况，并没有红移空间，我们可以测试方法的准确性。扭曲。我们将模拟器中的这些统计数据与完整的N体结果，可乐方法和没有宇宙学依赖性的基准神经网络进行了比较。我们发现我们的仿真器将准确的结果降至$ k \ sim 1 \ \ mathrm {mpc}^{ - 1} \，h $，代表对COLA和基金神经网络的可观改进。我们还证明，我们的模拟器很好地概括到包含原始非高斯性的初始条件，而无需任何其他样式参数或再培训。

在卷积神经网络（CNNS）上建立的生成深度学习方法提供了一种用于预测宇宙学中非线性结构的伟大工具。在这项工作中，我们预测大规模的高分辨率暗物质晕，只有低分辨率暗物质的模拟。这是通过将降低的分辨率映射到共享相同宇宙学，初始条件和盒子尺寸的仿真的更高分辨率密度字段来实现。要将结构降低到8倍的质量分辨率，我们使用U-Net的变化与条件GaN，产生直观地和统计地匹配高分辨率目标的输出。这表明我们的方法可用于从低分辨率模拟通过具有可忽略的计算工作的低分辨率模拟产生高分辨率密度输出。

我们将图形神经网络训练来自小工具N体模拟的光晕目录的神经网络，以执行宇宙学参数的无现场级别可能的推断。目录包含$ \ Lessim $ 5,000 HAROS带质量$ \ gtrsim 10^{10} 〜h^{ - 1} m_ \ odot $，定期卷为$（25〜H^{ - 1} {\ rm mpc}）{\ rm mpc}） ^3 $;目录中的每个光环都具有多种特性，例如位置，质量，速度，浓度和最大圆速度。我们的模型构建为置换，翻译和旋转的不变性，不施加最低限度的规模来提取信息，并能够以平均值来推断$ \ omega _ {\ rm m} $和$ \ sigma_8 $的值$ \ sim6 \％$的相对误差分别使用位置加上速度和位置加上质量。更重要的是，我们发现我们的模型非常强大：他们可以推断出使用数千个N-n-Body模拟的Halo目录进行测试时，使用五个不同的N-进行测试时，在使用Halo目录进行测试时，$ \ omega _ {\ rm m} $和$ \ sigma_8 $身体代码：算盘，Cubep $^3 $ M，Enzo，PKDGrav3和Ramses。令人惊讶的是，经过培训的模型推断$ \ omega _ {\ rm m} $在对数千个最先进的骆驼水力动力模拟进行测试时也可以使用，该模拟使用四个不同的代码和子网格物理实现。使用诸如浓度和最大循环速度之类的光环特性允许我们的模型提取更多信息，而牺牲了模型的鲁棒性。这可能会发生，因为不同的N体代码不会在与这些参数相对应的相关尺度上收敛。

制定了具有机器学习模拟（骆驼）项目的宇宙学和天体物理学，通过数千名宇宙的流体动力模拟和机器学习将宇宙学与天体物理学结合起来。骆驼包含4,233个宇宙学仿真，2,049个n-body和2,184个最先进的流体动力模拟，在参数空间中采样巨大的体积。在本文中，我们介绍了骆驼公共数据发布，描述了骆驼模拟的特性和由它们产生的各种数据产品，包括光环，次麦，银河系和空隙目录，功率谱，Bispectra，Lyman - $ \ Alpha $光谱，概率分布函数，光环径向轮廓和X射线光子列表。我们还释放了超过骆驼 - 山姆的数十亿个星系的目录：与Santa Cruz半分析模型相结合的大量N身体模拟。我们释放包含350多个Terabytes的所有数据，并包含143,922个快照，数百万光环，星系和摘要统计数据。我们提供有关如何访问，下载，读取和处理数据AT \ URL {https://camels.readthedocs.io}的进一步技术详细信息。

尽管在整个科学和工程中都无处不在，但只有少数部分微分方程（PDE）具有分析或封闭形式的解决方案。这激发了有关PDE的数值模拟的大量经典工作，最近，对数据驱动技术的研究旋转了机器学习（ML）。最近的一项工作表明，与机器学习的经典数值技术的混合体可以对任何一种方法提供重大改进。在这项工作中，我们表明，在纳入基于物理学的先验时，数值方案的选择至关重要。我们以基于傅立叶的光谱方法为基础，这些光谱方法比其他数值方案要高得多，以模拟使用平滑且周期性解决方案的PDE。具体而言，我们为流体动力学的三个模型PDE开发了ML增强的光谱求解器，从而提高了标准光谱求解器在相同分辨率下的准确性。我们还展示了一些关键设计原则，用于将机器学习和用于解决PDE的数值方法结合使用。

数值模拟中信息丢失可能来自各种来源，同时求解离散的部分微分方程。特别地，与等效的64位模拟相比，使用低精确的16位浮点算术进行模拟时，与精度相关的错误可能会积累在关注量中。在这里，低精度计算所需的资源要比高精度计算要低得多。最近提出的几种机器学习（ML）技术已成功纠正空间离散化引起的错误。在这项工作中，我们扩展了这些技术，以改善使用低数值精度进行的计算流体动力学（CFD）模拟。我们首先量化了在Kolmogorov强制湍流测试案例中累积的精度相关误差。随后，我们采用了卷积神经网络以及执行16位算术的完全可区分的数值求解器，以学习紧密耦合的ML-CFD混合求解器。与16位求解器相比，我们证明了ML-CFD混合求解器在减少速度场中的误差积累并在较高频率下改善动能光谱的功效。

数据驱动的湍流建模正在经历数据科学算法和硬件开发后的兴趣激增。我们讨论了一种使用可区分物理范式的方法，该方法将已知的物理学与机器学习结合起来，以开发汉堡湍流的闭合模型。我们将1D汉堡系统视为一种原型测试问题，用于建模以对流为主的湍流问题中未解决的术语。我们训练一系列模型，这些模型在后验损失函数上结合了不同程度的物理假设，以测试模型在一系列系统参数（包括粘度，时间和网格分辨率）上的疗效。我们发现，以部分微分方程形式的归纳偏差的约束模型包含已知物理或现有闭合方法会产生高度数据效率，准确和可推广的模型，并且表现优于最先进的基准。以物理信息形式添加结构还为模型带来了一定程度的解释性，可能为封闭建模的未来提供了垫脚石。

湍流无处不在，获得有效，准确且可概括的订单模型仍然是一个具有挑战性的问题。该手稿开发了减少拉格朗日模型的湍流模型的层次结构，以研究和比较在拉格朗日框架内实施平滑的粒子流体动力学（SPH）结构与嵌入神经网络（NN）作为通用函数近似器中的效果。 SPH是用于近似流体力学方程的无网格拉格朗日方法。从基于神经网络（NN）的拉格朗日加速运算符的参数化开始，该层次结构逐渐结合了一个弱化和参数化的SPH框架，该框架可以执行物理对称性和保护定律。开发了两个新的参数化平滑核，其中包含在完全参数化的SPH模拟器中，并与立方和四分之一的平滑核进行了比较。对于每个模型，我们使用基于梯度的优化最小化的不同损耗函数，其中使用自动分化（AD）和灵敏度分析（SA）获得了有效的梯度计算。每个模型均经过两个地面真理（GT）数据集训练，该数据集与每周可压缩的均质各向同性湍流（hit），（1）使用弱压缩SPH的验证集，（2）来自直接数值模拟（DNS）的高忠诚度集。数值证据表明：（a）对“合成” SPH数据的方法验证； （b）嵌入在SPH框架中近似状态方程的NN的能力； （b）每个模型都能插入DNS数据； （c）编码更多的SPH结构可提高对不同湍流的马赫数和时间尺度的普遍性； （d）引入两个新型参数化平滑核可提高SPH比标准平滑核的准确性。

从观察到的调查数据中，宇宙学的正向建模方法使在宇宙开头重建初始条件成为可能。但是，参数空间的高维度仍然构成挑战，探索完整的后部，传统算法（例如汉密尔顿蒙特卡洛（HMC））由于产生相关样本而在计算上效率低下发散（损失）功能。在这里，我们开发了一种称为变异自动采样（VBS）的混合方案，以通过学习用于蒙特卡洛采样的建议分布的变异近似来减轻这两种算法的缺点，并将其与HMC结合。变异分布被参数化为正常化的流量，并通过即时生成的样品学习，而从中提取的建议则减少了MCMC链中的自动相关长度。我们的归一化流程使用傅立叶空间卷积和元素的操作来扩展到高维度。我们表明，经过短暂的初始热身和训练阶段，VBS比简单的VI方法产生了更好的样品质量，并将采样阶段的相关长度缩短了10-50倍，仅使用HMC探索初始的后验64 $^3 $和128 $^3 $维度问题的条件，高信噪比数据观察的收益较大。

在本文中，我们根据卷积神经网络训练湍流模型。这些学到的湍流模型改善了在模拟时为不可压缩的Navier-Stokes方程的溶解不足的低分辨率解。我们的研究涉及开发可区分的数值求解器，该求解器通过多个求解器步骤支持优化梯度的传播。这些属性的重要性是通过那些模型的出色稳定性和准确性来证明的，这些模型在训练过程中展开了更多求解器步骤。此外，我们基于湍流物理学引入损失项，以进一步提高模型的准确性。这种方法应用于三个二维的湍流场景，一种均匀的腐烂湍流案例，一个暂时进化的混合层和空间不断发展的混合层。与无模型模拟相比，我们的模型在长期A-posterii统计数据方面取得了重大改进，而无需将这些统计数据直接包含在学习目标中。在推论时，我们提出的方法还获得了相似准确的纯粹数值方法的实质性改进。

Non-equilibrium chemistry is a key process in the study of the InterStellar Medium (ISM), in particular the formation of molecular clouds and thus stars. However, computationally it is among the most difficult tasks to include in astrophysical simulations, because of the typically high (>40) number of reactions, the short evolutionary timescales (about $10^4$ times less than the ISM dynamical time) and the characteristic non-linearity and stiffness of the associated Ordinary Differential Equations system (ODEs). In this proof of concept work, we show that Physics Informed Neural Networks (PINN) are a viable alternative to traditional ODE time integrators for stiff thermo-chemical systems, i.e. up to molecular hydrogen formation (9 species and 46 reactions). Testing different chemical networks in a wide range of densities ($-2< \log n/{\rm cm}^{-3}< 3$) and temperatures ($1 < \log T/{\rm K}< 5$), we find that a basic architecture can give a comfortable convergence only for simplified chemical systems: to properly capture the sudden chemical and thermal variations a Deep Galerkin Method is needed. Once trained ($\sim 10^3$ GPUhr), the PINN well reproduces the strong non-linear nature of the solutions (errors $\lesssim 10\%$) and can give speed-ups up to a factor of $\sim 200$ with respect to traditional ODE solvers. Further, the latter have completion times that vary by about $\sim 30\%$ for different initial $n$ and $T$, while the PINN method gives negligible variations. Both the speed-up and the potential improvement in load balancing imply that PINN-powered simulations are a very palatable way to solve complex chemical calculation in astrophysical and cosmological problems.

傅里叶神经运营商（FNO）是一种基于学习的方法，用于有效地模拟部分微分方程。我们提出了分解的傅立叶神经运营商（F-FNO），允许与更深的网络更好地推广。通过仔细组合傅里叶分解，跨所有层，Markov属性和残差连接的共享内核积分运算符，F-FNOS在Navier-Stokes基准数据集的最动力设置上达到六倍的误差。我们表明我们的模型保持了2％的错误率，同时仍然比数值求解器更快地运行幅度，即使问题设置扩展到包括诸如粘度和时变力的附加上下文，也是如此。这使得与相同的预制神经网络能够模拟巨大不同的条件。

暗物质光环的质量分布是初始密度扰动通过质量积聚和合并的层次增长的结果。我们使用一个可解释的机器学习框架来提供对暗物质光环的球形平均质量概况的起源的物理见解。我们训练梯度促进的树算法，以预测聚类大小的光环的最终质量曲线，并衡量提供给算法的不同输入的重要性。我们在初始条件（ICS）中找到了两个主要量表，它们影响最终的质量曲线：大约在Haloes的Lagrangian Patch $ r_l $（$ r \ sim 0.7 \，r_l $）的比例下的密度，并且在大型中-scale环境（$ r \ sim 1.7〜r_l $）。该模型还标识了光环组装历史记录中的三个主要时间尺度，这些时间尺度影响最终轮廓：（i）晕圈内病毒化的，折叠的材料的形成时间，（ii）动态时间，捕获动态无移动的，插入的动态时间光环的第一个轨道（iii）的组成部分是第三个，最近的时间尺度，它捕获了对最近大规模合并事件外部特征的影响。尽管内部轮廓保留了IC的内存，但仅此信息就不足以对外部轮廓产生准确的预测。当我们添加有关Haloes的质量积聚历史的信息时，我们发现所有半径的预测概况都有显着改善。我们的机器学习框架为ICS和质量组装历史的作用提供了新的见解，并在确定集群大小的光环的最终质量概况中。

具有经典数字求解器的湍流模拟需要非常高分辨率的网格来准确地解决动态。在这里，我们以低空间和时间分辨率培训学习模拟器，以捕获高分辨率产生的湍流动态。我们表明我们所提出的模型可以比各种科学相关指标的相同低分辨率的经典数字求解器更准确地模拟湍流动态。我们的模型从数据训练结束到底，能够以低分辨率学习一系列挑战性的混乱和动态动态，包括最先进的雅典娜++发动机产生的轨迹。我们表明，我们的更简单，通用体系结构优于来自所学到的湍流模拟文献的各种专业的湍流特异性架构。一般来说，我们看到学习的模拟器产生不稳定的轨迹;但是，我们表明调整训练噪音和时间下采样解决了这个问题。我们还发现，虽然超出培训分配的泛化是学习模型，训练噪声，卷积架构以及增加损失约束的挑战。广泛地，我们得出的结论是，我们所知的模拟器优于传统的求解器在较粗糙的网格上运行，并强调简单的设计选择可以提供稳定性和鲁棒的泛化。

银河系的半分析模型（SAM）的关键要素是晕光的质量组装历史，该历史是在树结构中编码的。构建光环合并历史的最常用方法是基于高分辨率，计算密集的N体模拟的结果。我们显示机器学习（ML）技术，特别是生成的对抗网络（GAN），是一种有希望的新工具，可以通过适度的计算成本解决此问题，并保留模拟中合并树的最佳功能。我们通过使用两个Halo Finder-Tree-Tree Builder算法构建的星系及其环境（EAGLE）模拟套件的有限的合并树样品来训练我们的GAN模型：Subfind-D-D-Trees和Rockstar-Consistentrees。我们的GAN模型成功地学习了具有高时间分辨率的结构良好的合并树结构，并在考虑训练过程中最多三个变量时，重现用于训练的合并树样品的统计特征。这些输入（我们的GAN模型）也学到了其表示，是光环祖细胞的质量和最终的后代，祖细胞类型（主晕或卫星）以及祖细胞与主分支中的祖先的距离。后两个输入的包含大大改善了对光环质量生长历史的最终学识，尤其是对于子发现样的ML树。当将ML合并树的同等大小的样本与Eagle模拟的样品进行比较时，我们发现了与子发现样的ML树的更好一致性。最后，我们的基于GAN的框架可用于构建低和中间质量光环的合并历史，这是宇宙学模拟中最丰富的。

We propose a new approach to learning the subgrid-scale model effects when simulating partial differential equations (PDEs) solved by the method of lines and their representation in chaotic ordinary differential equations, based on neural ordinary differential equations (NODEs). Solving systems with fine temporal and spatial grid scales is an ongoing computational challenge, and closure models are generally difficult to tune. Machine learning approaches have increased the accuracy and efficiency of computational fluid dynamics solvers. In this approach neural networks are used to learn the coarse- to fine-grid map, which can be viewed as subgrid scale parameterization. We propose a strategy that uses the NODE and partial knowledge to learn the source dynamics at a continuous level. Our method inherits the advantages of NODEs and can be used to parameterize subgrid scales, approximate coupling operators, and improve the efficiency of low-order solvers. Numerical results using the two-scale Lorenz 96 ODE and the convection-diffusion PDE are used to illustrate this approach.

我们介绍了两个块坐标下降算法，以解决使用普通微分方程（ODE）作为动态约束的优化问题。该算法无需实施直接或伴随的灵敏度分析方法来评估损失功能梯度。它们是由对原始问题重新制作的重新制作，作为与平等约束的等效优化问题。该算法自然遵循旨在根据ODE求解器恢复梯度定位算法的步骤，该算法明确解释了ODE溶液的灵敏度。在我们的第一个提出的算法中，我们避免通过将ODE求解器集成为隐式约束序列来明确求解ODE。在我们的第二个算法中，我们使用ODE求解器重置ODE解决方案，但没有直接使用伴随灵敏度分析方法。这两种算法都接受微型批量实施，并从基于GPU的并行化中显示出显着的效率优势。当应用于学习Cucker-Smale模型的参数时，我们演示了该算法的性能。将算法与基于具有敏感性分析能力的ODE求解器的梯度下降算法进行比较，使用Pytorch和JAX实现，具有各种状态数量的敏感性分析能力。实验结果表明，所提出的算法至少比Pytorch实现快4倍，并且比JAX实现快至少16倍。对于大版本的Cucker-Smale模型，JAX实现的速度比基于灵敏度分析的实现快数千倍。此外，我们的算法在培训和测试数据上都会产生更准确的结果。对于实施实时参数估计（例如诊断算法）的算法，计算效率的这种提高至关重要。

了解晕星连接是基本的，以提高我们对暗物质的性质和性质的知识。在这项工作中，我们构建一个模型，鉴于IT主机的星系的位置，速度，恒星群体和半径的位置。为了捕获来自星系属性的相关性及其相位空间的相关信息，我们使用图形神经网络（GNN），该网络设计用于使用不规则和稀疏数据。我们从宇宙学和天体物理学中培训了我们在Galaxies上的模型，从宇宙学和天体物理学与机器学习模拟（骆驼）项目。我们的模型，占宇宙学和天体物理的不确定性，能够用$ \ SIM 0.2欧元的准确度来限制晕群。此外，在一套模拟上培训的GNN能够在用利用不同的代码的模拟上进行测试时保留其精度的一部分精度。 GNN的Pytorch几何实现在HTTPS://github.com/pablovd/halographnet上公开可用于github上