这项工作开发了基于神经网络的预处理，以加速晶格量子场理论中的Wilson-DIRAC正常方程。该方法是针对临界点附近的两种晶格Schwinger模型实现的。在该系统中，发现神经网络预处理可以加速与未经本科系统的溶液或基于偶数或不完整的Cholesky分解的常规方法相比，偶联梯度求解器的收敛性，如降低的降低数量收敛所需的迭代和/或复杂操作。还表明，在具有较小晶格量的合奏上训练的预处理可用于为具有较大晶格量的合奏构建预处理，并且性能最小。这种体积转移技术摊销了训练成本，并为将这种预调节器扩展到具有较大晶格体积和四个维度的晶格场理论计算。

基于标准化流的算法是由于有希望的机器学习方法，以便以可以使渐近精确的方式采样复杂的概率分布。在格子场理论的背景下，原则上的研究已经证明了这种方法对标量理论，衡量理论和统计系统的有效性。这项工作开发了能够使用动力学蜕皮的基于流动的理论采样的方法，这对于应用于粒子物理标准模型和许多冷凝物系的晶格场理论研究是必要的。作为一种实践演示，这些方法应用于通过Yukawa相互作用耦合到标量场的无大量交错的费米子的二维理论的现场配置的采样。

这项工作介绍了使用伪层作为费米子决定因素的随机估计量的费米子晶状体理论中基于流动采样的量规均值架构。这是最先进的晶格场理论计算中的默认方法，这使得对流向模型在QCD等理论的实际应用至关重要。还概述了通过标准技术（例如/奇数预处理和HasenBusch分解）来改进基于流的采样方法的方法。提供了二维U（1）和SU（3）具有$ n_f = 2 $ FERMIONS的量规理论的数值演示。

我们介绍了Netket的版本3，机器学习工具箱适用于许多身体量子物理学。Netket围绕神经网络量子状态构建，并为其评估和优化提供有效的算法。这个新版本是基于JAX的顶部，一个用于Python编程语言的可差分编程和加速的线性代数框架。最重要的新功能是使用机器学习框架的简明符号来定义纯Python代码中的任意神经网络ANS \“凝固的可能性，这允许立即编译以及渐变的隐式生成自动化。Netket 3还带来了GPU和TPU加速器的支持，对离散对称组的高级支持，块以缩放多程度的自由度，Quantum动态应用程序的驱动程序，以及改进的模块化，允许用户仅使用部分工具箱是他们自己代码的基础。

标准化流量是一类深生成模型，比传统的蒙特卡洛模拟更有效地为晶格场理论提供了有希望的途径。在这项工作中，我们表明，随机归一化流的理论框架，其中神经网络层与蒙特卡洛更新结合在一起，与基于jarzynski平等的不平衡模拟的基础相同，这些模拟最近已被部署以计算计算晶格计理论的自由能差异。我们制定了一种策略，以优化这种扩展类别的生成模型的效率和应用程序的示例。

这本数字本书包含在物理模拟的背景下与深度学习相关的一切实际和全面的一切。尽可能多，所有主题都带有Jupyter笔记本的形式的动手代码示例，以便快速入门。除了标准的受监督学习的数据中，我们将看看物理丢失约束，更紧密耦合的学习算法，具有可微分的模拟，以及加强学习和不确定性建模。我们生活在令人兴奋的时期：这些方法具有从根本上改变计算机模拟可以实现的巨大潜力。

在过去的十年中，在许多工程领域，包括自动驾驶汽车，医疗诊断和搜索引擎，甚至在艺术创作中，神经网络（NNS）已被证明是极有效的工具。确实，NN通常果断地超过传统算法。直到最近才引起重大兴趣的一个领域是使用NNS设计数值求解器，尤其是用于离散的偏微分方程。最近的几篇论文考虑使用NNS来开发多机方法，这些方法是解决离散的偏微分方程和其他稀疏矩阵问题的领先计算工具。我们扩展了这些新想法，重点关注所谓的放松操作员（也称为Smoothers），这是Multigrid算法的重要组成部分，在这种情况下尚未受到很多关注。我们探索了一种使用NNS学习带有随机系数的扩散算子的放松参数的方法，用于雅各比类型的Smoothers和4Color Gaussseidel Smoothers。后者的产量异常高效且易于使连续的放松（SOR）SmoOthors平行。此外，这项工作表明，使用两个网格方法在相对较小的网格上学习放松参数，而Gelfand的公式可以轻松实现。这些方法有效地产生了几乎最佳的参数，从而显着提高了大网格上的Multigrid算法的收敛速率。

Low-rank matrix approximations, such as the truncated singular value decomposition and the rank-revealing QR decomposition, play a central role in data analysis and scientific computing. This work surveys and extends recent research which demonstrates that randomization offers a powerful tool for performing low-rank matrix approximation. These techniques exploit modern computational architectures more fully than classical methods and open the possibility of dealing with truly massive data sets.This paper presents a modular framework for constructing randomized algorithms that compute partial matrix decompositions. These methods use random sampling to identify a subspace that captures most of the action of a matrix. The input matrix is then compressed-either explicitly or implicitly-to this subspace, and the reduced matrix is manipulated deterministically to obtain the desired low-rank factorization. In many cases, this approach beats its classical competitors in terms of accuracy, speed, and robustness. These claims are supported by extensive numerical experiments and a detailed error analysis.The specific benefits of randomized techniques depend on the computational environment. Consider the model problem of finding the k dominant components of the singular value decomposition of an m × n matrix. (i) For a dense input matrix, randomized algorithms require O(mn log(k)) floating-point operations (flops) in contrast with O(mnk) for classical algorithms. (ii) For a sparse input matrix, the flop count matches classical Krylov subspace methods, but the randomized approach is more robust and can easily be reorganized to exploit multi-processor architectures. (iii) For a matrix that is too large to fit in fast memory, the randomized techniques require only a constant number of passes over the data, as opposed to O(k) passes for classical algorithms. In fact, it is sometimes possible to perform matrix approximation with a single pass over the data.

FIG. 1. Schematic diagram of a Variational Quantum Algorithm (VQA). The inputs to a VQA are: a cost function C(θ), with θ a set of parameters that encodes the solution to the problem, an ansatz whose parameters are trained to minimize the cost, and (possibly) a set of training data {ρ k } used during the optimization. Here, the cost can often be expressed in the form in Eq. ( 3), for some set of functions {f k }. Also, the ansatz is shown as a parameterized quantum circuit (on the left), which is analogous to a neural network (also shown schematically on the right). At each iteration of the loop one uses a quantum computer to efficiently estimate the cost (or its gradients). This information is fed into a classical computer that leverages the power of optimizers to navigate the cost landscape C(θ) and solve the optimization problem in Eq. ( 1). Once a termination condition is met, the VQA outputs an estimate of the solution to the problem. The form of the output depends on the precise task at hand. The red box indicates some of the most common types of outputs.

在科学和工程应用中，通常需要反复解决类似的计算问题。在这种情况下，我们可以利用先前解决的问题实例中的数据来提高查找后续解决方案的效率。这提供了一个独特的机会，可以将机器学习（尤其是元学习）和科学计算相结合。迄今为止，文献中已经提出了各种此类域特异性方法，但是设计这些方法的通用方法仍然不足。在本文中，我们通过制定一个通用框架来描述这些问题，并提出一种基于梯度的算法来以统一的方式解决这些问题。作为这种方法的说明，我们研究了迭代求解器的适应性参数的自适应生成，以加速微分方程的溶液。我们通过理论分析和数值实验来证明我们方法的性能和多功能性，包括应用于不可压缩流量模拟的应用以及参数估计的逆问题。

低精度算术对神经网络的训练产生了变革性的影响，从而减少了计算，记忆和能量需求。然而，尽管有希望，低精确的算术对高斯流程（GPS）的关注很少，这主要是因为GPS需要在低精确度中不稳定的复杂线性代数例程。我们研究以一半精度训练GP时可能发生的不同故障模式。为了避免这些故障模式，我们提出了一种多方面的方法，该方法涉及具有重新构造，混合精度和预处理的共轭梯度。我们的方法大大提高了低精度在各种设置中的偶联梯度的数值稳定性和实践性能，从而使GPS能够在单个GPU上以10美元的$ 10 $ 10 $ 10 $ 10 $ 10的数据点进行培训，而没有任何稀疏的近似值。

Recent years have witnessed a growth in mathematics for deep learning--which seeks a deeper understanding of the concepts of deep learning with mathematics, and explores how to make it more robust--and deep learning for mathematics, where deep learning algorithms are used to solve problems in mathematics. The latter has popularised the field of scientific machine learning where deep learning is applied to problems in scientific computing. Specifically, more and more neural network architectures have been developed to solve specific classes of partial differential equations (PDEs). Such methods exploit properties that are inherent to PDEs and thus solve the PDEs better than classical feed-forward neural networks, recurrent neural networks, and convolutional neural networks. This has had a great impact in the area of mathematical modeling where parametric PDEs are widely used to model most natural and physical processes arising in science and engineering, In this work, we review such methods and extend them for parametric studies as well as for solving the related inverse problems. We equally proceed to show their relevance in some industrial applications.

泊松方程至关重要，以获得用于霍尔效应推进器和炉射线放电的等离子体流体模拟中的自我一致的解决方案，因为泊松解决方案看起来是不稳定的非线性流动方程的源期。作为第一步，使用多尺度架构研究了使用深神经网络的零小小的边界条件的求解2D泊松方程，以分支机构，深度和接收领域的数量定义。一个关键目标是更好地了解神经网络如何学习泊松解决方案，并提供指导方针来实现最佳网络配置，特别是当耦合到具有等离子体源术语的时变欧拉方程时。这里，发现接收领域对于正确捕获场的大拓扑结构至关重要。对多种架构，损失和封锁的调查提供了最佳的网络来准确解决稳定的泊松问题。然后在具有越来越多的节点的网格上监测称为Plasmanet的最佳神经网络求解器的性能，并与经典平行的线性溶剂进行比较。接下来，在电子等离子体振荡测试盒的上下文中，Plasmanet与不稳定的欧拉等离子体流体方程求解器联接。在这一时间不断发展的问题中，需要物理损失来产生稳定的模拟。最终测试了涉及化学和平流的更复杂的放电繁殖案例。应用了先前部分中建立的指导方针，以构建CNN，以解决具有不同边界条件的圆柱形坐标中的相同泊松方程。结果揭示了良好的CNN预测，并利用现代GPU的硬件铺平了新的计算策略，以预测涉及泊松方程的不稳定问题。

物理信息的神经网络（PINN）是神经网络（NNS），它们作为神经网络本身的组成部分编码模型方程，例如部分微分方程（PDE）。如今，PINN是用于求解PDE，分数方程，积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架，在该框架中，NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述：虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络，这些神经网络构成了香草·皮恩（Vanilla Pinn）以及许多其他变体，例如物理受限的神经网络（PCNN），各种HP-VPINN，变量HP-VPINN，VPINN，VPINN，变体。和保守的Pinn（CPINN）。该研究表明，大多数研究都集中在通过不同的激活功能，梯度优化技术，神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛，但通过证明其在某些情况下比有限元方法（FEM）等经典数值技术更可行的能力，但仍有可能的进步，最著名的是尚未解决的理论问题。

机器学习，特别是深度学习方法在许多模式识别和数据处理问题，游戏玩法中都优于人类的能力，现在在科学发现中也起着越来越重要的作用。机器学习在分子科学中的关键应用是通过使用密度函数理论，耦合群或其他量子化学方法获得的电子schr \“ odinger方程的Ab-Initio溶液中的势能表面或力场。我们回顾了一种最新和互补的方法：使用机器学习来辅助从第一原理中直接解决量子化学问题。具体来说，我们专注于使用神经网络ANSATZ功能的量子蒙特卡洛（QMC）方法，以解决电子SCHR \ “ Odinger方程在第一和第二量化中，计算场和激发态，并概括多个核构型。与现有的量子化学方法相比，这些新的深QMC方法具有以相对适度的计算成本生成高度准确的Schr \“ Odinger方程的溶液。

神经网络的经典发展主要集中在有限维欧基德空间或有限组之间的学习映射。我们提出了神经网络的概括，以学习映射无限尺寸函数空间之间的运算符。我们通过一类线性积分运算符和非线性激活函数的组成制定运营商的近似，使得组合的操作员可以近似复杂的非线性运算符。我们证明了我们建筑的普遍近似定理。此外，我们介绍了四类运算符参数化：基于图形的运算符，低秩运算符，基于多极图形的运算符和傅里叶运算符，并描述了每个用于用每个计算的高效算法。所提出的神经运营商是决议不变的：它们在底层函数空间的不同离散化之间共享相同的网络参数，并且可以用于零击超分辨率。在数值上，与现有的基于机器学习的方法，达西流程和Navier-Stokes方程相比，所提出的模型显示出卓越的性能，而与传统的PDE求解器相比，与现有的基于机器学习的方法有关的基于机器学习的方法。

神经网络和量子蒙特卡罗方法的组合作为前进的高精度电子结构计算的道路出现。以前的建议具有组合具有反对称层的增强的神经网络层，以满足电子波技的反对称要求。但是，迄今为止，如果可以代表物理兴趣的反对称功能，则不清楚尚不清楚，并且难以测量反对称层的富有效果。这项工作通过将明确的防视通用神经网络层作为诊断工具引入明确的防视通用神经网络层来解决这个问题。我们首先介绍一种通用的反对二手（GA）层，我们用于更换称为FEMINET的高精度ANSATZ的整个防反对二层层。我们证明所得到的FERMINET-GA架构可以有效地产生小型系统的确切地位能量。然后，我们考虑一种分解的反对称（FA）层，其通过替换具有反对称神经网络的产品的决定因素的产品更易于推广FERMINET。有趣的是，由此产生的FERMINET-FA架构并不优于FERMINET。这表明抗体产品的总和是Ferminet架构的关键限制方面。为了进一步探索这一点，我们研究了称为全决定性模式的FERMINET的微小修改，其用单一组合的决定蛋白取代了决定因素的每个产物。完整的单决定性Ferminet封闭标准单决定性Ferminet和Ferminet-Ga之间的大部分间隙。令人惊讶的是，在4.0 BoHR的解离键长度的氮素分子上，全单决定性Ferminet可以显着优于标准的64个决定性Ferminet，从而在0.4千卡/摩尔中获得最佳可用计算基准的能量。

Non-equilibrium chemistry is a key process in the study of the InterStellar Medium (ISM), in particular the formation of molecular clouds and thus stars. However, computationally it is among the most difficult tasks to include in astrophysical simulations, because of the typically high (>40) number of reactions, the short evolutionary timescales (about $10^4$ times less than the ISM dynamical time) and the characteristic non-linearity and stiffness of the associated Ordinary Differential Equations system (ODEs). In this proof of concept work, we show that Physics Informed Neural Networks (PINN) are a viable alternative to traditional ODE time integrators for stiff thermo-chemical systems, i.e. up to molecular hydrogen formation (9 species and 46 reactions). Testing different chemical networks in a wide range of densities ($-2< \log n/{\rm cm}^{-3}< 3$) and temperatures ($1 < \log T/{\rm K}< 5$), we find that a basic architecture can give a comfortable convergence only for simplified chemical systems: to properly capture the sudden chemical and thermal variations a Deep Galerkin Method is needed. Once trained ($\sim 10^3$ GPUhr), the PINN well reproduces the strong non-linear nature of the solutions (errors $\lesssim 10\%$) and can give speed-ups up to a factor of $\sim 200$ with respect to traditional ODE solvers. Further, the latter have completion times that vary by about $\sim 30\%$ for different initial $n$ and $T$, while the PINN method gives negligible variations. Both the speed-up and the potential improvement in load balancing imply that PINN-powered simulations are a very palatable way to solve complex chemical calculation in astrophysical and cosmological problems.

预处理一直是优化和机器学习方面的主食技术。它通常会减少其应用于矩阵的条件数，从而加快优化算法的收敛性。尽管实践中有许多流行的预处理技术，但大多数人缺乏降低病数的理论保证。在本文中，我们研究了最佳对角线预处理的问题，以分别或同时分别或同时缩放其行或列来实现任何全级矩阵的条件数量的最大降低。我们首先将问题重新将问题重新制定为一个准凸出问题，并提供了一种基线一分配算法，该算法在实践中易于实现，其中每次迭代都包含SDP可行性问题。然后，我们建议使用$ o（\ log（\ frac {1} {\ epsilon}）））$迭代复杂度提出多项式时间潜在的降低算法，其中每个迭代均由基于Nesterov-todd方向的牛顿更新组成。我们的算法基于该问题的表述，该问题是von Neumann最佳生长问题的广义版本。接下来，我们专注于单方面的最佳对角线预处理问题，并证明它们可以作为标准双SDP问题配方，我们应用了有效的定制求解器并研究我们最佳的对角线预处理的经验性能。我们在大型矩阵上进行的广泛实验表明，与基于启发式的预处理相比，最佳对角线预处理在减少条件数方面的实际吸引力。

我们为晶格计上的普通机器学习应用提出了格子仪表的卷积卷积神经网络（L-CNNS）。在该网络结构的核心，是一种新颖的卷积层，其保留了规范设备，同时在连续的双线性层形成任意形状的威尔逊环。与拓扑信息一起，例如来自Polyakov环路，这样的网络原则上可以近似晶格上的任何仪表协调功能。我们展示了L-CNN可以学习和概括仪表不变的数量，传统的卷积神经网络无法找到。