本文介绍了一种基于Krnet（ADDA-KR）的自适应深度近似策略，用于求解稳态Fokker-Planck（F-P）方程。 F-P方程通常是高维度和在无限域上定义的，这限制了基于传统网格的数值方法的应用。通过Knothe-Rosenblatt重新排列，我们的新提出的基于流的生成模型称为KrNet，提供了一种概率密度函数的家族，以作为Fokker-Planck方程的有效解决方案候选者，这与传统的计算方法较弱的维度依赖性较弱并且可以有效地估计一般的高维密度函数。为了获得用于F-P方程的近似的有效随机搭配点，我们开发了一种自适应采样过程，其中使用每次迭代的近似密度函数来迭代地生成样本。我们介绍了ADDA-KR的一般框架，验证了其准确性并通过数值实验展示了其效率。

在这项工作中，我们提出了一种深度自适应采样（DAS）方法，用于求解部分微分方程（PDE），其中利用深神经网络近似PDE和深生成模型的解决方案，用于生成改进训练集的新的搭配点。 DAS的整体过程由两个组件组成：通过最小化训练集中的搭配点上的剩余损失来解决PDE，并生成新的训练集，以进一步提高电流近似解的准确性。特别地，我们将残差作为概率密度函数进行处理，并用一个被称为Krnet的深生成模型近似它。来自Krnet的新样品与残留物诱导的分布一致，即，更多样品位于大残留的区域中，并且较少的样品位于小残余区域中。类似于经典的自适应方法，例如自适应有限元，Krnet作为引导训练集的改进的错误指示器。与用均匀分布的搭配点获得的神经网络近似相比，发达的算法可以显着提高精度，特别是对于低规律性和高维问题。我们展示了一个理论分析，表明所提出的DAS方法可以减少误差并展示其与数值实验的有效性。

在这项工作中，我们已经提出了一种称为VAE-Krnet的生成模型，用于密度估计或近似，其将规范变形Autiachoder（VAE）与我们最近开发的基于流的生成模型相结合，称为Krnet。 VAE用作尺寸减少技术以捕获潜伏空间，并且Krnet用于模拟潜在变量的分布。在数据和潜在变量之间使用线性模型，我们表明VAE-Krnet可以比规范VAE更有效且鲁棒。 VAE-KRNET可以用作密度模型，以近似数据分布或任意概率密度函数（PDF）已知到常数。 VAE-KRNET在维度方面灵活。当尺寸的数量相对较小时，Krnet可以有效地近似于原始随机变量的分布。对于高维病例，我们可以使用VAE-Krnet合并尺寸减少。 VAE-Krnet的一个重要应用是用于后部分布的近似的变分贝叶。变分贝叶斯方法通常基于模型和后部之间的Kullback-Leibler（KL）发散的最小化。对于高尺寸分布，由于维度的诅咒构建精确的密度模型是非常具有挑战性的，其中通常引入额外的假设以效率。例如，经典平均场方法假设尺寸之间的相互独立性，这通常会导致由于过度简化而产生低估的方差。为了减轻这个问题，我们包括丢失潜在随机变量和原始随机变量之间的相互信息的最大化，这有助于从低密度的区域保持更多信息，使得方差估计得到改善。

在这项工作中，我们提出了一种基于时间归一化流的自适应学习方法，用于解决时间依赖于依赖的Fokker-Planck（TFP）方程。众所周知，这种等式的解决方案是概率密度函数，因此我们的方法依赖于使用时间标准化流程建模目标解决方案。然后基于TFP损耗函数训练时间归一化流量，而不需要任何标记的数据。作为一种机器学习方案，所提出的方法是无网线的，并且可以很容易地应用于高维度问题。我们提出了各种测试问题以表明学习方法的有效性。

概率密度演化的推导提供了对许多随机系统及其性能的行为的宝贵洞察力。但是，对于大多数实时应用程序，对概率密度演变的数值确定是一项艰巨的任务。后者是由于所需的时间和空间离散方案引起的，这些方案使大多数计算解决方案过于效率和不切实际。在这方面，有效的计算替代模型的开发至关重要。关于物理受限网络的最新研究表明，可以通过编码对深神经网络的物理洞察力来实现合适的替代物。为此，目前的工作介绍了Deeppdem，它利用物理信息网络的概念通过提出深度学习方法来解决概率密度的演变。 Deeppdem了解随机结构的一般密度演化方程（GDEE）。这种方法为无网格学习方法铺平了道路，该方法可以通过以前的模拟数据解决密度演化问题。此外，它还可以作为优化方案或实时应用程序中任何其他时空点的溶液的有效替代物。为了证明所提出的框架的潜在适用性，研究了两个具有不同激活功能的网络体系结构以及两个优化器。关于三个不同问题的数值实施验证了所提出方法的准确性和功效。

Normalizing Flows are generative models which produce tractable distributions where both sampling and density evaluation can be efficient and exact. The goal of this survey article is to give a coherent and comprehensive review of the literature around the construction and use of Normalizing Flows for distribution learning. We aim to provide context and explanation of the models, review current state-of-the-art literature, and identify open questions and promising future directions.

Recent years have witnessed a growth in mathematics for deep learning--which seeks a deeper understanding of the concepts of deep learning with mathematics, and explores how to make it more robust--and deep learning for mathematics, where deep learning algorithms are used to solve problems in mathematics. The latter has popularised the field of scientific machine learning where deep learning is applied to problems in scientific computing. Specifically, more and more neural network architectures have been developed to solve specific classes of partial differential equations (PDEs). Such methods exploit properties that are inherent to PDEs and thus solve the PDEs better than classical feed-forward neural networks, recurrent neural networks, and convolutional neural networks. This has had a great impact in the area of mathematical modeling where parametric PDEs are widely used to model most natural and physical processes arising in science and engineering, In this work, we review such methods and extend them for parametric studies as well as for solving the related inverse problems. We equally proceed to show their relevance in some industrial applications.

These notes were compiled as lecture notes for a course developed and taught at the University of the Southern California. They should be accessible to a typical engineering graduate student with a strong background in Applied Mathematics. The main objective of these notes is to introduce a student who is familiar with concepts in linear algebra and partial differential equations to select topics in deep learning. These lecture notes exploit the strong connections between deep learning algorithms and the more conventional techniques of computational physics to achieve two goals. First, they use concepts from computational physics to develop an understanding of deep learning algorithms. Not surprisingly, many concepts in deep learning can be connected to similar concepts in computational physics, and one can utilize this connection to better understand these algorithms. Second, several novel deep learning algorithms can be used to solve challenging problems in computational physics. Thus, they offer someone who is interested in modeling a physical phenomena with a complementary set of tools.

在高维度中整合时间依赖性的fokker-planck方程的选择方法是通过集成相关的随机微分方程来生成溶液中的样品。在这里，我们介绍了基于整合描述概率流的普通微分方程的替代方案。与随机动力学不同，该方程式在以后的任何时候都会从初始密度将样品从溶液中的样品推到样品。该方法具有直接访问数量的优势，这些数量挑战仅估算仅给定解决方案的样品，例如概率电流，密度本身及其熵。概率流程方程取决于溶液对数的梯度（其“得分”），因此A-Priori未知也是如此。为了解决这种依赖性，我们用一个深神网络对分数进行建模，该网络通过根据瞬时概率电流传播一组粒子来实现，该网络可以在直接学习中学习。我们的方法是基于基于得分的生成建模的最新进展，其重要区别是训练程序是独立的，并且不需要来自目标密度的样本才能事先可用。为了证明该方法的有效性，我们考虑了相互作用粒子系统物理学的几个示例。我们发现该方法可以很好地缩放到高维系统，并准确匹配可用的分析解决方案和通过蒙特卡洛计算的力矩。

物理信息的神经网络（PINN）已证明是解决部分微分方程（PDE）的前进和反问题的有效工具。 PINN将PDE嵌入神经网络的丢失中，并在一组散射的残留点上评估该PDE损失。这些点的分布对于PINN的性能非常重要。但是，在现有的针对PINN的研究中，仅使用了一些简单的残留点抽样方法。在这里，我们介绍了两类采样的全面研究：非自适应均匀抽样和适应性非均匀抽样。我们考虑了六个均匀的采样，包括（1）稳定的均匀网格，（2）均匀随机采样，（3）拉丁语超立方体采样，（4）Halton序列，（5）Hammersley序列和（6）Sobol序列。我们还考虑了用于均匀抽样的重采样策略。为了提高采样效率和PINN的准确性，我们提出了两种新的基于残余的自适应抽样方法：基于残留的自适应分布（RAD）和基于残留的自适应改进，并具有分布（RAR-D），它们会动态地改善基于训练过程中PDE残差的剩余点。因此，我们总共考虑了10种不同的采样方法，包括6种非自适应均匀抽样，重采样的均匀抽样，两种提议的自适应抽样和现有的自适应抽样。我们广泛测试了这些抽样方法在许多设置中的四个正向问题和两个反问题的性能。我们在本研究中介绍的数值结果总结了6000多个PINN的模拟。我们表明，RAD和RAR-D的提议的自适应采样方法显着提高了PINN的准确性，其残留点较少。在这项研究中获得的结果也可以用作选择抽样方法的实用指南。

物理信息的神经网络（PINN）是神经网络（NNS），它们作为神经网络本身的组成部分编码模型方程，例如部分微分方程（PDE）。如今，PINN是用于求解PDE，分数方程，积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架，在该框架中，NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述：虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络，这些神经网络构成了香草·皮恩（Vanilla Pinn）以及许多其他变体，例如物理受限的神经网络（PCNN），各种HP-VPINN，变量HP-VPINN，VPINN，VPINN，变体。和保守的Pinn（CPINN）。该研究表明，大多数研究都集中在通过不同的激活功能，梯度优化技术，神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛，但通过证明其在某些情况下比有限元方法（FEM）等经典数值技术更可行的能力，但仍有可能的进步，最著名的是尚未解决的理论问题。

Deep learning has achieved remarkable success in diverse applications; however, its use in solving partial differential equations (PDEs) has emerged only recently. Here, we present an overview of physics-informed neural networks (PINNs), which embed a PDE into the loss of the neural network using automatic differentiation. The PINN algorithm is simple, and it can be applied to different types of PDEs, including integro-differential equations, fractional PDEs, and stochastic PDEs. Moreover, from the implementation point of view, PINNs solve inverse problems as easily as forward problems. We propose a new residual-based adaptive refinement (RAR) method to improve the training efficiency of PINNs. For pedagogical reasons, we compare the PINN algorithm to a standard finite element method. We also present a Python library for PINNs, DeepXDE, which is designed to serve both as an education tool to be used in the classroom as well as a research tool for solving problems in computational science and engineering. Specifically, DeepXDE can solve forward problems given initial and boundary conditions, as well as inverse problems given some extra measurements. DeepXDE supports complex-geometry domains based on the technique of constructive solid geometry, and enables the user code to be compact, resembling closely the mathematical formulation. We introduce the usage of DeepXDE and its customizability, and we also demonstrate the capability of PINNs and the user-friendliness of DeepXDE for five different examples. More broadly, DeepXDE contributes to the more rapid development of the emerging Scientific Machine Learning field.

High-dimensional PDEs have been a longstanding computational challenge. We propose to solve highdimensional PDEs by approximating the solution with a deep neural network which is trained to satisfy the differential operator, initial condition, and boundary conditions. Our algorithm is meshfree, which is key since meshes become infeasible in higher dimensions. Instead of forming a mesh, the neural network is trained on batches of randomly sampled time and space points. The algorithm is tested on a class of high-dimensional free boundary PDEs, which we are able to accurately solve in up to 200 dimensions. The algorithm is also tested on a high-dimensional Hamilton-Jacobi-Bellman PDE and Burgers' equation. The deep learning algorithm approximates the general solution to the Burgers' equation for a continuum of different boundary conditions and physical conditions (which can be viewed as a high-dimensional space). We call the algorithm a "Deep Galerkin Method (DGM)" since it is similar in spirit to Galerkin methods, with the solution approximated by a neural network instead of a linear combination of basis functions. In addition, we prove a theorem regarding the approximation power of neural networks for a class of quasilinear parabolic PDEs.

在概率密度范围内相对于Wassersein度量的空间的梯度流程通常具有很好的特性，并且已在几种机器学习应用中使用。计算Wasserstein梯度流量的标准方法是有限差异，使网格上的基础空间离散，并且不可扩展。在这项工作中，我们提出了一种可扩展的近端梯度型算法，用于Wassersein梯度流。我们的方法的关键是目标函数的变分形式，这使得可以通过引流 - 双重优化实现JKO近端地图。可以通过替代地更新内部和外环中的参数来有效地解决该原始问题。我们的框架涵盖了包括热方程和多孔介质方程的所有经典Wasserstein梯度流。我们展示了若干数值示例的算法的性能和可扩展性。

估计给定样品的吉布斯密度函数是计算统计和统计学习中的重要问题。尽管普遍使用了良好的最大似然法，但它需要计算分区函数（即密度的归一化）。可以轻松地针对简单的低维问题计算此功能，但是对于一般密度和高维问题，其计算很困难甚至是棘手的。在本文中，我们提出了一种基于最大a-posteriori（MAP）估计器的替代方法，我们命名了最大恢复地图（MR-MAP），以得出不需要计算分区功能的估计器，并将问题重新制定为优化问题。我们进一步提出了一种最小动作类型的潜力，使我们能够快速解决优化问题作为馈送屈曲神经网络。我们证明了我们的方法对某些标准数据集的有效性。

部分微分方程通常用于模拟各种物理现象，例如热扩散，波传播，流体动力学，弹性，电动力学和图像处理，并且已经开发了许多分析方法或传统的数值方法并广泛用于其溶液。受深度学习对科学和工程研究的迅速影响的启发，在本文中，我们提出了一个新型的神经网络GF-NET，以无监督的方式学习绿色的线性反应扩散方程的功能。所提出的方法克服了通过使用物理信息的方法和绿色功能的对称性来查找任意域上方程函数的挑战。结果，它尤其导致了在不同边界条件和来源下解决目标方程的有效方法。我们还通过正方形，环形和L形域中的实验证明了所提出的方法的有效性。

在本文中，我们提出了一种求解高维椭圆局部微分方程（PDE）的半群方法和基于神经网络的相关特征值问题。对于PDE问题，我们在半群运营商的帮助下将原始方程式重构为变分问题，然后解决神经网络（NN）参数化的变分问题。主要优点是在随机梯度下降训练期间不需要混合的二阶衍生计算，并且由半群运算符自动考虑边界条件。与Pinn \ Cite {Raissi2019physics}和DeepRitz \ Cite {Weinan2018Deep}不同的流行方法，其中仅通过惩罚功能强制执行，因此改变了真实解决方案，所提出的方法能够解决没有惩罚功能的边界条件它即使添加了惩罚功能，它也会给出正确的真实解决方案，感谢semigoup运算符。对于特征值问题，提出了一种原始方法，有效地解析了简单的标量双变量的约束，并与BSDE求解器\ Cite {Han202020Solving}相比，诸如与线性相关的特征值问题之类的问题相比，算法更快地算法SCHR \“Odinger操作员。提供了数值结果以证明所提出的方法的性能。

Normalizing flows provide a general mechanism for defining expressive probability distributions, only requiring the specification of a (usually simple) base distribution and a series of bijective transformations. There has been much recent work on normalizing flows, ranging from improving their expressive power to expanding their application. We believe the field has now matured and is in need of a unified perspective. In this review, we attempt to provide such a perspective by describing flows through the lens of probabilistic modeling and inference. We place special emphasis on the fundamental principles of flow design, and discuss foundational topics such as expressive power and computational trade-offs. We also broaden the conceptual framing of flows by relating them to more general probability transformations. Lastly, we summarize the use of flows for tasks such as generative modeling, approximate inference, and supervised learning.

深度学习表明了视觉识别和某些人工智能任务的成功应用。深度学习也被认为是一种强大的工具，具有近似功能的高度灵活性。在本工作中，设计具有所需属性的功能，以近似PDE的解决方案。我们的方法基于后验误差估计，其中解决了错误定位以在神经网络框架内制定误差估计器的伴随问题。开发了一种高效且易于实现的算法，以通过采用双重加权剩余方法来获得多个目标功能的后验误差估计，然后使用神经网络计算原始和伴随解决方案。本研究表明，即使具有相对较少的训练数据，这种基于数据驱动的模型的学习具有卓越的感兴趣量的近似。用数值测试实施例证实了新颖的算法发展。证明了在浅神经网络上使用深神经网络的优点，并且还呈现了收敛增强技术

我们介绍所谓的深度氏菌法，以基于从交互粒子方法（IPM）计算的数据的物理参数来学习和生成随机动力系统的不变措施。我们利用深神经网络（DNN）的富有效力来表示从给定的输入（源）分布到任意目标分布的样本的变换，既没有假设在闭合形式中的分布函数也不是样本的有限状态空间。在培训中，我们更新网络权重，以最小化输入和目标样本之间的离散Wasserstein距离。为了降低计算成本，我们提出了一种迭代划分和征服（迷你批次内部点）算法，在WasserStein距离中找到最佳转换矩阵。我们展示了数值结果，以证明我们通过混沌流动计算反应扩散前速度在计算反应扩散前速度中产生的随机动力系统不变措施的IPM计算方法的性能。物理参数是一个大的PECL \'等数字，反映了我们兴趣的平流主导地位。