在本文中，我们主要专注于用边界条件求解高维随机汉密尔顿系统，并从随机对照的角度提出一种新的方法。为了获得哈密顿系统的近似解，我们首先引入了一个相应的随机最佳控制问题，使得汉密尔顿控制问题的系统正是我们需要解决的，然后开发两种不同的算法适合不同的控制问题。深神经网络近似随机控制。从数值结果中，与先前从求解FBSDES开发的深度FBSDE方法相比，新颖的算法会聚得更快，这意味着它们需要更少的训练步骤，并展示不同哈密顿系统的更稳定的收敛。

在本文中，我们提出了一种基于深度学习的数值方案，用于强烈耦合FBSDE，这是由随机控制引起的。这是对深度BSDE方法的修改，其中向后方程的初始值不是一个免费参数，并且新的损失函数是控制问题的成本的加权总和，而差异项与与该的差异相吻合终端条件下的平均误差。我们通过一个数值示例表明，经典深度BSDE方法的直接扩展为FBSDE，失败了简单的线性季度控制问题，并激励新方法为何工作。在定期和有限性的假设上，对时间连续和时间离散控制问题的确切控制，我们为我们的方法提供了错误分析。我们从经验上表明，该方法收敛于三个不同的问题，一个方法是直接扩展Deep BSDE方法的问题。

High-dimensional PDEs have been a longstanding computational challenge. We propose to solve highdimensional PDEs by approximating the solution with a deep neural network which is trained to satisfy the differential operator, initial condition, and boundary conditions. Our algorithm is meshfree, which is key since meshes become infeasible in higher dimensions. Instead of forming a mesh, the neural network is trained on batches of randomly sampled time and space points. The algorithm is tested on a class of high-dimensional free boundary PDEs, which we are able to accurately solve in up to 200 dimensions. The algorithm is also tested on a high-dimensional Hamilton-Jacobi-Bellman PDE and Burgers' equation. The deep learning algorithm approximates the general solution to the Burgers' equation for a continuum of different boundary conditions and physical conditions (which can be viewed as a high-dimensional space). We call the algorithm a "Deep Galerkin Method (DGM)" since it is similar in spirit to Galerkin methods, with the solution approximated by a neural network instead of a linear combination of basis functions. In addition, we prove a theorem regarding the approximation power of neural networks for a class of quasilinear parabolic PDEs.

在这项工作中，我们提出了一种基于深度学习的新方案，用于解决高维非线性后向随机微分方程（BSDES）。这个想法是将问题重新重新制定为包括本地损失功能的全球优化。本质上，我们使用深神网络及其具有自动分化的梯度近似BSDE的未知解。通过在每个时间步骤定义的二次局部损耗函数中最小化近似值来执行近似值，该局部损失函数始终包括终端条件。这种损失函数是通过用终端条件迭代时间积分的Euler离散化来获得的。我们的公式可以促使随机梯度下降算法不仅要考虑到每个时间层的准确性，而且会收敛到良好的局部最小值。为了证明我们的算法的性能，提供了几种高维非线性BSDE，包括金融中的定价问题。

连续数据的优化问题出现在，例如强大的机器学习，功能数据分析和变分推理。这里，目标函数被给出为一个（连续）索引目标函数的系列 - 相对于概率测量集成的族聚集。这些问题通常可以通过随机优化方法解决：在随机切换指标执行关于索引目标函数的优化步骤。在这项工作中，我们研究了随机梯度下降算法的连续时间变量，以进行连续数据的优化问题。该所谓的随机梯度过程包括最小化耦合与确定索引的连续时间索引过程的索引目标函数的梯度流程。索引过程是例如，反射扩散，纯跳跃过程或紧凑空间上的其他L evy过程。因此，我们研究了用于连续数据空间的多种采样模式，并允许在算法的运行时进行模拟或流式流的数据。我们分析了随机梯度过程的近似性质，并在恒定下进行了长时间行为和遍历的学习率。我们以噪声功能数据的多项式回归问题以及物理知识的神经网络在多项式回归问题中结束了随机梯度过程的适用性。

Developing algorithms for solving high-dimensional partial differential equations (PDEs) has been an exceedingly difficult task for a long time, due to the notoriously difficult problem known as the "curse of dimensionality". This paper introduces a deep learning-based approach that can handle general high-dimensional parabolic PDEs. To this end, the PDEs are reformulated using backward stochastic differential equations and the gradient of the unknown solution is approximated by neural networks, very much in the spirit of deep reinforcement learning with the gradient acting as the policy function. Numerical results on examples including the nonlinear Black-Scholes equation, the Hamilton-Jacobi-Bellman equation, and the Allen-Cahn equation suggest that the proposed algorithm is quite effective in high dimensions, in terms of both accuracy and cost. This opens up new possibilities in economics, finance, operational research, and physics, by considering all participating agents, assets, resources, or particles together at the same time, instead of making ad hoc assumptions on their inter-relationships.

The purpose of this paper is to explore the use of deep learning for the solution of the nonlinear filtering problem. This is achieved by solving the Zakai equation by a deep splitting method, previously developed for approximate solution of (stochastic) partial differential equations. This is combined with an energy-based model for the approximation of functions by a deep neural network. This results in a computationally fast filter that takes observations as input and that does not require re-training when new observations are received. The method is tested on four examples, two linear in one and twenty dimensions and two nonlinear in one dimension. The method shows promising performance when benchmarked against the Kalman filter and the bootstrap particle filter.

平均场控制和平均场游戏中的核心问题之一是解决相应的McKean-Vlasov前向后随机微分方程（MV-FBSDES）。大多数现有方法是针对特殊情况量身定制的，在这种情况下，平均场相互作用仅取决于期望或其他时刻，因此当平均场相互作用具有完全分布依赖性时，无法解决问题。在本文中，我们提出了一种新颖的深度学习方法，用于计算具有均值场相互作用的一般形式的MV-FBSDE。具体而言，我们基于虚拟游戏，我们将问题重新验证为重复求解具有明确系数功能的标准FBSDE。这些系数功能用于近似具有完全分布依赖性的MV-FBSDE的模型系数，并通过使用从上次迭代的FBSDE解决方案模拟的培训数据来解决另一个监督学习问题。我们使用深层神经网络来求解标准的BSDE和近似系数功能，以求解高维MV-FBSDE。在对学习功能的适当假设下，我们证明了所提出的方法的收敛性通过使用先前在[HAN，HU和LONG，ARXIV：2104.12036]中开发的一类积分概率指标来免受维数（COD）的诅咒。证明的定理在高维度中显示了该方法的优势。我们介绍了高维MV-FBSDE问题中的数值性能，其中包括众所周知的Cucker-Smale模型的平均场景示例，其成本取决于正向过程的完整分布。

滤波方程控制给定部分，并且可能嘈杂，依次到达的信号过程的条件分布的演变。它们的数值近似在许多真实应用中起着核心作用，包括数字天气预报，金融和工程。近似滤波方程解决方案的一种经典方法是使用由Gyongy，Krylov，Legland，Legland，Legland的PDE启发方法，称为分裂方法，其中包括其他贡献者。该方法和其他基于PDE的方法，具有特别适用性来解决低维问题。在这项工作中，我们将这种方法与神经网络表示相结合。新方法用于产生信号过程的无通知条件分布的近似值。我们进一步开发递归归一化程序，以恢复信号过程的归一化条件分布。新方案可以在多个时间步骤中迭代，同时保持其渐近无偏见属性完整。我们用Kalman和Benes滤波器的数值近似结果测试神经网络近似。

蒙特卡洛方法和深度学习的组合最近导致了在高维度中求解部分微分方程（PDE）的有效算法。相关的学习问题通常被称为基于相关随机微分方程（SDE）的变异公式，可以使用基于梯度的优化方法最小化相应损失。因此，在各自的数值实现中，至关重要的是要依靠足够的梯度估计器，这些梯度估计器表现出较低的差异，以便准确，迅速地达到收敛性。在本文中，我们严格研究了在线性Kolmogorov PDE的上下文中出现的相应数值方面。特别是，我们系统地比较了现有的深度学习方法，并为其表演提供了理论解释。随后，我们建议的新方法在理论上和数字上都可以证明更健壮，从而导致了实质性的改进。

我们提出了一种深层签名/对数符号FBSDE算法，以求解具有状态和路径依赖性特征的前回向随机微分方程（FBSDE）。通过将深度签名/对数签名转换纳入复发性神经网络（RNN）模型，我们的算法缩短了训练时间，提高了准确性，并扩展了与现有文献中方法相比的时间范围。此外，我们的算法可以应用于涉及高频数据，模型歧义和随机游戏等广泛的应用程序和路径依赖的选项定价，这些定价与抛物线偏差方程（PDES）以及路径依赖性依赖性链接有关PDE（PPDE）。最后，我们还得出了深度签名/对数签名FBSDE算法的收敛分析。

In this paper, we carry out numerical analysis to prove convergence of a novel sample-wise back-propagation method for training a class of stochastic neural networks (SNNs). The structure of the SNN is formulated as discretization of a stochastic differential equation (SDE). A stochastic optimal control framework is introduced to model the training procedure, and a sample-wise approximation scheme for the adjoint backward SDE is applied to improve the efficiency of the stochastic optimal control solver, which is equivalent to the back-propagation for training the SNN. The convergence analysis is derived with and without convexity assumption for optimization of the SNN parameters. Especially, our analysis indicates that the number of SNN training steps should be proportional to the square of the number of layers in the convex optimization case. Numerical experiments are carried out to validate the analysis results, and the performance of the sample-wise back-propagation method for training SNNs is examined by benchmark machine learning examples.

求解高维局部微分方程是经济学，科学和工程的反复挑战。近年来，已经开发了大量的计算方法，其中大多数依赖于蒙特卡罗采样和基于深度学习的近似的组合。对于椭圆形和抛物线问题，现有方法可以广泛地分类为依赖于$ \ Texit {向后随机微分方程} $（BSDES）和旨在最小化回归$ L ^ 2 $ -Error（ $ \ textit {物理信息的神经网络} $，pinns）。在本文中，我们审查了文献，并提出了一种基于新型$ \ Texit的方法{扩散丢失} $，在BSDES和Pinns之间插值。我们的贡献为对高维PDE的数值方法的统一理解开辟了门，以及结合BSDES和PINNS强度的实施方式。我们还向特征值问题提供概括并进行广泛的数值研究，包括计算非线性SCHR \“odinger运营商的地面状态和分子动态相关的委托功能的计算。

Deep learning has achieved remarkable success in diverse applications; however, its use in solving partial differential equations (PDEs) has emerged only recently. Here, we present an overview of physics-informed neural networks (PINNs), which embed a PDE into the loss of the neural network using automatic differentiation. The PINN algorithm is simple, and it can be applied to different types of PDEs, including integro-differential equations, fractional PDEs, and stochastic PDEs. Moreover, from the implementation point of view, PINNs solve inverse problems as easily as forward problems. We propose a new residual-based adaptive refinement (RAR) method to improve the training efficiency of PINNs. For pedagogical reasons, we compare the PINN algorithm to a standard finite element method. We also present a Python library for PINNs, DeepXDE, which is designed to serve both as an education tool to be used in the classroom as well as a research tool for solving problems in computational science and engineering. Specifically, DeepXDE can solve forward problems given initial and boundary conditions, as well as inverse problems given some extra measurements. DeepXDE supports complex-geometry domains based on the technique of constructive solid geometry, and enables the user code to be compact, resembling closely the mathematical formulation. We introduce the usage of DeepXDE and its customizability, and we also demonstrate the capability of PINNs and the user-friendliness of DeepXDE for five different examples. More broadly, DeepXDE contributes to the more rapid development of the emerging Scientific Machine Learning field.

This paper is devoted to the numerical resolution of McKean-Vlasov control problems via the class of mean-field neural networks introduced in our companion paper [25] in order to learn the solution on the Wasserstein space. We propose several algorithms either based on dynamic programming with control learning by policy or value iteration, or backward SDE from stochastic maximum principle with global or local loss functions. Extensive numerical results on different examples are presented to illustrate the accuracy of each of our eight algorithms. We discuss and compare the pros and cons of all the tested methods.

非线性部分差分差异方程成功地用于描述自然科学，工程甚至金融中的广泛时间依赖性现象。例如，在物理系统中，Allen-Cahn方程描述了与相变相关的模式形成。相反，在金融中，黑色 - choles方程描述了衍生投资工具价格的演变。这种现代应用通常需要在经典方法无效的高维度中求解这些方程。最近，E，Han和Jentzen [1] [2]引入了一种有趣的新方法。主要思想是构建一个深网，该网络是根据科尔莫戈罗夫方程式下离散的随机微分方程样本进行训练的。该网络至少能够在数值上近似，在整个空间域中具有多项式复杂性的Kolmogorov方程的解。在这一贡献中，我们通过使用随机微分方程的不同离散方案来研究深网的变体。我们在基准的示例上比较了相关网络的性能，并表明，对于某些离散方案，可以改善准确性，而不会影响观察到的计算复杂性。

基于神经网络的高维部分微分方程（PDE）的数值解具有令人兴奋的发展。本文推出了Barron空间中$ -dimimensional二阶椭圆PDE的解决方案的复杂性估计，这是一组函数，即承认某些参数脊函数的积分与参数上的概率测量。我们证明在一些适当的假设中，如果椭圆PDE的系数和源期限位于Barron空间中，则PDE的解决方案是$ \ epsilon $ -close关于$ h ^ 1 $ norm到Barron功能。此外，我们证明了这种近似解决方案的Barron标准的维度显式范围，这取决于大多数多项式在PDE的维度$ D $上。作为复杂性估计的直接后果，通过双层神经网络，PDE的解决方案可以通过双层神经网络在任何有界面的神经网络上近似于尺寸显式收敛速度的$ H ^ 1 $常态。

在这项工作中，我们开发了一个有效的求解器，该求解器基于泊松方程的深神经网络，具有可变系数和由Dirac Delta函数$ \ delta（\ Mathbf {x}）$表示的可变系数和单数来源。这类问题涵盖了一般点源，线路源和点线组合，并且具有广泛的实际应用。所提出的方法是基于将真实溶液分解为一个单一部分，该部分使用拉普拉斯方程的基本解决方案在分析上以分析性的方式，以及一个正常零件，该零件满足适合的椭圆形PDE，并使用更平滑的来源，然后使用深层求解常规零件，然后使用深层零件来求解。丽兹法。建议提出遵守路径遵循的策略来选择罚款参数以惩罚Dirichlet边界条件。提出了具有点源，线源或其组合的两维空间和多维空间中的广泛数值实验，以说明所提出的方法的效率，并提供了一些现有方法的比较研究，这清楚地表明了其竞争力的竞争力具体的问题类别。此外，我们简要讨论该方法的误差分析。

在这项工作中，我们提出了一种深度自适应采样（DAS）方法，用于求解部分微分方程（PDE），其中利用深神经网络近似PDE和深生成模型的解决方案，用于生成改进训练集的新的搭配点。 DAS的整体过程由两个组件组成：通过最小化训练集中的搭配点上的剩余损失来解决PDE，并生成新的训练集，以进一步提高电流近似解的准确性。特别地，我们将残差作为概率密度函数进行处理，并用一个被称为Krnet的深生成模型近似它。来自Krnet的新样品与残留物诱导的分布一致，即，更多样品位于大残留的区域中，并且较少的样品位于小残余区域中。类似于经典的自适应方法，例如自适应有限元，Krnet作为引导训练集的改进的错误指示器。与用均匀分布的搭配点获得的神经网络近似相比，发达的算法可以显着提高精度，特别是对于低规律性和高维问题。我们展示了一个理论分析，表明所提出的DAS方法可以减少误差并展示其与数值实验的有效性。

Langevin-diffusion形式的随机微分方程已获得了最近的重大作用，这要归功于它们在贝叶斯采样算法中的基本作用和在机器学习中的优化。在后者中，它们是训练过度参数化模型中随机梯度流的概念模型。但是，文献通常假定电势的平滑度，其梯度是漂移项。然而，存在许多问题，对于潜在的功能并非不断差异，因此漂移并不是到处都是lipschitz的连续。在回归问题中，可靠的损失和整流的线性单位来说明这一点。在本文中，我们在适合机器学习设置的假设下展示了有关Langevin型随机差异夹杂物的流动和渐近特性的一些基本结果。特别是，我们显示了溶液的强烈存在，以及规范自由能功能的渐近最小化。