We propose in this work the gradient-enhanced deep neural networks (DNNs) approach for function approximations and uncertainty quantification. More precisely, the proposed approach adopts both the function evaluations and the associated gradient information to yield enhanced approximation accuracy. In particular, the gradient information is included as a regularization term in the gradient-enhanced DNNs approach, for which we present similar posterior estimates (by the two-layer neural networks) as those in the path-norm regularized DNNs approximations. We also discuss the application of this approach to gradient-enhanced uncertainty quantification, and present several numerical experiments to show that the proposed approach can outperform the traditional DNNs approach in many cases of interests.

我们因与Relu神经网络的参数双曲标量保护定律的近似值所产生的误差得出了严格的界限。我们表明，通过克服维度诅咒的relu神经网络，可以使近似误差尽可能小。此外，我们在训练误差，训练样本数量和神经网络大小方面提供了明确的上限。理论结果通过数值实验说明。

本文提出了一个无网格的计算框架和机器学习理论，用于在未知的歧管上求解椭圆形PDE，并根据扩散地图（DM）和深度学习确定点云。 PDE求解器是作为监督的学习任务制定的，以解决最小二乘回归问题，该问题施加了近似PDE的代数方程（如果适用）。该代数方程涉及通过DM渐近扩展获得的图形拉平型矩阵，该基质是二阶椭圆差差算子的一致估计器。最终的数值方法是解决受神经网络假设空间解决方案的高度非凸经验最小化问题。在体积良好的椭圆PDE设置中，当假设空间由具有无限宽度或深度的神经网络组成时，我们表明，经验损失函数的全球最小化器是大型训练数据极限的一致解决方案。当假设空间是一个两层神经网络时，我们表明，对于足够大的宽度，梯度下降可以识别经验损失函数的全局最小化器。支持数值示例证明了解决方案的收敛性，范围从具有低和高共限度的简单歧管到具有和没有边界的粗糙表面。我们还表明，所提出的NN求解器可以在具有概括性误差的新数据点上稳健地概括PDE解决方案，这些误差几乎与训练错误相同，从而取代了基于Nystrom的插值方法。

在本文中，我们研究了Wasserstein生成对抗网络（WGAN）的物理信息算法，用于偏微分方程溶液中的不确定性定量。通过在对抗网络歧视器中使用GroupsOrt激活函数，使用网络生成器来学习从初始/边界数据观察到的部分微分方程解决方案的不确定性。在温和的假设下，我们表明，当取得足够的样品数量时，计算机发电机的概括误差会收敛到网络的近似误差，概率很高。根据我们既定的错误约束，我们还发现我们的物理知识的WGAN对鉴别器的能力比发电机具有更高的要求。据报道，关于部分微分方程的合成示例的数值结果，以验证我们的理论结果，并证明如何获得偏微分方程溶液以及初始/边界数据的分布的不确定性定量。但是，内部所有点的不确定性量化理论的质量或准确性仍然是理论空缺，并且需要进行进一步研究。

物理知情的神经网络（PINN）要求定期的基础PDE解决方案，以确保准确的近似值。因此，它们可能会在近似PDE的不连续溶液（例如非线性双曲方程）的情况下失败。为了改善这一点，我们提出了一种新颖的PINN变体，称为弱PINN（WPINNS），以准确地近似标量保护定律的熵溶液。WPINN是基于近似于根据Kruzkhov熵定义的残留的最小最大优化问题的解决方案，以确定近似熵解决方案的神经网络的参数以及测试功能。我们证明了WPINN发生的误差的严格界限，并通过数值实验说明了它们的性能，以证明WPINN可以准确地近似熵解决方案。

在本文中，我们研究了使用深丽升方法（DRM）和物理信息的神经网络（Pinns）从随机样品求解椭圆局部微分方程（PDE）的深度学习技术的统计限制。为了简化问题，我们专注于原型椭圆PDE：SCHR \“odinginger方程，具有零的Dirichlet边界条件，其在量子 - 机械系统中具有广泛的应用。我们为两种方法建立了上下界，通过快速速率泛化绑定并发地改善了这个问题的上限。我们发现当前的深ritz方法是次优的，提出修改版本。我们还证明了Pinn和DRM的修改版本可以实现Minimax SoboLev空间的最佳限制。经验上，近期工作表明，根据权力法，我们提供了培训训练的深层模型精度，我们提供了计算实验，以显示对深PDE求解器的尺寸依赖权力法的类似行为。

In this paper, we carry out numerical analysis to prove convergence of a novel sample-wise back-propagation method for training a class of stochastic neural networks (SNNs). The structure of the SNN is formulated as discretization of a stochastic differential equation (SDE). A stochastic optimal control framework is introduced to model the training procedure, and a sample-wise approximation scheme for the adjoint backward SDE is applied to improve the efficiency of the stochastic optimal control solver, which is equivalent to the back-propagation for training the SNN. The convergence analysis is derived with and without convexity assumption for optimization of the SNN parameters. Especially, our analysis indicates that the number of SNN training steps should be proportional to the square of the number of layers in the convex optimization case. Numerical experiments are carried out to validate the analysis results, and the performance of the sample-wise back-propagation method for training SNNs is examined by benchmark machine learning examples.

实施深层神经网络来学习参数部分微分方程（PDE）的解决方案图比使用许多常规数值方法更有效。但是，对这种方法进行了有限的理论分析。在这项研究中，我们研究了深层二次单元（requ）神经网络的表达能力，以近似参数PDE的溶液图。拟议的方法是由G. Kutyniok，P。Petersen，M。Raslan和R. Schneider（Gitta Kutyniok，Philipp Petersen，Mones Raslan和Reinhold Schneider。深层神经网络和参数PDES的理论分析）的最新重要工作激励的。 。建设性近似，第1-53、2021页，该第1-53、2021页，它使用深层的线性单元（relu）神经网络来求解参数PDE。与先前建立的复杂性$ \ MATHCAL {O} \ left（d^3 \ log_ {2}}^{q}（1/ \ epsilon）\ right）$用于relu神经网络，我们得出了上限的上限$ \ MATHCAL {o} \ left（d^3 \ log_ {2}^{q} \ log_ {2}（1/ \ epsilon）\ right）$）$ right Requ Neural网络的大小，以实现精度$ \ epsilon> 0 $，其中$ d $是代表解决方案的减少基础的维度。我们的方法充分利用了解决方案歧管的固有低维度和深层reque neural网络的更好近似性能。进行数值实验以验证我们的理论结果。

我们为特殊神经网络架构，称为运营商复发性神经网络的理论分析，用于近似非线性函数，其输入是线性运算符。这些功能通常在解决方案算法中出现用于逆边值问题的问题。传统的神经网络将输入数据视为向量，因此它们没有有效地捕获与对应于这种逆问题中的数据的线性运算符相关联的乘法结构。因此，我们介绍一个类似标准的神经网络架构的新系列，但是输入数据在向量上乘法作用。由较小的算子出现在边界控制中的紧凑型操作员和波动方程的反边值问题分析，我们在网络中的选择权重矩阵中促进结构和稀疏性。在描述此架构后，我们研究其表示属性以及其近似属性。我们还表明，可以引入明确的正则化，其可以从所述逆问题的数学分析导出，并导致概括属性上的某些保证。我们观察到重量矩阵的稀疏性改善了概括估计。最后，我们讨论如何将运营商复发网络视为深度学习模拟，以确定诸如用于从边界测量的声波方程中重建所未知的WAVESTED的边界控制的算法算法。

由于其出色的近似功率和泛化能力，物理知识的神经网络（PINNS）已成为求解高维局部微分方程（PDE）的流行选择。最近，基于域分解方法的扩展Pinns（Xpinns）由于其在模拟多尺度和多体问题问题及其平行化方面的有效性而引起了相当大的关注。但是，对其融合和泛化特性的理论理解仍未开发。在这项研究中，我们迈出了了解XPinns优于拼接的方式和当Xpinns差异的初步步骤。具体地，对于一般多层PinNS和Xpinn，我们首先通过PDE问题中的目标函数的复杂性提供先前的泛化，并且在优化之后通过网络的后矩阵规范结合。此外，根据我们的界限，我们分析了Xpinns改善泛化的条件。具体地，我们的理论表明，XPinn的关键构建块，即域分解，介绍了泛化的权衡。一方面，Xpinns将复杂的PDE解决方案分解为几个简单的部分，这降低了学习每个部分所需的复杂性并提高泛化。另一方面，分解导致每个子域内可用的训练数据较少，因此这种模型通常容易过度拟合，并且可能变得不那么广泛。经验上，我们选择五个PDE来显示XPinns比Pinns更好，类似于或更差，因此证明和证明我们的新理论。

在本文中，我们研究了针对泊松方程的解决方案的概率和神经网络近似，但在$ \ mathbb {r}^d $的一般边界域中，较旧或$ c^2 $数据。我们的目标是两个基本目标。首先，也是最重要的是，我们证明了泊松方程的解决方案可以通过蒙特卡洛方法在sup-norm中进行数值近似，但基于球形算法的步行略有变化。这提供了相对于相对于相对于相对于有效的估计值规定的近似误差且没有维度的诅咒。此外，样品的总数不取决于执行近似的点。作为第二个目标，我们表明获得的蒙特卡洛求解器renders relu relu深层神经网络（DNN）解决泊松问题的解决方案，其大小在尺寸$ d $以及所需的错误中大多数取决于多项式。和低多项式复杂性。

无限尺寸空间之间的学习运营商是机器学习，成像科学，数学建模和仿真等广泛应用中出现的重要学习任务。本文研究了利用深神经网络的Lipschitz运营商的非参数估计。 Non-asymptotic upper bounds are derived for the generalization error of the empirical risk minimizer over a properly chosen network class.在假设目标操作员表现出低维结构的情况下，由于训练样本大小增加，我们的误差界限衰减，根据我们估计中的内在尺寸，具有吸引力的快速速度。我们的假设涵盖了实际应用中的大多数情况，我们的结果通过利用操作员估算中的低维结构来产生快速速率。我们还研究了网络结构（例如，网络宽度，深度和稀疏性）对神经网络估计器的泛化误差的影响，并提出了对网络结构的选择来定量地最大化学习效率的一般建议。

基于神经网络的高维部分微分方程（PDE）的数值解具有令人兴奋的发展。本文推出了Barron空间中$ -dimimensional二阶椭圆PDE的解决方案的复杂性估计，这是一组函数，即承认某些参数脊函数的积分与参数上的概率测量。我们证明在一些适当的假设中，如果椭圆PDE的系数和源期限位于Barron空间中，则PDE的解决方案是$ \ epsilon $ -close关于$ h ^ 1 $ norm到Barron功能。此外，我们证明了这种近似解决方案的Barron标准的维度显式范围，这取决于大多数多项式在PDE的维度$ D $上。作为复杂性估计的直接后果，通过双层神经网络，PDE的解决方案可以通过双层神经网络在任何有界面的神经网络上近似于尺寸显式收敛速度的$ H ^ 1 $常态。

作为一般类型的机器学习方法，人工神经网络已在许多模式识别和数据分析任务中建立了最先进的基准。在各种神经网络体系结构中，多项式神经网络（PNN）最近已证明可以通过神经切线核分析进行分析，并且在图像生成和面部识别方面尤其有效。但是，获得对PNNS的计算和样本复杂性的理论见解仍然是一个开放的问题。在本文中，我们将先前文献中的分析扩展到PNN，并获得有关PNNS样品复杂性的新结果，该结果在解释PNN的概括能力方面提供了一些见解。

在这项工作中，我们开发了一个有效的求解器，该求解器基于泊松方程的深神经网络，具有可变系数和由Dirac Delta函数$ \ delta（\ Mathbf {x}）$表示的可变系数和单数来源。这类问题涵盖了一般点源，线路源和点线组合，并且具有广泛的实际应用。所提出的方法是基于将真实溶液分解为一个单一部分，该部分使用拉普拉斯方程的基本解决方案在分析上以分析性的方式，以及一个正常零件，该零件满足适合的椭圆形PDE，并使用更平滑的来源，然后使用深层求解常规零件，然后使用深层零件来求解。丽兹法。建议提出遵守路径遵循的策略来选择罚款参数以惩罚Dirichlet边界条件。提出了具有点源，线源或其组合的两维空间和多维空间中的广泛数值实验，以说明所提出的方法的效率，并提供了一些现有方法的比较研究，这清楚地表明了其竞争力的竞争力具体的问题类别。此外，我们简要讨论该方法的误差分析。

We propose, Monte Carlo Nonlocal physics-informed neural networks (MC-Nonlocal-PINNs), which is a generalization of MC-fPINNs in \cite{guo2022monte}, for solving general nonlocal models such as integral equations and nonlocal PDEs. Similar as in MC-fPINNs, our MC-Nonlocal-PINNs handle the nonlocal operators in a Monte Carlo way, resulting in a very stable approach for high dimensional problems. We present a variety of test problems, including high dimensional Volterra type integral equations, hypersingular integral equations and nonlocal PDEs, to demonstrate the effectiveness of our approach.

复合值的神经网络（CVNNS）已广泛应用于各种领域，尤其是信号处理和图像识别。然而，很少有作品关注CVNN的泛化，尽管它至关重要，以确保CVNNS在看不见的数据上的性能至关重要。本文是第一项工作，证明了复杂的神经网络的泛化。束缚尺度具有光谱复杂性，其主导因子是重量矩阵的光谱范数产物。此外，我们的工作为训练数据顺序时为CVNN提供了泛化，这也受光谱复杂度的影响。从理论上讲，这些界限通过Maey Sparsification Lemma和Dudley熵整体来源。经验上，我们通过在不同的数据集上培训复杂的卷积神经网络进行实验：Mnist，FashionMnist，CiFar-10，CiFar-100，微小想象成和IMDB。 Spearman的秩序相关系数和这些数据集上的相应P值给出了由权重矩阵光谱规范产品测量的网络的光谱复杂度，与概括能力有统计学显着的相关性。

This paper proposes Friedrichs learning as a novel deep learning methodology that can learn the weak solutions of PDEs via a minmax formulation, which transforms the PDE problem into a minimax optimization problem to identify weak solutions. The name "Friedrichs learning" is for highlighting the close relationship between our learning strategy and Friedrichs theory on symmetric systems of PDEs. The weak solution and the test function in the weak formulation are parameterized as deep neural networks in a mesh-free manner, which are alternately updated to approach the optimal solution networks approximating the weak solution and the optimal test function, respectively. Extensive numerical results indicate that our mesh-free method can provide reasonably good solutions to a wide range of PDEs defined on regular and irregular domains in various dimensions, where classical numerical methods such as finite difference methods and finite element methods may be tedious or difficult to be applied.

神经网络的经典发展主要集中在有限维欧基德空间或有限组之间的学习映射。我们提出了神经网络的概括，以学习映射无限尺寸函数空间之间的运算符。我们通过一类线性积分运算符和非线性激活函数的组成制定运营商的近似，使得组合的操作员可以近似复杂的非线性运算符。我们证明了我们建筑的普遍近似定理。此外，我们介绍了四类运算符参数化：基于图形的运算符，低秩运算符，基于多极图形的运算符和傅里叶运算符，并描述了每个用于用每个计算的高效算法。所提出的神经运营商是决议不变的：它们在底层函数空间的不同离散化之间共享相同的网络参数，并且可以用于零击超分辨率。在数值上，与现有的基于机器学习的方法，达西流程和Navier-Stokes方程相比，所提出的模型显示出卓越的性能，而与传统的PDE求解器相比，与现有的基于机器学习的方法有关的基于机器学习的方法。

我们开发了一种多功能的深神经网络体系结构，称为Lyapunov-net，以近似高维动力学系统的Lyapunov函数。Lyapunov-net保证了积极的确定性，因此可以轻松地训练它以满足负轨道衍生物条件，这仅在实践中的经验风险功能中呈现单个术语。与现有方法相比，这显着减少了超参数的数量。我们还提供了关于Lyapunov-NET及其复杂性界限的近似能力的理论理由。我们证明了所提出的方法在涉及多达30维状态空间的非线性动力系统上的效率，并表明所提出的方法显着优于最新方法。