在科学计算中，在科学计算中的许多应用中出现了从样本点近似平滑，多元功能的问题，在科学和工程的计算不确定性量化（UQ）中。在这些应用中，目标函数可以代表参数化部分微分方程（PDE）的所需量。由于解决此类问题的成本很高，在解决每个样本中通过求解PDE计算，样本效率是有关这些应用的关键。最近，越来越多地关注深度神经网络（DNN）和深度学习（DL）从数据中学习此类功能。在这项工作中，我们提出了一种自适应抽样策略，CAS4DL（基督佛尔自适应采样用于深度学习），以提高DL的样本效率用于多元功能近似。我们的新方法基于将DNN的第二至最后一层解释为该层上节点定义的函数词典。从这个角度来看，我们定义了一种自适应采样策略，该策略是由最近提出的线性近似方案提出的自适应采样方案激励的，其中该词典跨越的子空间的基督教词函数随机绘制了样品。我们提出了比较CAS4DL与标准蒙特卡洛（MC）采样的数值实验。我们的结果表明，CAS4DL通常可以在达到给定准确性所需的样品数量中节省大量，尤其是在平滑激活功能的情况下，与MC相比，它显示出更好的稳定性。因此，这些结果是将DL完全适应科学计算应用的有希望的一步。

本文涉及使用多项式的有限样品的平滑，高维函数的近似。这项任务是计算科学和工程中许多应用的核心 - 尤其是由参数建模和不确定性量化引起的。通常在此类应用中使用蒙特卡洛（MC）采样，以免屈服于维度的诅咒。但是，众所周知，这种策略在理论上是最佳的。尺寸$ n $有许多多项式空间，样品复杂度尺度划分为$ n $。这种有据可查的现象导致了一致的努力，以设计改进的，实际上是近乎最佳的策略，其样本复杂性是线性的，甚至线性地缩小了$ n $。自相矛盾的是，在这项工作中，我们表明MC实际上是高维度中的一个非常好的策略。我们首先通过几个数值示例记录了这种现象。接下来，我们提出一个理论分析，该分析能够解决这种悖论，以实现无限多变量的全体形态功能。我们表明，基于$ M $ MC样本的最小二乘方案，其错误衰减为$ m/\ log（m）$，其速率与最佳$ n $ term的速率相同多项式近似。该结果是非构造性的，因为它假定了进行近似的合适多项式空间的知识。接下来，我们提出了一个基于压缩感应的方案，该方案达到了相同的速率，除了较大的聚类因子。该方案是实用的，并且在数值上，它的性能和比知名的自适应最小二乘方案的性能和更好。总体而言，我们的发现表明，当尺寸足够高时，MC采样非常适合平滑功能近似。因此，改进的采样策略的好处通常仅限于较低维度的设置。

Recent years have witnessed a growth in mathematics for deep learning--which seeks a deeper understanding of the concepts of deep learning with mathematics, and explores how to make it more robust--and deep learning for mathematics, where deep learning algorithms are used to solve problems in mathematics. The latter has popularised the field of scientific machine learning where deep learning is applied to problems in scientific computing. Specifically, more and more neural network architectures have been developed to solve specific classes of partial differential equations (PDEs). Such methods exploit properties that are inherent to PDEs and thus solve the PDEs better than classical feed-forward neural networks, recurrent neural networks, and convolutional neural networks. This has had a great impact in the area of mathematical modeling where parametric PDEs are widely used to model most natural and physical processes arising in science and engineering, In this work, we review such methods and extend them for parametric studies as well as for solving the related inverse problems. We equally proceed to show their relevance in some industrial applications.

神经网络的经典发展主要集中在有限维欧基德空间或有限组之间的学习映射。我们提出了神经网络的概括，以学习映射无限尺寸函数空间之间的运算符。我们通过一类线性积分运算符和非线性激活函数的组成制定运营商的近似，使得组合的操作员可以近似复杂的非线性运算符。我们证明了我们建筑的普遍近似定理。此外，我们介绍了四类运算符参数化：基于图形的运算符，低秩运算符，基于多极图形的运算符和傅里叶运算符，并描述了每个用于用每个计算的高效算法。所提出的神经运营商是决议不变的：它们在底层函数空间的不同离散化之间共享相同的网络参数，并且可以用于零击超分辨率。在数值上，与现有的基于机器学习的方法，达西流程和Navier-Stokes方程相比，所提出的模型显示出卓越的性能，而与传统的PDE求解器相比，与现有的基于机器学习的方法有关的基于机器学习的方法。

本文提出了一个无网格的计算框架和机器学习理论，用于在未知的歧管上求解椭圆形PDE，并根据扩散地图（DM）和深度学习确定点云。 PDE求解器是作为监督的学习任务制定的，以解决最小二乘回归问题，该问题施加了近似PDE的代数方程（如果适用）。该代数方程涉及通过DM渐近扩展获得的图形拉平型矩阵，该基质是二阶椭圆差差算子的一致估计器。最终的数值方法是解决受神经网络假设空间解决方案的高度非凸经验最小化问题。在体积良好的椭圆PDE设置中，当假设空间由具有无限宽度或深度的神经网络组成时，我们表明，经验损失函数的全球最小化器是大型训练数据极限的一致解决方案。当假设空间是一个两层神经网络时，我们表明，对于足够大的宽度，梯度下降可以识别经验损失函数的全局最小化器。支持数值示例证明了解决方案的收敛性，范围从具有低和高共限度的简单歧管到具有和没有边界的粗糙表面。我们还表明，所提出的NN求解器可以在具有概括性误差的新数据点上稳健地概括PDE解决方案，这些误差几乎与训练错误相同，从而取代了基于Nystrom的插值方法。

我们为特殊神经网络架构，称为运营商复发性神经网络的理论分析，用于近似非线性函数，其输入是线性运算符。这些功能通常在解决方案算法中出现用于逆边值问题的问题。传统的神经网络将输入数据视为向量，因此它们没有有效地捕获与对应于这种逆问题中的数据的线性运算符相关联的乘法结构。因此，我们介绍一个类似标准的神经网络架构的新系列，但是输入数据在向量上乘法作用。由较小的算子出现在边界控制中的紧凑型操作员和波动方程的反边值问题分析，我们在网络中的选择权重矩阵中促进结构和稀疏性。在描述此架构后，我们研究其表示属性以及其近似属性。我们还表明，可以引入明确的正则化，其可以从所述逆问题的数学分析导出，并导致概括属性上的某些保证。我们观察到重量矩阵的稀疏性改善了概括估计。最后，我们讨论如何将运营商复发网络视为深度学习模拟，以确定诸如用于从边界测量的声波方程中重建所未知的WAVESTED的边界控制的算法算法。

在这项工作中，我们分析了不同程度的不同精度和分段多项式测试函数如何影响变异物理学知情神经网络（VPINN）的收敛速率，同时解决椭圆边界边界值问题，如何影响变异物理学知情神经网络（VPINN）的收敛速率。使用依靠INF-SUP条件的Petrov-Galerkin框架，我们在精确解决方案和合适的计算神经网络的合适的高阶分段插值之间得出了一个先验误差估计。数值实验证实了理论预测并突出了INF-SUP条件的重要性。我们的结果表明，以某种方式违反直觉，对于平滑解决方案，实现高衰减率的最佳策略在选择最低多项式程度的测试功能方面，同时使用适当高精度的正交公式。

Low-rank matrix approximations, such as the truncated singular value decomposition and the rank-revealing QR decomposition, play a central role in data analysis and scientific computing. This work surveys and extends recent research which demonstrates that randomization offers a powerful tool for performing low-rank matrix approximation. These techniques exploit modern computational architectures more fully than classical methods and open the possibility of dealing with truly massive data sets.This paper presents a modular framework for constructing randomized algorithms that compute partial matrix decompositions. These methods use random sampling to identify a subspace that captures most of the action of a matrix. The input matrix is then compressed-either explicitly or implicitly-to this subspace, and the reduced matrix is manipulated deterministically to obtain the desired low-rank factorization. In many cases, this approach beats its classical competitors in terms of accuracy, speed, and robustness. These claims are supported by extensive numerical experiments and a detailed error analysis.The specific benefits of randomized techniques depend on the computational environment. Consider the model problem of finding the k dominant components of the singular value decomposition of an m × n matrix. (i) For a dense input matrix, randomized algorithms require O(mn log(k)) floating-point operations (flops) in contrast with O(mnk) for classical algorithms. (ii) For a sparse input matrix, the flop count matches classical Krylov subspace methods, but the randomized approach is more robust and can easily be reorganized to exploit multi-processor architectures. (iii) For a matrix that is too large to fit in fast memory, the randomized techniques require only a constant number of passes over the data, as opposed to O(k) passes for classical algorithms. In fact, it is sometimes possible to perform matrix approximation with a single pass over the data.

在这项工作中，我们提出了一种深度自适应采样（DAS）方法，用于求解部分微分方程（PDE），其中利用深神经网络近似PDE和深生成模型的解决方案，用于生成改进训练集的新的搭配点。 DAS的整体过程由两个组件组成：通过最小化训练集中的搭配点上的剩余损失来解决PDE，并生成新的训练集，以进一步提高电流近似解的准确性。特别地，我们将残差作为概率密度函数进行处理，并用一个被称为Krnet的深生成模型近似它。来自Krnet的新样品与残留物诱导的分布一致，即，更多样品位于大残留的区域中，并且较少的样品位于小残余区域中。类似于经典的自适应方法，例如自适应有限元，Krnet作为引导训练集的改进的错误指示器。与用均匀分布的搭配点获得的神经网络近似相比，发达的算法可以显着提高精度，特别是对于低规律性和高维问题。我们展示了一个理论分析，表明所提出的DAS方法可以减少误差并展示其与数值实验的有效性。

这项调查的目的是介绍对深神经网络的近似特性的解释性回顾。具体而言，我们旨在了解深神经网络如何以及为什么要优于其他经典线性和非线性近似方法。这项调查包括三章。在第1章中，我们回顾了深层网络及其组成非线性结构的关键思想和概念。我们通过在解决回归和分类问题时将其作为优化问题来形式化神经网络问题。我们简要讨论用于解决优化问题的随机梯度下降算法以及用于解决优化问题的后传播公式，并解决了与神经网络性能相关的一些问题，包括选择激活功能，成本功能，过度适应问题和正则化。在第2章中，我们将重点转移到神经网络的近似理论上。我们首先介绍多项式近似中的密度概念，尤其是研究实现连续函数的Stone-WeierStrass定理。然后，在线性近似的框架内，我们回顾了馈电网络的密度和收敛速率的一些经典结果，然后在近似Sobolev函数中进行有关深网络复杂性的最新发展。在第3章中，利用非线性近似理论，我们进一步详细介绍了深度和近似网络与其他经典非线性近似方法相比的近似优势。

深度学习表明了视觉识别和某些人工智能任务的成功应用。深度学习也被认为是一种强大的工具，具有近似功能的高度灵活性。在本工作中，设计具有所需属性的功能，以近似PDE的解决方案。我们的方法基于后验误差估计，其中解决了错误定位以在神经网络框架内制定误差估计器的伴随问题。开发了一种高效且易于实现的算法，以通过采用双重加权剩余方法来获得多个目标功能的后验误差估计，然后使用神经网络计算原始和伴随解决方案。本研究表明，即使具有相对较少的训练数据，这种基于数据驱动的模型的学习具有卓越的感兴趣量的近似。用数值测试实施例证实了新颖的算法发展。证明了在浅神经网络上使用深神经网络的优点，并且还呈现了收敛增强技术

实施深层神经网络来学习参数部分微分方程（PDE）的解决方案图比使用许多常规数值方法更有效。但是，对这种方法进行了有限的理论分析。在这项研究中，我们研究了深层二次单元（requ）神经网络的表达能力，以近似参数PDE的溶液图。拟议的方法是由G. Kutyniok，P。Petersen，M。Raslan和R. Schneider（Gitta Kutyniok，Philipp Petersen，Mones Raslan和Reinhold Schneider。深层神经网络和参数PDES的理论分析）的最新重要工作激励的。 。建设性近似，第1-53、2021页，该第1-53、2021页，它使用深层的线性单元（relu）神经网络来求解参数PDE。与先前建立的复杂性$ \ MATHCAL {O} \ left（d^3 \ log_ {2}}^{q}（1/ \ epsilon）\ right）$用于relu神经网络，我们得出了上限的上限$ \ MATHCAL {o} \ left（d^3 \ log_ {2}^{q} \ log_ {2}（1/ \ epsilon）\ right）$）$ right Requ Neural网络的大小，以实现精度$ \ epsilon> 0 $，其中$ d $是代表解决方案的减少基础的维度。我们的方法充分利用了解决方案歧管的固有低维度和深层reque neural网络的更好近似性能。进行数值实验以验证我们的理论结果。

在这项工作中，我们开发了一个有效的求解器，该求解器基于泊松方程的深神经网络，具有可变系数和由Dirac Delta函数$ \ delta（\ Mathbf {x}）$表示的可变系数和单数来源。这类问题涵盖了一般点源，线路源和点线组合，并且具有广泛的实际应用。所提出的方法是基于将真实溶液分解为一个单一部分，该部分使用拉普拉斯方程的基本解决方案在分析上以分析性的方式，以及一个正常零件，该零件满足适合的椭圆形PDE，并使用更平滑的来源，然后使用深层求解常规零件，然后使用深层零件来求解。丽兹法。建议提出遵守路径遵循的策略来选择罚款参数以惩罚Dirichlet边界条件。提出了具有点源，线源或其组合的两维空间和多维空间中的广泛数值实验，以说明所提出的方法的效率，并提供了一些现有方法的比较研究，这清楚地表明了其竞争力的竞争力具体的问题类别。此外，我们简要讨论该方法的误差分析。

光谱方法是求解部分微分方程（PDE）的科学计算的武器的重要组成部分。然而，它们的适用性和有效性在很大程度上取决于用于扩展PDE溶液的基础函数的选择。过去十年已经看到，在提供复杂职能的有效陈述方面，深入学习的出现是强烈的竞争者。在目前的工作中，我们提出了一种用谱方法结合深神经网络来解决PDE的方法。特别是，我们使用称为深度操作系统网络（DeepOnet）的深度学习技术，以识别扩展PDE解决方案的候选功能。我们已经设计了一种方法，该方法使用DeepOnet提供的候选功能作为构建具有以下属性的一组功能的起点：i）它们构成基础，2）它们是正常的，3）它们是等级的，类似于傅里叶系列或正交多项式。我们利用了我们定制的基础函数的有利属性，以研究其近似能力，并使用它们来扩展线性和非线性时间依赖性PDE的解决方案。

物理信息的神经网络（PINN）是神经网络（NNS），它们作为神经网络本身的组成部分编码模型方程，例如部分微分方程（PDE）。如今，PINN是用于求解PDE，分数方程，积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架，在该框架中，NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述：虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络，这些神经网络构成了香草·皮恩（Vanilla Pinn）以及许多其他变体，例如物理受限的神经网络（PCNN），各种HP-VPINN，变量HP-VPINN，VPINN，VPINN，变体。和保守的Pinn（CPINN）。该研究表明，大多数研究都集中在通过不同的激活功能，梯度优化技术，神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛，但通过证明其在某些情况下比有限元方法（FEM）等经典数值技术更可行的能力，但仍有可能的进步，最著名的是尚未解决的理论问题。

我们提出了一种从有限的训练数据学习高维参数映射的解析替代框架。在许多需要重复查询复杂计算模型的许多应用中出现了对参数代理的需求。这些应用包括贝叶斯逆问题，最佳实验设计和不确定度的最佳设计和控制等“外环”问题，以及实时推理和控制问题。许多高维参数映射承认低维结构，这可以通过映射信息的输入和输出的绘图信息的减少基础来利用。利用此属性，我们通过自适应地构造其输入和输出的缩小基础之间的Reset近似来制定用于学习这些地图的低维度近似的框架。最近的近似近似理论作为控制流的离散化，我们证明了我们所提出的自适应投影Reset框架的普遍近似性，这激励了Resnet构造的相关迭代算法。该策略代表了近似理论和算法的汇合，因为两者都使用顺序最小化流量。在数值例子中，我们表明，在训练数据少量的培训数据中，能够实现显着高精度，使其能够实现培训数据生成的最小计算投资的理想代理策略。

我们介绍所谓的深度氏菌法，以基于从交互粒子方法（IPM）计算的数据的物理参数来学习和生成随机动力系统的不变措施。我们利用深神经网络（DNN）的富有效力来表示从给定的输入（源）分布到任意目标分布的样本的变换，既没有假设在闭合形式中的分布函数也不是样本的有限状态空间。在培训中，我们更新网络权重，以最小化输入和目标样本之间的离散Wasserstein距离。为了降低计算成本，我们提出了一种迭代划分和征服（迷你批次内部点）算法，在WasserStein距离中找到最佳转换矩阵。我们展示了数值结果，以证明我们通过混沌流动计算反应扩散前速度在计算反应扩散前速度中产生的随机动力系统不变措施的IPM计算方法的性能。物理参数是一个大的PECL \'等数字，反映了我们兴趣的平流主导地位。

物理知情的神经网络（PINN）要求定期的基础PDE解决方案，以确保准确的近似值。因此，它们可能会在近似PDE的不连续溶液（例如非线性双曲方程）的情况下失败。为了改善这一点，我们提出了一种新颖的PINN变体，称为弱PINN（WPINNS），以准确地近似标量保护定律的熵溶液。WPINN是基于近似于根据Kruzkhov熵定义的残留的最小最大优化问题的解决方案，以确定近似熵解决方案的神经网络的参数以及测试功能。我们证明了WPINN发生的误差的严格界限，并通过数值实验说明了它们的性能，以证明WPINN可以准确地近似熵解决方案。

Koopman运算符是无限维的运算符，可全球线性化非线性动态系统，使其光谱信息可用于理解动态。然而，Koopman运算符可以具有连续的光谱和无限维度的子空间，使得它们的光谱信息提供相当大的挑战。本文介绍了具有严格融合的数据驱动算法，用于从轨迹数据计算Koopman运算符的频谱信息。我们引入了残余动态模式分解（ResDMD），它提供了第一种用于计算普通Koopman运算符的Spectra和PseudtoStra的第一种方案，无需光谱污染。使用解析器操作员和RESDMD，我们还计算与测量保存动态系统相关的光谱度量的平滑近似。我们证明了我们的算法的显式收敛定理，即使计算连续频谱和离散频谱的密度，也可以实现高阶收敛即使是混沌系统。我们展示了在帐篷地图，高斯迭代地图，非线性摆，双摆，洛伦茨系统和11美元延长洛伦兹系统的算法。最后，我们为具有高维状态空间的动态系统提供了我们的算法的核化变体。这使我们能够计算与具有20,046维状态空间的蛋白质分子的动态相关的光谱度量，并计算出湍流流过空气的误差界限的非线性Koopman模式，其具有雷诺数为$> 10 ^ 5 $。一个295,122维的状态空间。

我们开发了一种多功能的深神经网络体系结构，称为Lyapunov-net，以近似高维动力学系统的Lyapunov函数。Lyapunov-net保证了积极的确定性，因此可以轻松地训练它以满足负轨道衍生物条件，这仅在实践中的经验风险功能中呈现单个术语。与现有方法相比，这显着减少了超参数的数量。我们还提供了关于Lyapunov-NET及其复杂性界限的近似能力的理论理由。我们证明了所提出的方法在涉及多达30维状态空间的非线性动力系统上的效率，并表明所提出的方法显着优于最新方法。