由于神经操作员能够在功能空间之间近似高维参数图，因此最近引起了重大关注。目前，在神经操作员文献中仅解决了参数函数近似。在这项工作中，我们调查将参数导数信息纳入神经操作员培训中；该信息可以改善功能近似值，此外，它可用于改善衍生物相对于参数的近似值，这通常是高维外环问题的可扩展解决方案的关键（例如，贝叶斯逆问题）。参数雅各布信息由于其高维度而正式棘手，可以正式地合并，以解决我们基于减少的SVD，随机草图和减少基础替代物的使用提出的这种关注。所有这些策略仅需要$ O（r）$ jacobian动作来构建样本雅各布数据，并允许我们减少与雅各布培训相关的线性代数和内存成本，从输入和输出维度的产品中降低到$ o。 （r^2）$，其中$ r $是与缩小技术相关的维度。参数PDE问题的数值结果表明，在训练问题中添加导数信息可以显着改善参数图近似值，尤其是在几乎没有数据的情况下。与参数图相比，当雅各布动作相比便宜时，可以在经济上代替参数地图数据。此外，我们表明，随着Jacobian培训数据的引入，Jacobian误差近似显着改善。该结果为在外环算法中使用衍生知识的神经操作员（恐龙）打开了大门，他们可以通过重复评估来摊销额外的培训数据成本。

我们提出了一种从有限的训练数据学习高维参数映射的解析替代框架。在许多需要重复查询复杂计算模型的许多应用中出现了对参数代理的需求。这些应用包括贝叶斯逆问题，最佳实验设计和不确定度的最佳设计和控制等“外环”问题，以及实时推理和控制问题。许多高维参数映射承认低维结构，这可以通过映射信息的输入和输出的绘图信息的减少基础来利用。利用此属性，我们通过自适应地构造其输入和输出的缩小基础之间的Reset近似来制定用于学习这些地图的低维度近似的框架。最近的近似近似理论作为控制流的离散化，我们证明了我们所提出的自适应投影Reset框架的普遍近似性，这激励了Resnet构造的相关迭代算法。该策略代表了近似理论和算法的汇合，因为两者都使用顺序最小化流量。在数值例子中，我们表明，在训练数据少量的培训数据中，能够实现显着高精度，使其能够实现培训数据生成的最小计算投资的理想代理策略。

Recent years have witnessed a growth in mathematics for deep learning--which seeks a deeper understanding of the concepts of deep learning with mathematics, and explores how to make it more robust--and deep learning for mathematics, where deep learning algorithms are used to solve problems in mathematics. The latter has popularised the field of scientific machine learning where deep learning is applied to problems in scientific computing. Specifically, more and more neural network architectures have been developed to solve specific classes of partial differential equations (PDEs). Such methods exploit properties that are inherent to PDEs and thus solve the PDEs better than classical feed-forward neural networks, recurrent neural networks, and convolutional neural networks. This has had a great impact in the area of mathematical modeling where parametric PDEs are widely used to model most natural and physical processes arising in science and engineering, In this work, we review such methods and extend them for parametric studies as well as for solving the related inverse problems. We equally proceed to show their relevance in some industrial applications.

神经网络的经典发展主要集中在有限维欧基德空间或有限组之间的学习映射。我们提出了神经网络的概括，以学习映射无限尺寸函数空间之间的运算符。我们通过一类线性积分运算符和非线性激活函数的组成制定运营商的近似，使得组合的操作员可以近似复杂的非线性运算符。我们证明了我们建筑的普遍近似定理。此外，我们介绍了四类运算符参数化：基于图形的运算符，低秩运算符，基于多极图形的运算符和傅里叶运算符，并描述了每个用于用每个计算的高效算法。所提出的神经运营商是决议不变的：它们在底层函数空间的不同离散化之间共享相同的网络参数，并且可以用于零击超分辨率。在数值上，与现有的基于机器学习的方法，达西流程和Navier-Stokes方程相比，所提出的模型显示出卓越的性能，而与传统的PDE求解器相比，与现有的基于机器学习的方法有关的基于机器学习的方法。

Low-rank matrix approximations, such as the truncated singular value decomposition and the rank-revealing QR decomposition, play a central role in data analysis and scientific computing. This work surveys and extends recent research which demonstrates that randomization offers a powerful tool for performing low-rank matrix approximation. These techniques exploit modern computational architectures more fully than classical methods and open the possibility of dealing with truly massive data sets.This paper presents a modular framework for constructing randomized algorithms that compute partial matrix decompositions. These methods use random sampling to identify a subspace that captures most of the action of a matrix. The input matrix is then compressed-either explicitly or implicitly-to this subspace, and the reduced matrix is manipulated deterministically to obtain the desired low-rank factorization. In many cases, this approach beats its classical competitors in terms of accuracy, speed, and robustness. These claims are supported by extensive numerical experiments and a detailed error analysis.The specific benefits of randomized techniques depend on the computational environment. Consider the model problem of finding the k dominant components of the singular value decomposition of an m × n matrix. (i) For a dense input matrix, randomized algorithms require O(mn log(k)) floating-point operations (flops) in contrast with O(mnk) for classical algorithms. (ii) For a sparse input matrix, the flop count matches classical Krylov subspace methods, but the randomized approach is more robust and can easily be reorganized to exploit multi-processor architectures. (iii) For a matrix that is too large to fit in fast memory, the randomized techniques require only a constant number of passes over the data, as opposed to O(k) passes for classical algorithms. In fact, it is sometimes possible to perform matrix approximation with a single pass over the data.

由于维度的诅咒和训练数据的限制，即使对于强大的深度神经网络，近似高维功能是一个非常具有挑战性的任务。灵感来自使用可逆剩余网络（REVNET）的非线性级别集学习（NLL）方法，本文提出了一种通过学习级别集（钻头）的尺寸减少方法，用于函数近似。我们的方法包含两个主要组件：一个是伪可逆神经网络（PRNN）模块，有效地将高维输入变量转换为低维活动变量，另一个是基于变换的近似函数值的合成回归模块低维空间中的数据。 PRNN由于使用RevEN而言，PRNN不仅放宽了NLL方法中存在的非线性变换的可逆性约束，还可以自适应地重量每个样本的影响并控制函数对学习的活动变量的灵敏度。合成的回归使用输入空间中的欧几里德距离来选择相邻样本，其在活动变量的空间上的投影用于执行局部最小二乘性多项式拟合。这有助于解决传统本地和全球回归中存在的数值振荡问题。广泛的实验结果表明，我们的钻探方法优于NLL和有源子空间方法，特别是当目标函数在其输入域内部拥有临界点时。

物理信息的神经网络（PINN）是神经网络（NNS），它们作为神经网络本身的组成部分编码模型方程，例如部分微分方程（PDE）。如今，PINN是用于求解PDE，分数方程，积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架，在该框架中，NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述：虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络，这些神经网络构成了香草·皮恩（Vanilla Pinn）以及许多其他变体，例如物理受限的神经网络（PCNN），各种HP-VPINN，变量HP-VPINN，VPINN，VPINN，变体。和保守的Pinn（CPINN）。该研究表明，大多数研究都集中在通过不同的激活功能，梯度优化技术，神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛，但通过证明其在某些情况下比有限元方法（FEM）等经典数值技术更可行的能力，但仍有可能的进步，最著名的是尚未解决的理论问题。

我们为特殊神经网络架构，称为运营商复发性神经网络的理论分析，用于近似非线性函数，其输入是线性运算符。这些功能通常在解决方案算法中出现用于逆边值问题的问题。传统的神经网络将输入数据视为向量，因此它们没有有效地捕获与对应于这种逆问题中的数据的线性运算符相关联的乘法结构。因此，我们介绍一个类似标准的神经网络架构的新系列，但是输入数据在向量上乘法作用。由较小的算子出现在边界控制中的紧凑型操作员和波动方程的反边值问题分析，我们在网络中的选择权重矩阵中促进结构和稀疏性。在描述此架构后，我们研究其表示属性以及其近似属性。我们还表明，可以引入明确的正则化，其可以从所述逆问题的数学分析导出，并导致概括属性上的某些保证。我们观察到重量矩阵的稀疏性改善了概括估计。最后，我们讨论如何将运营商复发网络视为深度学习模拟，以确定诸如用于从边界测量的声波方程中重建所未知的WAVESTED的边界控制的算法算法。

光谱方法是求解部分微分方程（PDE）的科学计算的武器的重要组成部分。然而，它们的适用性和有效性在很大程度上取决于用于扩展PDE溶液的基础函数的选择。过去十年已经看到，在提供复杂职能的有效陈述方面，深入学习的出现是强烈的竞争者。在目前的工作中，我们提出了一种用谱方法结合深神经网络来解决PDE的方法。特别是，我们使用称为深度操作系统网络（DeepOnet）的深度学习技术，以识别扩展PDE解决方案的候选功能。我们已经设计了一种方法，该方法使用DeepOnet提供的候选功能作为构建具有以下属性的一组功能的起点：i）它们构成基础，2）它们是正常的，3）它们是等级的，类似于傅里叶系列或正交多项式。我们利用了我们定制的基础函数的有利属性，以研究其近似能力，并使用它们来扩展线性和非线性时间依赖性PDE的解决方案。

本文提出了一个无网格的计算框架和机器学习理论，用于在未知的歧管上求解椭圆形PDE，并根据扩散地图（DM）和深度学习确定点云。 PDE求解器是作为监督的学习任务制定的，以解决最小二乘回归问题，该问题施加了近似PDE的代数方程（如果适用）。该代数方程涉及通过DM渐近扩展获得的图形拉平型矩阵，该基质是二阶椭圆差差算子的一致估计器。最终的数值方法是解决受神经网络假设空间解决方案的高度非凸经验最小化问题。在体积良好的椭圆PDE设置中，当假设空间由具有无限宽度或深度的神经网络组成时，我们表明，经验损失函数的全球最小化器是大型训练数据极限的一致解决方案。当假设空间是一个两层神经网络时，我们表明，对于足够大的宽度，梯度下降可以识别经验损失函数的全局最小化器。支持数值示例证明了解决方案的收敛性，范围从具有低和高共限度的简单歧管到具有和没有边界的粗糙表面。我们还表明，所提出的NN求解器可以在具有概括性误差的新数据点上稳健地概括PDE解决方案，这些误差几乎与训练错误相同，从而取代了基于Nystrom的插值方法。

在科学计算中，在科学计算中的许多应用中出现了从样本点近似平滑，多元功能的问题，在科学和工程的计算不确定性量化（UQ）中。在这些应用中，目标函数可以代表参数化部分微分方程（PDE）的所需量。由于解决此类问题的成本很高，在解决每个样本中通过求解PDE计算，样本效率是有关这些应用的关键。最近，越来越多地关注深度神经网络（DNN）和深度学习（DL）从数据中学习此类功能。在这项工作中，我们提出了一种自适应抽样策略，CAS4DL（基督佛尔自适应采样用于深度学习），以提高DL的样本效率用于多元功能近似。我们的新方法基于将DNN的第二至最后一层解释为该层上节点定义的函数词典。从这个角度来看，我们定义了一种自适应采样策略，该策略是由最近提出的线性近似方案提出的自适应采样方案激励的，其中该词典跨越的子空间的基督教词函数随机绘制了样品。我们提出了比较CAS4DL与标准蒙特卡洛（MC）采样的数值实验。我们的结果表明，CAS4DL通常可以在达到给定准确性所需的样品数量中节省大量，尤其是在平滑激活功能的情况下，与MC相比，它显示出更好的稳定性。因此，这些结果是将DL完全适应科学计算应用的有希望的一步。

许多现代数据集，从神经影像和地统计数据等领域都以张量数据的随机样本的形式来说，这可以被理解为对光滑的多维随机功能的嘈杂观察。来自功能数据分析的大多数传统技术被维度的诅咒困扰，并且随着域的尺寸增加而迅速变得棘手。在本文中，我们提出了一种学习从多维功能数据样本的持续陈述的框架，这些功能是免受诅咒的几种表现形式的。这些表示由一组可分离的基函数构造，该函数被定义为最佳地适应数据。我们表明，通过仔细定义的数据的仔细定义的减少转换的张测仪分解可以有效地解决所得到的估计问题。使用基于差分运算符的惩罚，并入粗糙的正则化。也建立了相关的理论性质。在模拟研究中证明了我们对竞争方法的方法的优点。我们在神经影像动物中得出真正的数据应用。

我们提出了一种使用一组我们称为神经基函数（NBF）的神经网络来求解部分微分方程（PDE）的方法。这个NBF框架是POD DeepOnet操作方法的一种新颖的变化，我们将一组神经网络回归到降低的阶正合成分解（POD）基础上。然后将这些网络与分支网络结合使用，该分支网络摄入规定的PDE的参数以计算降低的订单近似值。该方法适用于高速流条件的稳态EULER方程（Mach 10-30），在该方程式中，我们考虑了围绕圆柱体的2D流，从而形成了冲击条件。然后，我们将NBF预测用作高保真计算流体动力学（CFD）求解器（CFD ++）的初始条件，以显示更快的收敛性。还将介绍用于培训和实施该算法的经验教训。

本文涉及使用多项式的有限样品的平滑，高维函数的近似。这项任务是计算科学和工程中许多应用的核心 - 尤其是由参数建模和不确定性量化引起的。通常在此类应用中使用蒙特卡洛（MC）采样，以免屈服于维度的诅咒。但是，众所周知，这种策略在理论上是最佳的。尺寸$ n $有许多多项式空间，样品复杂度尺度划分为$ n $。这种有据可查的现象导致了一致的努力，以设计改进的，实际上是近乎最佳的策略，其样本复杂性是线性的，甚至线性地缩小了$ n $。自相矛盾的是，在这项工作中，我们表明MC实际上是高维度中的一个非常好的策略。我们首先通过几个数值示例记录了这种现象。接下来，我们提出一个理论分析，该分析能够解决这种悖论，以实现无限多变量的全体形态功能。我们表明，基于$ M $ MC样本的最小二乘方案，其错误衰减为$ m/\ log（m）$，其速率与最佳$ n $ term的速率相同多项式近似。该结果是非构造性的，因为它假定了进行近似的合适多项式空间的知识。接下来，我们提出了一个基于压缩感应的方案，该方案达到了相同的速率，除了较大的聚类因子。该方案是实用的，并且在数值上，它的性能和比知名的自适应最小二乘方案的性能和更好。总体而言，我们的发现表明，当尺寸足够高时，MC采样非常适合平滑功能近似。因此，改进的采样策略的好处通常仅限于较低维度的设置。

高维时空动力学通常可以在低维子空间中编码。用于建模，表征，设计和控制此类大规模系统的工程应用通常依赖于降低尺寸，以实时计算解决方案。降低维度的常见范例包括线性方法，例如奇异值分解（SVD）和非线性方法，例如卷积自动编码器（CAE）的变体。但是，这些编码技术缺乏有效地表示与时空数据相关的复杂性的能力，后者通常需要可变的几何形状，非均匀的网格分辨率，自适应网格化和/或参数依赖性。为了解决这些实用的工程挑战，我们提出了一个称为神经隐式流（NIF）的一般框架，该框架可以实现大型，参数，时空数据的网格不稳定，低级别表示。 NIF由两个修改的多层感知器（MLP）组成：（i）shapenet，它分离并代表空间复杂性，以及（ii）参数，该参数解释了任何其他输入复杂性，包括参数依赖关系，时间和传感器测量值。我们演示了NIF用于参数替代建模的实用性，从而实现了复杂时空动力学的可解释表示和压缩，有效的多空间质量任务以及改善了稀疏重建的通用性能。

许多操作数值天气预报系统中使用的数据同化程序基于4D-VAR算法的变体。解决4D-VAR问题的成本是由物理模型的前进和伴随评估的成本为主。这通过快速，近似代理模型来激励他们的替代。神经网络为代理模型的数据驱动创建提供了一个有希望的方法。已显示代理4D-VAR问题解决方案的准确性，明确地依赖于对其他代理建模方法和一般非线性设置的准确建模和伴随的准确建模。我们制定和分析若干方法，将衍生信息纳入神经网络替代品的构建。通过训练集数据和Lorenz-63系统上的顺序数据同化设置来测试生成的网络。与没有伴随信息的替代网络培训的代理网络相比，两种方法表现出卓越的性能，显示将伴随信息纳入训练过程的益处。

标准的神经网络可以近似一般的非线性操作员，要么通过数学运算符的组合（例如，在对流 - 扩散反应部分微分方程中）的组合，要么仅仅是黑匣子，例如黑匣子，例如一个系统系统。第一个神经操作员是基于严格的近似理论于2019年提出的深层操作员网络（DeepOnet）。从那时起，已经发布了其他一些较少的一般操作员，例如，基于图神经网络或傅立叶变换。对于黑匣子系统，对神经操作员的培训仅是数据驱动的，但是如果知道管理方程式可以在培训期间将其纳入损失功能，以开发物理知识的神经操作员。神经操作员可以用作设计问题，不确定性量化，自主系统以及几乎任何需要实时推断的应用程序中的代替代物。此外，通过将它们与相对轻的训练耦合，可以将独立的预训练deponets用作复杂多物理系统的组成部分。在这里，我们介绍了Deponet，傅立叶神经操作员和图神经操作员的评论，以及适当的扩展功能扩展，并突出显示它们在计算机械师中的各种应用中的实用性，包括多孔媒体，流体力学和固体机制， 。

Parameter space reduction has been proved to be a crucial tool to speed-up the execution of many numerical tasks such as optimization, inverse problems, sensitivity analysis, and surrogate models' design, especially when in presence of high-dimensional parametrized systems. In this work we propose a new method called local active subspaces (LAS), which explores the synergies of active subspaces with supervised clustering techniques in order to carry out a more efficient dimension reduction in the parameter space. The clustering is performed without losing the input-output relations by introducing a distance metric induced by the global active subspace. We present two possible clustering algorithms: K-medoids and a hierarchical top-down approach, which is able to impose a variety of subdivision criteria specifically tailored for parameter space reduction tasks. This method is particularly useful for the community working on surrogate modelling. Frequently, the parameter space presents subdomains where the objective function of interest varies less on average along different directions. So, it could be approximated more accurately if restricted to those subdomains and studied separately. We tested the new method over several numerical experiments of increasing complexity, we show how to deal with vectorial outputs, and how to classify the different regions with respect to the local active subspace dimension. Employing this classification technique as a preprocessing step in the parameter space, or output space in case of vectorial outputs, brings remarkable results for the purpose of surrogate modelling.

在这项工作中，我们分析了不同程度的不同精度和分段多项式测试函数如何影响变异物理学知情神经网络（VPINN）的收敛速率，同时解决椭圆边界边界值问题，如何影响变异物理学知情神经网络（VPINN）的收敛速率。使用依靠INF-SUP条件的Petrov-Galerkin框架，我们在精确解决方案和合适的计算神经网络的合适的高阶分段插值之间得出了一个先验误差估计。数值实验证实了理论预测并突出了INF-SUP条件的重要性。我们的结果表明，以某种方式违反直觉，对于平滑解决方案，实现高衰减率的最佳策略在选择最低多项式程度的测试功能方面，同时使用适当高精度的正交公式。

高维偏微分方程（PDE）是一种流行的数学建模工具，其应用从财务到计算化学不等。但是，用于解决这些PDE的标准数值技术通常受维度的诅咒影响。在这项工作中，我们应对这一挑战，同时着重于在具有周期性边界条件的高维域上定义的固定扩散方程。受到高维度稀疏功能近似进展的启发，我们提出了一种称为压缩傅立叶搭配的新方法。结合了压缩感应和光谱搭配的想法，我们的方法取代了结构化置式网格用蒙特卡洛采样的使用，并采用了稀疏的恢复技术，例如正交匹配的追踪和$ \ ell^1 $最小化，以近似PDE的傅立叶系数解决方案。我们进行了严格的理论分析，表明所提出的方法的近似误差与最佳$ s $ term近似（相对于傅立叶基础）与解决方案相当。我们的分析使用了最近引入的随机采样框架，我们的分析表明，在足够条件下，根据扩散系数的规律性，压缩傅立叶搭配方法相对于搭配点的数量减轻了维数的诅咒。我们还提出了数值实验，以说明稀疏和可压缩溶液近似方法的准确性和稳定性。