Petrov-Galerkin formulations with optimal test functions allow for the stabilization of finite element simulations. In particular, given a discrete trial space, the optimal test space induces a numerical scheme delivering the best approximation in terms of a problem-dependent energy norm. This ideal approach has two shortcomings: first, we need to explicitly know the set of optimal test functions; and second, the optimal test functions may have large supports inducing expensive dense linear systems. Nevertheless, parametric families of PDEs are an example where it is worth investing some (offline) computational effort to obtain stabilized linear systems that can be solved efficiently, for a given set of parameters, in an online stage. Therefore, as a remedy for the first shortcoming, we explicitly compute (offline) a function mapping any PDE-parameter, to the matrix of coefficients of optimal test functions (in a basis expansion) associated with that PDE-parameter. Next, as a remedy for the second shortcoming, we use the low-rank approximation to hierarchically compress the (non-square) matrix of coefficients of optimal test functions. In order to accelerate this process, we train a neural network to learn a critical bottleneck of the compression algorithm (for a given set of PDE-parameters). When solving online the resulting (compressed) Petrov-Galerkin formulation, we employ a GMRES iterative solver with inexpensive matrix-vector multiplications thanks to the low-rank features of the compressed matrix. We perform experiments showing that the full online procedure as fast as the original (unstable) Galerkin approach. In other words, we get the stabilization with hierarchical matrices and neural networks practically for free. We illustrate our findings by means of 2D Eriksson-Johnson and Hemholtz model problems.

分区方法允许人们通过重复现有的单组分代码来构建耦合问题的仿真能力。这样做，分区方法可以缩短多物理和多尺度应用程序的代码开发和验证时间。在这项工作中，我们考虑了一种场景，其中一个或多个“代码”耦合为基于投影的减少订单模型（ROM），以降低与特定组件相关的计算成本。我们通过考虑在两个非重叠子域中独立离散化的模型接口问题来模拟这种情况。然后，我们为此问题制定了一个分区方案，该方案允许使用有限元模型（FEM）或ROM“代码”的一个子域中的ROM“代码”耦合。 ROM“代码”是通过在快照集合上执行正确的正交分解（POD）来构建的，以获得低维的降低订单基础，然后在此基础上进行Galerkin投影。然后，使用代表接口通量的Lagrange乘法器耦合每个子域上的ROM和/或FEM“代码”。为了划分所得的整体问题，我们首先通过双重schur补体消除了通量。将显式时间集成方案应用于转换的单片问题，将子域方程解散，从而在下一步步骤中独立解决方案。我们显示了数值结果，这些结果证明了所提出的方法在实现ROM-FEM和ROM-ROM耦合方面的功效。

在这项工作中，我们分析了不同程度的不同精度和分段多项式测试函数如何影响变异物理学知情神经网络（VPINN）的收敛速率，同时解决椭圆边界边界值问题，如何影响变异物理学知情神经网络（VPINN）的收敛速率。使用依靠INF-SUP条件的Petrov-Galerkin框架，我们在精确解决方案和合适的计算神经网络的合适的高阶分段插值之间得出了一个先验误差估计。数值实验证实了理论预测并突出了INF-SUP条件的重要性。我们的结果表明，以某种方式违反直觉，对于平滑解决方案，实现高衰减率的最佳策略在选择最低多项式程度的测试功能方面，同时使用适当高精度的正交公式。

This paper proposes Friedrichs learning as a novel deep learning methodology that can learn the weak solutions of PDEs via a minmax formulation, which transforms the PDE problem into a minimax optimization problem to identify weak solutions. The name "Friedrichs learning" is for highlighting the close relationship between our learning strategy and Friedrichs theory on symmetric systems of PDEs. The weak solution and the test function in the weak formulation are parameterized as deep neural networks in a mesh-free manner, which are alternately updated to approach the optimal solution networks approximating the weak solution and the optimal test function, respectively. Extensive numerical results indicate that our mesh-free method can provide reasonably good solutions to a wide range of PDEs defined on regular and irregular domains in various dimensions, where classical numerical methods such as finite difference methods and finite element methods may be tedious or difficult to be applied.

In this paper, we propose a new neural network architecture based on the H2 matrix. Even though networks with H2-inspired architecture already exist, and our approach is designed to reduce memory costs and improve performance by taking into account the sparsity template of the H2 matrix. In numerical comparison with alternative neural networks, including the known H2-based ones, our architecture showed itself as beneficial in terms of performance, memory, and scalability.

Residual minimization is a widely used technique for solving Partial Differential Equations in variational form. It minimizes the dual norm of the residual, which naturally yields a saddle-point (min-max) problem over the so-called trial and test spaces. Such min-max problem is highly non-linear, and traditional methods often employ different mixed formulations to approximate it. Alternatively, it is possible to address the above saddle-point problem by employing Adversarial Neural Networks: one network approximates the global trial minimum, while another network seeks the test maximizer. However, this approach is numerically unstable due to a lack of continuity of the text maximizers with respect to the trial functions as we approach the exact solution. To overcome this, we reformulate the residual minimization as an equivalent minimization of a Ritz functional fed by optimal test functions computed from another Ritz functional minimization. The resulting Deep Double Ritz Method combines two Neural Networks for approximating the trial and optimal test functions. Numerical results on several 1D diffusion and convection problems support the robustness of our method up to the approximability and trainability capacity of the networks and the optimizer.

本文提出了一个无网格的计算框架和机器学习理论，用于在未知的歧管上求解椭圆形PDE，并根据扩散地图（DM）和深度学习确定点云。 PDE求解器是作为监督的学习任务制定的，以解决最小二乘回归问题，该问题施加了近似PDE的代数方程（如果适用）。该代数方程涉及通过DM渐近扩展获得的图形拉平型矩阵，该基质是二阶椭圆差差算子的一致估计器。最终的数值方法是解决受神经网络假设空间解决方案的高度非凸经验最小化问题。在体积良好的椭圆PDE设置中，当假设空间由具有无限宽度或深度的神经网络组成时，我们表明，经验损失函数的全球最小化器是大型训练数据极限的一致解决方案。当假设空间是一个两层神经网络时，我们表明，对于足够大的宽度，梯度下降可以识别经验损失函数的全局最小化器。支持数值示例证明了解决方案的收敛性，范围从具有低和高共限度的简单歧管到具有和没有边界的粗糙表面。我们还表明，所提出的NN求解器可以在具有概括性误差的新数据点上稳健地概括PDE解决方案，这些误差几乎与训练错误相同，从而取代了基于Nystrom的插值方法。

光谱方法是求解部分微分方程（PDE）的科学计算的武器的重要组成部分。然而，它们的适用性和有效性在很大程度上取决于用于扩展PDE溶液的基础函数的选择。过去十年已经看到，在提供复杂职能的有效陈述方面，深入学习的出现是强烈的竞争者。在目前的工作中，我们提出了一种用谱方法结合深神经网络来解决PDE的方法。特别是，我们使用称为深度操作系统网络（DeepOnet）的深度学习技术，以识别扩展PDE解决方案的候选功能。我们已经设计了一种方法，该方法使用DeepOnet提供的候选功能作为构建具有以下属性的一组功能的起点：i）它们构成基础，2）它们是正常的，3）它们是等级的，类似于傅里叶系列或正交多项式。我们利用了我们定制的基础函数的有利属性，以研究其近似能力，并使用它们来扩展线性和非线性时间依赖性PDE的解决方案。

运营商网络已成为有希望的深度学习工具，用于近似偏微分方程（PDE）的解决方案。这些网络绘制了描述材料属性，迫使函数和边界数据的输入函数到PDE解决方案。这项工作描述了一种针对操作员网络的新体系结构，该架构模仿了从问题的变异公式或弱公式中获得的数值解决方案的形式。这些想法在通用椭圆的PDE中的应用导致变异模拟操作员网络（Varmion）。像常规的深层操作员网络（DeepOnet）一样，Varmion也由一个子网络组成，该子网络构建了输出的基础函数，另一个构造了这些基础函数系数的基本功能。但是，与deponet相反，在Varmion中，这些网络的体系结构是精确确定的。对Varmion解决方案中误差的分析表明，它包含训练数据中的误差，训练错误，抽样输入中的正交误差和输出功能的贡献，以及测量测试输入功能之间距离的“覆盖错误”以及培训数据集中最近的功能。这也取决于确切网络及其varmion近似的稳定性常数。 Varmion在规范椭圆形PDE中的应用表明，对于大约相同数量的网络参数，平均而言，Varmion的误差比标准DeepOnet较小。此外，其性能对于输入函数的变化，用于采样输入和输出功能的技术，用于构建基本函数的技术以及输入函数的数量更为强大。

在科学计算中，在科学计算中的许多应用中出现了从样本点近似平滑，多元功能的问题，在科学和工程的计算不确定性量化（UQ）中。在这些应用中，目标函数可以代表参数化部分微分方程（PDE）的所需量。由于解决此类问题的成本很高，在解决每个样本中通过求解PDE计算，样本效率是有关这些应用的关键。最近，越来越多地关注深度神经网络（DNN）和深度学习（DL）从数据中学习此类功能。在这项工作中，我们提出了一种自适应抽样策略，CAS4DL（基督佛尔自适应采样用于深度学习），以提高DL的样本效率用于多元功能近似。我们的新方法基于将DNN的第二至最后一层解释为该层上节点定义的函数词典。从这个角度来看，我们定义了一种自适应采样策略，该策略是由最近提出的线性近似方案提出的自适应采样方案激励的，其中该词典跨越的子空间的基督教词函数随机绘制了样品。我们提出了比较CAS4DL与标准蒙特卡洛（MC）采样的数值实验。我们的结果表明，CAS4DL通常可以在达到给定准确性所需的样品数量中节省大量，尤其是在平滑激活功能的情况下，与MC相比，它显示出更好的稳定性。因此，这些结果是将DL完全适应科学计算应用的有希望的一步。

实施深层神经网络来学习参数部分微分方程（PDE）的解决方案图比使用许多常规数值方法更有效。但是，对这种方法进行了有限的理论分析。在这项研究中，我们研究了深层二次单元（requ）神经网络的表达能力，以近似参数PDE的溶液图。拟议的方法是由G. Kutyniok，P。Petersen，M。Raslan和R. Schneider（Gitta Kutyniok，Philipp Petersen，Mones Raslan和Reinhold Schneider。深层神经网络和参数PDES的理论分析）的最新重要工作激励的。 。建设性近似，第1-53、2021页，该第1-53、2021页，它使用深层的线性单元（relu）神经网络来求解参数PDE。与先前建立的复杂性$ \ MATHCAL {O} \ left（d^3 \ log_ {2}}^{q}（1/ \ epsilon）\ right）$用于relu神经网络，我们得出了上限的上限$ \ MATHCAL {o} \ left（d^3 \ log_ {2}^{q} \ log_ {2}（1/ \ epsilon）\ right）$）$ right Requ Neural网络的大小，以实现精度$ \ epsilon> 0 $，其中$ d $是代表解决方案的减少基础的维度。我们的方法充分利用了解决方案歧管的固有低维度和深层reque neural网络的更好近似性能。进行数值实验以验证我们的理论结果。

Recent years have witnessed a growth in mathematics for deep learning--which seeks a deeper understanding of the concepts of deep learning with mathematics, and explores how to make it more robust--and deep learning for mathematics, where deep learning algorithms are used to solve problems in mathematics. The latter has popularised the field of scientific machine learning where deep learning is applied to problems in scientific computing. Specifically, more and more neural network architectures have been developed to solve specific classes of partial differential equations (PDEs). Such methods exploit properties that are inherent to PDEs and thus solve the PDEs better than classical feed-forward neural networks, recurrent neural networks, and convolutional neural networks. This has had a great impact in the area of mathematical modeling where parametric PDEs are widely used to model most natural and physical processes arising in science and engineering, In this work, we review such methods and extend them for parametric studies as well as for solving the related inverse problems. We equally proceed to show their relevance in some industrial applications.

高维偏微分方程（PDE）是一种流行的数学建模工具，其应用从财务到计算化学不等。但是，用于解决这些PDE的标准数值技术通常受维度的诅咒影响。在这项工作中，我们应对这一挑战，同时着重于在具有周期性边界条件的高维域上定义的固定扩散方程。受到高维度稀疏功能近似进展的启发，我们提出了一种称为压缩傅立叶搭配的新方法。结合了压缩感应和光谱搭配的想法，我们的方法取代了结构化置式网格用蒙特卡洛采样的使用，并采用了稀疏的恢复技术，例如正交匹配的追踪和$ \ ell^1 $最小化，以近似PDE的傅立叶系数解决方案。我们进行了严格的理论分析，表明所提出的方法的近似误差与最佳$ s $ term近似（相对于傅立叶基础）与解决方案相当。我们的分析使用了最近引入的随机采样框架，我们的分析表明，在足够条件下，根据扩散系数的规律性，压缩傅立叶搭配方法相对于搭配点的数量减轻了维数的诅咒。我们还提出了数值实验，以说明稀疏和可压缩溶液近似方法的准确性和稳定性。

我们展示了如何构建深度神经网络（DNN）专家，以预测给定计算问题的准最佳$ HP $ - 翻新。主要想法是在执行自适应$ HP $ -FINITE元素方法（$ HP $ -FEM）算法的过程中培训DNN专家，并以后使用它来预测进一步的$ HP $细化。在培训中，我们使用两个网格范式自适应$ HP $ -FEM算法。它采用精细网格为粗网格元素提供最佳$ HP $改进。我们旨在构建DNN专家，以识别粗网格元素的准最佳$ HP $改进。在训练阶段，我们使用直接求解器获取细网元的溶液，以指导粗网格元件上的最佳修补。训练后，我们关闭了自适应$ hp $ -FEM算法，并继续按照受过DNN专家培训的DNN专家提出的准优化细化。我们测试了三维FICHERA和二维L形域问题的方法。我们验证数值相对于网格尺寸的收敛性。我们表明，如果我们继续使用经过适当培训的DNN专家进行改进，则可以保留由自适应$ hp $ -FEM提供的指数融合。因此，在本文中，我们表明，从自适应$ hp $ -fem中，可以训练DNN专家的奇异性位置，并继续选择准最佳的$ hp $ previness该方法的指数收敛性。

Low-rank matrix approximations, such as the truncated singular value decomposition and the rank-revealing QR decomposition, play a central role in data analysis and scientific computing. This work surveys and extends recent research which demonstrates that randomization offers a powerful tool for performing low-rank matrix approximation. These techniques exploit modern computational architectures more fully than classical methods and open the possibility of dealing with truly massive data sets.This paper presents a modular framework for constructing randomized algorithms that compute partial matrix decompositions. These methods use random sampling to identify a subspace that captures most of the action of a matrix. The input matrix is then compressed-either explicitly or implicitly-to this subspace, and the reduced matrix is manipulated deterministically to obtain the desired low-rank factorization. In many cases, this approach beats its classical competitors in terms of accuracy, speed, and robustness. These claims are supported by extensive numerical experiments and a detailed error analysis.The specific benefits of randomized techniques depend on the computational environment. Consider the model problem of finding the k dominant components of the singular value decomposition of an m × n matrix. (i) For a dense input matrix, randomized algorithms require O(mn log(k)) floating-point operations (flops) in contrast with O(mnk) for classical algorithms. (ii) For a sparse input matrix, the flop count matches classical Krylov subspace methods, but the randomized approach is more robust and can easily be reorganized to exploit multi-processor architectures. (iii) For a matrix that is too large to fit in fast memory, the randomized techniques require only a constant number of passes over the data, as opposed to O(k) passes for classical algorithms. In fact, it is sometimes possible to perform matrix approximation with a single pass over the data.

在本文中，我们在关注最先进的变压器中应用自我关注，这是第一次需要与部分微分方程相关的数据驱动的操作员学习问题。努力放在一起解释启发式，提高注意机制的功效。通过在希尔伯特空间中采用操作员近似理论，首次证明了Softmax归一化在缩放的点产品中的关注中足够但没有必要。在没有软墨中的情况下，可以证明线性化变换器变型的近似容量与Petrov-Galerkin投影层 - 明智相当，并且估计是相对于序列长度的独立性。提出了一种模仿Petrov-Galerkin投影的新层归一化方案，以允许缩放通过注意层传播，这有助于模型在具有非通信数据的操作员学习任务中实现显着准确性。最后，我们展示了三个操作员学习实验，包括粘虫汉堡方程，接口达西流程，以及逆接口系数识别问题。新提出的简单关注的算子学习者Galerkin变压器，在Softmax归一化的同行中，培训成本和评估准确性都显示出显着的改进。

机器学习领域的最新进展打开了高性能计算的新时代。机器学习算法在开发复杂问题的准确和成本效益的替代物中的应用已经引起了科学家的主要关注。尽管具有强大的近似功能，但代理人仍无法为问题产生“精确”解决方案。为了解决此问题，本文利用了最新的ML工具，并提供了线性方程系统的自定义迭代求解器，能够在任何所需的准确性级别求解大规模参数化问题。具体而言，建议的方法包括以下两个步骤。首先，进行了一组减少的模型评估集，并使用相应的解决方案用于建立从问题的参数空间到其解决方案空间的近似映射，并使用深层馈电神经网络和卷积自动编码器。该映射是一种手段，可以以微不足道的计算成本来获得对系统对新查询点的响应的非常准确的初始预测。随后，开发了一种受代数多机方法启发的迭代求解器与适当的正交分解（称为pod-2g）相结合的迭代求解器，该迭代求解器被开发为依次完善对确切系统解决方案的初始预测。在大规模系统的几个数值示例中，证明了POD-2G作为独立求解器或作为预处理梯度方法的预处理，结果表明其优于常规迭代溶液方案。

We investigate the problem of recovering a partially observed high-rank matrix whose columns obey a nonlinear structure such as a union of subspaces, an algebraic variety or grouped in clusters. The recovery problem is formulated as the rank minimization of a nonlinear feature map applied to the original matrix, which is then further approximated by a constrained non-convex optimization problem involving the Grassmann manifold. We propose two sets of algorithms, one arising from Riemannian optimization and the other as an alternating minimization scheme, both of which include first- and second-order variants. Both sets of algorithms have theoretical guarantees. In particular, for the alternating minimization, we establish global convergence and worst-case complexity bounds. Additionally, using the Kurdyka-Lojasiewicz property, we show that the alternating minimization converges to a unique limit point. We provide extensive numerical results for the recovery of union of subspaces and clustering under entry sampling and dense Gaussian sampling. Our methods are competitive with existing approaches and, in particular, high accuracy is achieved in the recovery using Riemannian second-order methods.

神经操作员是科学机器学习中一种流行的技术，可以从数据中学习未知物理系统行为的数学模型。当数值求解器不可用或对基础物理学的理解不佳时，神经运算符对于学习与局部微分方程（PDE）相关的解决方案运算符特别有用。在这项工作中，我们试图提供理论基础，以了解学习时间依赖性PDE所需的培训数据量。从任何空间尺寸$ n \ geq 1 $中的抛物线PDE中给定输入输出对，我们得出了学习相关解决方案运算符的第一个理论上严格的方案，该方案采取了带有绿色功能$ g $的卷积的形式。到目前为止，严格学习与时间相关PDE相关的Green的功能一直是科学机器学习领域的主要挑战。通过将$ g $的层次低级结构与随机数字线性代数结合在一起，我们构建了$ g $的近似值，该$ g $实现了$ \ smash {\ smash {\ smashcal {\ mathcal {o}（\ gamma_ \ epsilon^epsilon^{ - 1/2} \ epsilon）}} $在$ l^1 $ -NORM中具有高概率，最多可以使用$ \ smash {\ MathCal {\ Mathcal {o}（\ Epsilon^{ - \ frac {n+2} {2} {2} {2} {2} {2} {2} } \ log（1/\ epsilon））}} $输入输出培训对，其中$ \ gamma_ \ epsilon $是衡量学习$ g $的培训数据集质量的量度，而$ \ epsilon> 0 $就足够了小的。

A simple nonrecursive form of the tensor decomposition in d dimensions is presented. It does not inherently suffer from the curse of dimensionality, it has asymptotically the same number of parameters as the canonical decomposition, but it is stable and its computation is based on lowrank approximation of auxiliary unfolding matrices. The new form gives a clear and convenient way to implement all basic operations efficiently. A fast rounding procedure is presented, as well as basic linear algebra operations. Examples showing the benefits of the decomposition are given, and the efficiency is demonstrated by the computation of the smallest eigenvalue of a 19-dimensional operator.