实施深层神经网络来学习参数部分微分方程（PDE）的解决方案图比使用许多常规数值方法更有效。但是，对这种方法进行了有限的理论分析。在这项研究中，我们研究了深层二次单元（requ）神经网络的表达能力，以近似参数PDE的溶液图。拟议的方法是由G. Kutyniok，P。Petersen，M。Raslan和R. Schneider（Gitta Kutyniok，Philipp Petersen，Mones Raslan和Reinhold Schneider。深层神经网络和参数PDES的理论分析）的最新重要工作激励的。 。建设性近似，第1-53、2021页，该第1-53、2021页，它使用深层的线性单元（relu）神经网络来求解参数PDE。与先前建立的复杂性$ \ MATHCAL {O} \ left（d^3 \ log_ {2}}^{q}（1/ \ epsilon）\ right）$用于relu神经网络，我们得出了上限的上限$ \ MATHCAL {o} \ left（d^3 \ log_ {2}^{q} \ log_ {2}（1/ \ epsilon）\ right）$）$ right Requ Neural网络的大小，以实现精度$ \ epsilon> 0 $，其中$ d $是代表解决方案的减少基础的维度。我们的方法充分利用了解决方案歧管的固有低维度和深层reque neural网络的更好近似性能。进行数值实验以验证我们的理论结果。
translated by 谷歌翻译
我们在无限尺寸空间之间构建深度操作网络（ONET），其以指数收敛率的指数到椭圆二阶PDE的系数到溶液映射率。特别是，我们考虑在$ -dimimension周期域中设置的问题，$ d = 1,2，\ dots $，以及分析右手边和系数。我们的分析包括扩散反应问题，参数扩散方程和椭圆体系，例如异质材料的线性各向同性插座。我们利用了解决方案是分析的边值问题的谱串联方法的指数趋同。在本周期性和分析环境中，这是经典椭圆规则的。在[陈和陈，1993]和[Lu等人，2021]的oneet分支和主干构建中，我们展示了深度one的存在，它模拟了溶液映射为精确度$ \ varepsilon> 0 $在$ h ^ 1 $ norm，均匀地通过系数集。我们证明了在某些$ \ kappa> 0 $的oneet中的神经网络具有尺寸$ \ mathcal {o}（\ log | \ log（\ varepsilon）\ reval | ^ \ kappa），具体取决于物理空间维度。
translated by 谷歌翻译
我们因与Relu神经网络的参数双曲标量保护定律的近似值所产生的误差得出了严格的界限。我们表明，通过克服维度诅咒的relu神经网络，可以使近似误差尽可能小。此外，我们在训练误差，训练样本数量和神经网络大小方面提供了明确的上限。理论结果通过数值实验说明。
translated by 谷歌翻译
无限尺寸空间之间的学习运营商是机器学习，成像科学，数学建模和仿真等广泛应用中出现的重要学习任务。本文研究了利用深神经网络的Lipschitz运营商的非参数估计。 Non-asymptotic upper bounds are derived for the generalization error of the empirical risk minimizer over a properly chosen network class.在假设目标操作员表现出低维结构的情况下，由于训练样本大小增加，我们的误差界限衰减，根据我们估计中的内在尺寸，具有吸引力的快速速度。我们的假设涵盖了实际应用中的大多数情况，我们的结果通过利用操作员估算中的低维结构来产生快速速率。我们还研究了网络结构（例如，网络宽度，深度和稀疏性）对神经网络估计器的泛化误差的影响，并提出了对网络结构的选择来定量地最大化学习效率的一般建议。
translated by 谷歌翻译
我们建立了对椭圆形问题的误差对空间中的椭圆状况的误差，以及不同的边界条件。对于Dirichlet边界条件，我们在通过边界损失方法中大致强制强制执行边界值时估计错误。我们的结果适用于任意和一般非线性类$ v \ subseteq h ^ 1（\ omega）$的ansatz函数，并估算依赖优化精度，ansatz类的近似能力和 - 在案例中Dirichlet边界值 - 惩罚强度$ \ lambda $。对于非基本边界条件，RITZ方法的误差与ansatz类的近似率相同的速率。对于基本边界条件，鉴于$ H ^ 1（\ OMEGA）$的近似率和$ l ^ 2（\ partial \ omega）$的$ l ^ 2（\ partial \ omega）$的近似率，最佳衰减率的估计错误是$ \ min（s / 2，r）$，通过选择$ \ lambda_n \ sim n ^ {s} $来实现。我们讨论了通过Relu网络给出的Ansatz类的影响以及与有限元函数的现有估计的关系。
translated by 谷歌翻译
本文提出了一个无网格的计算框架和机器学习理论，用于在未知的歧管上求解椭圆形PDE，并根据扩散地图（DM）和深度学习确定点云。 PDE求解器是作为监督的学习任务制定的，以解决最小二乘回归问题，该问题施加了近似PDE的代数方程（如果适用）。该代数方程涉及通过DM渐近扩展获得的图形拉平型矩阵，该基质是二阶椭圆差差算子的一致估计器。最终的数值方法是解决受神经网络假设空间解决方案的高度非凸经验最小化问题。在体积良好的椭圆PDE设置中，当假设空间由具有无限宽度或深度的神经网络组成时，我们表明，经验损失函数的全球最小化器是大型训练数据极限的一致解决方案。当假设空间是一个两层神经网络时，我们表明，对于足够大的宽度，梯度下降可以识别经验损失函数的全局最小化器。支持数值示例证明了解决方案的收敛性，范围从具有低和高共限度的简单歧管到具有和没有边界的粗糙表面。我们还表明，所提出的NN求解器可以在具有概括性误差的新数据点上稳健地概括PDE解决方案，这些误差几乎与训练错误相同，从而取代了基于Nystrom的插值方法。
translated by 谷歌翻译
对于人造深神经网络，我们证明了分析函数的表达率$ f：\ mathbb {r} ^ d \ to \ mathbb {r} $中的$ l ^ 2（\ mathbb {r} ^ d，\ gamma_d ）$ down $ d \ in {\ mathbb {n}} \ cup \ {\ idty \} $。 $ \ gamma_d $ denot $ \ mathbb {r} ^ d $的高斯产品概率测量。我们特别考虑relu和relu $ {} ^ $ y ^ $ yrucations for Integer $ k \ geq 2 $。对于$ d \ in \ mathbb {n} $，我们显示了$ l ^ 2（\ mathbb {r} ^ d，\ gamma_d）$的指数融合率。在$ d = \ infty $，在$ f：\ mathbb {r} ^ {\ mathbb {r}} \ to \ mathbb {r} $的适当平滑和稀疏假设下，用$ \ gamma_ \ idty $表示$ \ mathbb {r} ^ {\ mathbb {n}} $的无限（高斯）产品测量值，我们证明了$ l ^ 2（\ mathbb {r} ^ {\ mathbb { n}}，\ gamma_ \ idty）$。该速率仅取决于（分析延续）的量化全阵列（分析延续）地图$ f $到$ \ mathbb {c} ^ d $中的条带产品。作为应用程序，我们将深度Relu-NNS的表达率界限进行了椭圆PDE的响应曲面与Log-Gaussian随机场输入。
translated by 谷歌翻译
在这项工作中，我们分析了不同程度的不同精度和分段多项式测试函数如何影响变异物理学知情神经网络（VPINN）的收敛速率，同时解决椭圆边界边界值问题，如何影响变异物理学知情神经网络（VPINN）的收敛速率。使用依靠INF-SUP条件的Petrov-Galerkin框架，我们在精确解决方案和合适的计算神经网络的合适的高阶分段插值之间得出了一个先验误差估计。数值实验证实了理论预测并突出了INF-SUP条件的重要性。我们的结果表明，以某种方式违反直觉，对于平滑解决方案，实现高衰减率的最佳策略在选择最低多项式程度的测试功能方面，同时使用适当高精度的正交公式。
translated by 谷歌翻译
神经网络的经典发展主要集中在有限维欧基德空间或有限组之间的学习映射。我们提出了神经网络的概括，以学习映射无限尺寸函数空间之间的运算符。我们通过一类线性积分运算符和非线性激活函数的组成制定运营商的近似，使得组合的操作员可以近似复杂的非线性运算符。我们证明了我们建筑的普遍近似定理。此外，我们介绍了四类运算符参数化：基于图形的运算符，低秩运算符，基于多极图形的运算符和傅里叶运算符，并描述了每个用于用每个计算的高效算法。所提出的神经运营商是决议不变的：它们在底层函数空间的不同离散化之间共享相同的网络参数，并且可以用于零击超分辨率。在数值上，与现有的基于机器学习的方法，达西流程和Navier-Stokes方程相比，所提出的模型显示出卓越的性能，而与传统的PDE求解器相比，与现有的基于机器学习的方法有关的基于机器学习的方法。
translated by 谷歌翻译
我们为特殊神经网络架构，称为运营商复发性神经网络的理论分析，用于近似非线性函数，其输入是线性运算符。这些功能通常在解决方案算法中出现用于逆边值问题的问题。传统的神经网络将输入数据视为向量，因此它们没有有效地捕获与对应于这种逆问题中的数据的线性运算符相关联的乘法结构。因此，我们介绍一个类似标准的神经网络架构的新系列，但是输入数据在向量上乘法作用。由较小的算子出现在边界控制中的紧凑型操作员和波动方程的反边值问题分析，我们在网络中的选择权重矩阵中促进结构和稀疏性。在描述此架构后，我们研究其表示属性以及其近似属性。我们还表明，可以引入明确的正则化，其可以从所述逆问题的数学分析导出，并导致概括属性上的某些保证。我们观察到重量矩阵的稀疏性改善了概括估计。最后，我们讨论如何将运营商复发网络视为深度学习模拟，以确定诸如用于从边界测量的声波方程中重建所未知的WAVESTED的边界控制的算法算法。
translated by 谷歌翻译
在这项工作中，我们探讨了H +“旧常规功能的深度整流二次单位神经网络的近似能力，相对于统一标准。我们发现理论近似大量取决于神经网络中的所选激活函数。
translated by 谷歌翻译
由于其出色的近似功率和泛化能力，物理知识的神经网络（PINNS）已成为求解高维局部微分方程（PDE）的流行选择。最近，基于域分解方法的扩展Pinns（Xpinns）由于其在模拟多尺度和多体问题问题及其平行化方面的有效性而引起了相当大的关注。但是，对其融合和泛化特性的理论理解仍未开发。在这项研究中，我们迈出了了解XPinns优于拼接的方式和当Xpinns差异的初步步骤。具体地，对于一般多层PinNS和Xpinn，我们首先通过PDE问题中的目标函数的复杂性提供先前的泛化，并且在优化之后通过网络的后矩阵规范结合。此外，根据我们的界限，我们分析了Xpinns改善泛化的条件。具体地，我们的理论表明，XPinn的关键构建块，即域分解，介绍了泛化的权衡。一方面，Xpinns将复杂的PDE解决方案分解为几个简单的部分，这降低了学习每个部分所需的复杂性并提高泛化。另一方面，分解导致每个子域内可用的训练数据较少，因此这种模型通常容易过度拟合，并且可能变得不那么广泛。经验上，我们选择五个PDE来显示XPinns比Pinns更好，类似于或更差，因此证明和证明我们的新理论。
translated by 谷歌翻译
基于神经网络的高维部分微分方程（PDE）的数值解具有令人兴奋的发展。本文推出了Barron空间中$ -dimimensional二阶椭圆PDE的解决方案的复杂性估计，这是一组函数，即承认某些参数脊函数的积分与参数上的概率测量。我们证明在一些适当的假设中，如果椭圆PDE的系数和源期限位于Barron空间中，则PDE的解决方案是$ \ epsilon $ -close关于$ h ^ 1 $ norm到Barron功能。此外，我们证明了这种近似解决方案的Barron标准的维度显式范围，这取决于大多数多项式在PDE的维度$ D $上。作为复杂性估计的直接后果，通过双层神经网络，PDE的解决方案可以通过双层神经网络在任何有界面的神经网络上近似于尺寸显式收敛速度的$ H ^ 1 $常态。
translated by 谷歌翻译
运营商网络已成为有希望的深度学习工具，用于近似偏微分方程（PDE）的解决方案。这些网络绘制了描述材料属性，迫使函数和边界数据的输入函数到PDE解决方案。这项工作描述了一种针对操作员网络的新体系结构，该架构模仿了从问题的变异公式或弱公式中获得的数值解决方案的形式。这些想法在通用椭圆的PDE中的应用导致变异模拟操作员网络（Varmion）。像常规的深层操作员网络（DeepOnet）一样，Varmion也由一个子网络组成，该子网络构建了输出的基础函数，另一个构造了这些基础函数系数的基本功能。但是，与deponet相反，在Varmion中，这些网络的体系结构是精确确定的。对Varmion解决方案中误差的分析表明，它包含训练数据中的误差，训练错误，抽样输入中的正交误差和输出功能的贡献，以及测量测试输入功能之间距离的“覆盖错误”以及培训数据集中最近的功能。这也取决于确切网络及其varmion近似的稳定性常数。 Varmion在规范椭圆形PDE中的应用表明，对于大约相同数量的网络参数，平均而言，Varmion的误差比标准DeepOnet较小。此外，其性能对于输入函数的变化，用于采样输入和输出功能的技术，用于构建基本函数的技术以及输入函数的数量更为强大。
translated by 谷歌翻译
这项调查的目的是介绍对深神经网络的近似特性的解释性回顾。具体而言，我们旨在了解深神经网络如何以及为什么要优于其他经典线性和非线性近似方法。这项调查包括三章。在第1章中，我们回顾了深层网络及其组成非线性结构的关键思想和概念。我们通过在解决回归和分类问题时将其作为优化问题来形式化神经网络问题。我们简要讨论用于解决优化问题的随机梯度下降算法以及用于解决优化问题的后传播公式，并解决了与神经网络性能相关的一些问题，包括选择激活功能，成本功能，过度适应问题和正则化。在第2章中，我们将重点转移到神经网络的近似理论上。我们首先介绍多项式近似中的密度概念，尤其是研究实现连续函数的Stone-WeierStrass定理。然后，在线性近似的框架内，我们回顾了馈电网络的密度和收敛速率的一些经典结果，然后在近似Sobolev函数中进行有关深网络复杂性的最新发展。在第3章中，利用非线性近似理论，我们进一步详细介绍了深度和近似网络与其他经典非线性近似方法相比的近似优势。
translated by 谷歌翻译
分析了无限维函数空间之间地图的深层替代物的近似速率，例如作为线性和非线性偏微分方程的数据到解决图。具体而言，我们研究了深神经操作员和广义多项式混乱（GPC）操作员的近似速率，用于无线性，可分开的希尔伯特空间之间的非线性，全态图。假定功能空间的运算符和输出通过稳定的仿射表示系统进行参数化。可接受的表示系统包括正常基础，RIESZ底座或所考虑的空间的合适的紧密框架。建立了代数表达速率界限，为具有有限的Sobolev或BESOV规律性的范围内的深层神经和GPC操作员替代物都作用于可分离的Hilbert空间和拟合图表的范围。我们通过表达速率界限来说明抽象速率界限的系数到测序图，用于圆环上线性椭圆形PDE。
translated by 谷歌翻译
高维偏微分方程（PDE）是一种流行的数学建模工具，其应用从财务到计算化学不等。但是，用于解决这些PDE的标准数值技术通常受维度的诅咒影响。在这项工作中，我们应对这一挑战，同时着重于在具有周期性边界条件的高维域上定义的固定扩散方程。受到高维度稀疏功能近似进展的启发，我们提出了一种称为压缩傅立叶搭配的新方法。结合了压缩感应和光谱搭配的想法，我们的方法取代了结构化置式网格用蒙特卡洛采样的使用，并采用了稀疏的恢复技术，例如正交匹配的追踪和$ \ ell^1 $最小化，以近似PDE的傅立叶系数解决方案。我们进行了严格的理论分析，表明所提出的方法的近似误差与最佳$ s $ term近似（相对于傅立叶基础）与解决方案相当。我们的分析使用了最近引入的随机采样框架，我们的分析表明，在足够条件下，根据扩散系数的规律性，压缩傅立叶搭配方法相对于搭配点的数量减轻了维数的诅咒。我们还提出了数值实验，以说明稀疏和可压缩溶液近似方法的准确性和稳定性。
translated by 谷歌翻译
This paper investigates the approximation properties of deep neural networks with piecewise-polynomial activation functions. We derive the required depth, width, and sparsity of a deep neural network to approximate any H\"{o}lder smooth function up to a given approximation error in H\"{o}lder norms in such a way that all weights of this neural network are bounded by $1$. The latter feature is essential to control generalization errors in many statistical and machine learning applications.
translated by 谷歌翻译
本文开发了简单的前馈神经网络，实现了所有连续功能的通用近似性，具有固定的有限数量的神经元。这些神经网络很简单，因为它们的设计具有简单且可增加的连续激活功能$ \ Sigma $利用三角波函数和软片功能。我们证明了$ \ Sigma $ -Activated网络，宽度为36d $ 36d（2d + 1）$和11 $ 11 $可以在任意小错误中估计$ d $ -dimensioanl超级函数上的任何连续功能。因此，对于监督学习及其相关的回归问题，这些网络产生的假设空间，尺寸不小于36d（2d + 1）\ times 11 $的持续功能的空间。此外，由图像和信号分类引起的分类函数在$ \ sigma $ -activated网络生成的假设空间中，宽度为36d（2d + 1）$和12 $ 12 $，当存在$ \的成对不相交的界限子集时mathbb {r} ^ d $，使得同一类的样本位于同一子集中。
translated by 谷歌翻译
在本文中，我们研究了使用深丽升方法（DRM）和物理信息的神经网络（Pinns）从随机样品求解椭圆局部微分方程（PDE）的深度学习技术的统计限制。为了简化问题，我们专注于原型椭圆PDE：SCHR \“odinginger方程，具有零的Dirichlet边界条件，其在量子 - 机械系统中具有广泛的应用。我们为两种方法建立了上下界，通过快速速率泛化绑定并发地改善了这个问题的上限。我们发现当前的深ritz方法是次优的，提出修改版本。我们还证明了Pinn和DRM的修改版本可以实现Minimax SoboLev空间的最佳限制。经验上，近期工作表明，根据权力法，我们提供了培训训练的深层模型精度，我们提供了计算实验，以显示对深PDE求解器的尺寸依赖权力法的类似行为。
translated by 谷歌翻译