我们研究了深层神经网络的表达能力，以在扩张的转移不变空间中近似功能，这些空间被广泛用于信号处理，图像处理，通信等。相对于神经网络的宽度和深度估算了近似误差界限。网络构建基于深神经网络的位提取和数据拟合能力。作为我们主要结果的应用，获得了经典函数空间（例如Sobolev空间和BESOV空间）的近似速率。我们还给出了$ l^p（1 \ le p \ le \ infty）$近似误差的下限，这表明我们的神经网络的构建是渐近的最佳选择，即最大程度地达到对数因素。

我们研究神经网络表达能力的基本限制。给定两组$ f $，$ g $的实值函数，我们首先证明了$ f $中的功能的一般下限，可以在$ l^p（\ mu）$ norm中通过$ g中的功能近似$，对于任何$ p \ geq 1 $和任何概率度量$ \ mu $。下限取决于$ f $的包装数，$ f $的范围以及$ g $的脂肪震动尺寸。然后，我们实例化了$ g $对应于分段的馈电神经网络的情况，并详细描述了两组$ f $：h {\“ o} lder balls和多变量单调函数。除了匹配（已知或新的）上限与日志因素外，我们的下限还阐明了$ l^p $ Norm或SUP Norm中近似之间的相似性或差异，解决了Devore等人的开放问题（2021年））。我们的证明策略与SUP Norm案例不同，并使用了Mendelson（2002）的关键概率结果。

We study expressive power of shallow and deep neural networks with piece-wise linear activation functions. We establish new rigorous upper and lower bounds for the network complexity in the setting of approximations in Sobolev spaces. In particular, we prove that deep ReLU networks more efficiently approximate smooth functions than shallow networks. In the case of approximations of 1D Lipschitz functions we describe adaptive depth-6 network architectures more efficient than the standard shallow architecture.

本文开发了简单的前馈神经网络，实现了所有连续功能的通用近似性，具有固定的有限数量的神经元。这些神经网络很简单，因为它们的设计具有简单且可增加的连续激活功能$ \ Sigma $利用三角波函数和软片功能。我们证明了$ \ Sigma $ -Activated网络，宽度为36d $ 36d（2d + 1）$和11 $ 11 $可以在任意小错误中估计$ d $ -dimensioanl超级函数上的任何连续功能。因此，对于监督学习及其相关的回归问题，这些网络产生的假设空间，尺寸不小于36d（2d + 1）\ times 11 $的持续功能的空间。此外，由图像和信号分类引起的分类函数在$ \ sigma $ -activated网络生成的假设空间中，宽度为36d（2d + 1）$和12 $ 12 $，当存在$ \的成对不相交的界限子集时mathbb {r} ^ d $，使得同一类的样本位于同一子集中。

This paper investigates the stability of deep ReLU neural networks for nonparametric regression under the assumption that the noise has only a finite p-th moment. We unveil how the optimal rate of convergence depends on p, the degree of smoothness and the intrinsic dimension in a class of nonparametric regression functions with hierarchical composition structure when both the adaptive Huber loss and deep ReLU neural networks are used. This optimal rate of convergence cannot be obtained by the ordinary least squares but can be achieved by the Huber loss with a properly chosen parameter that adapts to the sample size, smoothness, and moment parameters. A concentration inequality for the adaptive Huber ReLU neural network estimators with allowable optimization errors is also derived. To establish a matching lower bound within the class of neural network estimators using the Huber loss, we employ a different strategy from the traditional route: constructing a deep ReLU network estimator that has a better empirical loss than the true function and the difference between these two functions furnishes a low bound. This step is related to the Huberization bias, yet more critically to the approximability of deep ReLU networks. As a result, we also contribute some new results on the approximation theory of deep ReLU neural networks.

众所周知，$ O（n）$参数足以让神经网络记住任意$ N $ INPUT-LABE标签对。通过利用深度，我们显示$ O（n ^ {2/3}）$参数足以在输入点的分离的温和条件下记住$ n $对。特别是，更深的网络（即使是宽度为3美元），也会显示比浅网络更有成对，这也同意最近的作品对函数近似的深度的好处。我们还提供支持我们理论发现的经验结果。

本文在内在参数的数量（即，根据目标函数$ F $）的数量来研究Relu网络的近似误差。首先，我们证明了建设，对于任何Lipschitz连续功能$ f $ w $ thy $ [0,1] ^ d $与lipschitz常数$ \ lambda> 0 $，带有$ n + 2 $ 2 $ 2 $ contrincic参数的Relu网络可以近似$ f $与$ l ^ p $ -norm以$ p \ in [1，\ idty）$中，$ f $ 5 \ lambda \ sqrt {d} \，2 ^ { - n} $。更一般于任意连续函数$ [0,1] ^ d $与连续性$ \ omega_f（\ cdot）$的模数，近似误差是$ \ omega_f（\ sqrt {d} \，2 ^ { - n}）+ 2 ^ { - n + 2} \ omega_f（\ sqrt {d}）$。接下来，我们以$ l ^ p $ -norm延长这两个结果，以$ 3 ^ d n + 2美元的价格为$ l ^ \ infty $ -norm。最后，通过使用高精度二进制表示和比特提取技术，通过固定的Relu网络独立于目标函数，我们设计，只有三个内在参数的Relu网络，以近似H +“较旧的连续功能小错误。

过度参数化的神经网络在复杂数据上具有很大的代表能力，更重要的是产生足够平滑的输出，这对于它们的概括和稳健性至关重要。大多数现有函数近似理论表明，使用足够多的参数，神经网络可以很好地近似于功能值的某些类别的函数。然而，神经网络本身可能是高度平滑的。为了弥合这一差距，我们以卷积残留网络（Rescresnets）为例，并证明大型响应不仅可以在功能值方面近似目标函数，而且还可以表现出足够的一阶平滑度。此外，我们将理论扩展到在低维歧管上支持的近似功能。我们的理论部分证明了在实践中使用深层网络的好处。提供了关于对抗性鲁棒图像分类的数值实验，以支持我们的理论。

This paper investigates the approximation properties of deep neural networks with piecewise-polynomial activation functions. We derive the required depth, width, and sparsity of a deep neural network to approximate any H\"{o}lder smooth function up to a given approximation error in H\"{o}lder norms in such a way that all weights of this neural network are bounded by $1$. The latter feature is essential to control generalization errors in many statistical and machine learning applications.

神经网络的通用近似特性（UAP）对于深度学习至关重要，众所周知，广泛的神经网络是$ l^p $ norm和连续/统一规范中连续功能的通用近似概要。但是，确切的最小宽度，$ w _ {\ min} $，尚未对UAP进行彻底研究。最近，使用解码器模式编码器方案，\ citet {park2021mimine}发现$ w _ {\ min} = \ max（d_x+1，d_y）$ for $ l^p $ up of relu Networks和the $ c $ - relu+step网络，其中$ d_x，d_y $分别是输入和输出尺寸。在本文中，我们考虑具有任意激活功能的神经网络。我们证明，紧凑型域上功能的$ c $ uap和$ l^p $ -uap共享最小宽度的通用下限；也就是说，$ w^*_ {\ min} = \ max（d_x，d_y）$。特别是，只要输入或输出尺寸大于一个，就可以通过泄漏的relu网络来实现临界宽度，$ w^*_ {\ min} $，可以通过泄漏的relu网络来实现。我们的构建基于神经普通微分方程的近似能力以及通过神经网络近似流量图的能力。还讨论了非单极管或不连续的激活函数情况和一维情况。

Consider the multivariate nonparametric regression model. It is shown that estimators based on sparsely connected deep neural networks with ReLU activation function and properly chosen network architecture achieve the minimax rates of convergence (up to log nfactors) under a general composition assumption on the regression function. The framework includes many well-studied structural constraints such as (generalized) additive models. While there is a lot of flexibility in the network architecture, the tuning parameter is the sparsity of the network. Specifically, we consider large networks with number of potential network parameters exceeding the sample size. The analysis gives some insights into why multilayer feedforward neural networks perform well in practice. Interestingly, for ReLU activation function the depth (number of layers) of the neural network architectures plays an important role and our theory suggests that for nonparametric regression, scaling the network depth with the sample size is natural. It is also shown that under the composition assumption wavelet estimators can only achieve suboptimal rates.

众所周知，现代神经网络容易受到对抗例子的影响。为了减轻这个问题，已经提出了一系列强大的学习算法。但是，尽管通过某些方法可以通过某些方法接近稳定的训练误差，但所有现有的算法都会导致较高的鲁棒概括误差。在本文中，我们从深层神经网络的表达能力的角度提供了对这种令人困惑的现象的理论理解。具体而言，对于二进制分类数据，我们表明，对于Relu网络，虽然轻度的过度参数足以满足较高的鲁棒训练精度，但存在持续的稳健概括差距，除非神经网络的大小是指数的，却是指数的。数据维度$ d $。即使数据是线性可分离的，这意味着要实现低清洁概括错误很容易，我们仍然可以证明$ \ exp（{\ omega}（d））$下限可用于鲁棒概括。通常，只要它们的VC维度最多是参数数量，我们的指数下限也适用于各种神经网络家族和其他功能类别。此外，我们为网络大小建立了$ \ exp（{\ mathcal {o}}（k））$的改进的上限，当数据放在具有内在尺寸$ k $的歧管上时，以实现低鲁棒的概括错误（$） k \ ll d $）。尽管如此，我们也有一个下限，相对于$ k $成倍增长 - 维度的诅咒是不可避免的。通过证明网络大小之间的指数分离以实现较低的鲁棒训练和泛化错误，我们的结果表明，鲁棒概括的硬度可能源于实用模型的表现力。

这项调查的目的是介绍对深神经网络的近似特性的解释性回顾。具体而言，我们旨在了解深神经网络如何以及为什么要优于其他经典线性和非线性近似方法。这项调查包括三章。在第1章中，我们回顾了深层网络及其组成非线性结构的关键思想和概念。我们通过在解决回归和分类问题时将其作为优化问题来形式化神经网络问题。我们简要讨论用于解决优化问题的随机梯度下降算法以及用于解决优化问题的后传播公式，并解决了与神经网络性能相关的一些问题，包括选择激活功能，成本功能，过度适应问题和正则化。在第2章中，我们将重点转移到神经网络的近似理论上。我们首先介绍多项式近似中的密度概念，尤其是研究实现连续函数的Stone-WeierStrass定理。然后，在线性近似的框架内，我们回顾了馈电网络的密度和收敛速率的一些经典结果，然后在近似Sobolev函数中进行有关深网络复杂性的最新发展。在第3章中，利用非线性近似理论，我们进一步详细介绍了深度和近似网络与其他经典非线性近似方法相比的近似优势。

在本文中，我们研究了与具有多种激活函数的浅神经网络相对应的变异空间的近似特性。我们介绍了两个主要工具，用于估计这些空间的度量熵，近似率和$ n $宽度。首先，我们介绍了平滑参数化词典的概念，并在非线性近似速率，度量熵和$ n $ widths上给出了上限。上限取决于参数化的平滑度。该结果适用于与浅神经网络相对应的脊功能的字典，并且在许多情况下它们的现有结果改善了。接下来，我们提供了一种方法，用于下限度量熵和$ n $ widths的变化空间，其中包含某些类别的山脊功能。该结果给出了$ l^2 $ approximation速率，度量熵和$ n $ widths的变化空间的急剧下限具有界变化的乙状结激活函数。

生成的对抗网络（GAN）在无监督学习方面取得了巨大的成功。尽管具有显着的经验表现，但关于gan的统计特性的理论研究有限。本文提供了gan的近似值和统计保证，以估算具有H \“ {o} lder空间密度的数据分布。我们的主要结果表明，如果正确选择了生成器和鉴别器网络架构，则gan是一致的估计器在较强的差异指标下的数据分布（例如Wasserstein-1距离。 ，这不受环境维度的诅咒。我们对低维数据的分析基于具有Lipschitz连续性保证的神经网络的通用近似理论，这可能具有独立的兴趣。

本文通过引入几何深度学习（GDL）框架来构建通用馈电型型模型与可区分的流形几何形状兼容的通用馈电型模型，从而解决了对非欧国人数据进行处理的需求。我们表明，我们的GDL模型可以在受控最大直径的紧凑型组上均匀地近似任何连续目标函数。我们在近似GDL模型的深度上获得了最大直径和上限的曲率依赖性下限。相反，我们发现任何两个非分类紧凑型歧管之间始终都有连续的函数，任何“局部定义”的GDL模型都不能均匀地近似。我们的最后一个主要结果确定了数据依赖性条件，确保实施我们近似的GDL模型破坏了“维度的诅咒”。我们发现，任何“现实世界”（即有限）数据集始终满足我们的状况，相反，如果目标函数平滑，则任何数据集都满足我们的要求。作为应用，我们确认了以下GDL模型的通用近似功能：Ganea等。 （2018）的双波利馈电网络，实施Krishnan等人的体系结构。 （2015年）的深卡尔曼 - 滤波器和深度玛克斯分类器。我们构建了：Meyer等人的SPD-Matrix回归剂的通用扩展/变体。 （2011）和Fletcher（2003）的Procrustean回归剂。在欧几里得的环境中，我们的结果暗示了Kidger和Lyons（2020）的近似定理和Yarotsky和Zhevnerchuk（2019）无估计近似率的数据依赖性版本的定量版本。

无限尺寸空间之间的学习运营商是机器学习，成像科学，数学建模和仿真等广泛应用中出现的重要学习任务。本文研究了利用深神经网络的Lipschitz运营商的非参数估计。 Non-asymptotic upper bounds are derived for the generalization error of the empirical risk minimizer over a properly chosen network class.在假设目标操作员表现出低维结构的情况下，由于训练样本大小增加，我们的误差界限衰减，根据我们估计中的内在尺寸，具有吸引力的快速速度。我们的假设涵盖了实际应用中的大多数情况，我们的结果通过利用操作员估算中的低维结构来产生快速速率。我们还研究了网络结构（例如，网络宽度，深度和稀疏性）对神经网络估计器的泛化误差的影响，并提出了对网络结构的选择来定量地最大化学习效率的一般建议。

在本文中，我们用relu，正弦和$ 2^x $构建神经网络作为激活功能。对于$ [0,1]^d $定义的一般连续$ f $，带有连续模量$ \ omega_f（\ cdot）$，我们构造了Relu-sine- $ 2^x $网络，这些网络享受近似值$ \ MATHCAL {o }（\ omega_f（\ sqrt {d}）\ cdot2^{ - m}+\ omega_ {f} \ in \ Mathbb {n}^{+} $表示与网络宽度相关的超参数。结果，我们可以构建Relu-Sine- $ 2^x $网络，其深度为$ 5 $和宽度$ \ max \ left \ weft \ {\ left \ lceil2d^{3/2} \ left（\ frac {3 \ mu}） {\ epsilon} \ right）^{1/{\ alpha}} \ right \ rceil，2 \ left \ lceil \ log_2 \ frac {3 \ mu d^{\ alpha/2}} \ rceil+2 \ right \} $ tht \ Mathcal {h} _ {\ mu}^{\ alpha}（[0,1]^d）$近似$ f \以$ l^p $ norm $ p \在[1，\ infty）$中的测量，其中$ \ mathcal {h} _ {\ mu}^{\ alpha}（\ alpha}（[0,1]^d）$表示H \“ $ [0,1]^d $定义的旧连续函数类，带有订单$ \ alpha \ in（0,1] $和常数$ \ mu> 0 $。因此，relu-sine- $ 2^x $网络克服了$ \ Mathcal {h} _ {\ mu}^{\ alpha}（[0,1]^d）$。除了其晚餐表达能力外，由relu-sine- $ 2实施的功能，也克服了维度的诅咒。 ^x $网络是（广义）可区分的，使我们能够将SGD应用于训练。

直到最近，神经网络在机器学习中的应用几乎完全依赖于实际网络。然而，它最近观察到，该复合值的神经网络（CVNNS）在应用中表现出卓越的性能，其中输入自然复合值，例如MRI指纹识别。虽然现实价值网络的数学理论已经达到了一定程度的成熟度，但这远远不适用于复合网络。在本文中，我们通过提供近似美元的Compact Qualets上的Compact Value的神经网络上的Compact-valued神经网络，通过提供明确的定量误差界来分析复合网络的表达性。激活函数，由$ \ sigma（z）= \ mathrm {creu}（| z | - 1）\，\ mathrm {sgn}（z）$，它是实际使用的最受欢迎的复杂激活功能之一。我们表明，衍生的近似值率在Modroleu网络类中的最佳（最多为日志因子），其具有适度增长的重量。

量化概率分布之间的异化的统计分歧（SDS）是统计推理和机器学习的基本组成部分。用于估计这些分歧的现代方法依赖于通过神经网络（NN）进行参数化经验变化形式并优化参数空间。这种神经估算器在实践中大量使用，但相应的性能保证是部分的，并呼吁进一步探索。特别是，涉及的两个错误源之间存在基本的权衡：近似和经验估计。虽然前者需要NN课程富有富有表现力，但后者依赖于控制复杂性。我们通过非渐近误差界限基于浅NN的基于浅NN的估计的估算权，重点关注四个流行的$ \ mathsf {f} $ - 分离 - kullback-leibler，chi squared，squared hellinger，以及总变异。我们分析依赖于实证过程理论的非渐近功能近似定理和工具。界限揭示了NN尺寸和样品数量之间的张力，并使能够表征其缩放速率，以确保一致性。对于紧凑型支持的分布，我们进一步表明，上述上三次分歧的神经估算器以适当的NN生长速率接近Minimax率 - 最佳，实现了对数因子的参数速率。