众所周知，$ O（n）$参数足以让神经网络记住任意$ N $ INPUT-LABE标签对。通过利用深度，我们显示$ O（n ^ {2/3}）$参数足以在输入点的分离的温和条件下记住$ n $对。特别是，更深的网络（即使是宽度为3美元），也会显示比浅网络更有成对，这也同意最近的作品对函数近似的深度的好处。我们还提供支持我们理论发现的经验结果。

我们研究了深层神经网络的表达能力，以在扩张的转移不变空间中近似功能，这些空间被广泛用于信号处理，图像处理，通信等。相对于神经网络的宽度和深度估算了近似误差界限。网络构建基于深神经网络的位提取和数据拟合能力。作为我们主要结果的应用，获得了经典函数空间（例如Sobolev空间和BESOV空间）的近似速率。我们还给出了$ l^p（1 \ le p \ le \ infty）$近似误差的下限，这表明我们的神经网络的构建是渐近的最佳选择，即最大程度地达到对数因素。

神经网络的通用近似特性（UAP）对于深度学习至关重要，众所周知，广泛的神经网络是$ l^p $ norm和连续/统一规范中连续功能的通用近似概要。但是，确切的最小宽度，$ w _ {\ min} $，尚未对UAP进行彻底研究。最近，使用解码器模式编码器方案，\ citet {park2021mimine}发现$ w _ {\ min} = \ max（d_x+1，d_y）$ for $ l^p $ up of relu Networks和the $ c $ - relu+step网络，其中$ d_x，d_y $分别是输入和输出尺寸。在本文中，我们考虑具有任意激活功能的神经网络。我们证明，紧凑型域上功能的$ c $ uap和$ l^p $ -uap共享最小宽度的通用下限；也就是说，$ w^*_ {\ min} = \ max（d_x，d_y）$。特别是，只要输入或输出尺寸大于一个，就可以通过泄漏的relu网络来实现临界宽度，$ w^*_ {\ min} $，可以通过泄漏的relu网络来实现。我们的构建基于神经普通微分方程的近似能力以及通过神经网络近似流量图的能力。还讨论了非单极管或不连续的激活函数情况和一维情况。

本文开发了简单的前馈神经网络，实现了所有连续功能的通用近似性，具有固定的有限数量的神经元。这些神经网络很简单，因为它们的设计具有简单且可增加的连续激活功能$ \ Sigma $利用三角波函数和软片功能。我们证明了$ \ Sigma $ -Activated网络，宽度为36d $ 36d（2d + 1）$和11 $ 11 $可以在任意小错误中估计$ d $ -dimensioanl超级函数上的任何连续功能。因此，对于监督学习及其相关的回归问题，这些网络产生的假设空间，尺寸不小于36d（2d + 1）\ times 11 $的持续功能的空间。此外，由图像和信号分类引起的分类函数在$ \ sigma $ -activated网络生成的假设空间中，宽度为36d（2d + 1）$和12 $ 12 $，当存在$ \的成对不相交的界限子集时mathbb {r} ^ d $，使得同一类的样本位于同一子集中。

我们研究神经网络表达能力的基本限制。给定两组$ f $，$ g $的实值函数，我们首先证明了$ f $中的功能的一般下限，可以在$ l^p（\ mu）$ norm中通过$ g中的功能近似$，对于任何$ p \ geq 1 $和任何概率度量$ \ mu $。下限取决于$ f $的包装数，$ f $的范围以及$ g $的脂肪震动尺寸。然后，我们实例化了$ g $对应于分段的馈电神经网络的情况，并详细描述了两组$ f $：h {\“ o} lder balls和多变量单调函数。除了匹配（已知或新的）上限与日志因素外，我们的下限还阐明了$ l^p $ Norm或SUP Norm中近似之间的相似性或差异，解决了Devore等人的开放问题（2021年））。我们的证明策略与SUP Norm案例不同，并使用了Mendelson（2002）的关键概率结果。

众所周知，现代神经网络容易受到对抗例子的影响。为了减轻这个问题，已经提出了一系列强大的学习算法。但是，尽管通过某些方法可以通过某些方法接近稳定的训练误差，但所有现有的算法都会导致较高的鲁棒概括误差。在本文中，我们从深层神经网络的表达能力的角度提供了对这种令人困惑的现象的理论理解。具体而言，对于二进制分类数据，我们表明，对于Relu网络，虽然轻度的过度参数足以满足较高的鲁棒训练精度，但存在持续的稳健概括差距，除非神经网络的大小是指数的，却是指数的。数据维度$ d $。即使数据是线性可分离的，这意味着要实现低清洁概括错误很容易，我们仍然可以证明$ \ exp（{\ omega}（d））$下限可用于鲁棒概括。通常，只要它们的VC维度最多是参数数量，我们的指数下限也适用于各种神经网络家族和其他功能类别。此外，我们为网络大小建立了$ \ exp（{\ mathcal {o}}（k））$的改进的上限，当数据放在具有内在尺寸$ k $的歧管上时，以实现低鲁棒的概括错误（$） k \ ll d $）。尽管如此，我们也有一个下限，相对于$ k $成倍增长 - 维度的诅咒是不可避免的。通过证明网络大小之间的指数分离以实现较低的鲁棒训练和泛化错误，我们的结果表明，鲁棒概括的硬度可能源于实用模型的表现力。

This paper investigates the stability of deep ReLU neural networks for nonparametric regression under the assumption that the noise has only a finite p-th moment. We unveil how the optimal rate of convergence depends on p, the degree of smoothness and the intrinsic dimension in a class of nonparametric regression functions with hierarchical composition structure when both the adaptive Huber loss and deep ReLU neural networks are used. This optimal rate of convergence cannot be obtained by the ordinary least squares but can be achieved by the Huber loss with a properly chosen parameter that adapts to the sample size, smoothness, and moment parameters. A concentration inequality for the adaptive Huber ReLU neural network estimators with allowable optimization errors is also derived. To establish a matching lower bound within the class of neural network estimators using the Huber loss, we employ a different strategy from the traditional route: constructing a deep ReLU network estimator that has a better empirical loss than the true function and the difference between these two functions furnishes a low bound. This step is related to the Huberization bias, yet more critically to the approximability of deep ReLU networks. As a result, we also contribute some new results on the approximation theory of deep ReLU neural networks.

直到最近，神经网络在机器学习中的应用几乎完全依赖于实际网络。然而，它最近观察到，该复合值的神经网络（CVNNS）在应用中表现出卓越的性能，其中输入自然复合值，例如MRI指纹识别。虽然现实价值网络的数学理论已经达到了一定程度的成熟度，但这远远不适用于复合网络。在本文中，我们通过提供近似美元的Compact Qualets上的Compact Value的神经网络上的Compact-valued神经网络，通过提供明确的定量误差界来分析复合网络的表达性。激活函数，由$ \ sigma（z）= \ mathrm {creu}（| z | - 1）\，\ mathrm {sgn}（z）$，它是实际使用的最受欢迎的复杂激活功能之一。我们表明，衍生的近似值率在Modroleu网络类中的最佳（最多为日志因子），其具有适度增长的重量。

Consider the multivariate nonparametric regression model. It is shown that estimators based on sparsely connected deep neural networks with ReLU activation function and properly chosen network architecture achieve the minimax rates of convergence (up to log nfactors) under a general composition assumption on the regression function. The framework includes many well-studied structural constraints such as (generalized) additive models. While there is a lot of flexibility in the network architecture, the tuning parameter is the sparsity of the network. Specifically, we consider large networks with number of potential network parameters exceeding the sample size. The analysis gives some insights into why multilayer feedforward neural networks perform well in practice. Interestingly, for ReLU activation function the depth (number of layers) of the neural network architectures plays an important role and our theory suggests that for nonparametric regression, scaling the network depth with the sample size is natural. It is also shown that under the composition assumption wavelet estimators can only achieve suboptimal rates.

这项调查的目的是介绍对深神经网络的近似特性的解释性回顾。具体而言，我们旨在了解深神经网络如何以及为什么要优于其他经典线性和非线性近似方法。这项调查包括三章。在第1章中，我们回顾了深层网络及其组成非线性结构的关键思想和概念。我们通过在解决回归和分类问题时将其作为优化问题来形式化神经网络问题。我们简要讨论用于解决优化问题的随机梯度下降算法以及用于解决优化问题的后传播公式，并解决了与神经网络性能相关的一些问题，包括选择激活功能，成本功能，过度适应问题和正则化。在第2章中，我们将重点转移到神经网络的近似理论上。我们首先介绍多项式近似中的密度概念，尤其是研究实现连续函数的Stone-WeierStrass定理。然后，在线性近似的框架内，我们回顾了馈电网络的密度和收敛速率的一些经典结果，然后在近似Sobolev函数中进行有关深网络复杂性的最新发展。在第3章中，利用非线性近似理论，我们进一步详细介绍了深度和近似网络与其他经典非线性近似方法相比的近似优势。

深度分离结果提出了对深度神经网络过较浅的架构的好处的理论解释，建立前者具有卓越的近似能力。然而，没有已知的结果，其中更深的架构利用这种优势成为可提供的优化保证。我们证明，当数据由具有满足某些温和假设的径向对称的分布产生的数据时，梯度下降可以使用具有两层S形激活的深度2神经网络有效地学习球指示器功能，并且隐藏层固定在一起训练。由于众所周知，当使用用单层非线性的深度2网络（Safran和Shamir，2017）使用深度2网络时，球指示器难以近似于一定的重型分配，这建立了我们最好的知识，基于第一优化的分离结果，其中近似架构的近似效益在实践中可怕的。我们的证明技术依赖于随机特征方法，该方法减少了用单个神经元学习的问题，其中新工具需要在数据分布重尾时显示梯度下降的收敛。

We study expressive power of shallow and deep neural networks with piece-wise linear activation functions. We establish new rigorous upper and lower bounds for the network complexity in the setting of approximations in Sobolev spaces. In particular, we prove that deep ReLU networks more efficiently approximate smooth functions than shallow networks. In the case of approximations of 1D Lipschitz functions we describe adaptive depth-6 network architectures more efficient than the standard shallow architecture.

我们研究了神经网络中平方损耗训练问题的优化景观和稳定性，但通用非线性圆锥近似方案。据证明，如果认为非线性圆锥近似方案是（以适当定义的意义）比经典线性近似方法更具表现力，并且如果存在不完美的标签向量，则在方位损耗的训练问题必须在其中不稳定感知其解决方案集在训练数据中的标签向量上不连续地取决于标签向量。我们进一步证明对这些不稳定属性负责的效果也是马鞍点出现的原因和杂散的局部最小值，这可能是从全球解决方案的任意遥远的，并且既不训练问题也不是训练问题的不稳定性通常，杂散局部最小值的存在可以通过向目标函数添加正则化术语来克服衡量近似方案中参数大小的目标函数。无论可实现的可实现性是否满足，后一种结果都被证明是正确的。我们表明，我们的分析特别适用于具有可变宽度的自由结插值方案和深层和浅层神经网络的培训问题，其涉及各种激活功能的任意混合（例如，二进制，六骨，Tanh，arctan，软标志， ISRU，Soft-Clip，SQNL，Relu，Lifley Relu，Soft-Plus，Bent Identity，Silu，Isrlu和ELU）。总之，本文的发现说明了神经网络和一般非线性圆锥近似仪器的改进近似特性以直接和可量化的方式与必须解决的优化问题的不期望的性质链接，以便训练它们。

单调功能和数据集在各种应用中都会出现。我们研究单调数据集的插值问题：输入是带有$ n $点的单调数据集，目标是找到一个大小和深度有效的单调神经网络，具有非负参数和阈值单元，可以插入数据放。我们表明，单调数据集无法通过深度$ 2 $的单调网络插值。另一方面，我们证明，对于每个单调数据集，在$ \ mathbb {r}^d $中$ n $点，存在一个插值的单调网络，该网络的深度为$ 4 $ $ 4 $和size $ o（nd）$。我们的插值结果意味着，每个单调功能超过$ [0,1]^d $可以通过DEPTH-4单调网络任意地近似，从而改善了先前最著名的深度构建$ d+1 $。最后，基于布尔电路复杂性的结果，我们表明，当近似单调函数时，具有正参数的电感偏差会导致神经元数量的超顺式爆炸。

本文在内在参数的数量（即，根据目标函数$ F $）的数量来研究Relu网络的近似误差。首先，我们证明了建设，对于任何Lipschitz连续功能$ f $ w $ thy $ [0,1] ^ d $与lipschitz常数$ \ lambda> 0 $，带有$ n + 2 $ 2 $ 2 $ contrincic参数的Relu网络可以近似$ f $与$ l ^ p $ -norm以$ p \ in [1，\ idty）$中，$ f $ 5 \ lambda \ sqrt {d} \，2 ^ { - n} $。更一般于任意连续函数$ [0,1] ^ d $与连续性$ \ omega_f（\ cdot）$的模数，近似误差是$ \ omega_f（\ sqrt {d} \，2 ^ { - n}）+ 2 ^ { - n + 2} \ omega_f（\ sqrt {d}）$。接下来，我们以$ l ^ p $ -norm延长这两个结果，以$ 3 ^ d n + 2美元的价格为$ l ^ \ infty $ -norm。最后，通过使用高精度二进制表示和比特提取技术，通过固定的Relu网络独立于目标函数，我们设计，只有三个内在参数的Relu网络，以近似H +“较旧的连续功能小错误。

The fundamental learning theory behind neural networks remains largely open. What classes of functions can neural networks actually learn? Why doesn't the trained network overfit when it is overparameterized?In this work, we prove that overparameterized neural networks can learn some notable concept classes, including two and three-layer networks with fewer parameters and smooth activations. Moreover, the learning can be simply done by SGD (stochastic gradient descent) or its variants in polynomial time using polynomially many samples. The sample complexity can also be almost independent of the number of parameters in the network.On the technique side, our analysis goes beyond the so-called NTK (neural tangent kernel) linearization of neural networks in prior works. We establish a new notion of quadratic approximation of the neural network (that can be viewed as a second-order variant of NTK), and connect it to the SGD theory of escaping saddle points.

我们研究了$ \ Mathcal {r} $的结构和统计属性 - 规范最小化由特定目标函数标记的数据集的内侧插值。$ \ MATHCAL {R} $ - 标准是两层神经网络的电感偏差的基础，最近引入了捕获网络权重大小的功能效果，与网络宽度无关。我们发现，即使有适合数据的脊函数，这些插值也是本质上的多元功能，而且$ \ Mathcal {r} $ - 规范归纳偏见不足以实现某些学习问题的统计上最佳概括。总的来说，这些结果为与实际神经网络训练有关的感应偏见提供了新的启示。

我们研究神经网络的基于规范的统一收敛范围，旨在密切理解它们如何受到规范约束的架构和类型的影响，对于简单的标量价值一类隐藏的一层网络，并在其中界定了输入。欧几里得规范。我们首先证明，通常，控制隐藏层重量矩阵的光谱规范不足以获得均匀的收敛保证（与网络宽度无关），而更强的Frobenius Norm Control是足够的，扩展并改善了以前的工作。在证明构造中，我们识别和分析了两个重要的设置，在这些设置中（可能令人惊讶）仅光谱规范控制就足够了：首先，当网络的激活函数足够平滑时（结果扩展到更深的网络）；其次，对于某些类型的卷积网络。在后一种情况下，我们研究样品复杂性如何受到参数的影响，例如斑块之间的重叠量和斑块的总数。

We generalize the classical universal approximation theorem for neural networks to the case of complex-valued neural networks. Precisely, we consider feedforward networks with a complex activation function $\sigma : \mathbb{C} \to \mathbb{C}$ in which each neuron performs the operation $\mathbb{C}^N \to \mathbb{C}, z \mapsto \sigma(b + w^T z)$ with weights $w \in \mathbb{C}^N$ and a bias $b \in \mathbb{C}$, and with $\sigma$ applied componentwise. We completely characterize those activation functions $\sigma$ for which the associated complex networks have the universal approximation property, meaning that they can uniformly approximate any continuous function on any compact subset of $\mathbb{C}^d$ arbitrarily well. Unlike the classical case of real networks, the set of "good activation functions" which give rise to networks with the universal approximation property differs significantly depending on whether one considers deep networks or shallow networks: For deep networks with at least two hidden layers, the universal approximation property holds as long as $\sigma$ is neither a polynomial, a holomorphic function, or an antiholomorphic function. Shallow networks, on the other hand, are universal if and only if the real part or the imaginary part of $\sigma$ is not a polyharmonic function.

我们观察到，给定两个（兼容的）函数类别$ \ MATHCAL {f} $和$ \ MATHCAL {h} $，具有较小的容量，按其均匀覆盖的数字测量，组成类$ \ Mathcal {H} \ Circ \ Mathcal {f} $可能会变得非常大，甚至无限。然后，我们证明，在用$ \ Mathcal {h} $构成$ \ Mathcal {f} $的输出中，添加少量高斯噪声可以有效地控制$ \ Mathcal {H} \ Circ \ Mathcal { F} $，提供模块化设计的一般配方。为了证明我们的结果，我们定义了均匀覆盖随机函数数量的新概念，相对于总变异和瓦斯坦斯坦距离。我们将结果实例化，以实现多层Sigmoid神经​​网络。 MNIST数据集的初步经验结果表明，在现有统一界限上改善所需的噪声量在数值上可以忽略不计（即，元素的I.I.D. I.I.D.高斯噪声，具有标准偏差$ 10^{ - 240} $）。源代码可从https://github.com/fathollahpour/composition_noise获得。