灵活的变送器网络（FTNET）是最近提出的生物合理的神经网络，并在处理时间空间数据时与最先进的模型实现了竞争性能。但是，关于FTNET的理论理解仍然存在开放问题。从近似和局部最小值的角度来看，这项工作调查了一个隐藏层FTNET的理论属性。在温和的假设下，我们表明：i）Ftnet是一个普遍的近似器; ii）FTNET的近似复杂度可以是指数相比于具有前馈/复发架构的实值神经网络的复杂性，并且在最坏情况下具有相同的顺序; III）任何本地FTNET都是全局最小值，这表明本地搜索算法可以收敛到全局最小值。我们的理论结果表明，FTNET可以有效地表达目标功能，并且对局部最小值没有担忧，这补充了FTNET的理论空白，并表现出改善FTNET的可能性。

我们研究了深层神经网络的表达能力，以在扩张的转移不变空间中近似功能，这些空间被广泛用于信号处理，图像处理，通信等。相对于神经网络的宽度和深度估算了近似误差界限。网络构建基于深神经网络的位提取和数据拟合能力。作为我们主要结果的应用，获得了经典函数空间（例如Sobolev空间和BESOV空间）的近似速率。我们还给出了$ l^p（1 \ le p \ le \ infty）$近似误差的下限，这表明我们的神经网络的构建是渐近的最佳选择，即最大程度地达到对数因素。

直到最近，神经网络在机器学习中的应用几乎完全依赖于实际网络。然而，它最近观察到，该复合值的神经网络（CVNNS）在应用中表现出卓越的性能，其中输入自然复合值，例如MRI指纹识别。虽然现实价值网络的数学理论已经达到了一定程度的成熟度，但这远远不适用于复合网络。在本文中，我们通过提供近似美元的Compact Qualets上的Compact Value的神经网络上的Compact-valued神经网络，通过提供明确的定量误差界来分析复合网络的表达性。激活函数，由$ \ sigma（z）= \ mathrm {creu}（| z | - 1）\，\ mathrm {sgn}（z）$，它是实际使用的最受欢迎的复杂激活功能之一。我们表明，衍生的近似值率在Modroleu网络类中的最佳（最多为日志因子），其具有适度增长的重量。

众所周知，$ O（n）$参数足以让神经网络记住任意$ N $ INPUT-LABE标签对。通过利用深度，我们显示$ O（n ^ {2/3}）$参数足以在输入点的分离的温和条件下记住$ n $对。特别是，更深的网络（即使是宽度为3美元），也会显示比浅网络更有成对，这也同意最近的作品对函数近似的深度的好处。我们还提供支持我们理论发现的经验结果。

本文开发了简单的前馈神经网络，实现了所有连续功能的通用近似性，具有固定的有限数量的神经元。这些神经网络很简单，因为它们的设计具有简单且可增加的连续激活功能$ \ Sigma $利用三角波函数和软片功能。我们证明了$ \ Sigma $ -Activated网络，宽度为36d $ 36d（2d + 1）$和11 $ 11 $可以在任意小错误中估计$ d $ -dimensioanl超级函数上的任何连续功能。因此，对于监督学习及其相关的回归问题，这些网络产生的假设空间，尺寸不小于36d（2d + 1）\ times 11 $的持续功能的空间。此外，由图像和信号分类引起的分类函数在$ \ sigma $ -activated网络生成的假设空间中，宽度为36d（2d + 1）$和12 $ 12 $，当存在$ \的成对不相交的界限子集时mathbb {r} ^ d $，使得同一类的样本位于同一子集中。

其中的许多神经网络能够复制复杂的任务或功能的原因之一是其普遍性财产。在过去的几十年里已经在提供单一或类神经网络的构造性证明见过很多尝试。本文是为了提供一大类，包括激活现有的大多数激活和超越的普遍性统一的和建设性的框架。在框架的心脏是神经网络近似标识的概念。事实证明，大多数现有的激活是神经网络近似的标志，因此在连续的函数对致密的空间普遍。该框架诱导几个优点。首先，它是建设性与功能分析，概率论，和数值分析的基本手段。其次，它是第一个统一的尝试，其有效期为大多数现有的激活。第三，作为一个以产品，该框架提供了一些现有的激活功能，包括米什司炉ELU，格鲁，等四的第一所大学证明，它发现带有普遍性的保证财产新的激活。事实上，任何活化\ textemdash其$ \ķ$阶导数，以$ \ķ$为整数，是积并且基本上界定\ textemdash是普遍的。第五，对于给定的激活和容错，框架精确地提供了具有预定数量的神经元，和重量/偏差的值中对应的一个隐藏神经网络的体系结构。

在本文中，我们研究了学习最适合培训数据集的浅层人工神经网络的问题。我们在过度参数化的制度中研究了这个问题，在该制度中，观测值的数量少于模型中的参数数量。我们表明，通过二次激活，训练的优化景观这种浅神经网络具有某些有利的特征，可以使用各种局部搜索启发式方法有效地找到全球最佳模型。该结果适用于输入/输出对的任意培训数据。对于可区分的激活函数，我们还表明，适当初始化的梯度下降以线性速率收敛到全球最佳模型。该结果着重于选择输入的可实现模型。根据高斯分布和标签是根据种植的重量系数生成的。

我们研究了神经网络中平方损耗训练问题的优化景观和稳定性，但通用非线性圆锥近似方案。据证明，如果认为非线性圆锥近似方案是（以适当定义的意义）比经典线性近似方法更具表现力，并且如果存在不完美的标签向量，则在方位损耗的训练问题必须在其中不稳定感知其解决方案集在训练数据中的标签向量上不连续地取决于标签向量。我们进一步证明对这些不稳定属性负责的效果也是马鞍点出现的原因和杂散的局部最小值，这可能是从全球解决方案的任意遥远的，并且既不训练问题也不是训练问题的不稳定性通常，杂散局部最小值的存在可以通过向目标函数添加正则化术语来克服衡量近似方案中参数大小的目标函数。无论可实现的可实现性是否满足，后一种结果都被证明是正确的。我们表明，我们的分析特别适用于具有可变宽度的自由结插值方案和深层和浅层神经网络的培训问题，其涉及各种激活功能的任意混合（例如，二进制，六骨，Tanh，arctan，软标志， ISRU，Soft-Clip，SQNL，Relu，Lifley Relu，Soft-Plus，Bent Identity，Silu，Isrlu和ELU）。总之，本文的发现说明了神经网络和一般非线性圆锥近似仪器的改进近似特性以直接和可量化的方式与必须解决的优化问题的不期望的性质链接，以便训练它们。

在深度学习中的优化分析是连续的，专注于（变体）梯度流动，或离散，直接处理（变体）梯度下降。梯度流程可符合理论分析，但是风格化并忽略计算效率。它代表梯度下降的程度是深度学习理论的一个开放问题。目前的论文研究了这个问题。将梯度下降视为梯度流量初始值问题的近似数值问题，发现近似程度取决于梯度流动轨迹周围的曲率。然后，我们表明，在具有均匀激活的深度神经网络中，梯度流动轨迹享有有利的曲率，表明它们通过梯度下降近似地近似。该发现允许我们将深度线性神经网络的梯度流分析转换为保证梯度下降，其几乎肯定会在随机初始化下有效地收敛到全局最小值。实验表明，在简单的深度神经网络中，具有传统步长的梯度下降确实接近梯度流。我们假设梯度流动理论将解开深入学习背后的奥秘。

这项调查的目的是介绍对深神经网络的近似特性的解释性回顾。具体而言，我们旨在了解深神经网络如何以及为什么要优于其他经典线性和非线性近似方法。这项调查包括三章。在第1章中，我们回顾了深层网络及其组成非线性结构的关键思想和概念。我们通过在解决回归和分类问题时将其作为优化问题来形式化神经网络问题。我们简要讨论用于解决优化问题的随机梯度下降算法以及用于解决优化问题的后传播公式，并解决了与神经网络性能相关的一些问题，包括选择激活功能，成本功能，过度适应问题和正则化。在第2章中，我们将重点转移到神经网络的近似理论上。我们首先介绍多项式近似中的密度概念，尤其是研究实现连续函数的Stone-WeierStrass定理。然后，在线性近似的框架内，我们回顾了馈电网络的密度和收敛速率的一些经典结果，然后在近似Sobolev函数中进行有关深网络复杂性的最新发展。在第3章中，利用非线性近似理论，我们进一步详细介绍了深度和近似网络与其他经典非线性近似方法相比的近似优势。

本文介绍了梯度下降到全球最低最低限度的新标准。该标准用于表明，当训练任何具有光滑且严格增加激活功能的前馈神经网络时，具有适当初始化的梯度下降将收敛到全局最小值，前提是输入维度大于或等于数据点的数量。先前工作的主要区别在于，网络的宽度可以是固定的数字，而不是作为数据点数量的某些倍数或功率而不现实地生长。

我们研究神经网络的基于规范的统一收敛范围，旨在密切理解它们如何受到规范约束的架构和类型的影响，对于简单的标量价值一类隐藏的一层网络，并在其中界定了输入。欧几里得规范。我们首先证明，通常，控制隐藏层重量矩阵的光谱规范不足以获得均匀的收敛保证（与网络宽度无关），而更强的Frobenius Norm Control是足够的，扩展并改善了以前的工作。在证明构造中，我们识别和分析了两个重要的设置，在这些设置中（可能令人惊讶）仅光谱规范控制就足够了：首先，当网络的激活函数足够平滑时（结果扩展到更深的网络）；其次，对于某些类型的卷积网络。在后一种情况下，我们研究样品复杂性如何受到参数的影响，例如斑块之间的重叠量和斑块的总数。

Consider the multivariate nonparametric regression model. It is shown that estimators based on sparsely connected deep neural networks with ReLU activation function and properly chosen network architecture achieve the minimax rates of convergence (up to log nfactors) under a general composition assumption on the regression function. The framework includes many well-studied structural constraints such as (generalized) additive models. While there is a lot of flexibility in the network architecture, the tuning parameter is the sparsity of the network. Specifically, we consider large networks with number of potential network parameters exceeding the sample size. The analysis gives some insights into why multilayer feedforward neural networks perform well in practice. Interestingly, for ReLU activation function the depth (number of layers) of the neural network architectures plays an important role and our theory suggests that for nonparametric regression, scaling the network depth with the sample size is natural. It is also shown that under the composition assumption wavelet estimators can only achieve suboptimal rates.

我们为特殊神经网络架构，称为运营商复发性神经网络的理论分析，用于近似非线性函数，其输入是线性运算符。这些功能通常在解决方案算法中出现用于逆边值问题的问题。传统的神经网络将输入数据视为向量，因此它们没有有效地捕获与对应于这种逆问题中的数据的线性运算符相关联的乘法结构。因此，我们介绍一个类似标准的神经网络架构的新系列，但是输入数据在向量上乘法作用。由较小的算子出现在边界控制中的紧凑型操作员和波动方程的反边值问题分析，我们在网络中的选择权重矩阵中促进结构和稀疏性。在描述此架构后，我们研究其表示属性以及其近似属性。我们还表明，可以引入明确的正则化，其可以从所述逆问题的数学分析导出，并导致概括属性上的某些保证。我们观察到重量矩阵的稀疏性改善了概括估计。最后，我们讨论如何将运营商复发网络视为深度学习模拟，以确定诸如用于从边界测量的声波方程中重建所未知的WAVESTED的边界控制的算法算法。

深度分离结果提出了对深度神经网络过较浅的架构的好处的理论解释，建立前者具有卓越的近似能力。然而，没有已知的结果，其中更深的架构利用这种优势成为可提供的优化保证。我们证明，当数据由具有满足某些温和假设的径向对称的分布产生的数据时，梯度下降可以使用具有两层S形激活的深度2神经网络有效地学习球指示器功能，并且隐藏层固定在一起训练。由于众所周知，当使用用单层非线性的深度2网络（Safran和Shamir，2017）使用深度2网络时，球指示器难以近似于一定的重型分配，这建立了我们最好的知识，基于第一优化的分离结果，其中近似架构的近似效益在实践中可怕的。我们的证明技术依赖于随机特征方法，该方法减少了用单个神经元学习的问题，其中新工具需要在数据分布重尾时显示梯度下降的收敛。

我们研究神经网络表达能力的基本限制。给定两组$ f $，$ g $的实值函数，我们首先证明了$ f $中的功能的一般下限，可以在$ l^p（\ mu）$ norm中通过$ g中的功能近似$，对于任何$ p \ geq 1 $和任何概率度量$ \ mu $。下限取决于$ f $的包装数，$ f $的范围以及$ g $的脂肪震动尺寸。然后，我们实例化了$ g $对应于分段的馈电神经网络的情况，并详细描述了两组$ f $：h {\“ o} lder balls和多变量单调函数。除了匹配（已知或新的）上限与日志因素外，我们的下限还阐明了$ l^p $ Norm或SUP Norm中近似之间的相似性或差异，解决了Devore等人的开放问题（2021年））。我们的证明策略与SUP Norm案例不同，并使用了Mendelson（2002）的关键概率结果。

我们研究具有随机生成内部权重的回声状态网络的均匀近似。这些模型在训练过程中仅优化了读数权重，在学习动态系统方面取得了经验成功。我们通过证明它们在弱条件下是普遍的来解决这些模型的代表性。我们的主要结果为激活函数提供了足够的条件和内部权重的采样过程，因此回声状态网络可以近似具有高概率的任何连续的休闲时间不变的操作员。特别是，对于Relu激活，我们量化了足够常规运算符的回声状态网络的近似误差。

复合值的神经网络（CVNNS）已广泛应用于各种领域，尤其是信号处理和图像识别。然而，很少有作品关注CVNN的泛化，尽管它至关重要，以确保CVNNS在看不见的数据上的性能至关重要。本文是第一项工作，证明了复杂的神经网络的泛化。束缚尺度具有光谱复杂性，其主导因子是重量矩阵的光谱范数产物。此外，我们的工作为训练数据顺序时为CVNN提供了泛化，这也受光谱复杂度的影响。从理论上讲，这些界限通过Maey Sparsification Lemma和Dudley熵整体来源。经验上，我们通过在不同的数据集上培训复杂的卷积神经网络进行实验：Mnist，FashionMnist，CiFar-10，CiFar-100，微小想象成和IMDB。 Spearman的秩序相关系数和这些数据集上的相应P值给出了由权重矩阵光谱规范产品测量的网络的光谱复杂度，与概括能力有统计学显着的相关性。

The fundamental learning theory behind neural networks remains largely open. What classes of functions can neural networks actually learn? Why doesn't the trained network overfit when it is overparameterized?In this work, we prove that overparameterized neural networks can learn some notable concept classes, including two and three-layer networks with fewer parameters and smooth activations. Moreover, the learning can be simply done by SGD (stochastic gradient descent) or its variants in polynomial time using polynomially many samples. The sample complexity can also be almost independent of the number of parameters in the network.On the technique side, our analysis goes beyond the so-called NTK (neural tangent kernel) linearization of neural networks in prior works. We establish a new notion of quadratic approximation of the neural network (that can be viewed as a second-order variant of NTK), and connect it to the SGD theory of escaping saddle points.

We generalize the classical universal approximation theorem for neural networks to the case of complex-valued neural networks. Precisely, we consider feedforward networks with a complex activation function $\sigma : \mathbb{C} \to \mathbb{C}$ in which each neuron performs the operation $\mathbb{C}^N \to \mathbb{C}, z \mapsto \sigma(b + w^T z)$ with weights $w \in \mathbb{C}^N$ and a bias $b \in \mathbb{C}$, and with $\sigma$ applied componentwise. We completely characterize those activation functions $\sigma$ for which the associated complex networks have the universal approximation property, meaning that they can uniformly approximate any continuous function on any compact subset of $\mathbb{C}^d$ arbitrarily well. Unlike the classical case of real networks, the set of "good activation functions" which give rise to networks with the universal approximation property differs significantly depending on whether one considers deep networks or shallow networks: For deep networks with at least two hidden layers, the universal approximation property holds as long as $\sigma$ is neither a polynomial, a holomorphic function, or an antiholomorphic function. Shallow networks, on the other hand, are universal if and only if the real part or the imaginary part of $\sigma$ is not a polyharmonic function.