We investigate the capacity, convexity and characterization of a general family of normconstrained feed-forward networks.

我们研究神经网络的基于规范的统一收敛范围，旨在密切理解它们如何受到规范约束的架构和类型的影响，对于简单的标量价值一类隐藏的一层网络，并在其中界定了输入。欧几里得规范。我们首先证明，通常，控制隐藏层重量矩阵的光谱规范不足以获得均匀的收敛保证（与网络宽度无关），而更强的Frobenius Norm Control是足够的，扩展并改善了以前的工作。在证明构造中，我们识别和分析了两个重要的设置，在这些设置中（可能令人惊讶）仅光谱规范控制就足够了：首先，当网络的激活函数足够平滑时（结果扩展到更深的网络）；其次，对于某些类型的卷积网络。在后一种情况下，我们研究样品复杂性如何受到参数的影响，例如斑块之间的重叠量和斑块的总数。

作为一般类型的机器学习方法，人工神经网络已在许多模式识别和数据分析任务中建立了最先进的基准。在各种神经网络体系结构中，多项式神经网络（PNN）最近已证明可以通过神经切线核分析进行分析，并且在图像生成和面部识别方面尤其有效。但是，获得对PNNS的计算和样本复杂性的理论见解仍然是一个开放的问题。在本文中，我们将先前文献中的分析扩展到PNN，并获得有关PNNS样品复杂性的新结果，该结果在解释PNN的概括能力方面提供了一些见解。

The fundamental learning theory behind neural networks remains largely open. What classes of functions can neural networks actually learn? Why doesn't the trained network overfit when it is overparameterized?In this work, we prove that overparameterized neural networks can learn some notable concept classes, including two and three-layer networks with fewer parameters and smooth activations. Moreover, the learning can be simply done by SGD (stochastic gradient descent) or its variants in polynomial time using polynomially many samples. The sample complexity can also be almost independent of the number of parameters in the network.On the technique side, our analysis goes beyond the so-called NTK (neural tangent kernel) linearization of neural networks in prior works. We establish a new notion of quadratic approximation of the neural network (that can be viewed as a second-order variant of NTK), and connect it to the SGD theory of escaping saddle points.

我们研究神经网络表达能力的基本限制。给定两组$ f $，$ g $的实值函数，我们首先证明了$ f $中的功能的一般下限，可以在$ l^p（\ mu）$ norm中通过$ g中的功能近似$，对于任何$ p \ geq 1 $和任何概率度量$ \ mu $。下限取决于$ f $的包装数，$ f $的范围以及$ g $的脂肪震动尺寸。然后，我们实例化了$ g $对应于分段的馈电神经网络的情况，并详细描述了两组$ f $：h {\“ o} lder balls和多变量单调函数。除了匹配（已知或新的）上限与日志因素外，我们的下限还阐明了$ l^p $ Norm或SUP Norm中近似之间的相似性或差异，解决了Devore等人的开放问题（2021年））。我们的证明策略与SUP Norm案例不同，并使用了Mendelson（2002）的关键概率结果。

我们提供了通过线性激活的多渠道卷积神经网络中的$ \ ell_2 $标准来最大程度地减少$ \ ell_2 $标准而产生的功能空间表征，并经验测试了我们对使用梯度下降训练的Relu网络的假设。我们将功能空间中的诱导正规化程序定义为实现函数所需的网络权重规范的最小$ \ ell_2 $。对于具有$ C $输出频道和内核尺寸$ K $的两个层线性卷积网络，我们显示以下内容：（a）如果网络的输入是单个渠道，则任何$ k $的诱导正规器都与数字无关输出频道$ c $。此外，我们得出正常化程序是由半决赛程序（SDP）给出的规范。 （b）相比之下，对于多通道输入，仅实现所有矩阵值值线性函数而需要多个输出通道，因此归纳偏置确实取决于$ c $。但是，对于足够大的$ c $，诱导的正规化程序再次由独立于$ c $的SDP给出。特别是，$ k = 1 $和$ k = d $（输入维度）的诱导正规器以封闭形式作为核标准和$ \ ell_ {2,1} $ group-sparse Norm，线性预测指标的傅立叶系数。我们通过对MNIST和CIFAR-10数据集的实验来研究理论结果对从线性和RELU网络上梯度下降的隐式正则化的更广泛的适用性。

Consider the multivariate nonparametric regression model. It is shown that estimators based on sparsely connected deep neural networks with ReLU activation function and properly chosen network architecture achieve the minimax rates of convergence (up to log nfactors) under a general composition assumption on the regression function. The framework includes many well-studied structural constraints such as (generalized) additive models. While there is a lot of flexibility in the network architecture, the tuning parameter is the sparsity of the network. Specifically, we consider large networks with number of potential network parameters exceeding the sample size. The analysis gives some insights into why multilayer feedforward neural networks perform well in practice. Interestingly, for ReLU activation function the depth (number of layers) of the neural network architectures plays an important role and our theory suggests that for nonparametric regression, scaling the network depth with the sample size is natural. It is also shown that under the composition assumption wavelet estimators can only achieve suboptimal rates.

预测到优化的框架在许多实际设置中都是基础：预测优化问题的未知参数，然后使用参数的预测值解决该问题。与参数的预测误差相反，在这种环境中的自然损失函数是考虑预测参数引起的决策成本。最近在Elmachtoub和Grigas（2022）中引入了此损失函数，并被称为智能预测 - 优化（SPO）损失。在这项工作中，我们试图提供有关在SPO损失的背景下，预测模型在训练数据中概括的预测模型的性能如何。由于SPO损失是非凸面和非lipschitz，因此不适用推导概括范围的标准结果。我们首先根据natarajan维度得出界限，在多面体可行区域中，在极端点数中最大程度地比对数扩展，但是，在一般凸的可行区域中，对决策维度具有线性依赖性。通过利用SPO损耗函数的结构和可行区域的关键特性，我们将其表示为强度属性，我们可以显着提高对决策和特征维度的依赖。我们的方法和分析依赖于围绕有问题的预测的利润，这些预测不会产生独特的最佳解决方案，然后在修改后的利润率SPO损失函数的背景下提供了概括界限，而SPO损失函数是Lipschitz的连续。最后，我们表征了强度特性，并表明可以有效地计算出具有显式极端表示的强凸体和多面体的修饰的SPO损耗。

我们有助于更好地理解由具有Relu激活和给定架构的神经网络表示的功能。使用来自混合整数优化，多面体理论和热带几何的技术，我们为普遍近似定理提供了数学逆向，这表明单个隐藏层足以用于学习任务。特别是，我们调查完全可增值功能是否完全可以通过添加更多层（没有限制大小）来严格增加。由于它为神经假设类别代表的函数类提供给算法和统计方面，这个问题对算法和统计方面具有潜在的影响。然而，据我们所知，这个问题尚未在神经网络文学中调查。我们还在这些神经假设类别中代表功能所需的神经网络的大小上存在上限。

最近的一项工作已经通过神经切线核（NTK）分析了深神经网络的理论特性。特别是，NTK的最小特征值与记忆能力，梯度下降算法的全球收敛性和深网的概括有关。但是，现有结果要么在两层设置中提供边界，要么假设对于多层网络，将NTK矩阵的频谱从0界限为界限。在本文中，我们在无限宽度和有限宽度的限制情况下，在最小的ntk矩阵的最小特征值上提供了紧密的界限。在有限宽度的设置中，我们认为的网络体系结构相当笼统：我们需要大致订购$ n $神经元的宽层，$ n $是数据示例的数量；剩余层宽度的缩放是任意的（取决于对数因素）。为了获得我们的结果，我们分析了各种量的独立兴趣：我们对隐藏特征矩阵的最小奇异值以及输入输出特征图的Lipschitz常数上的上限给出了下限。

Neural networks trained to minimize the logistic (a.k.a. cross-entropy) loss with gradient-based methods are observed to perform well in many supervised classification tasks. Towards understanding this phenomenon, we analyze the training and generalization behavior of infinitely wide two-layer neural networks with homogeneous activations. We show that the limits of the gradient flow on exponentially tailed losses can be fully characterized as a max-margin classifier in a certain non-Hilbertian space of functions. In presence of hidden low-dimensional structures, the resulting margin is independent of the ambiant dimension, which leads to strong generalization bounds. In contrast, training only the output layer implicitly solves a kernel support vector machine, which a priori does not enjoy such an adaptivity. Our analysis of training is non-quantitative in terms of running time but we prove computational guarantees in simplified settings by showing equivalences with online mirror descent. Finally, numerical experiments suggest that our analysis describes well the practical behavior of two-layer neural networks with ReLU activations and confirm the statistical benefits of this implicit bias.

我们考虑与高斯数据的高维线性回归中的插值学习，并在类高斯宽度方面证明了任意假设类别中的内插器的泛化误差。将通用绑定到欧几里德常规球恢复了Bartlett等人的一致性结果。（2020）对于最小规范内插器，并确认周等人的预测。（2020）在高斯数据的特殊情况下，对于近乎最小常态的内插器。我们通过将其应用于单位来证明所界限的一般性，从而获得最小L1-NORM Interpoolator（基础追踪）的新型一致性结果。我们的结果表明，基于规范的泛化界限如何解释并用于分析良性过度装备，至少在某些设置中。

We consider neural networks with a single hidden layer and non-decreasing positively homogeneous activation functions like the rectified linear units. By letting the number of hidden units grow unbounded and using classical non-Euclidean regularization tools on the output weights, they lead to a convex optimization problem and we provide a detailed theoretical analysis of their generalization performance, with a study of both the approximation and the estimation errors. We show in particular that they are adaptive to unknown underlying linear structures, such as the dependence on the projection of the input variables onto a low-dimensional subspace. Moreover, when using sparsity-inducing norms on the input weights, we show that high-dimensional non-linear variable selection may be achieved, without any strong assumption regarding the data and with a total number of variables potentially exponential in the number of observations. However, solving this convex optimization problem in infinite dimensions is only possible if the non-convex subproblem of addition of a new unit can be solved efficiently. We provide a simple geometric interpretation for our choice of activation functions and describe simple conditions for convex relaxations of the finite-dimensional non-convex subproblem to achieve the same generalization error bounds, even when constant-factor approximations cannot be found. We were not able to find strong enough convex relaxations to obtain provably polynomial-time algorithms and leave open the existence or non-existence of such tractable algorithms with non-exponential sample complexities.

为了更好地了解深度神经网络的结构效益和泛化能力，我们首先提出了一种新颖的神经网络模型的理论制定，包括完全连接的残余网络（Reset）和密集连接的网络（Densenet）。其次，我们将两层网络\ CITE {EW2019PRIORITWO}和RESET \ CITE {E2019PRIORIRES}的误差分析扩展到DENSENET，并进一步显示满足某些温和条件的神经网络，可以获得类似的估计。这些估计本质上是先验的，因为它们依赖于在训练过程之前的信息上依赖于信息，特别是估计误差的界限与输入维度无关。

在深度学习中的优化分析是连续的，专注于（变体）梯度流动，或离散，直接处理（变体）梯度下降。梯度流程可符合理论分析，但是风格化并忽略计算效率。它代表梯度下降的程度是深度学习理论的一个开放问题。目前的论文研究了这个问题。将梯度下降视为梯度流量初始值问题的近似数值问题，发现近似程度取决于梯度流动轨迹周围的曲率。然后，我们表明，在具有均匀激活的深度神经网络中，梯度流动轨迹享有有利的曲率，表明它们通过梯度下降近似地近似。该发现允许我们将深度线性神经网络的梯度流分析转换为保证梯度下降，其几乎肯定会在随机初始化下有效地收敛到全局最小值。实验表明，在简单的深度神经网络中，具有传统步长的梯度下降确实接近梯度流。我们假设梯度流动理论将解开深入学习背后的奥秘。

Deep nets generalize well despite having more parameters than the number of training samples. Recent works try to give an explanation using PAC-Bayes and Margin-based analyses, but do not as yet result in sample complexity bounds better than naive parameter counting. The current paper shows generalization bounds that're orders of magnitude better in practice. These rely upon new succinct reparametrizations of the trained net -a compression that is explicit and efficient. These yield generalization bounds via a simple compression-based framework introduced here. Our results also provide some theoretical justification for widespread empirical success in compressing deep nets.Analysis of correctness of our compression relies upon some newly identified "noise stability"properties of trained deep nets, which are also experimentally verified. The study of these properties and resulting generalization bounds are also extended to convolutional nets, which had eluded earlier attempts on proving generalization.

在本文中，我们为Rademacher复杂性和I.I.D.深度学习的概括误差开发了一些新颖的界限。和马尔可夫数据集。新的Rademacher复杂性和概括范围紧密至$ O（1/\ sqrt {n}）$，其中$ n $是训练集的大小。对于某些神经网络结构，它们可能会在深度$ l $中呈指数衰减。塔格兰（Talagrand）在功能空间和深层神经网络之间进行高维映射的收缩引理的开发是对这项工作的关键技术贡献。

由学习的迭代软阈值算法（Lista）的动机，我们介绍了一种适用于稀疏重建的一般性网络，从少数线性测量。通过在层之间允许各种重量共享度，我们为非常不同的神经网络类型提供统一分析，从复发到网络更类似于标准前馈神经网络。基于训练样本，通过经验风险最小化，我们旨在学习最佳网络参数，从而实现从其低维线性测量的最佳网络。我们通过分析由这种深网络组成的假设类的RadeMacher复杂性来衍生泛化界限，这也考虑了阈值参数。我们获得了对样本复杂性的估计，基本上只取决于参数和深度的数量。我们应用主要结果以获得几个实际示例的特定泛化界限，包括（隐式）字典学习和卷积神经网络的不同算法。

现代神经网络通常以强烈的过度构造状态运行：它们包含许多参数，即使实际标签被纯粹随机的标签代替，它们也可以插入训练集。尽管如此，他们在看不见的数据上达到了良好的预测错误：插值训练集并不会导致巨大的概括错误。此外，过度散色化似乎是有益的，因为它简化了优化景观。在这里，我们在神经切线（NT）制度中的两层神经网络的背景下研究这些现象。我们考虑了一个简单的数据模型，以及各向同性协变量的矢量，$ d $尺寸和$ n $隐藏的神经元。我们假设样本量$ n $和尺寸$ d $都很大，并且它们在多项式上相关。我们的第一个主要结果是对过份术的经验NT内核的特征结构的特征。这种表征意味着必然的表明，经验NT内核的最低特征值在$ ND \ gg n $后立即从零界限，因此网络可以在同一制度中精确插值任意标签。我们的第二个主要结果是对NT Ridge回归的概括误差的表征，包括特殊情况，最小值-ULL_2 $ NORD插值。我们证明，一旦$ nd \ gg n $，测试误差就会被内核岭回归之一相对于无限宽度内核而近似。多项式脊回归的误差依次近似后者，从而通过与激活函数的高度组件相关的“自我诱导的”项增加了正则化参数。多项式程度取决于样本量和尺寸（尤其是$ \ log n/\ log d $）。

我们研究了称为“乐观速率”（Panchenko 2002; Srebro等，2010）的统一收敛概念，用于与高斯数据的线性回归。我们的精致分析避免了现有结果中的隐藏常量和对数因子，这已知在高维设置中至关重要，特别是用于了解插值学习。作为一个特殊情况，我们的分析恢复了Koehler等人的保证。（2021年），在良性过度的过度条件下，严格地表征了低规范内插器的人口风险。但是，我们的乐观速度绑定还分析了具有任意训练错误的预测因子。这使我们能够在随机设计下恢复脊和套索回归的一些经典统计保障，并有助于我们在过度参数化制度中获得精确了解近端器的过度风险。