了解神经网络的黑匣子预测是具有挑战性的。为实现这一目标，早期的研究已经设计了影响功能（IF）来测量删除神经网络上的单个训练点的效果。然而，用于计算IF易碎的经典隐含HESSIAN-向量产品（IHVP）方法，以及在神经网络的背景下的理论分析仍然缺乏。为此，我们利用神经切线内核（NTK）理论来计算具有正则化均方损耗的神经网络，并证明近似误差对于两层释放的宽度足够大，可以任意较小网络。我们分析了在过度参数化制度中的经典IHVP方法绑定的错误，以了解它的何时何种以及原因。详细说明，我们的理论分析揭示了（1）IHVP的准确性取决于正则化术语，并且在弱规则化下非常低; （2）IHVP的准确性与相应培训点的概率密度具有显着相关性。我们进一步借用NTK的理论来了解IFS更好，包括量化有影响力样本的复杂性，并描绘在训练动态期间的IFS的变化。现实世界数据的数值实验证实了我们的理论结果并展示了我们的研究结果。

How well does a classic deep net architecture like AlexNet or VGG19 classify on a standard dataset such as CIFAR-10 when its "width"-namely, number of channels in convolutional layers, and number of nodes in fully-connected internal layers -is allowed to increase to infinity? Such questions have come to the forefront in the quest to theoretically understand deep learning and its mysteries about optimization and generalization. They also connect deep learning to notions such as Gaussian processes and kernels. A recent paper [Jacot et al., 2018] introduced the Neural Tangent Kernel (NTK) which captures the behavior of fully-connected deep nets in the infinite width limit trained by gradient descent; this object was implicit in some other recent papers. An attraction of such ideas is that a pure kernel-based method is used to capture the power of a fully-trained deep net of infinite width. The current paper gives the first efficient exact algorithm for computing the extension of NTK to convolutional neural nets, which we call Convolutional NTK (CNTK), as well as an efficient GPU implementation of this algorithm. This results in a significant new benchmark for performance of a pure kernel-based method on CIFAR-10, being 10% higher than the methods reported in [Novak et al., 2019], and only 6% lower than the performance of the corresponding finite deep net architecture (once batch normalization etc. are turned off). Theoretically, we also give the first non-asymptotic proof showing that a fully-trained sufficiently wide net is indeed equivalent to the kernel regression predictor using NTK.

We consider the random feature ridge regression (RFRR) given by a two-layer neural network at random initialization. We study the non-asymptotic behaviors of the training error, cross-validations, and generalization error of RFRR with nearly orthogonal deterministic input data in the overparameterized regime, where the number of parameters $N$ is much larger than the sample size $n$. We respectively establish the concentrations of the training errors, cross-validations, and generalization errors of RFRR around their corresponding errors of kernel ridge regression (KRR). This KRR is defined by an expected kernel from a random feature map. We then approximate the performances of the KRR by a polynomial kernel matrix, whose degree only depends on the orthogonality among different input vectors. The degree of this polynomial kernel essentially determines the asymptotic behavior of RFRR and KRR. Our results hold for a general class of target functions and input data with weak approximate orthonormal properties among different data points. Based on these approximations and nearly orthogonality, we obtain a lower bound for the generalization error of RFRR.

Recent works have cast some light on the mystery of why deep nets fit any data and generalize despite being very overparametrized. This paper analyzes training and generalization for a simple 2-layer ReLU net with random initialization, and provides the following improvements over recent works: (i) Using a tighter characterization of training speed than recent papers, an explanation for why training a neural net with random labels leads to slower training, as originally observed in [Zhang et al. ICLR'17]. (ii) Generalization bound independent of network size, using a data-dependent complexity measure. Our measure distinguishes clearly between random labels and true labels on MNIST and CIFAR, as shown by experiments. Moreover, recent papers require sample complexity to increase (slowly) with the size, while our sample complexity is completely independent of the network size. (iii) Learnability of a broad class of smooth functions by 2-layer ReLU nets trained via gradient descent.The key idea is to track dynamics of training and generalization via properties of a related kernel.

要了解深度学习的作品，了解神经网络的培训动态至关重要。关于这些动态的几个有趣的假设是基于经验观察到的现象，但存在有限的理论上了解此类现象的时间和原因。在本文中，我们考虑了内核最小二乘目标对梯度流动的培训动态，这是SGD培训的神经网络的限制动态。使用精确的高维渐近学，我们将拟合模型的动态表征在两个“世界”中：在甲骨文世界中，该模型在人口分布和实证世界中培训，模型在采样的数据集上培训。我们展示在内核的温和条件下，$ L ^ 2 $目标回归函数，培训动力学经历三个阶段，其特征在于两个世界的模型的行为。我们的理论结果也在数学上正式化一些有趣的深度学习现象。具体而言，在我们的环境中，我们展示了SGD逐步了解更多复杂的功能，并且存在“深度引导”现象：在第二阶段，尽管经验训练误差要小得多，但两个世界的测试错误仍然接近。最后，我们提供了一个具体的例子，比较了两种不同核的动态，这表明更快的培训不需要更好地推广。

最近的研究表明，通过梯度下降训练的无限宽神经网络（NN）的动态可以是神经切线核（NTK）\ CITEP {Jacot2018neural}的特征。在平方损失下，通过梯度下降训练的无限宽度NN，具有无限小的学习速率等同于与NTK \ CITEP {arora2019Exact}的内核回归。但是，当前ridge回归{arora2019Harnessing}只知道等价物，而NN和其他内核机（KMS）之间的等价，例如，支持向量机（SVM），仍然未知。因此，在这项工作中，我们建议在NN和SVM之间建立等效，具体而言，通过柔软的边缘损失和具有由子润发性培训的NTK培训的标准柔软裕度SVM培训的无限宽NN。我们的主要理论结果包括建立NN和广泛的$ \ ELL_2 $正规化KMS之间的等价，其中有限宽度界限，不能通过事先工作来处理，并显示出通过这种正规化损耗函数训练的每个有限宽度NN大约一公里。此外，我们展示了我们的理论可以实现三种实际应用，包括（i）\ yressit {非空心}通过相应的km界限Nn; （ii）无限宽度NN的\ yryit {非琐碎}鲁棒性证书（而现有的鲁棒性验证方法提供空中界定）; （iii）本质上更强大的无限宽度NN，来自以前的内核回归。我们的实验代码可用于\ URL {https://github.com/leslie-ch/equiv-nn-svm}。

现代神经网络通常以强烈的过度构造状态运行：它们包含许多参数，即使实际标签被纯粹随机的标签代替，它们也可以插入训练集。尽管如此，他们在看不见的数据上达到了良好的预测错误：插值训练集并不会导致巨大的概括错误。此外，过度散色化似乎是有益的，因为它简化了优化景观。在这里，我们在神经切线（NT）制度中的两层神经网络的背景下研究这些现象。我们考虑了一个简单的数据模型，以及各向同性协变量的矢量，$ d $尺寸和$ n $隐藏的神经元。我们假设样本量$ n $和尺寸$ d $都很大，并且它们在多项式上相关。我们的第一个主要结果是对过份术的经验NT内核的特征结构的特征。这种表征意味着必然的表明，经验NT内核的最低特征值在$ ND \ gg n $后立即从零界限，因此网络可以在同一制度中精确插值任意标签。我们的第二个主要结果是对NT Ridge回归的概括误差的表征，包括特殊情况，最小值-ULL_2 $ NORD插值。我们证明，一旦$ nd \ gg n $，测试误差就会被内核岭回归之一相对于无限宽度内核而近似。多项式脊回归的误差依次近似后者，从而通过与激活函数的高度组件相关的“自我诱导的”项增加了正则化参数。多项式程度取决于样本量和尺寸（尤其是$ \ log n/\ log d $）。

机器学习理论中的主要开放问题之一是表征过度参数化的政权中的概括，在该制度中，大多数传统的概括范围变得不一致。在许多情况下，它们的失败可以归因于掩盖训练算法与基础数据分布之间的关键相互作用。为了解决这一缺点，我们提出了一个名为兼容性的概念，该概念以与数据相关的和算法相关的方式定量地表征了概括。通过考虑整个训练轨迹并专注于早期迭代的迭代术，兼容性充分利用了算法信息，因此可以提供更好的概括保证。我们通过理论上研究与梯度下降过度参数化的线性回归设置的兼容性来验证这一点。具体而言，我们执行与数据相关的轨迹分析，并在这种设置下得出足够的兼容性条件。我们的理论结果表明，从兼容性的意义上讲，概括性对问题实例的限制明显弱，而不是上次迭代分析。

鉴于密集的浅色神经网络，我们专注于迭代创建，培训和组合随机选择的子网（代理函数），以训练完整模型。通过仔细分析$ i）$ Subnetworks的神经切线内核，II美元）$代理职能'梯度，以及$ iii）$我们如何对替代品函数进行采样并结合训练错误的线性收敛速度 - 内部一个错误区域 - 对于带有回归任务的Relu激活的过度参数化单隐藏层Perceptron。我们的结果意味着，对于固定的神经元选择概率，当我们增加代理模型的数量时，误差项会减少，并且随着我们增加每个所选子网的本地训练步骤的数量而增加。考虑的框架概括并提供了关于辍学培训，多样化辍学培训以及独立的子网培训的新见解;对于每种情况，我们提供相应的收敛结果，作为我们主要定理的冠状动脉。

尽管深元学习取得了较高的经验成功，但对过度参数化元学习的理论理解仍然有限。本文研究了广泛使用的元学习方法，模型 - 静态元学习（MAML）的概括，该方法旨在找到快速适应新任务的良好初始化。在混合线性回归模型下，我们分析了在过度参数化方案中用SGD训练的MAML的泛化特性。我们为MAML的多余风险提供上限和下限，这捕获了SGD动力学如何影响这些泛化界限。通过如此敏锐的特征，我们进一步探讨了各种学习参数如何影响过度参数化MAML的概括能力，包括明确识别典型的数据和任务分布，这些数据和任务分布可以通过过度参数化来减少概括性错误，并表征适应性学习率对过量风险和过量风险的影响早期停车时间。我们的理论发现将通过实验进一步验证。

我们研究（选定的）宽，狭窄，深而浅，较浅，懒惰和非懒惰的训练环境中（选定的）深度神经网络中的平均鲁棒性概念。我们证明，在参数不足的环境中，宽度具有负面影响，而在过度参数化的环境中提高了鲁棒性。深度的影响紧密取决于初始化和训练模式。特别是，当用LeCun初始化初始化时，深度有助于通过懒惰训练制度进行稳健性。相反，当用神经切线核（NTK）初始化并进行初始化时，深度会损害稳健性。此外，在非懒惰培训制度下，我们演示了两层relu网络的宽度如何使鲁棒性受益。我们的理论发展改善了Huang等人的结果。[2021]，Wu等。[2021]与Bubeck and Sellke [2021]，Bubeck等人一致。[2021]。

已知神经网络对对抗性例子高度敏感。这些可能是由于不同的因素，例如随机初始化或学习问题中的虚假相关性。为了更好地理解这些因素，我们提供了对不同场景中对抗性鲁棒性的精确研究，从初始化到不同制度的培训结束以及中间场景，由于“懒惰”培训，初始化仍然起着作用。我们考虑具有二次靶标和无限样品的高维度中的过度参数化网络。我们的分析使我们能够确定近似（通过测试错误测量）和鲁棒性之间的新权衡，从而在测试误差改善时只能变得更糟，反之亦然。我们还展示了由于不当缩放的随机初始化，线性化的懒惰训练机制如何使鲁棒性恶化。通过数值实验说明了我们的理论结果。

微调是深度学习的常见做法，使用相对较少的训练数据来实现卓越的普遍性导致下游任务。虽然在实践中广泛使用，但它缺乏强烈的理论理解。我们分析了若干架构中线性教师的回归的本方案的样本复杂性。直观地，微调的成功取决于源任务与目标任务之间的相似性，但是测量它是非微不足道的。我们表明相关措施考虑了源任务，目标任务和目标数据的协方差结构之间的关系。在线性回归的设置中，我们表明，在现实的情况下，当上述措施低时，在实际设置下，显着的样本复杂性降低是合理的。对于深线性回归，我们在用预制权重初始化网络时，我们提出了关于基于梯度训练的感应偏差的新颖结果。使用此结果，我们显示此设置的相似度量也受网络深度的影响。我们进一步在浅relu模型上显示结果，并分析了在源和目标任务中的样本复杂性的依赖性。我们经验证明了我们对合成和现实数据的结果。

本文研究了随机梯度下降（SGD）优化的高尺寸中随机特征（RF）回归的概过特性。在该制度中，我们在恒定和自适应阶梯大小的SGD设置下得出了RF回归的精确非渐近误差界，并观察了理论上和经验的双重血管现象。我们的分析显示了如何应对多种随机性源的初始化，标签噪声和数据采样（以及随机梯度），没有闭合形式解决方案，并且还超出了普通使用的高斯/球面数据假设。我们的理论结果表明，通过SGD训练，RF回归仍然概括为插值学习，并且能够通过方差的单位和单调的偏差减小来表征双重血迹行为。此外，我们还证明，与精确的最小规范内插器相比，恒定的步长SGD设置在与精确的最小规范内插器相比时不会损失收敛速度，作为在实践中使用SGD的理论典范。

深入学习在现代分类任务中取得了许多突破。已经提出了众多架构用于不同的数据结构，但是当涉及丢失功能时，跨熵损失是主要的选择。最近，若干替代损失已经看到了深度分类器的恢复利益。特别是，经验证据似乎促进了方形损失，但仍然缺乏理论效果。在这项工作中，我们通过系统地研究了在神经切线内核（NTK）制度中的过度分化的神经网络的表现方式来促进对分类方面损失的理论理解。揭示了关于泛化误差，鲁棒性和校准错误的有趣特性。根据课程是否可分离，我们考虑两种情况。在一般的不可分类案例中，为错误分类率和校准误差建立快速收敛速率。当类是可分离的时，错误分类率改善了速度快。此外，经过证明得到的余量被证明是低于零的较低，提供了鲁棒性的理论保证。我们希望我们的调查结果超出NTK制度并转化为实际设置。为此，我们对实际神经网络进行广泛的实证研究，展示了合成低维数据和真实图像数据中方损的有效性。与跨熵相比，方形损耗具有可比的概括误差，但具有明显的鲁棒性和模型校准的优点。

神经体系结构搜索（NAS）促进了神经体系结构的自动发现，从而实现了图像识别的最新精度。尽管NAS取得了进展，但到目前为止，NAS对理论保证几乎没有关注。在这项工作中，我们研究了NAS在统一框架下的概括属性，从而实现（深）层跳过连接搜索和激活功能搜索。为此，我们从搜索空间（包括混合的激活功能，完全连接和残留的神经网络）的（包括）有限宽度方向上得出了神经切线核的最小特征值的下（和上）边界。由于在统一框架下的各种体系结构和激活功能的耦合，我们的分析是不平凡的。然后，我们利用特征值边界在随机梯度下降训练中建立NAS的概括误差界。重要的是，我们从理论上和实验上展示了衍生结果如何指导NAS，即使在没有培训的情况下，即使在没有培训的情况下，也可以根据我们的理论进行无训练的算法。因此，我们的数值验证阐明了NAS计算有效方法的设计。

许多深度学习任务必须处理图表（例如，蛋白质结构，社交网络，源代码摘要树木）。由于这些任务的重要性，人们转向图形神经网络（GNN）作为图形学习的事实方法。由于他们的令人信服的表现，GNN已经被广泛应用。不幸的是，使用GNN的一个主要障碍是GNN需要大量的时间和资源来训练。最近，在图表数据上学习的新方法是图形神经切线内核（GNTK）[du，Hou，Salakhutdinov，Poczos，Wang和Xu 19]。 GNTK是曲线图数据上神经切线核（NTK）[Jacot，Gabriel和Hipller 18]（一个内核方法）的应用，并解决NTK回归等同于使用梯度下降来训练无限宽的神经网络。使用GNTK的主要好处是，类似于任何内核方法，GNTK的参数可以直接在一步中解决。这可以避免耗时的梯度下降。同时，素描越来越多地用于加速各种优化问题，包括解决内核回归。给定$ N $ Graphs的内核矩阵，在解决内核回归中使用素描可以将运行时间减少到$ O（n ^ 3）$。但遗憾的是，此类方法通常需要关于内核矩阵的广泛知识，而在GNTK的情况下，我们发现内核矩阵的构造已经是$ O（n ^ 2n ^ 4）$，假设每个图都有$ n $节点。核矩阵施工时间可以是主要的性能瓶颈，当图的大小为$ n $增加时。因此，要问的自然问题是我们是否可以加快内核矩阵构造以改善GNTK回归的端到端运行时间。本文提供了第一种构建$ O（n ^ 2n ^ 3）$运行时间的内核矩阵的算法。

Gradient descent finds a global minimum in training deep neural networks despite the objective function being non-convex. The current paper proves gradient descent achieves zero training loss in polynomial time for a deep overparameterized neural network with residual connections (ResNet). Our analysis relies on the particular structure of the Gram matrix induced by the neural network architecture. This structure allows us to show the Gram matrix is stable throughout the training process and this stability implies the global optimality of the gradient descent algorithm. We further extend our analysis to deep residual convolutional neural networks and obtain a similar convergence result.

过度分化的深网络的泛化神秘具有有动力的努力，了解梯度下降（GD）如何收敛到概括井的低损耗解决方案。现实生活中的神经网络从小随机值初始化，并以分类的“懒惰”或“懒惰”或“NTK”的训练训练，分析更成功，以及最近的结果序列（Lyu和Li ，2020年; Chizat和Bach，2020; Ji和Telgarsky，2020）提供了理论证据，即GD可以收敛到“Max-ramin”解决方案，其零损失可能呈现良好。但是，仅在某些环境中证明了余量的全球最优性，其中神经网络无限或呈指数级宽。目前的纸张能够为具有梯度流动训练的两层泄漏的Relu网，无论宽度如何，都能为具有梯度流动的双层泄漏的Relu网建立这种全局最优性。分析还为最近的经验研究结果（Kalimeris等，2019）给出了一些理论上的理由，就GD的所谓简单的偏见为线性或其他“简单”的解决方案，特别是在训练中。在悲观方面，该论文表明这种结果是脆弱的。简单的数据操作可以使梯度流量会聚到具有次优裕度的线性分类器。

深度学习理论的最新目标是确定神经网络如何逃脱“懒惰训练”或神经切线内核（NTK）制度，在该制度中，网络与初始化时的一阶泰勒扩展相结合。尽管NTK是最大程度地用于学习密集多项式的最佳选择（Ghorbani等，2021），但它无法学习特征，因此对于学习包括稀疏多项式（稀疏多项式）的许多类别的功能的样本复杂性较差。因此，最近的工作旨在确定基于梯度的算法比NTK更好地概括的设置。一个这样的例子是Bai和Lee（2020）的“ Quadntk”方法，该方法分析了泰勒膨胀中的二阶项。 Bai和Lee（2020）表明，二阶项可以有效地学习稀疏的多项式。但是，它牺牲了学习一般密集多项式的能力。在本文中，我们分析了两层神经网络上的梯度下降如何通过利用NTK（Montanari和Zhong，2020）的光谱表征并在Quadntk方法上构建来逃脱NTK制度。我们首先扩展了光谱分析，以确定参数空间中的“良好”方向，在该空间中我们可以在不损害概括的情况下移动。接下来，我们表明一个宽的两层神经网络可以共同使用NTK和QUADNTK来适合由密集的低度项和稀疏高度术语组成的目标功能 - NTK和Quadntk无法在他们自己的。最后，我们构建了一个正常化程序，该正规化器鼓励我们的参数向量以“良好”的方向移动，并表明正规化损失上的梯度下降将融合到全局最小化器，这也有较低的测试误差。这产生了端到端的融合和概括保证，并自行对NTK和Quadntk进行了可证明的样本复杂性的改善。