我们调查与批量无关的归一化产生的性能降解的原因。我们发现层归一化和实例归一化的原型技术均诱导神经网络预激活中的故障模式的外观：（i）层归一化引起往复恒定函数的崩溃;（ii）实例归一化在实例统计中缺乏可变性，表现出富有症状的症状。为了缓解失败模式（i）而不加重失败模式（ii），我们介绍了使用代理分布的激活后标准化的技术“代理归一化”。当与层归一化或组归一化结合时，这种批量独立的归一化会模拟批量标准化的行为，并始终如一地匹配或超过其性能。

我们研究了$ \ Mathcal {r} $的结构和统计属性 - 规范最小化由特定目标函数标记的数据集的内侧插值。$ \ MATHCAL {R} $ - 标准是两层神经网络的电感偏差的基础，最近引入了捕获网络权重大小的功能效果，与网络宽度无关。我们发现，即使有适合数据的脊函数，这些插值也是本质上的多元功能，而且$ \ Mathcal {r} $ - 规范归纳偏见不足以实现某些学习问题的统计上最佳概括。总的来说，这些结果为与实际神经网络训练有关的感应偏见提供了新的启示。

对称性一直是探索广泛复杂系统的基本工具。在机器学习中，在模型和数据中都探索了对称性。在本文中，我们试图将模型家族架构引起的对称性与该家族的内部数据表示的对称性联系起来。我们通过计算一组基本的对称组来做到这一点，我们称它们称为模型的\ emph {Intertwiner组}。这些中的每一个都来自模型的特定非线性层，不同的非线性导致不同的对称组。这些组以模型的权重更改模型的权重，使模型所代表的基础函数保持恒定，但模型内部数据的内部表示可能会改变。我们通过一系列实验将Intertwiner组连接到模型的数据内部表示，这些实验在具有相同体系结构的模型之间探测隐藏状态之间的相似性。我们的工作表明，网络的对称性在该网络的数据表示中传播到对称性中，从而使我们更好地了解架构如何影响学习和预测过程。最后，我们推测，对于Relu网络，交织组可能会为在隐藏层而不是任意线性组合的激活基础上集中模型可解释性探索的共同实践提供理由。

神经架构的创新促进了语言建模和计算机视觉中的重大突破。不幸的是，如果网络参数未正确初始化，新颖的架构通常会导致挑战超参数选择和培训不稳定。已经提出了许多架构特定的初始化方案，但这些方案并不总是可移植到新体系结构。本文介绍了毕业，一种用于初始化神经网络的自动化和架构不可知论由方法。毕业基础是一个简单的启发式;调整每个网络层的规范，使得具有规定的超参数的SGD或ADAM的单个步骤导致可能的损耗值最小。通过在每个参数块前面引入标量乘数变量，然后使用简单的数字方案优化这些变量来完成此调整。 GradInit加速了许多卷积架构的收敛性和测试性能，无论是否有跳过连接，甚至没有归一化层。它还提高了机器翻译的原始变压器架构的稳定性，使得在广泛的学习速率和动量系数下使用ADAM或SGD来训练它而无需学习速率预热。代码可在https://github.com/zhuchen03/gradinit上获得。

我们在监督分类的背景下研究深网的过剩能力。也就是说，给定对基本假设类别的能力度量（在我们的情况下，是经验性的Rademacher的复杂性），我们（先验）可以限制该类别的数量，同时在与无约束性方面保持经验误差的同时保留经验误差？为了评估现代体系结构（例如残留网络）的过剩能力，我们扩展并统一了先前的Rademacher复杂性界限，以适应功能组成和添加以及卷积的结构。我们边界中的容量驱动项是层的Lipschitz常数和卷积权重初始化的（2,1）组的范围距离。在不同任务难度的基准数据集上进行的实验表明，（1）每个任务的容量大量超过容量，并且（2）可以将容量保持在整个任务的惊人相似水平。总体而言，这表明了重量规范的可压缩性概念，这是通过重量修剪正交的经典压缩概念。

引入了归一化层（例如，批处理归一化，层归一化），以帮助在非常深的网中获得优化困难，但它们显然也有助于概括，即使在不太深入的网中也是如此。由于长期以来的信念，即最小的最小值导致更好的概括，本文提供了数学分析和支持实验，这表明归一化（与伴随的重量赛一起）鼓励GD降低损失表面的清晰度。鉴于损失是标准不变的，这是标准化的已知结果，因此仔细地定义了“清晰度”。具体而言，对于具有归一化的相当广泛的神经网类，我们的理论解释了有限学习率的GD如何进入所谓的稳定边缘（EOS）制度，并通过连续的清晰度来表征GD的轨迹 - 还原流。

在深度学习中的优化分析是连续的，专注于（变体）梯度流动，或离散，直接处理（变体）梯度下降。梯度流程可符合理论分析，但是风格化并忽略计算效率。它代表梯度下降的程度是深度学习理论的一个开放问题。目前的论文研究了这个问题。将梯度下降视为梯度流量初始值问题的近似数值问题，发现近似程度取决于梯度流动轨迹周围的曲率。然后，我们表明，在具有均匀激活的深度神经网络中，梯度流动轨迹享有有利的曲率，表明它们通过梯度下降近似地近似。该发现允许我们将深度线性神经网络的梯度流分析转换为保证梯度下降，其几乎肯定会在随机初始化下有效地收敛到全局最小值。实验表明，在简单的深度神经网络中，具有传统步长的梯度下降确实接近梯度流。我们假设梯度流动理论将解开深入学习背后的奥秘。

深神经网络（DNN）是用于压缩和蒸馏信息的强大工具。由于它们的规模和复杂性，通常涉及数十亿间相互作用的内部自由度，精确分析方法通常会缩短。这种情况下的共同策略是识别平均潜在的快速微观变量的不稳定行为的缓慢自由度。在这里，我们在训练结束时识别在过度参数化的深卷积神经网络（CNNS）中发生的尺度的分离。它意味着神经元预激活与几乎高斯的方式与确定性潜在内核一起波动。在对于具有无限许多频道的CNN来说，这些内核是惰性的，对于有限的CNNS，它们以分析的方式通过数据适应和学习数据。由此产生的深度学习的热力学理论产生了几种深度非线性CNN玩具模型的准确预测。此外，它还提供了新的分析和理解CNN的方法。

Computational units in artificial neural networks follow a simplified model of biological neurons. In the biological model, the output signal of a neuron runs down the axon, splits following the many branches at its end, and passes identically to all the downward neurons of the network. Each of the downward neurons will use their copy of this signal as one of many inputs dendrites, integrate them all and fire an output, if above some threshold. In the artificial neural network, this translates to the fact that the nonlinear filtering of the signal is performed in the upward neuron, meaning that in practice the same activation is shared between all the downward neurons that use that signal as their input. Dendrites thus play a passive role. We propose a slightly more complex model for the biological neuron, where dendrites play an active role: the activation in the output of the upward neuron becomes optional, and instead the signals going through each dendrite undergo independent nonlinear filterings, before the linear combination. We implement this new model into a ReLU computational unit and discuss its biological plausibility. We compare this new computational unit with the standard one and describe it from a geometrical point of view. We provide a Keras implementation of this unit into fully connected and convolutional layers and estimate their FLOPs and weights change. We then use these layers in ResNet architectures on CIFAR-10, CIFAR-100, Imagenette, and Imagewoof, obtaining performance improvements over standard ResNets up to 1.73%. Finally, we prove a universal representation theorem for continuous functions on compact sets and show that this new unit has more representational power than its standard counterpart.

分批归一化（BN）由归一化组成部分，然后是仿射转化，并且对于训练深神经网络至关重要。网络中每个BN的标准初始化分别设置了仿射变换量表，并将其转移到1和0。但是，经过训练，我们观察到这些参数从初始化中并没有太大变化。此外，我们注意到归一化过程仍然可以产生过多的值，这对于训练是不可能的。我们重新审视BN公式，并为BN提出了一种新的初始化方法和更新方法，以解决上述问题。实验旨在强调和证明适当的BN规模初始化对性能的积极影响，并使用严格的统计显着性测试进行评估。该方法可以与现有实施方式一起使用，没有额外的计算成本。源代码可在https://github.com/osu-cvl/revisiting-bninit上获得。

我们证明了由例如He等人提出的广泛使用的方法。（2015年）并使用梯度下降对最小二乘损失进行训练并不普遍。具体而言，我们描述了一大批一维数据生成分布，较高的概率下降只会发现优化景观的局部最小值不好，因为它无法将其偏离偏差远离其初始化，以零移动。。事实证明，在这些情况下，即使目标函数是非线性的，发现的网络也基本执行线性回归。我们进一步提供了数值证据，表明在实际情况下，对于某些多维分布而发生这种情况，并且随机梯度下降表现出相似的行为。我们还提供了有关初始化和优化器的选择如何影响这种行为的经验结果。

强大的机器学习模型的开发中的一个重要障碍是协变量的转变，当训练和测试集的输入分布时发生的分配换档形式在条件标签分布保持不变时发生。尽管现实世界应用的协变量转变普遍存在，但在现代机器学习背景下的理论理解仍然缺乏。在这项工作中，我们检查协变量的随机特征回归的精确高尺度渐近性，并在该设置中提出了限制测试误差，偏差和方差的精确表征。我们的结果激发了一种自然部分秩序，通过协变速转移，提供足够的条件来确定何时何时损害（甚至有助于）测试性能。我们发现，过度分辨率模型表现出增强的协会转变的鲁棒性，为这种有趣现象提供了第一个理论解释之一。此外，我们的分析揭示了分销和分发外概率性能之间的精确线性关系，为这一令人惊讶的近期实证观察提供了解释。

Deep nets generalize well despite having more parameters than the number of training samples. Recent works try to give an explanation using PAC-Bayes and Margin-based analyses, but do not as yet result in sample complexity bounds better than naive parameter counting. The current paper shows generalization bounds that're orders of magnitude better in practice. These rely upon new succinct reparametrizations of the trained net -a compression that is explicit and efficient. These yield generalization bounds via a simple compression-based framework introduced here. Our results also provide some theoretical justification for widespread empirical success in compressing deep nets.Analysis of correctness of our compression relies upon some newly identified "noise stability"properties of trained deep nets, which are also experimentally verified. The study of these properties and resulting generalization bounds are also extended to convolutional nets, which had eluded earlier attempts on proving generalization.

Batch Normalization (BatchNorm) is a widely adopted technique that enables faster and more stable training of deep neural networks (DNNs). Despite its pervasiveness, the exact reasons for BatchNorm's effectiveness are still poorly understood. The popular belief is that this effectiveness stems from controlling the change of the layers' input distributions during training to reduce the so-called "internal covariate shift". In this work, we demonstrate that such distributional stability of layer inputs has little to do with the success of BatchNorm. Instead, we uncover a more fundamental impact of BatchNorm on the training process: it makes the optimization landscape significantly smoother. This smoothness induces a more predictive and stable behavior of the gradients, allowing for faster training.

The fundamental learning theory behind neural networks remains largely open. What classes of functions can neural networks actually learn? Why doesn't the trained network overfit when it is overparameterized?In this work, we prove that overparameterized neural networks can learn some notable concept classes, including two and three-layer networks with fewer parameters and smooth activations. Moreover, the learning can be simply done by SGD (stochastic gradient descent) or its variants in polynomial time using polynomially many samples. The sample complexity can also be almost independent of the number of parameters in the network.On the technique side, our analysis goes beyond the so-called NTK (neural tangent kernel) linearization of neural networks in prior works. We establish a new notion of quadratic approximation of the neural network (that can be viewed as a second-order variant of NTK), and connect it to the SGD theory of escaping saddle points.

我们使用高斯过程扰动模型在高维二次上的真实和批量风险表面之间的高斯过程扰动模型分析和解释迭代平均的泛化性能。我们从我们的理论结果中获得了三个现象\姓名：}（1）将迭代平均值（ia）与大型学习率和正则化进行了改进的正规化的重要性。 （2）对较少频繁平均的理由。 （3）我们预计自适应梯度方法同样地工作，或者更好，而不是其非自适应对应物的迭代平均值。灵感来自这些结果\姓据{，一起与}对迭代解决方案多样性的适当正则化的重要性，我们提出了两个具有迭代平均的自适应算法。与随机梯度下降（SGD）相比，这些结果具有明显更好的结果，需要较少调谐并且不需要早期停止或验证设定监视。我们在各种现代和古典网络架构上展示了我们对CiFar-10/100，Imagenet和Penn TreeBank数据集的方法的疗效。

数据增强是机器学习管道的基石，但其理论基础尚不清楚。它只是人为增加数据集大小的一种方法吗？还是鼓励模型满足某些不变性？在这项工作中，我们考虑了另一个角度，我们研究了数据增强对学习过程动态的影响。我们发现，数据增强可以改变各种功能的相对重要性，从而有效地使某些信息性但难以学习的功能更有可能在学习过程中捕获。重要的是，我们表明，对于非线性模型，例如神经网络，这种效果更为明显。我们的主要贡献是对Allen-Zhu和Li [2020]最近提出的多视图数据模型中两层卷积神经网络的学习动态数据的详细分析。我们通过进一步的实验证据来补充这一分析，证明数据增加可以看作是特征操纵。

为了理论上了解训练有素的深神经网络的行为，有必要研究来自随机初始化的梯度方法引起的动态。然而，这些模型的非线性和组成结构使得这些动态难以分析。为了克服这些挑战，最近出现了大宽度的渐近学作为富有成效的观点，并导致了对真实世界的深网络的实用洞察。对于双层神经网络，已经通过这些渐近学理解，训练模型的性质根据初始随机权重的规模而变化，从内核制度（大初始方差）到特征学习制度（对于小初始方差）。对于更深的网络，更多的制度是可能的，并且在本文中，我们详细研究了与神经网络的“卑鄙字段”限制相对应的“小”初始化的特定选择，我们称之为可分配的参数化（IP）。首先，我们展示了标准I.I.D.零平均初始化，具有多于四个层的神经网络的可集参数，从无限宽度限制的静止点开始，并且不会发生学习。然后，我们提出了各种方法来避免这种琐碎的行为并详细分析所得到的动态。特别是，这些方法中的一种包括使用大的初始学习速率，并且我们表明它相当于最近提出的最大更新参数化$ \ mu $ p的修改。我们将结果与图像分类任务的数值实验确认，其另外显示出在尚未捕获的激活功能的各种选择之间的行为中的强烈差异。

Classical asymptotic theory for statistical inference usually involves calibrating a statistic by fixing the dimension $d$ while letting the sample size $n$ increase to infinity. Recently, much effort has been dedicated towards understanding how these methods behave in high-dimensional settings, where $d$ and $n$ both increase to infinity together. This often leads to different inference procedures, depending on the assumptions about the dimensionality, leaving the practitioner in a bind: given a dataset with 100 samples in 20 dimensions, should they calibrate by assuming $n \gg d$, or $d/n \approx 0.2$? This paper considers the goal of dimension-agnostic inference; developing methods whose validity does not depend on any assumption on $d$ versus $n$. We introduce an approach that uses variational representations of existing test statistics along with sample splitting and self-normalization to produce a new test statistic with a Gaussian limiting distribution, regardless of how $d$ scales with $n$. The resulting statistic can be viewed as a careful modification of degenerate U-statistics, dropping diagonal blocks and retaining off-diagonal blocks. We exemplify our technique for some classical problems including one-sample mean and covariance testing, and show that our tests have minimax rate-optimal power against appropriate local alternatives. In most settings, our cross U-statistic matches the high-dimensional power of the corresponding (degenerate) U-statistic up to a $\sqrt{2}$ factor.

差异隐私（DP）提供了正式的隐私保证，以防止对手可以访问机器学习模型，从而从提取有关单个培训点的信息。最受欢迎的DP训练方法是差异私有随机梯度下降（DP-SGD），它通过在训练过程中注入噪声来实现这种保护。然而，以前的工作发现，DP-SGD通常会导致标准图像分类基准的性能显着降解。此外，一些作者假设DP-SGD在大型模型上固有地表现不佳，因为保留隐私所需的噪声规范与模型维度成正比。相反，我们证明了过度参数化模型上的DP-SGD可以比以前想象的要好得多。将仔细的超参数调整与简单技术结合起来，以确保信号传播并提高收敛速率，我们获得了新的SOTA，而没有额外数据的CIFAR-10，在81.4％的81.4％下（8，10^{ - 5}） - 使用40 -layer wide-Resnet，比以前的SOTA提高了71.7％。当对预训练的NFNET-F3进行微调时，我们在ImageNet（0.5，8*10^{ - 7}）下达到了83.8％的TOP-1精度。此外，我们还在（8，8 \ cdot 10^{ - 7}）下达到了86.7％的TOP-1精度，DP仅比当前的非私人SOTA仅4.3％。我们认为，我们的结果是缩小私人图像分类和非私有图像分类之间准确性差距的重要一步。