在现代深网（DNS）中，至关重要的，无处不在且知之甚少的成分是批处理（BN），它以特​​征图为中心并归一化。迄今为止，只有有限的进步才能理解为什么BN会提高DN学习和推理表现。工作专注于表明BN平滑DN的损失格局。在本文中，我们从函数近似的角度从理论上研究BN。我们利用这样一个事实，即当今最先进的DNS是连续的分段仿射（CPA），可以通过定义在输入空间的分区上定义的仿射映射来预测培训数据（所谓的“线性”区域”）。 {\ em我们证明了BN是一种无监督的学习技术，它独立于DN的权重或基于梯度的学习 - 适应DN的样条分区的几何形状以匹配数据。} BN提供了“智能初始化”，可提高“智能初始化” DN学习的性能，因为它甚至适应了以随机权重初始化的DN，以使其样条分区与数据保持一致。我们还表明，微型批次之间的BN统计数据的变化引入了辍学的随机扰动，以对分区边界，因此分类问题的决策边界。每次微型摄入扰动可通过增加训练样本和决策边界之间的边距来减少过度拟合并改善概括。

在本文中，我们研究了在深网（DNS）中修剪的重要性，以及（1）修剪高度参数的DNS之间的Yin＆Yang关系，这些DNS已从随机初始化训练，并且（2）培训“巧妙”的小型DNS，这些DNS已“巧妙”。初始化。在大多数情况下，从业者只能诉诸随机初始化，因此强烈需要对DN修剪建立扎实的理解。当前的文献在很大程度上仍然是经验的，缺乏对修剪如何影响DNS决策边界，如何解释修剪以及如何设计相应的原则修剪技术的理论理解。为了解决这些问题，我们建议在连续分段仿射（CPA）DNS的理论分析中采用最新进展。从这个角度来看，我们将能够检测到早期的鸟类（EB）票务现象，为当前的修剪技术提供可解释性，并制定有原则的修剪策略。在研究的每个步骤中，我们进行了广泛的实验，以支持我们的主张和结果；尽管我们的主要目标是增强对DN修剪的当前理解，而不是开发一种新的修剪方法，但我们的样条修剪标准在层和全球修剪方面与先进的修剪方法相当甚至超过了。

We develop new theoretical results on matrix perturbation to shed light on the impact of architecture on the performance of a deep network. In particular, we explain analytically what deep learning practitioners have long observed empirically: the parameters of some deep architectures (e.g., residual networks, ResNets, and Dense networks, DenseNets) are easier to optimize than others (e.g., convolutional networks, ConvNets). Building on our earlier work connecting deep networks with continuous piecewise-affine splines, we develop an exact local linear representation of a deep network layer for a family of modern deep networks that includes ConvNets at one end of a spectrum and ResNets, DenseNets, and other networks with skip connections at the other. For regression and classification tasks that optimize the squared-error loss, we show that the optimization loss surface of a modern deep network is piecewise quadratic in the parameters, with local shape governed by the singular values of a matrix that is a function of the local linear representation. We develop new perturbation results for how the singular values of matrices of this sort behave as we add a fraction of the identity and multiply by certain diagonal matrices. A direct application of our perturbation results explains analytically why a network with skip connections (such as a ResNet or DenseNet) is easier to optimize than a ConvNet: thanks to its more stable singular values and smaller condition number, the local loss surface of such a network is less erratic, less eccentric, and features local minima that are more accommodating to gradient-based optimization. Our results also shed new light on the impact of different nonlinear activation functions on a deep network's singular values, regardless of its architecture.

在深度学习中的一个大神秘程度仍然是如何在模型参数的数量大于训练示例的数量时概括的方法。在这项工作中，我们迈向更好地了解深度自动化器（AES）的潜在现象，是用于学习压缩，可解释和结构化数据表示的主流深度学习解决方案。特别是，我们通过利用它们的连续分段仿射结构来解释AES如何近似数据流形。我们对AES的重新构建提供了新的见解，进入其映射，重建担保以及常用正则化技术的解释。我们利用这些发现导出了两个新的正规化，使能AES捕获数据中的固有对称性。我们的规范化利用了最近的转换组学习的进步，使AES能够更好地近似数据歧管，而无需明确定义歧管底层的基团。在假设数据的对称性可以通过LIE组解释，我们证明了规范化确保了相应AES的泛化。一系列实验评估表明，我们的方法优于其他最先进的正则化技术。

使用神经网络学习依赖于可代表功能的复杂性，但更重要的是，典型参数的特定分配与不同复杂度的功能。将激活区域的数量作为复杂性度量，最近的作品表明，深度释放网络的实际复杂性往往远远远非理论最大值。在这项工作中，我们表明这种现象也发生在具有颤扬（多参数）激活功能的网络中，并且在考虑分类任务中的决策边界时。我们还表明参数空间具有多维全维区域，具有广泛不同的复杂性，并在预期的复杂性上获得非竞争下限。最后，我们调查了不同的参数初始化程序，并表明他们可以提高培训的收敛速度。

这是一门专门针对STEM学生开发的介绍性机器学习课程。我们的目标是为有兴趣的读者提供基础知识，以在自己的项目中使用机器学习，并将自己熟悉术语作为进一步阅读相关文献的基础。在这些讲义中，我们讨论受监督，无监督和强化学习。注释从没有神经网络的机器学习方法的说明开始，例如原理分析，T-SNE，聚类以及线性回归和线性分类器。我们继续介绍基本和先进的神经网络结构，例如密集的进料和常规神经网络，经常性的神经网络，受限的玻尔兹曼机器，（变性）自动编码器，生成的对抗性网络。讨论了潜在空间表示的解释性问题，并使用梦和对抗性攻击的例子。最后一部分致力于加强学习，我们在其中介绍了价值功能和政策学习的基本概念。

Training Deep Neural Networks is complicated by the fact that the distribution of each layer's inputs changes during training, as the parameters of the previous layers change. This slows down the training by requiring lower learning rates and careful parameter initialization, and makes it notoriously hard to train models with saturating nonlinearities. We refer to this phenomenon as internal covariate shift, and address the problem by normalizing layer inputs. Our method draws its strength from making normalization a part of the model architecture and performing the normalization for each training mini-batch. Batch Normalization allows us to use much higher learning rates and be less careful about initialization. It also acts as a regularizer, in some cases eliminating the need for Dropout. Applied to a state-of-the-art image classification model, Batch Normalization achieves the same accuracy with 14 times fewer training steps, and beats the original model by a significant margin. Using an ensemble of batchnormalized networks, we improve upon the best published result on ImageNet classification: reaching 4.9% top-5 validation error (and 4.8% test error), exceeding the accuracy of human raters.

Deep Neural Networks (DNNs) outshine alternative function approximators in many settings thanks to their modularity in composing any desired differentiable operator. The formed parametrized functional is then tuned to solve a task at hand from simple gradient descent. This modularity comes at the cost of making strict enforcement of constraints on DNNs, e.g. from a priori knowledge of the task, or from desired physical properties, an open challenge. In this paper we propose the first provable affine constraint enforcement method for DNNs that requires minimal changes into a given DNN's forward-pass, that is computationally friendly, and that leaves the optimization of the DNN's parameter to be unconstrained i.e. standard gradient-based method can be employed. Our method does not require any sampling and provably ensures that the DNN fulfills the affine constraint on a given input space's region at any point during training, and testing. We coin this method POLICE, standing for Provably Optimal LInear Constraint Enforcement.

在深度学习中的优化分析是连续的，专注于（变体）梯度流动，或离散，直接处理（变体）梯度下降。梯度流程可符合理论分析，但是风格化并忽略计算效率。它代表梯度下降的程度是深度学习理论的一个开放问题。目前的论文研究了这个问题。将梯度下降视为梯度流量初始值问题的近似数值问题，发现近似程度取决于梯度流动轨迹周围的曲率。然后，我们表明，在具有均匀激活的深度神经网络中，梯度流动轨迹享有有利的曲率，表明它们通过梯度下降近似地近似。该发现允许我们将深度线性神经网络的梯度流分析转换为保证梯度下降，其几乎肯定会在随机初始化下有效地收敛到全局最小值。实验表明，在简单的深度神经网络中，具有传统步长的梯度下降确实接近梯度流。我们假设梯度流动理论将解开深入学习背后的奥秘。

我们为特殊神经网络架构，称为运营商复发性神经网络的理论分析，用于近似非线性函数，其输入是线性运算符。这些功能通常在解决方案算法中出现用于逆边值问题的问题。传统的神经网络将输入数据视为向量，因此它们没有有效地捕获与对应于这种逆问题中的数据的线性运算符相关联的乘法结构。因此，我们介绍一个类似标准的神经网络架构的新系列，但是输入数据在向量上乘法作用。由较小的算子出现在边界控制中的紧凑型操作员和波动方程的反边值问题分析，我们在网络中的选择权重矩阵中促进结构和稀疏性。在描述此架构后，我们研究其表示属性以及其近似属性。我们还表明，可以引入明确的正则化，其可以从所述逆问题的数学分析导出，并导致概括属性上的某些保证。我们观察到重量矩阵的稀疏性改善了概括估计。最后，我们讨论如何将运营商复发网络视为深度学习模拟，以确定诸如用于从边界测量的声波方程中重建所未知的WAVESTED的边界控制的算法算法。

这项调查的目的是介绍对深神经网络的近似特性的解释性回顾。具体而言，我们旨在了解深神经网络如何以及为什么要优于其他经典线性和非线性近似方法。这项调查包括三章。在第1章中，我们回顾了深层网络及其组成非线性结构的关键思想和概念。我们通过在解决回归和分类问题时将其作为优化问题来形式化神经网络问题。我们简要讨论用于解决优化问题的随机梯度下降算法以及用于解决优化问题的后传播公式，并解决了与神经网络性能相关的一些问题，包括选择激活功能，成本功能，过度适应问题和正则化。在第2章中，我们将重点转移到神经网络的近似理论上。我们首先介绍多项式近似中的密度概念，尤其是研究实现连续函数的Stone-WeierStrass定理。然后，在线性近似的框架内，我们回顾了馈电网络的密度和收敛速率的一些经典结果，然后在近似Sobolev函数中进行有关深网络复杂性的最新发展。在第3章中，利用非线性近似理论，我们进一步详细介绍了深度和近似网络与其他经典非线性近似方法相比的近似优势。

Deep neural networks can approximate functions on different types of data, from images to graphs, with varied underlying structure. This underlying structure can be viewed as the geometry of the data manifold. By extending recent advances in the theoretical understanding of neural networks, we study how a randomly initialized neural network with piece-wise linear activation splits the data manifold into regions where the neural network behaves as a linear function. We derive bounds on the density of boundary of linear regions and the distance to these boundaries on the data manifold. This leads to insights into the expressivity of randomly initialized deep neural networks on non-Euclidean data sets. We empirically corroborate our theoretical results using a toy supervised learning problem. Our experiments demonstrate that number of linear regions varies across manifolds and the results hold with changing neural network architectures. We further demonstrate how the complexity of linear regions is different on the low dimensional manifold of images as compared to the Euclidean space, using the MetFaces dataset.

自我监督的学习（SSL）推测，投入和成对的积极关系足以学习有意义的表示。尽管SSL最近达到了一个里程碑：在许多模式下，胜过监督的方法\点，理论基础是有限的，特定于方法的，并且未能向从业者提供原则上的设计指南。在本文中，我们提出了一个统一的框架，这些框架是在光谱歧管学习的掌舵下，以解决这些局限性。通过这项研究的过程，我们将严格证明Vic​​reg，Simclr，Barlowtwins等。对应于诸如Laplacian eigenmaps，多维缩放等方面的同名光谱方法。然后，此统一将使我们能够获得（i）每种方法的闭合形式的最佳表示，（ii）每种方法的线性态度中的封闭形式的最佳网络参数，（iii）在期间使用的成对关系的影响对每个数量和下游任务性能的培训，以及最重要的是，（iv）分别针对全球和局部光谱嵌入方法的对比度和非对抗性方法之间的第一个理论桥梁，暗示了每种方法的益处和限制。例如，（i）如果成对关系与下游任务一致，则可以成功采用任何SSL方法并将恢复监督方法，但是在低数据状态下，Vicreg的不变性超参数应该很高； （ii）如果成对关系与下游任务未对准，则与SIMCLR或BARLOWTWINS相比，具有小型不变性高参数的VICREG。

当前，随机平滑被认为是获得确切可靠分类器的最新方法。尽管其表现出色，但该方法仍与各种严重问题有关，例如``认证准确性瀑布''，认证与准确性权衡甚至公平性问题。已经提出了依赖输入的平滑方法，目的是克服这些缺陷。但是，我们证明了这些方法缺乏正式的保证，因此所产生的证书是没有道理的。我们表明，一般而言，输入依赖性平滑度遭受了维数的诅咒，迫使方差函数具有低半弹性。另一方面，我们提供了一个理论和实用的框架，即使在严格的限制下，即使在有维度的诅咒的情况下，即使在存在维度的诅咒的情况下，也可以使用依赖输入的平滑。我们提供平滑方差功能的一种混凝土设计，并在CIFAR10和MNIST上进行测试。我们的设计减轻了经典平滑的一些问题，并正式下划线，但仍需要进一步改进设计。

Batch Normalization (BatchNorm) is a widely adopted technique that enables faster and more stable training of deep neural networks (DNNs). Despite its pervasiveness, the exact reasons for BatchNorm's effectiveness are still poorly understood. The popular belief is that this effectiveness stems from controlling the change of the layers' input distributions during training to reduce the so-called "internal covariate shift". In this work, we demonstrate that such distributional stability of layer inputs has little to do with the success of BatchNorm. Instead, we uncover a more fundamental impact of BatchNorm on the training process: it makes the optimization landscape significantly smoother. This smoothness induces a more predictive and stable behavior of the gradients, allowing for faster training.

Neural networks trained on large datasets by minimizing a loss have become the state-of-the-art approach for resolving data science problems, particularly in computer vision, image processing and natural language processing. In spite of their striking results, our theoretical understanding about how neural networks operate is limited. In particular, what are the interpolation capabilities of trained neural networks? In this paper we discuss a theorem of Domingos stating that "every machine learned by continuous gradient descent is approximately a kernel machine". According to Domingos, this fact leads to conclude that all machines trained on data are mere kernel machines. We first extend Domingo's result in the discrete case and to networks with vector-valued output. We then study its relevance and significance on simple examples. We find that in simple cases, the "neural tangent kernel" arising in Domingos' theorem does provide understanding of the networks' predictions. Furthermore, when the task given to the network grows in complexity, the interpolation capability of the network can be effectively explained by Domingos' theorem, and therefore is limited. We illustrate this fact on a classic perception theory problem: recovering a shape from its boundary.

我们证明了由例如He等人提出的广泛使用的方法。（2015年）并使用梯度下降对最小二乘损失进行训练并不普遍。具体而言，我们描述了一大批一维数据生成分布，较高的概率下降只会发现优化景观的局部最小值不好，因为它无法将其偏离偏差远离其初始化，以零移动。。事实证明，在这些情况下，即使目标函数是非线性的，发现的网络也基本执行线性回归。我们进一步提供了数值证据，表明在实际情况下，对于某些多维分布而发生这种情况，并且随机梯度下降表现出相似的行为。我们还提供了有关初始化和优化器的选择如何影响这种行为的经验结果。

使用DataSet的真实标签培训而不是随机标签导致更快的优化和更好的泛化。这种差异归因于自然数据集中的输入和标签之间的对齐概念。我们发现，随机或真正标签上的具有不同架构和优化器的培训神经网络在隐藏的表示和训练标签之间强制执行相同的关系，阐明为什么神经网络表示为转移如此成功。我们首先突出显示为什么对齐的特征在经典的合成转移问题中促进转移和展示，即对齐是对相似和不同意任务的正负传输的确定因素。然后我们调查各种神经网络架构，并发现（a）在各种不同的架构和优化器中出现的对齐，并且从深度（b）对准产生的更多对准对于更接近输出的层和（c）现有的性能深度CNN表现出高级别的对准。

尽管通常认为在高维度中学习受到维度的诅咒，但现代的机器学习方法通​​常具有惊人的力量，可以解决广泛的挑战性现实世界学习问题而无需使用大量数据。这些方法如何打破这种诅咒仍然是深度学习理论中的一个基本开放问题。尽管以前的努力通过研究数据（D），模型（M）和推理算法（i）作为独立模块来研究了这个问题，但在本文中，我们将三胞胎（D，M，I）分析为集成系统和确定有助于减轻维度诅咒的重要协同作用。我们首先研究了与各种学习算法（M，i）相关的基本对称性，重点是深度学习中的四个原型体系结构：完全连接的网络（FCN），本地连接的网络（LCN）和卷积网络，而无需合并（有和没有合并）（ GAP/VEC）。我们发现，当这些对称性与数据分布的对称性兼容时，学习是最有效的，并且当（d，m，i）三重态的任何成员不一致或次优时，性能会显着恶化。

尽管神经网络取得了巨大的经验成功，但对培训程序的理论理解仍然有限，尤其是在为优化问题的非凸性性质而提供测试性能的性能保证时。当前的论文通过简化了凸结构的另一个问题来研究神经网络培训的另一种方法 - 解决单调变异不平等（MVI） - 灵感来自最近的工作（Juditsky＆Nemirovsky，2019年）。可以通过计算有效的过程找到对MVI的解决方案，重要的是，这会导致$ \ ell_2 $和$ \ ell _ {\ elfty} $在模型恢复和预测准确性下的性能保证层线性神经网络。此外，我们研究了MVI在训练多层神经网络中的使用，并提出了一种称为\ textit {随机变异不平等}（SVI）的实用算法，并证明了其在训练完全连接的神经网络和图形神经网络（GNN）中的适用性（GNN ）（SVI是完全一般的，可用于训练其他类型的神经网络）。与广泛使用的随机梯度下降方法相比，我们证明了SVI的竞争性或更好的性能，涉及各种性能指标的合成和真实网络数据预测任务，尤其是在培训早期阶段提高效率方面。