We discover restrained numerical instabilities in current training practices of deep networks with SGD. We show numerical error (on the order of the smallest floating point bit) induced from floating point arithmetic in training deep nets can be amplified significantly and result in significant test accuracy variance, comparable to the test accuracy variance due to stochasticity in SGD. We show how this is likely traced to instabilities of the optimization dynamics that are restrained, i.e., localized over iterations and regions of the weight tensor space. We do this by presenting a theoretical framework using numerical analysis of partial differential equations (PDE), and analyzing the gradient descent PDE of a simplified convolutional neural network (CNN). We show that it is stable only under certain conditions on the learning rate and weight decay. We reproduce the localized instabilities in the PDE for the simplified network, which arise when the conditions are violated.

我们研究了使用尖刺，现场依赖的随机矩阵理论研究迷你批次对深神经网络损失景观的影响。我们表明，批量黑森州的极值值的大小大于经验丰富的黑森州。我们还获得了类似的结果对Hessian的概括高斯牛顿矩阵近似。由于我们的定理，我们推导出作为批量大小的最大学习速率的分析表达式，为随机梯度下降（线性缩放）和自适应算法（例如ADAM（Square Root Scaling）提供了通知实际培训方案，例如光滑，非凸深神经网络。虽然随机梯度下降的线性缩放是在我们概括的更多限制性条件下导出的，但是适应优化者的平方根缩放规则是我们的知识，完全小说。随机二阶方法和自适应方法的百分比，我们得出了最小阻尼系数与学习率与批量尺寸的比率成比例。我们在Cifar-$ 100 $和ImageNet数据集上验证了我们的VGG / WimerEsnet架构上的索赔。根据我们对象检的调查，我们基于飞行学习率和动量学习者开发了一个随机兰齐齐竞争，这避免了对这些关键的超参数进行昂贵的多重评估的需求，并在预残留的情况下显示出良好的初步结果Cifar的architecure - $ 100 $。

Recent years have witnessed a growth in mathematics for deep learning--which seeks a deeper understanding of the concepts of deep learning with mathematics, and explores how to make it more robust--and deep learning for mathematics, where deep learning algorithms are used to solve problems in mathematics. The latter has popularised the field of scientific machine learning where deep learning is applied to problems in scientific computing. Specifically, more and more neural network architectures have been developed to solve specific classes of partial differential equations (PDEs). Such methods exploit properties that are inherent to PDEs and thus solve the PDEs better than classical feed-forward neural networks, recurrent neural networks, and convolutional neural networks. This has had a great impact in the area of mathematical modeling where parametric PDEs are widely used to model most natural and physical processes arising in science and engineering, In this work, we review such methods and extend them for parametric studies as well as for solving the related inverse problems. We equally proceed to show their relevance in some industrial applications.

梯度下降可能令人惊讶地擅长优化深层神经网络，而不会过度拟合并且没有明确的正则化。我们发现，梯度下降的离散步骤通过惩罚具有较大损耗梯度的梯度下降轨迹来隐式化模型。我们称之为隐式梯度正则化（IGR），并使用向后错误分析来计算此正则化的大小。我们从经验上确认，隐式梯度正则化偏向梯度下降到平面最小值，在该较小情况下，测试误差很小，溶液对嘈杂的参数扰动是可靠的。此外，我们证明了隐式梯度正规化项可以用作显式正常化程序，从而使我们能够直接控制此梯度正则化。从更广泛的角度来看，我们的工作表明，向后错误分析是一种有用的理论方法，即对学习率，模型大小和参数正则化如何相互作用以确定用梯度下降优化的过度参数化模型的属性。

研究神经网络中重量扰动的敏感性及其对模型性能的影响，包括泛化和鲁棒性，是一种积极的研究主题，因为它对模型压缩，泛化差距评估和对抗攻击等诸如模型压缩，泛化差距评估和对抗性攻击的广泛机器学习任务。在本文中，我们在重量扰动下的鲁棒性方面提供了前馈神经网络的第一积分研究和分析及其在体重扰动下的泛化行为。我们进一步设计了一种新的理论驱动损失功能，用于培训互动和强大的神经网络免受重量扰动。进行实证实验以验证我们的理论分析。我们的结果提供了基本洞察，以表征神经网络免受重量扰动的泛化和鲁棒性。

我们在强烈混合（混乱）方面基于能源持续的哈密顿动力学进行了优化的新框架，并在分析和数值上建立其关键特性。该原型是对出生式动力学的离散化，取决于目标函数，其平方相对速度限制。这类无摩擦，节能优化器毫不动摇地进行，直到自然放慢速度在最小的损失附近，这主要是系统的相位空间体积。我们从对动力台球等混乱系统的研究构建，我们制定了一种特定的算法，在机器学习和解决PDE解决任务（包括概括）方面具有良好的性能。它不能以高的局部最低限度停止，这是非凸损失功能的优势，并且比浅谷中的GD+动量更快。

High-dimensional PDEs have been a longstanding computational challenge. We propose to solve highdimensional PDEs by approximating the solution with a deep neural network which is trained to satisfy the differential operator, initial condition, and boundary conditions. Our algorithm is meshfree, which is key since meshes become infeasible in higher dimensions. Instead of forming a mesh, the neural network is trained on batches of randomly sampled time and space points. The algorithm is tested on a class of high-dimensional free boundary PDEs, which we are able to accurately solve in up to 200 dimensions. The algorithm is also tested on a high-dimensional Hamilton-Jacobi-Bellman PDE and Burgers' equation. The deep learning algorithm approximates the general solution to the Burgers' equation for a continuum of different boundary conditions and physical conditions (which can be viewed as a high-dimensional space). We call the algorithm a "Deep Galerkin Method (DGM)" since it is similar in spirit to Galerkin methods, with the solution approximated by a neural network instead of a linear combination of basis functions. In addition, we prove a theorem regarding the approximation power of neural networks for a class of quasilinear parabolic PDEs.

深度学习归一化技术的基本特性，例如批准归一化，正在使范围前的参数量表不变。此类参数的固有域是单位球，因此可以通过球形优化的梯度优化动力学以不同的有效学习率（ELR）来表示，这是先前研究的。在这项工作中，我们使用固定的ELR直接研究了训练量表不变的神经网络的特性。我们根据ELR值发现了这种训练的三个方案：收敛，混乱平衡和差异。我们详细研究了这些制度示例的理论检查，以及对真实规模不变深度学习模型的彻底经验分析。每个制度都有独特的特征，并反映了内在损失格局的特定特性，其中一些与先前对常规和规模不变的神经网络培训的研究相似。最后，我们证明了如何在归一化网络的常规培训以及如何利用它们以实现更好的Optima中反映发现的制度。

我们使用高斯过程扰动模型在高维二次上的真实和批量风险表面之间的高斯过程扰动模型分析和解释迭代平均的泛化性能。我们从我们的理论结果中获得了三个现象\姓名：}（1）将迭代平均值（ia）与大型学习率和正则化进行了改进的正规化的重要性。 （2）对较少频繁平均的理由。 （3）我们预计自适应梯度方法同样地工作，或者更好，而不是其非自适应对应物的迭代平均值。灵感来自这些结果\姓据{，一起与}对迭代解决方案多样性的适当正则化的重要性，我们提出了两个具有迭代平均的自适应算法。与随机梯度下降（SGD）相比，这些结果具有明显更好的结果，需要较少调谐并且不需要早期停止或验证设定监视。我们在各种现代和古典网络架构上展示了我们对CiFar-10/100，Imagenet和Penn TreeBank数据集的方法的疗效。

机器学习模型的概括对数据，模型和学习算法具有复杂的依赖性。我们研究训练和测试性能，以及它们在不同数据集样本上的差异给出的概括差距，以理解其``典型''行为。我们得出了差距的表达式，作为模型之间协方差的函数参数分布和列车损耗以及平均测试性能的另一种表达，显示了测试概括仅取决于数据平均参数分布和数据平均损失。我们显示，对于大型模型参数分布，修改的概括差距为始终是非负的。通过进一步专门针对由随机梯度下降（SGD）产生的参数分布，以及一些近似值和建模考虑，我们能够预测有关通用差距和模型训练和测试性能如何变化为一个方面的一些方面SGD噪声的功能。我们基于RESNET体系结构对CIFAR10分类任务进行经验评估这些预测。

深度学习的概括分析通常假定训练会收敛到固定点。但是，最近的结果表明，实际上，用随机梯度下降优化的深神经网络的权重通常无限期振荡。为了减少理论和实践之间的这种差异，本文着重于神经网络的概括，其训练动力不一定会融合到固定点。我们的主要贡献是提出一个统计算法稳定性（SAS）的概念，该算法将经典算法稳定性扩展到非convergergent算法并研究其与泛化的联系。与传统的优化和学习理论观点相比，这种崇高的理论方法可导致新的见解。我们证明，学习算法的时间复杂行为的稳定性与其泛化有关，并在经验上证明了损失动力学如何为概括性能提供线索。我们的发现提供了证据表明，即使训练无限期继续并且权重也不会融合，即使训练持续进行训练，训练更好地概括”的网络也是如此。

These notes were compiled as lecture notes for a course developed and taught at the University of the Southern California. They should be accessible to a typical engineering graduate student with a strong background in Applied Mathematics. The main objective of these notes is to introduce a student who is familiar with concepts in linear algebra and partial differential equations to select topics in deep learning. These lecture notes exploit the strong connections between deep learning algorithms and the more conventional techniques of computational physics to achieve two goals. First, they use concepts from computational physics to develop an understanding of deep learning algorithms. Not surprisingly, many concepts in deep learning can be connected to similar concepts in computational physics, and one can utilize this connection to better understand these algorithms. Second, several novel deep learning algorithms can be used to solve challenging problems in computational physics. Thus, they offer someone who is interested in modeling a physical phenomena with a complementary set of tools.

Neural network-based approaches for solving partial differential equations (PDEs) have recently received special attention. However, the large majority of neural PDE solvers only apply to rectilinear domains, and do not systematically address the imposition of Dirichlet/Neumann boundary conditions over irregular domain boundaries. In this paper, we present a framework to neurally solve partial differential equations over domains with irregularly shaped (non-rectilinear) geometric boundaries. Our network takes in the shape of the domain as an input (represented using an unstructured point cloud, or any other parametric representation such as Non-Uniform Rational B-Splines) and is able to generalize to novel (unseen) irregular domains; the key technical ingredient to realizing this model is a novel approach for identifying the interior and exterior of the computational grid in a differentiable manner. We also perform a careful error analysis which reveals theoretical insights into several sources of error incurred in the model-building process. Finally, we showcase a wide variety of applications, along with favorable comparisons with ground truth solutions.

卷积神经网络（CNN）的量化是缓解CNN部署的计算负担，尤其是在低资源边缘设备上的常见方法。但是，对于神经网络所涉及的计算类型，固定点算术并不是自然的。在这项工作中，我们探索了使用基于PDE的观点和分析来改善量化CNN的方法。首先，我们利用总变化方法（电视）方法将边缘意识平滑应用于整个网络的特征图。这旨在减少值分布的异常值并促进零件恒定图，这更适合量化。其次，我们考虑用于图像分类的常见CNN的对称和稳定变体，以及用于图源分类的图形卷积网络（GCN）。我们通过几个实验证明，正向稳定性的性质保留了在不同量化速率下网络的作用。结果，稳定的量化网络的行为与非量化的网络相似，即使它们依赖于较少的参数。我们还发现，有时，稳定性甚至有助于提高准确性。对于敏感，资源受限，低功率或实时应用（例如自动驾驶），这些属性特别感兴趣。

这项工作研究了基于梯度的算法的现有理论分析与训练深神经网络的实践之间的深刻断开。具体而言，我们提供了数值证据，表明在大规模神经网络训练（例如Imagenet + Resnet101和WT103 + Transformerxl模型）中，神经网络的权重不会融合到损失的梯度为零的固定点。然而，值得注意的是，我们观察到，即使权重不融合到固定点，最小化损耗函数的进展和训练损失稳定下来。受到这一观察的启发，我们提出了一种基于动力学系统的千古理论来解释它的新观点。我们没有研究权重演化，而是研究权重分布的演变。我们证明了权重分布到近似不变的度量，从而解释了训练损失如何稳定而无需重合到固定点。我们进一步讨论了这种观点如何更好地调整优化理论与机器学习实践中的经验观察。

在广泛的应用程序中，从观察到的数据中识别隐藏的动态是一项重大且具有挑战性的任务。最近，线性多步法方法（LMM）和深度学习的结合已成功地用于发现动力学，而对这种方法进行完整的收敛分析仍在开发中。在这项工作中，我们考虑了基于网络的深度LMM，以发现动态。我们使用深网的近似属性提出了这些方法的错误估计。它指出，对于某些LMMS的家庭，$ \ ell^2 $网格错误由$ O（H^p）$的总和和网络近似错误，其中$ h $是时间步长和$P $是本地截断错误顺序。提供了几个物理相关示例的数值结果，以证明我们的理论。

如今，神经网络广泛用于许多应用中，作为人工智能模型，用于学习任务。由于通常神经网络处理非常大量的数据，因此在平均场和动力学理论内方便地制定它们。在这项工作中，我们专注于特定类别的神经网络，即残余神经网络，假设每层的特征是相同数量的神经元数量$ N $，这是由数据的维度固定的。这种假设允许将残余神经网络作为时间离散化的常微分方程解释，与神经微分方程类似。然后在无限的许多输入数据的极限中获得平均场描述。这导致VLASOV型部分微分方程描述了输入数据分布的演变。我们分析了网络参数的稳态和灵敏度，即重量和偏置。在线性激活功能和一维输入数据的简单设置中，矩的研究为网络的参数选择提供了见解。此外，通过随机残留神经网络的启发的微观动态的修改导致网络的Fokker-Planck配方，其中网络训练的概念被拟合分布的任务所取代。通过人工数值模拟验证所执行的分析。特别是，提出了对分类和回归问题的结果。

在许多情况下，更简单的模型比更复杂的模型更可取，并且该模型复杂性的控制是机器学习中许多方法的目标，例如正则化，高参数调整和体系结构设计。在深度学习中，很难理解复杂性控制的潜在机制，因为许多传统措施并不适合深度神经网络。在这里，我们开发了几何复杂性的概念，该概念是使用离散的dirichlet能量计算的模型函数变异性的量度。使用理论论据和经验结果的结合，我们表明，许多常见的训练启发式方法，例如参数规范正规化，光谱规范正则化，平稳性正则化，隐式梯度正则化，噪声正则化和参数初始化的选择，都可以控制几何学复杂性，并提供一个统一的框架，以表征深度学习模型的行为。

培训具有批量标准化和重量衰减的神经网络已成为近年来的常见做法。在这项工作中，我们表明它们的结合使用可能导致优化动态的令人惊讶的周期性行为：培训过程定期表现出稳定，然而，不会导致完全发散但导致新的培训期。我们严格研究了从经验和理论观点的发现的定期行为基础的机制，并分析了实践中发生的条件。我们还证明，周期性行为可以被视为在批量归一化和体重衰减的训练中进行两种先前反对的视角的概括，即平衡推定和不稳定的推定。

We present a unified hard-constraint framework for solving geometrically complex PDEs with neural networks, where the most commonly used Dirichlet, Neumann, and Robin boundary conditions (BCs) are considered. Specifically, we first introduce the "extra fields" from the mixed finite element method to reformulate the PDEs so as to equivalently transform the three types of BCs into linear forms. Based on the reformulation, we derive the general solutions of the BCs analytically, which are employed to construct an ansatz that automatically satisfies the BCs. With such a framework, we can train the neural networks without adding extra loss terms and thus efficiently handle geometrically complex PDEs, alleviating the unbalanced competition between the loss terms corresponding to the BCs and PDEs. We theoretically demonstrate that the "extra fields" can stabilize the training process. Experimental results on real-world geometrically complex PDEs showcase the effectiveness of our method compared with state-of-the-art baselines.