卷积神经网络（CNN）在许多计算机视觉应用中表现出非常吸引人的性能。通常使用基于随机梯度下降（SGD）优化技术进行CNN的训练。基于自适应动量的SGD优化器是最近的趋势。但是，现有的优化器无法在一阶时刻保持零平均值，并在优化方面挣扎。在本文中，我们提出了针对CNN的基于集中化的SGD优化器。具体而言，我们明确地将零均值约束强加于一阶力矩。提出的力矩集中化本质上是通用的，可以与任何现有的自适应动量优化器集成。提出的想法通过三种最先进的优化技术进行了测试，包括基准CIFAR10，CIFAR100和TINYIMAGENET数据集的ADAM，RADAM和ADABELIEF，用于图像分类。与建议的力矩集中化集成时，现有优化器的性能通常会提高。此外，提议的力矩集中化的结果也比现有的梯度集中化更好。使用玩具示例的分析分析表明，所提出的方法导致较短，更平滑的优化轨迹。源代码可在\ url {https://github.com/sumanthsadhu/mc-optimizer}中公开获得。

卷积神经网络（CNN）通常是使用基于随机梯度下降（SGD）优化技术训练的。现有的SGD优化器通常会遭受最小值和最低振荡的过度损失。在本文中，我们提出了一种新方法，以下内容称为Adainject，以将二阶时刻注入一阶时刻，以称为梯度下降优化器。具体而言，参数的短期更改被用作重量，以在更新规则中注入二阶时刻。 Adainject优化器控制参数更新，避免了最小值的过度换档，并减少了最小值接近的振荡。提出的方法本质上是通用的，可以与任何现有的SGD优化器集成。通过直观地解释了Anainject优化器的有效性以及一些玩具示例。我们还显示了拟议的基于注射的优化器的收敛性。此外，我们通过广泛的实验与最新的优化器（即Adaminject，diffgradinject，radaminject和Adabeliefinject在四个基准数据集中）一起描述了ADAIN方法的功效。实验中使用了不同的CNN模型。在CIFAR10数据集上使用resnext29模型，使用diffgradinject Optimizer观察到TOP-1分类错误率$ 16.54 \％$的最高提高。总体而言，我们通过提出的ADAIN方法观察到现有优化器的性能提高非常有希望。该代码可在：\ url {https://github.com/shivram1987/adainject}中获得。

随机梯度体面（SGD）是深神经网络成功背后的核心技术之一。梯度提供有关功能具有最陡变化率的方向的信息。基本SGD的主要问题是通过梯度行为而对所有参数的相等大小的步骤进行更改。因此，深度网络优化的有效方式是为每个参数进行自适应步骤尺寸。最近，已经进行了几次尝试，以改善梯度下降方法，例如Adagrad，Adadelta，RMSProp和Adam。这些方法依赖于平方过去梯度的指数移动平均线的平方根。因此，这些方法不利用梯度的局部变化。在本文中，基于当前和立即梯度（即，差异）之间的差异提出了一种新颖的优化器。在所提出的差异优化技术中，以这样的方式调整步长，使得它应该具有更大的梯度改变参数的较大步长，以及用于较低梯度改变参数的较低步长。收敛分析是使用在线学习框架的遗憾方法完成。在本文中进行严格的分析超过三种合成复合的非凸功能。图像分类实验也在CiFar10和CiFAR100数据集上进行，以观察漫反射的性能，相对于最先进的优化器，例如SGDM，Adagrad，Adadelta，RMSProp，Amsgrad和Adam。基于基于单元（Reset）的基于卷积神经网络（CNN）架构用于实验中。实验表明，Diffgrad优于其他优化器。此外，我们表明差异对使用不同的激活功能训练CNN的均匀良好。源代码在https://github.com/shivram1987/diffgrad公开使用。

重量衰减通常用于确保具有批归归量的深神经网络的训练实践中的良好概括（BN-DNNS），在该训练中，由于归一化，某些卷积层对于重量重新恢复是不变的。在本文中，我们证明了重量衰减的实际用法仍然存在一些未解决的问题，尽管现有的理论工作在解释BN-DNNS中体重衰减的影响方面。一方面，当非自适应学习率例如使用动量的SGD，即使在初始训练阶段，有效学习率也会继续增加，从而导致许多神经体系结构的过度拟合效果。另一方面，在SGDM和自适应学习率优化器中，例如亚当，体重衰减对概括的影响对超参数非常敏感。因此，找到最佳的重量衰减参数需要广泛的参数搜索。为了解决这些弱点，我们建议使用简单而有效的重量重新缩放（WRS）方案来规范重量规范，以替代体重衰减。 WRS通过将重量标准明确地重新定为单位规范来控制重量规范，从而防止梯度增加，但也确保了足够大的有效学习率以提高概括。在各种计算机视觉应用程序中，包括图像分类，对象检测，语义细分和人群计数，我们与重量衰减，隐含重量重新缩放（重量标准化）和梯度投影（ADAMP）相比，显示了WR的有效性和鲁棒性。

The learning rate warmup heuristic achieves remarkable success in stabilizing training, accelerating convergence and improving generalization for adaptive stochastic optimization algorithms like RMSprop and Adam. Pursuing the theory behind warmup, we identify a problem of the adaptive learning rate -its variance is problematically large in the early stage, and presume warmup works as a variance reduction technique. We provide both empirical and theoretical evidence to verify our hypothesis. We further propose Rectified Adam (RAdam), a novel variant of Adam, by introducing a term to rectify the variance of the adaptive learning rate. Experimental results on image classification, language modeling, and neural machine translation verify our intuition and demonstrate the efficacy and robustness of RAdam. 1 * Work was done during an internship at Microsoft Dynamics 365 AI. † Work was done during an internship at Microsoft Dynamics 365 AI.

L 2 regularization and weight decay regularization are equivalent for standard stochastic gradient descent (when rescaled by the learning rate), but as we demonstrate this is not the case for adaptive gradient algorithms, such as Adam. While common implementations of these algorithms employ L 2 regularization (often calling it "weight decay" in what may be misleading due to the inequivalence we expose), we propose a simple modification to recover the original formulation of weight decay regularization by decoupling the weight decay from the optimization steps taken w.r.t. the loss function. We provide empirical evidence that our proposed modification (i) decouples the optimal choice of weight decay factor from the setting of the learning rate for both standard SGD and Adam and (ii) substantially improves Adam's generalization performance, allowing it to compete with SGD with momentum on image classification datasets (on which it was previously typically outperformed by the latter). Our proposed decoupled weight decay has already been adopted by many researchers, and the community has implemented it in TensorFlow and PyTorch; the complete source code for our experiments is

在资源受限的嵌入式系统上部署卷积神经网络的关键推动力是二进制神经网络（BNN）。 BNNS通过将功能和权重进行分配来保存内存并简化计算。不幸的是，二进制不可避免地伴随着准确性的严重降低。为了减少二进制和完整精确网络之间的准确性差距，最近提出了许多维修方法，我们已经将其分类并在本章中进行了单一概述。维修方法分为两个主要分支，培训技术和网络拓扑变化，可以进一步分为较小的类别。后一个类别为嵌入式系统引入了额外的成本（能源消耗或额外的面积），而前者则没有。从我们的概述中，我们可以观察到在减少准确性差距方面取得了进展，但是BNN论文并不对应使用哪种修复方法进行对齐，以获得高度准确的BNN。因此，本章包含一项经验综述，该综述评估了许多维修方法的好处，而不是Resnet-20 \＆Cifar10和Resnet-18 \＆Cifar100基准。我们发现三个维修类别最有益：功能二进制器，功能归一化和双重残留。基于这篇评论，我们讨论未来的方向和研究机会。我们勾勒出与BNN在嵌入式系统上相关的收益和成本，因为BNN是否能够缩小准确性差距，同时在资源受限的嵌入式系统上保持高能效率仍然有待观察。

In several recently proposed stochastic optimization methods (e.g. RMSProp, Adam, Adadelta), parameter updates are scaled by the inverse square roots of exponential moving averages of squared past gradients. Maintaining these perparameter second-moment estimators requires memory equal to the number of parameters. For the case of neural network weight matrices, we propose maintaining only the per-row and percolumn sums of these moving averages, and estimating the per-parameter second moments based on these sums. We demonstrate empirically that this method produces similar results to the baseline. Secondly, we show that adaptive methods can produce larger-than-desired updates when the decay rate of the second moment accumulator is too slow. We propose update clipping and a gradually increasing decay rate scheme as remedies. Combining these methods and dropping momentum, we achieve comparable results to the published Adam regime in training the Transformer model on the WMT 2014 English-German machine translation task, while using very little auxiliary storage in the optimizer. Finally, we propose scaling the parameter updates based on the scale of the parameters themselves.

深度学习在广泛的AI应用方面取得了有希望的结果。较大的数据集和模型一致地产生更好的性能。但是，我们一般花费更长的培训时间，以更多的计算和沟通。在本调查中，我们的目标是在模型精度和模型效率方面提供关于大规模深度学习优化的清晰草图。我们调查最常用于优化的算法，详细阐述了大批量培训中出现的泛化差距的可辩论主题，并审查了解决通信开销并减少内存足迹的SOTA策略。

神经架构的创新促进了语言建模和计算机视觉中的重大突破。不幸的是，如果网络参数未正确初始化，新颖的架构通常会导致挑战超参数选择和培训不稳定。已经提出了许多架构特定的初始化方案，但这些方案并不总是可移植到新体系结构。本文介绍了毕业，一种用于初始化神经网络的自动化和架构不可知论由方法。毕业基础是一个简单的启发式;调整每个网络层的规范，使得具有规定的超参数的SGD或ADAM的单个步骤导致可能的损耗值最小。通过在每个参数块前面引入标量乘数变量，然后使用简单的数字方案优化这些变量来完成此调整。 GradInit加速了许多卷积架构的收敛性和测试性能，无论是否有跳过连接，甚至没有归一化层。它还提高了机器翻译的原始变压器架构的稳定性，使得在广泛的学习速率和动量系数下使用ADAM或SGD来训练它而无需学习速率预热。代码可在https://github.com/zhuchen03/gradinit上获得。

我们提出ACPROP（异步 - 居中 - PROP），一个适应优化器，它结合了第二次动量和异步更新的居中（例如，用于$ T $ -Th更新，分母使用信息最多为步骤$ T-1 $，而Dumerator使用梯度$ t-the step）。 ACPROP具有强大的理论特性和经验性能。用reddi等人的例子。 （2018），我们表明异步优化器（例如Adashift，ACProp）的收敛条件较弱，而不是同步优化器（例如ADAM，RMSPROP，Adabelief）;在异步优化器中，我们表明，第二次势头的中心进一步削弱了收敛条件。我们展示了随机非凸面的$ O（\ FRAC {1} {\ SQRT {}）$的收敛速度，它与ORACLE率和优于$ O（\ FRAC {logt}相匹配{\ sqrt {t}}）$ rmsprop和adam的$率。我们在广泛的实证研究中验证了ACPROP：ACPRAC在使用CNN的图像分类中表现出SGD和其他自适应优化器，并且在各种GAN模型，加固学习和变压器的培训中优于良好调整的自适应优化器。总而言之，ACPROP具有良好的理论特性，包括弱收敛条件和最佳收敛速度，以及强的经验性能，包括SGD等良好普遍性，如亚当等训练稳定性。我们在https://github.com/juntang-zhuang/acprop-optimizer提供实现。

培训深度神经网络是一项非常苛刻的任务，尤其是具有挑战性的是如何适应体系结构以提高训练有素的模型的性能。我们可以发现，有时，浅网络比深网概括得更好，并且增加更多层会导致更高的培训和测试错误。深层残留学习框架通过将跳过连接添加到几个神经网络层来解决此降解问题。最初，需要这种跳过连接才能成功地训练深层网络，因为网络的表达性会随着深度的指数增长而成功。在本文中，我们首先通过神经网络分析信息流。我们介绍和评估批处理循环，该批处理通过神经网络的每一层量化信息流。我们从经验和理论上证明，基于梯度下降的训练方法需要正面批处理融合，以成功地优化给定的损失功能。基于这些见解，我们引入了批处理凝聚正则化，以使基于梯度下降的训练算法能够单独通过每个隐藏层来优化信息流。借助批处理正则化，梯度下降优化器可以将不可吸引的网络转换为可训练的网络。我们从经验上表明，因此我们可以训练“香草”完全连接的网络和卷积神经网络 - 没有跳过连接，批处理标准化，辍学或任何其他建筑调整 - 只需将批处理 - 凝集正则术语添加到500层中损失功能。批处理 - 注入正则化的效果不仅在香草神经网络上评估，还评估了在各种计算机视觉以及自然语言处理任务上的剩余网络，自动编码器以及变压器模型上。

In this paper, we introduce a novel optimization algorithm for machine learning model training called Normalized Stochastic Gradient Descent (NSGD) inspired by Normalized Least Mean Squares (NLMS) from adaptive filtering. When we train a high-complexity model on a large dataset, the learning rate is significantly important as a poor choice of optimizer parameters can lead to divergence. The algorithm updates the new set of network weights using the stochastic gradient but with $\ell_1$ and $\ell_2$-based normalizations on the learning rate parameter similar to the NLMS algorithm. Our main difference from the existing normalization methods is that we do not include the error term in the normalization process. We normalize the update term using the input vector to the neuron. Our experiments present that the model can be trained to a better accuracy level on different initial settings using our optimization algorithm. In this paper, we demonstrate the efficiency of our training algorithm using ResNet-20 and a toy neural network on different benchmark datasets with different initializations. The NSGD improves the accuracy of the ResNet-20 from 91.96\% to 92.20\% on the CIFAR-10 dataset.

每个例子梯度剪辑是一个关键算法步骤，可实现对深度学习模型的实用差异私有（DP）培训。但是，剪辑规范$ r $的选择对于在DP下实现高精度至关重要。我们提出了一个易于使用的替代品，称为Autoclipping，它消除了任何DP优化器（包括DP-SGD，DP-ADAM，DP-LAMB等）调整$ R $的需求。自动变体与现有的DP优化器一样私有和计算效率，但不需要DP特定的超参数，因此使DP培训与标准的非私人培训一样适合。我们在非凸vex设置中对自动DP-SGD进行了严格的融合分析，这表明它具有与标准SGD相匹配的渐近收敛速率。我们还展示了各种语言和视觉任务，这些任务自动剪辑优于或匹配最新的，并且可以轻松使用对现有代码库的最小更改。

我们提出了自适应培训 - 一种统一的培训算法，通过模型预测动态校准并增强训练过程，而不会产生额外的计算成本 - 以推进深度神经网络的监督和自我监督的学习。我们分析了培训数据的深网络培训动态，例如随机噪声和对抗例。我们的分析表明，模型预测能够在数据中放大有用的基础信息，即使在没有任何标签信息的情况下，这种现象也会发生，突出显示模型预测可能会产生培训过程：自适应培训改善了深网络的概括在噪音下，增强自我监督的代表学习。分析还阐明了解深度学习，例如，在经验风险最小化和最新的自我监督学习算法的折叠问题中对最近发现的双重现象的潜在解释。在CIFAR，STL和Imagenet数据集上的实验验证了我们在三种应用中的方法的有效性：用标签噪声，选择性分类和线性评估进行分类。为了促进未来的研究，该代码已在HTTPS://github.com/layneh/Self-Aveptive-训练中公开提供。

优化通常是一个确定性问题，其中通过诸如梯度下降的一些迭代过程找到解决方案。然而，当培训神经网络时，由于样本的子集的随机选择，损耗函数会超过（迭代）时间。该随机化将优化问题转变为随机级别。我们建议将损失视为关于一些参考最优参考的嘈杂观察。这种对损失的解释使我们能够采用卡尔曼滤波作为优化器，因为其递归制剂旨在估计来自嘈杂测量的未知参数。此外，我们表明，用于未知参数的演进的卡尔曼滤波器动力学模型可用于捕获高级方法的梯度动态，如动量和亚当。我们称之为该随机优化方法考拉，对于Kalman优化算法而言，具有损失适应性的缺陷。考拉是一种易于实现，可扩展，高效的方法来训练神经网络。我们提供了通过实验的收敛分析和显示，它产生了与跨多个神经网络架构和机器学习任务的现有技术优化算法的现有状态的参数估计，例如计算机视觉和语言建模。

二阶优化器被认为具有加快神经网络训练的潜力，但是由于曲率矩阵的尺寸巨大，它们通常需要近似值才能计算。最成功的近似家庭是Kronecker因块状曲率估计值（KFAC）。在这里，我们结合了先前工作的工具，以评估确切的二阶更新和仔细消融以建立令人惊讶的结果：由于其近似值，KFAC与二阶更新无关，尤其是，它极大地胜过真实的第二阶段更新。订单更新。这一挑战广泛地相信，并立即提出了为什么KFAC表现如此出色的问题。为了回答这个问题，我们提出了强烈的证据，表明KFAC近似于一阶算法，该算法在神经元上执行梯度下降而不是权重。最后，我们表明，这种优化器通常会在计算成本和数据效率方面改善KFAC。

We introduce Adam, an algorithm for first-order gradient-based optimization of stochastic objective functions, based on adaptive estimates of lower-order moments. The method is straightforward to implement, is computationally efficient, has little memory requirements, is invariant to diagonal rescaling of the gradients, and is well suited for problems that are large in terms of data and/or parameters. The method is also appropriate for non-stationary objectives and problems with very noisy and/or sparse gradients. The hyper-parameters have intuitive interpretations and typically require little tuning. Some connections to related algorithms, on which Adam was inspired, are discussed. We also analyze the theoretical convergence properties of the algorithm and provide a regret bound on the convergence rate that is comparable to the best known results under the online convex optimization framework. Empirical results demonstrate that Adam works well in practice and compares favorably to other stochastic optimization methods. Finally, we discuss AdaMax, a variant of Adam based on the infinity norm. * Equal contribution. Author ordering determined by coin flip over a Google Hangout.

近年来，神经网络已显示出巨大的增长，以解决许多问题。已经引入了各种类型的神经网络来处理不同类型的问题。但是，任何神经网络的主要目标是使用层层次结构将非线性可分离的输入数据转换为更线性可分离的抽象特征。这些层是线性和非线性函数的组合。最流行和常见的非线性层是激活功能（AFS），例如Logistic Sigmoid，Tanh，Relu，Elu，Swish和Mish。在本文中，在神经网络中为AFS提供了全面的概述和调查，以进行深度学习。涵盖了不同类别的AFS，例如Logistic Sigmoid和Tanh，基于RELU，基于ELU和基于学习的AFS。还指出了AFS的几种特征，例如输出范围，单调性和平滑度。在具有不同类型的数据的不同网络的18个最先进的AF中，还进行了性能比较。提出了AFS的见解，以使研究人员受益于进一步的研究和从业者在不同选择中进行选择。用于实验比较的代码发布于：\ url {https://github.com/shivram1987/activationfunctions}。

自适应梯度算法借用重球加速度的移动平均思想，以估计梯度的准确梯度矩和二阶矩，以加速收敛。然而，在理论上，在理论上，在许多经验情况下，在自适应梯度环境下，Nesterov加速度比重球加速度快的速度快得多。在这项工作中，我们提出了Adan的自适应Nesterov动量算法，以有效加快深层神经网络的训练。 Adan首先重新制定了Nesterov加速度，以开发新的Nesterov动量估计（NME）方法，该方法避免了外推点上计算梯度的额外计算和内存开销。然后，Adan采用NME来估计自适应梯度算法中梯度的一阶和二阶时刻，以进行收敛加速。此外，我们证明Adan在$ O（\ epsilon^{ - 3.5}）内找到了$ \ epsilon $ - 附近的一阶固定点，$最著名的下限。广泛的实验结果表明，Adan超过了视觉变压器（VIT）和CNN上的相应SOTA优化器，并为许多流行网络设置了新的SOTA，例如Resnet，Convnext，Vit，Vit，Swin，Mae，Mae，LSTM，LSTM，Transformer-XL和BERT，以及BERT和BERT和BERT 。更令人惊讶的是，Adan可以利用SOTA优化器的一半培训成本（时代）在E.T.C. Vit和Resnet上获得更高或可比的性能，并且还显示出对大型Minibatch尺寸的宽容，例如1K到32K。我们希望Adan能够通过降低培训成本并减轻尝试各种架构的不同优化者的工程负担来为深度学习的发展做出贡献。代码将在https://github.com/sail-sg/adan上发布。