将SVD元层插入神经网络中很容易使协方差不良，这可能会损害训练稳定性和概括能力中的模型。在本文中，我们系统地研究了如何通过对前SVD层的正交性来改善协方差调节。首先研究重量的现有正交治疗。但是，这些技术可以改善条件，但会损害性能。为了避免这种副作用，我们提出了最近的正交梯度（NOG）和最佳学习率（OLR）。我们方法的有效性在两个应用程序中得到了验证：非相关的批处理归一化（BN）和全局协方差池（GCP）。关于视觉识别的广泛实验表明，我们的方法可以同时改善协方差调节和概括。此外，与正交重量的组合可以进一步提高性能。

Inserting an SVD meta-layer into neural networks is prone to make the covariance ill-conditioned, which could harm the model in the training stability and generalization abilities. In this paper, we systematically study how to improve the covariance conditioning by enforcing orthogonality to the Pre-SVD layer. Existing orthogonal treatments on the weights are first investigated. However, these techniques can improve the conditioning but would hurt the performance. To avoid such a side effect, we propose the Nearest Orthogonal Gradient (NOG) and Optimal Learning Rate (OLR). The effectiveness of our methods is validated in two applications: decorrelated Batch Normalization (BN) and Global Covariance Pooling (GCP). Extensive experiments on visual recognition demonstrate that our methods can simultaneously improve covariance conditioning and generalization. The combinations with orthogonal weight can further boost the performance. Moreover, we show that our orthogonality techniques can benefit generative models for better latent disentanglement through a series of experiments on various benchmarks. Code is available at: \href{https://github.com/KingJamesSong/OrthoImproveCond}{https://github.com/KingJamesSong/OrthoImproveCond}.

特征重组（ED）是许多计算机视觉算法和应用的核心。限制其使用情况的一种关键瓶颈是昂贵的计算成本，尤其是对于深层神经网络中的微型矩阵。在本文中，我们提出了一种基于QR的ED方法，该方法用于计算机视觉的应用程序方案。我们提出的方法通过批处理的矩阵/矢量乘法完全执行ED，该矩阵乘法同时处理所有矩阵，从而充分利用GPU的功率。我们的技术是基于与双重威尔金森偏移的Givens旋转的明确QR迭代。使用多种加速技术，QR迭代的时间复杂性从$ o {（} n^5 {）} $缩小为$ o {（}（} n^3 {）} $。数值测试表明，对于中小型批处理矩阵（\ emph {e.g。，} $ dim {<} 32 $），我们的方法比Pytorch SVD函数要快得多。视觉识别和图像产生的实验结果表明，我们的方法还达到了竞争性能。

依靠这样的前提是，二进制神经网络的性能可以在很大程度上恢复，而完全精确的权重向量与其相应的二进制向量之间的量化错误，网络二线化的现有作品经常采用模型鲁棒性的想法以达到上述目标。但是，鲁棒性仍然是一个不明智的概念，而没有扎实的理论支持。在这项工作中，我们介绍了Lipschitz的连续性，即定义明确的功能特性，是定义BNN模型鲁棒性的严格标准。然后，我们建议将Lipschitz连续性保留为正规化项，以提高模型的鲁棒性。特别是，虽然流行的Lipschitz涉及正则化方法由于其极端稀疏而经常在BNN中崩溃，但我们将保留矩阵设计以近似于目标重量矩阵的光谱规范，可以将其作为BNN的Lipschitz常数的近似值部署精确的L​​ipschitz恒定计算（NP-HARD）。我们的实验证明，我们的BNN特异性正则化方法可以有效地增强BNN的鲁棒性（在Imagenet-C上作证），从而在CIFAR和Imagenet上实现最新性能。

标准化技术已成为现代卷积神经网络（Convnets）中的基本组件。特别是，许多最近的作品表明，促进重量的正交性有助于培训深层模型并提高鲁棒性。对于Courmnets，大多数现有方法基于惩罚或归一化矩阵判断或施加卷积核的重量矩阵。这些方法经常摧毁或忽视核的良性卷积结构;因此，对于深扫描器来说，它们通常是昂贵或不切实际的。相比之下，我们介绍了一种简单富有高效的“卷积归一化”（ConvNORM）方法，可以充分利用傅立叶域中的卷积结构，并用作简单的即插即用模块，以方便地结合到任何围栏中。我们的方法是通过最近关于卷积稀疏编码的预处理方法的工作启发，可以有效地促进每个层的频道方向等距。此外，我们表明我们的判断可以降低重量矩阵的层状频谱标准，从而改善网络的嘴唇，导致培训更容易培训和改善深扫描器的鲁棒性。在噪声损坏和生成的对抗网络（GAN）下应用于分类，我们表明CONVNOMOL提高了常见扫描仪（如RENET和GAN性能）的稳健性。我们通过Cifar和Imagenet的数值实验验证了我们的研究结果。

视觉变形金刚（VIT）通过贴片图像令牌化推动了各种视觉识别任务的最先进，然后是堆叠的自我注意操作。采用自我发场模块会导致计算和内存使用情况的二次复杂性。因此，已经在自然语言处理中进行了各种尝试以线性复杂性近似自我发挥计算的尝试。但是，这项工作的深入分析表明，它们在理论上是缺陷的，或者在经验上是无效的视觉识别。我们确定它们的局限性植根于在近似过程中保留软马克斯的自我注意力。具体而言，传统的自我注意力是通过使令状特征向量之间的缩放点产物标准化来计算的。保留SoftMax操作会挑战任何随后的线性化工作。在这个见解下，首次提出了无软磁变压器（缩写为软的变压器）。为了消除自我注意事项的软马克斯操作员，采用高斯内核函数来替代点产品相似性。这使完整的自发矩阵可以通过低级矩阵分解近似。我们近似的鲁棒性是通过使用牛顿 - 拉夫森方法来计算其摩尔 - 芬罗逆的。此外，在低级别的自我注意事项上引入了有效的对称归一化，以增强模型的推广性和可传递性。对Imagenet，Coco和ADE20K的广泛实验表明，我们的软可以显着提高现有VIT变体的计算效率。至关重要的是，具有线性复杂性，允许使用较长的令牌序列，从而使精度和复杂性之间的权衡较高。

我们研究了使用尖刺，现场依赖的随机矩阵理论研究迷你批次对深神经网络损失景观的影响。我们表明，批量黑森州的极值值的大小大于经验丰富的黑森州。我们还获得了类似的结果对Hessian的概括高斯牛顿矩阵近似。由于我们的定理，我们推导出作为批量大小的最大学习速率的分析表达式，为随机梯度下降（线性缩放）和自适应算法（例如ADAM（Square Root Scaling）提供了通知实际培训方案，例如光滑，非凸深神经网络。虽然随机梯度下降的线性缩放是在我们概括的更多限制性条件下导出的，但是适应优化者的平方根缩放规则是我们的知识，完全小说。随机二阶方法和自适应方法的百分比，我们得出了最小阻尼系数与学习率与批量尺寸的比率成比例。我们在Cifar-$ 100 $和ImageNet数据集上验证了我们的VGG / WimerEsnet架构上的索赔。根据我们对象检的调查，我们基于飞行学习率和动量学习者开发了一个随机兰齐齐竞争，这避免了对这些关键的超参数进行昂贵的多重评估的需求，并在预残留的情况下显示出良好的初步结果Cifar的architecure - $ 100 $。

Low-rankness plays an important role in traditional machine learning, but is not so popular in deep learning. Most previous low-rank network compression methods compress the networks by approximating pre-trained models and re-training. However, the optimal solution in the Euclidean space may be quite different from the one in the low-rank manifold. A well-pre-trained model is not a good initialization for the model with low-rank constraints. Thus, the performance of a low-rank compressed network degrades significantly. Compared to other network compression methods such as pruning, low-rank methods attracts less attention in recent years. In this paper, we devise a new training method, low-rank projection with energy transfer (LRPET), that trains low-rank compressed networks from scratch and achieves competitive performance. First, we propose to alternately perform stochastic gradient descent training and projection onto the low-rank manifold. Compared to re-training on the compact model, this enables full utilization of model capacity since solution space is relaxed back to Euclidean space after projection. Second, the matrix energy (the sum of squares of singular values) reduction caused by projection is compensated by energy transfer. We uniformly transfer the energy of the pruned singular values to the remaining ones. We theoretically show that energy transfer eases the trend of gradient vanishing caused by projection. Third, we propose batch normalization (BN) rectification to cut off its effect on the optimal low-rank approximation of the weight matrix, which further improves the performance. Comprehensive experiments on CIFAR-10 and ImageNet have justified that our method is superior to other low-rank compression methods and also outperforms recent state-of-the-art pruning methods. Our code is available at https://github.com/BZQLin/LRPET.

分发（OOD）检测的任务对于在现实世界中部署机器学习模型至关重要。在本文中，我们观察到分布（ID）和OOD特征的奇异值分布截然不同：OOD特征矩阵倾向于具有比ID特征更大的优势奇异值，并且OOD样本的类预测在很大程度上取决于它。该观察结果促使我们提出\ texttt {rankfeat}，这是一种简单而有效的\ texttt {post hoc}方法，通过删除由最大的单数值和相关的单数矢量组成的rank-1矩阵，从（\ emph { \ texttt {rankfeat}达到\ emph {最新的}性能，并将平均误报率（FPR95）降低了17.90 \％，与以前的最佳方法相比。提供了广泛的消融研究和全面的理论分析，以支持经验结果。

本文侧重于培训无限层的隐含模型。具体而言，以前的作品采用隐式差分，并解决后向传播的精确梯度。但是，是否有必要计算训练的这种精确但昂贵的渐变？在这项工作中，我们提出了一种新颖的梯度估计，用于隐式模型，命名为Phantom梯度，1）用于精确梯度的昂贵计算; 2）提供了对隐式模型培训的凭经质优选的更新方向。理论上，理论上可以分析可以找到损失景观的上升方向的条件，并基于阻尼展开和Neumann系列提供幻象梯度的两个特定实例化。大规模任务的实验表明，这些轻质幻像梯度大大加快了培训隐式模型中的后向往大约1.7倍，甚至基于想象成上的精确渐变来提高对方法的性能。

Deep Learning optimization involves minimizing a high-dimensional loss function in the weight space which is often perceived as difficult due to its inherent difficulties such as saddle points, local minima, ill-conditioning of the Hessian and limited compute resources. In this paper, we provide a comprehensive review of 12 standard optimization methods successfully used in deep learning research and a theoretical assessment of the difficulties in numerical optimization from the optimization literature.

灵感来自动物视觉系统中的两个基本机制，我们介绍了一种特征变换技术，在深神经网络训练中强加不变性。生成的算法需要较少的参数调整，用初始学习速率1.0提供良好的列车，并且容易地推广到不同的任务。我们使用数据中的本地统计数据强制不变性，以使类似的样本对齐不同的标度。为了加速融合，我们强制使用从批处理中提取的全局统计数据来执行GL（n）-invariance属性，使得梯度下降溶液应保持不变的基础变化。分析分析表明我们所提出的修改需要底层卷积层的计算的5％。在卷积网络和变压器网络上测试，我们提出的技术需要较少的迭代训练，超过所有基线，通过大幅度，无缝工作，对小型和大批量训练，并适用于不同的计算机视觉和语言任务。

我们使用高斯过程扰动模型在高维二次上的真实和批量风险表面之间的高斯过程扰动模型分析和解释迭代平均的泛化性能。我们从我们的理论结果中获得了三个现象\姓名：}（1）将迭代平均值（ia）与大型学习率和正则化进行了改进的正规化的重要性。 （2）对较少频繁平均的理由。 （3）我们预计自适应梯度方法同样地工作，或者更好，而不是其非自适应对应物的迭代平均值。灵感来自这些结果\姓据{，一起与}对迭代解决方案多样性的适当正则化的重要性，我们提出了两个具有迭代平均的自适应算法。与随机梯度下降（SGD）相比，这些结果具有明显更好的结果，需要较少调谐并且不需要早期停止或验证设定监视。我们在各种现代和古典网络架构上展示了我们对CiFar-10/100，Imagenet和Penn TreeBank数据集的方法的疗效。

Although augmentations (e.g., perturbation of graph edges, image crops) boost the efficiency of Contrastive Learning (CL), feature level augmentation is another plausible, complementary yet not well researched strategy. Thus, we present a novel spectral feature argumentation for contrastive learning on graphs (and images). To this end, for each data view, we estimate a low-rank approximation per feature map and subtract that approximation from the map to obtain its complement. This is achieved by the proposed herein incomplete power iteration, a non-standard power iteration regime which enjoys two valuable byproducts (under mere one or two iterations): (i) it partially balances spectrum of the feature map, and (ii) it injects the noise into rebalanced singular values of the feature map (spectral augmentation). For two views, we align these rebalanced feature maps as such an improved alignment step can focus more on less dominant singular values of matrices of both views, whereas the spectral augmentation does not affect the spectral angle alignment (singular vectors are not perturbed). We derive the analytical form for: (i) the incomplete power iteration to capture its spectrum-balancing effect, and (ii) the variance of singular values augmented implicitly by the noise. We also show that the spectral augmentation improves the generalization bound. Experiments on graph/image datasets show that our spectral feature augmentation outperforms baselines, and is complementary with other augmentation strategies and compatible with various contrastive losses.

深度神经网络的高度非线性性质使它们容易受到对抗例子的影响，并且具有不稳定的梯度，从而阻碍了可解释性。但是，解决这些问题的现有方法，例如对抗性训练，是昂贵的，并且通常会牺牲预测的准确性。在这项工作中，我们考虑曲率，这是编码非线性程度的数学数量。使用此功能，我们展示了低曲率的神经网络（LCNN），这些神经网络（LCNN）的曲率比标准模型大大低，同时表现出相似的预测性能，从而导致稳健性和稳定梯度，并且只有略有增加的训练时间。为了实现这一目标，我们最大程度地减少了与数据依赖性的上限在神经网络的曲率上，该曲率分解了其组成层的曲率和斜率方面的总体曲率。为了有效地最大程度地减少这种结合，我们介绍了两个新型的建筑组件：首先，一种称为中心软pplus的非线性性，是SoftPlus非线性的稳定变体，其次是Lipschitz构成的批处理标准化层。我们的实验表明，与标准的高曲率对应物相比，LCNN具有较低的曲率，更稳定的梯度和增加现成的对抗性鲁棒性，而不会影响预测性能。我们的方法易于使用，可以很容易地将其纳入现有的神经网络模型中。

深度学习在广泛的AI应用方面取得了有希望的结果。较大的数据集和模型一致地产生更好的性能。但是，我们一般花费更长的培训时间，以更多的计算和沟通。在本调查中，我们的目标是在模型精度和模型效率方面提供关于大规模深度学习优化的清晰草图。我们调查最常用于优化的算法，详细阐述了大批量培训中出现的泛化差距的可辩论主题，并审查了解决通信开销并减少内存足迹的SOTA策略。

尽管主要使用一阶方法来训练深层学习模型，但尤其是自然梯度方法，仍然是利益，因为它们通过使用曲率信息加速训练的可能性。已经提出了几种具有非对角线预处理矩阵，包括KFAC，洗发剂和K-BFG的方法，并显示有效。基于所谓的张量正常（TN）分布，我们提出并分析了一种全新的近似自然梯度方法，张量正常训练（TNT），如洗发水，只需要了解训练参数的形状。通过近似基于概率的Fisher矩阵，与经验丰富的Fisher矩阵相反，我们的方法使用基于采样的梯度的块明智的协方差作为预处理矩阵。此外，假设基于采样的（张量）梯度遵循TN分布，确保其协方差具有Kronecker可分离结构，这导致到Fisher矩阵的易逼近。因此，TNT的内存需求和迭代计算成本仅略高于一阶方法的计算成本。在我们的实验中，TNT对最先进的一阶方法以及最先进的二阶方法KFAC和洗发剂的可比优化性能表现出卓越的优化性能。此外，TNT证明了其概括的能力以及使用较少的时期的一级方法。

重量衰减通常用于确保具有批归归量的深神经网络的训练实践中的良好概括（BN-DNNS），在该训练中，由于归一化，某些卷积层对于重量重新恢复是不变的。在本文中，我们证明了重量衰减的实际用法仍然存在一些未解决的问题，尽管现有的理论工作在解释BN-DNNS中体重衰减的影响方面。一方面，当非自适应学习率例如使用动量的SGD，即使在初始训练阶段，有效学习率也会继续增加，从而导致许多神经体系结构的过度拟合效果。另一方面，在SGDM和自适应学习率优化器中，例如亚当，体重衰减对概括的影响对超参数非常敏感。因此，找到最佳的重量衰减参数需要广泛的参数搜索。为了解决这些弱点，我们建议使用简单而有效的重量重新缩放（WRS）方案来规范重量规范，以替代体重衰减。 WRS通过将重量标准明确地重新定为单位规范来控制重量规范，从而防止梯度增加，但也确保了足够大的有效学习率以提高概括。在各种计算机视觉应用程序中，包括图像分类，对象检测，语义细分和人群计数，我们与重量衰减，隐含重量重新缩放（重量标准化）和梯度投影（ADAMP）相比，显示了WR的有效性和鲁棒性。

在本文中，我们考虑了第一和二阶技术来解决机器学习中产生的连续优化问题。在一阶案例中，我们提出了一种从确定性或半确定性到随机二次正则化方法的转换框架。我们利用随机优化的两相性质提出了一种具有自适应采样和自适应步长的新型一阶算法。在二阶案例中，我们提出了一种新型随机阻尼L-BFGS方法，该方法可以在深度学习的高度非凸起背景下提高先前的算法。这两种算法都在众所周知的深度学习数据集上进行评估并表现出有希望的性能。

二阶优化器被认为具有加快神经网络训练的潜力，但是由于曲率矩阵的尺寸巨大，它们通常需要近似值才能计算。最成功的近似家庭是Kronecker因块状曲率估计值（KFAC）。在这里，我们结合了先前工作的工具，以评估确切的二阶更新和仔细消融以建立令人惊讶的结果：由于其近似值，KFAC与二阶更新无关，尤其是，它极大地胜过真实的第二阶段更新。订单更新。这一挑战广泛地相信，并立即提出了为什么KFAC表现如此出色的问题。为了回答这个问题，我们提出了强烈的证据，表明KFAC近似于一阶算法，该算法在神经元上执行梯度下降而不是权重。最后，我们表明，这种优化器通常会在计算成本和数据效率方面改善KFAC。