本文侧重于培训无限层的隐含模型。具体而言，以前的作品采用隐式差分，并解决后向传播的精确梯度。但是，是否有必要计算训练的这种精确但昂贵的渐变？在这项工作中，我们提出了一种新颖的梯度估计，用于隐式模型，命名为Phantom梯度，1）用于精确梯度的昂贵计算; 2）提供了对隐式模型培训的凭经质优选的更新方向。理论上，理论上可以分析可以找到损失景观的上升方向的条件，并基于阻尼展开和Neumann系列提供幻象梯度的两个特定实例化。大规模任务的实验表明，这些轻质幻像梯度大大加快了培训隐式模型中的后向往大约1.7倍，甚至基于想象成上的精确渐变来提高对方法的性能。

We present a new approach to modeling sequential data: the deep equilibrium model (DEQ). Motivated by an observation that the hidden layers of many existing deep sequence models converge towards some fixed point, we propose the DEQ approach that directly finds these equilibrium points via root-finding. Such a method is equivalent to running an infinite depth (weight-tied) feedforward network, but has the notable advantage that we can analytically backpropagate through the equilibrium point using implicit differentiation. Using this approach, training and prediction in these networks require only constant memory, regardless of the effective "depth" of the network. We demonstrate how DEQs can be applied to two state-of-the-art deep sequence models: self-attention transformers and trellis networks. On large-scale language modeling tasks, such as the WikiText-103 benchmark, we show that DEQs 1) often improve performance over these stateof-the-art models (for similar parameter counts); 2) have similar computational requirements to existing models; and 3) vastly reduce memory consumption (often the bottleneck for training large sequence models), demonstrating an up-to 88% memory reduction in our experiments. The code is available at https://github. com/locuslab/deq.

深度学习的一个有前景的趋势取代了具有隐式网络的传统馈送网络。与传统网络不同，隐式网络解决了一个固定点方程来计算推断。解决固定点的复杂性变化，具体取决于提供的数据和误差容差。重要的是，可以通过与前馈网络的STARK对比度训练隐式网络，其内存需求与深度线性缩放。但是，没有免费的午餐 - 通过隐式网络锻造BackPropagation通常需要解决从隐式功能定理引起的昂贵的Jacobian等方程。我们提出了无雅各比的BackPropagation（JFB），一种固定内存方法，这些方法旨在解决基于雅略族裔的基于雅代族人的方程。 JFB使隐式网络更快地培训，并明显更容易实现，而不会牺牲测试精度。我们的实验表明，使用JFB培训的隐式网络与给出相同数量的参数的前馈网络和现有的隐式网络具有竞争力。

我们分析了一类养生问题，其中高级问题在于平滑的目标函数的最小化和下层问题是找到平滑收缩图的固定点。这种类型的问题包括元学习，平衡模型，超参数优化和数据中毒对抗性攻击的实例。最近的几项作品提出了算法，这些算法温暖了较低级别的问题，即他们使用先前的下级近似解决方案作为低级求解器的凝视点。这种温暖的启动程序使人们可以在随机和确定性设置中提高样品复杂性，在某些情况下可以实现订单的最佳样品复杂性。但是，存在一些情况，例如元学习和平衡模型，其中温暖的启动程序不适合或无效。在这项工作中，我们表明没有温暖的启动，仍然可以实现订单的最佳或近乎最佳的样品复杂性。特别是，我们提出了一种简单的方法，该方法在下层下使用随机固定点迭代，并在上层处预测不精确的梯度下降，该梯度下降到达$ \ epsilon $ -Stationary Point，使用$ O（\ Epsilon^{-2） }）$和$ \ tilde {o}（\ epsilon^{ - 1}）$样本分别用于随机和确定性设置。最后，与使用温暖启动的方法相比，我们的方法产生了更简单的分析，不需要研究上层和下层迭代之间的耦合相互作用

深度学习中的许多任务涉及优化\ emph {输入}到网络以最小化或最大化一些目标;示例包括在生成模型中的潜在空间上的优化，以匹配目标图像，或者对其进行对接扰动的前进扰动以恶化分类器性能。然而，执行这种优化是传统上的昂贵，因为它涉及完全向前和向后通过网络，每个梯度步骤。在单独的工作中，最近的研究线程已经开发了深度均衡（DEQ）模型，一类放弃传统网络深度的模型，而是通过找到单个非线性层的固定点来计算网络的输出。在本文中，我们表明这两个设置之间存在自然协同作用。虽然，对于这些优化问题的天真使用DEQs是昂贵的（由于计算每个渐变步骤所需的时间），我们可以利用基于梯度的优化可以\ emph {本身}作为一个固定点来利用这一事实迭代基本上提高整体速度。也就是说，我们\ EMPH {同时解决了DEQ固定点\ EMPH {和}在网络输入上优化，所有内容都在单个“增强”的DEQ模型中，共同编码原始网络和优化过程。实际上，程序足够快，使我们允许我们有效地\以传统地依赖于“内在”优化循环的任务的{Train} DEQ模型。我们在各种任务中展示了这种策略，例如培训生成模型，同时优化潜在代码，培训模型，以实现逆问题，如去噪，普及训练和基于梯度的元学习。

近年来，已经开发出各种基于梯度的方法来解决机器学习和计算机视觉地区的双层优化（BLO）问题。然而，这些现有方法的理论正确性和实际有效性总是依赖于某些限制性条件（例如，下层单身，LLS），这在现实世界中可能很难满足。此外，以前的文献仅证明了基于其特定的迭代策略的理论结果，因此缺乏一般的配方，以统一分析不同梯度的BLO的收敛行为。在这项工作中，我们从乐观的双级视点制定BLOS，并建立一个名为Bi-Level血液血统聚合（BDA）的新梯度的算法框架，以部分地解决上述问题。具体而言，BDA提供模块化结构，以分级地聚合上层和下层子问题以生成我们的双级迭代动态。从理论上讲，我们建立了一般会聚分析模板，并导出了一种新的证据方法，以研究基于梯度的BLO方法的基本理论特性。此外，这项工作系统地探讨了BDA在不同优化场景中的收敛行为，即，考虑从解决近似子问题返回的各种解决方案质量（即，全局/本地/静止解决方案）。广泛的实验证明了我们的理论结果，并展示了所提出的超参数优化和元学习任务算法的优越性。源代码可在https://github.com/vis-opt-group/bda中获得。

作为现代深度学习的重要成分，关注机制，特别是自我关注，在全球相关发现中起着至关重要的作用。但是，在建模全局背景时，手工制作的注意力不可替代？我们的兴趣发现是自我关注并不优于20年前开发的矩阵分解（MD）模型，了解编码长距离依赖性的性能和计算成本。我们将全局上下文问题模拟为低级别恢复问题，并显示其优化算法可以帮助设计全局信息块。然后，本文提出了一系列汉堡包，其中我们采用了优化算法来解决MD，以将输入表示分解为子矩阵并重建低级别嵌入。具有不同MDS的汉堡包可以在小心地应对通过MDS的梯度时，对流行的全球背景模块自我关注进行。在愿景任务中进行综合实验，在那里学习全球范围至关重要，包括语义分割和图像生成，展示了对自我关注及其变体的显着改善。

由于其宽度趋于无穷大，如果梯度下降下的深度神经网络的行为可以简化和可预测（例如，如果神经切线核（NTK）给出，则如果适当地进行了参数化（例如，NTK参数化）。但是，我们表明，神经网络的标准和NTK参数化不接受可以学习特征的无限宽度限制，这对于训练和转移学习至关重要。我们对标准参数化提出了简单的修改，以允许在极限内进行特征学习。使用 * Tensor程序 *技术，我们为此类限制提供了明确的公式。在Word2Vec和Omniglot上通过MAML进行的几杆学习，这是两个依赖特征学习的规范任务，我们准确地计算了这些限制。我们发现它们的表现都优于NTK基准和有限宽度网络，后者接近无限宽度的特征学习表现，随着宽度的增加。更普遍地，我们对神经网络参数化的自然空间进行分类，该空间概括了标准，NTK和平均场参数化。我们显示1）该空间中的任何参数化都可以接受特征学习或具有内核梯度下降给出的无限宽度训练动力学，但并非两者兼而有之； 2）可以使用Tensor程序技术计算任何此类无限宽度限制。可以在github.com/edwardjhu/tp4上找到我们的实验代码。

我们研究了使用尖刺，现场依赖的随机矩阵理论研究迷你批次对深神经网络损失景观的影响。我们表明，批量黑森州的极值值的大小大于经验丰富的黑森州。我们还获得了类似的结果对Hessian的概括高斯牛顿矩阵近似。由于我们的定理，我们推导出作为批量大小的最大学习速率的分析表达式，为随机梯度下降（线性缩放）和自适应算法（例如ADAM（Square Root Scaling）提供了通知实际培训方案，例如光滑，非凸深神经网络。虽然随机梯度下降的线性缩放是在我们概括的更多限制性条件下导出的，但是适应优化者的平方根缩放规则是我们的知识，完全小说。随机二阶方法和自适应方法的百分比，我们得出了最小阻尼系数与学习率与批量尺寸的比率成比例。我们在Cifar-$ 100 $和ImageNet数据集上验证了我们的VGG / WimerEsnet架构上的索赔。根据我们对象检的调查，我们基于飞行学习率和动量学习者开发了一个随机兰齐齐竞争，这避免了对这些关键的超参数进行昂贵的多重评估的需求，并在预残留的情况下显示出良好的初步结果Cifar的architecure - $ 100 $。

自适应梯度算法借用重球加速度的移动平均思想，以估计梯度的准确梯度矩和二阶矩，以加速收敛。然而，在理论上，在理论上，在许多经验情况下，在自适应梯度环境下，Nesterov加速度比重球加速度快的速度快得多。在这项工作中，我们提出了Adan的自适应Nesterov动量算法，以有效加快深层神经网络的训练。 Adan首先重新制定了Nesterov加速度，以开发新的Nesterov动量估计（NME）方法，该方法避免了外推点上计算梯度的额外计算和内存开销。然后，Adan采用NME来估计自适应梯度算法中梯度的一阶和二阶时刻，以进行收敛加速。此外，我们证明Adan在$ O（\ epsilon^{ - 3.5}）内找到了$ \ epsilon $ - 附近的一阶固定点，$最著名的下限。广泛的实验结果表明，Adan超过了视觉变压器（VIT）和CNN上的相应SOTA优化器，并为许多流行网络设置了新的SOTA，例如Resnet，Convnext，Vit，Vit，Swin，Mae，Mae，LSTM，LSTM，Transformer-XL和BERT，以及BERT和BERT和BERT 。更令人惊讶的是，Adan可以利用SOTA优化器的一半培训成本（时代）在E.T.C. Vit和Resnet上获得更高或可比的性能，并且还显示出对大型Minibatch尺寸的宽容，例如1K到32K。我们希望Adan能够通过降低培训成本并减轻尝试各种架构的不同优化者的工程负担来为深度学习的发展做出贡献。代码将在https://github.com/sail-sg/adan上发布。

Neural ordinary differential equations (neural ODEs) have emerged as a novel network architecture that bridges dynamical systems and deep learning. However, the gradient obtained with the continuous adjoint method in the vanilla neural ODE is not reverse-accurate. Other approaches suffer either from an excessive memory requirement due to deep computational graphs or from limited choices for the time integration scheme, hampering their application to large-scale complex dynamical systems. To achieve accurate gradients without compromising memory efficiency and flexibility, we present a new neural ODE framework, PNODE, based on high-level discrete adjoint algorithmic differentiation. By leveraging discrete adjoint time integrators and advanced checkpointing strategies tailored for these integrators, PNODE can provide a balance between memory and computational costs, while computing the gradients consistently and accurately. We provide an open-source implementation based on PyTorch and PETSc, one of the most commonly used portable, scalable scientific computing libraries. We demonstrate the performance through extensive numerical experiments on image classification and continuous normalizing flow problems. We show that PNODE achieves the highest memory efficiency when compared with other reverse-accurate methods. On the image classification problems, PNODE is up to two times faster than the vanilla neural ODE and up to 2.3 times faster than the best existing reverse-accurate method. We also show that PNODE enables the use of the implicit time integration methods that are needed for stiff dynamical systems.

A core capability of intelligent systems is the ability to quickly learn new tasks by drawing on prior experience. Gradient (or optimization) based meta-learning has recently emerged as an effective approach for few-shot learning. In this formulation, meta-parameters are learned in the outer loop, while task-specific models are learned in the inner-loop, by using only a small amount of data from the current task. A key challenge in scaling these approaches is the need to differentiate through the inner loop learning process, which can impose considerable computational and memory burdens. By drawing upon implicit differentiation, we develop the implicit MAML algorithm, which depends only on the solution to the inner level optimization and not the path taken by the inner loop optimizer. This effectively decouples the meta-gradient computation from the choice of inner loop optimizer. As a result, our approach is agnostic to the choice of inner loop optimizer and can gracefully handle many gradient steps without vanishing gradients or memory constraints. Theoretically, we prove that implicit MAML can compute accurate meta-gradients with a memory footprint no more than that which is required to compute a single inner loop gradient and at no overall increase in the total computational cost. Experimentally, we show that these benefits of implicit MAML translate into empirical gains on few-shot image recognition benchmarks.

鉴于Vanilla SGD的直接简单，本文在迷你批处理箱中提供了精细调整其阶梯尺寸。为了这样做，基于局部二次模型并仅使用嘈杂的梯度近似来估计曲率。一个人获得一种新的随机第一阶方法（步骤调谐的SGD），由二阶信息增强，这可以被视为古典Barzilai-Borwein方法的随机版本。我们的理论结果确保了几乎肯定的趋同集，我们提供了收敛速率。深度剩余网络培训的实验说明了我们方法的有利性质。对于我们在培训期间观察到的网络，突然下降的损失和中等阶段的测试精度的提高，产生比SGD，RMSPROP或ADAM更好的结果。

We show that standard ResNet architectures can be made invertible, allowing the same model to be used for classification, density estimation, and generation. Typically, enforcing invertibility requires partitioning dimensions or restricting network architectures. In contrast, our approach only requires adding a simple normalization step during training, already available in standard frameworks. Invertible ResNets define a generative model which can be trained by maximum likelihood on unlabeled data. To compute likelihoods, we introduce a tractable approximation to the Jacobian log-determinant of a residual block. Our empirical evaluation shows that invertible ResNets perform competitively with both stateof-the-art image classifiers and flow-based generative models, something that has not been previously achieved with a single architecture.

我们使用高斯过程扰动模型在高维二次上的真实和批量风险表面之间的高斯过程扰动模型分析和解释迭代平均的泛化性能。我们从我们的理论结果中获得了三个现象\姓名：}（1）将迭代平均值（ia）与大型学习率和正则化进行了改进的正规化的重要性。 （2）对较少频繁平均的理由。 （3）我们预计自适应梯度方法同样地工作，或者更好，而不是其非自适应对应物的迭代平均值。灵感来自这些结果\姓据{，一起与}对迭代解决方案多样性的适当正则化的重要性，我们提出了两个具有迭代平均的自适应算法。与随机梯度下降（SGD）相比，这些结果具有明显更好的结果，需要较少调谐并且不需要早期停止或验证设定监视。我们在各种现代和古典网络架构上展示了我们对CiFar-10/100，Imagenet和Penn TreeBank数据集的方法的疗效。

找到模型的最佳超参数可以作为双重优化问题，通常使用零级技术解决。在这项工作中，当内部优化问题是凸但不平滑时，我们研究一阶方法。我们表明，近端梯度下降和近端坐标下降序列序列的前向模式分化，雅各比人会收敛到精确的雅各布式。使用隐式差异化，我们表明可以利用内部问题的非平滑度来加快计算。最后，当内部优化问题大约解决时，我们对高度降低的误差提供了限制。关于回归和分类问题的结果揭示了高参数优化的计算益处，尤其是在需要多个超参数时。

深度学习在广泛的AI应用方面取得了有希望的结果。较大的数据集和模型一致地产生更好的性能。但是，我们一般花费更长的培训时间，以更多的计算和沟通。在本调查中，我们的目标是在模型精度和模型效率方面提供关于大规模深度学习优化的清晰草图。我们调查最常用于优化的算法，详细阐述了大批量培训中出现的泛化差距的可辩论主题，并审查了解决通信开销并减少内存足迹的SOTA策略。

基于深度学习的方法，例如物理知识的神经网络（PINN）和DeepOnets已显示出解决PDE受约束优化（PDECO）问题的希望。但是，现有方法不足以处理对优化目标具有复杂或非线性依赖性的PDE约束。在本文中，我们提出了一个新颖的双层优化框架，以通过将目标和约束的优化解耦来解决挑战。对于内部循环优化，我们采用PINN仅解决PDE约束。对于外循环，我们通过基于隐式函数定理（IFT）使用Broyden的方法来设计一种新颖的方法，该方法对于近似高度级别而言是有效且准确的。我们进一步介绍了高度级计算的理论解释和误差分析。在多个大规模和非线性PDE约束优化问题上进行了广泛的实验表明，与强基础相比，我们的方法可实现最新的结果。

尖峰神经网络（SNNS）是脑激发的模型，可在神经形状硬件上实现节能实现。然而，由于尖刺神经元模型的不连续性，SNN的监督培训仍然是一个难题。大多数现有方法模仿人工神经网络的BackProjagation框架和前馈架构，并在尖峰时间使用代理衍生物或计算梯度来处理问题。这些方法累积近似误差，或者仅通过现有尖峰被限制地传播信息，并且通常需要沿着具有大的内存成本和生物言行的时间步长的信息传播。在这项工作中，我们考虑反馈尖刺神经网络，这些神经网络更为大脑，并提出了一种新的训练方法，不依赖于前向计算的确切反向。首先，我们表明，具有反馈连接的SNN的平均触发速率将沿着时间的时间逐渐发展到均衡状态，这沿着定点方程沿着时间延续。然后通过将反馈SNN的前向计算作为这种等式的黑匣子求解器，并利用了方程上的隐式差异，我们可以计算参数的梯度而不考虑确切的前向过程。以这种方式，向前和向后程序被解耦，因此避免了不可微分的尖峰功能的问题。我们还简要介绍了隐含分化的生物合理性，这只需要计算另一个平衡。在Mnist，Fashion-Mnist，N-Mnist，CiFar-10和CiFar-100上进行了广泛的实验，证明了我们在少量时间步骤中具有较少神经元和参数的反馈模型的方法的优越性。我们的代码是在https://github.com/pkuxmq/ide-fsnn中获得的。

神经普通微分方程（神经ODE）是残留神经网络（RESNETS）的连续类似物。我们研究了重新NET定义的离散动力学是否接近连续的神经颂歌。我们首先量化了Resnet的隐藏状态轨迹与其相应神经ODE的解之间的距离。我们的界限很紧，在负面的一侧，如果残留函数的深度不光滑，则不会以深度为0。在正面，我们表明这种平滑度是通过梯度下降来保留的，该梯度下降具有线性残留功能和足够小的初始损失的重新系统。它确保在n上以1的速率1均匀地沿速率1的速率和优化时间对极限神经的隐式正则化。作为我们分析的副产品，我们考虑使用不含内存的离散伴随方法来训练重新NET，通过通过网络的向后传动恢复激活，并证明该方法理论上在大深度上取得了成功，如果残留功能是带有输入的Lipschitz。然后，我们证明HEUN的方法是一种二阶Ode集成方案，当残留函数及其深度平滑时，使用伴随方法进行更好的梯度估计。我们通过实验验证我们的伴随方法在很大程度上取得了成功，并且Heun方法需要更少的层才能成功。我们最终成功地使用了伴随方法来微调非常深的重新连接，而无需残留层的内存消耗。