We present a new approach to modeling sequential data: the deep equilibrium model (DEQ). Motivated by an observation that the hidden layers of many existing deep sequence models converge towards some fixed point, we propose the DEQ approach that directly finds these equilibrium points via root-finding. Such a method is equivalent to running an infinite depth (weight-tied) feedforward network, but has the notable advantage that we can analytically backpropagate through the equilibrium point using implicit differentiation. Using this approach, training and prediction in these networks require only constant memory, regardless of the effective "depth" of the network. We demonstrate how DEQs can be applied to two state-of-the-art deep sequence models: self-attention transformers and trellis networks. On large-scale language modeling tasks, such as the WikiText-103 benchmark, we show that DEQs 1) often improve performance over these stateof-the-art models (for similar parameter counts); 2) have similar computational requirements to existing models; and 3) vastly reduce memory consumption (often the bottleneck for training large sequence models), demonstrating an up-to 88% memory reduction in our experiments. The code is available at https://github. com/locuslab/deq.

本文侧重于培训无限层的隐含模型。具体而言，以前的作品采用隐式差分，并解决后向传播的精确梯度。但是，是否有必要计算训练的这种精确但昂贵的渐变？在这项工作中，我们提出了一种新颖的梯度估计，用于隐式模型，命名为Phantom梯度，1）用于精确梯度的昂贵计算; 2）提供了对隐式模型培训的凭经质优选的更新方向。理论上，理论上可以分析可以找到损失景观的上升方向的条件，并基于阻尼展开和Neumann系列提供幻象梯度的两个特定实例化。大规模任务的实验表明，这些轻质幻像梯度大大加快了培训隐式模型中的后向往大约1.7倍，甚至基于想象成上的精确渐变来提高对方法的性能。

序列建模的一个中心目标是设计一个单个原则模型，该模型可以解决各种方式和任务，尤其是在远程依赖方面的序列数据。尽管包括RNN，CNN和Transformers在内的传统模型具有用于捕获长期依赖性的专业变体，但它们仍然很难扩展到长时间的10000美元或更多步骤。通过模拟基本状态空间模型（SSM）\（x'（t）= ax（t）= ax（t） + bu（t），y（t）= cx（t） + du（t） + du（t）\ ), and showed that for appropriate choices of the state matrix \( A \), this system could handle long-range dependencies mathematically and empirically.但是，该方法具有过度的计算和内存需求，使其无法作为一般序列建模解决方案。我们根据SSM的新参数化提出了结构化状态空间序列模型（S4），并表明它可以比以前的方法更有效地计算出其理论强度。我们的技术涉及对\（a \）进行低级校正的调节，从而使其对角度稳定，并将SSM降低到库奇内核的精心研究的计算中。 S4在各种既定的基准测试范围内取得了强劲的经验结果，包括（i）在顺序CIFAR-10上的91 \％精度，没有数据增强或辅助损失，与较大的2-D Resnet相当，（ii）实质上关闭。在图像和语言建模任务上与变形金刚的差距，同时在远程竞技场基准的每个任务上执行每一代$ 60 \ times $ $（iii）sota，包括求解所有先前工作的挑战性path-x任务，而所有先前工作的长度为16K，同时与所有竞争对手一样高效。

深度学习的一个有前景的趋势取代了具有隐式网络的传统馈送网络。与传统网络不同，隐式网络解决了一个固定点方程来计算推断。解决固定点的复杂性变化，具体取决于提供的数据和误差容差。重要的是，可以通过与前馈网络的STARK对比度训练隐式网络，其内存需求与深度线性缩放。但是，没有免费的午餐 - 通过隐式网络锻造BackPropagation通常需要解决从隐式功能定理引起的昂贵的Jacobian等方程。我们提出了无雅各比的BackPropagation（JFB），一种固定内存方法，这些方法旨在解决基于雅略族裔的基于雅代族人的方程。 JFB使隐式网络更快地培训，并明显更容易实现，而不会牺牲测试精度。我们的实验表明，使用JFB培训的隐式网络与给出相同数量的参数的前馈网络和现有的隐式网络具有竞争力。

重型模型引起了神经网络现代发展的关注。深度平衡模型（DEQ）代表具有重量趋势的无限深度神经网络，最近的研究表明了这种方法的潜力。需要迭代解决训练中的根发现问题，并建立在模型确定的基础动力学基础上，需要DEQ。在本文中，我们介绍了稳定的不变模型（SIM），这是一种新的深层模型，原理在稳定性下近似DEQ，并将动力学扩展到更一般的动力学，从而收敛到不变的集合（不受固定点的限制）。得出SIMS的关键要素是用Koopman和Perron--Frobenius操作员的光谱表示动力学的代表。该视角大致揭示了用DEQS揭示稳定的动力学，然后衍生了两个SIMS的变体。我们还提出了可以以与前馈模型相同的方式学习的SIMS的实现。我们通过实验说明了SIMS的经验表现，并证明SIMS在几个学习任务中对DEQ实现了比较或出色的表现。

Normalizing flows provide a general mechanism for defining expressive probability distributions, only requiring the specification of a (usually simple) base distribution and a series of bijective transformations. There has been much recent work on normalizing flows, ranging from improving their expressive power to expanding their application. We believe the field has now matured and is in need of a unified perspective. In this review, we attempt to provide such a perspective by describing flows through the lens of probabilistic modeling and inference. We place special emphasis on the fundamental principles of flow design, and discuss foundational topics such as expressive power and computational trade-offs. We also broaden the conceptual framing of flows by relating them to more general probability transformations. Lastly, we summarize the use of flows for tasks such as generative modeling, approximate inference, and supervised learning.

变压器在长序列上是缓慢的，渴望记忆力，因为自我注意的时间和记忆复杂性在序列上是二次的。近似关注方法试图通过交易模型质量以降低计算复杂性来解决此问题，但通常无法实现墙壁锁定的加速。我们认为，缺失的原则是提出注意力算法，以考虑读取和在GPU记忆层次之间写入。我们提出了FlashAttention，这是一种IO意识的精确注意算法，该算法使用平铺来减少GPU高带宽内存（HBM）和GPU芯片SRAM之间的内存读数/写入/写入。我们分析了闪存的IO复杂性，表明它所需的HBM访问少于标准注意力，并且对于一系列SRAM尺寸而言是最佳的。我们还扩展了闪光词，以引起障碍物的注意，从而产生了比任何现有的近似关注方法更快的近似关注算法。闪存火车的变压器​​比现有基准快：与MLPERF 1.1训练速度记录相比，Bert-Large（第512秒）的端到端壁式锁定加速度为15％，GPT-2上的3 $ \ times $ speedup（seq） 。闪存表现和块状闪光词可在变压器中实现更长的上下文，从而产生更高质量的模型（GPT-2上的0.7更好的困惑和长期分类的6.4点升力）和全新的功能：第一个实现优于更好的Chance的变压器PATH-X挑战（Seq。Length16K，61.4％精度）和PATH-256（Seq。Length64K，63.1％精度）上的性能。

深度学习中的许多任务涉及优化\ emph {输入}到网络以最小化或最大化一些目标;示例包括在生成模型中的潜在空间上的优化，以匹配目标图像，或者对其进行对接扰动的前进扰动以恶化分类器性能。然而，执行这种优化是传统上的昂贵，因为它涉及完全向前和向后通过网络，每个梯度步骤。在单独的工作中，最近的研究线程已经开发了深度均衡（DEQ）模型，一类放弃传统网络深度的模型，而是通过找到单个非线性层的固定点来计算网络的输出。在本文中，我们表明这两个设置之间存在自然协同作用。虽然，对于这些优化问题的天真使用DEQs是昂贵的（由于计算每个渐变步骤所需的时间），我们可以利用基于梯度的优化可以\ emph {本身}作为一个固定点来利用这一事实迭代基本上提高整体速度。也就是说，我们\ EMPH {同时解决了DEQ固定点\ EMPH {和}在网络输入上优化，所有内容都在单个“增强”的DEQ模型中，共同编码原始网络和优化过程。实际上，程序足够快，使我们允许我们有效地\以传统地依赖于“内在”优化循环的任务的{Train} DEQ模型。我们在各种任务中展示了这种策略，例如培训生成模型，同时优化潜在代码，培训模型，以实现逆问题，如去噪，普及训练和基于梯度的元学习。

状态空间模型已显示在建模远距离依赖性方面有效，特别是序列分类任务。在这项工作中，我们着重于对英语书籍，GitHub源代码和Arxiv数学文章的自回旋序列建模。基于围绕封闭激活功能的有效性的最新发展，我们提出了一个名为“封闭状态空间（GSS）”的新层，并表明它的训练速度明显快于TPU的S4（即DSS）的对角线版本，具有相当竞争力 - 基于变压器的基线，并表现出零击向更长的输入，同时直接实施。最后，我们表明，利用自我意见来建模局部依赖性，可以进一步提高GSS的性能。

有效地对远程依赖性建模是序列建模的重要目标。最近，使用结构化状态空间序列（S4）层的模型在许多远程任务上实现了最先进的性能。 S4层将线性状态空间模型（SSM）与深度学习技术结合在一起，并利用HIPPO框架进行在线功能近似以实现高性能。但是，该框架导致了架构约束和计算困难，使S4方法变得复杂，可以理解和实施。我们重新审视这样的想法，即遵循河马框架对于高性能是必要的。具体而言，我们替换了许多独立的单输入单输出（SISO）SSM的库S4层与一个多输入的多输出（MIMO）SSM一起使用，并具有降低的潜在尺寸。 MIMO系统的缩小潜在维度允许使用有效的并行扫描，从而简化了将S5层应用于序列到序列转换所需的计算。此外，我们将S5 SSM的状态矩阵初始化，其近似与S4 SSMS使用的河马级矩阵近似，并表明这是MIMO设置的有效初始化。 S5与S4在远程任务上的表现相匹配，包括在远程竞技场基准的套件中平均达到82.46％，而S4的80.48％和最佳的变压器变体的61.41％。

State space models (SSMs) have demonstrated state-of-the-art sequence modeling performance in some modalities, but underperform attention in language modeling. Moreover, despite scaling nearly linearly in sequence length instead of quadratically, SSMs are still slower than Transformers due to poor hardware utilization. In this paper, we make progress on understanding the expressivity gap between SSMs and attention in language modeling, and on reducing the hardware barrier between SSMs and attention. First, we use synthetic language modeling tasks to understand the gap between SSMs and attention. We find that existing SSMs struggle with two capabilities: recalling earlier tokens in the sequence and comparing tokens across the sequence. To understand the impact on language modeling, we propose a new SSM layer, H3, that is explicitly designed for these abilities. H3 matches attention on the synthetic languages and comes within 0.4 PPL of Transformers on OpenWebText. Furthermore, a hybrid 125M-parameter H3-attention model that retains two attention layers surprisingly outperforms Transformers on OpenWebText by 1.0 PPL. Next, to improve the efficiency of training SSMs on modern hardware, we propose FlashConv. FlashConv uses a fused block FFT algorithm to improve efficiency on sequences up to 8K, and introduces a novel state passing algorithm that exploits the recurrent properties of SSMs to scale to longer sequences. FlashConv yields 2$\times$ speedup on the long-range arena benchmark and allows hybrid language models to generate text 1.6$\times$ faster than Transformers. Using FlashConv, we scale hybrid H3-attention language models up to 1.3B parameters on the Pile and find promising initial results, achieving lower perplexity than Transformers and outperforming Transformers in zero- and few-shot learning on a majority of tasks in the SuperGLUE benchmark.

最近引入的普通微分方程网络（ODE-网）在深度学习和动态系统之间建立了丰富的连接。在这项工作中，我们使用基础函数的线性组合重新考虑重量作为连续的函数，这使我们能够利用诸如功能投影的参数变换。反过来，这个视图允许我们制定处理有状态层的新型有状态ode-块。这个新的ode-块的好处是双重的：首先，它使得能够纳入有意义的连续深度批量归一代化层以实现最先进的性能;其次，它使得能够通过改变来压缩权重，而不会再培训，同时保持近最先进的性能并降低推理时间和存储器占用。使用卷积单元和（b）使用变压器编码器单元将（b）句子标记任务应用于（a）图像分类任务来证明性能。

Transformers achieve remarkable performance in several tasks but due to their quadratic complexity, with respect to the input's length, they are prohibitively slow for very long sequences. To address this limitation, we express the self-attention as a linear dot-product of kernel feature maps and make use of the associativity property of matrix products to reduce the complexity from O N 2 to O (N ), where N is the sequence length. We show that this formulation permits an iterative implementation that dramatically accelerates autoregressive transformers and reveals their relationship to recurrent neural networks. Our linear transformers achieve similar performance to vanilla transformers and they are up to 4000x faster on autoregressive prediction of very long sequences.

基于变压器的模型在多个领域和任务上显示了它们的有效性。自我注意力允许将所有序列元素的信息结合到上下文感知表示形式中。但是，全球和本地信息必须主要存储在相同的元素表示中。此外，输入序列的长度受到自我注意的二次计算复杂性的限制。在这项工作中，我们提出并研究了一个记忆启动的片段级循环变压器（复发记忆变压器）。内存允许借助复发的帮助存储和处理本地和全局信息，并可以在长序列的段之间传递信息。我们通过将特殊的内存令牌添加到输入或输出序列中，实现了一个内存机制，无需更改变压器模型。然后，对变压器进行了训练，以控制内存操作和序列表示处理。实验的结果表明，我们的模型与Transformer-XL在语言建模上的较小内存大小上的表现相同，并在需要更长序列处理的任务方面胜过它。我们证明，将内存令牌添加到TR-XL可以提高IT性能。这使得反复的内存变压器成为需要学习长期依赖性和内存处理中的通用性（例如算法任务和推理）的应用程序的有前途的体系结构。

复发性神经网络（RNN）的可伸缩性受到每个时间步骤计算对先前时间步长输出的顺序依赖性的阻碍。因此，加快和扩展RNN的一种方法是减少每个时间步长所需的计算，而不是模型大小和任务。在本文中，我们提出了一个模型，该模型将封闭式复发单元（GRU）作为基于事件的活动模型，我们称为基于事件的GRU（EGRU），其中仅在收到输入事件（事件 - 基于其他单位。当与一次活跃的单位仅一小部分（活动 - 帕斯斯）相结合时，该模型具有比当前RNN的计算更高效的潜力。值得注意的是，我们模型中的活动 - 表格性也转化为梯度下降期间稀疏参数更新，从而将此计算效率扩展到训练阶段。我们表明，与现实世界中最新的经常性网络模型相比，EGRU表现出竞争性能，包括语言建模，同时在推理和培训期间自然保持高活动稀疏性。这为下一代重复网络奠定了基础，这些网络可扩展，更适合新型神经形态硬件。

The prevalent approach to sequence to sequence learning maps an input sequence to a variable length output sequence via recurrent neural networks. We introduce an architecture based entirely on convolutional neural networks. 1 Compared to recurrent models, computations over all elements can be fully parallelized during training to better exploit the GPU hardware and optimization is easier since the number of non-linearities is fixed and independent of the input length. Our use of gated linear units eases gradient propagation and we equip each decoder layer with a separate attention module. We outperform the accuracy of the deep LSTM setup of Wu et al. (2016) on both WMT'14 English-German and WMT'14 English-French translation at an order of magnitude faster speed, both on GPU and CPU.

现实世界中的数据是高维的：即使在压缩后，书籍，图像或音乐表演也很容易包含数十万个元素。但是，最常用的自回归模型，变压器非常昂贵，以缩放捕获这种远程结构所需的输入和层数。我们开发了感知者AR，这是一种自回归的模态 - 不合骨架构，它使用交叉注意力将远程输入映射到少数潜在的潜在，同时还可以维护端到端的因果关系掩盖。感知器AR可以直接进行十万个令牌，从而实现了实用的长篇小写密度估计，而无需手工制作的稀疏模式或记忆机制。当对图像或音乐进行培训时，感知器AR会生成具有清晰长期连贯性和结构的输出。我们的架构还获得了长期基准测试的最新可能性，包括64 x 64个Imagenet图像和PG-19书籍。

在本文中，我们试图通过引入深度学习模型的句法归纳偏见来建立两所学校之间的联系。我们提出了两个归纳偏见的家族，一个家庭用于选区结构，另一个用于依赖性结构。选区归纳偏见鼓励深度学习模型使用不同的单位（或神经元）分别处理长期和短期信息。这种分离为深度学习模型提供了一种方法，可以从顺序输入中构建潜在的层次表示形式，即更高级别的表示由高级表示形式组成，并且可以分解为一系列低级表示。例如，在不了解地面实际结构的情况下，我们提出的模型学会通过根据其句法结构组成变量和运算符的表示来处理逻辑表达。另一方面，依赖归纳偏置鼓励模型在输入序列中找到实体之间的潜在关系。对于自然语言，潜在关系通常被建模为一个定向依赖图，其中一个单词恰好具有一个父节点和零或几个孩子的节点。将此约束应用于类似变压器的模型之后，我们发现该模型能够诱导接近人类专家注释的有向图，并且在不同任务上也优于标准变压器模型。我们认为，这些实验结果为深度学习模型的未来发展展示了一个有趣的选择。

The pre-dominant approach to language modeling to date is based on recurrent neural networks. Their success on this task is often linked to their ability to capture unbounded context. In this paper we develop a finite context approach through stacked convolutions, which can be more efficient since they allow parallelization over sequential tokens. We propose a novel simplified gating mechanism that outperforms Oord et al. (2016b) and investigate the impact of key architectural decisions. The proposed approach achieves state-of-the-art on the WikiText-103 benchmark, even though it features longterm dependencies, as well as competitive results on the Google Billion Words benchmark. Our model reduces the latency to score a sentence by an order of magnitude compared to a recurrent baseline. To our knowledge, this is the first time a non-recurrent approach is competitive with strong recurrent models on these large scale language tasks.

深度学习在广泛的AI应用方面取得了有希望的结果。较大的数据集和模型一致地产生更好的性能。但是，我们一般花费更长的培训时间，以更多的计算和沟通。在本调查中，我们的目标是在模型精度和模型效率方面提供关于大规模深度学习优化的清晰草图。我们调查最常用于优化的算法，详细阐述了大批量培训中出现的泛化差距的可辩论主题，并审查了解决通信开销并减少内存足迹的SOTA策略。