变压器已成为自然兰格格处理和视觉中许多任务的首选模型。在更有效地进行培训和部署变压器的最新努力已经确定了许多策略，以近似自我发挥作用矩阵，这是变压器体系结构中的关键模块。有效的想法包括各种预先指定的稀疏模式，低级基础扩展及其组合。在本文中，我们重新访问了小波等经典多分辨率分析（MRA）概念，在这种情况下，在这种情况下的潜在价值迄今仍未被逐渐解散。我们表明，基于现代硬件和实施挑战所告知的经验反馈和设计选择的简单近似值，最终在大多数感兴趣的标准中产生了基于MRA的自我注意力方法，具有出色的性能。我们进行了一系列广泛的实验，并证明该多分辨率方案的表现优于最有效的自我注意力建议，并且对短序列和长序列都有利。代码可在\ url {https://github.com/mlpen/mra-witchention}中获得。

基于变压器的模型广泛用于自然语言处理（NLP）。变压器模型的核心是自我关注机制，它捕获了输入序列中的令牌对的相互作用，并在序列长度上逐步取决于逐行。在更长的序列上培训此类模型是昂贵的。在本文中，我们表明，基于局部敏感散列（LSH）的伯努利采样注意机制降低了这种模型到线性的二次复杂性。我们通过考虑自我关注作为与Bernoulli随机变量相关的单独令牌的总和来绕过二次成本，原则上可以通过单个哈希进行一次（尽管在实践中，这个数字可能是一个小常数）。这导致了有效的采样方案来估算依赖于LSH的特定修改的自我关注（以便在GPU架构上进行部署）。我们在标准512序列长度上评估了胶水基准的算法，在那里我们看到了相对于标准预磨削变压器的良好性能。在远程竞技场（LRA）基准中，为了评估长序列的性能，我们的方法实现了与Softmax自我关注的结果一致，但具有相当大的加速和内存节省，并且通常优于其他有效的自我关注方法。我们的代码可以在https://github.com/mlpen/yoso获得

由于自我关注模块的二次空间和时间复杂性，基于变压器的模型在处理长序列中是不高的。为了解决此限制，建议通过分别通过低维投影和行选择来降低线性（模数对数因子）的二次复杂度。这两种型号本质上连接，并了解他们的连接，我们介绍了矩阵素描的理论框架。基于理论分析，我们提出了Skeinformer加速自我关注，进一步提高了三个精心设计的组件的自我关注的准确性：列采样，自适应行标准化和飞行员采样重新利用。关于长距离竞技场（LRA）基准的实验表明，我们的方法以始终如一的较小时间/空间占地面积优于替代方案。

过度分辨的神经网络概括井，但训练昂贵。理想情况下，人们希望减少其计算成本，同时保留其概括的益处。稀疏的模型培训是实现这一目标的简单和有希望的方法，但随着现有方法与准确性损失，慢速训练运行时的困难或困难，仍然存在挑战，仍然存在困难的挑战。核心问题是，在离散的一组稀疏矩阵上搜索稀疏性掩模是困难和昂贵的。为了解决此问题，我们的主要见解是通过具有称为蝴蝶矩阵产品的固定结构的固定结构来优化优化稀疏矩阵的连续超集。随着蝴蝶矩阵不是硬件效率，我们提出了简单的蝴蝶（块和平坦）的变体来利用现代硬件。我们的方法（像素化蝴蝶）使用基于扁平块蝴蝶和低秩矩阵的简单固定稀疏模式，以缩小大多数网络层（例如，注意，MLP）。我们经验验证了像素化蝴蝶比蝴蝶快3倍，加快培训，以实现有利的准确性效率权衡。在ImageNet分类和Wikitext-103语言建模任务中，我们的稀疏模型训练比致密的MLP - 混频器，视觉变压器和GPT-2媒体更快地训练高达2.5倍，没有精确下降。

We introduce Performers, Transformer architectures which can estimate regular (softmax) full-rank-attention Transformers with provable accuracy, but using only linear (as opposed to quadratic) space and time complexity, without relying on any priors such as sparsity or low-rankness. To approximate softmax attentionkernels, Performers use a novel Fast Attention Via positive Orthogonal Random features approach (FAVOR+), which may be of independent interest for scalable kernel methods. FAVOR+ can also be used to efficiently model kernelizable attention mechanisms beyond softmax. This representational power is crucial to accurately compare softmax with other kernels for the first time on large-scale tasks, beyond the reach of regular Transformers, and investigate optimal attention-kernels. Performers are linear architectures fully compatible with regular Transformers and with strong theoretical guarantees: unbiased or nearly-unbiased estimation of the attention matrix, uniform convergence and low estimation variance. We tested Performers on a rich set of tasks stretching from pixel-prediction through text models to protein sequence modeling. We demonstrate competitive results with other examined efficient sparse and dense attention methods, showcasing effectiveness of the novel attention-learning paradigm leveraged by Performers.

许多NLP任务需要处理超出预磨模模型的长度限制的长语境。为了将这些模型扩展到更长的文本序列，已经提出了许多有效的远程注意力变体。尽管沿着这个方向进行了丰富的研究，但仍然难以在实际用例中衡量这些模型的相对有效性，例如，如果我们在预先rain-yfetune范式之后应用这些模型。在这项工作中，我们的目标是对这些具有大规模和受控实验的这些新兴模型进行彻底的分析。对于每个关注变体，我们使用相同的长DOC语料库，然后使用相同的长DOC语料库，然后为现实世界的长情节任务进行芬特这些模型。我们的调查结果揭示了现有广泛使用的远程基准的陷阱，并显示任何经过测试的高效关注可以在标准预介质范式下击败一个简单的本地窗口关注。对本地注意力变化的进一步分析表明，即使是常用的注意力窗口重叠也没有必要实现良好的下游结果 - 使用不相交的本地关注，我们能够构建符合性能的更简单且更高效的Long-Doc QA模型霍尔福勒〜\ citep {longformer}其预先花费的一半。

最近，提出了随机特征专注（RFA），以通过线性化指数核来近似线性时间和空间复杂性的软磁性注意力。在本文中，我们首先提出了一种新颖的观点，以通过将RFA重新铸造为自称的重要性采样器来理解这种近似值的偏见。这种观点进一步阐明了整个软磁注意的\ emph {nobaled}估计量，称为随机注意（RA）。RA通过特定的分布构建积极的随机特征，并享有极大的改善近似保真度，尽管表现出二次复杂性。通过结合RA中的表现力和RFA的效率，我们开发了一种新型的线性复杂性自我发项机制，称为线性随机注意（LARA）。跨各个领域的广泛实验表明，RA和LARA可显着提高RFA的性能。

Low-rank matrix approximations, such as the truncated singular value decomposition and the rank-revealing QR decomposition, play a central role in data analysis and scientific computing. This work surveys and extends recent research which demonstrates that randomization offers a powerful tool for performing low-rank matrix approximation. These techniques exploit modern computational architectures more fully than classical methods and open the possibility of dealing with truly massive data sets.This paper presents a modular framework for constructing randomized algorithms that compute partial matrix decompositions. These methods use random sampling to identify a subspace that captures most of the action of a matrix. The input matrix is then compressed-either explicitly or implicitly-to this subspace, and the reduced matrix is manipulated deterministically to obtain the desired low-rank factorization. In many cases, this approach beats its classical competitors in terms of accuracy, speed, and robustness. These claims are supported by extensive numerical experiments and a detailed error analysis.The specific benefits of randomized techniques depend on the computational environment. Consider the model problem of finding the k dominant components of the singular value decomposition of an m × n matrix. (i) For a dense input matrix, randomized algorithms require O(mn log(k)) floating-point operations (flops) in contrast with O(mnk) for classical algorithms. (ii) For a sparse input matrix, the flop count matches classical Krylov subspace methods, but the randomized approach is more robust and can easily be reorganized to exploit multi-processor architectures. (iii) For a matrix that is too large to fit in fast memory, the randomized techniques require only a constant number of passes over the data, as opposed to O(k) passes for classical algorithms. In fact, it is sometimes possible to perform matrix approximation with a single pass over the data.

我们研究了自然语言处理中出现的近似对相似矩阵的算法。通常，计算$ N $数据点的相似性矩阵需要$ \ omega（n ^ 2）$相似计算。这种二次缩放是一个重要的瓶颈，尤其是当通过昂贵的功能计算相似性时，例如，通过变压器模型计算。近似方法通过使用恰好计算的相似性的小子集来减少这种二次复杂性，以近似于完整成对相似性矩阵的其余部分。大量工作侧重于正半纤维（PSD）相似矩阵的有效近似，其在内核方法中。然而，关于无限期（非PSD）相似性矩阵的较少被理解得更少，这通常在NLP中产生。通过观察到，许多这些矩阵仍然有点接近PSD，我们将流行的NYSTR \“{o} M方法介绍到无限制地的概述。我们的算法可以应用于任何相似性矩阵并在Sublinear时间运行在矩阵的大小中，使用仅$ O（ns）$相似性计算产生秩的等级$近似。我们表明我们的方法以及CR Cur分解的简单变体，在近似各种相似度方面表现得非常好在NLP任务中产生的矩阵。我们在文档分类，句子相似度和跨文档COREREFED的下游任务中展示了近似相似性矩阵的高精度。

神经网络的经典发展主要集中在有限维欧基德空间或有限组之间的学习映射。我们提出了神经网络的概括，以学习映射无限尺寸函数空间之间的运算符。我们通过一类线性积分运算符和非线性激活函数的组成制定运营商的近似，使得组合的操作员可以近似复杂的非线性运算符。我们证明了我们建筑的普遍近似定理。此外，我们介绍了四类运算符参数化：基于图形的运算符，低秩运算符，基于多极图形的运算符和傅里叶运算符，并描述了每个用于用每个计算的高效算法。所提出的神经运营商是决议不变的：它们在底层函数空间的不同离散化之间共享相同的网络参数，并且可以用于零击超分辨率。在数值上，与现有的基于机器学习的方法，达西流程和Navier-Stokes方程相比，所提出的模型显示出卓越的性能，而与传统的PDE求解器相比，与现有的基于机器学习的方法有关的基于机器学习的方法。

变压器在长序列上是缓慢的，渴望记忆力，因为自我注意的时间和记忆复杂性在序列上是二次的。近似关注方法试图通过交易模型质量以降低计算复杂性来解决此问题，但通常无法实现墙壁锁定的加速。我们认为，缺失的原则是提出注意力算法，以考虑读取和在GPU记忆层次之间写入。我们提出了FlashAttention，这是一种IO意识的精确注意算法，该算法使用平铺来减少GPU高带宽内存（HBM）和GPU芯片SRAM之间的内存读数/写入/写入。我们分析了闪存的IO复杂性，表明它所需的HBM访问少于标准注意力，并且对于一系列SRAM尺寸而言是最佳的。我们还扩展了闪光词，以引起障碍物的注意，从而产生了比任何现有的近似关注方法更快的近似关注算法。闪存火车的变压器​​比现有基准快：与MLPERF 1.1训练速度记录相比，Bert-Large（第512秒）的端到端壁式锁定加速度为15％，GPT-2上的3 $ \ times $ speedup（seq） 。闪存表现和块状闪光词可在变压器中实现更长的上下文，从而产生更高质量的模型（GPT-2上的0.7更好的困惑和长期分类的6.4点升力）和全新的功能：第一个实现优于更好的Chance的变压器PATH-X挑战（Seq。Length16K，61.4％精度）和PATH-256（Seq。Length64K，63.1％精度）上的性能。

Transformers-based models, such as BERT, have been one of the most successful deep learning models for NLP. Unfortunately, one of their core limitations is the quadratic dependency (mainly in terms of memory) on the sequence length due to their full attention mechanism. To remedy this, we propose, BIGBIRD, a sparse attention mechanism that reduces this quadratic dependency to linear. We show that BIGBIRD is a universal approximator of sequence functions and is Turing complete, thereby preserving these properties of the quadratic, full attention model. Along the way, our theoretical analysis reveals some of the benefits of having O(1) global tokens (such as CLS), that attend to the entire sequence as part of the sparse attention mechanism. The proposed sparse attention can handle sequences of length up to 8x of what was previously possible using similar hardware. As a consequence of the capability to handle longer context, BIGBIRD drastically improves performance on various NLP tasks such as question answering and summarization. We also propose novel applications to genomics data.

变压器注意机制的二次计算和内存复杂性限制了对长序列建模的可扩展性。在本文中，我们提出了Luna，一种线性统一嵌套关注机制，使Softmax注意力具有两个嵌套线性关注功能，仅产生线性（与二次）的时间和空间复杂度相反。具体地，通过第一注意功能，LUNA将输入序列包装成固定长度的序列。然后，使用第二关注功能未包装包装序列。与更传统的关注机制相比，LUNA引入具有固定长度的附加序列作为输入和额外的相应输出，允许LUNA线性地进行关注操作，同时还存储足够的上下文信息。我们对三个序列建模任务的基准进行了广泛的评估：长上下文序列建模，神经机平移和大型预磨损的屏蔽语言建模。竞争甚至更好的实验结果表明了Luna的有效性和效率与各种各样相比

This paper is about a curious phenomenon. Suppose we have a data matrix, which is the superposition of a low-rank component and a sparse component. Can we recover each component individually? We prove that under some suitable assumptions, it is possible to recover both the low-rank and the sparse components exactly by solving a very convenient convex program called Principal Component Pursuit; among all feasible decompositions, simply minimize a weighted combination of the nuclear norm and of the 1 norm. This suggests the possibility of a principled approach to robust principal component analysis since our methodology and results assert that one can recover the principal components of a data matrix even though a positive fraction of its entries are arbitrarily corrupted. This extends to the situation where a fraction of the entries are missing as well. We discuss an algorithm for solving this optimization problem, and present applications in the area of video surveillance, where our methodology allows for the detection of objects in a cluttered background, and in the area of face recognition, where it offers a principled way of removing shadows and specularities in images of faces.

序列建模的一个中心目标是设计一个单个原则模型，该模型可以解决各种方式和任务，尤其是在远程依赖方面的序列数据。尽管包括RNN，CNN和Transformers在内的传统模型具有用于捕获长期依赖性的专业变体，但它们仍然很难扩展到长时间的10000美元或更多步骤。通过模拟基本状态空间模型（SSM）\（x'（t）= ax（t）= ax（t） + bu（t），y（t）= cx（t） + du（t） + du（t）\ ), and showed that for appropriate choices of the state matrix \( A \), this system could handle long-range dependencies mathematically and empirically.但是，该方法具有过度的计算和内存需求，使其无法作为一般序列建模解决方案。我们根据SSM的新参数化提出了结构化状态空间序列模型（S4），并表明它可以比以前的方法更有效地计算出其理论强度。我们的技术涉及对\（a \）进行低级校正的调节，从而使其对角度稳定，并将SSM降低到库奇内核的精心研究的计算中。 S4在各种既定的基准测试范围内取得了强劲的经验结果，包括（i）在顺序CIFAR-10上的91 \％精度，没有数据增强或辅助损失，与较大的2-D Resnet相当，（ii）实质上关闭。在图像和语言建模任务上与变形金刚的差距，同时在远程竞技场基准的每个任务上执行每一代$ 60 \ times $ $（iii）sota，包括求解所有先前工作的挑战性path-x任务，而所有先前工作的长度为16K，同时与所有竞争对手一样高效。

在这项工作中，我们介绍了内核化变压器，这是一个通用，可扩展的，数据驱动的框架，用于学习变压器中的内核功能。我们的框架将变压器内核作为光谱特征图之间的点产物近似，并通过学习光谱分布来学习内核。这不仅有助于学习通用的内核端到端，而且还可以减少变压器从二次到线性的时间和空间复杂性。我们表明，在准确性和计算效率方面，内核化的变压器实现了与现有的有效变压器体系结构相当的性能。我们的研究还表明，内核的选择对性能有重大影响，而内核学习变体是固定内核变压器的竞争替代方案，无论是长时间的序列任务。

从有限的资源中获得最大收益可以进步自然语言处理（NLP）研究和实践，同时保守资源。这些资源可能是数据，时间，存储或能源。NLP的最新工作从缩放率产生了有趣的结果。但是，仅使用比例来改善结果意味着资源消耗也会扩展。这种关系激发了对有效方法的研究，这些方法需要更少的资源才能获得相似的结果。这项调查涉及NLP效率的方法和发现，旨在指导该领域的新研究人员并激发新方法的发展。

自我发挥作用机制通过在所有输入令牌之间使用成对的注意来对远程环境进行建模。在这样做时，他们假设由个体令牌（例如文本字符或图像像素）定义的固定注意粒度，这对于在较高级别上建模复杂依赖性可能不是最佳的。在本文中，我们提出了ContextPool，通过调整每个令牌的注意力粒度来解决此问题。受到与合并以捕获远程依赖关系的Convnets成功的启发，我们学会了为每个令牌汇总相邻功能，然后在给定的注意力层中计算注意力。合并的权重和支撑大小是自适应确定的，允许汇总功能以不同的规模编码有意义的上下文。我们表明，ContextPool使注意力模型更具表现力，经常以更少的层次实现强大的性能，从而大大降低了成本。实验验证我们的上下文池模块插入变压器模型时，使用几种语言和图像基准的计算较少计算，匹配或超越了最先进的性能，胜过最新的作品，这些作品具有学习的上下文大小或稀疏注意的模式，并且也适用为了进行有效的功能学习。

尽管基于变压器的方法已显着改善了长期序列预测的最新结果，但它们不仅在计算上昂贵，而且更重要的是，无法捕获全球时间序列的观点（例如，整体趋势）。为了解决这些问题，我们建议将变压器与季节性趋势分解方法相结合，在这种方法中，分解方法捕获了时间序列的全局概况，而变形金刚捕获了更详细的结构。为了进一步提高变压器的长期预测性能，我们利用了以下事实：大多数时间序列倾向于在诸如傅立叶变换之类的知名基础上具有稀疏的表示形式，并开发出频率增强的变压器。除了更有效外，所提出的方法被称为频率增强分解变压器（{\ bf fedFormer}），比标准变压器更有效，具有线性复杂性对序列长度。我们对六个基准数据集的实证研究表明，与最先进的方法相比，FedFormer可以将预测错误降低14.8 \％$ $和$ 22.6 \％\％\％\％$ $，分别为多变量和单变量时间序列。代码可在https://github.com/maziqing/fedformer上公开获取。

视觉变形金刚（VIT）通过贴片图像令牌化推动了各种视觉识别任务的最先进，然后是堆叠的自我注意操作。采用自我发场模块会导致计算和内存使用情况的二次复杂性。因此，已经在自然语言处理中进行了各种尝试以线性复杂性近似自我发挥计算的尝试。但是，这项工作的深入分析表明，它们在理论上是缺陷的，或者在经验上是无效的视觉识别。我们确定它们的局限性植根于在近似过程中保留软马克斯的自我注意力。具体而言，传统的自我注意力是通过使令状特征向量之间的缩放点产物标准化来计算的。保留SoftMax操作会挑战任何随后的线性化工作。在这个见解下，首次提出了无软磁变压器（缩写为软的变压器）。为了消除自我注意事项的软马克斯操作员，采用高斯内核函数来替代点产品相似性。这使完整的自发矩阵可以通过低级矩阵分解近似。我们近似的鲁棒性是通过使用牛顿 - 拉夫森方法来计算其摩尔 - 芬罗逆的。此外，在低级别的自我注意事项上引入了有效的对称归一化，以增强模型的推广性和可传递性。对Imagenet，Coco和ADE20K的广泛实验表明，我们的软可以显着提高现有VIT变体的计算效率。至关重要的是，具有线性复杂性，允许使用较长的令牌序列，从而使精度和复杂性之间的权衡较高。