视觉变压器（VITS）已成为各种视觉任务的流行结构和优于卷积神经网络（CNNS）。然而，这种强大的变形金机带来了巨大的计算负担。而这背后的基本障碍是排气的令牌到令牌比较。为了缓解这一点，我们深入研究Vit的模型属性，观察到VITS表现出稀疏关注，具有高令牌相似性。这直观地向我们介绍了可行的结构不可知的尺寸，令牌编号，以降低计算成本。基于这一探索，我们为香草vits提出了一种通用的自我切片学习方法，即坐下。具体而言，我们首先设计一种新颖的令牌减肥模块（TSM），可以通过动态令牌聚集来提高VIT的推理效率。不同于令牌硬滴，我们的TSM轻轻地集成了冗余令牌变成了更少的信息，可以在不切断图像中的鉴别性令牌关系的情况下动态缩放视觉注意。此外，我们介绍了一种简洁的密集知识蒸馏（DKD）框架，其密集地以柔性自动编码器方式传送无组织的令牌信息。由于教师和学生之间的结构类似，我们的框架可以有效地利用结构知识以获得更好的收敛性。最后，我们进行了广泛的实验来评估我们的坐姿。它展示了我们的方法可以通过1.7倍加速VITS，其精度下降可忽略不计，甚至在3.6倍上加速VITS，同时保持其性能的97％。令人惊讶的是，通过简单地武装LV-VIT与我们的坐线，我们在想象中实现了新的最先进的表现，超过了最近文学中的所有CNN和VITS。

在本文中，我们通过利用视觉数据中的空间稀疏性提出了一种新的模型加速方法。我们观察到，视觉变压器中的最终预测仅基于最有用的令牌的子集，这足以使图像识别。基于此观察，我们提出了一个动态的令牌稀疏框架，以根据加速视觉变压器的输入逐渐和动态地修剪冗余令牌。具体而言，我们设计了一个轻量级预测模块，以估计给定当前功能的每个令牌的重要性得分。该模块被添加到不同的层中以层次修剪冗余令牌。尽管该框架的启发是我们观察到视觉变压器中稀疏注意力的启发，但我们发现自适应和不对称计算的想法可能是加速各种体系结构的一般解决方案。我们将我们的方法扩展到包括CNN和分层视觉变压器在内的层次模型，以及更复杂的密集预测任务，这些任务需要通过制定更通用的动态空间稀疏框架，并具有渐进性的稀疏性和非对称性计算，用于不同空间位置。通过将轻质快速路径应用于少量的特征，并使用更具表现力的慢速路径到更重要的位置，我们可以维护特征地图的结构，同时大大减少整体计算。广泛的实验证明了我们框架对各种现代体系结构和不同视觉识别任务的有效性。我们的结果清楚地表明，动态空间稀疏为模型加速提供了一个新的，更有效的维度。代码可从https://github.com/raoyongming/dynamicvit获得

Vision变形金刚（VITS）最近获得了爆炸性的人气，但巨额的计算成本仍然是一个严峻的问题。由于VIT的计算复杂性相对于输入序列长度是二次的，因此用于计算还原的主流范例是减少令牌的数量。现有设计包括结构化空间压缩，该压缩使用逐行缩小的金字塔来减少大型特征映射的计算，并且动态丢弃冗余令牌的非结构化令牌修剪。然而，现有令牌修剪的限制在两倍以下：1）由修剪引起的不完全空间结构与现代深窄变压器通常使用的结构化空间压缩不兼容; 2）通常需要耗时的预训练程序。为了解决局限性并扩大令牌修剪的适用场景，我们提出了Evo-Vit，一种自动激励的慢速令牌演化方法，用于视觉变压器。具体而言，我们通过利用原产于视觉变压器的简单有效的全球课程关注来进行非结构化的案例 - 明智的选择。然后，我们建议使用不同的计算路径更新所选的信息令牌和未表征性令牌，即慢速更新。由于快速更新机制保持空间结构和信息流，因此Evo-Vit可以从训练过程的开始，从训练过程的开始，加速平坦和深窄的结构的Vanilla变压器。实验结果表明，我们的方法显着降低了视觉变压器的计算成本，同时在图像分类上保持了可比性。

Vision Transformer已成为计算机视觉中的新范式，表现出出色的性能，同时还具有昂贵的计算成本。图像令牌修剪是VIT压缩的主要方法之一，这是因为相对于令牌数的复杂性是二次的，而许多仅包含背景区域的令牌并不能真正促进最终预测。现有作品要么依赖其他模块来评分单个令牌的重要性，要么为不同的输入实例实施固定比率修剪策略。在这项工作中，我们提出了一个自适应的稀疏令牌修剪框架，成本最低。我们的方法是基于可学习的阈值，并利用多头自我注意力来评估令牌信息，但几乎没有其他操作。具体而言，我们首先提出了廉价的注意力重点加权阶级注意力评分机制。然后，将可学习的参数插入VIT作为阈值，以区分信息令牌和不重要的令牌。通过比较令牌注意分数和阈值，我们可以从层次上丢弃无用的令牌，从而加速推理。可学习的阈值在预算感知培训中进行了优化，以平衡准确性和复杂性，并为不同的输入实例执行相应的修剪配置。广泛的实验证明了我们方法的有效性。例如，我们的方法将DEIT-S的吞吐量提高了50％，并且TOP-1的准确性仅下降了0.2％，这比以前的方法在准确性和延迟之间取得了更好的权衡。

我们在视觉变压器上呈现整洁但有效的递归操作，可以提高参数利用而不涉及额外参数。这是通过在变压器网络的深度分享权重来实现的。所提出的方法可以只使用NA \“IVE递归操作来获得大量增益（〜2％），不需要对设计网络原理的特殊或复杂的知识，并引入训练程序的最小计算开销。减少额外的计算通过递归操作，同时保持卓越的准确性，我们通过递归层的多个切片组自行引入近似方法，这可以通过最小的性能损失将成本消耗降低10〜30％。我们称我们的模型切片递归变压器（SRET） ，这与高效视觉变压器的广泛的其他设计兼容。我们最好的模型在含有较少参数的同时，在最先进的方法中对Imagenet建立了重大改进。建议的切片递归操作使我们能够建立一个变压器超过100甚至1000层，仍然仍然小尺寸（13〜15米），以避免困难当模型尺寸太大时，IES在优化中。灵活的可扩展性显示出缩放和构建极深和大维视觉变压器的巨大潜力。我们的代码和模型可在https://github.com/szq0214/sret中找到。

最近，视觉变压器（VIT）及其变体在各种计算机视觉任务中取得了有希望的表现。然而，VITS的高计算成本和培训数据要求将其应用程序限制在资源受限设置中。模型压缩是加快深度学习模型的有效方法，但压缩VITS的研究已经不太探索。许多以前的作品集中在减少令牌的数量。然而，这种攻击行会破坏VIT的空间结构，并且难以推广到下游任务中。在本文中，我们设计了统一的框架，用于对VITS及其变体的结构修剪，即升级Vits。我们的方法侧重于修剪所有VITS组件，同时保持模型结构的一致性。丰富的实验结果表明，我们的方法可以在压缩VITS和变体上实现高精度，例如，UP-DEIT-T在Imagenet上实现了75.79％的精度，这与Vanilla Deit-T以相同的计算成本优于3.59％。 UP-PVTV2-B0提高了PVTV2-B0的精度4.83％，以进行想象成分类。同时，上升VITS维护令牌表示的一致性，并在对象检测任务上提高一致的改进。

Recently, neural networks purely based on attention were shown to address image understanding tasks such as image classification. These highperforming vision transformers are pre-trained with hundreds of millions of images using a large infrastructure, thereby limiting their adoption.In this work, we produce competitive convolution-free transformers by training on Imagenet only. We train them on a single computer in less than 3 days. Our reference vision transformer (86M parameters) achieves top-1 accuracy of 83.1% (single-crop) on ImageNet with no external data.More importantly, we introduce a teacher-student strategy specific to transformers. It relies on a distillation token ensuring that the student learns from the teacher through attention. We show the interest of this token-based distillation, especially when using a convnet as a teacher. This leads us to report results competitive with convnets for both Imagenet (where we obtain up to 85.2% accuracy) and when transferring to other tasks. We share our code and models.

Vision Transformer（VIT）最近由于其出色的模型功能而引起了计算机视觉的极大关注。但是，大多数流行的VIT模型都有大量参数，从而限制了其在资源有限的设备上的适用性。为了减轻这个问题，我们提出了Tinyvit，这是一个新的小型，有效的小型视觉变压器，并通过我们提议的快速蒸馏框架在大型数据集上预处理。核心思想是将知识从大型模型转移到小型模型，同时使小型模型能够获得大量预处理数据的股息。更具体地说，我们在预训练期间应用蒸馏进行知识转移。大型教师模型的徽标被稀疏并提前存储在磁盘中，以节省内存成本和计算开销。微小的学生变形金刚自动从具有计算和参数约束的大型审计模型中缩小。全面的实验证明了TinyVit的功效。它仅具有21m参数的Imagenet-1k上的前1个精度为84.8％，与在Imagenet-21K上预读的SWIN-B相当，而使用较少的参数则使用了4.2倍。此外，增加图像分辨率，TinyVit可以达到86.5％的精度，仅使用11％参数，比SWIN-L略好。最后但并非最不重要的一点是，我们在各种下游任务上展示了TinyVit的良好转移能力。代码和型号可在https://github.com/microsoft/cream/tree/main/tinyvit上找到。

Recently, neural networks purely based on attention were shown to address image understanding tasks such as image classification. These highperforming vision transformers are pre-trained with hundreds of millions of images using a large infrastructure, thereby limiting their adoption.In this work, we produce competitive convolutionfree transformers trained on ImageNet only using a single computer in less than 3 days. Our reference vision transformer (86M parameters) achieves top-1 accuracy of 83.1% (single-crop) on ImageNet with no external data.We also introduce a teacher-student strategy specific to transformers. It relies on a distillation token ensuring that the student learns from the teacher through attention, typically from a convnet teacher. The learned transformers are competitive (85.2% top-1 acc.) with the state of the art on ImageNet, and similarly when transferred to other tasks. We will share our code and models.

视觉变换器将每个图像分成具有固定长度的令牌序列，并以与自然语言处理中的单词相同的方式处理令牌。更多令牌通​​常会导致更好的性能，但计算成本显着增加。通过谚语“一张图片胜过千言万语”，我们的目标是通过制造长图像短而加速VIT模型。为此，我们提出了一种新颖的方法在推论期间自适应地分配令牌长度。具体而言，我们首先培养一种含有可调整化 - vit（Revit）的Vit模型，可以处理任何具有不同令牌长度的给定输入。然后，我们从Revit检索“令牌长度标签”，并使用它培训轻量级令牌长度分配（TLA）。令牌长度标签是最小的令牌，以分割Revit可以使REVIT可以进行正确的预测，并且学习TLA以基于这些标签分配最佳令牌长度。 TLA使REVIT能够在推理期间使用最小足够数量的令牌处理图像。因此，通过减少VIT模型中的令牌数字来提高推广速度。我们的方法是一般的，与现代视觉变压器架构兼容，可以显着减少计算扩展。我们在两个任务中验证了我们对多个代表性VIT模型（DEIT，LV-VIT和TIMESFRER）的效果（图像分类和动作识别）。

最近，视觉变压器（VIT）在计算机视野中连续建立了新的里程碑，而高计算和内存成本使其在工业生产中的传播困难。修剪是一种用于硬件效率的传统模型压缩范例，已广泛应用于各种DNN结构。尽管如此，它含糊不清，如何在vit结构上进行独家修剪。考虑三个关键点：结构特征，VITS的内部数据模式和相关边缘设备部署，我们利用输入令牌稀疏性并提出了一种计算感知软修剪框架，可以在扁平的vanilla变压器上设置。和CNN型结构，例如基于池的Vit（坑）。更具体地说，我们设计了一种基于动态关注的多头令牌选择器，它是一个轻量级模块，用于自适应实例 - 明智令牌选择。我们进一步引入了一种软修剪技术，它将选择器模块生成的较少的信息令牌集成到将参与后续计算的包令牌，而不是完全丢弃。我们的框架通过我们所提出的计算感知培训策略，我们通过特定边缘设备的准确性和计算限制之间的权衡。实验结果表明，我们的框架显着降低了VIT的计算成本，同时在图像分类上保持了可比性。此外，我们的框架可以保证所识别的模型，以满足移动设备和FPGA的资源规范，甚至在移动平台上实现DEIT-T的实时执行。例如，我们的方法在移动设备上减少了DEIT-T至26毫秒的延迟（26％$ \ SIM 41％的41％），在移动设备上，在0.25％$ \ sim $ 4％的ImageNet上的前1个精度高出4％。我们的代码即将发布。

虽然最先进的视觉变压器模型实现了图像分类的有希望的结果，但它们是非常昂贵的并且需要许多GFLOPS。尽管可以通过减少网络中的令牌数量来降低视觉变压器的GFLOPS，但是没有对所有输入图像的最佳设置。因此，在这项工作中，我们引入了可分辨率的无参数自适应令牌采样（ATS）模块，可以插入任何现有的视觉变压器架构。通过评分和自适应采样重要令牌，在视觉变压器上实现视觉变压器。结果，令牌的数量不再静态，但是每个输入图像都变化。通过将ATS集成为当前变压器块内的附加层，我们可以将它们转换为具有自适应令牌的更高效的视觉变压器。由于ATS是一种无参数模块，因此它可以作为即插即用模块添加到从货架上的预制视觉变压器中，从而在没有任何额外训练的情况下减少他们的GFLOP。但是，由于其可分辨动的设计，人们还可以培训配有ATS的视觉变压器。通过将其添加到多个最先进的视觉变压器，我们在想象成数据集上进行评估。我们的评估表明，通过将计算成本（GFLOPS）降低37％，在保留准确性时，该模块通过降低了37％，提高了最先进的模块。

探讨了语言建模流行的变形金刚，用于近期解决视觉任务，例如，用于图像分类的视觉变压器（VIT）。 VIT模型将每个图像分成具有固定长度的令牌序列，然后应用多个变压器层以模拟它们的全局关系以进行分类。然而，当从像想象中的中型数据集上从头开始训练时，VIT对CNNS达到较差的性能。我们发现它是因为：1）输入图像的简单标记未能模拟相邻像素之间的重要局部结构，例如边缘和线路，导致训练采样效率低。 2）冗余注意骨干骨干设计对固定计算预算和有限的训练样本有限的具有限制性。为了克服这些限制，我们提出了一种新的令牌到令牌视觉变压器（T2T-VIT），它包含1）层 - 明智的代币（T2T）转换，通过递归聚合相邻来逐步地结构于令牌到令牌。代币进入一个令牌（令牌到令牌），这样可以建模由周围令牌所代表的本地结构，并且可以减少令牌长度; 2）一种高效的骨干，具有深度狭窄的结构，用于在实证研究后CNN建筑设计的激励变压器结构。值得注意的是，T2T-VIT将Vanilla Vit的参数计数和Mac减少了一半，同时从想象中从头开始训练时，改善了超过3.0 \％。它还优于Endnets并通过直接培训Imagenet训练来实现与MobileNets相当的性能。例如，T2T-VTO与Reset50（21.5M参数）的可比大小（21.5M参数）可以在图像分辨率384 $ \ Times 384上实现83.3 \％TOP1精度。 （代码：https://github.com/yitu-opensource/t2t-vit）

视觉变压器由于能够捕获图像中的长期依赖性的能力而成功地应用于图像识别任务。但是，变压器与现有卷积神经网络（CNN）之间的性能和计算成本仍然存在差距。在本文中，我们旨在解决此问题，并开发一个网络，该网络不仅可以超越规范变压器，而且可以超越高性能卷积模型。我们通过利用变压器来捕获长期依赖性和CNN来建模本地特征，从而提出了一个新的基于变压器的混合网络。此外，我们将其扩展为获得一个称为CMT的模型家族，比以前的基于卷积和基于变压器的模型获得了更好的准确性和效率。特别是，我们的CMT-S在ImageNet上获得了83.5％的TOP-1精度，而在拖鞋上的拖曳率分别比现有的DEIT和EficitiveNet小14倍和2倍。拟议的CMT-S还可以很好地概括CIFAR10（99.2％），CIFAR100（91.7％），花（98.7％）以及其他具有挑战性的视觉数据集，例如可可（44.3％地图），计算成本较小。

Vision Transformers have shown great promise recently for many vision tasks due to the insightful architecture design and attention mechanism. By revisiting the self-attention responses in Transformers, we empirically observe two interesting issues. First, Vision Transformers present a queryirrelevant behavior at deep layers, where the attention maps exhibit nearly consistent contexts in global scope, regardless of the query patch position (also head-irrelevant). Second, the attention maps are intrinsically sparse, few tokens dominate the attention weights; introducing the knowledge from ConvNets would largely smooth the attention and enhance the performance. Motivated by above observations, we generalize self-attention formulation to abstract a queryirrelevant global context directly and further integrate the global context into convolutions. The resulting model, a Fully Convolutional Vision Transformer (i.e., FCViT), purely consists of convolutional layers and firmly inherits the merits of both attention mechanism and convolutions, including dynamic property, weight sharing, and short- and long-range feature modeling, etc. Experimental results demonstrate the effectiveness of FCViT. With less than 14M parameters, our FCViT-S12 outperforms related work ResT-Lite by 3.7% top1 accuracy on ImageNet-1K. When scaling FCViT to larger models, we still perform better than previous state-of-the-art ConvNeXt with even fewer parameters. FCViT-based models also demonstrate promising transferability to downstream tasks, like object detection, instance segmentation, and semantic segmentation. Codes and models are made available at: https://github.com/ma-xu/FCViT.

视觉变压器（VIT）的最新进展在视觉识别任务中取得了出色的表现。卷积神经网络（CNNS）利用空间电感偏见来学习视觉表示，但是这些网络在空间上是局部的。 VIT可以通过其自我注意力机制学习全球表示形式，但它们通常是重量重量，不适合移动设备。在本文中，我们提出了交叉功能关注（XFA），以降低变压器的计算成本，并结合有效的移动CNN，形成一种新型有效的轻质CNN-CNN-VIT混合模型Xformer，可以用作通用的骨干链。学习全球和本地代表。实验结果表明，Xformer在不同的任务和数据集上的表现优于大量CNN和基于VIT的模型。在ImagEnet1k数据集上，XFormer以550万参数的优先级达到78.5％的TOP-1精度，比EdgitionNet-B0（基于CNN）（基于CNN）和DEIT（基于VIT）（基于VIT）的参数高2.2％和6.3％。当转移到对象检测和语义分割任务时，我们的模型也表现良好。在MS Coco数据集上，Xformer在Yolov3框架中仅超过10.5 AP（22.7-> 33.2 AP），只有630万参数和3.8克Flops。在CityScapes数据集上，只有一个简单的全MLP解码器，Xformer可实现78.5的MIOU，而FPS为15.3，超过了最先进的轻量级分割网络。

Masked image modeling (MIM) performs strongly in pre-training large vision Transformers (ViTs). However, small models that are critical for real-world applications cannot or only marginally benefit from this pre-training approach. In this paper, we explore distillation techniques to transfer the success of large MIM-based pre-trained models to smaller ones. We systematically study different options in the distillation framework, including distilling targets, losses, input, network regularization, sequential distillation, etc, revealing that: 1) Distilling token relations is more effective than CLS token- and feature-based distillation; 2) An intermediate layer of the teacher network as target perform better than that using the last layer when the depth of the student mismatches that of the teacher; 3) Weak regularization is preferred; etc. With these findings, we achieve significant fine-tuning accuracy improvements over the scratch MIM pre-training on ImageNet-1K classification, using all the ViT-Tiny, ViT-Small, and ViT-base models, with +4.2%/+2.4%/+1.4% gains, respectively. Our TinyMIM model of base size achieves 52.2 mIoU in AE20K semantic segmentation, which is +4.1 higher than the MAE baseline. Our TinyMIM model of tiny size achieves 79.6% top-1 accuracy on ImageNet-1K image classification, which sets a new record for small vision models of the same size and computation budget. This strong performance suggests an alternative way for developing small vision Transformer models, that is, by exploring better training methods rather than introducing inductive biases into architectures as in most previous works. Code is available at https://github.com/OliverRensu/TinyMIM.

Vision Transformer (ViT) extends the application range of transformers from language processing to computer vision tasks as being an alternative architecture against the existing convolutional neural networks (CNN). Since the transformer-based architecture has been innovative for computer vision modeling, the design convention towards an effective architecture has been less studied yet. From the successful design principles of CNN, we investigate the role of spatial dimension conversion and its effectiveness on transformer-based architecture. We particularly attend to the dimension reduction principle of CNNs; as the depth increases, a conventional CNN increases channel dimension and decreases spatial dimensions. We empirically show that such a spatial dimension reduction is beneficial to a transformer architecture as well, and propose a novel Pooling-based Vision Transformer (PiT) upon the original ViT model. We show that PiT achieves the improved model capability and generalization performance against ViT. Throughout the extensive experiments, we further show PiT outperforms the baseline on several tasks such as image classification, object detection, and robustness evaluation. Source codes and ImageNet models are available at https://github.com/naver-ai/pit.

大型预训练的变压器是现代语义分割基准的顶部，但具有高计算成本和冗长的培训。为了提高这种约束，我们从综合知识蒸馏的角度来研究有效的语义分割，并考虑弥合多源知识提取和特定于变压器特定的斑块嵌入之间的差距。我们提出了基于变压器的知识蒸馏（TransKD）框架，该框架通过蒸馏出大型教师变压器的特征地图和补丁嵌入来学习紧凑的学生变形金刚，绕过长期的预训练过程并将FLOPS降低> 85.0％。具体而言，我们提出了两个基本和两个优化模块：（1）交叉选择性融合（CSF）可以通过通道注意和层次变压器内的特征图蒸馏之间的知识转移； （2）嵌入对齐（PEA）在斑块过程中执行尺寸转换，以促进贴片嵌入蒸馏； （3）全局本地上下文混合器（GL-MIXER）提取了代表性嵌入的全局和局部信息； （4）嵌入助手（EA）是一种嵌入方法，可以无缝地桥接老师和学生模型，并具有老师的渠道数量。关于CityScapes，ACDC和NYUV2数据集的实验表明，TransKD的表现优于最先进的蒸馏框架，并竞争了耗时的预训练方法。代码可在https://github.com/ruipingl/transkd上找到。

We present in this paper a new architecture, named Convolutional vision Transformer (CvT), that improves Vision Transformer (ViT) in performance and efficiency by introducing convolutions into ViT to yield the best of both designs. This is accomplished through two primary modifications: a hierarchy of Transformers containing a new convolutional token embedding, and a convolutional Transformer block leveraging a convolutional projection. These changes introduce desirable properties of convolutional neural networks (CNNs) to the ViT architecture (i.e. shift, scale, and distortion invariance) while maintaining the merits of Transformers (i.e. dynamic attention, global context, and better generalization). We validate CvT by conducting extensive experiments, showing that this approach achieves state-of-the-art performance over other Vision Transformers and ResNets on ImageNet-1k, with fewer parameters and lower FLOPs. In addition, performance gains are maintained when pretrained on larger datasets (e.g. ImageNet-22k) and fine-tuned to downstream tasks. Pretrained on ImageNet-22k, our CvT-W24 obtains a top-1 accuracy of 87.7% on the ImageNet-1k val set. Finally, our results show that the positional encoding, a crucial component in existing Vision Transformers, can be safely removed in our model, simplifying the design for higher resolution vision tasks. Code will be released at https: //github.com/leoxiaobin/CvT.