在自动驾驶汽车和自动驾驶系统的视觉系统中，交通标志检测是至关重要的任务。最近，基于变压器的新型模型为各种计算机视觉任务取得了令人鼓舞的结果。我们仍然观察到，香草VIT无法在交通符号检测中产生令人满意的结果，因为数据集的整体大小非常小，交通标志的类分布非常不平衡。为了克服这个问题，本文提出了一种具有局部机制的新型金字塔变压器。具体而言，金字塔变压器具有几个空间金字塔还原层，可通过使用严重的卷积将输入图像缩小并嵌入具有丰富多尺度上下文的令牌中。此外，它继承了固有的量表不变性归纳偏差，并能够在各种尺度上学习对象的本地功能表示，从而增强了网络的鲁棒性，以与流量标志的大小差异。实验是在德国交通标志基准（GTSDB）上进行的。结果证明了交通符号检测任务中提出的模型的优势。更具体地说，当将金字塔变压器应用于级联RCNN中时，将金字塔变压器在GTSDB中获得75.6％的地图，并超过了最知名和广泛使用的SOTA。

由于它们使用自我关注机制建模的远程依赖性的强大能力，变压器在各种计算机视觉任务中表现出很大的潜力。然而，视觉变压器将图像视为1D视觉令牌的序列，缺乏本地视觉结构的内在电感偏差（IB），并处理比例方差。或者，它们需要大规模的培训数据和更长的培训计划来隐含地学习IB。在本文中，我们提出了一种新颖的视觉变压器，通过探索来自卷积的内在IB，即简化。从技术上讲，vitae有几个空间金字塔减少模块，通过使用具有不同扩张速率的多个卷积来将输入图像与丰富的多尺寸上下文嵌入到令牌中。以这种方式，它获取内在规模的不变性IB，并且能够在各种尺度处学习对象的强大特征表示。此外，在每个变压器层中，vitae具有与多头自我关注模块平行的卷积块，其特征融合并馈入前馈网络。因此，它具有内在的位置IB，并且能够协同学习本地特征和全局依赖关系。在想象中的实验以及下游任务证明了基础变压器和并发作品的知识的优越性。源代码和预用型号将在GitHub上获得。

vision变压器（VIT）最近在图像分类上实现了对卷积神经网络（CNNS）的可比结果的强大能力。然而，Vanilla Vit只是直接从自然语言处理继承相同的架构，这通常不会针对视觉应用进行优化。在这篇文章的推动中，我们提出了一种采用金字塔结构的新架构，并在视觉变压器中采用新的区域到局部关注，而不是全球自我关注。更具体地，我们的模型首先从具有不同补丁大小的图像生成区域令牌和本地标记，其中每个区域令牌与基于空间位置的一组本地代币相关联。区域到当地的注意力包括两个步骤：第一，区域自我关注提取所有区域代币之间的全球信息，然后通过自我关注将局部自我关注与相关的本地代币之间的信息交换。因此，尽管局部自我关注限制了当地区域的范围，但它仍然可以接收全球信息。在四个视觉任务中进行广泛的实验，包括图像分类，对象和关键点检测，语义分割和动作识别，表明我们的方法优于或与最先进的Vit变体（包括许多并发作品）的差异。我们的源代码和模型可在https://github.com/ibm/regionvit上使用。

视觉变压器由于能够捕获图像中的长期依赖性的能力而成功地应用于图像识别任务。但是，变压器与现有卷积神经网络（CNN）之间的性能和计算成本仍然存在差距。在本文中，我们旨在解决此问题，并开发一个网络，该网络不仅可以超越规范变压器，而且可以超越高性能卷积模型。我们通过利用变压器来捕获长期依赖性和CNN来建模本地特征，从而提出了一个新的基于变压器的混合网络。此外，我们将其扩展为获得一个称为CMT的模型家族，比以前的基于卷积和基于变压器的模型获得了更好的准确性和效率。特别是，我们的CMT-S在ImageNet上获得了83.5％的TOP-1精度，而在拖鞋上的拖曳率分别比现有的DEIT和EficitiveNet小14倍和2倍。拟议的CMT-S还可以很好地概括CIFAR10（99.2％），CIFAR100（91.7％），花（98.7％）以及其他具有挑战性的视觉数据集，例如可可（44.3％地图），计算成本较小。

变压器网络对计算机视觉任务取得了很大的进步。变压器 - 变压器（TNT）架构利用内部变压器和外部变压器提取本地和全局表示。在这项工作中，我们通过引入两个先进的设计：1）金字塔架构和2）卷积阀。通过建立分层表示，新的“金字塔”显着改善了原始TNT。Pyramidtnt比以前的最先进的视觉变压器（如Swin Transformer）实现更好的表演。我们希望这一新基线能够有助于视觉变压器的进一步研究和应用。代码将在https://github.com/huawei-noah/cv-backbones/tree/master/tnt_pytorch获得。

最近，Vision Transformer通过推动各种视觉任务的最新技术取得了巨大的成功。视觉变压器中最具挑战性的问题之一是，图像令牌的较大序列长度会导致高计算成本（二次复杂性）。解决此问题的一个流行解决方案是使用单个合并操作来减少序列长度。本文考虑如何改善现有的视觉变压器，在这种变压器中，单个合并操作提取的合并功能似乎不太强大。为此，我们注意到，由于其在上下文抽象中的强大能力，金字塔池在各种视觉任务中已被证明是有效的。但是，在骨干网络设计中尚未探索金字塔池。为了弥合这一差距，我们建议在视觉变压器中将金字塔池汇总到多头自我注意力（MHSA）中，同时降低了序列长度并捕获强大的上下文特征。我们插入了基于池的MHSA，我们构建了一个通用视觉变压器主链，称为金字塔池变压器（P2T）。广泛的实验表明，与先前的基于CNN-和基于变压器的网络相比，当将P2T用作骨干网络时，它在各种视觉任务中显示出很大的优势。该代码将在https://github.com/yuhuan-wu/p2t上发布。

由于缺乏电感偏见，视觉变压器（VIT）通常被认为比卷积神经网络（CNN）少。因此，最近的工作将卷积作为插件模块，并将其嵌入各种Vit对应物中。在本文中，我们认为卷积内核执行信息聚合以连接所有令牌。但是，如果这种明确的聚合能够以更均匀的方式起作用，则实际上是轻重量VIT的不必要的。受到这一点的启发，我们将Lightvit作为新的轻巧VIT家族，以在不卷积的情况下在纯变压器块上实现更好的准确性效率平衡。具体而言，我们将一个全球但有效的聚合方案引入了VIT的自我注意力和前馈网络（FFN），其中引入了其他可学习的令牌以捕获全球依赖性；在令牌嵌入上施加了双维通道和空间注意力。实验表明，我们的模型在图像分类，对象检测和语义分割任务上取得了重大改进。例如，我们的LightVit-T仅使用0.7G拖鞋的ImageNet上达到78.7％的精度，在GPU上的PVTV2-B0优于8.2％，而GPU的速度快11％。代码可在https://github.com/hunto/lightvit上找到。

先前的工作提出了几种策略，以降低自我发挥机制的计算成本。这些作品中的许多作品都考虑将自我关注程序分解为区域和局部特征提取程序，这些程序都会产生较小的计算复杂性。但是，区域信息通常仅以损失的不良信息为代价，原因是由于下采样而丢失。在本文中，我们提出了一种新颖的变压器体系结构，旨在减轻成本问题，称为双视觉变压器（双击）。新的体系结构结合了一个关键的语义途径，可以更有效地将代币向量压缩到具有降低的复杂性顺序的全球语义中。然后，这种压缩的全局语义是通过另一个构造的像素途径在学习更精细的像素级详细信息中作为有用的先前信息。然后将语义途径和像素途径集成在一起并进行联合训练，从而通过这两个途径并行传播增强的自我运动信息。此后，双攻击能够降低计算复杂性，而不会损害很大的准确性。我们从经验上证明，双重射击比SOTA变压器体系结构具有较高的训练复杂性。源代码可在\ url {https://github.com/yehli/imagenetmodel}中获得。

We present in this paper a new architecture, named Convolutional vision Transformer (CvT), that improves Vision Transformer (ViT) in performance and efficiency by introducing convolutions into ViT to yield the best of both designs. This is accomplished through two primary modifications: a hierarchy of Transformers containing a new convolutional token embedding, and a convolutional Transformer block leveraging a convolutional projection. These changes introduce desirable properties of convolutional neural networks (CNNs) to the ViT architecture (i.e. shift, scale, and distortion invariance) while maintaining the merits of Transformers (i.e. dynamic attention, global context, and better generalization). We validate CvT by conducting extensive experiments, showing that this approach achieves state-of-the-art performance over other Vision Transformers and ResNets on ImageNet-1k, with fewer parameters and lower FLOPs. In addition, performance gains are maintained when pretrained on larger datasets (e.g. ImageNet-22k) and fine-tuned to downstream tasks. Pretrained on ImageNet-22k, our CvT-W24 obtains a top-1 accuracy of 87.7% on the ImageNet-1k val set. Finally, our results show that the positional encoding, a crucial component in existing Vision Transformers, can be safely removed in our model, simplifying the design for higher resolution vision tasks. Code will be released at https: //github.com/leoxiaobin/CvT.

多尺度视觉变压器（VIT）已成为计算机视觉任务的强大骨干，而变压器量表中的自发计算则四处w.r.r.t.输入补丁编号。因此，现有的解决方案通常采用下采样操作（例如，平均合并）对密钥/值进行大幅降低计算成本。在这项工作中，我们认为，这种过度侵略性的下采样设计并不是可逆的，不可避免地会导致信息删除，尤其是对于物体中的高频组件（例如，纹理细节）。在小波理论的驱动下，我们构建了一种新的小波视觉变压器（\ textbf {Wave-vit}），该变压器以统一的方式通过小波变换和自我发挥学习来制定可逆的下采样。该提案可以通过对钥匙/价值观进行无损的下采样，从而实现自我发挥的学习，从而促进了追求更好的效率-VS-VS-Crifacy权衡。此外，逆小波变换被利用以通过扩大的接收场来汇总局部环境来增强自我注意力输出。我们通过广泛的实验比多个视觉任务（例如，图像识别，对象检测和实例分割）来验证波动的优势。它的性能超过了具有可比的拖鞋的最先进的VIT骨干。源代码可在\ url {https://github.com/yehli/imagenetmodel}中获得。

香草自我注意的机制固有地依赖于预定和坚定的计算维度。这种僵化的性限制了它具有面向上下文的概括，可以带来更多的上下文提示和全球表示。为了减轻此问题，我们提出了一种可扩展的自我注意（SSA）机制，该机制利用两个缩放因素来释放查询，键和价值矩阵的维度，同时使它们不符合输入。这种可伸缩性可获得面向上下文的概括并增强对象灵敏度，从而将整个网络推向准确性和成本之间的更有效的权衡状态。此外，我们提出了一个基于窗口的自我注意事项（IWSA），该自我注意力（IWSA）通过重新合并独立的值代币并从相邻窗口中汇总空间信息来建立非重叠区域之间的相互作用。通过交替堆叠SSA和IWSA，可扩展的视觉变压器（可伸缩率）在通用视觉任务中实现最先进的性能。例如，在Imagenet-1K分类中，可伸缩率S的表现优于双胞胎-SVT-S，而Swin-T则比1.4％。

ous vision tasks without convolutions, where it can be used as a direct replacement for CNN backbones. (3) We validate PVT through extensive experiments, showing that it boosts the performance of many downstream tasks, including object detection, instance and semantic segmentation. For example, with a comparable number of parameters, PVT+RetinaNet achieves 40.4 AP on the COCO dataset, surpassing ResNet50+RetinNet (36.3 AP) by 4.1 absolute AP (see Figure 2). We hope that PVT could serve as an alternative and useful backbone for pixel-level predictions and facilitate future research.

我们提出了全球环境视觉变压器（GC VIT），这是一种新的结构，可增强参数和计算利用率。我们的方法利用了与本地自我注意的联合的全球自我发项模块，以有效但有效地建模长和短距离的空间相互作用，而无需昂贵的操作，例如计算注意力面罩或移动本地窗户。此外，我们通过建议在我们的体系结构中使用修改后的融合倒置残差块来解决VIT中缺乏归纳偏差的问题。我们提出的GC VIT在图像分类，对象检测和语义分割任务中实现了最新的结果。在用于分类的ImagEnet-1k数据集上，基本，小而微小的GC VIT，$ 28 $ M，$ 51 $ M和$ 90 $ M参数实现$ \ textbf {83.2 \％} $，$ \ textbf {83.9 \％} $和$ \ textbf {84.4 \％} $ top-1的精度，超过了相当大的先前艺术，例如基于CNN的Convnext和基于VIT的Swin Transformer，其优势大大。在对象检测，实例分割和使用MS Coco和ADE20K数据集的下游任务中，预训练的GC VIT主机在对象检测，实例分割和语义分割的任务中始终如一地超过事务，有时是通过大余量。可在https://github.com/nvlabs/gcvit上获得代码。

近期视觉变压器〜（VIT）模型在各种计算机视觉任务中展示了令人鼓舞的结果，因为他们的竞争力通过自我关注建模图像补丁或令牌的长距离依赖性。然而，这些模型通常指定每层中每个令牌特征的类似场景。这种约束不可避免地限制了每个自我注意层在捕获多尺度特征中的能力，从而导致处理具有不同尺度的多个对象的图像的性能下降。为了解决这个问题，我们提出了一种新颖和通用的策略，称为分流的自我关注〜（SSA），它允许VITS为每个关注层的混合秤的关注进行模拟。 SSA的关键概念是将异构接收领域的尺寸注入令牌：在计算自我注意矩阵之前，它选择性地合并令牌以表示较大的对象特征，同时保持某些令牌以保持细粒度的特征。这种新颖的合并方案能够自我注意，以了解具有不同大小的对象之间的关系，并同时降低令牌数字和计算成本。各种任务的广泛实验表明了SSA的优越性。具体而言，基于SSA的变压器实现了84.0 \％的前1个精度，并且在ImageNet上占据了最先进的焦距变压器，只有一半的模型尺寸和计算成本，并且在Coco上超过了焦点变压器1.3映射2.9 MIOU在ADE20K上类似参数和计算成本。代码已在https://github.com/oliverrensu/shunted-transformer发布。

由于复杂的注意机制和模型设计，大多数现有的视觉变压器（VIT）无法在现实的工业部署方案中的卷积神经网络（CNN）高效，例如张力和coreml。这提出了一个独特的挑战：可以设计视觉神经网络以与CNN一样快地推断并表现强大吗？最近的作品试图设计CNN-Transformer混合体系结构来解决这个问题，但是这些作品的整体性能远非令人满意。为了结束这些结束，我们提出了下一代视觉变压器，以在现实的工业场景中有效部署，即下一步，从延迟/准确性权衡的角度来看，它在CNN和VIT上占主导地位。在这项工作中，下一个卷积块（NCB）和下一个变压器块（NTB）分别开发出用于使用部署友好机制捕获本地和全球信息。然后，下一个混合策略（NHS）旨在将NCB和NTB堆叠在有效的混合范式中，从而提高了各种下游任务中的性能。广泛的实验表明，在各种视觉任务方面的延迟/准确性权衡方面，下一个VIT明显优于现有的CNN，VIT和CNN转换混合体系结构。在Tensorrt上，在可可检测上，Next-Vit超过5.4 MAP（从40.4到45.8），在类似延迟下，ADE20K细分的8.2％MIOU（从38.8％到47.0％）。同时，它可以与CSWIN达到可比的性能，而推理速度则以3.6倍的速度加速。在COREML上，在类似的延迟下，在COCO检测上，下一步超过了可可检测的4.6 MAP（从42.6到47.2），ADE20K分割的3.5％MIOU（从45.2％到48.7％）。代码将最近发布。

Very recently, a variety of vision transformer architectures for dense prediction tasks have been proposed and they show that the design of spatial attention is critical to their success in these tasks. In this work, we revisit the design of the spatial attention and demonstrate that a carefully devised yet simple spatial attention mechanism performs favorably against the state-of-the-art schemes. As a result, we propose two vision transformer architectures, namely, Twins-PCPVT and Twins-SVT. Our proposed architectures are highly efficient and easy to implement, only involving matrix multiplications that are highly optimized in modern deep learning frameworks. More importantly, the proposed architectures achieve excellent performance on a wide range of visual tasks including image-level classification as well as dense detection and segmentation. The simplicity and strong performance suggest that our proposed architectures may serve as stronger backbones for many vision tasks. Our Code is available at: https://git.io/Twins.

最近，视觉变压器（VIT），具有自我关注（SA）作为事实上的成分，在计算机视觉社区中表现出很大的潜力。为了在效率和性能之间进行权衡，一组作品仅仅在本地补丁中执行SA操作，而全局上下文信息被放弃，这对于可视识别任务是不可或缺的。为了解决这个问题，随后的全球本地VITS在模型中以并行或替代方式将本地SA与全球范围内纳入本地SA。然而，令人遗憾地组合的局部和全局上下文可能存在各种视觉数据的冗余，并且每个层内的接收场是固定的。或者，更优雅的方式是全局和本地上下文可以自适应地贡献本身以适应不同的视觉数据。为实现这一目标，我们本文提出了一种新的Vit架构，称为NOMMER，可以动态提名视觉变压器中的协同全球本地背景。通过调查我们提出的NOMMER的工作模式，我们进一步探讨了哪些上下文信息。有益于这种“动态提名”机制，没有钟声和吹口哨，不仅可以在Imagenet上达到84.5％的前1个分类准确性，只有73米的参数，也显示了对致密预测任务的有希望的性能，即对象检测和语义分割。代码和模型将在〜\ url {https://github.com/nommer1125/nommer中公开可用。

人类视力能够从整个场景中捕获部分整个分层信息。本文介绍了Visual解析器（VIP），它明确地构造了与变压器的等层次结构。 VIP将视觉表示分为两个级别，零件级别和整个级别。每个部分的信息代表整个内部的几个独立向量的组合。为了模拟两个级别的表示，我们首先通过注意机制将整体信息从整体编码为部分向量，然后将零件向量内的全局信息解码回到整个表示中。通过使用所提出的编码器 - 解码器交互迭代地解析两个级别，模型可以逐渐改进两个级别上的特征。实验结果表明，VIP可以在三个主要任务中实现非常竞争的性能。分类，检测和实例分割。特别是，它可以通过对象检测的大边缘超越先前的最先进的CNN主干。 VIP系列的小型型号为7.2美元，参数为$ 7.2 \ times $ 10.9 \ times $更少的拖鞋可以与最大的resnext-101-64 $ \ times $ 4d的resne（x）t家族相对表现。可视化结果还表明，学习部分对预测类具有高度信息，使VIP比以前的基本架构更可说明。代码可在https://github.com/kevin-ssy/vip上获得。

视觉表示学习是解决各种视力问题的关键。依靠开创性的网格结构先验，卷积神经网络（CNN）已成为大多数深视觉模型的事实上的标准架构。例如，经典的语义分割方法通常采用带有编码器编码器体系结构的完全横向卷积网络（FCN）。编码器逐渐减少了空间分辨率，并通过更大的接受场来学习更多抽象的视觉概念。由于上下文建模对于分割至关重要，因此最新的努力一直集中在通过扩张（即极度）卷积或插入注意力模块来增加接受场。但是，基于FCN的体系结构保持不变。在本文中，我们旨在通过将视觉表示学习作为序列到序列预测任务来提供替代观点。具体而言，我们部署纯变压器以将图像编码为一系列贴片，而无需局部卷积和分辨率减少。通过在变压器的每一层中建立的全球环境，可以学习更强大的视觉表示形式，以更好地解决视力任务。特别是，我们的细分模型（称为分割变压器（SETR））在ADE20K上擅长（50.28％MIOU，这是提交当天测试排行榜中的第一个位置），Pascal环境（55.83％MIOU），并在CityScapes上达到竞争成果。此外，我们制定了一个分层局部全球（HLG）变压器的家族，其特征是窗户内的本地关注和跨窗户的全球性专注于层次结构和金字塔架构。广泛的实验表明，我们的方法在各种视觉识别任务（例如，图像分类，对象检测和实例分割和语义分割）上实现了吸引力的性能。

诸如对象检测和分割等密集的计算机视觉任务需要有效的多尺度特征表示，用于检测或分类具有不同大小的对象或区域。虽然卷积神经网络（CNNS）是这种任务的主导架构，但最近引入了视觉变压器（VITS）的目标是将它们替换为骨干。类似于CNN，VITS构建一个简单的多级结构（即，细致粗略），用于使用单尺度补丁进行多尺度表示。在这项工作中，通过从现有变压器的不同角度来看，我们探索了多尺度补丁嵌入和多路径结构，构建了多路径视觉变压器（MPVIT）。 MPVIT通过使用重叠的卷积贴片嵌入，将相同尺寸〜（即，序列长度，序列长度，序列长度的序列长度）嵌入不同尺度的斑块。然后，通过多个路径独立地将不同尺度的令牌独立地馈送到变压器编码器，并且可以聚合产生的特征，使得能够在相同特征级别的精细和粗糙的特征表示。由于多样化，多尺寸特征表示，我们的MPVits从微小〜（5m）缩放到基础〜（73米）一直在想象成分，对象检测，实例分段上的最先进的视觉变压器来实现卓越的性能，和语义细分。这些广泛的结果表明，MPVIT可以作为各种视觉任务的多功能骨干网。代码将在\ url {https://git.io/mpvit}上公开可用。