在计算机视觉模型中自我关注已经普遍存在。灵感来自完全连接的条件随机字段（CRF），我们将自我关注分解为本地和上下文条款。它们对应于CRF中的一元和二进制术语，并通过带投影矩阵的注意机制来实现。我们观察到，即机构只能对产出作出小贡献，而且同时依赖于机智术语的标准CNNS在各种任务上实现了良好的表现。因此，我们提出了局部增强的自我关注（LESA），通过将其与卷曲掺入卷积来增强联合术语，并利用融合模块动态地耦合偶联和二进制操作。在我们的实验中，我们用Lesa取代自我关注模块。 Imagenet和Coco的结果显示了Lesa在卷积和自我关注基线的优越性，用于图像识别，对象检测和实例分割的任务。代码公开可用。

尽管视觉变压器模型的令人印象深刻的表示能力，但目前的轻型视觉变压器模型仍然遭受当地地区的不一致和不正确的预测。我们怀疑他们的自我关注机制的力量在较浅和较薄的网络中受到限制。我们提出Lite Vision变压器（LVT），一种新型轻型变压器网络，具有两个增强的自我关注机制，可以改善移动部署的模型性能。对于低级功能，我们介绍了卷积自我关注（CSA）。与以前的合并卷积和自我关注的方法不同，CSA将局部自我关注引入到大小3x3内核内的卷积中，以丰富LVT第一阶段的低级功能。对于高级功能，我们提出了在计算相似性图和递归机制时利用多尺度上下文的递归的自我关注，以增加具有边际额外参数成本的表示能力。 Imagenet识别，ADE20K语义分割和CoCo Panoptic分割对LVT的优越性。代码公开可用。

建模长期依赖关系对于理解计算机视觉中的任务至关重要。尽管卷积神经网络（CNN）在许多视觉任务中都表现出色，但由于它们通常由当地核层组成，因此它们仍然限制捕获长期结构化关系。但是，完全连接的图（例如变形金刚中的自我发项操作）对这种建模是有益的，但是，其计算开销非常有用。在本文中，我们提出了一个动态图形消息传递网络，与建模完全连接的图形相比，该网络大大降低了计算复杂性。这是通过在图表中自适应采样节点（以输入为条件）来实现的，以传递消息传递。基于采样节点，我们动态预测节点依赖性滤波器权重和亲和力矩阵，以在它们之间传播信息。这种公式使我们能够设计一个自我发挥的模块，更重要的是，我们将基于变压器的新骨干网络用于图像分类预处理，并用于解决各种下游任务（对象检测，实例和语义细分）。使用此模型，我们在四个不同任务上的强，最先进的基线方面显示出显着改进。我们的方法还优于完全连接的图形，同时使用较少的浮点操作和参数。代码和型号将在https://github.com/fudan-zvg/dgmn2上公开提供。

本文解决了由多头自我注意力（MHSA）中高计算/空间复杂性引起的视觉变压器的低效率缺陷。为此，我们提出了层次MHSA（H-MHSA），其表示以层次方式计算。具体而言，我们首先将输入图像分为通常完成的补丁，每个补丁都被视为令牌。然后，拟议的H-MHSA学习本地贴片中的令牌关系，作为局部关系建模。然后，将小贴片合并为较大的贴片，H-MHSA对少量合并令牌的全局依赖性建模。最后，汇总了本地和全球专注的功能，以获得具有强大表示能力的功能。由于我们仅在每个步骤中计算有限数量的令牌的注意力，因此大大减少了计算负载。因此，H-MHSA可以在不牺牲细粒度信息的情况下有效地模拟令牌之间的全局关系。使用H-MHSA模块合并，我们建立了一个基于层次的变压器网络的家族，即HAT-NET。为了证明在场景理解中HAT-NET的优越性，我们就基本视觉任务进行了广泛的实验，包括图像分类，语义分割，对象检测和实例细分。因此，HAT-NET为视觉变压器提供了新的视角。可以在https://github.com/yun-liu/hat-net上获得代码和预估计的模型。

ous vision tasks without convolutions, where it can be used as a direct replacement for CNN backbones. (3) We validate PVT through extensive experiments, showing that it boosts the performance of many downstream tasks, including object detection, instance and semantic segmentation. For example, with a comparable number of parameters, PVT+RetinaNet achieves 40.4 AP on the COCO dataset, surpassing ResNet50+RetinNet (36.3 AP) by 4.1 absolute AP (see Figure 2). We hope that PVT could serve as an alternative and useful backbone for pixel-level predictions and facilitate future research.

We present BoTNet, a conceptually simple yet powerful backbone architecture that incorporates self-attention for multiple computer vision tasks including image classification, object detection and instance segmentation. By just replacing the spatial convolutions with global self-attention in the final three bottleneck blocks of a ResNet and no other changes, our approach improves upon the baselines significantly on instance segmentation and object detection while also reducing the parameters, with minimal overhead in latency. Through the design of BoTNet, we also point out how ResNet bottleneck blocks with self-attention can be viewed as Transformer blocks. Without any bells and whistles, BoTNet achieves 44.4% Mask AP and 49.7% Box AP on the COCO Instance Segmentation benchmark using the Mask R-CNN framework; surpassing the previous best published single model and single scale results of ResNeSt [67] evaluated on the COCO validation set. Finally, we present a simple adaptation of the BoTNet design for image classification, resulting in models that achieve a strong performance of 84.7% top-1 accuracy on the ImageNet benchmark while being up to 1.64x faster in "compute" 1 time than the popular EfficientNet models on TPU-v3 hardware. We hope our simple and effective approach will serve as a strong baseline for future research in self-attention models for vision.

视觉变压器的最新进展在基于点产生自我注意的新空间建模机制驱动的各种任务中取得了巨大成功。在本文中，我们表明，视觉变压器背后的关键要素，即输入自适应，远程和高阶空间相互作用，也可以通过基于卷积的框架有效地实现。我们介绍了递归封闭式卷积（$ \ textit {g}^\ textit {n} $ conv），该卷积{n} $ conv）与封闭的卷积和递归设计执行高阶空间交互。新操作是高度灵活和可定制的，它与卷积的各种变体兼容，并将自我注意的两阶相互作用扩展到任意订单，而无需引入大量额外的计算。 $ \ textit {g}^\ textit {n} $ conv可以用作插件模块，以改善各种视觉变压器和基于卷积的模型。根据该操作，我们构建了一个名为Hornet的新型通用视觉骨干家族。关于ImageNet分类，可可对象检测和ADE20K语义分割的广泛实验表明，大黄蜂的表现优于Swin变形金刚，并具有相似的整体体系结构和训练配置的明显边距。大黄蜂还显示出对更多训练数据和更大模型大小的有利可伸缩性。除了在视觉编码器中的有效性外，我们还可以将$ \ textit {g}^\ textit {n} $ conv应用于特定于任务的解码器，并始终通过较少的计算来提高密集的预测性能。我们的结果表明，$ \ textIt {g}^\ textit {n} $ conv可以成为视觉建模的新基本模块，可有效结合视觉变形金刚和CNN的优点。代码可从https://github.com/raoyongming/hornet获得

变压器最近在各种视觉任务上表现出卓越的性能。大型有时甚至全球，接收领域赋予变换器模型，并通过其CNN对应物具有更高的表示功率。然而，简单地扩大接收领域也产生了几个问题。一方面，使用致密的注意，例如，在VIT中，导致过度的记忆和计算成本，并且特征可以受到超出兴趣区域的无关紧要的影响。另一方面，PVT或SWIN变压器采用的稀疏注意是数据不可知论，可能会限制模拟长距离关系的能力。为了缓解这些问题，我们提出了一种新型可变形的自我关注模块，其中以数据相关的方式选择密钥和值对中的密钥和值对的位置。这种灵活的方案使自我关注模块能够专注于相关区域并捕获更多的信息性功能。在此基础上，我们呈现可变形的关注变压器，一般骨干模型，具有可变形关注的图像分类和密集预测任务。广泛的实验表明，我们的模型在综合基准上实现了一致的改善结果。代码可在https://github.com/leaplabthu/dat上获得。

The Non-Local Network (NLNet) presents a pioneering approach for capturing long-range dependencies, via aggregating query-specific global context to each query position. However, through a rigorous empirical analysis, we have found that the global contexts modeled by non-local network are almost the same for different query positions within an image. In this paper, we take advantage of this finding to create a simplified network based on a queryindependent formulation, which maintains the accuracy of NLNet but with significantly less computation. We further observe that this simplified design shares similar structure with Squeeze-Excitation Network (SENet). Hence we unify them into a three-step general framework for global context modeling. Within the general framework, we design a better instantiation, called the global context (GC) block, which is lightweight and can effectively model the global context. The lightweight property allows us to apply it for multiple layers in a backbone network to construct a global context network (GCNet), which generally outperforms both simplified NLNet and SENet on major benchmarks for various recognition tasks. The code and configurations are released at https://github.com/xvjiarui/GCNet.

现有的多尺度解决方案会导致仅增加接受场大小的风险，同时忽略小型接受场。因此，有效构建自适应神经网络以识别各种空间尺度对象是一个具有挑战性的问题。为了解决这个问题，我们首先引入一个新的注意力维度，即除了现有的注意力维度（例如渠道，空间和分支）之外，并提出了一个新颖的选择性深度注意网络，以对称地处理各种视觉中的多尺度对象任务。具体而言，在给定神经网络的每个阶段内的块，即重新连接，输出层次功能映射共享相同的分辨率但具有不同的接收场大小。基于此结构属性，我们设计了一个舞台建筑模块，即SDA，其中包括树干分支和类似SE的注意力分支。躯干分支的块输出融合在一起，以通过注意力分支指导其深度注意力分配。根据提出的注意机制，我们可以动态选择不同的深度特征，这有助于自适应调整可变大小输入对象的接收场大小。这样，跨块信息相互作用会导致沿深度方向的远距离依赖关系。与其他多尺度方法相比，我们的SDA方法结合了从以前的块到舞台输出的多个接受场，从而提供了更广泛，更丰富的有效接收场。此外，我们的方法可以用作其他多尺度网络以及注意力网络的可插入模块，并创造为SDA- $ x $ net。它们的组合进一步扩展了有效的接受场的范围，可以实现可解释的神经网络。我们的源代码可在\ url {https://github.com/qingbeiguo/sda-xnet.git}中获得。

Self-attention has the promise of improving computer vision systems due to parameter-independent scaling of receptive fields and content-dependent interactions, in contrast to parameter-dependent scaling and content-independent interactions of convolutions. Self-attention models have recently been shown to have encouraging improvements on accuracy-parameter trade-offs compared to baseline convolutional models such as ResNet-50. In this work, we aim to develop self-attention models that can outperform not just the canonical baseline models, but even the high-performing convolutional models. We propose two extensions to selfattention that, in conjunction with a more efficient implementation of self-attention, improve the speed, memory usage, and accuracy of these models. We leverage these improvements to develop a new self-attention model family, HaloNets, which reach state-of-the-art accuracies on the parameterlimited setting of the ImageNet classification benchmark. In preliminary transfer learning experiments, we find that HaloNet models outperform much larger models and have better inference performance. On harder tasks such as object detection and instance segmentation, our simple local self-attention and convolutional hybrids show improvements over very strong baselines. These results mark another step in demonstrating the efficacy of self-attention models on settings traditionally dominated by convolutional models.

香草自我注意的机制固有地依赖于预定和坚定的计算维度。这种僵化的性限制了它具有面向上下文的概括，可以带来更多的上下文提示和全球表示。为了减轻此问题，我们提出了一种可扩展的自我注意（SSA）机制，该机制利用两个缩放因素来释放查询，键和价值矩阵的维度，同时使它们不符合输入。这种可伸缩性可获得面向上下文的概括并增强对象灵敏度，从而将整个网络推向准确性和成本之间的更有效的权衡状态。此外，我们提出了一个基于窗口的自我注意事项（IWSA），该自我注意力（IWSA）通过重新合并独立的值代币并从相邻窗口中汇总空间信息来建立非重叠区域之间的相互作用。通过交替堆叠SSA和IWSA，可扩展的视觉变压器（可伸缩率）在通用视觉任务中实现最先进的性能。例如，在Imagenet-1K分类中，可伸缩率S的表现优于双胞胎-SVT-S，而Swin-T则比1.4％。

在本文中，我们提出了简单的关注机制，我们称之为箱子。它可以实现网格特征之间的空间交互，从感兴趣的框中采样，并提高变压器的学习能力，以获得几个视觉任务。具体而言，我们呈现拳击手，短暂的框变压器，通过从输入特征映射上的参考窗口预测其转换来参加一组框。通过考虑其网格结构，拳击手通过考虑其网格结构来计算这些框的注意力。值得注意的是，Boxer-2D自然有关于其注意模块内容信息的框信息的原因，使其适用于端到端实例检测和分段任务。通过在盒注意模块中旋转的旋转的不变性，Boxer-3D能够从用于3D端到端对象检测的鸟瞰图平面产生识别信息。我们的实验表明，拟议的拳击手-2D在Coco检测中实现了更好的结果，并且在Coco实例分割上具有良好的和高度优化的掩模R-CNN可比性。 Boxer-3D已经为Waymo开放的车辆类别提供了令人信服的性能，而无需任何特定的类优化。代码将被释放。

本文介绍了端到端的实例分段框架，称为SOIT，该段具有实例感知变压器的段对象。灵感来自Detr〜\ Cite {carion2020end}，我们的方法视图实例分段为直接设置预测问题，有效地消除了对ROI裁剪，一对多标签分配等许多手工制作组件的需求，以及非最大抑制（ nms）。在SOIT中，通过在全局图像上下文下直接地将多个查询直接理解语义类别，边界框位置和像素 - WISE掩码的一组对象嵌入。类和边界盒可以通过固定长度的向量轻松嵌入。尤其是由一组参数嵌入像素方面的掩模以构建轻量级实例感知变压器。之后，实例感知变压器产生全分辨率掩码，而不涉及基于ROI的任何操作。总的来说，SOIT介绍了一个简单的单级实例分段框架，它是无乐和NMS的。 MS Coco DataSet上的实验结果表明，优于最先进的实例分割显着的优势。此外，在统一查询嵌入中的多个任务的联合学习还可以大大提高检测性能。代码可用于\ url {https://github.com/yuxiaodonghri/soit}。

视觉表示学习是解决各种视力问题的关键。依靠开创性的网格结构先验，卷积神经网络（CNN）已成为大多数深视觉模型的事实上的标准架构。例如，经典的语义分割方法通常采用带有编码器编码器体系结构的完全横向卷积网络（FCN）。编码器逐渐减少了空间分辨率，并通过更大的接受场来学习更多抽象的视觉概念。由于上下文建模对于分割至关重要，因此最新的努力一直集中在通过扩张（即极度）卷积或插入注意力模块来增加接受场。但是，基于FCN的体系结构保持不变。在本文中，我们旨在通过将视觉表示学习作为序列到序列预测任务来提供替代观点。具体而言，我们部署纯变压器以将图像编码为一系列贴片，而无需局部卷积和分辨率减少。通过在变压器的每一层中建立的全球环境，可以学习更强大的视觉表示形式，以更好地解决视力任务。特别是，我们的细分模型（称为分割变压器（SETR））在ADE20K上擅长（50.28％MIOU，这是提交当天测试排行榜中的第一个位置），Pascal环境（55.83％MIOU），并在CityScapes上达到竞争成果。此外，我们制定了一个分层局部全球（HLG）变压器的家族，其特征是窗户内的本地关注和跨窗户的全球性专注于层次结构和金字塔架构。广泛的实验表明，我们的方法在各种视觉识别任务（例如，图像分类，对象检测和实例分割和语义分割）上实现了吸引力的性能。

最近，Vision Transformer通过推动各种视觉任务的最新技术取得了巨大的成功。视觉变压器中最具挑战性的问题之一是，图像令牌的较大序列长度会导致高计算成本（二次复杂性）。解决此问题的一个流行解决方案是使用单个合并操作来减少序列长度。本文考虑如何改善现有的视觉变压器，在这种变压器中，单个合并操作提取的合并功能似乎不太强大。为此，我们注意到，由于其在上下文抽象中的强大能力，金字塔池在各种视觉任务中已被证明是有效的。但是，在骨干网络设计中尚未探索金字塔池。为了弥合这一差距，我们建议在视觉变压器中将金字塔池汇总到多头自我注意力（MHSA）中，同时降低了序列长度并捕获强大的上下文特征。我们插入了基于池的MHSA，我们构建了一个通用视觉变压器主链，称为金字塔池变压器（P2T）。广泛的实验表明，与先前的基于CNN-和基于变压器的网络相比，当将P2T用作骨干网络时，它在各种视觉任务中显示出很大的优势。该代码将在https://github.com/yuhuan-wu/p2t上发布。

建模长期依赖关系对于理解计算机视觉中的任务至关重要。尽管CNN在许多视觉任务中都表现出色，但由于它们通常由当地核层组成，因此它们仍然受到捕获长期结构关系的限制。完全连接的图对这种建模是有益的，但是，其计算开销是高度的。我们提出了一个动态图形消息传递网络，与建模完全连接的图形相比，该网络大大降低了计算复杂性。这是通过在图表中自适应采样节点（以输入为条件）来实现的，以传递消息传递。基于采样节点，我们动态预测节点依赖性滤波器权重和亲和力矩阵，以在它们之间传播信息。使用此模型，我们在三个不同的任务和骨干体系结构方面显示了强大的，最先进的基线的显着改进。我们的方法还优于完全连接的图形，同时使用较少的浮点操作和参数。项目网站是http://www.robots.ox.ac.uk/~lz/dgmn/

卷积和自我关注是表示学习的两个强大的技术，通常被认为是两个与彼此不同的对等方法。在本文中，我们表明它们之间存在强烈的潜在关系，从而在这两个范式的大部分计算实际上以相同的操作完成。具体来说，我们首先表明，具有内核大小k x k的传统卷积可以分解为k ^ 2个单独的1x1卷积，然后是换档和求和操作。然后，我们将自我注意模块中的查询，键和值解释为多个1x1卷积，然后计算注意力权重和值的聚合。因此，两个模块的第一阶段包括类似的操作。更重要的是，第一阶段有助于与第二阶段相比的主导计算复杂性（信道大小的正方形）。这种观察结果自然导致这两个看似独特的范例的优雅集成，即享有自我关注和卷积（ACMIX）的益处的混合模型，同时与纯卷积或自我关注对应相比具有最小的计算开销。广泛的实验表明，我们的模型在图像识别和下游任务上持续改进了竞争基础的结果。代码和预先训练的型号将在https://github.com/panxuran/acmix和https://gitee.com/mindspore/models发布。

虽然最初是为自然语言处理任务而设计的，但自我发挥的机制最近逐渐席卷了各种计算机视觉领域。但是，图像的2D性质带来了在计算机视觉中应用自我注意力的三个挑战。 （1）将图像作为1D序列忽略了其2D结构。 （2）对于高分辨率图像而言，二次复杂性太贵了。 （3）它仅捕获空间适应性，但忽略了通道适应性。在本文中，我们提出了一种新颖的线性注意力，名为“大核心注意”（LKA），以使自适应和远程相关性在自我注意力中避免其缺点。此外，我们提出了基于LKA的神经网络，即视觉注意力网络（VAN）。虽然非常简单，但范超过了相似的大小视觉变压器（VIT）和各种任务中的卷积神经网络（CNN），包括图像分类，对象检测，语义细分，泛型分割，姿势估计等。 ImageNet基准测试的精度为％，并为全景分割设置新的最先进性能（58.2 PQ）。此外，Van-B2超过Sw​​in-T 4％MIOU（50.1 vs. 46.1），用于ADE20K基准上的语义分割，2.6％AP（48.8 vs. 46.2）在COCO数据集上进行对象检测。它为社区提供了一种新颖的方法和简单而强大的基线。代码可从https://github.com/visual-crestention-network获得。

由于缺乏电感偏见，视觉变压器（VIT）通常被认为比卷积神经网络（CNN）少。因此，最近的工作将卷积作为插件模块，并将其嵌入各种Vit对应物中。在本文中，我们认为卷积内核执行信息聚合以连接所有令牌。但是，如果这种明确的聚合能够以更均匀的方式起作用，则实际上是轻重量VIT的不必要的。受到这一点的启发，我们将Lightvit作为新的轻巧VIT家族，以在不卷积的情况下在纯变压器块上实现更好的准确性效率平衡。具体而言，我们将一个全球但有效的聚合方案引入了VIT的自我注意力和前馈网络（FFN），其中引入了其他可学习的令牌以捕获全球依赖性；在令牌嵌入上施加了双维通道和空间注意力。实验表明，我们的模型在图像分类，对象检测和语义分割任务上取得了重大改进。例如，我们的LightVit-T仅使用0.7G拖鞋的ImageNet上达到78.7％的精度，在GPU上的PVTV2-B0优于8.2％，而GPU的速度快11％。代码可在https://github.com/hunto/lightvit上找到。