最近，提出了许多有效的自我发场模块来启动模型性能，通过利用计算机视觉中的卷积神经网络的内部信息。总的来说，许多以前的作品都忽略了考虑自我发挥机制的合并策略的设计，因为它们采用了全球平均水平，这是理所当然的，这阻碍了自我发挥机制的表现进一步改善。但是，我们从经验上发现并验证了一种现象，即全球最大速度和全球最小程度的简单线性组合可以产生匹配或超过全球平均平均水平的性能的合并策略。基于这一经验观察，我们提出了一个简单的自我发场模块SPENET，该模块Spenet采用了基于全球最大功能和全球最小程度的自适应汇总策略，以及用于生成注意力图的轻量级模块。 Spenet的有效性通过广泛使用的基准数据集和流行的自我注意力网络进行了广泛的实验证明。

注意机制在视力识别方面取得了巨大成功。许多作品致力于提高注意力机制的有效性，该机制精心设计了注意操作员的结构。这些作品需要大量实验才能在场景变化时挑选最佳设置，这会消耗大量时间和计算资源。此外，神经网络通常包含许多网络层，并且大多数研究通常使用相同的注意模块来增强不同的网络层，从而阻碍了自我发挥机制的性能的进一步改善。为了解决上述问题，我们提出了一个自我发挥的模块SEM。基于注意模块和替代注意操作员的输入信息，SEM可以自动决定选择和集成注意操作员以计算注意力图。 SEM的有效性通过广泛使用的基准数据集和流行的自我发挥网络的广泛实验来证明。

We propose Convolutional Block Attention Module (CBAM), a simple yet effective attention module for feed-forward convolutional neural networks. Given an intermediate feature map, our module sequentially infers attention maps along two separate dimensions, channel and spatial, then the attention maps are multiplied to the input feature map for adaptive feature refinement. Because CBAM is a lightweight and general module, it can be integrated into any CNN architectures seamlessly with negligible overheads and is end-to-end trainable along with base CNNs. We validate our CBAM through extensive experiments on ImageNet-1K, MS COCO detection, and VOC 2007 detection datasets. Our experiments show consistent improvements in classification and detection performances with various models, demonstrating the wide applicability of CBAM. The code and models will be publicly available.

Channel and spatial attention mechanism has proven to provide an evident performance boost of deep convolution neural networks (CNNs). Most existing methods focus on one or run them parallel (series), neglecting the collaboration between the two attentions. In order to better establish the feature interaction between the two types of attention, we propose a plug-and-play attention module, which we term "CAT"-activating the Collaboration between spatial and channel Attentions based on learned Traits. Specifically, we represent traits as trainable coefficients (i.e., colla-factors) to adaptively combine contributions of different attention modules to fit different image hierarchies and tasks better. Moreover, we propose the global entropy pooling (GEP) apart from global average pooling (GAP) and global maximum pooling (GMP) operators, an effective component in suppressing noise signals by measuring the information disorder of feature maps. We introduce a three-way pooling operation into attention modules and apply the adaptive mechanism to fuse their outcomes. Extensive experiments on MS COCO, Pascal-VOC, Cifar-100, and ImageNet show that our CAT outperforms existing state-of-the-art attention mechanisms in object detection, instance segmentation, and image classification. The model and code will be released soon.

卷积神经网络在过去十年中允许在单个图像超分辨率（SISR）中的显着进展。在SISR最近的进展中，关注机制对于高性能SR模型至关重要。但是，注意机制仍然不清楚为什么它在SISR中的工作原理。在这项工作中，我们试图量化和可视化SISR中的注意力机制，并表明并非所有关注模块都同样有益。然后，我们提出了关注网络（A $ ^ 2 $ n）的注意力，以获得更高效和准确的SISR。具体来说，$ ^ 2 $ n包括非关注分支和耦合注意力分支。提出了一种动态注意力模块，为这两个分支产生权重，以动态地抑制不需要的注意力调整，其中权重根据输入特征自适应地改变。这允许注意模块专门从事惩罚的有益实例，从而大大提高了注意力网络的能力，即几个参数开销。实验结果表明，我们的最终模型A $ ^ 2 $ n可以实现与类似尺寸的最先进网络相比的卓越的权衡性能。代码可以在https://github.com/haoyuc/a2n获得。

标记医学图像取决于专业知识，因此很难在短时间内以高质量获取大量注释的医学图像。因此，在小型数据集中充分利用有限标记的样品来构建高性能模型是医疗图像分类问题的关键。在本文中，我们提出了一个深入监督的层选择性注意网络（LSANET），该网络全面使用功能级和预测级监督中的标签信息。对于特征级别的监督，为了更好地融合低级功能和高级功能，我们提出了一个新颖的视觉注意模块，层选择性注意（LSA），以专注于不同层的特征选择。 LSA引入了一种权重分配方案，该方案可以在整个训练过程中动态调整每个辅助分支的加权因子，以进一步增强深入监督的学习并确保其概括。对于预测级的监督，我们采用知识协同策略，通过成对知识匹配来促进所有监督分支之间的层次信息互动。使用公共数据集MedMnist，这是用于涵盖多种医学专业的生物医学图像分类的大规模基准，我们评估了LSANET在多个主流CNN体系结构和各种视觉注意模块上评估。实验结果表明，我们所提出的方法对其相应的对应物进行了实质性改进，这表明LSANET可以为医学图像分类领域的标签有效学习提供有希望的解决方案。

人类自然有效地在复杂的场景中找到突出区域。通过这种观察的动机，引入了计算机视觉中的注意力机制，目的是模仿人类视觉系统的这一方面。这种注意机制可以基于输入图像的特征被视为动态权重调整过程。注意机制在许多视觉任务中取得了巨大的成功，包括图像分类，对象检测，语义分割，视频理解，图像生成，3D视觉，多模态任务和自我监督的学习。在本调查中，我们对计算机愿景中的各种关注机制进行了全面的审查，并根据渠道注意，空间关注，暂时关注和分支注意力进行分类。相关的存储库https：//github.com/menghaoguo/awesome-vision-tions致力于收集相关的工作。我们还建议了未来的注意机制研究方向。

由于存储器和计算资源有限，部署在移动设备上的卷积神经网络（CNNS）是困难的。我们的目标是通过利用特征图中的冗余来设计包括CPU和GPU的异构设备的高效神经网络，这很少在神经结构设计中进行了研究。对于类似CPU的设备，我们提出了一种新颖的CPU高效的Ghost（C-Ghost）模块，以生成从廉价操作的更多特征映射。基于一组内在的特征映射，我们使用廉价的成本应用一系列线性变换，以生成许多幽灵特征图，可以完全揭示内在特征的信息。所提出的C-Ghost模块可以作为即插即用组件，以升级现有的卷积神经网络。 C-Ghost瓶颈旨在堆叠C-Ghost模块，然后可以轻松建立轻量级的C-Ghostnet。我们进一步考虑GPU设备的有效网络。在建筑阶段的情况下，不涉及太多的GPU效率（例如，深度明智的卷积），我们建议利用阶段明智的特征冗余来制定GPU高效的幽灵（G-GHOST）阶段结构。舞台中的特征被分成两个部分，其中使用具有较少输出通道的原始块处理第一部分，用于生成内在特征，另一个通过利用阶段明智的冗余来生成廉价的操作。在基准测试上进行的实验证明了所提出的C-Ghost模块和G-Ghost阶段的有效性。 C-Ghostnet和G-Ghostnet分别可以分别实现CPU和GPU的准确性和延迟的最佳权衡。代码可在https://github.com/huawei-noah/cv-backbones获得。

标准卷积神经网络（CNN）设计很少专注于明确捕获各种功能以增强网络性能的重要性。相反，大多数现有方法遵循增加或调整网络深度和宽度的间接方法，这在许多情况下显着提高了计算成本。受生物视觉系统的启发，我们提出了一种多样化和自适应的卷积网络（DA $ ^ {2} $ - net），它使任何前锋CNN能够明确地捕获不同的功能，并自适应地选择并强调最具信息性的功能有效地提高网络的性能。 DA $ ^ {2} $ - NET会引入可忽略不计的计算开销，它旨在与任何CNN架构轻松集成。我们广泛地评估了基准数据集的DA $ ^ {2} $ - 网上，包括CNN架构的CNN100，SVHN和Imagenet，包括CNN100。实验结果显示DA $ ^ {2} $ - NET提供了具有非常最小的计算开销的显着性能改进。

视觉变压器由于能够捕获图像中的长期依赖性的能力而成功地应用于图像识别任务。但是，变压器与现有卷积神经网络（CNN）之间的性能和计算成本仍然存在差距。在本文中，我们旨在解决此问题，并开发一个网络，该网络不仅可以超越规范变压器，而且可以超越高性能卷积模型。我们通过利用变压器来捕获长期依赖性和CNN来建模本地特征，从而提出了一个新的基于变压器的混合网络。此外，我们将其扩展为获得一个称为CMT的模型家族，比以前的基于卷积和基于变压器的模型获得了更好的准确性和效率。特别是，我们的CMT-S在ImageNet上获得了83.5％的TOP-1精度，而在拖鞋上的拖曳率分别比现有的DEIT和EficitiveNet小14倍和2倍。拟议的CMT-S还可以很好地概括CIFAR10（99.2％），CIFAR100（91.7％），花（98.7％）以及其他具有挑战性的视觉数据集，例如可可（44.3％地图），计算成本较小。

最近，对卷积神经网络（CNNS）的注意机制越来越令人兴趣，以解决计算机视觉任务。大多数这些方法学会了解明确地识别和突出场景的相关部分并将参与图像传递给网络的其他层。在本文中，我们认为这种方法可能不是最佳的。可以说，明确地学习图像的哪些部分是相关的，通常比学习图像的图像较小的哪些部分更难，因此应该忽略。事实上，在视觉域中，存在许多易于识别的无关功能模式。例如，接近边界的图像区域不太可能包含分类任务的有用信息。基于这个想法，我们建议在CNNS中重构注意力机制，以学会忽略而不是学习参加。具体而言，我们建议明确地学习场景中的无关信息，并在产生的表示中抑制它，只保留重要属性。这种隐式关注方案可以纳入任何现有的注意机制。在这项工作中，我们使用最近的两个注意方法挤压和激励（SE）块和卷积块注意模块（CBAM）来验证这个想法。不同数据集和模型架构上的实验结果表明，学习忽略，即隐含的注意力，与标准方法相比，产生卓越的性能。

在本文中，我们基于任何卷积神经网络中中间注意图的弱监督生成机制，并更加直接地披露了注意模块的有效性，以充分利用其潜力。鉴于现有的神经网络配备了任意注意模块，我们介绍了一个元评论家网络，以评估主网络中注意力图的质量。由于我们设计的奖励的离散性，提出的学习方法是在强化学习环境中安排的，在此设置中，注意力参与者和经常性的批评家交替优化，以提供临时注意力表示的即时批评和修订，因此，由于深度强化的注意力学习而引起了人们的关注。 （Dreal）。它可以普遍应用于具有不同类型的注意模块的网络体系结构，并通过最大程度地提高每个单独注意模块产生的最终识别性能的相对增益来促进其表现能力，如类别和实例识别基准的广泛实验所证明的那样。

已经研究了各种关注机制，以提高各种计算机视觉任务的性能。然而，先前的方法忽略了保留关于通道和空间方面的信息的重要性，以增强交叉尺寸相互作用。因此，我们提出了一种全球关注机制，通过减少信息减少和放大全球互动表示来提高深度神经网络的性能。我们将3D排列引入了多层 - Perceptron，用于伴随着卷积的空间注意子模块的频道注意。对CiFar-100和ImageNet-1K上的图像分类任务的提出机制的评估表明，我们的方法稳定地优于Reset和轻量级Mobilenet的几个最近的关注机制。

在本文中，我们建议使用注意机制和全球环境进行图像分类的一般框架，该框架可以与各种网络体系结构结合起来以提高其性能。为了调查全球环境的能力，我们比较了四个数学模型，并观察到分开的条件生成模型中编码的全球环境可以提供更多的指导，因为“知道什么是任务无关紧要的，也将知道什么是相关的”。基于此观察结果，我们定义了一个新型的分离全球环境（CDGC），并设计了一个深层网络来获得它。通过参加CDGC，基线网络可以更准确地识别感兴趣的对象，从而改善性能。我们将框架应用于许多不同的网络体系结构，并与四个公开可用数据集的最新框架进行比较。广泛的结果证明了我们方法的有效性和优势。代码将在纸上接受公开。

视觉变压器在众多计算机视觉任务上表现出了巨大的成功。然而，由于计算复杂性和记忆足迹是二次的，因此其中心分量（软磁性注意力）禁止视觉变压器扩展到高分辨率图像。尽管在自然语言处理（NLP）任务中引入了线性注意以减轻类似问题，但直接将现有的线性注意力应用于视觉变压器可能不会导致令人满意的结果。我们研究了这个问题，发现与NLP任务相比，计算机视觉任务更多地关注本地信息。基于这一观察结果，我们提出了附近的关注，该关注引入了具有线性复杂性的视觉变压器的局部性偏见。具体而言，对于每个图像补丁，我们根据其相邻贴片测量的2D曼哈顿距离调整了注意力重量。在这种情况下，相邻的补丁比遥远的补丁会受到更大的关注。此外，由于我们的附近注意力要求令牌长度比特征维度大得多，以显示其效率优势，因此我们进一步提出了一个新的附近视觉变压器（VVT）结构，以减少特征维度而不脱离准确性。我们在CIFAR100，ImagEnet1k和ADE20K数据集上进行了广泛的实验，以验证我们方法的有效性。当输入分辨率增加时，与以前的基于变压器和基于卷积的网络相比，GFLOP的增长率较慢。特别是，我们的方法达到了最新的图像分类精度，其参数比以前的方法少50％。

注意机制对研究界提出了重大兴趣，因为他们承诺改善神经网络架构的表现。但是，在任何特定的问题中，我们仍然缺乏主要的方法来选择导致保证改进的具体机制和超参数。最近，已经提出了自我关注并广泛用于变压器 - 类似的架构中，导致某些应用中的重大突破。在这项工作中，我们专注于两种形式的注意机制：注意模块和自我关注。注意模块用于重新重量每个层输入张量的特征。不同的模块具有不同的方法，可以在完全连接或卷积层中执行此重复。研究的注意力模型是完全模块化的，在这项工作中，它们将与流行的Reset架构一起使用。自我关注，最初在自然语言处理领域提出，可以将所有项目与输入序列中的所有项目相关联。自我关注在计算机视觉中越来越受欢迎，其中有时与卷积层相结合，尽管最近的一些架构与卷曲完全消失。在这项工作中，我们研究并执行了在特定计算机视觉任务中许多不同关注机制的客观的比较，在广泛使用的皮肤癌MNIST数据集中的样本分类。结果表明，关注模块有时会改善卷积神经网络架构的性能，也是这种改进虽然明显且统计学意义，但在不同的环境中并不一致。另一方面，通过自我关注机制获得的结果表明了一致和显着的改进，即使在具有减少数量的参数的架构中，也可以实现最佳结果。

由于单峰生物识别系统的不稳定性和局限性，多模式系统吸引了研究人员的关注。但是，如何利用不同方式之间的独立和互补信息仍然是一个关键和具有挑战性的问题。在本文中，我们提出了一种基于指纹和手指静脉的多模式融合识别算法（指纹手指静脉 - 通道 - 通道空间注意融合模块，FPV-CSAFM）。具体而言，对于每对指纹和手指静脉图像，我们首先提出一个简单有效的卷积神经网络（CNN）来提取特征。然后，我们构建一个多模式融合模块（通道空间注意融合模块，CSAFM），以完全融合指纹和指纹之间的互补信息。与现有的融合策略不同，我们的融合方法可以根据渠道和空间维度不同模态的重要性动态调整融合权重，以便更好地将信息之间的信息更好地结合在一起，并提高整体识别性能。为了评估我们方法的性能，我们在多个公共数据集上进行了一系列实验。实验结果表明，所提出的FPV-CSAFM基于指纹和手指静脉在三个多模式数据集上实现了出色的识别性能。

现有的多尺度解决方案会导致仅增加接受场大小的风险，同时忽略小型接受场。因此，有效构建自适应神经网络以识别各种空间尺度对象是一个具有挑战性的问题。为了解决这个问题，我们首先引入一个新的注意力维度，即除了现有的注意力维度（例如渠道，空间和分支）之外，并提出了一个新颖的选择性深度注意网络，以对称地处理各种视觉中的多尺度对象任务。具体而言，在给定神经网络的每个阶段内的块，即重新连接，输出层次功能映射共享相同的分辨率但具有不同的接收场大小。基于此结构属性，我们设计了一个舞台建筑模块，即SDA，其中包括树干分支和类似SE的注意力分支。躯干分支的块输出融合在一起，以通过注意力分支指导其深度注意力分配。根据提出的注意机制，我们可以动态选择不同的深度特征，这有助于自适应调整可变大小输入对象的接收场大小。这样，跨块信息相互作用会导致沿深度方向的远距离依赖关系。与其他多尺度方法相比，我们的SDA方法结合了从以前的块到舞台输出的多个接受场，从而提供了更广泛，更丰富的有效接收场。此外，我们的方法可以用作其他多尺度网络以及注意力网络的可插入模块，并创造为SDA- $ x $ net。它们的组合进一步扩展了有效的接受场的范围，可以实现可解释的神经网络。我们的源代码可在\ url {https://github.com/qingbeiguo/sda-xnet.git}中获得。

已证明卷积神经网络中的渠道注意机制在各种计算机视觉任务中有效。但是，性能改进具有额外的模型复杂性和计算成本。在本文中，我们提出了一种被称为信道分流块的轻量级和有效的注意模块，以通过在全球层面建立信道关系来增强全局背景。与其他通道注意机制不同，所提出的模块通过在考虑信道激活时更加关注空间可区分的渠道，专注于最辨别的特征。与其他介绍模块不同的其他中间层之间的其他关注模型不同，所提出的模块嵌入在骨干网络的末尾，使其易于实现。在CiFar-10，SVHN和微型想象中心数据集上进行了广泛的实验表明，所提出的模块平均提高了基线网络的性能3％的余量。

从深度学习的迅速发展中受益，许多基于CNN的图像超分辨率方法已经出现并取得了更好的结果。但是，大多数算法很难同时适应空间区域和通道特征，更不用说它们之间的信息交换了。此外，注意力模块之间的信息交换对于研究人员而言甚至不太明显。为了解决这些问题，我们提出了一个轻量级的空间通道自适应协调，对多级改进增强网络（MREN）。具体而言，我们构建了一个空间通道自适应协调块，该块使网络能够在不同的接受场下学习空间区域和渠道特征感兴趣的信息。此外，在空间部分和通道部分之间的相应特征处理级别的信息在跳跃连接的帮助下交换，以实现两者之间的协调。我们通过简单的线性组合操作在注意模块之间建立了通信桥梁，以便更准确，连续地指导网络注意感兴趣的信息。在几个标准测试集上进行的广泛实验表明，我们的MREN在具有很少数量的参数和非常低的计算复杂性的其他高级算法上实现了优越的性能。