CutMix是一种流行的增强技术，通常用于训练现代卷积和变压器视觉网络。它最初旨在鼓励卷积神经网络（CNN）更多地关注图像的全球环境，而不是本地信息，从而大大提高了CNN的性能。但是，我们发现它对自然具有全球接收领域的基于变压器的体系结构的好处有限。在本文中，我们提出了一种新型的数据增强技术图，以提高视觉变压器的性能。 TokenMix通过将混合区分为多个分离的零件，将两个图像在令牌级别混合。此外，我们表明，Cutmix中的混合学习目标是一对地面真相标签的线性组合，可能是不准确的，有时是违反直觉的。为了获得更合适的目标，我们建议根据预先训练的教师模型的两个图像的基于内容的神经激活图分配目标得分，该图像不需要具有高性能。通过大量有关各种视觉变压器体系结构的实验，我们表明我们提出的TokenMix可以帮助视觉变形金刚专注于前景区域，以推断班级并增强其稳健性，以稳定的性能增长。值得注意的是，我们使用 +1％Imagenet TOP-1精度改善DEIT-T/S/B。此外，TokenMix的训练较长，在Imainet上获得了81.2％的TOP-1精度，而DEIT-S训练了400个时代。代码可从https://github.com/sense-x/tokenmix获得。

CutMix is a vital augmentation strategy that determines the performance and generalization ability of vision transformers (ViTs). However, the inconsistency between the mixed images and the corresponding labels harms its efficacy. Existing CutMix variants tackle this problem by generating more consistent mixed images or more precise mixed labels, but inevitably introduce heavy training overhead or require extra information, undermining ease of use. To this end, we propose an efficient and effective Self-Motivated image Mixing method (SMMix), which motivates both image and label enhancement by the model under training itself. Specifically, we propose a max-min attention region mixing approach that enriches the attention-focused objects in the mixed images. Then, we introduce a fine-grained label assignment technique that co-trains the output tokens of mixed images with fine-grained supervision. Moreover, we devise a novel feature consistency constraint to align features from mixed and unmixed images. Due to the subtle designs of the self-motivated paradigm, our SMMix is significant in its smaller training overhead and better performance than other CutMix variants. In particular, SMMix improves the accuracy of DeiT-T/S, CaiT-XXS-24/36, and PVT-T/S/M/L by more than +1% on ImageNet-1k. The generalization capability of our method is also demonstrated on downstream tasks and out-of-distribution datasets. Code of this project is available at https://github.com/ChenMnZ/SMMix.

已经发现基于混合的增强对于培训期间的概括模型有效，特别是对于视觉变压器（VITS），因为它们很容易过度装备。然而，先前的基于混合的方法具有潜在的先验知识，即目标的线性内插比应保持与输入插值中提出的比率相同。这可能导致一个奇怪的现象，有时由于增强中的随机过程，混合图像中没有有效对象，但标签空间仍然存在响应。为了弥合输入和标签空间之间的这种差距，我们提出了透明度，该差别将基于视觉变压器的注意图混合标签。如果受关注图的相应输入图像加权，则标签的置信度将会更大。传输令人尴尬地简单，可以在几行代码中实现，而不会在不引入任何额外的参数和拖鞋到基于Vit的模型。实验结果表明，我们的方法可以在想象集分类上一致地始终改善各种基于Vit的模型。在ImageNet上预先接受过扫描后，基于Vit的模型还展示了对语义分割，对象检测和实例分割的更好的可转换性。当在评估4个不同的基准时，传输展示展示更加强劲。代码将在https://github.com/beckschen/transmix上公开提供。

Modern deep networks can be better generalized when trained with noisy samples and regularization techniques. Mixup and CutMix have been proven to be effective for data augmentation to help avoid overfitting. Previous Mixup-based methods linearly combine images and labels to generate additional training data. However, this is problematic if the object does not occupy the whole image as we demonstrate in Figure 1. Correctly assigning the label weights is hard even for human beings and there is no clear criterion to measure it. To tackle this problem, in this paper, we propose LUMix, which models such uncertainty by adding label perturbation during training. LUMix is simple as it can be implemented in just a few lines of code and can be universally applied to any deep networks \eg CNNs and Vision Transformers, with minimal computational cost. Extensive experiments show that our LUMix can consistently boost the performance for networks with a wide range of diversity and capacity on ImageNet, \eg $+0.7\%$ for a small model DeiT-S and $+0.6\%$ for a large variant XCiT-L. We also demonstrate that LUMix can lead to better robustness when evaluated on ImageNet-O and ImageNet-A. The source code can be found \href{https://github.com/kevin-ssy/LUMix}{here}

Data mixing strategies (e.g., CutMix) have shown the ability to greatly improve the performance of convolutional neural networks (CNNs). They mix two images as inputs for training and assign them with a mixed label with the same ratio. While they are shown effective for vision transformers (ViTs), we identify a token fluctuation phenomenon that has suppressed the potential of data mixing strategies. We empirically observe that the contributions of input tokens fluctuate as forward propagating, which might induce a different mixing ratio in the output tokens. The training target computed by the original data mixing strategy can thus be inaccurate, resulting in less effective training. To address this, we propose a token-label alignment (TL-Align) method to trace the correspondence between transformed tokens and the original tokens to maintain a label for each token. We reuse the computed attention at each layer for efficient token-label alignment, introducing only negligible additional training costs. Extensive experiments demonstrate that our method improves the performance of ViTs on image classification, semantic segmentation, objective detection, and transfer learning tasks. Code is available at: https://github.com/Euphoria16/TL-Align.

事实证明，数据混合对提高深神经网络的概括能力是有效的。虽然早期方法通过手工制作的策略（例如线性插值）混合样品，但最新方法利用显着性信息通过复杂的离线优化来匹配混合样品和标签。但是，在精确的混合政策和优化复杂性之间进行了权衡。为了应对这一挑战，我们提出了一个新颖的自动混合（Automix）框架，其中混合策略被参数化并直接实现最终分类目标。具体而言，Automix将混合分类重新定义为两个子任务（即混合样品生成和混合分类）与相应的子网络，并在双层优化框架中求解它们。对于这一代，可学习的轻质混合发电机Mix Block旨在通过在相应混合标签的直接监督下对贴片的关系进行建模，以生成混合样品。为了防止双层优化的降解和不稳定性，我们进一步引入了动量管道以端到端的方式训练汽车。与在各种分类场景和下游任务中的最新图像相比，九个图像基准的广泛实验证明了汽车的优势。

在这项研究中，我们提出了混合图像建模（MixMim），这是一种适用于各种分层视觉变压器的简单但有效的MIM方法。现有的MIM方法用特殊的掩码符号替换输入令牌的随机子集，并旨在从损坏的图像中重建原始图像令牌。但是，我们发现，由于较大的掩蔽率（例如，Beit中的40％），使用蒙版符号会大大减慢训练并引起训练 - 不一致的不一致。相比之下，我们用另一个图像的可见令牌（即创建混合图像）代替一个图像的蒙版令牌。然后，我们进行双重重建以从混合输入中重建原始的两个图像，从而显着提高效率。虽然MixMim可以应用于各种体系结构，但本文探讨了更简单但更强的层次变压器，并使用MixMim -B，-L和-H缩放。经验结果表明，混合mim可以有效地学习高质量的视觉表示。值得注意的是，具有88M参数的MixMIM-B通过预处理600个时期的Imagenet-1k上的TOP-1精度达到了85.1％的TOP-1精度，在MIM方法中为具有可比模型尺寸（例如VIT-B）的神经网络创造了新的记录。此外，其在其他6个数据集上的传输性能显示MixMim比以前的MIM方法更好。代码可从https://github.com/sense-x/mixmim获得。

视觉变压器（VIT）在各种机器视觉问题上表现出令人印象深刻的性能。这些模型基于多头自我关注机制，可以灵活地参加一系列图像修补程序以编码上下文提示。一个重要问题是在给定贴片上参加图像范围内的上下文的这种灵活性是如何促进在自然图像中处理滋扰，例如，严重的闭塞，域移位，空间置换，对抗和天然扰动。我们通过广泛的一组实验来系统地研究了这个问题，包括三个vit家族和具有高性能卷积神经网络（CNN）的比较。我们展示和分析了vit的以下迷恋性质：（a）变压器对严重闭塞，扰动和域移位高度稳健，例如，即使在随机堵塞80％的图像之后，也可以在想象中保持高达60％的前1个精度。内容。 （b）与局部纹理的偏置有抗闭锁的强大性能，与CNN相比，VITS对纹理的偏置显着偏差。当受到适当训练以编码基于形状的特征时，VITS展示与人类视觉系统相当的形状识别能力，以前在文献中无与伦比。 （c）使用VIT来编码形状表示导致准确的语义分割而没有像素级监控的有趣后果。 （d）可以组合从单VIT模型的现成功能，以创建一个功能集合，导致传统和几枪学习范例的一系列分类数据集中的高精度率。我们显示VIT的有效特征是由于自我关注机制可以实现灵活和动态的接受领域。

在本文中，我们通过利用视觉数据中的空间稀疏性提出了一种新的模型加速方法。我们观察到，视觉变压器中的最终预测仅基于最有用的令牌的子集，这足以使图像识别。基于此观察，我们提出了一个动态的令牌稀疏框架，以根据加速视觉变压器的输入逐渐和动态地修剪冗余令牌。具体而言，我们设计了一个轻量级预测模块，以估计给定当前功能的每个令牌的重要性得分。该模块被添加到不同的层中以层次修剪冗余令牌。尽管该框架的启发是我们观察到视觉变压器中稀疏注意力的启发，但我们发现自适应和不对称计算的想法可能是加速各种体系结构的一般解决方案。我们将我们的方法扩展到包括CNN和分层视觉变压器在内的层次模型，以及更复杂的密集预测任务，这些任务需要通过制定更通用的动态空间稀疏框架，并具有渐进性的稀疏性和非对称性计算，用于不同空间位置。通过将轻质快速路径应用于少量的特征，并使用更具表现力的慢速路径到更重要的位置，我们可以维护特征地图的结构，同时大大减少整体计算。广泛的实验证明了我们框架对各种现代体系结构和不同视觉识别任务的有效性。我们的结果清楚地表明，动态空间稀疏为模型加速提供了一个新的，更有效的维度。代码可从https://github.com/raoyongming/dynamicvit获得

最近，变压器和多层感知器（MLP）体系结构在各种视觉任务上取得了令人印象深刻的结果。但是，如何有效地结合这些操作员形成高性能混合视觉体系结构仍然是一个挑战。在这项工作中，我们通过提出一种新型的统一体系结构搜索方法来研究卷积，变压器和MLP的可学习组合。我们的方法包含两个关键设计，以实现高性能网络的搜索。首先，我们以统一的形式对截然不同的可搜索运算符进行建模，从而使操作员能够用相同的配置参数进行表征。这样，总体搜索空间规模大大减少，总搜索成本变得负担得起。其次，我们提出上下文感知的倒数采样模块（DSM），以减轻不同类型的操作员之间的差距。我们提出的DSM能够更好地适应不同类型的操作员的功能，这对于识别高性能混合体系结构很重要。最后，我们将可配置的运算符和DSM集成到统一的搜索空间中，并使用基于增强学习的搜索算法进行搜索，以充分探索操作员的最佳组合。为此，我们搜索一个基线网络并扩大规模，以获得一个名为UNINET的模型系列，该模型的准确性和效率比以前的Convnets和Transformers更好。特别是，我们的UNET-B5在ImageNet上获得了84.9％的TOP-1精度，比效应网络-B7和Botnet-T7分别少了44％和55％。通过在Imagenet-21K上进行预处理，我们的UNET-B6获得了87.4％，表现优于SWIN-L，拖鞋少51％，参数减少了41％。代码可在https://github.com/sense-x/uninet上找到。

变形金刚和蒙版语言建模在计算机视觉中很快被视为视觉变压器和蒙版图像建模（MIM）。在这项工作中，我们认为由于图像中令牌的数量和相关性，图像令牌掩盖与文本中的令牌掩盖有所不同。特别是，为了为MIM产生具有挑战性的借口任务，我们主张从随机掩盖到知情掩盖的转变。我们在基于蒸馏的MIM的背景下开发并展示了这一想法，其中教师变压器编码器生成了一个注意力图，我们用它来指导学生为学生指导掩盖。因此，我们引入了一种新颖的掩蔽策略，称为注意引导蒙版（ATTMASK），我们证明了其对基于密集蒸馏的MIM以及基于普通蒸馏的自然剥离的自助力学习的有效性。我们确认ATTMASK可以加快学习过程，并提高各种下游任务的性能。我们在https://github.com/gkakogeorgiou/attmask上提供实现代码。

Patch-based models, e.g., Vision Transformers (ViTs) and Mixers, have shown impressive results on various visual recognition tasks, alternating classic convolutional networks. While the initial patch-based models (ViTs) treated all patches equally, recent studies reveal that incorporating inductive bias like spatiality benefits the representations. However, most prior works solely focused on the location of patches, overlooking the scene structure of images. Thus, we aim to further guide the interaction of patches using the object information. Specifically, we propose OAMixer (object-aware mixing layer), which calibrates the patch mixing layers of patch-based models based on the object labels. Here, we obtain the object labels in unsupervised or weakly-supervised manners, i.e., no additional human-annotating cost is necessary. Using the object labels, OAMixer computes a reweighting mask with a learnable scale parameter that intensifies the interaction of patches containing similar objects and applies the mask to the patch mixing layers. By learning an object-centric representation, we demonstrate that OAMixer improves the classification accuracy and background robustness of various patch-based models, including ViTs, MLP-Mixers, and ConvMixers. Moreover, we show that OAMixer enhances various downstream tasks, including large-scale classification, self-supervised learning, and multi-object recognition, verifying the generic applicability of OAMixer

弱监督的语义分割（WSSS）是具有挑战性的，特别是当使用图像级标签来监督像素级预测时。为了弥合它们的差距，通常生成一个类激活图（CAM）以提供像素级伪标签。卷积神经网络中的凸轮患有部分激活，即，仅激活最多的识别区域。另一方面，基于变压器的方法在探索具有长范围依赖性建模的全球背景下，非常有效，可能会减轻“部分激活”问题。在本文中，我们提出了基于第一变压器的WSSS方法，并介绍了梯度加权元素明智的变压器注意图（GetAn）。 GetaN显示所有特征映射元素的精确激活，跨越变压器层显示对象的不同部分。此外，我们提出了一种激活感知标签完成模块来生成高质量的伪标签。最后，我们将我们的方法纳入了使用双向向上传播的WSS的结束框架。 Pascal VOC和Coco的广泛实验表明，我们的结果通过显着的保证金击败了最先进的端到端方法，并且优于大多数多级方法.M大多数多级方法。

Regional dropout strategies have been proposed to enhance the performance of convolutional neural network classifiers. They have proved to be effective for guiding the model to attend on less discriminative parts of objects (e.g. leg as opposed to head of a person), thereby letting the network generalize better and have better object localization capabilities. On the other hand, current methods for regional dropout remove informative pixels on training images by overlaying a patch of either black pixels or random noise. Such removal is not desirable because it leads to information loss and inefficiency during training. We therefore propose the CutMix augmentation strategy: patches are cut and pasted among training images where the ground truth labels are also mixed proportionally to the area of the patches. By making efficient use of training pixels and retaining the regularization effect of regional dropout, CutMix consistently outperforms the state-of-the-art augmentation strategies on CI-FAR and ImageNet classification tasks, as well as on the Im-ageNet weakly-supervised localization task. Moreover, unlike previous augmentation methods, our CutMix-trained ImageNet classifier, when used as a pretrained model, results in consistent performance gains in Pascal detection and MS-COCO image captioning benchmarks. We also show that CutMix improves the model robustness against input corruptions and its out-of-distribution detection performances. Source code and pretrained models are available at https://github.com/clovaai/CutMix-PyTorch.

语言变形金刚的成功主要归因于屏蔽语言建模（MLM）的借口任务，其中文本首先被致以语义有意义的作品。在这项工作中，我们研究了蒙面图像建模（MIM），并指出使用语义有意义的视觉销售器的优缺点。我们提出了一个自我监督的框架IBOT，可以使用在线标记器执行蒙版预测。具体而言，我们在蒙面的补丁令牌上进行自我蒸馏，并将教师网络作为在线标记器，以及在课堂上的自蒸馏来获取视觉语义。在线销售器与MIM目标和分配的多级培训管道共同学习，销售器需要预先预先培训。通过在Imagenet-1K上达到81.6％的线性探测精度和86.3％的微调精度来展示IBOT的突出。除了最先进的图像分类结果之外，我们强调了新兴的局部语义模式，这有助于模型对共同损坏获得强大的鲁棒性，并在密集的下游任务中实现领先的结果，例如，对象检测，实例分割和语义细分。

变压器最近在各种视觉任务上表现出卓越的性能。大型有时甚至全球，接收领域赋予变换器模型，并通过其CNN对应物具有更高的表示功率。然而，简单地扩大接收领域也产生了几个问题。一方面，使用致密的注意，例如，在VIT中，导致过度的记忆和计算成本，并且特征可以受到超出兴趣区域的无关紧要的影响。另一方面，PVT或SWIN变压器采用的稀疏注意是数据不可知论，可能会限制模拟长距离关系的能力。为了缓解这些问题，我们提出了一种新型可变形的自我关注模块，其中以数据相关的方式选择密钥和值对中的密钥和值对的位置。这种灵活的方案使自我关注模块能够专注于相关区域并捕获更多的信息性功能。在此基础上，我们呈现可变形的关注变压器，一般骨干模型，具有可变形关注的图像分类和密集预测任务。广泛的实验表明，我们的模型在综合基准上实现了一致的改善结果。代码可在https://github.com/leaplabthu/dat上获得。

数据增强已被广泛用于改善深形网络的性能。提出了许多方法，例如丢弃，正则化和图像增强，以避免过度发出和增强神经网络的概括。数据增强中的一个子区域是图像混合和删除。这种特定类型的增强混合两个图像或删除图像区域以隐藏或制定困惑的图像的某些特征，以强制它强调图像中对象的整体结构。与此方法培训的模型表明，与未执行混合或删除的培训相比，该模型表现得很好。这种培训方法实现的额外福利是对图像损坏的鲁棒性。由于其最近的计算成本低，因此提出了许多图像混合和删除技术。本文对这些设计的方法提供了详细的审查，在三个主要类别中划分增强策略，切割和删除，切割和混合和混合。纸张的第二部分是评估这些方法的图像分类，微小的图像识别和对象检测方法，其中显示了这类数据增强提高了深度神经网络的整体性能。

变压器模型在处理各种视觉任务方面表现出了有希望的有效性。但是，与训练卷积神经网络（CNN）模型相比，训练视觉变压器（VIT）模型更加困难，并且依赖于大规模训练集。为了解释这一观察结果，我们做出了一个假设，即\ textit {vit模型在捕获图像的高频组件方面的有效性较小，而不是CNN模型}，并通过频率分析对其进行验证。受这一发现的启发，我们首先研究了现有技术从新的频率角度改进VIT模型的影响，并发现某些技术（例如，randaugment）的成功可以归因于高频组件的更好使用。然后，为了补偿这种不足的VIT模型能力，我们提出了HAT，该HAT可以通过对抗训练直接增强图像的高频组成部分。我们表明，HAT可以始终如一地提高各种VIT模型的性能（例如VIT-B的 +1.2％，Swin-B的 +0.5％），尤其是提高了仅使用Imagenet-的高级模型Volo-D5至87.3％ 1K数据，并且优势也可以维持在分发数据的数据上，并转移到下游任务。该代码可在以下网址获得：https：//github.com/jiawangbai/hat。

视觉变压器的最新进展在基于点产生自我注意的新空间建模机制驱动的各种任务中取得了巨大成功。在本文中，我们表明，视觉变压器背后的关键要素，即输入自适应，远程和高阶空间相互作用，也可以通过基于卷积的框架有效地实现。我们介绍了递归封闭式卷积（$ \ textit {g}^\ textit {n} $ conv），该卷积{n} $ conv）与封闭的卷积和递归设计执行高阶空间交互。新操作是高度灵活和可定制的，它与卷积的各种变体兼容，并将自我注意的两阶相互作用扩展到任意订单，而无需引入大量额外的计算。 $ \ textit {g}^\ textit {n} $ conv可以用作插件模块，以改善各种视觉变压器和基于卷积的模型。根据该操作，我们构建了一个名为Hornet的新型通用视觉骨干家族。关于ImageNet分类，可可对象检测和ADE20K语义分割的广泛实验表明，大黄蜂的表现优于Swin变形金刚，并具有相似的整体体系结构和训练配置的明显边距。大黄蜂还显示出对更多训练数据和更大模型大小的有利可伸缩性。除了在视觉编码器中的有效性外，我们还可以将$ \ textit {g}^\ textit {n} $ conv应用于特定于任务的解码器，并始终通过较少的计算来提高密集的预测性能。我们的结果表明，$ \ textIt {g}^\ textit {n} $ conv可以成为视觉建模的新基本模块，可有效结合视觉变形金刚和CNN的优点。代码可从https://github.com/raoyongming/hornet获得

视觉变换器将每个图像分成具有固定长度的令牌序列，并以与自然语言处理中的单词相同的方式处理令牌。更多令牌通​​常会导致更好的性能，但计算成本显着增加。通过谚语“一张图片胜过千言万语”，我们的目标是通过制造长图像短而加速VIT模型。为此，我们提出了一种新颖的方法在推论期间自适应地分配令牌长度。具体而言，我们首先培养一种含有可调整化 - vit（Revit）的Vit模型，可以处理任何具有不同令牌长度的给定输入。然后，我们从Revit检索“令牌长度标签”，并使用它培训轻量级令牌长度分配（TLA）。令牌长度标签是最小的令牌，以分割Revit可以使REVIT可以进行正确的预测，并且学习TLA以基于这些标签分配最佳令牌长度。 TLA使REVIT能够在推理期间使用最小足够数量的令牌处理图像。因此，通过减少VIT模型中的令牌数字来提高推广速度。我们的方法是一般的，与现代视觉变压器架构兼容，可以显着减少计算扩展。我们在两个任务中验证了我们对多个代表性VIT模型（DEIT，LV-VIT和TIMESFRER）的效果（图像分类和动作识别）。