数据增强已被广泛用于改善深形网络的性能。提出了许多方法，例如丢弃，正则化和图像增强，以避免过度发出和增强神经网络的概括。数据增强中的一个子区域是图像混合和删除。这种特定类型的增强混合两个图像或删除图像区域以隐藏或制定困惑的图像的某些特征，以强制它强调图像中对象的整体结构。与此方法培训的模型表明，与未执行混合或删除的培训相比，该模型表现得很好。这种培训方法实现的额外福利是对图像损坏的鲁棒性。由于其最近的计算成本低，因此提出了许多图像混合和删除技术。本文对这些设计的方法提供了详细的审查，在三个主要类别中划分增强策略，切割和删除，切割和混合和混合。纸张的第二部分是评估这些方法的图像分类，微小的图像识别和对象检测方法，其中显示了这类数据增强提高了深度神经网络的整体性能。

Regional dropout strategies have been proposed to enhance the performance of convolutional neural network classifiers. They have proved to be effective for guiding the model to attend on less discriminative parts of objects (e.g. leg as opposed to head of a person), thereby letting the network generalize better and have better object localization capabilities. On the other hand, current methods for regional dropout remove informative pixels on training images by overlaying a patch of either black pixels or random noise. Such removal is not desirable because it leads to information loss and inefficiency during training. We therefore propose the CutMix augmentation strategy: patches are cut and pasted among training images where the ground truth labels are also mixed proportionally to the area of the patches. By making efficient use of training pixels and retaining the regularization effect of regional dropout, CutMix consistently outperforms the state-of-the-art augmentation strategies on CI-FAR and ImageNet classification tasks, as well as on the Im-ageNet weakly-supervised localization task. Moreover, unlike previous augmentation methods, our CutMix-trained ImageNet classifier, when used as a pretrained model, results in consistent performance gains in Pascal detection and MS-COCO image captioning benchmarks. We also show that CutMix improves the model robustness against input corruptions and its out-of-distribution detection performances. Source code and pretrained models are available at https://github.com/clovaai/CutMix-PyTorch.

混合方案表明混合一对样品以创造增强的训练样本，并最近获得了相当大的关注，以提高神经网络的普遍性。混合的简单和广泛使用的扩展是与区域辍学方法相结合：从样品中除去随机贴片并用另一个样品的特征替换。尽管它们的简单性和有效性，但这些方法易于由于它们的随机性而产生有害样品。为了解决这个问题，最近提出了“最大显着性”策略：只选择最具信息性的功能以防止这种现象。然而，他们现在缺乏样品多样化，因为它们总是确定具有最大显着性的区域，将偏置注入增强数据。在本文中，我们展示了一种新颖，简单的混合变体，捕获了两个世界的最佳变化。我们的想法是两倍。通过将特征的随机抽查和“将它们嫁接到另一个样本”，我们的方法有效地产生了多样化但有意义的样本。其第二种成分是通过以显着校准的方式混合标签来生产接枝样品的标签，这整流了随机抽样程序引入的监督误导。我们在CiFar，微小想象成和Imagenet数据集下的实验表明，我们的方案不仅在分类准确性方面优于当前的最先进的增强策略，但在数据损坏等压力条件下也是优越的对象遮挡。

CutMix是一种流行的增强技术，通常用于训练现代卷积和变压器视觉网络。它最初旨在鼓励卷积神经网络（CNN）更多地关注图像的全球环境，而不是本地信息，从而大大提高了CNN的性能。但是，我们发现它对自然具有全球接收领域的基于变压器的体系结构的好处有限。在本文中，我们提出了一种新型的数据增强技术图，以提高视觉变压器的性能。 TokenMix通过将混合区分为多个分离的零件，将两个图像在令牌级别混合。此外，我们表明，Cutmix中的混合学习目标是一对地面真相标签的线性组合，可能是不准确的，有时是违反直觉的。为了获得更合适的目标，我们建议根据预先训练的教师模型的两个图像的基于内容的神经激活图分配目标得分，该图像不需要具有高性能。通过大量有关各种视觉变压器体系结构的实验，我们表明我们提出的TokenMix可以帮助视觉变形金刚专注于前景区域，以推断班级并增强其稳健性，以稳定的性能增长。值得注意的是，我们使用 +1％Imagenet TOP-1精度改善DEIT-T/S/B。此外，TokenMix的训练较长，在Imainet上获得了81.2％的TOP-1精度，而DEIT-S训练了400个时代。代码可从https://github.com/sense-x/tokenmix获得。

事实证明，数据混合对提高深神经网络的概括能力是有效的。虽然早期方法通过手工制作的策略（例如线性插值）混合样品，但最新方法利用显着性信息通过复杂的离线优化来匹配混合样品和标签。但是，在精确的混合政策和优化复杂性之间进行了权衡。为了应对这一挑战，我们提出了一个新颖的自动混合（Automix）框架，其中混合策略被参数化并直接实现最终分类目标。具体而言，Automix将混合分类重新定义为两个子任务（即混合样品生成和混合分类）与相应的子网络，并在双层优化框架中求解它们。对于这一代，可学习的轻质混合发电机Mix Block旨在通过在相应混合标签的直接监督下对贴片的关系进行建模，以生成混合样品。为了防止双层优化的降解和不稳定性，我们进一步引入了动量管道以端到端的方式训练汽车。与在各种分类场景和下游任务中的最新图像相比，九个图像基准的广泛实验证明了汽车的优势。

混合是深度神经网络的流行数据依赖性增强技术，其包含两个子任务，混合生成和分类。社区通常将混合限制在监督学习（SL）中，并且生成子任务的目的是固定到采样的对，而不是考虑整个数据歧管。为了克服这些限制，我们系统地研究了两个子任务的目标，并为SL和自我监督的学习（SSL）方案，命名为Samix的两个子任务和提出情景 - 激动化混合。具体而言，我们假设并验证混合生成的核心目标，因为优化来自其他类别的全球歧视的两个类之间的局部平滑度。基于这一发现，提出了$ \ eta $ -Balanced混合丢失，以进行两个子任务的互补培训。同时，生成子任务被参数化为可优化的模块，混音器，其利用注意机制来生成混合样本而无需标记依赖性。对SL和SSL任务的广泛实验表明SAMIX始终如一地优于大边距。

我们向您展示一次（YOCO）进行数据增强。 Yoco将一张图像切成两片，并在每件零件中单独执行数据增强。应用YOCO改善了每个样品的增强的多样性，并鼓励神经网络从部分信息中识别对象。 Yoco享受无参数，轻松使用的属性，并免费提供几乎所有的增强功能。进行了彻底的实验以评估其有效性。我们首先证明Yoco可以无缝地应用于不同的数据增强，神经网络体系结构，并在CIFAR和Imagenet分类任务上带来性能提高，有时会超过传统的图像级增强。此外，我们显示了Yoco益处对比的预培训，以更强大的表示，可以更好地转移到多个下游任务。最后，我们研究了Yoco的许多变体，并经验分析了各个设置的性能。代码可在GitHub上找到。

已经发现基于混合的增强对于培训期间的概括模型有效，特别是对于视觉变压器（VITS），因为它们很容易过度装备。然而，先前的基于混合的方法具有潜在的先验知识，即目标的线性内插比应保持与输入插值中提出的比率相同。这可能导致一个奇怪的现象，有时由于增强中的随机过程，混合图像中没有有效对象，但标签空间仍然存在响应。为了弥合输入和标签空间之间的这种差距，我们提出了透明度，该差别将基于视觉变压器的注意图混合标签。如果受关注图的相应输入图像加权，则标签的置信度将会更大。传输令人尴尬地简单，可以在几行代码中实现，而不会在不引入任何额外的参数和拖鞋到基于Vit的模型。实验结果表明，我们的方法可以在想象集分类上一致地始终改善各种基于Vit的模型。在ImageNet上预先接受过扫描后，基于Vit的模型还展示了对语义分割，对象检测和实例分割的更好的可转换性。当在评估4个不同的基准时，传输展示展示更加强劲。代码将在https://github.com/beckschen/transmix上公开提供。

Modern deep networks can be better generalized when trained with noisy samples and regularization techniques. Mixup and CutMix have been proven to be effective for data augmentation to help avoid overfitting. Previous Mixup-based methods linearly combine images and labels to generate additional training data. However, this is problematic if the object does not occupy the whole image as we demonstrate in Figure 1. Correctly assigning the label weights is hard even for human beings and there is no clear criterion to measure it. To tackle this problem, in this paper, we propose LUMix, which models such uncertainty by adding label perturbation during training. LUMix is simple as it can be implemented in just a few lines of code and can be universally applied to any deep networks \eg CNNs and Vision Transformers, with minimal computational cost. Extensive experiments show that our LUMix can consistently boost the performance for networks with a wide range of diversity and capacity on ImageNet, \eg $+0.7\%$ for a small model DeiT-S and $+0.6\%$ for a large variant XCiT-L. We also demonstrate that LUMix can lead to better robustness when evaluated on ImageNet-O and ImageNet-A. The source code can be found \href{https://github.com/kevin-ssy/LUMix}{here}

使用深度学习模型从组织学数据中诊断癌症提出了一些挑战。这些图像中关注区域（ROI）的癌症分级和定位通常依赖于图像和像素级标签，后者需要昂贵的注释过程。深度弱监督的对象定位（WSOL）方法为深度学习模型的低成本培训提供了不同的策略。仅使用图像级注释，可以训练这些方法以对图像进行分类，并为ROI定位进行分类类激活图（CAM）。本文综述了WSOL的​​最先进的DL方法。我们提出了一种分类法，根据模型中的信息流，将这些方法分为自下而上和自上而下的方法。尽管后者的进展有限，但最近的自下而上方法目前通过深层WSOL方法推动了很多进展。早期作品的重点是设计不同的空间合并功能。但是，这些方法达到了有限的定位准确性，并揭示了一个主要限制 - 凸轮的不足激活导致了高假阴性定位。随后的工作旨在减轻此问题并恢复完整的对象。评估和比较了两个具有挑战性的组织学数据集的分类和本地化准确性，对我们的分类学方法进行了评估和比较。总体而言，结果表明定位性能差，特别是对于最初设计用于处理自然图像的通用方法。旨在解决组织学数据挑战的方法产生了良好的结果。但是，所有方法都遭受高假阳性/阴性定位的影响。在组织学中应用深WSOL方法的应用是四个关键的挑战 - 凸轮的激活下/过度激活，对阈值的敏感性和模型选择。

CutMix is a vital augmentation strategy that determines the performance and generalization ability of vision transformers (ViTs). However, the inconsistency between the mixed images and the corresponding labels harms its efficacy. Existing CutMix variants tackle this problem by generating more consistent mixed images or more precise mixed labels, but inevitably introduce heavy training overhead or require extra information, undermining ease of use. To this end, we propose an efficient and effective Self-Motivated image Mixing method (SMMix), which motivates both image and label enhancement by the model under training itself. Specifically, we propose a max-min attention region mixing approach that enriches the attention-focused objects in the mixed images. Then, we introduce a fine-grained label assignment technique that co-trains the output tokens of mixed images with fine-grained supervision. Moreover, we devise a novel feature consistency constraint to align features from mixed and unmixed images. Due to the subtle designs of the self-motivated paradigm, our SMMix is significant in its smaller training overhead and better performance than other CutMix variants. In particular, SMMix improves the accuracy of DeiT-T/S, CaiT-XXS-24/36, and PVT-T/S/M/L by more than +1% on ImageNet-1k. The generalization capability of our method is also demonstrated on downstream tasks and out-of-distribution datasets. Code of this project is available at https://github.com/ChenMnZ/SMMix.

深度神经网络能够学习强大的表示以应对复杂的视觉任务，但揭示了不合适的问题等不良属性。为此，深层神经网络等正规化技术诸如图像增强是必要的。然而，大多数普遍的图像增强食谱都局限于现成的线性转换，例如刻度，翻转和颜色jitter。由于其手工制作的财产，这些增强不足以产生真正的硬增强示例。在本文中，我们提出了一种新颖的增强视角，以使培训过程正常。受到将蒙版图像建模应用于自我监督学习的最新成功的启发，我们采用了自我监督的蒙版自动编码器来生成输入图像的扭曲视图。我们表明，利用这种基于模型的非线性转换作为数据增强可以改善高级识别任务。我们将提出的方法称为\ textbf {m} ask- \ textbf {r} econstruct \ textbf {a} u gengementation（mra）。各种图像分类基准的广泛实验验证了提出的增强的有效性。具体而言，MRA始终提高受监督，半监督和少量分类的性能。该代码将在\ url {https://github.com/haohang96/mra}上提供。

In this paper, we introduce Random Erasing, a new data augmentation method for training the convolutional neural network (CNN). In training, Random Erasing randomly selects a rectangle region in an image and erases its pixels with random values. In this process, training images with various levels of occlusion are generated, which reduces the risk of over-fitting and makes the model robust to occlusion. Random Erasing is parameter learning free, easy to implement, and can be integrated with most of the CNN-based recognition models. Albeit simple, Random Erasing is complementary to commonly used data augmentation techniques such as random cropping and flipping, and yields consistent improvement over strong baselines in image classification, object detection and person reidentification. Code is available at: https://github. com/zhunzhong07/Random-Erasing.

最近最近的半监督学习（SSL）研究建立了教师学生的建筑，并通过教师产生的监督信号训练学生网络。数据增强策略在SSL框架中发挥着重要作用，因为很难在不丢失标签信息的情况下创建弱强度增强的输入对。特别是当将SSL扩展到半监督对象检测（SSOD）时，许多与图像几何和插值正则化相关的强大增强方法很难利用，因为它们可能损坏了对象检测任务中的边界框的位置信息。为解决此问题，我们介绍了一个简单但有效的数据增强方法，MIX / unmix（MUM），其中解密为SSOD框架的混合图像块的瓷砖。我们所提出的方法使混合输入图像块进行混合输入图像块，并在特征空间中重建它们。因此，妈妈可以从未插入的伪标签享受插值正则化效果，并成功地生成有意义的弱强对。此外，妈妈可以容易地配备各种SSOD方法。在MS-Coco和Pascal VOC数据集上的广泛实验通过在所有测试的SSOD基准协议中始终如一地提高基线的地图性能，证明了妈妈的优越性。

深度学习的快速发展在分割方面取得了长足的进步，这是计算机视觉的基本任务之一。但是，当前的细分算法主要取决于像素级注释的可用性，这些注释通常昂贵，乏味且费力。为了减轻这一负担，过去几年见证了越来越多的关注，以建立标签高效，深度学习的细分算法。本文对标签有效的细分方法进行了全面的审查。为此，我们首先根据不同类型的弱标签提供的监督（包括没有监督，粗略监督，不完整的监督和嘈杂的监督和嘈杂的监督），首先开发出一种分类法来组织这些方法，并通过细分类型（包括语义细分）补充，实例分割和全景分割）。接下来，我们从统一的角度总结了现有的标签有效的细分方法，该方法讨论了一个重要的问题：如何弥合弱监督和密集预测之间的差距 - 当前的方法主要基于启发式先导，例如交叉像素相似性，跨标签约束，跨视图一致性，跨图像关系等。最后，我们分享了对标签有效深层细分的未来研究方向的看法。

数据增强是改善深神经网络概括的必不可少的技术。大多数现有的图像域增强剂要么依赖几何和结构变换，要么应用不同种类的光度扭曲。在本文中，我们提出了一种有效的技术，可以通过将上下文有意义的知识注入场景中。我们通过语言接地（Semaug）进行对象检测的语义上有意义的图像增强方法首先计算出可以将其放置在图像中相关位置的语义上适当的新对象（问题和位置）。然后，它将这些对象嵌入其相关目标位置，从而促进对象实例分布的多样性。我们的方法允许介绍培训集中可能不存在的新对象实例和类别。此外，它不需要培训上下文网络的额外开销，因此可以轻松地将其添加到现有架构中。我们全面的评估集表明，所提出的方法在改善概括方面非常有效，而开销可以忽略不计。特别是，对于广泛的模型体系结构，我们的方法分别在Pascal VOC和COCO数据集上实现了约2-4％和〜1-2％的MAP改进。

自我监督学习的最新进展证明了多种视觉任务的有希望的结果。高性能自我监督方法中的一个重要成分是通过培训模型使用数据增强，以便在嵌入空间附近的相同图像的不同增强视图。然而，常用的增强管道整体地对待图像，忽略图像的部分的语义相关性-e.g。主题与背景 - 这可能导致学习杂散相关性。我们的工作通过调查一类简单但高度有效的“背景增强”来解决这个问题，这鼓励模型专注于语义相关内容，劝阻它们专注于图像背景。通过系统的调查，我们表明背景增强导致在各种任务中跨越一系列最先进的自我监督方法（MOCO-V2，BYOL，SWAV）的性能大量改进。 $ \ SIM $ + 1-2％的ImageNet收益，使得与监督基准的表现有关。此外，我们发现有限标签设置的改进甚至更大（高达4.2％）。背景技术增强还改善了许多分布换档的鲁棒性，包括天然对抗性实例，想象群-9，对抗性攻击，想象成型。我们还在产生了用于背景增强的显着掩模的过程中完全无监督的显着性检测进展。

机器学习模型通常会遇到与训练分布不同的样本。无法识别分布（OOD）样本，因此将该样本分配给课堂标签会显着损害模​​型的可靠性。由于其对在开放世界中的安全部署模型的重要性，该问题引起了重大关注。由于对所有可能的未知分布进行建模的棘手性，检测OOD样品是具有挑战性的。迄今为止，一些研究领域解决了检测陌生样本的问题，包括异常检测，新颖性检测，一级学习，开放式识别识别和分布外检测。尽管有相似和共同的概念，但分别分布，开放式检测和异常检测已被独立研究。因此，这些研究途径尚未交叉授粉，创造了研究障碍。尽管某些调查打算概述这些方法，但它们似乎仅关注特定领域，而无需检查不同领域之间的关系。这项调查旨在在确定其共同点的同时，对各个领域的众多著名作品进行跨域和全面的审查。研究人员可以从不同领域的研究进展概述中受益，并协同发展未来的方法。此外，据我们所知，虽然进行异常检测或单级学习进行了调查，但没有关于分布外检测的全面或最新的调查，我们的调查可广泛涵盖。最后，有了统一的跨域视角，我们讨论并阐明了未来的研究线，打算将这些领域更加紧密地融为一体。

Jitendra Malik once said, "Supervision is the opium of the AI researcher". Most deep learning techniques heavily rely on extreme amounts of human labels to work effectively. In today's world, the rate of data creation greatly surpasses the rate of data annotation. Full reliance on human annotations is just a temporary means to solve current closed problems in AI. In reality, only a tiny fraction of data is annotated. Annotation Efficient Learning (AEL) is a study of algorithms to train models effectively with fewer annotations. To thrive in AEL environments, we need deep learning techniques that rely less on manual annotations (e.g., image, bounding-box, and per-pixel labels), but learn useful information from unlabeled data. In this thesis, we explore five different techniques for handling AEL.

Mix-up training approaches have proven to be effective in improving the generalization ability of Deep Neural Networks. Over the years, the research community expands mix-up methods into two directions, with extensive efforts to improve saliency-guided procedures but minimal focus on the arbitrary path, leaving the randomization domain unexplored. In this paper, inspired by the superior qualities of each direction over one another, we introduce a novel method that lies at the junction of the two routes. By combining the best elements of randomness and saliency utilization, our method balances speed, simplicity, and accuracy. We name our method R-Mix following the concept of "Random Mix-up". We demonstrate its effectiveness in generalization, weakly supervised object localization, calibration, and robustness to adversarial attacks. Finally, in order to address the question of whether there exists a better decision protocol, we train a Reinforcement Learning agent that decides the mix-up policies based on the classifier's performance, reducing dependency on human-designed objectives and hyperparameter tuning. Extensive experiments further show that the agent is capable of performing at the cutting-edge level, laying the foundation for a fully automatic mix-up. Our code is released at [https://github.com/minhlong94/Random-Mixup].