数据增强（DA）已被广泛调查，以便于多项任务中的模型优化。然而，在大多数情况下，对于具有某种概率的每个训练样本随机地对数据增强进行数据增强，这可能会产生内容破坏和视觉模糊。为了消除这一点，在本文中，我们提出了一种有效的方法，将选择，以基于样本内容和网络培训状态选择要以确定性和在线方式增强的样本。具体而言，在每批中，我们首先确定增强比，然后决定是否以这种比率增强每个训练样本。我们将此过程塑造为两步马尔可夫决策过程，并采用分层强化学习（HRL）来学习增强策略。以这种方式，可以有效地缓解选择用于增强的样品在选择样品时的负面影响，并且改善了DA的有效性。广泛的实验表明，我们所提出的选择可以适应许多常用的DA方法，例如混合，切割，自动化等，以及改善图像分类和细粒度图像识别的多个基准数据集中的性能。

近年来，计算机视觉社区中最受欢迎的技术之一就是深度学习技术。作为一种数据驱动的技术，深层模型需要大量准确标记的培训数据，这在许多现实世界中通常是无法访问的。数据空间解决方案是数据增强（DA），可以人为地从原始样本中生成新图像。图像增强策略可能因数据集而有所不同，因为不同的数据类型可能需要不同的增强以促进模型培训。但是，DA策略的设计主要由具有领域知识的人类专家决定，这被认为是高度主观和错误的。为了减轻此类问题，一个新颖的方向是使用自动数据增强（AUTODA）技术自动从给定数据集中学习图像增强策略。 Autoda模型的目的是找到可以最大化模型性能提高的最佳DA策略。这项调查从图像分类的角度讨论了Autoda技术出现的根本原因。我们确定标准自动赛车模型的三个关键组件：搜索空间，搜索算法和评估功能。根据他们的架构，我们提供了现有图像AUTODA方法的系统分类法。本文介绍了Autoda领域的主要作品，讨论了他们的利弊，并提出了一些潜在的方向以进行未来的改进。

Data augmentation is an effective technique for improving the accuracy of modern image classifiers. However, current data augmentation implementations are manually designed. In this paper, we describe a simple procedure called AutoAugment to automatically search for improved data augmentation policies. In our implementation, we have designed a search space where a policy consists of many subpolicies, one of which is randomly chosen for each image in each mini-batch. A sub-policy consists of two operations, each operation being an image processing function such as translation, rotation, or shearing, and the probabilities and magnitudes with which the functions are applied. We use a search algorithm to find the best policy such that the neural network yields the highest validation accuracy on a target dataset. Our method achieves state-of-the-art accuracy on SVHN, and ImageNet (without additional data). On ImageNet, we attain a Top-1 accuracy of 83.5% which is 0.4% better than the previous record of 83.1%. On CIFAR-10, we achieve an error rate of 1.5%, which is 0.6% better than the previous state-of-theart. Augmentation policies we find are transferable between datasets. The policy learned on ImageNet transfers well to achieve significant improvements on other datasets, such as Oxford Flowers, Caltech-101, Oxford-IIT Pets, FGVC Aircraft, and Stanford Cars. * Work performed as a member of the Google Brain Residency Program.† Equal contribution.

现有的自动数据增强（DA）方法要么忽略根据培训期间目标模型的状态根据目标模型的状态忽略更新DA的参数，要么采用不够有效的更新策略。在这项工作中，我们设计了一种新型的数据增强策略，称为“通用自适应数据增强”（UADA）。与现有方法不同，UADA会根据目标模型在训练过程中根据目标模型的梯度信息自适应地更新DA的参数：给定预定义的DA操作集，我们随机确定培训期间每个数据批次的DA操作的类型和大小，并自适应地更新DA的参数沿损失的梯度方向与DA参数有关。这样，UADA可以增加目标网络的训练损失，而目标网络将从更艰难的样本中学习以改善概括的功能。此外，UADA非常通用，可以在许多任务中使用，例如图像分类，语义分割和对象检测。在CIFAR-10，CIFAR-100，ImageNet，Tiny-Imagenet，CityScapes和VOC07+12上进行了各种模型的广泛实验，以证明我们提出的适应性增强带来了重大的性能改善。

Model bias triggered by long-tailed data has been widely studied. However, measure based on the number of samples cannot explicate three phenomena simultaneously: (1) Given enough data, the classification performance gain is marginal with additional samples. (2) Classification performance decays precipitously as the number of training samples decreases when there is insufficient data. (3) Model trained on sample-balanced datasets still has different biases for different classes. In this work, we define and quantify the semantic scale of classes, which is used to measure the feature diversity of classes. It is exciting to find experimentally that there is a marginal effect of semantic scale, which perfectly describes the first two phenomena. Further, the quantitative measurement of semantic scale imbalance is proposed, which can accurately reflect model bias on multiple datasets, even on sample-balanced data, revealing a novel perspective for the study of class imbalance. Due to the prevalence of semantic scale imbalance, we propose semantic-scale-balanced learning, including a general loss improvement scheme and a dynamic re-weighting training framework that overcomes the challenge of calculating semantic scales in real-time during iterations. Comprehensive experiments show that dynamic semantic-scale-balanced learning consistently enables the model to perform superiorly on large-scale long-tailed and non-long-tailed natural and medical datasets, which is a good starting point for mitigating the prevalent but unnoticed model bias.

在本文中，我们基于任何卷积神经网络中中间注意图的弱监督生成机制，并更加直接地披露了注意模块的有效性，以充分利用其潜力。鉴于现有的神经网络配备了任意注意模块，我们介绍了一个元评论家网络，以评估主网络中注意力图的质量。由于我们设计的奖励的离散性，提出的学习方法是在强化学习环境中安排的，在此设置中，注意力参与者和经常性的批评家交替优化，以提供临时注意力表示的即时批评和修订，因此，由于深度强化的注意力学习而引起了人们的关注。 （Dreal）。它可以普遍应用于具有不同类型的注意模块的网络体系结构，并通过最大程度地提高每个单独注意模块产生的最终识别性能的相对增益来促进其表现能力，如类别和实例识别基准的广泛实验所证明的那样。

与准确性和计算成本具有密切关系的图像分辨率在网络培训中发挥了关键作用。在本文中，我们观察到缩小图像保留相对完整的形状语义，但是失去了广泛的纹理信息。通过形状语义的一致性和纹理信息的脆弱的启发，我们提出了一个名为时间性解决方案递减的新颖培训策略。其中，我们在时域中随机将训练图像降低到较小的分辨率。在使用缩小图像和原始图像的替代训练期间，图像中的不稳定纹理信息导致纹理相关模式与正确标签之间的相关性较弱，自然强制执行模型，以更多地依赖于稳健的形状属性。符合人类决策规则。令人惊讶的是，我们的方法大大提高了卷积神经网络的计算效率。在Imagenet分类上，使用33％的计算量（随机将培训图像随机降低到112 $ \倍112美元）仍然可以将resnet-50从76.32％提高到77.71％，并使用63％的计算量（随机减少在50％时期的训练图像到112 x 112）可以改善resnet-50至78.18％。

可以通过对手动预定义目标的监督（例如，一hot或Hadamard代码）进行深入的表示学习来解决细粒度的视觉分类。这种目标编码方案对于模型间相关性的灵活性较小，并且对稀疏和不平衡的数据分布也很敏感。鉴于此，本文介绍了一种新颖的目标编码方案 - 动态目标关系图（DTRG），作为辅助特征正则化，是一个自生成的结构输出，可根据输入图像映射。具体而言，类级特征中心的在线计算旨在在表示空间中生成跨类别距离，因此可以通过非参数方式通过动态图来描绘。明确最大程度地减少锚定在这些级别中心的阶层内特征变化可以鼓励学习判别特征。此外，由于利用了类间的依赖性，提出的目标图可以减轻代表学习中的数据稀疏性和不稳定。受混合风格数据增强的最新成功的启发，本文将随机性引入了动态目标关系图的软结构，以进一步探索目标类别的关系多样性。实验结果可以证明我们方法对多个视觉分类任务的许多不同基准的有效性，尤其是在流行的细粒对象基准上实现最先进的性能以及针对稀疏和不平衡数据的出色鲁棒性。源代码可在https://github.com/akonlau/dtrg上公开提供。

在本文中，我们主要关注如何通过借口任务（例如旋转或颜色置换等）学习其他特征表示形式的其他特征表示形式。借口任务产生的这种附加知识可以进一步提高几次学习（FSL）的性能，因为它与人类通知的监督（即FSL任务的类标签）有所不同。为了解决此问题，我们提出了插入式层次树结构感知（HTS）方法，该方法不仅了解FSL和借口任务的关系，而且更重要的是，可以自适应地选择和汇总由借口任务生成的特征表示，以最大化FSL任务的性能。引入了层次树构造组件和封闭式选择汇总组件来构建树结构并找到更丰富的可转移知识，这些知识可以迅速适应具有一些标记的图像的新颖类。广泛的实验表明，我们的HTS可以显着增强多种几次方法，以在四个基准数据集上实现新的最新性能。该代码可在以下网址获得：https：//github.com/remimz/hts-eccv22。

在许多分类问题中，我们希望一个对一系列非语义转换具有强大的分类器。例如，无论其出现的方向和姿势如何，人都可以识别图片中的狗。存在实质性证据表明这种不变性可以显着提高机器学习模型的准确性和泛化。教导模型几何修正型的常用技术是通过变换输入来增加训练数据。但是，对于给定的分类任务期望需要哪种修正，并不总是已知的。确定有效的数据增强策略可以要求域专业知识或广泛的数据预处理。最近的努力，如自动化优化数据增强策略的参数化搜索空间，以自动化增强过程。虽然自动化和类似方法在几个常见的数据集上实现最先进的分类准确性，但它们仅限于学习一个数据增强策略。通常不同的类别或功能呼叫不同的几何修正。我们介绍了动态网络增强（DNA），从而了解输入条件增强策略。我们模型中的增强参数是神经网络的输出，并且随着网络权重被更新时被隐式学习。我们的模型允许动态增强策略，并在输入功能上具有几何变换的数据良好。

为了跟踪视频中的目标，当前的视觉跟踪器通常采用贪婪搜索每个帧中目标对象定位，也就是说，将选择最大响应分数的候选区域作为每个帧的跟踪结果。但是，我们发现这可能不是一个最佳选择，尤其是在遇到挑战性的跟踪方案（例如重闭塞和快速运动）时。为了解决这个问题，我们建议维护多个跟踪轨迹并将光束搜索策略应用于视觉跟踪，以便可以识别出更少的累积错误的轨迹。因此，本文介绍了一种新型的基于梁搜索策略的新型多代理增强学习策略，称为横梁。它主要是受图像字幕任务的启发，该任务将图像作为输入，并使用Beam搜索算法生成多种描述。因此，我们通过多个并行决策过程来将跟踪提出作为样本选择问题，每个过程旨在将一个样本作为每个帧的跟踪结果选择。每个维护的轨迹都与代理商相关联，以执行决策并确定应采取哪些操作来更新相关信息。处理所有帧时，我们将最大累积分数作为跟踪结果选择轨迹。在七个流行的跟踪基准数据集上进行了广泛的实验证实了所提出的算法的有效性。

Data augmentation (DA) is a widely used technique for enhancing the training of deep neural networks. Recent DA techniques which achieve state-of-the-art performance always meet the need for diversity in augmented training samples. However, an augmentation strategy that has a high diversity usually introduces out-of-distribution (OOD) augmented samples and these samples consequently impair the performance. To alleviate this issue, we propose ReSmooth, a framework that firstly detects OOD samples in augmented samples and then leverages them. To be specific, we first use a Gaussian mixture model to fit the loss distribution of both the original and augmented samples and accordingly split these samples into in-distribution (ID) samples and OOD samples. Then we start a new training where ID and OOD samples are incorporated with different smooth labels. By treating ID samples and OOD samples unequally, we can make better use of the diverse augmented data. Further, we incorporate our ReSmooth framework with negative data augmentation strategies. By properly handling their intentionally created OOD samples, the classification performance of negative data augmentations is largely ameliorated. Experiments on several classification benchmarks show that ReSmooth can be easily extended to existing augmentation strategies (such as RandAugment, rotate, and jigsaw) and improve on them. Our code is available at https://github.com/Chenyang4/ReSmooth.

最近先进的无监督学习方法使用暹罗样框架来比较来自同一图像的两个“视图”以进行学习表示。使两个视图独特是一种保证无监督方法可以学习有意义的信息的核心。但是，如果使用用于生成两个视图的增强不足够强度，此类框架有时会易碎过度装备，导致培训数据上的过度自信的问题。此缺点会阻碍模型，从学习微妙方差和细粒度信息。为了解决这个问题，在这项工作中，我们的目标是涉及在无监督的学习中的标签空间上的距离概念，并让模型通过混合输入数据空间来了解正面或负对对之间的柔和程度，以便协同工作输入和损耗空间。尽管其概念性简单，我们凭借解决的解决方案 - 无监督图像混合（UN-MIX），我们可以从转换的输入和相应的新标签空间中学习Subtler，更强大和广义表示。广泛的实验在CiFar-10，CiFar-100，STL-10，微小的想象和标准想象中进行了流行的无人监督方法SIMCLR，BYOL，MOCO V1和V2，SWAV等。我们所提出的图像混合物和标签分配策略可以获得一致的改进在完全相同的超参数和基础方法的培训程序之后1〜3％。代码在https://github.com/szq0214/un-mix上公开提供。

混合方案表明混合一对样品以创造增强的训练样本，并最近获得了相当大的关注，以提高神经网络的普遍性。混合的简单和广泛使用的扩展是与区域辍学方法相结合：从样品中除去随机贴片并用另一个样品的特征替换。尽管它们的简单性和有效性，但这些方法易于由于它们的随机性而产生有害样品。为了解决这个问题，最近提出了“最大显着性”策略：只选择最具信息性的功能以防止这种现象。然而，他们现在缺乏样品多样化，因为它们总是确定具有最大显着性的区域，将偏置注入增强数据。在本文中，我们展示了一种新颖，简单的混合变体，捕获了两个世界的最佳变化。我们的想法是两倍。通过将特征的随机抽查和“将它们嫁接到另一个样本”，我们的方法有效地产生了多样化但有意义的样本。其第二种成分是通过以显着校准的方式混合标签来生产接枝样品的标签，这整流了随机抽样程序引入的监督误导。我们在CiFar，微小想象成和Imagenet数据集下的实验表明，我们的方案不仅在分类准确性方面优于当前的最先进的增强策略，但在数据损坏等压力条件下也是优越的对象遮挡。

Starcraft II（SC2）对强化学习（RL）提出了巨大的挑战，其中主要困难包括巨大的状态空间，不同的动作空间和长期的视野。在这项工作中，我们研究了《星际争霸II》全长游戏的一系列RL技术。我们研究了涉及提取的宏观活动和神经网络的层次结构的层次RL方法。我们研究了课程转移培训程序，并在具有4个GPU和48个CPU线的单台计算机上训练代理。在64x64地图并使用限制性单元上，我们对内置AI的获胜率达到99％。通过课程转移学习算法和战斗模型的混合物，我们在最困难的非作战水平内置AI（7级）中获得了93％的胜利率。在本文的扩展版本中，我们改进了架构，以针对作弊水平训练代理商，并在8级，9级和10级AIS上达到胜利率，为96％，97％和94 ％， 分别。我们的代码在https://github.com/liuruoze/hiernet-sc2上。为了为我们的工作以及研究和开源社区提供基线，我们将其复制了一个缩放版本的Mini-Alphastar（MAS）。 MAS的最新版本为1.07，可以在具有564个动作的原始动作空间上进行培训。它旨在通过使超参数可调节来在单个普通机器上进行训练。然后，我们使用相同的资源将我们的工作与MAS进行比较，并表明我们的方法更有效。迷你α的代码在https://github.com/liuruoze/mini-alphastar上。我们希望我们的研究能够阐明对SC2和其他大型游戏有效增强学习的未来研究。

Visual reinforcement learning (RL), which makes decisions directly from high-dimensional visual inputs, has demonstrated significant potential in various domains. However, deploying visual RL techniques in the real world remains challenging due to their low sample efficiency and large generalization gaps. To tackle these obstacles, data augmentation (DA) has become a widely used technique in visual RL for acquiring sample-efficient and generalizable policies by diversifying the training data. This survey aims to provide a timely and essential review of DA techniques in visual RL in recognition of the thriving development in this field. In particular, we propose a unified framework for analyzing visual RL and understanding the role of DA in it. We then present a principled taxonomy of the existing augmentation techniques used in visual RL and conduct an in-depth discussion on how to better leverage augmented data in different scenarios. Moreover, we report a systematic empirical evaluation of DA-based techniques in visual RL and conclude by highlighting the directions for future research. As the first comprehensive survey of DA in visual RL, this work is expected to offer valuable guidance to this emerging field.

事实证明，数据混合对提高深神经网络的概括能力是有效的。虽然早期方法通过手工制作的策略（例如线性插值）混合样品，但最新方法利用显着性信息通过复杂的离线优化来匹配混合样品和标签。但是，在精确的混合政策和优化复杂性之间进行了权衡。为了应对这一挑战，我们提出了一个新颖的自动混合（Automix）框架，其中混合策略被参数化并直接实现最终分类目标。具体而言，Automix将混合分类重新定义为两个子任务（即混合样品生成和混合分类）与相应的子网络，并在双层优化框架中求解它们。对于这一代，可学习的轻质混合发电机Mix Block旨在通过在相应混合标签的直接监督下对贴片的关系进行建模，以生成混合样品。为了防止双层优化的降解和不稳定性，我们进一步引入了动量管道以端到端的方式训练汽车。与在各种分类场景和下游任务中的最新图像相比，九个图像基准的广泛实验证明了汽车的优势。

Data augmentation is a widely used technique for enhancing the generalization ability of convolutional neural networks (CNNs) in image classification tasks. Occlusion is a critical factor that affects on the generalization ability of image classification models. In order to generate new samples, existing data augmentation methods based on information deletion simulate occluded samples by randomly removing some areas in the images. However, those methods cannot delete areas of the images according to their structural features of the images. To solve those problems, we propose a novel data augmentation method, AdvMask, for image classification tasks. Instead of randomly removing areas in the images, AdvMask obtains the key points that have the greatest influence on the classification results via an end-to-end sparse adversarial attack module. Therefore, we can find the most sensitive points of the classification results without considering the diversity of various image appearance and shapes of the object of interest. In addition, a data augmentation module is employed to generate structured masks based on the key points, thus forcing the CNN classification models to seek other relevant content when the most discriminative content is hidden. AdvMask can effectively improve the performance of classification models in the testing process. The experimental results on various datasets and CNN models verify that the proposed method outperforms other previous data augmentation methods in image classification tasks.

虽然由强化学习（RL）训练的代理商可以直接解决越来越具有挑战性的任务，但概括到新颖环境的学习技能仍然非常具有挑战性。大量使用数据增强是一种有助于改善RL的泛化的有希望的技术，但经常发现它降低样品效率，甚至可以导致发散。在本文中，我们在常见的脱离政策RL算法中使用数据增强时调查不稳定性的原因。我们识别两个问题，均植根于高方差Q-targets。基于我们的研究结果，我们提出了一种简单但有效的技术，可以在增强下稳定这类算法。我们在基于Deepmind Control Suite的基准系列和机器人操纵任务中使用扫描和视觉变压器（VIT）对基于图像的RL进行广泛的实证评估。我们的方法极大地提高了增强下的呼声集的稳定性和样本效率，并实现了在具有看不见的视野视觉效果的环境中的图像的RL的最先进方法竞争的普遍化结果。我们进一步表明，我们的方法与基于Vit的亚体系结构的RL缩放，并且数据增强在此设置中可能尤为重要。

最近，数据增强已成为视觉识别任务的现代培训食谱的重要组成部分。但是，尽管有效性，但很少探索视频识别的数据增强。很少有用于视频识别的现有增强食谱通过将相同的操作应用于整个视频框架来天真地扩展图像增强方法。我们的主要思想是，每帧的增强操作的大小都需要随着时间的推移而更改，以捕获现实世界视频的时间变化。在训练过程中，应使用更少的额外超参数来尽可能多地生成这些变化。通过这种动机，我们提出了一个简单而有效的视频数据增强框架Dynaaugment。每个帧上增强操作的大小通过有效的机制，傅立叶采样更改，该采样将各种，平滑和现实的时间变化参数化。 Dynaaugment还包括一个适用于视频的扩展搜索空间，用于自动数据增强方法。 Dynaaugment在实验上表明，从各种视频模型的静态增强中可以改善其他性能室。具体而言，我们在各种视频数据集和任务上显示了Dynaaugment的有效性：大规模视频识别（Kinetics-400和Sothings-Something-v2），小规模视频识别（UCF-101和HMDB-51），精细元素视频识别（潜水48和FINEGYM），早餐的视频动作细分，Thumos'14上的视频动作本地化以及MOT17DET上的视频对象检测。 Dynaaugment还使视频模型能够学习更广泛的表示形式，以改善损坏视频的模型鲁棒性。