数据增强方法丰富具有增强数据的数据集以提高神经网络的性能。最近，已经出现了自动化数据增强方法，自动设计增强策略。现有工作侧重于图像分类和对象检测，而我们提供了关于语义图像分割的第一次研究，并引入了两种新方法：\ Textit {Smartaugment}和\ Textit {SmartSamplingAugment}。 Smartaugment使用贝叶斯优化来搜索增强策略的丰富空间，并在我们考虑的所有语义细分任务中实现了新的最先进的性能。 SmartSamplingAugment，一种具有固定增强策略的简单参数方法，可与现有的资源密集型方法竞争性能，并且优于廉价的最先进的数据增强方法。此外，我们分析了数据增强超参数的影响，互动和重要性，并进行了融合研究，这确认了我们的设计选择，背后是Smartaugment和SmartSamplingAugment。最后，我们将提供我们的源代码以进行再现性，并促进进一步的研究。

自学学习（SSL）已成为深度学习研究的一个非常活跃的领域，在该领域中，它被大量用作分类和其他任务的预培训方法。但是，该领域的进步速度的迅速速度是一个代价：培训管道之间的培训管道差异很大，这是一个潜在的至关重要的混杂因素。在这里，我们表明，实际上，超参数和数据增强策略的选择可能会对性能产生巨大影响。为了阐明这些被忽视的因素并有助于最大化SSL的功能，我们将这些组件过度参数化并通过贝叶斯优化优化它们，从而显示了S​​IMSIAM SSL方法的多个数据集的改进。意识到数据增强对SSL的重要性，我们还引入了一种新的自动数据增强算法，小组声名格，该算法考虑了增强组的组并优化了跨组的采样。与为监督学习设计的算法相反，在我们考虑的所有数据集中，团体声明达到了一致的线性评估准确性。总体而言，我们的结果表明数据增强对SSL的重要性和可能低估的作用。

近年来，计算机视觉社区中最受欢迎的技术之一就是深度学习技术。作为一种数据驱动的技术，深层模型需要大量准确标记的培训数据，这在许多现实世界中通常是无法访问的。数据空间解决方案是数据增强（DA），可以人为地从原始样本中生成新图像。图像增强策略可能因数据集而有所不同，因为不同的数据类型可能需要不同的增强以促进模型培训。但是，DA策略的设计主要由具有领域知识的人类专家决定，这被认为是高度主观和错误的。为了减轻此类问题，一个新颖的方向是使用自动数据增强（AUTODA）技术自动从给定数据集中学习图像增强策略。 Autoda模型的目的是找到可以最大化模型性能提高的最佳DA策略。这项调查从图像分类的角度讨论了Autoda技术出现的根本原因。我们确定标准自动赛车模型的三个关键组件：搜索空间，搜索算法和评估功能。根据他们的架构，我们提供了现有图像AUTODA方法的系统分类法。本文介绍了Autoda领域的主要作品，讨论了他们的利弊，并提出了一些潜在的方向以进行未来的改进。

Recent work has shown that data augmentation has the potential to significantly improve the generalization of deep learning models. Recently, automated augmentation strategies have led to state-of-the-art results in image classification and object detection. While these strategies were optimized for improving validation accuracy, they also led to state-of-the-art results in semi-supervised learning and improved robustness to common corruptions of images. An obstacle to a large-scale adoption of these methods is a separate search phase which increases the training complexity and may substantially increase the computational cost. Additionally, due to the separate search phase, these approaches are unable to adjust the regularization strength based on model or dataset size. Automated augmentation policies are often found by training small models on small datasets and subsequently applied to train larger models. In this work, we remove both of these obstacles. RandAugment has a significantly reduced search space which allows it to be trained on the target task with no need for a separate proxy task. Furthermore, due to the parameterization, the regularization strength may be tailored to different model and dataset sizes. RandAugment can be used uniformly across different tasks and datasets and works out of the box, matching or surpassing all previous automated augmentation approaches on CIFAR-10/100, SVHN, and ImageNet. On the ImageNet dataset we achieve 85.0% accuracy, a 0.6% increase over the previous state-of-the-art and 1.0% increase over baseline augmentation. On object detection, RandAugment leads to 1.0-1.3% improvement over baseline augmentation, and is within 0.3% mAP of AutoAugment on COCO. Finally, due to its interpretable hyperparameter, RandAugment may be used to investigate the role of data augmentation with varying model and dataset size. Code is available online. 1 * Authors contributed equally.1 github.com/tensorflow/tpu/tree/master/models/ official/efficientnet

Data augmentation is an effective technique for improving the accuracy of modern image classifiers. However, current data augmentation implementations are manually designed. In this paper, we describe a simple procedure called AutoAugment to automatically search for improved data augmentation policies. In our implementation, we have designed a search space where a policy consists of many subpolicies, one of which is randomly chosen for each image in each mini-batch. A sub-policy consists of two operations, each operation being an image processing function such as translation, rotation, or shearing, and the probabilities and magnitudes with which the functions are applied. We use a search algorithm to find the best policy such that the neural network yields the highest validation accuracy on a target dataset. Our method achieves state-of-the-art accuracy on SVHN, and ImageNet (without additional data). On ImageNet, we attain a Top-1 accuracy of 83.5% which is 0.4% better than the previous record of 83.1%. On CIFAR-10, we achieve an error rate of 1.5%, which is 0.6% better than the previous state-of-theart. Augmentation policies we find are transferable between datasets. The policy learned on ImageNet transfers well to achieve significant improvements on other datasets, such as Oxford Flowers, Caltech-101, Oxford-IIT Pets, FGVC Aircraft, and Stanford Cars. * Work performed as a member of the Google Brain Residency Program.† Equal contribution.

最近，出现了许多新的半监督学习方法。随着时间的流逝，ImageNet和类似数据集的准确性提高，尚未探索自然图像分类以外的任务的性能。大多数半监督的学习方法都依赖于精心设计的数据增强管道，该数据无法转移，用于在其他域的图像上学习。在这项工作中，我们提出了一种半监督的学习方法，该方法自动为特定数据集选择了最有效的数据增强策略。我们以FixMatch方法为基础，并通过增强元学习扩展它。在分类培训之前，在额外的培训中学习了增强，并利用双层优化，以优化增强政策并最大程度地提高准确性。我们在两个特定领域的数据集上评估我们的方法，其中包含卫星图像和手绘草图，并获得最新的结果。我们在消融中进一步研究与学习增强策略相关的不同参数，并展示了如何使用策略学习将增强功能调整到ImageNet之外的数据集中。

在许多分类问题中，我们希望一个对一系列非语义转换具有强大的分类器。例如，无论其出现的方向和姿势如何，人都可以识别图片中的狗。存在实质性证据表明这种不变性可以显着提高机器学习模型的准确性和泛化。教导模型几何修正型的常用技术是通过变换输入来增加训练数据。但是，对于给定的分类任务期望需要哪种修正，并不总是已知的。确定有效的数据增强策略可以要求域专业知识或广泛的数据预处理。最近的努力，如自动化优化数据增强策略的参数化搜索空间，以自动化增强过程。虽然自动化和类似方法在几个常见的数据集上实现最先进的分类准确性，但它们仅限于学习一个数据增强策略。通常不同的类别或功能呼叫不同的几何修正。我们介绍了动态网络增强（DNA），从而了解输入条件增强策略。我们模型中的增强参数是神经网络的输出，并且随着网络权重被更新时被隐式学习。我们的模型允许动态增强策略，并在输入功能上具有几何变换的数据良好。

标签噪声在大型现实世界数据集中很常见，其存在会损害深神网络的训练过程。尽管几项工作集中在解决此问题的培训策略上，但很少有研究评估数据增强作为培训深神经网络的设计选择。在这项工作中，我们分析了使用不同数据增强的模型鲁棒性及其在嘈杂标签的存在下对培训的改进。我们评估了数据集MNIST，CIFAR-10，CIFAR-100和现实世界数据集Clothing1M的最新和经典数据增强策略，具有不同级别的合成噪声。我们使用精度度量评估方法。结果表明，与基线相比，适当的数据增强可以大大提高模型的稳健性，可将相对最佳测试准确性的177.84％提高到177.84％的相对最佳测试准确性，而无需增强，并且随着绝对值增加了6％，而该基线的绝对值增加了6％最先进的Dividemix培训策略。

State-of-the-art automatic augmentation methods (e.g., AutoAugment and RandAugment) for visual recognition tasks diversify training data using a large set of augmentation operations. The range of magnitudes of many augmentation operations (e.g., brightness and contrast) is continuous. Therefore, to make search computationally tractable, these methods use fixed and manually-defined magnitude ranges for each operation, which may lead to sub-optimal policies. To answer the open question on the importance of magnitude ranges for each augmentation operation, we introduce RangeAugment that allows us to efficiently learn the range of magnitudes for individual as well as composite augmentation operations. RangeAugment uses an auxiliary loss based on image similarity as a measure to control the range of magnitudes of augmentation operations. As a result, RangeAugment has a single scalar parameter for search, image similarity, which we simply optimize via linear search. RangeAugment integrates seamlessly with any model and learns model- and task-specific augmentation policies. With extensive experiments on the ImageNet dataset across different networks, we show that RangeAugment achieves competitive performance to state-of-the-art automatic augmentation methods with 4-5 times fewer augmentation operations. Experimental results on semantic segmentation, object detection, foundation models, and knowledge distillation further shows RangeAugment's effectiveness.

Image classification with small datasets has been an active research area in the recent past. However, as research in this scope is still in its infancy, two key ingredients are missing for ensuring reliable and truthful progress: a systematic and extensive overview of the state of the art, and a common benchmark to allow for objective comparisons between published methods. This article addresses both issues. First, we systematically organize and connect past studies to consolidate a community that is currently fragmented and scattered. Second, we propose a common benchmark that allows for an objective comparison of approaches. It consists of five datasets spanning various domains (e.g., natural images, medical imagery, satellite data) and data types (RGB, grayscale, multispectral). We use this benchmark to re-evaluate the standard cross-entropy baseline and ten existing methods published between 2017 and 2021 at renowned venues. Surprisingly, we find that thorough hyper-parameter tuning on held-out validation data results in a highly competitive baseline and highlights a stunted growth of performance over the years. Indeed, only a single specialized method dating back to 2019 clearly wins our benchmark and outperforms the baseline classifier.

尽管卷积神经网络（CNN）的演变发展，但它们的性能令人惊讶地取决于超参数的选择。但是，由于现代CNN的较长训练时间，有效探索大型超参数搜索空间仍然具有挑战性。多保真优化可以通过提前终止无主张的配置来探索更多的超参数配置。但是，它通常会导致选择亚最佳配置作为训练，并在早期阶段通常会缓慢收敛。在本文中，我们提出了具有重复学习率（MORL）的多余性优化，该率将CNNS的优化过程纳入了多性效率优化。莫尔减轻了缓慢启动的问题，并实现了更精确的低保真近似。我们对一般图像分类，转移学习和半监督学习的全面实验证明了MORL对其他多保真优化方法的有效性，例如连续减半算法（SHA）和HyperBand。此外，它可以在实际预算内进行手工调整的超参数配置的显着性能改进。

神经网络在医疗图像分割任务上的成功通常依赖于大型标记的数据集用于模型培训。但是，由于数据共享和隐私问题，获取和手动标记大型医疗图像集是资源密集的，昂贵的，有时是不切实际的。为了应对这一挑战，我们提出了一个通用的对抗数据增强框架Advchain，旨在提高培训数据对医疗图像分割任务的多样性和有效性。 AdvChain通过动态数据增强来增强数据，从而产生随机链接的光线像和几何转换，以类似于现实而又具有挑战性的成像变化以扩展训练数据。通过在培训期间共同优化数据增强模型和分割网络，可以生成具有挑战性的示例，以增强下游任务的网络可推广性。所提出的对抗数据增强不依赖生成网络，可以用作通用分割网络中的插件模块。它在计算上是有效的，适用于低声监督和半监督学习。我们在两个MR图像分割任务上分析和评估该方法：心脏分割和前列腺分割具有有限的标记数据。结果表明，所提出的方法可以减轻对标记数据的需求，同时提高模型泛化能力，表明其在医学成像应用中的实际价值。

卷积神经网络已广泛应用于医学图像分割，并取得了相当大的性能。但是，性能可能会受到训练数据（源域）和测试数据（目标域）之间域间隙的显着影响。为了解决此问题，我们提出了一种基于数据操作的域泛化方法，称为域概括（AADG）的自动增强。我们的AADG框架可以有效地采样数据增强策略，从而产生新的领域并从适当的搜索空间中多样化训练集。具体而言，我们介绍了一项新的代理任务，以最大程度地提高了多个增强新颖的域之间的多样性，该域通过单位球体空间中的凹痕距离来衡量，从而使自动化的增强可牵引。对抗性训练和深入的强化学习有效地搜索了目标。全面执行了11个公开底部的底面图像数据集的定量和定性实验（四个用于视网膜血管分割，四个用于视盘和杯子和杯（OD/OC）分割（OD/OC）分割，视网膜病变细分进行了三个）。两个用于视网膜脉管系统分割的八八个数据集进一步涉及验证跨模式泛化。我们提出的AADG通过视网膜船，OD/OC和病变细分任务的相当大的利润来表现出最新的概括性能，并优于现有方法。学到的政策在经验上得到了证实为模型不平衡，并且可以很好地转移到其他模型中。源代码可在https://github.com/crazorback/aadg上找到。

我们对最近的自我和半监督ML技术进行严格的评估，从而利用未标记的数据来改善下游任务绩效，以河床分割的三个遥感任务，陆地覆盖映射和洪水映射。这些方法对于遥感任务特别有价值，因为易于访问未标记的图像，并获得地面真理标签通常可以昂贵。当未标记的图像（标记数据集之外）提供培训时，我们量化性能改进可以对这些遥感分割任务进行期望。我们还设计实验以测试这些技术的有效性，当测试集相对于训练和验证集具有域移位时。

Jitendra Malik once said, "Supervision is the opium of the AI researcher". Most deep learning techniques heavily rely on extreme amounts of human labels to work effectively. In today's world, the rate of data creation greatly surpasses the rate of data annotation. Full reliance on human annotations is just a temporary means to solve current closed problems in AI. In reality, only a tiny fraction of data is annotated. Annotation Efficient Learning (AEL) is a study of algorithms to train models effectively with fewer annotations. To thrive in AEL environments, we need deep learning techniques that rely less on manual annotations (e.g., image, bounding-box, and per-pixel labels), but learn useful information from unlabeled data. In this thesis, we explore five different techniques for handling AEL.

在培训期间应用的图像增强对于图像分类器的泛化性能至关重要。因此，大型研究已经专注于找到给定任务的最佳增强策略。然而，randaugment [2]是一个简单的随机增强策略，最近被证明胜过现有的复杂策略。只有对抗性自动化（Advaa）[11]，一种基于对抗性培训的想法的方法，表明比争夺更好。在本文中，我们表明，与最佳的对抗方法相比，随机增强仍然是竞争力的，以及简单的课程，并猜测ADVAA的成功是由于政策控制器网络的随机性，这引入了一种温和的形式课程。

旨在自动进行工程增强政策的自动数据扩展最近引起了不断增长的研究兴趣。许多以前的自动启发方法通过评估测试时间增强性能来评估策略，利用了密度匹配策略。在本文中，我们从理论上和经验上证明了火车和小规模医学图像数据集的验证集之间的不一致，称为内域采样偏差。接下来，我们证明了域中采样偏置可能导致密度匹配的效率低下。为了解决这个问题，提出了一种改进的增强搜索策略，称为增强密度匹配，是通过从先前的培训分布中随机采样策略提出的。此外，提出了有效的自动机器学习（AUTOML）算法，通过统一数据增强和神经体系结构的搜索来提出。实验结果表明，所提出的方法优于MedMnist的最先进方法，MedMnist是一种开拓性的基准测试，旨在在医学图像分析中进行自动。

设计对某些数据转换不变的学习系统对于机器学习至关重要。从业人员通常可以通过选择网络体系结构（例如使用卷积进行翻译或使用数据扩展。但是，在网络中实现真正的不变性可能很困难，并且并不总是知道数据不变。学习数据增强策略的最新方法需要持有数据，并且基于双重优化问题，这些问题很复杂，可以解决并且通常在计算上要求。在这项工作中，我们仅从培训数据中研究了学习不断增长的新方法。使用直接在网络中构建的可学习的增强层，我们证明我们的方法非常通用。它可以结合任何类型的可区分扩展，并应用于计算机视觉之外的广泛学习问题。我们提供的经验证据表明，基于二线优化的现代自动数据增强技术比现代自动数据增强技术更容易，更快，同时取得了可比的结果。实验表明，虽然通过自动数据增强传递到模型的不传导受到模型表达性的限制，但我们方法所产生的不变性对设计不敏感。

自动化封路计优化（HPO）已经获得了很大的普及，并且是大多数自动化机器学习框架的重要成分。然而，设计HPO算法的过程仍然是一个不系统和手动的过程：确定了现有工作的限制，提出的改进是 - 即使是专家知识的指导 - 仍然是一定任意的。这很少允许对哪些算法分量的驾驶性能进行全面了解，并且承载忽略良好算法设计选择的风险。我们提出了一个原理的方法来实现应用于多倍性HPO（MF-HPO）的自动基准驱动算法设计的原则方法：首先，我们正式化包括的MF-HPO候选的丰富空间，但不限于普通的HPO算法，然后呈现可配置的框架覆盖此空间。要自动和系统地查找最佳候选者，我们遵循通过优化方法，并通过贝叶斯优化搜索算法候选的空间。我们挑战是否必须通过执行消融分析来挑战所发现的设计选择或可以通过更加天真和更简单的设计。我们观察到使用相对简单的配置，在某些方式中比建立的方法更简单，只要某些关键配置参数具有正确的值，就可以很好地执行得很好。

This work tackles the problem of semi-supervised learning of image classifiers. Our main insight is that the field of semi-supervised learning can benefit from the quickly advancing field of self-supervised visual representation learning. Unifying these two approaches, we propose the framework of self-supervised semi-supervised learning (S 4 L) and use it to derive two novel semi-supervised image classification methods. We demonstrate the effectiveness of these methods in comparison to both carefully tuned baselines, and existing semi-supervised learning methods. We then show that S 4 L and existing semi-supervised methods can be jointly trained, yielding a new state-of-the-art result on semi-supervised ILSVRC-2012 with 10% of labels.