随着普雷雷达的深入学习模型的优势，从模型银行获取现货，找到最佳重量，以便对您的用途进行微调，可以是令人生畏的任务。最近提出了几种方法来寻找转移学习的好模型，但他们要么对大型模型银行进行速度，要么对现成的外在模型的多样性表现不佳。理想情况下，我们要回答的问题是“给定一些数据和源模型，您是否可以在微调后快速预测模型的准确性？”在本文中，我们将此设置形式形式为“可扩展的不同模型选择”，并提出了几个用于评估此任务的基准。我们发现现有的模型选择和可转换性估计方法在这里表现不佳并分析为什么这是如此。然后，我们介绍简单的技术来提高这些算法的性能和速度。最后，我们迭代现有方法来创建PARC，这优于各种模型选择的所有其他方法。我们已经发布了基准和方法代码，希望能够激发可访问的转移学习的模型选择中的未来工作。

我们解决了转移学习中的集合选择问题：给出了大量的源模型，我们要选择一个模型的集合，在对目标训练集的微调后，在目标测试集上产生最佳性能。由于微调所有可能的合奏是计算禁止的，因此我们目的是使用计算上有效的可转换度量来预测目标数据集的性能。我们提出了用于此任务的几个新的可转换性指标，并在对语义细分的具有挑战性和现实的转移学习设置中进行评估：我们通过考虑涵盖各种图像域的各种数据集来创建一个大型和多样化的源模型池，两种不同架构和两个预训练计划。鉴于此池，我们自动选择子集，以在给定的目标数据集上形成良好的集合。我们将通过我们的方法选择的合奏与两个基线进行比较，该基线选择单个源模型，其中（1）与我们的方法相同;或（2）从包含大源模型的池，每个池具有与集合相似的容量。平均超过17个目标数据集，我们分别以6.0％和2.5％的相对平均值越优于这些基线。

转移学习已成为利用计算机视觉中预先训练模型的流行方法。然而，在不执行计算上昂贵的微调的情况下，难以量化哪个预先训练的源模型适用于特定目标任务，或者相反地，可以容易地适应预先训练的源模型的任务。在这项工作中，我们提出了高斯Bhattacharyya系数（GBC），一种用于量化源模型和目标数据集之间的可转换性的新方法。在第一步中，我们在由源模型定义的特征空间中嵌入所有目标图像，并表示使用每类高斯。然后，我们使用Bhattacharyya系数估计它们的成对类可分离性，从而产生了一种简单有效的源模型转移到目标任务的程度。我们在数据集和架构选择的上下文中评估GBC在图像分类任务上。此外，我们还对更复杂的语义分割转移性估算任务进行实验。我们证明GBC在语义分割设置中大多数评估标准上的最先进的可转移性度量，匹配图像分类中的数据集转移性的最高方法的性能，并且在图像分类中执行最佳的架构选择问题。

State-of-the-art computer vision systems are trained to predict a fixed set of predetermined object categories. This restricted form of supervision limits their generality and usability since additional labeled data is needed to specify any other visual concept. Learning directly from raw text about images is a promising alternative which leverages a much broader source of supervision. We demonstrate that the simple pre-training task of predicting which caption goes with which image is an efficient and scalable way to learn SOTA image representations from scratch on a dataset of 400 million (image, text) pairs collected from the internet. After pre-training, natural language is used to reference learned visual concepts (or describe new ones) enabling zero-shot transfer of the model to downstream tasks. We study the performance of this approach by benchmarking on over 30 different existing computer vision datasets, spanning tasks such as OCR, action recognition in videos, geo-localization, and many types of fine-grained object classification. The model transfers non-trivially to most tasks and is often competitive with a fully supervised baseline without the need for any dataset specific training. For instance, we match the accuracy of the original ResNet-50 on ImageNet zero-shot without needing to use any of the 1.28 million training examples it was trained on. We release our code and pre-trained model weights at https://github.com/OpenAI/CLIP.

转移学习可以在源任务上重新使用知识来帮助学习目标任务。一种简单的转移学习形式在当前的最先进的计算机视觉模型中是常见的，即预先训练ILSVRC数据集上的图像分类模型，然后在任何目标任务上进行微调。然而，先前对转移学习的系统研究已经有限，并且预计工作的情况并不完全明白。在本文中，我们对跨越不同的图像域进行了广泛的转移学习实验探索（消费者照片，自主驾驶，空中图像，水下，室内场景，合成，特写镜头）和任务类型（语义分割，物体检测，深度估计，关键点检测）。重要的是，这些都是与现代计算机视觉应用相关的复杂的结构化的输出任务类型。总共执行超过2000年的转移学习实验，包括许多来源和目标来自不同的图像域，任务类型或两者。我们系统地分析了这些实验，了解图像域，任务类型和数据集大小对传输学习性能的影响。我们的研究导致了几个见解和具体建议：（1）对于大多数任务，存在一个显着优于ILSVRC'12预培训的来源; （2）图像领域是实现阳性转移的最重要因素; （3）源数据集应该\ \ emph {include}目标数据集的图像域以获得最佳结果; （4）与此同时，当源任务的图像域比目标的图像域时，我们只观察小的负面影响; （5）跨任务类型的转移可能是有益的，但其成功严重依赖于源和目标任务类型。

可传递性估计是选择预训练模型和其中的层来转移学习，转移，以最大程度地提高目标任务上的性能并防止负转移的必不可少的工具。现有的估计算法要么需要对目标任务进行深入培训，要么在评估层之间的可传递性方面遇到困难。为此，我们提出了一种简单，高效且有效的可传递性度量，称为“超越”。通过单一传递目标任务的示例，越过可转移性作为在预训练模型及其标签提取的目标示例的特征之间的相互信息。我们通过诉诸于熵的有效替代方案来克服有效的共同信息估计的挑战。从特征表示的角度来看，所得的越来越多地评估了完整性（功能是否包含目标任务的足够信息）和紧凑性（每个类的特征是否足够紧凑，以实现良好的概括）。从理论上讲，我们已经分析了转移学习后的跨度与性能的紧密联系。尽管在10行代码中具有非凡的简单性，但在对32个预训练模型和16个下游任务的广泛评估中，越来越多地表现出色。

具有许多预训练模型（PTM）的模型中心已经是深度学习的基石。尽管以高成本建造，但它们仍然保持\ emph {探索}：从业人员通常会通过普及从提供的模型中心中选择一个PTM，然后对PTM进行微调以解决目标任务。这种na \“我的但共同的实践构成了两个障碍，以充分利用预训练的模型中心：（1）通过受欢迎程度选择的PTM选择没有最佳保证；（2）仅使用一个PTM，而其余的PTM则被忽略。理想情况下。理想情况下。 ，为了最大程度地利用预训练的模型枢纽，需要尝试所有PTM的所有组合和广泛的微调每个PTM组合，这会产生指数组合和不可偿还的计算预算。在本文中，我们提出了一种新的范围排名和调整预训练的模型：（1）我们的会议论文〜\ citep {you_logme：_2021}提出的logMe，以估算预先训练模型提取的标签证据的最大值，该标签证据可以在模型中排名所有PTMS用于各种类型的PTM和任务的枢纽\ Emph {微调之前}。（2）如果我们不偏爱模型的体系结构，则可以对排名最佳的PTM进行微调和部署，或者可以通过TOPE调整目标PTM -k通过t排名PTM他提出了b-tuning算法。排名部分基于会议论文，我们在本文中完成了其理论分析，包括启发式证据最大化程序的收敛证明和特征维度的影响。调整零件引入了一种用于调整多个PTM的新型贝叶斯调整（B-Tuning）方法，该方法超过了专门的方法，该方法旨在调整均匀的PTMS，并为调整异质PTMS设置了一种新的技术。利用PTM枢纽的新范式对于整个机器学习社区的大量受众来说可能会很有趣。

Jitendra Malik once said, "Supervision is the opium of the AI researcher". Most deep learning techniques heavily rely on extreme amounts of human labels to work effectively. In today's world, the rate of data creation greatly surpasses the rate of data annotation. Full reliance on human annotations is just a temporary means to solve current closed problems in AI. In reality, only a tiny fraction of data is annotated. Annotation Efficient Learning (AEL) is a study of algorithms to train models effectively with fewer annotations. To thrive in AEL environments, we need deep learning techniques that rely less on manual annotations (e.g., image, bounding-box, and per-pixel labels), but learn useful information from unlabeled data. In this thesis, we explore five different techniques for handling AEL.

State-of-the-art visual perception models for a wide range of tasks rely on supervised pretraining. ImageNet classification is the de facto pretraining task for these models. Yet, ImageNet is now nearly ten years old and is by modern standards "small". Even so, relatively little is known about the behavior of pretraining with datasets that are multiple orders of magnitude larger. The reasons are obvious: such datasets are difficult to collect and annotate. In this paper, we present a unique study of transfer learning with large convolutional networks trained to predict hashtags on billions of social media images. Our experiments demonstrate that training for large-scale hashtag prediction leads to excellent results. We show improvements on several image classification and object detection tasks, and report the highest ImageNet-1k single-crop, top-1 accuracy to date: 85.4% (97.6% top-5). We also perform extensive experiments that provide novel empirical data on the relationship between large-scale pretraining and transfer learning performance. Name template Description train-IG-I-1.5k Instagram training set of I images and ∼1.5k hashtags from ImageNet-1k. train-IG-I-8.5k Instagram training set of I images and ∼8.5k hashtags from WordNet. train-IG-I-17k Instagram training set of I images and ∼17k hashtags from WordNet. train-IN-1M-1k The standard ImageNet-1k ILSVRC training set with 1.28M images. val-IN-50k-1k The standard ImageNet-1k ILSVRC validation set with 50k images. train-IN-I-L Extended ImageNet training set of I images and L ∈ {5k, 9k} labels. val-IN-I-L Extended ImageNet validation set of I images and L ∈ {5k, 9k} labels. train-CUB-6k-200 The Caltech-UCSD Birds-200-2011 training set. val-CUB-6k-200 The Caltech-UCSD Birds-200-2011 validation set. train-Places-1.8M-365 The Places365-Standard training set (high-resolution version). val-Places-37k-365 The Places365-Standard validation set (high-resolution version). train-COCO-135k-80 The standard COCO detection training set (2017 version). val-COCO-5k-80 The standard COCO detection validation set (2017 version). test-COCO-20k-80 The standard COCO detection test-dev set (2017 version).Table 1: Summary of image classification datasets. Each dataset is named with a template, role-source-I-L, that indicates its role (training, validation, testing), source, number of images I, and number of labels L.

无论是在功能选择的领域还是可解释的AI领域，都有基于其重要性的“排名”功能的愿望。然后可以将这种功能重要的排名用于：（1）减少数据集大小或（2）解释机器学习模型。但是，在文献中，这种特征排名没有以系统的，一致的方式评估。许多论文都有不同的方式来争论哪些具有重要性排名最佳的特征。本文通过提出一种新的评估方法来填补这一空白。通过使用合成数据集，可以事先知道特征重要性得分，从而可以进行更系统的评估。为了促进使用新方法的大规模实验，在Python建造了一个名为FSEVAL的基准测定框架。该框架允许并行运行实验，并在HPC系统上的计算机上分布。通过与名为“权重和偏见”的在线平台集成，可以在实时仪表板上进行交互探索图表。该软件作为开源软件发布，并在PYPI平台上以包裹发行。该研究结束时，探索了一个这样的大规模实验，以在许多方面找到参与算法的优势和劣势。

Transfer learning is a cornerstone of computer vision, yet little work has been done to evaluate the relationship between architecture and transfer. An implicit hypothesis in modern computer vision research is that models that perform better on ImageNet necessarily perform better on other vision tasks. However, this hypothesis has never been systematically tested. Here, we compare the performance of 16 classification networks on 12 image classification datasets. We find that, when networks are used as fixed feature extractors or fine-tuned, there is a strong correlation between ImageNet accuracy and transfer accuracy (r = 0.99 and 0.96, respectively). In the former setting, we find that this relationship is very sensitive to the way in which networks are trained on ImageNet; many common forms of regularization slightly improve ImageNet accuracy but yield penultimate layer features that are much worse for transfer learning. Additionally, we find that, on two small fine-grained image classification datasets, pretraining on ImageNet provides minimal benefits, indicating the learned features from Ima-geNet do not transfer well to fine-grained tasks. Together, our results show that ImageNet architectures generalize well across datasets, but ImageNet features are less general than previously suggested.

本文关注的是将许多预训练的深神经网络（DNN）（称为检查点）排名，以将学习转移到下游任务。由于广泛使用了DNN，我们可能很容易从各种来源收集数百个检查站。他们中的哪个将最好的人转移到我们感兴趣的下游任务？为了彻底回答这个问题，我们建立了一个神经检查点排名基准（Neucrab），并研究一些直观的排名措施。这些措施是通用的，适用于不同输出类型的检查点，而无需知道如何对哪个数据集进行检查。它们还产生了低计算成本，使它们实际上有意义。我们的结果表明，检查点提取的特征的线性可分离性是可传递性的强烈指标。我们还达到了一种新的排名NLEEP，这在实验中带来了最佳性能。

大多数机器学习算法由一个或多个超参数配置，必须仔细选择并且通常会影响性能。为避免耗时和不可递销的手动试验和错误过程来查找性能良好的超参数配置，可以采用各种自动超参数优化（HPO）方法，例如，基于监督机器学习的重新采样误差估计。本文介绍了HPO后，本文审查了重要的HPO方法，如网格或随机搜索，进化算法，贝叶斯优化，超带和赛车。它给出了关于进行HPO的重要选择的实用建议，包括HPO算法本身，性能评估，如何将HPO与ML管道，运行时改进和并行化结合起来。这项工作伴随着附录，其中包含关于R和Python的特定软件包的信息，以及用于特定学习算法的信息和推荐的超参数搜索空间。我们还提供笔记本电脑，这些笔记本展示了这项工作的概念作为补充文件。

尽管进行了多年的研究，但跨域的概括仍然是深层网络的语义分割的关键弱点。先前的研究取决于静态模型的假设，即训练过程完成后，模型参数在测试时间保持固定。在这项工作中，我们通过一种自适应方法来挑战这一前提，用于语义分割，将推理过程调整为每个输入样本。自我适应在两个级别上运行。首先，它采用了自我监督的损失，该损失将网络中卷积层的参数定制为输入图像。其次，在批准层中，自适应近似于整个测试数据的平均值和方差，这是不可用的。它通过在训练和从单个测试样本得出的参考分布之间进行插值来实现这一目标。为了凭经验分析我们的自适应推理策略，我们制定并遵循严格的评估协议，以解决先前工作的严重局限性。我们的广泛分析得出了一个令人惊讶的结论：使用标准训练程序，自我适应大大优于强大的基准，并在多域基准测试方面设定了新的最先进的准确性。我们的研究表明，自适应推断可以补充培训时间的既定模型正规化实践，以改善深度网络的概括到异域数据。

This work tackles the problem of semi-supervised learning of image classifiers. Our main insight is that the field of semi-supervised learning can benefit from the quickly advancing field of self-supervised visual representation learning. Unifying these two approaches, we propose the framework of self-supervised semi-supervised learning (S 4 L) and use it to derive two novel semi-supervised image classification methods. We demonstrate the effectiveness of these methods in comparison to both carefully tuned baselines, and existing semi-supervised learning methods. We then show that S 4 L and existing semi-supervised methods can be jointly trained, yielding a new state-of-the-art result on semi-supervised ILSVRC-2012 with 10% of labels.

传输学习方法旨在使用在丰富的源域上掠过的模型来提高数据稀缺目标域中的性能。一种成本效益的策略，线性探测涉及冻结源模型并培训目标域的新分类头。此策略的表现优于更昂贵但最先进的方法 - 将源模型的所有参数微调到目标域 - 可能是因为微调允许模型从中间层利用有用的信息否则被稍后的净化层丢弃。我们探讨了这些中间层可能直接剥削的假设。我们提出了一种方法，头对脚趾探测（Head2ToE），其从源模型的所有层中选择特征，以训练目标域的分类头。在VTAB-1K的评估中，Head2Toe与平均微调获得的性能相匹配，同时减少培训和储存成本一百倍或更多，但批判性地，用于分配转移，头部2ToE优于微调。

神经网络分类器已成为当前“火车前的Fine-Tune”范例的De-Facto选择。在本文中，我们调查了K $ -Nearest邻居（K-NN）分类器，这是一种从预先学习时代的无古典无模型学习方法，作为基于现代神经网络的方法的增强。作为懒惰的学习方法，K-Nn简单地聚集了训练集中的测试图像和顶-k邻居之间的距离。我们采用k-nn具有由监督或自我监督方法产生的预训练的视觉表现，分为两个步骤：（1）利用K-NN预测概率作为培训期间容易\〜〜硬示例的迹象。 （2）用增强分类器的预测分布线性地插入k-nn。通过广泛的实验在广泛的分类任务中，我们的研究揭示了K-NN集成与额外见解的一般性和灵活性：（1）K-NN实现竞争结果，有时甚至优于标准的线性分类器。 （2）结合K-NN对参数分类器执行不良和/或低数据制度的任务特别有益。我们希望这些发现将鼓励人们重新考虑预先学习的角色，计算机愿景中的古典方法。我们的代码可用于：https：//github.com/kmnp/nn-revisit。

天文学家通常已经着手通过从头开始创建自己的表示来解决监督的机器学习问题。我们表明，经过训练的深度学习模型，可以回答每个星系动物园贴花问题问题，即学习星系的有意义的语义表示，这些语义表示对于从未训练过的新任务很有用。我们利用这些表示形式优于最近对研究大型星系样本至关重要的实际任务的方法。第一个任务是识别与查询星系相似的形态的星系。给定一个星系为人类分配了一个免费文本标签（例如“ #diffuse”），我们可以找到与大多数标签匹配该标签的星系。第二个任务是确定特定研究人员最有趣的异常。我们的方法在识别最有趣的100个异常（由Galaxy Zoo 2志愿者判断）方面是100％准确的。第三个任务是调整模型来仅使用少数新标记的星系解决新任务。与从陆地图像（ImageNet）或从头开始训练的模型相比，从我们的表示形式进行微调的模型可以更好地识别环形星系。我们用很少的新标签解决每个任务；一个（用于相似性搜索）或数百个（用于异常检测或微调）。这挑战了长期以来的观点，即深度监督方法需要新的大型标签数据集，以便在天文学中实际使用。为了帮助社区受益于我们验证的模型，我们发布了我们的微调代码Zoobot。没有先前经验的研究人员可以访问Zoobot。

我们考虑在给定的分类任务（例如Imagenet-1k（IN1K））上训练深神网络的问题，以便它在该任务以及其他（未来）转移任务方面擅长。这两个看似矛盾的属性在改善模型的概括的同时保持其在原始任务上的性能之间实现了权衡。接受自我监督学习训练的模型（SSL）倾向于比其受监督的转移学习更好地概括。但是，他们仍然落后于In1k上的监督模型。在本文中，我们提出了一个有监督的学习设置，以利用两全其美的方式。我们使用最近的SSL模型的两个关键组成部分丰富了普通的监督培训框架：多尺度农作物用于数据增强和使用可消耗的投影仪。我们用内存库在即时计算的类原型中代替了班级权重的最后一层。我们表明，这三个改进导致IN1K培训任务和13个转移任务之间的权衡取决于更加有利的权衡。在所有探索的配置中，我们都会挑出两种模型：T-Rex实现了转移学习的新状态，并且超过了In1k上的Dino和Paws等最佳方法，以及与高度优化的RSB--相匹配的T-Rex*在IN1K上的A1模型，同时在转移任务上表现更好。项目页面和预估计的模型：https：//europe.naverlabs.com/t-rex

我们研究了用于半监控学习（SSL）的无监督数据选择，其中可以提供大规模的未标记数据集，并且为标签采集预算小额数据子集。现有的SSL方法专注于学习一个有效地集成了来自给定小标记数据和大型未标记数据的信息的模型，而我们专注于选择正确的数据以用于SSL的注释，而无需任何标签或任务信息。直观地，要标记的实例应统称为下游任务的最大多样性和覆盖范围，并且单独具有用于SSL的最大信息传播实用程序。我们以三步数据为中心的SSL方法形式化这些概念，使稳定性和精度的纤维液改善8％的CiFar-10（标记为0.08％）和14％的Imagenet -1k（标记为0.2％）。它也是一种具有各种SSL方法的通用框架，提供一致的性能增益。我们的工作表明，在仔细选择注释数据上花费的小计算带来了大注释效率和模型性能增益，而无需改变学习管道。我们完全无监督的数据选择可以轻松扩展到其他弱监督的学习设置。