转移学习已成为利用计算机视觉中预先训练模型的流行方法。然而，在不执行计算上昂贵的微调的情况下，难以量化哪个预先训练的源模型适用于特定目标任务，或者相反地，可以容易地适应预先训练的源模型的任务。在这项工作中，我们提出了高斯Bhattacharyya系数（GBC），一种用于量化源模型和目标数据集之间的可转换性的新方法。在第一步中，我们在由源模型定义的特征空间中嵌入所有目标图像，并表示使用每类高斯。然后，我们使用Bhattacharyya系数估计它们的成对类可分离性，从而产生了一种简单有效的源模型转移到目标任务的程度。我们在数据集和架构选择的上下文中评估GBC在图像分类任务上。此外，我们还对更复杂的语义分割转移性估算任务进行实验。我们证明GBC在语义分割设置中大多数评估标准上的最先进的可转移性度量，匹配图像分类中的数据集转移性的最高方法的性能，并且在图像分类中执行最佳的架构选择问题。

我们解决了转移学习中的集合选择问题：给出了大量的源模型，我们要选择一个模型的集合，在对目标训练集的微调后，在目标测试集上产生最佳性能。由于微调所有可能的合奏是计算禁止的，因此我们目的是使用计算上有效的可转换度量来预测目标数据集的性能。我们提出了用于此任务的几个新的可转换性指标，并在对语义细分的具有挑战性和现实的转移学习设置中进行评估：我们通过考虑涵盖各种图像域的各种数据集来创建一个大型和多样化的源模型池，两种不同架构和两个预训练计划。鉴于此池，我们自动选择子集，以在给定的目标数据集上形成良好的集合。我们将通过我们的方法选择的合奏与两个基线进行比较，该基线选择单个源模型，其中（1）与我们的方法相同;或（2）从包含大源模型的池，每个池具有与集合相似的容量。平均超过17个目标数据集，我们分别以6.0％和2.5％的相对平均值越优于这些基线。

Deep transfer learning has been widely used for knowledge transmission in recent years. The standard approach of pre-training and subsequently fine-tuning, or linear probing, has shown itself to be effective in many down-stream tasks. Therefore, a challenging and ongoing question arises: how to quantify cross-task transferability that is compatible with transferred results while keeping self-consistency? Existing transferability metrics are estimated on the particular model by conversing source and target tasks. They must be recalculated with all existing source tasks whenever a novel unknown target task is encountered, which is extremely computationally expensive. In this work, we highlight what properties should be satisfied and evaluate existing metrics in light of these characteristics. Building upon this, we propose Principal Gradient Expectation (PGE), a simple yet effective method for assessing transferability across tasks. Specifically, we use a restart scheme to calculate every batch gradient over each weight unit more than once, and then we take the average of all the gradients to get the expectation. Thus, the transferability between the source and target task is estimated by computing the distance of normalized principal gradients. Extensive experiments show that the proposed transferability metric is more stable, reliable and efficient than SOTA methods.

可传递性估计是选择预训练模型和其中的层来转移学习，转移，以最大程度地提高目标任务上的性能并防止负转移的必不可少的工具。现有的估计算法要么需要对目标任务进行深入培训，要么在评估层之间的可传递性方面遇到困难。为此，我们提出了一种简单，高效且有效的可传递性度量，称为“超越”。通过单一传递目标任务的示例，越过可转移性作为在预训练模型及其标签提取的目标示例的特征之间的相互信息。我们通过诉诸于熵的有效替代方案来克服有效的共同信息估计的挑战。从特征表示的角度来看，所得的越来越多地评估了完整性（功能是否包含目标任务的足够信息）和紧凑性（每个类的特征是否足够紧凑，以实现良好的概括）。从理论上讲，我们已经分析了转移学习后的跨度与性能的紧密联系。尽管在10行代码中具有非凡的简单性，但在对32个预训练模型和16个下游任务的广泛评估中，越来越多地表现出色。

我们提出了两个新颖的可传递性指标F-OTCE（基于快速最佳运输的条件熵）和JC-otce（联合通信OTCE），以评估源模型（任务）可以使目标任务的学习受益多少，并学习更可转移的表示形式。用于跨域交叉任务转移学习。与需要评估辅助任务的经验可转让性的现有指标不同，我们的指标是无辅助的，以便可以更有效地计算它们。具体而言，F-otce通过首先求解源和目标分布之间的最佳传输（OT）问题来估计可转移性，然后使用最佳耦合来计算源和目标标签之间的负条件熵。它还可以用作损失函数，以最大化目标任务填充源模型的可传递性。同时，JC-OTCE通过在OT问题中包含标签距离来提高F-otce的可转移性鲁棒性，尽管它可能会产生额外的计算成本。广泛的实验表明，F-otce和JC-otce优于最先进的无辅助指标，分别为18.85％和28.88％，与基础真相转移精度相关系数。通过消除辅助任务的训练成本，两个指标将前一个方法的总计算时间从43分钟减少到9.32s和10.78，用于一对任务。当用作损失函数时，F-otce在几个射击分类实验中显示出源模型的传输精度的一致性提高，精度增益高达4.41％。

随着普雷雷达的深入学习模型的优势，从模型银行获取现货，找到最佳重量，以便对您的用途进行微调，可以是令人生畏的任务。最近提出了几种方法来寻找转移学习的好模型，但他们要么对大型模型银行进行速度，要么对现成的外在模型的多样性表现不佳。理想情况下，我们要回答的问题是“给定一些数据和源模型，您是否可以在微调后快速预测模型的准确性？”在本文中，我们将此设置形式形式为“可扩展的不同模型选择”，并提出了几个用于评估此任务的基准。我们发现现有的模型选择和可转换性估计方法在这里表现不佳并分析为什么这是如此。然后，我们介绍简单的技术来提高这些算法的性能和速度。最后，我们迭代现有方法来创建PARC，这优于各种模型选择的所有其他方法。我们已经发布了基准和方法代码，希望能够激发可访问的转移学习的模型选择中的未来工作。

转移学习可以在源任务上重新使用知识来帮助学习目标任务。一种简单的转移学习形式在当前的最先进的计算机视觉模型中是常见的，即预先训练ILSVRC数据集上的图像分类模型，然后在任何目标任务上进行微调。然而，先前对转移学习的系统研究已经有限，并且预计工作的情况并不完全明白。在本文中，我们对跨越不同的图像域进行了广泛的转移学习实验探索（消费者照片，自主驾驶，空中图像，水下，室内场景，合成，特写镜头）和任务类型（语义分割，物体检测，深度估计，关键点检测）。重要的是，这些都是与现代计算机视觉应用相关的复杂的结构化的输出任务类型。总共执行超过2000年的转移学习实验，包括许多来源和目标来自不同的图像域，任务类型或两者。我们系统地分析了这些实验，了解图像域，任务类型和数据集大小对传输学习性能的影响。我们的研究导致了几个见解和具体建议：（1）对于大多数任务，存在一个显着优于ILSVRC'12预培训的来源; （2）图像领域是实现阳性转移的最重要因素; （3）源数据集应该\ \ emph {include}目标数据集的图像域以获得最佳结果; （4）与此同时，当源任务的图像域比目标的图像域时，我们只观察小的负面影响; （5）跨任务类型的转移可能是有益的，但其成功严重依赖于源和目标任务类型。

具有许多预训练模型（PTM）的模型中心已经是深度学习的基石。尽管以高成本建造，但它们仍然保持\ emph {探索}：从业人员通常会通过普及从提供的模型中心中选择一个PTM，然后对PTM进行微调以解决目标任务。这种na \“我的但共同的实践构成了两个障碍，以充分利用预训练的模型中心：（1）通过受欢迎程度选择的PTM选择没有最佳保证；（2）仅使用一个PTM，而其余的PTM则被忽略。理想情况下。理想情况下。 ，为了最大程度地利用预训练的模型枢纽，需要尝试所有PTM的所有组合和广泛的微调每个PTM组合，这会产生指数组合和不可偿还的计算预算。在本文中，我们提出了一种新的范围排名和调整预训练的模型：（1）我们的会议论文〜\ citep {you_logme：_2021}提出的logMe，以估算预先训练模型提取的标签证据的最大值，该标签证据可以在模型中排名所有PTMS用于各种类型的PTM和任务的枢纽\ Emph {微调之前}。（2）如果我们不偏爱模型的体系结构，则可以对排名最佳的PTM进行微调和部署，或者可以通过TOPE调整目标PTM -k通过t排名PTM他提出了b-tuning算法。排名部分基于会议论文，我们在本文中完成了其理论分析，包括启发式证据最大化程序的收敛证明和特征维度的影响。调整零件引入了一种用于调整多个PTM的新型贝叶斯调整（B-Tuning）方法，该方法超过了专门的方法，该方法旨在调整均匀的PTMS，并为调整异质PTMS设置了一种新的技术。利用PTM枢纽的新范式对于整个机器学习社区的大量受众来说可能会很有趣。

在各种机器学习问题中，包括转移，多任务，连续和元学习在内，衡量不同任务之间的相似性至关重要。最新的测量任务相似性的方法依赖于体系结构：1）依靠预训练的模型，或2）在任务上进行培训网络，并将正向转移用作任务相似性的代理。在本文中，我们利用了最佳运输理论，并定义了一个新颖的任务嵌入监督分类，该分类是模型的，无训练的，并且能够处理（部分）脱节标签集。简而言之，给定带有地面标签的数据集，我们通过多维缩放和串联数据集样品进行嵌入标签，并具有相应的标签嵌入。然后，我们将两个数据集之间的距离定义为其更新样品之间的2-Wasserstein距离。最后，我们利用2-wasserstein嵌入框架将任务嵌入到矢量空间中，在该空间中，嵌入点之间的欧几里得距离近似于任务之间提出的2-wasserstein距离。我们表明，与最佳传输数据集距离（OTDD）等相关方法相比，所提出的嵌入导致任务的比较显着更快。此外，我们通过各种数值实验证明了我们提出的嵌入的有效性，并显示了我们所提出的距离与任务之间的前进和向后转移之间的统计学意义相关性。

随着大数据的爆炸性增加，培训机器学习（ML）模型成为计算密集型工作量，需要几天甚至几周。因此，重用已经训练的模型受到了受关注的，称为转移学习。转移学习避免通过将知识从源任务转移到目标任务来避免从头开始培训新模型。现有的传输学习方法主要专注于如何通过特定源模型提高目标任务的性能，并假设给出了源模型。虽然有许多源模型可用，但数据科学家难以手动选择目标任务的最佳源模型。因此，如何在模型数据库中有效地选择合适的源模型进行模型重用是一个有趣但未解决的问题。在本文中，我们提出了SMS，有效，高效，灵活的源模型选择框架。即使源数据集具有明显不同的数据标签，SMS也是有效的，并且灵活地支持具有任何类型的结构的源模型，并且有效地避免任何培训过程。对于每个源模型，SMS首先将目标数据集中的样本加速到软标签中，通过直接将该模型直接应用于目标数据集，然后使用高斯分布适合软标签的集群，最后测量源模型使用的显着能力高斯混合的公制。此外，我们提出了一种改进的SMS（I-SMS），其降低了源模型的输出数量。 I-SMS可以显着降低选择时间，同时保留SMS的选择性能。关于一系列实用模型重用工作负载的广泛实验证明了SMS的有效性和效率。

微调被广泛应用于图像分类任务中，作为转移学习方法。它重新使用源任务中的知识来学习和获得目标任务中的高性能。微调能够减轻培训数据不足和新数据昂贵标签的挑战。但是，标准微调在复杂的数据分布中的性能有限。为了解决这个问题，我们提出了适应性的多调整方法，该方法可适应地确定每个数据样本的微调策略。在此框架中，定义了多个微调设置和一个策略网络。适应性多调整中的策略网络可以动态地调整为最佳权重，以将不同的样本馈入使用不同的微调策略训练的模型。我们的方法的表现优于标准的微调方法1.69％，数据集FGVC-Aircraft和可描述的纹理优于2.79％，在Stanford Cars，CIFAR-10和时尚范围内产生可比的性能。

With the ever-growing model size and the limited availability of labeled training data, transfer learning has become an increasingly popular approach in many science and engineering domains. For classification problems, this work delves into the mystery of transfer learning through an intriguing phenomenon termed neural collapse (NC), where the last-layer features and classifiers of learned deep networks satisfy: (i) the within-class variability of the features collapses to zero, and (ii) the between-class feature means are maximally and equally separated. Through the lens of NC, our findings for transfer learning are the following: (i) when pre-training models, preventing intra-class variability collapse (to a certain extent) better preserves the intrinsic structures of the input data, so that it leads to better model transferability; (ii) when fine-tuning models on downstream tasks, obtaining features with more NC on downstream data results in better test accuracy on the given task. The above results not only demystify many widely used heuristics in model pre-training (e.g., data augmentation, projection head, self-supervised learning), but also leads to more efficient and principled fine-tuning method on downstream tasks that we demonstrate through extensive experimental results.

本文解决了对预先训练的深神经网络进行排名并筛选最下游任务的重要问题。这是具有挑战性的，因为每个任务的基本模型排名只能通过微调目标数据集中的预训练模型来生成，该模型是蛮力且计算昂贵的。最近的高级方法提出了几个轻巧的可转移性指标来预测微调结果。但是，这些方法仅捕获静态表示，但忽略了微调动态。为此，本文提出了一个新的可传递性度量，称为\ textbf {s} elf-challenging \ textbf {f} isher \ textbf {d} is Criminant \ textbf {a} nalisy（\ textbf {\ textbf {sfda}）现有作品没有的有吸引力的好处。首先，SFDA可以将静态特征嵌入渔民空间中，并完善它们，以在类之间更好地分离性。其次，SFDA使用一种自我挑战的机制来鼓励不同的预训练模型来区分硬性示例。第三，SFDA可以轻松地为模型集合选择多个预训练的模型。 $ 33 $预培训的$ 11 $下游任务的$ 33 $预培训模型的广泛实验表明，在测量预训练模型的可传递性时，SFDA具有高效，有效和健壮。例如，与最先进的方法NLEEP相比，SFDA平均显示了59.1美元的增益，同时带来了$ 22.5 $ x的墙壁速度速度。该代码将在\ url {https://github.com/tencentarc/sfda}上提供。

The estimation of the generalization error of classifiers often relies on a validation set. Such a set is hardly available in few-shot learning scenarios, a highly disregarded shortcoming in the field. In these scenarios, it is common to rely on features extracted from pre-trained neural networks combined with distance-based classifiers such as nearest class mean. In this work, we introduce a Gaussian model of the feature distribution. By estimating the parameters of this model, we are able to predict the generalization error on new classification tasks with few samples. We observe that accurate distance estimates between class-conditional densities are the key to accurate estimates of the generalization performance. Therefore, we propose an unbiased estimator for these distances and integrate it in our numerical analysis. We show that our approach outperforms alternatives such as the leave-one-out cross-validation strategy in few-shot settings.

几乎所有用于计算机视觉任务的最先进的神经网络都受到（1）在目标数据集上的大规模数据集和（2）FINETUNING上的预培训（1）预培训。该策略有助于减少对目标数据集的依赖，并提高目标任务的收敛速率和泛化。虽然对大型数据集进行预训练非常有用，但其最重要的缺点是高培训成本。要解决此问题，我们提出了有效的过滤方法，以从训练前的数据集中选择相关子集。此外，我们发现，在训练前的图像分辨率降低图像分辨率在成本和性能之间提供了很大的权衡。我们通过在无监督和监督设置中的想象中进行预测，并在各种目标数据集和任务集合中进行预测，通过预先培训来验证我们的技术。我们提出的方法大大降低了预训练成本并提供了强大的性能提升。最后，我们通过在我们的子集上调整可用模型来提高标准ImageNet预培训1-3％，并在从更大的规模数据集中过滤的数据集上进行预训练。

最近，已经观察到，转移学习解决方案可能是我们解决许多少量学习基准的全部 - 因此提出了有关何时以及如何部署元学习算法的重要问题。在本文中，我们试图通过1.提出一个新颖的指标（多样性系数）来阐明这些问题，以测量几次学习基准和2.的任务多样性。 ）并在公平条件下进行学习（相同的体系结构，相同的优化器和所有经过培训的模型）。使用多样性系数，我们表明流行的迷你胶原和Cifar-fs几乎没有学习基准的多样性低。这种新颖的洞察力将转移学习解决方案比在公平比较的低多样性方面的元学习解决方案更好。具体而言，我们从经验上发现，低多样性系数与转移学习和MAML学习解决方案之间的高相似性在元测试时间和分类层相似性方面（使用基于特征的距离指标，例如SVCCA，PWCCA，CKA和OPD） ）。为了进一步支持我们的主张，我们发现这种元测试的准确性仍然存在，即使模型大小变化也是如此。因此，我们得出的结论是，在低多样性制度中，MAML和转移学习在公平比较时具有等效的元检验性能。我们也希望我们的工作激发了对元学习基准测试基准的更周到的结构和定量评估。

现代深度学习需要大规模广泛标记的数据集进行培训。少量学习旨在通过有效地从少数标记的例子中学习来缓解这个问题。在先前提出的少量视觉分类器中，假设对分类器决定的特征歧管具有不相关的特征尺寸和均匀特征方差。在这项工作中，我们专注于通过提出以低标签制度运行的差异敏感的模型来解决这一假设引起的限制。第一种方法简单的CNAP，采用基于分层正规的Mahalanobis距离基于距离的分类器，与现有神经自适应特征提取器的状态相结合，以在元数据集，迷你成像和分层图像基准基准上实现强大性能。我们进一步将这种方法扩展到转换学习设置，提出转导压盖。这种转换方法将软k-means参数细化过程与两步任务编码器相结合，以实现使用未标记数据的改进的测试时间分类精度。转导CNAP在元数据集上实现了最先进的性能。最后，我们探讨了我们的方法（简单和转换）的使用“开箱即用”持续和积极的学习。大规模基准的广泛实验表明了这一点的鲁棒性和多功能性，相对说话，简单的模型。所有培训的模型检查点和相应的源代码都已公开可用。

Deep transfer learning (DTL) has formed a long-term quest toward enabling deep neural networks (DNNs) to reuse historical experiences as efficiently as humans. This ability is named knowledge transferability. A commonly used paradigm for DTL is firstly learning general knowledge (pre-training) and then reusing (fine-tuning) them for a specific target task. There are two consensuses of transferability of pre-trained DNNs: (1) a larger domain gap between pre-training and downstream data brings lower transferability; (2) the transferability gradually decreases from lower layers (near input) to higher layers (near output). However, these consensuses were basically drawn from the experiments based on natural images, which limits their scope of application. This work aims to study and complement them from a broader perspective by proposing a method to measure the transferability of pre-trained DNN parameters. Our experiments on twelve diverse image classification datasets get similar conclusions to the previous consensuses. More importantly, two new findings are presented, i.e., (1) in addition to the domain gap, a larger data amount and huge dataset diversity of downstream target task also prohibit the transferability; (2) although the lower layers learn basic image features, they are usually not the most transferable layers due to their domain sensitivity.

Image classification with small datasets has been an active research area in the recent past. However, as research in this scope is still in its infancy, two key ingredients are missing for ensuring reliable and truthful progress: a systematic and extensive overview of the state of the art, and a common benchmark to allow for objective comparisons between published methods. This article addresses both issues. First, we systematically organize and connect past studies to consolidate a community that is currently fragmented and scattered. Second, we propose a common benchmark that allows for an objective comparison of approaches. It consists of five datasets spanning various domains (e.g., natural images, medical imagery, satellite data) and data types (RGB, grayscale, multispectral). We use this benchmark to re-evaluate the standard cross-entropy baseline and ten existing methods published between 2017 and 2021 at renowned venues. Surprisingly, we find that thorough hyper-parameter tuning on held-out validation data results in a highly competitive baseline and highlights a stunted growth of performance over the years. Indeed, only a single specialized method dating back to 2019 clearly wins our benchmark and outperforms the baseline classifier.

本文关注的是将许多预训练的深神经网络（DNN）（称为检查点）排名，以将学习转移到下游任务。由于广泛使用了DNN，我们可能很容易从各种来源收集数百个检查站。他们中的哪个将最好的人转移到我们感兴趣的下游任务？为了彻底回答这个问题，我们建立了一个神经检查点排名基准（Neucrab），并研究一些直观的排名措施。这些措施是通用的，适用于不同输出类型的检查点，而无需知道如何对哪个数据集进行检查。它们还产生了低计算成本，使它们实际上有意义。我们的结果表明，检查点提取的特征的线性可分离性是可传递性的强烈指标。我们还达到了一种新的排名NLEEP，这在实验中带来了最佳性能。