最近出现了有希望的表现，利用大型预训练的模型来实现各种感兴趣的下游任务。由于模型的规模不断增长，因此，在模型培训和存储方面，基于标准的完整任务适应策略的成本高昂。这导致了参数有效传输学习的新研究方向。但是，现有的尝试通常集中在预训练模型的相同模式（例如图像理解）的下游任务上。这会产生限制，因为在某些特定的方式（例如，视频理解）中，具有足够知识的强大预训练模型较少或不可用。在这项工作中，我们研究了这样一种新型的跨模式转移学习设置，即参数有效的图像到视频传输学习。为了解决此问题，我们为每个视频任务提出了一个新的时空适配器（ST-ADAPTER），以进行参数有效调整。凭借紧凑设计中的内置时空推理能力，ST-ADAPTER可以实现预训练的图像模型，而无需时间知识，以小（〜8％）的每任务参数成本来理解动态视频内容，以大约需要与以前的工作相比，更新参数少20倍。在视频动作识别任务上进行的广泛实验表明，我们的ST-ADAPTER可以匹配甚至优于强大的完整微调策略和最先进的视频模型，同时享受参数效率的优势。

当前的Modus Operandi在改编预训练的模型中涉及更新所有骨干参数，即，完整的微调。本文介绍了视觉及时调整（VPT），作为视觉中大规模变压器模型的全面微调的有效替代方案。VPT从最近有效地调整大型语言模型的最新进展中汲取灵感，在输入空间中仅引入了少量的可训练参数（少于模型参数），同时保持模型骨架冻结。通过对各种下游识别任务的广泛实验，我们表明VPT与其他参数有效调整协议相比获得了显着的性能增长。最重要的是，在许多情况下，VPT甚至在模型能力和培训数据量表的许多情况下都胜过全面的微调，同时降低了每任务的存储成本。

视频识别是由端到端学习范式主导的 - 首先初始化具有预审预周化图像模型的视频识别模型，然后对视频进行端到端培训。这使视频网络能够受益于验证的图像模型。但是，这需要大量的计算和内存资源，以便在视频上进行填充以及直接使用预审计的图像功能的替代方案，而无需填充图像骨架会导致结果不足。幸运的是，在对比视力语言预训练（剪辑）方面的最新进展为视觉识别任务的新途径铺平了道路。这些模型在大型开放式图像文本对数据上进行了预测，以丰富的语义学习强大的视觉表示。在本文中，我们介绍了有效的视频学习（EVL） - 一种有效的框架，用于直接训练具有冷冻剪辑功能的高质量视频识别模型。具体来说，我们采用轻型变压器解码器并学习查询令牌，从剪辑图像编码器中动态收集帧级空间特征。此外，我们在每个解码器层中采用局部时间模块，以发现相邻帧及其注意力图的时间线索。我们表明，尽管有效地使用冷冻的骨干训练，但我们的模型在各种视频识别数据集上学习了高质量的视频表示。代码可在https://github.com/opengvlab/feld-video-rencognition上找到。

对比性语言图像预测在学习网络尺度数据的视觉文本联合表示方面取得了巨大的成功，这表明了各种图像任务的显着“零射”概括能力。但是，如何有效地将这种新的语言图像预处理方法扩展到视频域仍然是一个开放的问题。在这项工作中，我们提出了一种简单而有效的方法，该方法将预验证的语言图像模型直接适应视频识别，而不是从头开始预处理新模型。更具体地说，为了捕获沿时间维度框架的远距离依赖性，我们提出了一种跨框架注意机制，该机制明确地跨帧交换信息。这样的模块是轻量级的，可以无缝地插入验证的语言图像模型中。此外，我们提出了一个特定于视频的提示方案，该方案利用视频内容信息生成歧视性文本提示。广泛的实验表明，我们的方法是有效的，可以推广到不同的视频识别方案。特别是，在完全监督的设置下，我们的方法在Kinectics-400上获得了最高1的精度为87.1％，而与SWIN-L和Vivit-H相比，使用量少12倍。在零拍摄的实验中，我们的方法超过了当前的最新方法 +7.6％和 +14.9％，而在两个流行协议下，TOP-1的准确性。在少数拍摄的情况下，当标记的数据非常有限时，我们的方法优于先前的最佳方法 +32.1％和 +23.1％。代码和型号可在https://aka.ms/x-clip上找到

Large-scale multi-modal training with image-text pairs imparts strong generalization to CLIP model. Since training on a similar scale for videos is infeasible, recent approaches focus on the effective transfer of image-based CLIP to the video domain. In this pursuit, new parametric modules are added to learn temporal information and inter-frame relationships which require meticulous design efforts. Furthermore, when the resulting models are learned on videos, they tend to overfit on the given task distribution and lack in generalization aspect. This begs the following question: How to effectively transfer image-level CLIP representations to videos? In this work, we show that a simple Video Fine-tuned CLIP (ViFi-CLIP) baseline is generally sufficient to bridge the domain gap from images to videos. Our qualitative analysis illustrates that the frame-level processing from CLIP image-encoder followed by feature pooling and similarity matching with corresponding text embeddings helps in implicitly modeling the temporal cues within ViFi-CLIP. Such fine-tuning helps the model to focus on scene dynamics, moving objects and inter-object relationships. For low-data regimes where full fine-tuning is not viable, we propose a `bridge and prompt' approach that first uses fine-tuning to bridge the domain gap and then learns prompts on language and vision side to adapt CLIP representations. We extensively evaluate this simple yet strong baseline on zero-shot, base-to-novel generalization, few-shot and fully supervised settings across five video benchmarks. Our code is available at https://github.com/muzairkhattak/ViFi-CLIP.

自动视觉解对我们多样化和开放的世界需要计算机视觉模型，以概括为特定任务的最小定制，类似于人类视力。计算机视觉基础型号培训，培训多样化，大型数据集，可以适应各种下游任务，对该任务来解决现实世界计算机视觉应用而言至关重要。虽然现有的视觉基础模型如剪辑，对齐和吴道2.0主要集中在映射图像和文本表示到跨模型共享表示，我们介绍了一台新的计算机视觉基础模型，佛罗伦萨，扩大粗糙的表示（现场）到精细（对象），从静态（图像）到动态（视频），以及从RGB到多个模态（标题，深度）。通过从Web级图像文本数据中纳入通用视觉语言表示，我们的佛罗伦萨模型可以很容易地适应各种计算机视觉任务，例如分类，检索，对象检测，VQA，图像标题，视频检索和动作识别。此外，佛罗伦萨在许多类型的转移学习中表现出出色的表现：全面采样的微调，线性探测，几次射击传输和用于新颖图像和物体的零拍摄传输。所有这些属性对于我们的视觉基础模型至关重要，以提供通用视觉任务。佛罗伦萨实现了新的最先进的导致44个代表性基准，例如Imagenet-1K零射击分类，最高1精度为83.74，最高5个精度为97.18，62.4地图上的Coco微调， 80.36在VQA上，动力学-600上的87.8。

在本文中，我们介绍了一种新颖的视觉表示学习，它依赖于少数自适应地学习令牌，并且适用于图像和视频理解任务。而不是依靠手工设计的分割策略来获得视觉令牌并处理大量密集采样的补丁进行关注，我们的方法学会在视觉数据中挖掘重要令牌。这导致有效且有效地找到一些重要的视觉令牌，并且可以在这些令牌之间进行成像注意，在更长的视频的时间范围内，或图像中的空间内容。我们的实验表现出对图像和视频识别任务的几个具有挑战性的基准的强烈性能。重要的是，由于我们的令牌适应性，我们在显着减少的计算金额下实现竞争结果。在计算上更有效的同时，我们获得了对想象成的最先进结果的可比结果。我们在多个视频数据集中建立新的最先进的，包括动力学-400，动力学-600，Charades和Avid。代码可在：https://github.com/google-research/scenic/tree/main/scenic/projects/token_learner

We present a simple approach which can turn a ViT encoder into an efficient video model, which can seamlessly work with both image and video inputs. By sparsely sampling the inputs, the model is able to do training and inference from both inputs. The model is easily scalable and can be adapted to large-scale pre-trained ViTs without requiring full finetuning. The model achieves SOTA results and the code will be open-sourced.

Existing fine-tuning methods either tune all parameters of the pre-trained model (full fine-tuning), which is not efficient, or only tune the last linear layer (linear probing), which suffers a significant accuracy drop compared to the full fine-tuning. In this paper, we propose a new parameter-efficient fine-tuning method termed as SSF, representing that researchers only need to Scale and Shift the deep Features extracted by a pre-trained model to catch up with the performance of full fine-tuning. In this way, SSF also surprisingly outperforms other parameter-efficient fine-tuning approaches even with a smaller number of tunable parameters. Furthermore, different from some existing parameter-efficient fine-tuning methods (e.g., Adapter or VPT) that introduce the extra parameters and computational cost in the training and inference stages, SSF only adds learnable parameters during the training stage, and these additional parameters can be merged into the original pre-trained model weights via re-parameterization in the inference phase. With the proposed SSF, our model obtains 2.46% (90.72% vs. 88.54%) and 11.48% (73.10% vs. 65.57%) performance improvement on FGVC and VTAB-1k in terms of Top-1 accuracy compared to the full fine-tuning but only fine-tuning about 0.3M parameters. We also conduct amounts of experiments in various model families (CNNs, Transformers, and MLPs) and datasets. Results on 26 image classification datasets in total and 3 robustness & out-of-distribution datasets show the effectiveness of SSF. Code is available at https://github.com/dongzelian/SSF.

Intermediate features of a pre-trained model have been shown informative for making accurate predictions on downstream tasks, even if the model backbone is kept frozen. The key challenge is how to utilize these intermediate features given their gigantic amount. We propose visual query tuning (VQT), a simple yet effective approach to aggregate intermediate features of Vision Transformers. Through introducing a handful of learnable ``query'' tokens to each layer, VQT leverages the inner workings of Transformers to ``summarize'' rich intermediate features of each layer, which can then be used to train the prediction heads of downstream tasks. As VQT keeps the intermediate features intact and only learns to combine them, it enjoys memory efficiency in training, compared to many other parameter-efficient fine-tuning approaches that learn to adapt features and need back-propagation through the entire backbone. This also suggests the complementary role between VQT and those approaches in transfer learning. Empirically, VQT consistently surpasses the state-of-the-art approach that utilizes intermediate features for transfer learning and outperforms full fine-tuning in many cases. Compared to parameter-efficient approaches that adapt features, VQT achieves much higher accuracy under memory constraints. Most importantly, VQT is compatible with these approaches to attain even higher accuracy, making it a simple add-on to further boost transfer learning.

通常需要在大型数据集上进行预训练的视频变压器，以在相对较小的数据集上实现首要性能。在本文中，我们表明视频蒙面的自动编码器（Videomae）是用于自我监督视频预训练（SSVP）的数据效率学习者。我们的启发受到了最近的ImageMae的启发，并提出了具有极高比例的定制视频管掩蔽。这种简单的设计使视频重建成为更具挑战性的自我判断任务，从而鼓励在此预训练过程中提取更有效的视频表示。我们在SSVP上获得了三个重要发现：（1）屏蔽比的比例极高（即90％至95％）仍然可以产生良好的视频性能。在时间上冗余的视频内容比图像更高的掩蔽率。 （2）视频在很小的数据集（即3K-4K视频）上取得了令人印象深刻的结果，而无需使用任何额外的数据。 （3）视频表明，数据质量比SSVP的数据数量更重要。在培训和目标数据集之间的域转移是一个重要问题。值得注意的是，我们与香草VIT的视频在动力学400上可以达到85.8％，在不使用任何额外数据的情况下，在HMDB51上的V2上有75.3％，UCF101的某些东西为75.3％，在UCF101上获得90.8％，HMDB51上的90.8％和61.1％。代码可从https://github.com/mcg-nju/videomae获得。

对比视力语言预训练（称为剪辑）为使用大型图像文本对学习视觉表示提供了新的范式。通过零拍知识转移，它在下游任务上表现出令人印象深刻的表现。为了进一步增强剪辑的适应能力，现有的方法提议微调额外的可学习模块，这大大改善了少量的性能，但引入了额外的培训时间和计算资源。在本文中，我们提出了一种无训练的适应方法，用于进行剪辑进行几个弹药分类，称为Tip-Adapter，该分类不仅继承了零拍剪辑的无训练优势，而且还与训练需要的那些相当的表现相当方法。 TIP-ADAPTER通过少数照片训练集通过键值缓存模型构造适配器，并更新通过功能检索中剪辑中编码的先验知识。最重要的是，可以通过对10 $ \ times $ \现有方法少的速度$ \ times $ $ \现有方法进行微调，这可以进一步提高Imagenet上的最先进。高效的。我们在11个数据集上进行了很少的射击分类实验，以证明我们提出的方法的优势。代码在https://github.com/gaopengcuhk/tip-adapter上发布。

自2020年推出以来，Vision Transformers（VIT）一直在稳步打破许多视觉任务的记录，通常被描述为``全部'''替换Convnet。而且对于嵌入式设备不友好。此外，最近的研究表明，标准的转话如果经过重新设计和培训，可以在准确性和可伸缩性方面与VIT竞争。在本文中，我们采用Convnet的现代化结构来设计一种新的骨干，以采取行动，以采取行动特别是我们的主要目标是为工业产品部署服务，例如仅支持标准操作的FPGA董事会。因此，我们的网络仅由2D卷积组成，而无需使用任何3D卷积，远程注意插件或变压器块。在接受较少的时期（5x-10x）训练时，我们的骨干线超过了（2+1）D和3D卷积的方法，并获得可比的结果s在两个基准数据集上具有vit。

在计算机视觉中广泛采用了预处理 - 最终的范式。但是，随着视觉变压器（VIT）的尺寸呈指数增长，鉴于较重的存储空间的头顶，完整的燃料变得过于望而却步。最近的研究是由参数效率转移学习（PETL）的动机，最近的研究试图插入轻巧的适应模块（例如，适配器层或及时令牌）以预处理VIT，并且仅释放这些模块，而预处理的权重则是冷冻的。但是，这些模块最初是为了芬太尼语言模型而提出的。尽管对VIT的口号很好，但他们的设计缺乏视觉任务的先验知识。在本文中，我们建议在VIT中构建卷积旁路（Convass）作为适应模块，仅引入了可训练参数的少量（少于模型参数的0.5％）以适应大型VIT。与其他PETL方法不同，卷积层的硬编码电感偏置的互惠受益，因此更适合视觉任务，尤其是在低数据表格中。 VTAB-1K基准和少量学习数据集的实验结果表明，Convass的表现优于当前面向语言的适应模块，这证明了对视觉模型量身定制面向视觉的适应模块的必要性。

视觉变压器正在成为解决计算机视觉问题的强大工具。最近的技术还证明了超出图像域之外的变压器来解决许多与视频相关的任务的功效。其中，由于其广泛的应用，人类的行动识别是从研究界受到特别关注。本文提供了对动作识别的视觉变压器技术的首次全面调查。我们朝着这个方向分析并总结了现有文献和新兴文献，同时突出了适应变形金刚以进行动作识别的流行趋势。由于其专业应用，我们将这些方法统称为``动作变压器''。我们的文献综述根据其架构，方式和预期目标为动作变压器提供了适当的分类法。在动作变压器的背景下，我们探讨了编码时空数据，降低维度降低，框架贴片和时空立方体构造以及各种表示方法的技术。我们还研究了变压器层中时空注意的优化，以处理更长的序列，通常通过减少单个注意操作中的令牌数量。此外，我们还研究了不同的网络学习策略，例如自我监督和零局学习，以及它们对基于变压器的行动识别的相关损失。这项调查还总结了在具有动作变压器重要基准的评估度量评分方面取得的进步。最后，它提供了有关该研究方向的挑战，前景和未来途径的讨论。

在过去的几年中，视觉模型的规模呈指数增长，尤其是在视觉变压器出现之后。这激发了参数有效调整方法的开发，例如学习适配器层或视觉及时令牌，这允许训练一小部分模型参数，而从预训练中获得的绝大多数则可以冷冻。但是，设计适当的调整方法是不平凡的：可能需要尝试冗长的设计选择列表，更不用说每个下游数据集通常都需要自定义设计。在本文中，我们将现有的参数效率调整方法视为“及时模块”，并提出了神经及时搜索（Noah），这是一种新颖的方法，可以学习大型视觉模型，通过神经体系结构搜索算法的及时模型的最佳设计， ，专门针对每个下游数据集。通过对20多个视觉数据集进行广泛的实验，我们证明了Noah（i）优于单个提示模块，（ii）具有良好的少数学习能力，并且（iii）可以域名。代码和型号可在https://github.com/davidzhangyuanhan/noah上找到。

Transformer models have shown great success handling long-range interactions, making them a promising tool for modeling video. However they lack inductive biases and scale quadratically with input length. These limitations are further exacerbated when dealing with the high dimensionality introduced with the temporal dimension. While there are surveys analyzing the advances of Transformers for vision, none focus on an in-depth analysis of video-specific designs. In this survey we analyze main contributions and trends of works leveraging Transformers to model video. Specifically, we delve into how videos are handled as input-level first. Then, we study the architectural changes made to deal with video more efficiently, reduce redundancy, re-introduce useful inductive biases, and capture long-term temporal dynamics. In addition we provide an overview of different training regimes and explore effective self-supervised learning strategies for video. Finally, we conduct a performance comparison on the most common benchmark for Video Transformers (i.e., action classification), finding them to outperform 3D ConvNets even with less computational complexity.

尽管参数有效调整（PET）方法在自然语言处理（NLP）任务上显示出巨大的潜力，但其有效性仍然对计算机视觉（CV）任务的大规模转向进行了研究。本文提出了Conv-Adapter，这是一种专为CONCNET设计的PET模块。 Conv-Adapter具有轻巧的，可转让的域和架构，不合时宜，并且在不同的任务上具有广义性能。当转移下游任务时，Conv-Adapter将特定于任务的特征调制到主链的中间表示，同时保持预先训练的参数冻结。通过仅引入少量可学习的参数，例如，仅3.5％的RESNET50的完整微调参数，Conv-Adapter优于先前的宠物基线方法，并实现可比性或超过23个分类任务的全面调查的性能。它还在几乎没有分类的情况下表现出卓越的性能，平均利润率为3.39％。除分类外，Conv-Adapter可以推广到检测和细分任务，其参数降低了50％以上，但性能与传统的完整微调相当。

基于变压器的方法最近在基于2D图像的视力任务上取得了巨大进步。但是，对于基于3D视频的任务，例如动作识别，直接将时空变压器应用于视频数据将带来沉重的计算和记忆负担，因为斑块的数量大大增加以及自我注意计算的二次复杂性。如何对视频数据的3D自我注意力进行有效地建模，这对于变压器来说是一个巨大的挑战。在本文中，我们提出了一种时间贴片移动（TPS）方法，用于在变压器中有效的3D自发明建模，以进行基于视频的动作识别。 TPS在时间尺寸中以特定的镶嵌图模式移动斑块的一部分，从而将香草的空间自我发项操作转换为时空的一部分，几乎没有额外的成本。结果，我们可以使用几乎相同的计算和记忆成本来计算3D自我注意力。 TPS是一个插件模块，可以插入现有的2D变压器模型中，以增强时空特征学习。提出的方法可以通过最先进的V1和V1，潜水-48和Kinetics400实现竞争性能，同时在计算和内存成本方面效率更高。 TPS的源代码可在https://github.com/martinxm/tps上找到。

我们呈现了基于纯变压器的视频分类模型，在图像分类中最近的近期成功进行了借鉴。我们的模型从输入视频中提取了时空令牌，然后由一系列变压器层编码。为了处理视频中遇到的令牌的长序列，我们提出了我们模型的几种有效的变体，它们将输入的空间和时间维构建。虽然已知基于变换器的模型只有在可用的大型训练数据集时才有效，但我们展示了我们如何在训练期间有效地规范模型，并利用预先训练的图像模型能够在相对小的数据集上训练。我们进行彻底的消融研究，并在包括动力学400和600，史诗厨房，东西的多个视频分类基准上实现最先进的结果，其中 - 基于深度3D卷积网络的现有方法表现出优先的方法。为了促进进一步的研究，我们在https://github.com/google-research/scenic/tree/main/scenic/projects/vivit发布代码