基于变压器的监督预培训在重新识别（REID）中实现了良好的性能。但是，由于想象成和Reid数据集之间的域间隙，它通常需要更大的预训练数据集（例如，ImageNet-21k），以提高性能，因为变压器的强大数据拟合能力。为了解决这一挑战，这项工作可以分别从数据和模型结构的角度降低预训练和REID数据集之间的差距。我们首先调查在未标记的人物图像（Luperson DataSet）上的视觉变压器（VIV）的自我监督为了进一步降低域间隙并加速预训练，提出了灾难性的遗忘得分（CFS）来评估预训练和微调数据之间的差距。基于CFS，通过采样靠近下游REID数据的相关数据来选择一个子集，并从预训练的数据集中过滤无关数据。对于模型结构，提出了一种名为基于IBN的卷积词条（ICS）的特定于REID的模块来通过学习更不变的功能来弥合域间隙。已经进行了广泛的实验，以微调在监督学习，无监督域适应（UDA）和无监督的学习（USL）设置下进行预训练模型。我们成功将Luperson DataSet缩小为50％，没有性能下降。最后，我们在市场-1501和MSMT17上实现了最先进的表现。例如，我们的VIT-S / 16在Market1501上实现了91.3％/ 89.9％/ 89.6％用于监督/ UDA / USL REID的11501。代码和模型将发布到https://github.com/michuanhaohao/transreid -sl。

在亲自重新识别（REID）中，最近的研究已经验证了未标记的人图像上的模型的预训练要比ImageNet上要好得多。但是，这些研究直接应用了为图像分类设计的现有自我监督学习（SSL）方法，用于REID，而无需在框架中进行任何适应。这些SSL方法将本地视图的输出（例如红色T恤，蓝色短裤）与同时的全球视图相匹配，从而丢失了很多细节。在本文中，我们提出了一种特定于REID的预训练方法，部分意识的自我监督预训练（PASS），该方法可以生成零件级别的功能以提供细粒度的信息，并且更适合REID。通行证将图像分为几个局部区域，每个区域随机裁剪的本地视图都有特定的可学习[部分]令牌。另一方面，所有地方区域的[部分]也附加到全球视图中。通行证学习以匹配同一[部分]上本地视图的输出和全局视图。也就是说，从本地区域获得的本地视图的[部分]仅与从全球视图中学到的相应[部分]相匹配。结果，每个[部分]可以专注于图像的特定局部区域，并提取该区域的细粒度信息。实验显示通行证在Market1501和MSMT17上的新最先进的表演以及各种REID任务（例如Vanilla vit-s/16）通过Pass Achieves 92.2 \％/90.2 \％/88.5 \％地图准确性，例如Vanilla vit-s/16在Market1501上进行监督/UDA/USL REID。我们的代码可在https://github.com/casia-iva-lab/pass-reid上找到。

Recently, the self-supervised pre-training paradigm has shown great potential in leveraging large-scale unlabeled data to improve downstream task performance. However, increasing the scale of unlabeled pre-training data in real-world scenarios requires prohibitive computational costs and faces the challenge of uncurated samples. To address these issues, we build a task-specific self-supervised pre-training framework from a data selection perspective based on a simple hypothesis that pre-training on the unlabeled samples with similar distribution to the target task can bring substantial performance gains. Buttressed by the hypothesis, we propose the first yet novel framework for Scalable and Efficient visual Pre-Training (SEPT) by introducing a retrieval pipeline for data selection. SEPT first leverage a self-supervised pre-trained model to extract the features of the entire unlabeled dataset for retrieval pipeline initialization. Then, for a specific target task, SEPT retrievals the most similar samples from the unlabeled dataset based on feature similarity for each target instance for pre-training. Finally, SEPT pre-trains the target model with the selected unlabeled samples in a self-supervised manner for target data finetuning. By decoupling the scale of pre-training and available upstream data for a target task, SEPT achieves high scalability of the upstream dataset and high efficiency of pre-training, resulting in high model architecture flexibility. Results on various downstream tasks demonstrate that SEPT can achieve competitive or even better performance compared with ImageNet pre-training while reducing the size of training samples by one magnitude without resorting to any extra annotations.

Computational pathology can lead to saving human lives, but models are annotation hungry and pathology images are notoriously expensive to annotate. Self-supervised learning has shown to be an effective method for utilizing unlabeled data, and its application to pathology could greatly benefit its downstream tasks. Yet, there are no principled studies that compare SSL methods and discuss how to adapt them for pathology. To address this need, we execute the largest-scale study of SSL pre-training on pathology image data, to date. Our study is conducted using 4 representative SSL methods on diverse downstream tasks. We establish that large-scale domain-aligned pre-training in pathology consistently out-performs ImageNet pre-training in standard SSL settings such as linear and fine-tuning evaluations, as well as in low-label regimes. Moreover, we propose a set of domain-specific techniques that we experimentally show leads to a performance boost. Lastly, for the first time, we apply SSL to the challenging task of nuclei instance segmentation and show large and consistent performance improvements under diverse settings.

我们研究了视觉变压器的培训，用于半监督图像分类。变形金刚最近在众多监督的学习任务中表现出令人印象深刻的表现。令人惊讶的是，我们发现视觉变形金刚在半监督的想象中心设置上表现不佳。相比之下，卷积神经网络（CNNS）实现了小标记数据制度的卓越结果。进一步调查揭示了原因是CNN具有强大的空间归纳偏差。灵感来自这一观察，我们介绍了一个联合半监督学习框架，半统一，其中包含变压器分支，卷积分支和精心设计的融合模块，用于分支之间的知识共享。卷积分支在有限监督数据上培训，并生成伪标签，以监督变压器分支对未标记数据的培训。关于Imagenet的广泛实验表明，半统一达到75.5 \％的前1个精度，优于最先进的。此外，我们显示Semifirmer是一般框架，与大多数现代变压器和卷积神经结构兼容。

In this paper, we are interested in learning a generalizable person re-identification (re-ID) representation from unlabeled videos. Compared with 1) the popular unsupervised re-ID setting where the training and test sets are typically under the same domain, and 2) the popular domain generalization (DG) re-ID setting where the training samples are labeled, our novel scenario combines their key challenges: the training samples are unlabeled, and collected form various domains which do no align with the test domain. In other words, we aim to learn a representation in an unsupervised manner and directly use the learned representation for re-ID in novel domains. To fulfill this goal, we make two main contributions: First, we propose Cycle Association (CycAs), a scalable self-supervised learning method for re-ID with low training complexity; and second, we construct a large-scale unlabeled re-ID dataset named LMP-video, tailored for the proposed method. Specifically, CycAs learns re-ID features by enforcing cycle consistency of instance association between temporally successive video frame pairs, and the training cost is merely linear to the data size, making large-scale training possible. On the other hand, the LMP-video dataset is extremely large, containing 50 million unlabeled person images cropped from over 10K Youtube videos, therefore is sufficient to serve as fertile soil for self-supervised learning. Trained on LMP-video, we show that CycAs learns good generalization towards novel domains. The achieved results sometimes even outperform supervised domain generalizable models. Remarkably, CycAs achieves 82.2% Rank-1 on Market-1501 and 49.0% Rank-1 on MSMT17 with zero human annotation, surpassing state-of-the-art supervised DG re-ID methods. Moreover, we also demonstrate the superiority of CycAs under the canonical unsupervised re-ID and the pretrain-and-finetune scenarios.

通过自学学习的视觉表示是一项极具挑战性的任务，因为网络需要在没有监督提供的主动指导的情况下筛选出相关模式。这是通过大量数据增强，大规模数据集和过量量的计算来实现的。视频自我监督学习（SSL）面临着额外的挑战：视频数据集通常不如图像数据集那么大，计算是一个数量级，并且优化器所必须通过的伪造模式数量乘以几倍。因此，直接从视频数据中学习自我监督的表示可能会导致次优性能。为了解决这个问题，我们建议在视频表示学习框架中利用一个以自我或语言监督为基础的强大模型，并在不依赖视频标记的数据的情况下学习强大的空间和时间信息。为此，我们修改了典型的基于视频的SSL设计和目标，以鼓励视频编码器\ textit {subsume}基于图像模型的语义内容，该模型在通用域上训练。所提出的算法被证明可以更有效地学习（即在较小的时期和较小的批次中），并在单模式SSL方法中对标准下游任务进行了新的最新性能。

监督学习可以学习大型代表性空间，这对于处理困难的学习任务至关重要。然而，由于模型的设计，经典图像分类方法争取在处理小型数据集时概括为新的问题和新情况。事实上，监督学习可能失去图像特征的位置，这导致在非常深刻的架构中的监督崩溃。在本文中，我们调查了如何有效地对未标记数据的强大和充分增强的自我监督，可以有效地培训神经网络的第一层，甚至比监督学习更好，无需数百万标记的数据。主要目标是通过获取通用任务 - 不可知的低级功能来断开像素数据与注释的连接。此外，我们调查视觉变形金刚（VIV）并表明，从自我监督架构中得出的低级功能可以提高这种紧急架构的鲁棒性和整体性能。我们在最小的开源数据集STL-​​10上评估了我们的方法，当从自我监督的学习架构输入到vit而不是原始时，我们获得了从41.66％的显着提升到83.25％。图片。

作为主导范式，微调目标数据的预先训练模型广泛用于许多深度学习应用，特别是对于小数据集。然而，最近的研究已经明确表明，一旦培训迭代的数量增加，划痕训练都没有比这一训练前策略更糟糕的最终表现。在这项工作中，我们从学习理论中流行的泛化分析的角度重新审视这种现象。我们的结果表明，最终预测精度可能具有对预训练模型的弱依赖性，特别是在大训练迭代的情况下。观察激励我们利用预训练预调整的数据，因为此数据也可用于微调。使用预训练数据的泛化结果表明，当适当的预训练数据包含在微调中时，可以提高目标任务的最终性能。随着理论发现的洞察力，我们提出了一种新颖的选择策略来选择从预训练数据中的子集，以帮助改善目标任务的概括。 8个基准数据集上的图像分类任务的广泛实验结果验证了基于数据选择的微调管道的有效性。

Pretraining is a dominant paradigm in computer vision. Generally, supervised ImageNet pretraining is commonly used to initialize the backbones of person re-identification (Re-ID) models. However, recent works show a surprising result that CNN-based pretraining on ImageNet has limited impacts on Re-ID system due to the large domain gap between ImageNet and person Re-ID data. To seek an alternative to traditional pretraining, here we investigate semantic-based pretraining as another method to utilize additional textual data against ImageNet pretraining. Specifically, we manually construct a diversified FineGPR-C caption dataset for the first time on person Re-ID events. Based on it, a pure semantic-based pretraining approach named VTBR is proposed to adopt dense captions to learn visual representations with fewer images. We train convolutional neural networks from scratch on the captions of FineGPR-C dataset, and then transfer them to downstream Re-ID tasks. Comprehensive experiments conducted on benchmark datasets show that our VTBR can achieve competitive performance compared with ImageNet pretraining - despite using up to 1.4x fewer images, revealing its potential in Re-ID pretraining.

Person re-identification plays a significant role in realistic scenarios due to its various applications in public security and video surveillance. Recently, leveraging the supervised or semi-unsupervised learning paradigms, which benefits from the large-scale datasets and strong computing performance, has achieved a competitive performance on a specific target domain. However, when Re-ID models are directly deployed in a new domain without target samples, they always suffer from considerable performance degradation and poor domain generalization. To address this challenge, we propose a Deep Multimodal Fusion network to elaborate rich semantic knowledge for assisting in representation learning during the pre-training. Importantly, a multimodal fusion strategy is introduced to translate the features of different modalities into the common space, which can significantly boost generalization capability of Re-ID model. As for the fine-tuning stage, a realistic dataset is adopted to fine-tune the pre-trained model for better distribution alignment with real-world data. Comprehensive experiments on benchmarks demonstrate that our method can significantly outperform previous domain generalization or meta-learning methods with a clear margin. Our source code will also be publicly available at https://github.com/JeremyXSC/DMF.

通常需要在大型数据集上进行预训练的视频变压器，以在相对较小的数据集上实现首要性能。在本文中，我们表明视频蒙面的自动编码器（Videomae）是用于自我监督视频预训练（SSVP）的数据效率学习者。我们的启发受到了最近的ImageMae的启发，并提出了具有极高比例的定制视频管掩蔽。这种简单的设计使视频重建成为更具挑战性的自我判断任务，从而鼓励在此预训练过程中提取更有效的视频表示。我们在SSVP上获得了三个重要发现：（1）屏蔽比的比例极高（即90％至95％）仍然可以产生良好的视频性能。在时间上冗余的视频内容比图像更高的掩蔽率。 （2）视频在很小的数据集（即3K-4K视频）上取得了令人印象深刻的结果，而无需使用任何额外的数据。 （3）视频表明，数据质量比SSVP的数据数量更重要。在培训和目标数据集之间的域转移是一个重要问题。值得注意的是，我们与香草VIT的视频在动力学400上可以达到85.8％，在不使用任何额外数据的情况下，在HMDB51上的V2上有75.3％，UCF101的某些东西为75.3％，在UCF101上获得90.8％，HMDB51上的90.8％和61.1％。代码可从https://github.com/mcg-nju/videomae获得。

现有人重新识别（Reid）方法通常直接加载预先训练的ImageNet权重以进行初始化。然而，作为一个细粒度的分类任务，Reid更具挑战性，并且存在于想象成分类之间的大域差距。在本文中，通过自我监督的代表性的巨大成功的巨大成功，在本文中，我们为基于对比学习（CL）管道的对比训练，为REID设计了一个无人监督的训练框架，被称为上限。在预培训期间，我们试图解决学习细粒度的重点问题的两个关键问题：（1）CL流水线中的增强可能扭曲人物图像中的鉴别条款。 （2）未完全探索人物图像的细粒度局部特征。因此，我们在Up-Reid中引入了一个身份内 - 身份（i $ ^ 2 $ - ）正则化，该正常化是从全局图像方面和本地补丁方面的两个约束：在增强和原始人物图像之间强制强制实施全局一致性为了增加增强的稳健性，而使用每个图像的本地斑块之间的内在对比度约束来完全探索局部鉴别的线索。在多个流行的RE-ID数据集上进行了广泛的实验，包括PersonX，Market1501，CuHK03和MSMT17，表明我们的上部Reid预训练模型可以显着使下游REID微调和实现最先进的性能。代码和模型将被释放到https://github.com/frost-yang-99/up -reid。

由于源域和目标域之间的巨大差距，对于人重新识别的无监督域适应（UDA）是具有挑战性的。典型的自我训练方法是使用群集算法生成的伪标签来迭代优化目标域上的模型。然而，对此的缺点是嘈杂的伪标签通常在学习时造成麻烦。为了解决这个问题，已经开发了双网络的相互学习方法来生产可靠的软标签。然而，随着两个神经网络逐渐收敛，它们的互补性被削弱，并且它们可能变得偏向相同的噪音。本文提出了一种新颖的轻量级模块，细小波块（AWB），可以集成到相互学习的双网络中，以增强伪标签中的互补性和进一步抑制噪声。具体而言，我们首先介绍一种无参数模块，该波块通过不同的方式挥动特征映射块的两个网络创造了两个网络之间的差异。然后，利用注意机制来扩大创建的差异并发现更多互补特征。此外，探讨了两种组合策略，即探讨了与后关注。实验表明，该方法实现了最先进的性能，具有对多个UDA人重新识别任务的显着改进。我们还通过将其应用于车辆重新识别和图像分类任务来证明所提出的方法的一般性。我们的代码和模型可在https://github.com/wangwenhao0716/attentive-waveblock上使用。

本文研究了两种技术，用于开发有效的自我监督视觉变压器（ESVIT）进行视觉表示学习。首先，我们通过一项全面的实证研究表明，具有稀疏自我生产的多阶段体系结构可以显着降低建模的复杂性，但具有失去捕获图像区域之间细粒度对应关系的能力的成本。其次，我们提出了一项新的区域匹配训练任务，该任务使模型可以捕获细粒的区域依赖性，因此显着提高了学习视觉表示的质量。我们的结果表明，ESVIT在ImageNet线性探针评估上结合两种技术，在ImageNet线性探针评估中获得了81.3％的TOP-1，优于先前的艺术，其较高吞吐量的顺序幅度约为较高。当转移到下游线性分类任务时，ESVIT在18个数据集中的17个中优于其受监督的对方。代码和模型可公开可用：https：//github.com/microsoft/esvit

深层模型必须学习强大而可转移的表示形式，以便在新领域上表现良好。尽管已经提出了域转移方法（例如，域的适应性，域的概括）来学习跨域的可转移表示，但通常将它们应用于在Imagenet上预先训练的重置骨架。因此，现有作品很少关注预训练对域转移任务的影响。在本文中，我们对领域适应和泛化的预训练进行了广泛的研究和深入分析，即：网络体系结构，大小，训练损失和数据集。我们观察到，仅使用最先进的主链优于现有的最先进的域适应基线，并将新的基本线设置为Office-Home和Domainnet在10.7 \％和5.5 \％上提高。我们希望这项工作可以为未来的领域转移研究提供更多见解。

我们呈现蒙版特征预测（MaskFeat），用于自我监督的视频模型的预训练。我们的方法首先随机地掩盖输入序列的一部分，然后预测蒙面区域的特征。我们研究五种不同类型的功能，找到面向导向渐变（HOG）的直方图，手工制作的特征描述符，在性能和效率方面尤其良好。我们观察到猪中的局部对比标准化对于良好的结果至关重要，这与使用HOG进行视觉识别的早期工作符合。我们的方法可以学习丰富的视觉知识和基于大规模的变压器的模型。在不使用额外的模型重量或监督的情况下，在未标记视频上预先培训的MaskFeat在动力学-400上使用MVIT-L达到86.7％的前所未有的结果，在动力学-600，88.3％上，88.3％，在动力学-700,88.8地图上SSV2上的75.0％。 MaskFeat进一步推广到图像输入，其可以被解释为具有单个帧的视频，并在想象中获得竞争结果。

大规模数据集的预培训模型，如想象成，是计算机视觉中的标准实践。此范例对于具有小型培训套的任务特别有效，其中高容量模型往往会过度装备。在这项工作中，我们考虑一个自我监督的预训练场景，只能利用目标任务数据。我们考虑数据集，如斯坦福汽车，草图或可可，这是比想象成小的数量的顺序。我们的研究表明，在本文中介绍的Beit或诸如Beit或Variant的去噪对预训练数据的类型和大小比通过比较图像嵌入来训练的流行自我监督方法更加强大。我们获得了竞争性能与ImageNet预训练相比，来自不同域的各种分类数据集。在Coco上，当专注于使用Coco Images进行预训练时，检测和实例分割性能超过了可比设置中的监督Imagenet预训练。

自我监督的学习（SSL）通过大量未标记的数据的先知，在各种医学成像任务上取得了出色的性能。但是，对于特定的下游任务，仍然缺乏有关如何选择合适的借口任务和实现细节的指令书。在这项工作中，我们首先回顾了医学成像分析领域中自我监督方法的最新应用。然后，我们进行了广泛的实验，以探索SSL中的四个重要问题用于医学成像，包括（1）自我监督预处理对不平衡数据集的影响，（2）网络体系结构，（3）上游任务对下游任务和下游任务和下游任务的适用性（4）SSL和常用政策用于深度学习的堆叠效果，包括数据重新采样和增强。根据实验结果，提出了潜在的指南，以在医学成像中进行自我监督预处理。最后，我们讨论未来的研究方向并提出问题，以了解新的SSL方法和范式时要注意。

在深度学习研究中，自学学习（SSL）引起了极大的关注，引起了计算机视觉和遥感社区的兴趣。尽管计算机视觉取得了很大的成功，但SSL在地球观测领域的大部分潜力仍然锁定。在本文中，我们对在遥感的背景下为计算机视觉的SSL概念和最新发展提供了介绍，并回顾了SSL中的概念和最新发展。此外，我们在流行的遥感数据集上提供了现代SSL算法的初步基准，从而验证了SSL在遥感中的潜力，并提供了有关数据增强的扩展研究。最后，我们确定了SSL未来研究的有希望的方向的地球观察（SSL4EO），以铺平了两个领域的富有成效的相互作用。