最近，已经提出了几种领域的概括（DG）方法，表现出令人鼓舞的性能，但是，几乎所有的都基于卷积神经网络（CNN）。研究视觉变压器（VIT）的DG性能（VIT）几乎没有进展，这挑战了CNN在标准基准测试基准上的至高无上，通常是基于I.I.D假设。这使VITS的现实部署令人怀疑。在本文中，我们试图探索解决DG问题的VIT。与CNN类似，VIT在分发场景中也挣扎，主要的罪魁祸首过于适合来源域。受VIT的模块化体系结构的启发，我们提出了一种简单的DG方法，用于VIT，以VIT的自我验证。它通过策划中间变压器块的非零熵监管信号来减少输入输出映射问题的学习来减少源域的过度拟合。此外，它不会引入任何新参数，并且可以无缝地插入不同VIT的模块化组成中。我们在五个具有挑战性的数据集中以不同的DG基准和各种VIT骨架表现出显着的性能提高。此外，我们报告了针对最近最新的DG方法的有利性能。我们的代码以及预培训的模型可在以下网址公开获取：https：//github.com/maryam089/sdvit

域的概括（DG）研究了深度学习模型推广到训练分布的能力。在过去的十年中，文献已经大量填充了一系列培训方法，这些方法声称获得了更抽象和强大的数据表示以应对域的转移。最近的研究为DG提供了可再现的基准，指出了天真的经验风险最小化（ERM）对现有算法的有效性。然而，研究人员坚持使用相同过时的特征提取器，并且尚未注意不同骨干的影响。在本文中，我们从骨干开始，提出了对其内在概括能力的全面分析，迄今为止，研究界忽略了。我们评估了各种特征提取器，从标准残差解决方案到基于变压器的架构，发现大规模单域分类精度和DG功能之间的线性相关性。我们广泛的实验表明，通过采用竞争性骨干与有效的数据增强结合使用，普通ERM的表现优于最近的DG解决方案，并实现了最先进的准确性。此外，我们的其他定性研究表明，新型骨架提供了与同类样本更相似的表示，从而将特征空间中的不同域分开。这种概括能力的增强功能使DG算法的边缘空间为调查问题，提出了一个新的范式，将骨干放在聚光灯下，并鼓励在其顶部开发一致的算法。

当部署和培训之间存在分配变化时，深层神经网络的性能恶化严重。域的概括（DG）旨在通过仅依靠一组源域来安全地传输模型以看不见目标域。尽管已经提出了各种DG方法，但最近的一项名为Domainbed的研究表明，其中大多数没有超过简单的经验风险最小化（ERM）。为此，我们提出了一个通用框架，该框架与现有的DG算法是正交的，并且可以始终如一地提高其性能。与以前的DG作品不同的是，在静态源模型上有希望成为通用的DG，我们提出的ADAODM会在测试时间适应不同目标域的源模型。具体而言，我们在共享域形式的特征提取器上创建多个域特异性分类器。特征提取器和分类器以对抗性方式进行了训练，其中特征提取器将输入样品嵌入到域不变的空间中，并且多个分类器捕获了每个分类器与特定源域有关的独特决策边界。在测试过程中，可以通过利用源分类器之间的预测分歧来有效地衡量目标和源域之间的分布差异。通过微调源模型以最大程度地减少测试时间的分歧，目标域特征与不变特征空间很好地对齐。我们验证了两种流行的DG方法，即ERM和Coral，以及四个DG基准，即VLCS，PACS，OfficeHome和TerrainCognita。结果表明，ADAODM稳定地提高了对看不见的域的概括能力，并实现了最先进的性能。

为了使模型在看不见的域（又称域的概括）下进行概括，学习是域 - 不可思议的特征表示并捕获构成对象类别的基础语义。朝着弱监督的视力语言模型的最新进展，从廉价监督的嘈杂文本注释中学习整体表示，通过捕获在不同域下概括的对象特征，表明了他们在语义理解上的能力。但是，当涉及多个源域时，数据集中每个图像的策划文本注释的成本可能会爆炸多次，具体取决于其数字。这使得该过程乏味和不可行，阻碍了我们直接使用这些监督视觉语言方法来实现对看不见的领域的最佳概括。从此激励的是，我们研究了如何以“内在”的方式利用现有预训练的多模式网络的多模式信息，以使系统在看不见的域下概括。为此，我们提出了用于域概括（Indigo）的固有多模式，这是一种简单而优雅的方式，用于利用这些预训练的多模式网络中存在的固有模态以及视觉模态以增强概括性在测试时间内看不见域。我们在几个领域的概括设置（封闭状态，OPENDG和有限的来源）上进行了实验，并在看不见的域上显示了最新的概括性能。此外，我们提供了彻底的分析，以发展对靛蓝的整体理解。

尽管视觉变压器（VIT）表现出令人印象深刻的表示学习能力，但我们从经验上发现，它们不能很好地将其概括为具有以前的域泛化算法的看不见的域。在本文中，我们提出了一种基于迅速学习的新方法，以嵌入域中的源域的知识提示目标域预测。具体而言，在来自相应的源域中的VIT输入令牌之前先进行域提示。每个域提示都可以有效地学习特定于领域的知识，因为仅针对一个域进行了优化。同时，我们训练一个及时的适配器，根据学习的源域提示为每个输入图像生成适当的提示。在测试时，提示适配器生成的改编提示可以利用室外图像和源域的特征之间的相似性，以正确整合源域知识。广泛的实验是在四个基准数据集上进行的。我们的方法在平均准确性方面提高了1.4％，这是使用VIT主链改善最先进算法的3.5倍。

机器学习系统通常假设训练和测试分布是相同的。为此，关键要求是开发可以概括到未经看不见的分布的模型。领域泛化（DG），即分销概括，近年来引起了越来越令人利益。域概括处理了一个具有挑战性的设置，其中给出了一个或几个不同但相关域，并且目标是学习可以概括到看不见的测试域的模型。多年来，域概括地区已经取得了巨大进展。本文提出了对该地区最近进步的首次审查。首先，我们提供了域泛化的正式定义，并讨论了几个相关领域。然后，我们彻底审查了与域泛化相关的理论，并仔细分析了泛化背后的理论。我们将最近的算法分为三个类：数据操作，表示学习和学习策略，并为每个类别详细介绍几种流行的算法。第三，我们介绍常用的数据集，应用程序和我们的开放源代码库进行公平评估。最后，我们总结了现有文学，并为未来提供了一些潜在的研究主题。

优化从看不见域的样本上的分类器的性能仍然是一个具有挑战性的问题。虽然大多数关于域泛化的研究侧重于学习域名特征表示，但已经提出了多专家框架作为可能的解决方案，并且已经表现出了有希望的性能。但是，当前的多专家学习框架在推理期间未能充分利用源域知识，从而导致次优性能。在这项工作中，我们建议适应变压器，以便动态解码域泛化的源域知识。具体来说，我们将一个特定于域的本地专家域每个源域和一个域 - 不可知要素分支为查询。变压器编码器将所有域特定功能编码为内存中的源域知识。在变压器解码器中，域名忽视查询与跨关注模块中的存储器交互，并且类似于输入的域将有助于注意输出。因此，源域知识得到动态解码，以推动来自未经看不见的域的电流输入。该机制使得提出的方法能够概括到看不见的域。所提出的方法已经在域泛化领域的三个基准中进行了评估，并与最先进的方法相比，具有最佳性能。

域的概括（DG）旨在学习分配变化的可推广模型，以避免重新拟合大规模训练数据。以前具有复杂损失设计和梯度约束的作品尚未在大规模基准上取得经验成功。在这项工作中，我们通过利用跨域跨域的预测特征的多个方面来揭示Experts（MOE）模型对DG的概括性的混合物。为此，我们提出了稀疏的融合混合物（SF-MOE），该混合物将稀疏性和融合机制纳入MOE框架中，以使模型保持稀疏和预测性。 SF-MOE有两个专用模块：1）稀疏块和2）融合块，它们分别分别分离和汇总对象的多样化信号。广泛的实验表明，SF-MOE是大规模基准的域名学习者。在5个大规模的DG数据集（例如域内）中，它的表现优于最佳同行，其计算成本相同甚至较低。我们从分布式表示的角度（例如，视觉属性）进一步揭示了SF-MOE的内部机制。我们希望这个框架可以促进未来的研究，将可普遍的对象识别推向现实世界。代码和模型在https://github.com/luodian/sf-moe-dg上发布。

域泛化（DG）是一个难度的学习问题，旨在学习一个概念域的概念模型。最近的巨型预训练模型，如剪辑和GPT-3，即基础模型（FMS），已被证明对许多分布换档具有强大，因此应导致DG的大量改进。在这项工作中，我们研究了在图像分类中采用DG问题采用剪辑的通用方法，在那里我们评估了天真零射击学习和全DG学习设置。对于后者，我们提出了AP（摊销提示），作为迅速生成形式的域推断的新方法。在域泛化基准上使用多个标准数据集，即PACS，VLC，OfficeHome和Terraincognita，Clip提供了可比的性能而无需微调任何参数，这表明FM在DG中的适用性和重要性。此外，我们表明，组合域提示跟踪带剪辑使AP能够以大的余量越大，从71.3 \％升高到79.3 \％的精度。我们希望我们的方法的简单性和成功强调强调的重要性并导致更广泛采用和分析域泛化领域的基础模型。

语义分割在广泛的计算机视觉应用中起着基本作用，提供了全球对图像​​的理解的关键信息。然而，最先进的模型依赖于大量的注释样本，其比在诸如图像分类的任务中获得更昂贵的昂贵的样本。由于未标记的数据替代地获得更便宜，因此无监督的域适应达到了语义分割社区的广泛成功并不令人惊讶。本调查致力于总结这一令人难以置信的快速增长的领域的五年，这包含了语义细分本身的重要性，以及将分段模型适应新环境的关键需求。我们提出了最重要的语义分割方法;我们对语义分割的域适应技术提供了全面的调查;我们揭示了多域学习，域泛化，测试时间适应或无源域适应等较新的趋势;我们通过描述在语义细分研究中最广泛使用的数据集和基准测试来结束本调查。我们希望本调查将在学术界和工业中提供具有全面参考指导的研究人员，并有助于他们培养现场的新研究方向。

无监督的域适应（UDA）旨在将知识从标记的源域传输到未标记的目标域。大多数现有的UDA方法通过学习域 - 不变的表示和在两个域中共享一个分类器来实现知识传输。但是，忽略与任务相关的域特定信息，并强制统一的分类器以适合两个域将限制每个域中的特征表达性。在本文中，通过观察到具有可比参数的变压器架构可以产生比CNN对应的更可转换的表示，我们提出了一个双赢的变压器框架（WINTR），它分别探讨了每个域的特定于域的知识，而同时交互式跨域知识。具体而言，我们使用变压器中的两个单独的分类令牌学习两个不同的映射，以及每个特定于域的分类器的设计。跨域知识通过源引导标签改进和与源或目标的单侧特征对齐传输，这保持了特定于域的信息的完整性。三个基准数据集的广泛实验表明，我们的方法优于最先进的UDA方法，验证利用域特定和不变性的有效性

视觉变压器（VIT）在各种机器视觉问题上表现出令人印象深刻的性能。这些模型基于多头自我关注机制，可以灵活地参加一系列图像修补程序以编码上下文提示。一个重要问题是在给定贴片上参加图像范围内的上下文的这种灵活性是如何促进在自然图像中处理滋扰，例如，严重的闭塞，域移位，空间置换，对抗和天然扰动。我们通过广泛的一组实验来系统地研究了这个问题，包括三个vit家族和具有高性能卷积神经网络（CNN）的比较。我们展示和分析了vit的以下迷恋性质：（a）变压器对严重闭塞，扰动和域移位高度稳健，例如，即使在随机堵塞80％的图像之后，也可以在想象中保持高达60％的前1个精度。内容。 （b）与局部纹理的偏置有抗闭锁的强大性能，与CNN相比，VITS对纹理的偏置显着偏差。当受到适当训练以编码基于形状的特征时，VITS展示与人类视觉系统相当的形状识别能力，以前在文献中无与伦比。 （c）使用VIT来编码形状表示导致准确的语义分割而没有像素级监控的有趣后果。 （d）可以组合从单VIT模型的现成功能，以创建一个功能集合，导致传统和几枪学习范例的一系列分类数据集中的高精度率。我们显示VIT的有效特征是由于自我关注机制可以实现灵活和动态的接受领域。

对分布（OOD）数据的概括是人类自然的能力，但对于机器而言挑战。这是因为大多数学习算法强烈依赖于i.i.d.〜对源/目标数据的假设，这在域转移导致的实践中通常会违反。域的概括（DG）旨在通过仅使用源数据进行模型学习来实现OOD的概括。在过去的十年中，DG的研究取得了长足的进步，导致了广泛的方法论，例如，基于域的一致性，元学习，数据增强或合奏学习的方法，仅举几例；还在各个应用领域进行了研究，包括计算机视觉，语音识别，自然语言处理，医学成像和强化学习。在本文中，首次提供了DG中的全面文献综述，以总结过去十年来的发展。具体而言，我们首先通过正式定义DG并将其与其他相关领域（如域适应和转移学习）联系起来来涵盖背景。然后，我们对现有方法和理论进行了彻底的审查。最后，我们通过有关未来研究方向的见解和讨论来总结这项调查。

域泛化（DG）方法旨在开发概括到测试分布与训练数据不同的设置的模型。在本文中，我们专注于多源零拍DG的挑战性问题，其中来自多个源域的标记训练数据可用，但无法从目标域中访问数据。虽然这个问题已成为研究的重要话题，但令人惊讶的是，将所有源数据汇集在一起​​和培训单个分类器的简单解决方案在标准基准中具有竞争力。更重要的是，即使在不同域中明确地优化不变性的复杂方法也不一定提供对ERM的非微不足道的增益。在本文中，我们首次研究了预先指定的域标签和泛化性能之间的重要链接。使用动机案例研究和分布稳健优化算法的新变种，我们首先演示了如何推断的自定义域组可以通过数据集的原始域标签来实现一致的改进。随后，我们介绍了一种用于多域泛化，Muldens的一般方法，它使用基于ERM的深度合并骨干，并通过元优化算法执行隐式域重标。使用对多个标准基准测试的经验研究，我们表明Muldens不需要定制增强策略或特定于数据集的培训过程，始终如一地优于ERM，通过显着的边距，即使在比较时也会产生最先进的泛化性能对于利用域标签的现有方法。

我们提出了针对微小神经网络的域概括（DG）的系统研究，这个问题对于机上机器学习应用至关重要，但在研究仅针对大型模型的文献中被忽略了。微小的神经网络具有较少的参数和较低的复杂性，因此不应以与DG应用的大型同行相同的方式进行训练。我们发现知识蒸馏是解决问题的有力候选者：它优于使用具有较大利润的大型模型开发的最先进的DG方法。此外，我们观察到，与域移动有关的测试数据上的教师学生绩效差距大于分布数据的绩效差距。为了改善微小神经网络而不增加部署成本的DG，我们提出了一个简单的想法，称为分布外知识蒸馏（OKD），该想法旨在教导学生如何处理（综合）分发数据和分布数据和被证明是解决问题的有前途的框架。我们还为创建DG数据集的可扩展方法（在上下文中称为域移动（DOSCO））提供了可扩展的方法，该数据可以在不大量努力的情况下按大规模应用大量数据。代码和模型以\ url {https://github.com/kaiyangzhou/on-device-dg}发布。

无监督域适应（UDA）旨在将从标记的源域中学习的知识转移到未标记的目标域。以前的工作主要是在卷积神经网络（CNNS）上建立的，以学习域名不变的表示。随着近期应用视觉变压器（VIT）对视力任务的指数增加，然而，在文献中仍未开发了调整跨领域知识的能力。为了填补这一差距，本文首先全面调查了vit的各种域适应任务的可转移性。令人惊讶的是，VIT通过其具有大边缘的基于CNNS的对应物来证明优异的可转移性，而通过掺入抗体适应可以进一步提高性能。尽管如此，直接使用基于CNNS的适应策略未能利用Vit的内在优点（例如，注意机制和顺序图像表示）在知识转移中起重要作用。为了解决这个问题，我们提出了一个统一的框架，即可转换的视觉变压器（TVT），以充分利用VIT的可转换性来实现域适应。具体而言，我们精致地设计了一种新颖且有效的单位，我们术语可转移适应模块（TAM）。通过将学习的传递注入注意块，TAM压迫重点是可转移和辨别特征。此外，我们利用判别聚类来增强在对抗域对齐期间破坏的特征分集和分离。为了验证其多功能性，我们在四个基准测试中对TVT进行了广泛的研究，实验结果表明，与现有的最先进的UDA方法相比，TVT达到了显着的改进。

关于无监督的域适应性（UDA）的广泛研究已将有限的实验数据集深入学习到现实世界中无约束的领域。大多数UDA接近通用嵌入空间中的对齐功能，并将共享分类器应用于目标预测。但是，由于当域差异很大时可能不存在完全排列的特征空间，因此这些方法受到了两个局限性。首先，由于缺乏目标标签监督，强制域的比对会恶化目标域的可区分性。其次，源监督分类器不可避免地偏向源数据，因此它在目标域中的表现可能不佳。为了减轻这些问题，我们建议在两个集中在不同领域的空间中同时进行特征对齐，并为每个空间创建一个针对该域的面向域的分类器。具体而言，我们设计了一个面向域的变压器（DOT），该变压器（DOT）具有两个单独的分类令牌，以学习不同的面向域的表示形式和两个分类器，以保持域的可区分性。理论保证的基于对比度的对齐和源指导的伪标签细化策略被用来探索域名和特定信息。全面的实验验证了我们的方法在几个基准上实现了最先进的方法。

Recently, neural networks purely based on attention were shown to address image understanding tasks such as image classification. These highperforming vision transformers are pre-trained with hundreds of millions of images using a large infrastructure, thereby limiting their adoption.In this work, we produce competitive convolutionfree transformers trained on ImageNet only using a single computer in less than 3 days. Our reference vision transformer (86M parameters) achieves top-1 accuracy of 83.1% (single-crop) on ImageNet with no external data.We also introduce a teacher-student strategy specific to transformers. It relies on a distillation token ensuring that the student learns from the teacher through attention, typically from a convnet teacher. The learned transformers are competitive (85.2% top-1 acc.) with the state of the art on ImageNet, and similarly when transferred to other tasks. We will share our code and models.

Models should be able to adapt to unseen data during test-time to avoid performance drops caused by inevitable distribution shifts in real-world deployment scenarios. In this work, we tackle the practical yet challenging test-time adaptation (TTA) problem, where a model adapts to the target domain without accessing the source data. We propose a simple recipe called \textit{Data-efficient Prompt Tuning} (DePT) with two key ingredients. First, DePT plugs visual prompts into the vision Transformer and only tunes these source-initialized prompts during adaptation. We find such parameter-efficient finetuning can efficiently adapt the model representation to the target domain without overfitting to the noise in the learning objective. Second, DePT bootstraps the source representation to the target domain by memory bank-based online pseudo-labeling. A hierarchical self-supervised regularization specially designed for prompts is jointly optimized to alleviate error accumulation during self-training. With much fewer tunable parameters, DePT demonstrates not only state-of-the-art performance on major adaptation benchmarks VisDA-C, ImageNet-C, and DomainNet-126, but also superior data efficiency, i.e., adaptation with only 1\% or 10\% data without much performance degradation compared to 100\% data. In addition, DePT is also versatile to be extended to online or multi-source TTA settings.

Recently, neural networks purely based on attention were shown to address image understanding tasks such as image classification. These highperforming vision transformers are pre-trained with hundreds of millions of images using a large infrastructure, thereby limiting their adoption.In this work, we produce competitive convolution-free transformers by training on Imagenet only. We train them on a single computer in less than 3 days. Our reference vision transformer (86M parameters) achieves top-1 accuracy of 83.1% (single-crop) on ImageNet with no external data.More importantly, we introduce a teacher-student strategy specific to transformers. It relies on a distillation token ensuring that the student learns from the teacher through attention. We show the interest of this token-based distillation, especially when using a convnet as a teacher. This leads us to report results competitive with convnets for both Imagenet (where we obtain up to 85.2% accuracy) and when transferring to other tasks. We share our code and models.