域的概括（DG）旨在仅使用有限的源域学习一个通用模型。先前的DG尝试仅由于训练和测试域之间的显着域移动而无法从源域中学习域不变表示。取而代之的是，我们使用Oracle模型使用共同信息重新构建了DG目标，该模型将概括为任何可能的域。我们通过通过预训练的模型近似oracle模型来得出一个可拖动的变化下限，称为使用Oracle（Miro）的相互信息正则化。我们的广泛实验表明，Miro可显着提高分布性能。此外，我们的缩放实验表明，预训练模型的尺度越大，miro的性能提高就越大。源代码可在https://github.com/kakaobrain/miro中获得。

域泛化（DG）是一个难度的学习问题，旨在学习一个概念域的概念模型。最近的巨型预训练模型，如剪辑和GPT-3，即基础模型（FMS），已被证明对许多分布换档具有强大，因此应导致DG的大量改进。在这项工作中，我们研究了在图像分类中采用DG问题采用剪辑的通用方法，在那里我们评估了天真零射击学习和全DG学习设置。对于后者，我们提出了AP（摊销提示），作为迅速生成形式的域推断的新方法。在域泛化基准上使用多个标准数据集，即PACS，VLC，OfficeHome和Terraincognita，Clip提供了可比的性能而无需微调任何参数，这表明FM在DG中的适用性和重要性。此外，我们表明，组合域提示跟踪带剪辑使AP能够以大的余量越大，从71.3 \％升高到79.3 \％的精度。我们希望我们的方法的简单性和成功强调强调的重要性并导致更广泛采用和分析域泛化领域的基础模型。

域泛化（DG）方法旨在通过仅使用来自源域的训练数据来实现未经证明的目标域的概括性。虽然已经提出了各种DG方法，但最近的一项研究表明，在一个公平的评估方案下，称为域底，简单的经验风险最小化（ERM）方法可与以前的方法相当。不幸的是，简单地解决了ERM在复杂的非凸损函数上，可以通过寻求尖锐的最小值来容易地导致次优化的普遍性。在本文中，我们理论上表明发现扁平最小值导致较小的域泛化差距。我们还提出了一种简单而有效的方法，名为随机重量平均（纵向），找到扁平的最小值。瑞郎发现更漂亮的最小值，并且由于通过密集和过度感知的随机重量采样策略而遭受的过度装备不足。瑞士瑞士展示了五个DG基准测试，即PACS，VLC，OfficeHome，Terraincognita和Domainnet的最先进的表演，符合域名准确度的一致和大幅度+ 1.6％。我们还与常规的泛化方法（如数据增强和一致性正则化方法）进行比较，以验证显着的性能改进是通过寻求扁平的最小值，而不是更好的域概括性。最后但并非最不重要的是，瑞士剧本适应现有的DG方法而无需修改;施联和现有DG方法的组合进一步提高了DG性能。源代码可在https://github.com/khanrc/swad提供。

机器学习系统经常在培训和测试之间遇到分发转变。在本文中，我们介绍了一个简单的变分目标，其OptiCa正好成为所有表现形式的集合，在那种情况下，保证风险最小化者对保留贝叶斯预测因子的任何分配换档，例如协变量。我们的目标有两个组成部分。首先，表示必须保持对任务的判别，即，一些预测指标必须能够同时最小化来源和目标风险。其次，代表性的边际支持需要跨源头和目标相同。我们通过设计自我监督的学习方法来实现这一实用，只使用未标记的数据和增强来培训强大的陈述。我们的目标在域底实现最先进的结果，并对最近的方法（如剪辑）的稳健性提供洞察力。

当部署和培训之间存在分配变化时，深层神经网络的性能恶化严重。域的概括（DG）旨在通过仅依靠一组源域来安全地传输模型以看不见目标域。尽管已经提出了各种DG方法，但最近的一项名为Domainbed的研究表明，其中大多数没有超过简单的经验风险最小化（ERM）。为此，我们提出了一个通用框架，该框架与现有的DG算法是正交的，并且可以始终如一地提高其性能。与以前的DG作品不同的是，在静态源模型上有希望成为通用的DG，我们提出的ADAODM会在测试时间适应不同目标域的源模型。具体而言，我们在共享域形式的特征提取器上创建多个域特异性分类器。特征提取器和分类器以对抗性方式进行了训练，其中特征提取器将输入样品嵌入到域不变的空间中，并且多个分类器捕获了每个分类器与特定源域有关的独特决策边界。在测试过程中，可以通过利用源分类器之间的预测分歧来有效地衡量目标和源域之间的分布差异。通过微调源模型以最大程度地减少测试时间的分歧，目标域特征与不变特征空间很好地对齐。我们验证了两种流行的DG方法，即ERM和Coral，以及四个DG基准，即VLCS，PACS，OfficeHome和TerrainCognita。结果表明，ADAODM稳定地提高了对看不见的域的概括能力，并实现了最先进的性能。

Contrastive Language-Image Pre-trained (CLIP) models have zero-shot ability of classifying an image belonging to "[CLASS]" by using similarity between the image and the prompt sentence "a [CONTEXT] of [CLASS]". Based on exhaustive text cues in "[CONTEXT]", CLIP model is aware of different contexts, e.g. background, style, viewpoint, and exhibits unprecedented robustness against a wide range of distribution shifts. However, recent works find further fine-tuning of CLIP models improves accuracy but sacrifices the robustness on downstream tasks. We conduct an empirical investigation to show fine-tuning will corrupt the context-aware ability of pre-trained CLIP features. To solve this problem, we propose Context-Aware Robust Fine-tuning (CAR-FT). CAR-FT regularizes the model during fine-tuning to capture the context information. Specifically, we use zero-shot prompt weights to get the context distribution contained in the image. By minimizing the Kullback-Leibler Divergence (KLD) between context distributions induced by original/fine-tuned CLIP models, CAR-FT makes the context-aware ability of CLIP inherited into downstream tasks, and achieves both higher In-Distribution (ID) and Out-Of-Distribution (OOD) accuracy. The experimental results show CAR-FT achieves superior robustness on five OOD test datasets of ImageNet, and meanwhile brings accuracy gains on nine downstream tasks. Additionally, CAR-FT surpasses previous Domain Generalization (DG) methods and gets 78.5% averaged accuracy on DomainBed benchmark, building the new state-of-the-art.

尽管视觉变压器（VIT）表现出令人印象深刻的表示学习能力，但我们从经验上发现，它们不能很好地将其概括为具有以前的域泛化算法的看不见的域。在本文中，我们提出了一种基于迅速学习的新方法，以嵌入域中的源域的知识提示目标域预测。具体而言，在来自相应的源域中的VIT输入令牌之前先进行域提示。每个域提示都可以有效地学习特定于领域的知识，因为仅针对一个域进行了优化。同时，我们训练一个及时的适配器，根据学习的源域提示为每个输入图像生成适当的提示。在测试时，提示适配器生成的改编提示可以利用室外图像和源域的特征之间的相似性，以正确整合源域知识。广泛的实验是在四个基准数据集上进行的。我们的方法在平均准确性方面提高了1.4％，这是使用VIT主链改善最先进算法的3.5倍。

域的概括（DG）研究了深度学习模型推广到训练分布的能力。在过去的十年中，文献已经大量填充了一系列培训方法，这些方法声称获得了更抽象和强大的数据表示以应对域的转移。最近的研究为DG提供了可再现的基准，指出了天真的经验风险最小化（ERM）对现有算法的有效性。然而，研究人员坚持使用相同过时的特征提取器，并且尚未注意不同骨干的影响。在本文中，我们从骨干开始，提出了对其内在概括能力的全面分析，迄今为止，研究界忽略了。我们评估了各种特征提取器，从标准残差解决方案到基于变压器的架构，发现大规模单域分类精度和DG功能之间的线性相关性。我们广泛的实验表明，通过采用竞争性骨干与有效的数据增强结合使用，普通ERM的表现优于最近的DG解决方案，并实现了最先进的准确性。此外，我们的其他定性研究表明，新型骨架提供了与同类样本更相似的表示，从而将特征空间中的不同域分开。这种概括能力的增强功能使DG算法的边缘空间为调查问题，提出了一个新的范式，将骨干放在聚光灯下，并鼓励在其顶部开发一致的算法。

域的概括（DG）旨在学习分配变化的可推广模型，以避免重新拟合大规模训练数据。以前具有复杂损失设计和梯度约束的作品尚未在大规模基准上取得经验成功。在这项工作中，我们通过利用跨域跨域的预测特征的多个方面来揭示Experts（MOE）模型对DG的概括性的混合物。为此，我们提出了稀疏的融合混合物（SF-MOE），该混合物将稀疏性和融合机制纳入MOE框架中，以使模型保持稀疏和预测性。 SF-MOE有两个专用模块：1）稀疏块和2）融合块，它们分别分别分离和汇总对象的多样化信号。广泛的实验表明，SF-MOE是大规模基准的域名学习者。在5个大规模的DG数据集（例如域内）中，它的表现优于最佳同行，其计算成本相同甚至较低。我们从分布式表示的角度（例如，视觉属性）进一步揭示了SF-MOE的内部机制。我们希望这个框架可以促进未来的研究，将可普遍的对象识别推向现实世界。代码和模型在https://github.com/luodian/sf-moe-dg上发布。

学习域不变的表示已成为域适应/概括的最受欢迎的方法之一。在本文中，我们表明不变的表示可能不足以保证良好的概括，在考虑标签函数转移的情况下。受到这一点的启发，我们首先在经验风险上获得了新的概括上限，该概括风险明确考虑了标签函数移动。然后，我们提出了特定领域的风险最小化（DRM），该风险最小化（DRM）可以分别对不同域的分布移动进行建模，并为目标域选择最合适的域。对四个流行的域概括数据集（CMNIST，PACS，VLCS和域）进行了广泛的实验，证明了所提出的DRM对域泛化的有效性，具有以下优点：1）它的表现明显超过了竞争性盆地的表现； 2）与香草经验风险最小化（ERM）相比，所有训练领域都可以在所有训练领域中具有可比性或优越的精度； 3）在培训期间，它仍然非常简单和高效，4）与不变的学习方法是互补的。

域泛化（DG）被认为是泛广泛化的前面。我们提出了经验证据表明，DG泛化的主要原因是训练时存在多个域。此外，我们表明IID中的泛化方法对DG的泛化同样重要。量身定制的方法未能在传统的DG（TDG）评估中增加性能增益。我们的实验提示如果TDG已经在评估ood泛化方面存在的有用性？为了进一步加强我们的调查，我们提出了一种新颖的评估策略，Classwise DG（CWDG），在这里，每个班级，我们随机选择一个域并将其保留在一边进行测试。我们认为，这项基准测试更接近人类学习，并在现实世界方案中相关。反直观地，尽管在培训期间暴露于所有域，但CWDG比TDG评估更具挑战性。在解释观察的同时，我们的作品在探索新想法之前，我们的作品在DG问题上进行了更重要的分析。

域泛化（DG）方法旨在开发概括到测试分布与训练数据不同的设置的模型。在本文中，我们专注于多源零拍DG的挑战性问题，其中来自多个源域的标记训练数据可用，但无法从目标域中访问数据。虽然这个问题已成为研究的重要话题，但令人惊讶的是，将所有源数据汇集在一起​​和培训单个分类器的简单解决方案在标准基准中具有竞争力。更重要的是，即使在不同域中明确地优化不变性的复杂方法也不一定提供对ERM的非微不足道的增益。在本文中，我们首次研究了预先指定的域标签和泛化性能之间的重要链接。使用动机案例研究和分布稳健优化算法的新变种，我们首先演示了如何推断的自定义域组可以通过数据集的原始域标签来实现一致的改进。随后，我们介绍了一种用于多域泛化，Muldens的一般方法，它使用基于ERM的深度合并骨干，并通过元优化算法执行隐式域重标。使用对多个标准基准测试的经验研究，我们表明Muldens不需要定制增强策略或特定于数据集的培训过程，始终如一地优于ERM，通过显着的边距，即使在比较时也会产生最先进的泛化性能对于利用域标签的现有方法。

可传递性估计是选择预训练模型和其中的层来转移学习，转移，以最大程度地提高目标任务上的性能并防止负转移的必不可少的工具。现有的估计算法要么需要对目标任务进行深入培训，要么在评估层之间的可传递性方面遇到困难。为此，我们提出了一种简单，高效且有效的可传递性度量，称为“超越”。通过单一传递目标任务的示例，越过可转移性作为在预训练模型及其标签提取的目标示例的特征之间的相互信息。我们通过诉诸于熵的有效替代方案来克服有效的共同信息估计的挑战。从特征表示的角度来看，所得的越来越多地评估了完整性（功能是否包含目标任务的足够信息）和紧凑性（每个类的特征是否足够紧凑，以实现良好的概括）。从理论上讲，我们已经分析了转移学习后的跨度与性能的紧密联系。尽管在10行代码中具有非凡的简单性，但在对32个预训练模型和16个下游任务的广泛评估中，越来越多地表现出色。

本文提出了一种新颖的测试时间适应策略，该策略仅使用来自目标域的未标记的在线数据来调整在源域上预先训练的模型，以减轻由于源和目标域之间的分布变化而导致的性能降低。使用未标记的在线数据调整整个模型参数可能是有害的，这是由于无监督目标的错误信号。为了减轻此问题，我们提出了一个偏僻的权重正则化，该调整重量正规化鼓励在很大程度上更新模型参数对分布移位敏感的参数，同时在测试时间适应期间稍微更新那些对变化的不敏感的参数。这种正则化使该模型能够通过利用高学习率的好处来快速适应目标域而无需性能降低。此外，我们提出了一个基于最近的源原型来对齐源和目标特征的辅助任务，这有​​助于减少分布转移并导致进一步的性能提高。我们表明，我们的方法在各种标准基准方面展示了最先进的性能，甚至超过其监督的对手。

深层模型必须学习强大而可转移的表示形式，以便在新领域上表现良好。尽管已经提出了域转移方法（例如，域的适应性，域的概括）来学习跨域的可转移表示，但通常将它们应用于在Imagenet上预先训练的重置骨架。因此，现有作品很少关注预训练对域转移任务的影响。在本文中，我们对领域适应和泛化的预训练进行了广泛的研究和深入分析，即：网络体系结构，大小，训练损失和数据集。我们观察到，仅使用最先进的主链优于现有的最先进的域适应基线，并将新的基本线设置为Office-Home和Domainnet在10.7 \％和5.5 \％上提高。我们希望这项工作可以为未来的领域转移研究提供更多见解。

最近，已经提出了几种领域的概括（DG）方法，表现出令人鼓舞的性能，但是，几乎所有的都基于卷积神经网络（CNN）。研究视觉变压器（VIT）的DG性能（VIT）几乎没有进展，这挑战了CNN在标准基准测试基准上的至高无上，通常是基于I.I.D假设。这使VITS的现实部署令人怀疑。在本文中，我们试图探索解决DG问题的VIT。与CNN类似，VIT在分发场景中也挣扎，主要的罪魁祸首过于适合来源域。受VIT的模块化体系结构的启发，我们提出了一种简单的DG方法，用于VIT，以VIT的自我验证。它通过策划中间变压器块的非零熵监管信号来减少输入输出映射问题的学习来减少源域的过度拟合。此外，它不会引入任何新参数，并且可以无缝地插入不同VIT的模块化组成中。我们在五个具有挑战性的数据集中以不同的DG基准和各种VIT骨架表现出显着的性能提高。此外，我们报告了针对最近最新的DG方法的有利性能。我们的代码以及预培训的模型可在以下网址公开获取：https：//github.com/maryam089/sdvit

当源（训练）数据和目标（测试）数据之间存在域移动时，深网很容易降级。最近的测试时间适应方法更新了通过流数据部署在新目标环境中的预训练源模型的批归归式层，以减轻这种性能降低。尽管此类方法可以在不首先收集大型目标域数据集的情况下进行调整，但它们的性能取决于流媒体条件，例如迷你批量的大小和类别分布，在实践中可能无法预测。在这项工作中，我们提出了一个框架，以适应几个域的适应性，以应对数据有效适应的实际挑战。具体而言，我们提出了在预训练的源模型中对特征归一化统计量的约束优化，该模型由目标域的小支持集监督。我们的方法易于实现，并改善每类用于分类任务的示例较小的源模型性能。对5个跨域分类和4个语义分割数据集进行了广泛的实验表明，我们的方法比测试时间适应更准确，更可靠，同时不受流媒体条件的约束。

我们考虑无监督的域适应性（UDA），其中使用来自源域（例如照片）的标记数据，而来自目标域（例如草图）的未标记数据用于学习目标域的分类器。常规的UDA方法（例如，域对抗训练）学习域不变特征，以改善对目标域的概括。在本文中，我们表明，对比的预训练，它在未标记的源和目标数据上学习功能，然后在标记的源数据上进行微调，具有强大的UDA方法的竞争力。但是，我们发现对比前训练不会学习域不变特征，这与常规的UDA直觉不同。从理论上讲，我们证明了对比的预训练可以学习在跨域下微调但仍通过解开域和类信息来概括到目标域的特征。我们的结果表明，UDA不需要域的不变性。我们从经验上验证了基准视觉数据集的理论。

旨在概括在源域中训练的模型来看不见的目标域，域泛化（DG）最近引起了很多关注。 DG的关键问题是如何防止对观察到的源极域的过度接收，因为在培训期间目标域不可用。我们调查过度拟合不仅导致未经看不见的目标域的普遍推广能力，而且在测试阶段导致不稳定的预测。在本文中，我们观察到，在训练阶段采样多个任务并在测试阶段产生增强图像，很大程度上有利于泛化性能。因此，通过处理不同视图的任务和图像，我们提出了一种新颖的多视图DG框架。具体地，在训练阶段，为了提高泛化能力，我们开发了一种多视图正则化元学习算法，该算法采用多个任务在更新模型期间产生合适的优化方向。在测试阶段，为了减轻不稳定的预测，我们利用多个增强图像来产生多视图预测，这通过熔断测试图像的不同视图的结果显着促进了模型可靠性。三个基准数据集的广泛实验验证了我们的方法优于几种最先进的方法。

为了解决培训和测试数据之间的分布变化，域的概括（DG）利用多个源域来学习一个概括地看不见域的模型。但是，现有的DG方法通常遭受过度适应源域的影响，部分原因是特征空间中预期区域的覆盖率有限。在此激励的情况下，我们建议与数据插值和外推进行混合，以涵盖潜在的看不见区域。为了防止不受约束的外推的有害影响，我们仔细设计了一种策略来生成实例权重，名为Flatents-Awarnement-Awarnement-Awarnement-Awarness-Angients-Awments-Altents-Altents-Alignness-Actient-Actient-Actient-Actient-Actient-Actient-natments-Actient-Actient-Actient-natments-naterment-Actient-naterment-naterments-awite渐变的混音（FGMIX）。该政策采用基于梯度的相似性，将更大的权重分配给携带更多不变信息的实例，并了解相似性的功能，以提高最小值以更好地概括。在域基准测试中，我们验证了FGMIX各种设计的功效，并证明了其优于其他DG算法。