域泛化（DG）被认为是泛广泛化的前面。我们提出了经验证据表明，DG泛化的主要原因是训练时存在多个域。此外，我们表明IID中的泛化方法对DG的泛化同样重要。量身定制的方法未能在传统的DG（TDG）评估中增加性能增益。我们的实验提示如果TDG已经在评估ood泛化方面存在的有用性？为了进一步加强我们的调查，我们提出了一种新颖的评估策略，Classwise DG（CWDG），在这里，每个班级，我们随机选择一个域并将其保留在一边进行测试。我们认为，这项基准测试更接近人类学习，并在现实世界方案中相关。反直观地，尽管在培训期间暴露于所有域，但CWDG比TDG评估更具挑战性。在解释观察的同时，我们的作品在探索新想法之前，我们的作品在DG问题上进行了更重要的分析。

域的概括（DG）研究了深度学习模型推广到训练分布的能力。在过去的十年中，文献已经大量填充了一系列培训方法，这些方法声称获得了更抽象和强大的数据表示以应对域的转移。最近的研究为DG提供了可再现的基准，指出了天真的经验风险最小化（ERM）对现有算法的有效性。然而，研究人员坚持使用相同过时的特征提取器，并且尚未注意不同骨干的影响。在本文中，我们从骨干开始，提出了对其内在概括能力的全面分析，迄今为止，研究界忽略了。我们评估了各种特征提取器，从标准残差解决方案到基于变压器的架构，发现大规模单域分类精度和DG功能之间的线性相关性。我们广泛的实验表明，通过采用竞争性骨干与有效的数据增强结合使用，普通ERM的表现优于最近的DG解决方案，并实现了最先进的准确性。此外，我们的其他定性研究表明，新型骨架提供了与同类样本更相似的表示，从而将特征空间中的不同域分开。这种概括能力的增强功能使DG算法的边缘空间为调查问题，提出了一个新的范式，将骨干放在聚光灯下，并鼓励在其顶部开发一致的算法。

域泛化（DG）方法旨在开发概括到测试分布与训练数据不同的设置的模型。在本文中，我们专注于多源零拍DG的挑战性问题，其中来自多个源域的标记训练数据可用，但无法从目标域中访问数据。虽然这个问题已成为研究的重要话题，但令人惊讶的是，将所有源数据汇集在一起​​和培训单个分类器的简单解决方案在标准基准中具有竞争力。更重要的是，即使在不同域中明确地优化不变性的复杂方法也不一定提供对ERM的非微不足道的增益。在本文中，我们首次研究了预先指定的域标签和泛化性能之间的重要链接。使用动机案例研究和分布稳健优化算法的新变种，我们首先演示了如何推断的自定义域组可以通过数据集的原始域标签来实现一致的改进。随后，我们介绍了一种用于多域泛化，Muldens的一般方法，它使用基于ERM的深度合并骨干，并通过元优化算法执行隐式域重标。使用对多个标准基准测试的经验研究，我们表明Muldens不需要定制增强策略或特定于数据集的培训过程，始终如一地优于ERM，通过显着的边距，即使在比较时也会产生最先进的泛化性能对于利用域标签的现有方法。

为了在单一源领域的概括中取得成功，最大化合成域的多样性已成为最有效的策略之一。最近的许多成功都来自预先指定模型在培训期间暴露于多样性类型的方法，因此它最终可以很好地概括为新领域。但是，基于na \“基于多样性的增强也不能因为它们无法对大型域移动建模，或者因为预先指定的变换的跨度不能涵盖域概括中通常发生的转移类型。解决这个问题，我们提出了一个新颖的框架，该框架使用神经网络使用对抗学习的转换（ALT）来建模可欺骗分类器的合理但硬的图像转换。该网络是为每个批次的随机初始初始初始初始初始初始化的，并培训了固定数量的步骤。为了最大化分类错误。此外，我们在分类器对干净和转化的图像的预测之间实现一致性。通过广泛的经验分析，我们发现这种对抗性转换的新形式同时实现了多样性和硬度的目标，并超越了所有现有技术，以实现竞争性的所有技术单源域概括的基准。我们还显示了T HAT ALT可以自然地与现有的多样性模块合作，从而产生高度独特的源域，导致最先进的性能。

在本文中，我们考虑了语义分割中域概括的问题，该问题旨在仅使用标记的合成（源）数据来学习强大的模型。该模型有望在看不见的真实（目标）域上表现良好。我们的研究发现，图像样式的变化在很大程度上可以影响模型的性能，并且样式特征可以通过图像的频率平均值和标准偏差来很好地表示。受此启发，我们提出了一种新颖的对抗性增强（Advstyle）方法，该方法可以在训练过程中动态生成硬性化的图像，因此可以有效防止该模型过度适应源域。具体而言，AdvStyle将样式功能视为可学习的参数，并通过对抗培训对其进行更新。学习的对抗性风格功能用于构建用于健壮模型训练的对抗图像。 AdvStyle易于实现，并且可以轻松地应用于不同的模型。对两个合成到现实的语义分割基准的实验表明，Advstyle可以显着改善看不见的真实域的模型性能，并表明我们可以实现最新技术的状态。此外，可以将AdvStyle用于域通用图像分类，并在考虑的数据集上产生明显的改进。

通过在多个观察到的源极域上培训模型，域概括旨在概括到无需进一步培训的任意看不见的目标领域。现有的作品主要专注于学习域不变的功能，以提高泛化能力。然而，由于在训练期间不可用目标域，因此前面的方法不可避免地遭受源极域中的过度。为了解决这个问题，我们开发了一个有效的基于辍学的框架，可以扩大模型的注意力，这可以有效地减轻过度的问题。特别地，与典型的辍学方案不同，通常在固定层上进行丢失，首先，我们随机选择一层，然后我们随机选择其通道以进行丢弃。此外，我们利用进步方案增加训练期间辍学的比率，这可以逐步提高培训模型的难度，以增强模型的稳健性。此外，为了进一步缓解过度拟合问题的影响，我们利用了在图像级和特征级别的增强方案来产生强大的基线模型。我们对多个基准数据集进行广泛的实验，该数据集显示了我们的方法可以优于最先进的方法。

域的概括（DG）旨在仅使用有限的源域学习一个通用模型。先前的DG尝试仅由于训练和测试域之间的显着域移动而无法从源域中学习域不变表示。取而代之的是，我们使用Oracle模型使用共同信息重新构建了DG目标，该模型将概括为任何可能的域。我们通过通过预训练的模型近似oracle模型来得出一个可拖动的变化下限，称为使用Oracle（Miro）的相互信息正则化。我们的广泛实验表明，Miro可显着提高分布性能。此外，我们的缩放实验表明，预训练模型的尺度越大，miro的性能提高就越大。源代码可在https://github.com/kakaobrain/miro中获得。

The goal of domain generalization algorithms is to predict well on distributions different from those seen during training. While a myriad of domain generalization algorithms exist, inconsistencies in experimental conditions-datasets, architectures, and model selection criteria-render fair and realistic comparisons difficult. In this paper, we are interested in understanding how useful domain generalization algorithms are in realistic settings. As a first step, we realize that model selection is non-trivial for domain generalization tasks. Contrary to prior work, we argue that domain generalization algorithms without a model selection strategy should be regarded as incomplete. Next, we implement DOMAINBED, a testbed for domain generalization including seven multi-domain datasets, nine baseline algorithms, and three model selection criteria. We conduct extensive experiments using DO-MAINBED and find that, when carefully implemented, empirical risk minimization shows state-of-the-art performance across all datasets. Looking forward, we hope that the release of DOMAINBED, along with contributions from fellow researchers, will streamline reproducible and rigorous research in domain generalization. * Alphabetical order, equal contribution.Preprint. Under review.

分发班次的稳健性对于部署现实世界中的机器学习模型至关重要。尽管如此必要的，但在定义导致这些变化的潜在机制以及评估跨多个不同的分发班次的稳健性的潜在机制很少。为此，我们介绍了一种框架，可实现各种分布换档的细粒度分析。我们通过评估在合成和现实世界数据集中分为五个类别的19个不同的方法来提供对当前最先进的方法的整体分析。总的来说，我们训练超过85架模型。我们的实验框架可以很容易地扩展到包括新方法，班次和数据集。我们发现，与以前的工作〜\ citep {gulrajani20}不同，该进度已经通过标准的ERM基线进行;特别是，在许多情况下，预先训练和增强（学习或启发式）提供了大的收益。但是，最好的方法在不同的数据集和班次上不一致。

旨在概括在源域中训练的模型来看不见的目标域，域泛化（DG）最近引起了很多关注。 DG的关键问题是如何防止对观察到的源极域的过度接收，因为在培训期间目标域不可用。我们调查过度拟合不仅导致未经看不见的目标域的普遍推广能力，而且在测试阶段导致不稳定的预测。在本文中，我们观察到，在训练阶段采样多个任务并在测试阶段产生增强图像，很大程度上有利于泛化性能。因此，通过处理不同视图的任务和图像，我们提出了一种新颖的多视图DG框架。具体地，在训练阶段，为了提高泛化能力，我们开发了一种多视图正则化元学习算法，该算法采用多个任务在更新模型期间产生合适的优化方向。在测试阶段，为了减轻不稳定的预测，我们利用多个增强图像来产生多视图预测，这通过熔断测试图像的不同视图的结果显着促进了模型可靠性。三个基准数据集的广泛实验验证了我们的方法优于几种最先进的方法。

域泛化（DG）是一个难度的学习问题，旨在学习一个概念域的概念模型。最近的巨型预训练模型，如剪辑和GPT-3，即基础模型（FMS），已被证明对许多分布换档具有强大，因此应导致DG的大量改进。在这项工作中，我们研究了在图像分类中采用DG问题采用剪辑的通用方法，在那里我们评估了天真零射击学习和全DG学习设置。对于后者，我们提出了AP（摊销提示），作为迅速生成形式的域推断的新方法。在域泛化基准上使用多个标准数据集，即PACS，VLC，OfficeHome和Terraincognita，Clip提供了可比的性能而无需微调任何参数，这表明FM在DG中的适用性和重要性。此外，我们表明，组合域提示跟踪带剪辑使AP能够以大的余量越大，从71.3 \％升高到79.3 \％的精度。我们希望我们的方法的简单性和成功强调强调的重要性并导致更广泛采用和分析域泛化领域的基础模型。

最近证明，接受SGD训练的神经网络优先依赖线性预测的特征，并且可以忽略复杂的，同样可预测的功能。这种简单性偏见可以解释他们缺乏分布（OOD）的鲁棒性。学习任务越复杂，统计工件（即选择偏见，虚假相关性）的可能性就越大比学习的机制更简单。我们证明可以减轻简单性偏差并改善了OOD的概括。我们使用对其输入梯度对齐的惩罚来训练一组类似的模型以不同的方式拟合数据。我们从理论和经验上展示了这会导致学习更复杂的预测模式的学习。 OOD的概括从根本上需要超出I.I.D.示例，例如多个培训环境，反事实示例或其他侧面信息。我们的方法表明，我们可以将此要求推迟到独立的模型选择阶段。我们获得了SOTA的结果，可以在视觉域偏置数据和概括方面进行视觉识别。该方法 - 第一个逃避简单性偏见的方法 - 突出了需要更好地理解和控制深度学习中的归纳偏见。

在现实生活中，机器学习模型经常面临培训和测试域之间存在数据分布的变化的情景。当目标是对不同于在培训中看到的分布的预测，我们会产生域泛化问题。解决此问题的方法使用来自多个源域的数据来学习模型，然后将此模型应用于未经调整的目标域。我们的假设是，当用多个域训练时，每个迷你批处理中的冲突梯度包含特定于与其他域的各个域特定的信息，包括测试域。如果保持不受影响，这种分歧可能会降低泛化性能。在这项工作中，我们在域移情中出现的突出梯度，并根据梯度手术制定新的渐变协议策略，以减轻其效果。我们在具有三个多域数据集中的图像分类任务中验证了我们的方法，显示了提高域移位情景中深入学习模型的泛化能力的拟议协议策略的价值。

尽管视觉变压器（VIT）表现出令人印象深刻的表示学习能力，但我们从经验上发现，它们不能很好地将其概括为具有以前的域泛化算法的看不见的域。在本文中，我们提出了一种基于迅速学习的新方法，以嵌入域中的源域的知识提示目标域预测。具体而言，在来自相应的源域中的VIT输入令牌之前先进行域提示。每个域提示都可以有效地学习特定于领域的知识，因为仅针对一个域进行了优化。同时，我们训练一个及时的适配器，根据学习的源域提示为每个输入图像生成适当的提示。在测试时，提示适配器生成的改编提示可以利用室外图像和源域的特征之间的相似性，以正确整合源域知识。广泛的实验是在四个基准数据集上进行的。我们的方法在平均准确性方面提高了1.4％，这是使用VIT主链改善最先进算法的3.5倍。

域的概括（DG）旨在学习分配变化的可推广模型，以避免重新拟合大规模训练数据。以前具有复杂损失设计和梯度约束的作品尚未在大规模基准上取得经验成功。在这项工作中，我们通过利用跨域跨域的预测特征的多个方面来揭示Experts（MOE）模型对DG的概括性的混合物。为此，我们提出了稀疏的融合混合物（SF-MOE），该混合物将稀疏性和融合机制纳入MOE框架中，以使模型保持稀疏和预测性。 SF-MOE有两个专用模块：1）稀疏块和2）融合块，它们分别分别分离和汇总对象的多样化信号。广泛的实验表明，SF-MOE是大规模基准的域名学习者。在5个大规模的DG数据集（例如域内）中，它的表现优于最佳同行，其计算成本相同甚至较低。我们从分布式表示的角度（例如，视觉属性）进一步揭示了SF-MOE的内部机制。我们希望这个框架可以促进未来的研究，将可普遍的对象识别推向现实世界。代码和模型在https://github.com/luodian/sf-moe-dg上发布。

对分布（OOD）数据的概括是人类自然的能力，但对于机器而言挑战。这是因为大多数学习算法强烈依赖于i.i.d.〜对源/目标数据的假设，这在域转移导致的实践中通常会违反。域的概括（DG）旨在通过仅使用源数据进行模型学习来实现OOD的概括。在过去的十年中，DG的研究取得了长足的进步，导致了广泛的方法论，例如，基于域的一致性，元学习，数据增强或合奏学习的方法，仅举几例；还在各个应用领域进行了研究，包括计算机视觉，语音识别，自然语言处理，医学成像和强化学习。在本文中，首次提供了DG中的全面文献综述，以总结过去十年来的发展。具体而言，我们首先通过正式定义DG并将其与其他相关领域（如域适应和转移学习）联系起来来涵盖背景。然后，我们对现有方法和理论进行了彻底的审查。最后，我们通过有关未来研究方向的见解和讨论来总结这项调查。

Though impressive success has been witnessed in computer vision, deep learning still suffers from the domain shift challenge when the target domain for testing and the source domain for training do not share an identical distribution. To address this, domain generalization approaches intend to extract domain invariant features that can lead to a more robust model. Hence, increasing the source domain diversity is a key component of domain generalization. Style augmentation takes advantage of instance-specific feature statistics containing informative style characteristics to synthetic novel domains. However, all previous works ignored the correlation between different feature channels or only limited the style augmentation through linear interpolation. In this work, we propose a novel augmentation method, called \textit{Correlated Style Uncertainty (CSU)}, to go beyond the linear interpolation of style statistic space while preserving the essential correlation information. We validate our method's effectiveness by extensive experiments on multiple cross-domain classification tasks, including widely used PACS, Office-Home, Camelyon17 datasets and the Duke-Market1501 instance retrieval task and obtained significant margin improvements over the state-of-the-art methods. The source code is available for public use.

The well-documented presence of texture bias in modern convolutional neural networks has led to a plethora of algorithms that promote an emphasis on shape cues, often to support generalization to new domains. Yet, common datasets, benchmarks and general model selection strategies are missing, and there is no agreed, rigorous evaluation protocol. In this paper, we investigate difficulties and limitations when training networks with reduced texture bias. In particular, we also show that proper evaluation and meaningful comparisons between methods are not trivial. We introduce BiasBed, a testbed for texture- and style-biased training, including multiple datasets and a range of existing algorithms. It comes with an extensive evaluation protocol that includes rigorous hypothesis testing to gauge the significance of the results, despite the considerable training instability of some style bias methods. Our extensive experiments, shed new light on the need for careful, statistically founded evaluation protocols for style bias (and beyond). E.g., we find that some algorithms proposed in the literature do not significantly mitigate the impact of style bias at all. With the release of BiasBed, we hope to foster a common understanding of consistent and meaningful comparisons, and consequently faster progress towards learning methods free of texture bias. Code is available at https://github.com/D1noFuzi/BiasBed

主流最先进的域泛化算法倾向于优先考虑跨域语义不变性的假设。同时，固有的域内风格不变性通常被低估并放在架子上。在本文中，我们揭示了利用域内风格的不变性，在提高域泛化效率方面也具有关键重要性。我们验证了网络对域功能不变并在实例之间共享的内容至关重要，以便网络锐化其理解并提高其语义判别能力。相应地，我们还提出了一种新颖的“陪审团”机制，在域之间学习有用的语义特征共性特别有效。我们的完整型号称为Steam可以被解释为新颖的概率图形模型，该图形模型需要方便的两种内存库的方便结构：语义特征银行和风格的功能库。经验结果表明，我们的拟议框架通过清晰的边缘超越了最先进的方法。

最近，已经提出了几种领域的概括（DG）方法，表现出令人鼓舞的性能，但是，几乎所有的都基于卷积神经网络（CNN）。研究视觉变压器（VIT）的DG性能（VIT）几乎没有进展，这挑战了CNN在标准基准测试基准上的至高无上，通常是基于I.I.D假设。这使VITS的现实部署令人怀疑。在本文中，我们试图探索解决DG问题的VIT。与CNN类似，VIT在分发场景中也挣扎，主要的罪魁祸首过于适合来源域。受VIT的模块化体系结构的启发，我们提出了一种简单的DG方法，用于VIT，以VIT的自我验证。它通过策划中间变压器块的非零熵监管信号来减少输入输出映射问题的学习来减少源域的过度拟合。此外，它不会引入任何新参数，并且可以无缝地插入不同VIT的模块化组成中。我们在五个具有挑战性的数据集中以不同的DG基准和各种VIT骨架表现出显着的性能提高。此外，我们报告了针对最近最新的DG方法的有利性能。我们的代码以及预培训的模型可在以下网址公开获取：https：//github.com/maryam089/sdvit