为了解决培训和测试数据之间的分布变化，域的概括（DG）利用多个源域来学习一个概括地看不见域的模型。但是，现有的DG方法通常遭受过度适应源域的影响，部分原因是特征空间中预期区域的覆盖率有限。在此激励的情况下，我们建议与数据插值和外推进行混合，以涵盖潜在的看不见区域。为了防止不受约束的外推的有害影响，我们仔细设计了一种策略来生成实例权重，名为Flatents-Awarnement-Awarnement-Awarnement-Awarness-Angients-Awments-Altents-Altents-Alignness-Actient-Actient-Actient-Actient-Actient-Actient-natments-Actient-Actient-Actient-natments-naterment-Actient-naterment-naterments-awite渐变的混音（FGMIX）。该政策采用基于梯度的相似性，将更大的权重分配给携带更多不变信息的实例，并了解相似性的功能，以提高最小值以更好地概括。在域基准测试中，我们验证了FGMIX各种设计的功效，并证明了其优于其他DG算法。

域泛化（DG）方法旨在通过仅使用来自源域的训练数据来实现未经证明的目标域的概括性。虽然已经提出了各种DG方法，但最近的一项研究表明，在一个公平的评估方案下，称为域底，简单的经验风险最小化（ERM）方法可与以前的方法相当。不幸的是，简单地解决了ERM在复杂的非凸损函数上，可以通过寻求尖锐的最小值来容易地导致次优化的普遍性。在本文中，我们理论上表明发现扁平最小值导致较小的域泛化差距。我们还提出了一种简单而有效的方法，名为随机重量平均（纵向），找到扁平的最小值。瑞郎发现更漂亮的最小值，并且由于通过密集和过度感知的随机重量采样策略而遭受的过度装备不足。瑞士瑞士展示了五个DG基准测试，即PACS，VLC，OfficeHome，Terraincognita和Domainnet的最先进的表演，符合域名准确度的一致和大幅度+ 1.6％。我们还与常规的泛化方法（如数据增强和一致性正则化方法）进行比较，以验证显着的性能改进是通过寻求扁平的最小值，而不是更好的域概括性。最后但并非最不重要的是，瑞士剧本适应现有的DG方法而无需修改;施联和现有DG方法的组合进一步提高了DG性能。源代码可在https://github.com/khanrc/swad提供。

当部署和培训之间存在分配变化时，深层神经网络的性能恶化严重。域的概括（DG）旨在通过仅依靠一组源域来安全地传输模型以看不见目标域。尽管已经提出了各种DG方法，但最近的一项名为Domainbed的研究表明，其中大多数没有超过简单的经验风险最小化（ERM）。为此，我们提出了一个通用框架，该框架与现有的DG算法是正交的，并且可以始终如一地提高其性能。与以前的DG作品不同的是，在静态源模型上有希望成为通用的DG，我们提出的ADAODM会在测试时间适应不同目标域的源模型。具体而言，我们在共享域形式的特征提取器上创建多个域特异性分类器。特征提取器和分类器以对抗性方式进行了训练，其中特征提取器将输入样品嵌入到域不变的空间中，并且多个分类器捕获了每个分类器与特定源域有关的独特决策边界。在测试过程中，可以通过利用源分类器之间的预测分歧来有效地衡量目标和源域之间的分布差异。通过微调源模型以最大程度地减少测试时间的分歧，目标域特征与不变特征空间很好地对齐。我们验证了两种流行的DG方法，即ERM和Coral，以及四个DG基准，即VLCS，PACS，OfficeHome和TerrainCognita。结果表明，ADAODM稳定地提高了对看不见的域的概括能力，并实现了最先进的性能。

旨在概括在源域中训练的模型来看不见的目标域，域泛化（DG）最近引起了很多关注。 DG的关键问题是如何防止对观察到的源极域的过度接收，因为在培训期间目标域不可用。我们调查过度拟合不仅导致未经看不见的目标域的普遍推广能力，而且在测试阶段导致不稳定的预测。在本文中，我们观察到，在训练阶段采样多个任务并在测试阶段产生增强图像，很大程度上有利于泛化性能。因此，通过处理不同视图的任务和图像，我们提出了一种新颖的多视图DG框架。具体地，在训练阶段，为了提高泛化能力，我们开发了一种多视图正则化元学习算法，该算法采用多个任务在更新模型期间产生合适的优化方向。在测试阶段，为了减轻不稳定的预测，我们利用多个增强图像来产生多视图预测，这通过熔断测试图像的不同视图的结果显着促进了模型可靠性。三个基准数据集的广泛实验验证了我们的方法优于几种最先进的方法。

域泛化（DG）方法旨在开发概括到测试分布与训练数据不同的设置的模型。在本文中，我们专注于多源零拍DG的挑战性问题，其中来自多个源域的标记训练数据可用，但无法从目标域中访问数据。虽然这个问题已成为研究的重要话题，但令人惊讶的是，将所有源数据汇集在一起​​和培训单个分类器的简单解决方案在标准基准中具有竞争力。更重要的是，即使在不同域中明确地优化不变性的复杂方法也不一定提供对ERM的非微不足道的增益。在本文中，我们首次研究了预先指定的域标签和泛化性能之间的重要链接。使用动机案例研究和分布稳健优化算法的新变种，我们首先演示了如何推断的自定义域组可以通过数据集的原始域标签来实现一致的改进。随后，我们介绍了一种用于多域泛化，Muldens的一般方法，它使用基于ERM的深度合并骨干，并通过元优化算法执行隐式域重标。使用对多个标准基准测试的经验研究，我们表明Muldens不需要定制增强策略或特定于数据集的培训过程，始终如一地优于ERM，通过显着的边距，即使在比较时也会产生最先进的泛化性能对于利用域标签的现有方法。

Though convolutional neural networks (CNNs) have demonstrated remarkable ability in learning discriminative features, they often generalize poorly to unseen domains. Domain generalization aims to address this problem by learning from a set of source domains a model that is generalizable to any unseen domain. In this paper, a novel approach is proposed based on probabilistically mixing instancelevel feature statistics of training samples across source domains. Our method, termed MixStyle, is motivated by the observation that visual domain is closely related to image style (e.g., photo vs. sketch images). Such style information is captured by the bottom layers of a CNN where our proposed style-mixing takes place. Mixing styles of training instances results in novel domains being synthesized implicitly, which increase the domain diversity of the source domains, and hence the generalizability of the trained model. MixStyle fits into mini-batch training perfectly and is extremely easy to implement. The effectiveness of MixStyle is demonstrated on a wide range of tasks including category classification, instance retrieval and reinforcement learning.

为了将训练有素的模型直接概括为看不见的目标域，域概括（DG）是一种新提出的学习范式，引起了很大的关注。以前的DG模型通常需要在训练过程中观察到的源域中的足够数量的带注释的样品。在本文中，我们放宽了有关完全注释的要求，并研究了半监督域的概括（SSDG），在训练过程中，只有一个源域与其他完全未标记的域一起完全注释。由于要解决观察到的源域之间的域间隙和预测看不见的目标域之间的挑战，我们提出了一个通过关节域吸引的标签和双分类器的新型深框架，以产生高质量的伪标记。具体来说，为了预测域移位下的准确伪标记，开发了一个域吸引的伪标记模块。此外，考虑到概括和伪标记之间的目标不一致：前者防止在所有源域上过度拟合，而后者可能过分适合未标记的源域，以高精度，我们采用双分类器来独立执行伪标记和域名，并在训练过程中执行伪造域通用化。 。当为未标记的源域生成准确的伪标记时，将域混合操作应用于标记和未标记域之间的新域，这对于提高模型的通用能力是有益的。公开可用的DG基准数据集的广泛结果显示了我们提出的SSDG方法的功效。

在现实生活中，机器学习模型经常面临培训和测试域之间存在数据分布的变化的情景。当目标是对不同于在培训中看到的分布的预测，我们会产生域泛化问题。解决此问题的方法使用来自多个源域的数据来学习模型，然后将此模型应用于未经调整的目标域。我们的假设是，当用多个域训练时，每个迷你批处理中的冲突梯度包含特定于与其他域的各个域特定的信息，包括测试域。如果保持不受影响，这种分歧可能会降低泛化性能。在这项工作中，我们在域移情中出现的突出梯度，并根据梯度手术制定新的渐变协议策略，以减轻其效果。我们在具有三个多域数据集中的图像分类任务中验证了我们的方法，显示了提高域移位情景中深入学习模型的泛化能力的拟议协议策略的价值。

学习域不变的表示已成为域适应/概括的最受欢迎的方法之一。在本文中，我们表明不变的表示可能不足以保证良好的概括，在考虑标签函数转移的情况下。受到这一点的启发，我们首先在经验风险上获得了新的概括上限，该概括风险明确考虑了标签函数移动。然后，我们提出了特定领域的风险最小化（DRM），该风险最小化（DRM）可以分别对不同域的分布移动进行建模，并为目标域选择最合适的域。对四个流行的域概括数据集（CMNIST，PACS，VLCS和域）进行了广泛的实验，证明了所提出的DRM对域泛化的有效性，具有以下优点：1）它的表现明显超过了竞争性盆地的表现； 2）与香草经验风险最小化（ERM）相比，所有训练领域都可以在所有训练领域中具有可比性或优越的精度； 3）在培训期间，它仍然非常简单和高效，4）与不变的学习方法是互补的。

卷积神经网络已广泛应用于医学图像分割，并取得了相当大的性能。但是，性能可能会受到训练数据（源域）和测试数据（目标域）之间域间隙的显着影响。为了解决此问题，我们提出了一种基于数据操作的域泛化方法，称为域概括（AADG）的自动增强。我们的AADG框架可以有效地采样数据增强策略，从而产生新的领域并从适当的搜索空间中多样化训练集。具体而言，我们介绍了一项新的代理任务，以最大程度地提高了多个增强新颖的域之间的多样性，该域通过单位球体空间中的凹痕距离来衡量，从而使自动化的增强可牵引。对抗性训练和深入的强化学习有效地搜索了目标。全面执行了11个公开底部的底面图像数据集的定量和定性实验（四个用于视网膜血管分割，四个用于视盘和杯子和杯（OD/OC）分割（OD/OC）分割，视网膜病变细分进行了三个）。两个用于视网膜脉管系统分割的八八个数据集进一步涉及验证跨模式泛化。我们提出的AADG通过视网膜船，OD/OC和病变细分任务的相当大的利润来表现出最新的概括性能，并优于现有方法。学到的政策在经验上得到了证实为模型不平衡，并且可以很好地转移到其他模型中。源代码可在https://github.com/crazorback/aadg上找到。

我们关注模型概括中最坏的情况，因为一个模型旨在在许多看不见的域上表现良好，而只有一个单个域可供训练。我们提出基于元学习的对抗领域的增强，以解决此范围泛化问题。关键思想是利用对抗性训练来创建“虚构的”但“具有挑战性”的人群，模型可以从中学会通过理论保证进行概括。为了促进快速和理想的域增强，我们将模型训练施加在元学习方案中，并使用Wasserstein自动编码器放宽广泛使用的最坏情况的约束。我们通过整合有效域概括的不确定性定量来进一步改善我们的方法。在多个基准数据集上进行的广泛实验表明其在解决单个领域概括方面的出色性能。

域的概括（DG）旨在仅使用有限的源域学习一个通用模型。先前的DG尝试仅由于训练和测试域之间的显着域移动而无法从源域中学习域不变表示。取而代之的是，我们使用Oracle模型使用共同信息重新构建了DG目标，该模型将概括为任何可能的域。我们通过通过预训练的模型近似oracle模型来得出一个可拖动的变化下限，称为使用Oracle（Miro）的相互信息正则化。我们的广泛实验表明，Miro可显着提高分布性能。此外，我们的缩放实验表明，预训练模型的尺度越大，miro的性能提高就越大。源代码可在https://github.com/kakaobrain/miro中获得。

现实世界中的数据通常显示出不平衡的标签分布。有关数据不平衡的现有研究集中在单域设置上，即样本来自相同的数据分布。但是，自然数据可以起源于不同的领域，在一个领域中的少数族裔可以从其他域中具有丰富的实例。我们正式化了多域长尾识别（MDLT）的任务，该任务从多域不平衡数据中学习，解决了跨域的标签不平衡，域移动和不同标签分布，并将其推广到所有域级对。我们首先开发了域类的可传递性图，并表明这种可传递性决定了MDLT中学习的成功。然后，我们提出了Boda，这是一种理论上的学习策略，可以跟踪可转移性统计的上限，并确保跨域级分布之间的平衡对齐和校准。我们策划了基于广泛使用的多域数据集的五个MDLT基准测试，并将BODA与跨越不同学习策略的二十个算法进行比较。广泛而严格的实验验证了BODA的出色性能。此外，作为副产品，Boda建立了有关域泛化基准测试的新的最新最先进，强调了解决跨域数据不平衡的重要性，这对于改善概括至看不见的域可能至关重要。代码和数据可在以下网址获得：https：//github.com/yyzharry/multi-domain-mmbalance。

机器学习系统通常假设训练和测试分布是相同的。为此，关键要求是开发可以概括到未经看不见的分布的模型。领域泛化（DG），即分销概括，近年来引起了越来越令人利益。域概括处理了一个具有挑战性的设置，其中给出了一个或几个不同但相关域，并且目标是学习可以概括到看不见的测试域的模型。多年来，域概括地区已经取得了巨大进展。本文提出了对该地区最近进步的首次审查。首先，我们提供了域泛化的正式定义，并讨论了几个相关领域。然后，我们彻底审查了与域泛化相关的理论，并仔细分析了泛化背后的理论。我们将最近的算法分为三个类：数据操作，表示学习和学习策略，并为每个类别详细介绍几种流行的算法。第三，我们介绍常用的数据集，应用程序和我们的开放源代码库进行公平评估。最后，我们总结了现有文学，并为未来提供了一些潜在的研究主题。

当在涉及强大域移动的现实情况下应用时，可以推广到看不见的域的机器学习模型至关重要。我们解决了具有挑战性的域概括（DG）问题，其中在一组源域上训练的模型预计将在看不见的域中很好地概括，而无需接触其数据。 DG的主要挑战是，从源域中学到的功能不一定存在于看不见的目标域中，从而导致性能恶化。我们假设学习一组更丰富的功能对于改善向更广泛的未知域的转移至关重要。因此，我们提出了哥伦布，该方法通过对数据的最相关输入和多级表示的有针对性损坏来强制实施新功能发现。我们进行了广泛的经验评估，以证明所提出的方法的有效性，该方法通过在域床框架中的多个DG基准数据集上优于18个DG算法来实现新的最新结果。

尽管视觉变压器（VIT）表现出令人印象深刻的表示学习能力，但我们从经验上发现，它们不能很好地将其概括为具有以前的域泛化算法的看不见的域。在本文中，我们提出了一种基于迅速学习的新方法，以嵌入域中的源域的知识提示目标域预测。具体而言，在来自相应的源域中的VIT输入令牌之前先进行域提示。每个域提示都可以有效地学习特定于领域的知识，因为仅针对一个域进行了优化。同时，我们训练一个及时的适配器，根据学习的源域提示为每个输入图像生成适当的提示。在测试时，提示适配器生成的改编提示可以利用室外图像和源域的特征之间的相似性，以正确整合源域知识。广泛的实验是在四个基准数据集上进行的。我们的方法在平均准确性方面提高了1.4％，这是使用VIT主链改善最先进算法的3.5倍。

培训和测试数据之间的分布变化通常会破坏深度学习模型的性能。近年来，许多工作都注意存在分布转移的领域泛化（DG），而目标数据看不见。尽管算法设计取得了进展，但长期以来一直忽略了两个基础因素：1）基于正则化的目标（例如，分布对齐）的优化和2）DG的模型选择，因为无法利用有关目标域的知识。在本文中，我们提出了用于域概括的优化和选择技术的混合。为了进行优化，我们利用改编的混音来生成一个分发数据集，该数据集可以指导首选项方向并通过帕累托优化进行优化。对于模型选择，我们生成一个验证数据集，距离目标分布距离更遥远，从而可以更好地表示目标数据。我们还提出了一些理论见解。对一个视觉分类基准和三个时间序列基准的全面实验表明，我们的模型优化和选择技术可以在很大程度上可以改善现有域概括算法的性能，甚至可以取得新的最先进的结果。

域的概括（DG）研究了深度学习模型推广到训练分布的能力。在过去的十年中，文献已经大量填充了一系列培训方法，这些方法声称获得了更抽象和强大的数据表示以应对域的转移。最近的研究为DG提供了可再现的基准，指出了天真的经验风险最小化（ERM）对现有算法的有效性。然而，研究人员坚持使用相同过时的特征提取器，并且尚未注意不同骨干的影响。在本文中，我们从骨干开始，提出了对其内在概括能力的全面分析，迄今为止，研究界忽略了。我们评估了各种特征提取器，从标准残差解决方案到基于变压器的架构，发现大规模单域分类精度和DG功能之间的线性相关性。我们广泛的实验表明，通过采用竞争性骨干与有效的数据增强结合使用，普通ERM的表现优于最近的DG解决方案，并实现了最先进的准确性。此外，我们的其他定性研究表明，新型骨架提供了与同类样本更相似的表示，从而将特征空间中的不同域分开。这种概括能力的增强功能使DG算法的边缘空间为调查问题，提出了一个新的范式，将骨干放在聚光灯下，并鼓励在其顶部开发一致的算法。

Though impressive success has been witnessed in computer vision, deep learning still suffers from the domain shift challenge when the target domain for testing and the source domain for training do not share an identical distribution. To address this, domain generalization approaches intend to extract domain invariant features that can lead to a more robust model. Hence, increasing the source domain diversity is a key component of domain generalization. Style augmentation takes advantage of instance-specific feature statistics containing informative style characteristics to synthetic novel domains. However, all previous works ignored the correlation between different feature channels or only limited the style augmentation through linear interpolation. In this work, we propose a novel augmentation method, called \textit{Correlated Style Uncertainty (CSU)}, to go beyond the linear interpolation of style statistic space while preserving the essential correlation information. We validate our method's effectiveness by extensive experiments on multiple cross-domain classification tasks, including widely used PACS, Office-Home, Camelyon17 datasets and the Duke-Market1501 instance retrieval task and obtained significant margin improvements over the state-of-the-art methods. The source code is available for public use.

通过在多个观察到的源极域上培训模型，域概括旨在概括到无需进一步培训的任意看不见的目标领域。现有的作品主要专注于学习域不变的功能，以提高泛化能力。然而，由于在训练期间不可用目标域，因此前面的方法不可避免地遭受源极域中的过度。为了解决这个问题，我们开发了一个有效的基于辍学的框架，可以扩大模型的注意力，这可以有效地减轻过度的问题。特别地，与典型的辍学方案不同，通常在固定层上进行丢失，首先，我们随机选择一层，然后我们随机选择其通道以进行丢弃。此外，我们利用进步方案增加训练期间辍学的比率，这可以逐步提高培训模型的难度，以增强模型的稳健性。此外，为了进一步缓解过度拟合问题的影响，我们利用了在图像级和特征级别的增强方案来产生强大的基线模型。我们对多个基准数据集进行广泛的实验，该数据集显示了我们的方法可以优于最先进的方法。