旨在概括在源域中训练的模型来看不见的目标域，域泛化（DG）最近引起了很多关注。 DG的关键问题是如何防止对观察到的源极域的过度接收，因为在培训期间目标域不可用。我们调查过度拟合不仅导致未经看不见的目标域的普遍推广能力，而且在测试阶段导致不稳定的预测。在本文中，我们观察到，在训练阶段采样多个任务并在测试阶段产生增强图像，很大程度上有利于泛化性能。因此，通过处理不同视图的任务和图像，我们提出了一种新颖的多视图DG框架。具体地，在训练阶段，为了提高泛化能力，我们开发了一种多视图正则化元学习算法，该算法采用多个任务在更新模型期间产生合适的优化方向。在测试阶段，为了减轻不稳定的预测，我们利用多个增强图像来产生多视图预测，这通过熔断测试图像的不同视图的结果显着促进了模型可靠性。三个基准数据集的广泛实验验证了我们的方法优于几种最先进的方法。

通过在多个观察到的源极域上培训模型，域概括旨在概括到无需进一步培训的任意看不见的目标领域。现有的作品主要专注于学习域不变的功能，以提高泛化能力。然而，由于在训练期间不可用目标域，因此前面的方法不可避免地遭受源极域中的过度。为了解决这个问题，我们开发了一个有效的基于辍学的框架，可以扩大模型的注意力，这可以有效地减轻过度的问题。特别地，与典型的辍学方案不同，通常在固定层上进行丢失，首先，我们随机选择一层，然后我们随机选择其通道以进行丢弃。此外，我们利用进步方案增加训练期间辍学的比率，这可以逐步提高培训模型的难度，以增强模型的稳健性。此外，为了进一步缓解过度拟合问题的影响，我们利用了在图像级和特征级别的增强方案来产生强大的基线模型。我们对多个基准数据集进行广泛的实验，该数据集显示了我们的方法可以优于最先进的方法。

当部署和培训之间存在分配变化时，深层神经网络的性能恶化严重。域的概括（DG）旨在通过仅依靠一组源域来安全地传输模型以看不见目标域。尽管已经提出了各种DG方法，但最近的一项名为Domainbed的研究表明，其中大多数没有超过简单的经验风险最小化（ERM）。为此，我们提出了一个通用框架，该框架与现有的DG算法是正交的，并且可以始终如一地提高其性能。与以前的DG作品不同的是，在静态源模型上有希望成为通用的DG，我们提出的ADAODM会在测试时间适应不同目标域的源模型。具体而言，我们在共享域形式的特征提取器上创建多个域特异性分类器。特征提取器和分类器以对抗性方式进行了训练，其中特征提取器将输入样品嵌入到域不变的空间中，并且多个分类器捕获了每个分类器与特定源域有关的独特决策边界。在测试过程中，可以通过利用源分类器之间的预测分歧来有效地衡量目标和源域之间的分布差异。通过微调源模型以最大程度地减少测试时间的分歧，目标域特征与不变特征空间很好地对齐。我们验证了两种流行的DG方法，即ERM和Coral，以及四个DG基准，即VLCS，PACS，OfficeHome和TerrainCognita。结果表明，ADAODM稳定地提高了对看不见的域的概括能力，并实现了最先进的性能。

人重新识别（RE-ID）在监督场景中取得了巨大成功。但是，由于模型过于适合所见源域，因此很难将监督模型直接传输到任意看不见的域。在本文中，我们旨在从数据增强的角度来解决可推广的多源人员重新ID任务（即，在培训期间看不见测试域，并且在培训期间看不见测试域，因此我们提出了一种新颖的方法，称为Mixnorm，由域感知的混合范围（DMN）和域软件中心正则化（DCR）组成。不同于常规数据增强，提出的域吸引的混合范围化，以增强从神经网络的标准化视图中训练期间特征的多样性，这可以有效地减轻模型过度适应源域，从而提高概括性。在看不见的域中模型的能力。为了更好地学习域不变的模型，我们进一步开发了域吸引的中心正规化，以更好地将产生的各种功能映射到同一空间中。在多个基准数据集上进行的广泛实验验证了所提出的方法的有效性，并表明所提出的方法可以胜过最先进的方法。此外，进一步的分析还揭示了所提出的方法的优越性。

最近，由于受监督人员重新识别（REID）的表现不佳，域名概括（DG）人REID引起了很多关注，旨在学习一个不敏感的模型，并可以抵抗域的影响偏见。在本文中，我们首先通过实验验证样式因素是域偏差的重要组成部分。基于这个结论，我们提出了一种样式变量且无关紧要的学习方法（SVIL）方法，以消除样式因素对模型的影响。具体来说，我们在SVIL中设计了样式的抖动模块（SJM）。 SJM模块可以丰富特定源域的样式多样性，并减少各种源域的样式差异。这导致该模型重点关注与身份相关的信息，并对样式变化不敏感。此外，我们将SJM模块与元学习算法有机结合，从而最大程度地提高了好处并进一步提高模型的概括能力。请注意，我们的SJM模块是插件和推理，无需成本。广泛的实验证实了我们的SVIL的有效性，而我们的方法的表现优于DG-REID基准测试的最先进方法。

我们关注模型概括中最坏的情况，因为一个模型旨在在许多看不见的域上表现良好，而只有一个单个域可供训练。我们提出基于元学习的对抗领域的增强，以解决此范围泛化问题。关键思想是利用对抗性训练来创建“虚构的”但“具有挑战性”的人群，模型可以从中学会通过理论保证进行概括。为了促进快速和理想的域增强，我们将模型训练施加在元学习方案中，并使用Wasserstein自动编码器放宽广泛使用的最坏情况的约束。我们通过整合有效域概括的不确定性定量来进一步改善我们的方法。在多个基准数据集上进行的广泛实验表明其在解决单个领域概括方面的出色性能。

域的概括（DG）旨在学习一个对源域的模型，以很好地概括看不见的目标域。尽管它取得了巨大的成功，但大多数现有方法都需要用于源域中所有培训样本的标签信息，这在现实世界中既耗时又昂贵。在本文中，我们求助于解决半监督域的概括（SSDG）任务，其中每个源域中都有一些标签信息。为了解决任务，我们首先分析多域学习的理论，该理论强调了1）减轻域间隙的影响和2）利用所有样品训练模型可以有效地减少每个源域中的概括误差，因此提高伪标签的质量。根据分析，我们提出了Multimatch，即将FixMatch扩展到多任务学习框架，从而为SSDG生成高质量的伪标签。具体来说，我们将每个培训域视为一个任务（即本地任务），并将所有培训域（即全球任务）组合在一起，以训练看不见的测试域的额外任务。在多任务框架中，我们为每个任务使用独立的BN和分类器，这可以有效地减轻伪标记期间不同领域的干扰。同样，共享框架中的大多数参数，可以通过所有培训样本进行培训。此外，为了进一步提高伪标签的准确性和模型的概括，我们分别在培训和测试过程中分别融合了全球任务和本地任务的预测。一系列实验验证了所提出的方法的有效性，并且在几个基准DG数据集上优于现有的半监督方法和SSDG方法。

域概括（DG）最近引起了人的重新识别（REID）的巨大关注。它旨在使在多个源域上培训的模型概括到未经看不见的目标域。虽然实现了有前进的进步，但现有方法通常需要要标记的源域，这可能是实际REID任务的重大负担。在本文中，我们通过假设任何源域都有任何标签可以调查Reid的无监督域泛化。为了解决这个具有挑战性的设置，我们提出了一种简单高效的域特定的自适应框架，并通过设计在批处理和实例归一化技术上的自适应归一化模块实现。在此过程中，我们成功地产生了可靠的伪标签来实现培训，并根据需要增强模型的域泛化能力。此外，我们表明，我们的框架甚至可以应用于在监督域泛化和无监督域适应的环境下改进人员Reid，展示了关于相关方法的竞争性能。对基准数据集进行了广泛的实验研究以验证所提出的框架。我们的工作的重要性在于它表明了对人Reid的无监督域概括的潜力，并为这一主题进一步研究了一个强大的基线。

域泛化（DG）方法旨在通过仅使用来自源域的训练数据来实现未经证明的目标域的概括性。虽然已经提出了各种DG方法，但最近的一项研究表明，在一个公平的评估方案下，称为域底，简单的经验风险最小化（ERM）方法可与以前的方法相当。不幸的是，简单地解决了ERM在复杂的非凸损函数上，可以通过寻求尖锐的最小值来容易地导致次优化的普遍性。在本文中，我们理论上表明发现扁平最小值导致较小的域泛化差距。我们还提出了一种简单而有效的方法，名为随机重量平均（纵向），找到扁平的最小值。瑞郎发现更漂亮的最小值，并且由于通过密集和过度感知的随机重量采样策略而遭受的过度装备不足。瑞士瑞士展示了五个DG基准测试，即PACS，VLC，OfficeHome，Terraincognita和Domainnet的最先进的表演，符合域名准确度的一致和大幅度+ 1.6％。我们还与常规的泛化方法（如数据增强和一致性正则化方法）进行比较，以验证显着的性能改进是通过寻求扁平的最小值，而不是更好的域概括性。最后但并非最不重要的是，瑞士剧本适应现有的DG方法而无需修改;施联和现有DG方法的组合进一步提高了DG性能。源代码可在https://github.com/khanrc/swad提供。

机器学习系统通常假设训练和测试分布是相同的。为此，关键要求是开发可以概括到未经看不见的分布的模型。领域泛化（DG），即分销概括，近年来引起了越来越令人利益。域概括处理了一个具有挑战性的设置，其中给出了一个或几个不同但相关域，并且目标是学习可以概括到看不见的测试域的模型。多年来，域概括地区已经取得了巨大进展。本文提出了对该地区最近进步的首次审查。首先，我们提供了域泛化的正式定义，并讨论了几个相关领域。然后，我们彻底审查了与域泛化相关的理论，并仔细分析了泛化背后的理论。我们将最近的算法分为三个类：数据操作，表示学习和学习策略，并为每个类别详细介绍几种流行的算法。第三，我们介绍常用的数据集，应用程序和我们的开放源代码库进行公平评估。最后，我们总结了现有文学，并为未来提供了一些潜在的研究主题。

人重新识别（RE-ID）是视频监视系统中的一项关键技术，在监督环境中取得了重大成功。但是，由于可用源域和看不见的目标域之间的域间隙，很难将监督模型直接应用于任意看不见的域。在本文中，我们提出了一种新颖的标签分布学习（LDL）方法，以解决可推广的多源人员重新ID任务（即，有多个可用的源域，并且在培训期间看不到测试域），旨在旨在探索不同类别的关系，并减轻跨不同域的域转移，以改善模型的歧视并同时学习域不变特征。具体而言，在培训过程中，我们通过在线方式生产标签分布来挖掘不同类别的关系信息，因此它有益于提取判别特征。此外，对于每个类别的标签分布，我们进一步对其进行了修改，以更多和同等的关注该类不属于的其他域，这可以有效地减少跨不同域的域间隙并获得域不变特征。此外，我们还提供了理论分析，以证明所提出的方法可以有效地处理域转移问题。在多个基准数据集上进行的广泛实验验证了所提出的方法的有效性，并表明所提出的方法可以胜过最先进的方法。此外，进一步的分析还揭示了所提出的方法的优越性。

Generalization capability to unseen domains is crucial for machine learning models when deploying to real-world conditions. We investigate the challenging problem of domain generalization, i.e., training a model on multi-domain source data such that it can directly generalize to target domains with unknown statistics. We adopt a model-agnostic learning paradigm with gradient-based meta-train and meta-test procedures to expose the optimization to domain shift. Further, we introduce two complementary losses which explicitly regularize the semantic structure of the feature space. Globally, we align a derived soft confusion matrix to preserve general knowledge about inter-class relationships. Locally, we promote domainindependent class-specific cohesion and separation of sample features with a metric-learning component. The effectiveness of our method is demonstrated with new state-of-the-art results on two common object recognition benchmarks. Our method also shows consistent improvement on a medical image segmentation task.

为了将训练有素的模型直接概括为看不见的目标域，域概括（DG）是一种新提出的学习范式，引起了很大的关注。以前的DG模型通常需要在训练过程中观察到的源域中的足够数量的带注释的样品。在本文中，我们放宽了有关完全注释的要求，并研究了半监督域的概括（SSDG），在训练过程中，只有一个源域与其他完全未标记的域一起完全注释。由于要解决观察到的源域之间的域间隙和预测看不见的目标域之间的挑战，我们提出了一个通过关节域吸引的标签和双分类器的新型深框架，以产生高质量的伪标记。具体来说，为了预测域移位下的准确伪标记，开发了一个域吸引的伪标记模块。此外，考虑到概括和伪标记之间的目标不一致：前者防止在所有源域上过度拟合，而后者可能过分适合未标记的源域，以高精度，我们采用双分类器来独立执行伪标记和域名，并在训练过程中执行伪造域通用化。 。当为未标记的源域生成准确的伪标记时，将域混合操作应用于标记和未标记域之间的新域，这对于提高模型的通用能力是有益的。公开可用的DG基准数据集的广泛结果显示了我们提出的SSDG方法的功效。

深度学习中的混乱是一般不利的，在他们渗透特征陈述的普遍之规方面都有害。因此，学习没有干扰混淆的因果特征很重要。基于最先前的因果学习方法采用后门标准来减轻某些特定混淆的不利影响，这需要明确的混淆识别。然而，在真实的情景中，混乱通常是多种多样的，并且难以被识别。在本文中，我们提出了一种新的混淆器识别因果视觉特征学习（CICF）方法，这避免了识别混淆的需求。 CICF基于前门标准模拟不同样本中的干预，然后从优化的角度近似于对实例级干预的全局范围中间效应。通过这种方式，我们的目标是找到可靠的优化方向，避免了混淆的介入效果，以学习因果特征。此外，我们发现CICF与流行的元学习策略MAML之间的关系，并提供了MAML首次从因果学习的理论视角来解释为什么MAML工作。由于有效地学习了因果特征，我们的CICF使模型能够具有卓越的泛化能力。域泛化基准数据集的广泛实验证明了我们的CICF的有效性，从而实现了最先进的性能。

Domain generalization (DG) is the challenging and topical problem of learning models that generalize to novel testing domains with different statistics than a set of known training domains. The simple approach of aggregating data from all source domains and training a single deep neural network end-to-end on all the data provides a surprisingly strong baseline that surpasses many prior published methods. In this paper we build on this strong baseline by designing an episodic training procedure that trains a single deep network in a way that exposes it to the domain shift that characterises a novel domain at runtime. Specifically, we decompose a deep network into feature extractor and classifier components, and then train each component by simulating it interacting with a partner who is badly tuned for the current domain. This makes both components more robust, ultimately leading to our networks producing state-of-the-art performance on three DG benchmarks. Furthermore, we consider the pervasive workflow of using an ImageNet trained CNN as a fixed feature extractor for downstream recognition tasks. Using the Visual Decathlon benchmark, we demonstrate that our episodic-DG training improves the performance of such a general purpose feature extractor by explicitly training a feature for robustness to novel problems. This shows that DG training can benefit standard practice in computer vision.

为了解决培训和测试数据之间的分布变化，域的概括（DG）利用多个源域来学习一个概括地看不见域的模型。但是，现有的DG方法通常遭受过度适应源域的影响，部分原因是特征空间中预期区域的覆盖率有限。在此激励的情况下，我们建议与数据插值和外推进行混合，以涵盖潜在的看不见区域。为了防止不受约束的外推的有害影响，我们仔细设计了一种策略来生成实例权重，名为Flatents-Awarnement-Awarnement-Awarnement-Awarness-Angients-Awments-Altents-Altents-Alignness-Actient-Actient-Actient-Actient-Actient-Actient-natments-Actient-Actient-Actient-natments-naterment-Actient-naterment-naterments-awite渐变的混音（FGMIX）。该政策采用基于梯度的相似性，将更大的权重分配给携带更多不变信息的实例，并了解相似性的功能，以提高最小值以更好地概括。在域基准测试中，我们验证了FGMIX各种设计的功效，并证明了其优于其他DG算法。

We are concerned with a worst-case scenario in model generalization, in the sense that a model aims to perform well on many unseen domains while there is only one single domain available for training. We propose a new method named adversarial domain augmentation to solve this Outof-Distribution (OOD) generalization problem. The key idea is to leverage adversarial training to create "fictitious" yet "challenging" populations, from which a model can learn to generalize with theoretical guarantees. To facilitate fast and desirable domain augmentation, we cast the model training in a meta-learning scheme and use a Wasserstein Auto-Encoder (WAE) to relax the widely used worst-case constraint. Detailed theoretical analysis is provided to testify our formulation, while extensive experiments on multiple benchmark datasets indicate its superior performance in tackling single domain generalization.

对分布（OOD）数据的概括是人类自然的能力，但对于机器而言挑战。这是因为大多数学习算法强烈依赖于i.i.d.〜对源/目标数据的假设，这在域转移导致的实践中通常会违反。域的概括（DG）旨在通过仅使用源数据进行模型学习来实现OOD的概括。在过去的十年中，DG的研究取得了长足的进步，导致了广泛的方法论，例如，基于域的一致性，元学习，数据增强或合奏学习的方法，仅举几例；还在各个应用领域进行了研究，包括计算机视觉，语音识别，自然语言处理，医学成像和强化学习。在本文中，首次提供了DG中的全面文献综述，以总结过去十年来的发展。具体而言，我们首先通过正式定义DG并将其与其他相关领域（如域适应和转移学习）联系起来来涵盖背景。然后，我们对现有方法和理论进行了彻底的审查。最后，我们通过有关未来研究方向的见解和讨论来总结这项调查。

在本文中，我们考虑了语义分割中域概括的问题，该问题旨在仅使用标记的合成（源）数据来学习强大的模型。该模型有望在看不见的真实（目标）域上表现良好。我们的研究发现，图像样式的变化在很大程度上可以影响模型的性能，并且样式特征可以通过图像的频率平均值和标准偏差来很好地表示。受此启发，我们提出了一种新颖的对抗性增强（Advstyle）方法，该方法可以在训练过程中动态生成硬性化的图像，因此可以有效防止该模型过度适应源域。具体而言，AdvStyle将样式功能视为可学习的参数，并通过对抗培训对其进行更新。学习的对抗性风格功能用于构建用于健壮模型训练的对抗图像。 AdvStyle易于实现，并且可以轻松地应用于不同的模型。对两个合成到现实的语义分割基准的实验表明，Advstyle可以显着改善看不见的真实域的模型性能，并表明我们可以实现最新技术的状态。此外，可以将AdvStyle用于域通用图像分类，并在考虑的数据集上产生明显的改进。

理想情况下，应概遍的视觉学习算法，用于在新目标环境中部署时处理任何看不见的域移位;和数据效率，通过使用尽可能少的标签来降低开发成本。为此，我们研究半监督域泛化（SSDG），旨在使用多源，部分标记的培训数据学习域广泛的模型。我们设计了两个基准，涵盖了两个相关领域，即域泛化（DG）和半监督学习（SSL）开发的最先进方法。我们发现，通过设计无法处理未标记数据的DG方法，在SSDG中使用有限的标签表现不佳; SSL方法，尤其是FixMatch，获得更好的结果，但仍远离使用完整标签培训的基本vanilla模型。我们提出了一种简单的方法，一种简单的方法，将FixMatch扩展到SSDG的几个新成分：1）随机模型，用于减少稀缺标签的过度拟合，2）多视图一致性学习，用于增强域泛化。尽管设计简洁，StyleAtch可以实现SSDG的显着改进。我们希望我们的方法和全面的基准可以为未来的概括和数据高效学习系统进行铺平。源代码以\ url {https://github.com/kaiyangzhou/ssdg-benchmark}释放。