域的概括旨在提高机器学习系统到分布（OOD）数据的概括能力。现有的域概括技术将启动固定和离散环境，以解决由OOD数据引起的概括问题。但是，非平稳环境中的许多实际任务（例如，自动驱动的汽车系统，传感器度量）涉及更复杂和不断发展的域漂移，这为域概括的问题带来了新的挑战。在本文中，我们将上述设置作为不断发展的域概括问题。具体而言，我们建议引入一个称为潜在结构感知的顺序自动编码器（LSSAE）的概率框架，以解决通过探索深神经网络潜在空间中的基本连续结构来解决域的概括问题，我们旨在识别两个主要因素即协变量的转移和概念转移核算非平稳环境中的分配转移。合成和现实世界数据集的实验结果表明，LSSAE可以基于不断发展的域概括设置导致出色的性能。

机器学习系统通常假设训练和测试分布是相同的。为此，关键要求是开发可以概括到未经看不见的分布的模型。领域泛化（DG），即分销概括，近年来引起了越来越令人利益。域概括处理了一个具有挑战性的设置，其中给出了一个或几个不同但相关域，并且目标是学习可以概括到看不见的测试域的模型。多年来，域概括地区已经取得了巨大进展。本文提出了对该地区最近进步的首次审查。首先，我们提供了域泛化的正式定义，并讨论了几个相关领域。然后，我们彻底审查了与域泛化相关的理论，并仔细分析了泛化背后的理论。我们将最近的算法分为三个类：数据操作，表示学习和学习策略，并为每个类别详细介绍几种流行的算法。第三，我们介绍常用的数据集，应用程序和我们的开放源代码库进行公平评估。最后，我们总结了现有文学，并为未来提供了一些潜在的研究主题。

尽管机器学习模型迅速推进了各种现实世界任务的最先进，但鉴于这些模型对虚假相关性的脆弱性，跨域（OOD）的概括仍然是一个挑战性的问题。尽管当前的域概括方法通常着重于通过新的损耗函数设计在不同域上实施某些不变性属性，但我们提出了一种平衡的迷你批次采样策略，以减少观察到的训练分布中域特异性的虚假相关性。更具体地说，我们提出了一种两步方法，该方法1）识别虚假相关性的来源，以及2）通过在确定的来源上匹配，构建平衡的迷你批次而没有虚假相关性。我们提供了伪造来源的可识别性保证，并表明我们提出的方法是从所有培训环境中平衡，无虚拟分布的样本。实验是在三个具有伪造相关性的计算机视觉数据集上进行的，从经验上证明，与随机的迷你批次采样策略相比，我们平衡的微型批次采样策略可改善四个不同建立的域泛化模型基线的性能。

多任务学习旨在探索任务相关性，以改善各个任务，这在挑战性方案中是特别重要的，只有每个任务只有有限的数据。为了解决这一挑战，我们提出了变分的多任务学习（VMTL），是用于学习多个相关任务的一般概率推断框架。我们将多项任务学习作为变分贝叶斯推理问题，其中通过指定前沿以统一的方式探讨任务相关性。为了将共享知识合并到每个任务中，我们将任务的前期设计为可被学习的其他相关任务的变分后部的混合，这是由Gumbel-Softmax技术学习的。与以前的方法相比，我们的VMTL可以通过联合推断出后视前推断出的方式，我们的VMTL可以以原则的方式利用两个表示和分类器的任务相关性。这使得各个任务能够完全利用相关任务提供的归纳偏差，因此提高了所有任务的整体性能。实验结果表明，所提出的VMTL能够有效地解决各种具有挑战性的多任务学习设置，其中包括分类和回归的有限训练数据。我们的方法始终如一地超越以前的方法，包括强烈的贝叶斯方法，并在五个基准数据集中实现最先进的性能。

学习域不变的表示已成为域适应/概括的最受欢迎的方法之一。在本文中，我们表明不变的表示可能不足以保证良好的概括，在考虑标签函数转移的情况下。受到这一点的启发，我们首先在经验风险上获得了新的概括上限，该概括风险明确考虑了标签函数移动。然后，我们提出了特定领域的风险最小化（DRM），该风险最小化（DRM）可以分别对不同域的分布移动进行建模，并为目标域选择最合适的域。对四个流行的域概括数据集（CMNIST，PACS，VLCS和域）进行了广泛的实验，证明了所提出的DRM对域泛化的有效性，具有以下优点：1）它的表现明显超过了竞争性盆地的表现； 2）与香草经验风险最小化（ERM）相比，所有训练领域都可以在所有训练领域中具有可比性或优越的精度； 3）在培训期间，它仍然非常简单和高效，4）与不变的学习方法是互补的。

当部署和培训之间存在分配变化时，深层神经网络的性能恶化严重。域的概括（DG）旨在通过仅依靠一组源域来安全地传输模型以看不见目标域。尽管已经提出了各种DG方法，但最近的一项名为Domainbed的研究表明，其中大多数没有超过简单的经验风险最小化（ERM）。为此，我们提出了一个通用框架，该框架与现有的DG算法是正交的，并且可以始终如一地提高其性能。与以前的DG作品不同的是，在静态源模型上有希望成为通用的DG，我们提出的ADAODM会在测试时间适应不同目标域的源模型。具体而言，我们在共享域形式的特征提取器上创建多个域特异性分类器。特征提取器和分类器以对抗性方式进行了训练，其中特征提取器将输入样品嵌入到域不变的空间中，并且多个分类器捕获了每个分类器与特定源域有关的独特决策边界。在测试过程中，可以通过利用源分类器之间的预测分歧来有效地衡量目标和源域之间的分布差异。通过微调源模型以最大程度地减少测试时间的分歧，目标域特征与不变特征空间很好地对齐。我们验证了两种流行的DG方法，即ERM和Coral，以及四个DG基准，即VLCS，PACS，OfficeHome和TerrainCognita。结果表明，ADAODM稳定地提高了对看不见的域的概括能力，并实现了最先进的性能。

对分布（OOD）数据的概括是人类自然的能力，但对于机器而言挑战。这是因为大多数学习算法强烈依赖于i.i.d.〜对源/目标数据的假设，这在域转移导致的实践中通常会违反。域的概括（DG）旨在通过仅使用源数据进行模型学习来实现OOD的概括。在过去的十年中，DG的研究取得了长足的进步，导致了广泛的方法论，例如，基于域的一致性，元学习，数据增强或合奏学习的方法，仅举几例；还在各个应用领域进行了研究，包括计算机视觉，语音识别，自然语言处理，医学成像和强化学习。在本文中，首次提供了DG中的全面文献综述，以总结过去十年来的发展。具体而言，我们首先通过正式定义DG并将其与其他相关领域（如域适应和转移学习）联系起来来涵盖背景。然后，我们对现有方法和理论进行了彻底的审查。最后，我们通过有关未来研究方向的见解和讨论来总结这项调查。

在本文中，我们提出了一个新的领域概括（DG）框架，基于与看不见领域的风险的新上限。尤其是，我们的框架建议共同最大程度地减少可见域之间的协变量转移以及概念转移，从而在看不见的域上表现更好。虽然可以通过协变量和概念对准模块的任意组合来实施所提出的方法，但在这项工作中，我们使用良好的方法来分配一致性，即最大平均差异（MMD）和协方差比对（珊瑚）和使用，并使用不变的风险最小化（IRM）基于概念对齐的方法。我们的数值结果表明，所提出的方法在几个数据集上的域概括性要比最先进的方法执行或更好。

本文重点研究\文本颜色的问题{黑} {半监督}域适配用于时间序列预测，这是一个很容易被忽视的，但具有挑战性的问题是由于可变的和复杂的条件的依赖关系。事实上，这些特定领域的条件依赖主要领导的数据偏移量，时间滞后，并且变体数据的分布。为了解决这个问题，我们分析了变条件依赖于时间序列数据，并认为因果结构是不同的域之间的稳定，并进一步提高了因果条件转变的假设。通过这一假设的启发，我们考虑的时间序列数据的因果生成过程，并制定一个终端到终端的型号为转移的时间序列预测。该方法不仅可以发现跨域\ textit {Granger因果}也解决了跨域的时间序列预测问题。它甚至可以提供预测结果在一定程度上的解释性。我们进一步分析理论所提出的方法，其中在目标域泛化的错误不仅通过在源和目标域，但也受到来自不同域的因果结构之间的相似经验的风险有界的优越性。在合成的和真实数据实验结果表明，用于转让的时间序列预测了该方法的有效性。

学习公平的代表性对于实现公平或宣传敏感信息至关重要。大多数现有的作品都依靠对抗表示学习将一些不变性注入表示形式。但是，已知对抗性学习方法受到相对不稳定的训练的痛苦，这可能会损害公平性和代表性预测之间的平衡。我们提出了一种新的方法，通过分布对比度变异自动编码器（Farconvae）学习公平表示，该方法诱导潜在空间分解为敏感和非敏感部分。我们首先构建具有不同敏感属性但具有相同标签的观测值。然后，Farconvae强制执行每个不敏感的潜在潜在，而敏感的潜在潜在的潜伏期彼此之间的距离也很远，并且还远离非敏感的潜在通过对比它们的分布。我们提供了一种由高斯和Student-T内核动机的新型对比损失，用于通过理论分析进行分配对比学习。此外，我们采用新的掉期重建损失，进一步提高分解。 Farconvae在公平性，预处理的模型偏差以及来自各种模式（包括表格，图像和文本）的领域概括任务方面表现出了卓越的性能。

典型的多源域适应性（MSDA）方法旨在将知识从一组标记的源域中学习的知识转移到一个未标记的目标域。然而，先前的工作严格假设每个源域都与目标域共享相同的类别类别，因为目标标签空间无法观察到，这几乎无法保证。在本文中，我们考虑了MSDA的更广泛的设置，即广义的多源域适应性，其中源域部分重叠，并且允许目标域包含任何源域中未呈现的新型类别。由于域的共存和类别跨源域和目标域的转移，因此这种新设置比任何现有的域适应协议都难以捉摸。为了解决这个问题，我们提出了一个变分域分解（VDD）框架，该框架通过鼓励尺寸独立性来分解每个实例的域表示和语义特征。为了识别未知类别的目标样本，我们利用在线伪标签，该标签将伪标签分配给基于置信分数的未标记目标数据。在两个基准数据集上进行的定量和定性实验证明了拟议框架的有效性。

In this paper, we tackle the problem of domain generalization: how to learn a generalized feature representation for an "unseen" target domain by taking the advantage of multiple seen source-domain data. We present a novel framework based on adversarial autoencoders to learn a generalized latent feature representation across domains for domain generalization. To be specific, we extend adversarial autoencoders by imposing the Maximum Mean Discrepancy (MMD) measure to align the distributions among different domains, and matching the aligned distribution to an arbitrary prior distribution via adversarial feature learning. In this way, the learned feature representation is supposed to be universal to the seen source domains because of the MMD regularization, and is expected to generalize well on the target domain because of the introduction of the prior distribution. We proposed an algorithm to jointly train different components of our proposed framework. Extensive experiments on various vision tasks demonstrate that our proposed framework can learn better generalized features for the unseen target domain compared with state-of-the-art domain generalization methods.

近年来，拥抱集群研究中的表演学习的深度学习技术引起了广泛的关注，产生了一个新开发的聚类范式，QZ。深度聚类（DC）。通常，DC型号大写AutoEncoders，以了解促进聚类过程的内在特征。如今，一个名为变变AualEncoder（VAE）的生成模型在DC研究中得到了广泛的认可。然而，平原VAE不足以察觉到综合潜在特征，导致细分性能恶化。本文提出了一种新的DC方法来解决这个问题。具体地，生成的逆势网络和VAE被聚结成了一种名为Fusion AutoEncoder（FAE）的新的AutoEncoder，以辨别出更多的辨别性表示，从而使下游聚类任务受益。此外，FAE通过深度剩余网络架构实施，进一步提高了表示学习能力。最后，将FAE的潜在空间转变为由深密神经网络的嵌入空间，用于彼此从彼此拉出不同的簇，并将数据点折叠在单个簇内。在几个图像数据集上进行的实验证明了所提出的DC模型对基线方法的有效性。

在几个真实的世界应用中，部署机器学习模型以使数据对分布逐渐变化的数据进行预测，导致火车和测试分布之间的漂移。这些模型通常会定期在新数据上重新培训，因此他们需要概括到未来的数据。在这种情况下，有很多关于提高时间概括的事先工作，例如，过去数据的连续运输，内核平滑时间敏感参数，最近，越来越多的时间不变的功能。但是，这些方法共享了几个限制，例如可扩展性差，培训不稳定，以及未来未标记数据的依赖性。响应上述限制，我们提出了一种简单的方法，该方法以时间敏感的参数开头，但使用梯度插值（GI）丢失来规则地规则化其时间复杂度。 GI允许决策边界沿着时间改变，并且仍然可以通过允许特定于时间的改变来防止对有限训练时间快照的过度接种。我们将我们的方法与多个实际数据集的现有基线进行比较，这表明GI一方面优于更加复杂的生成和对抗方法，另一方面更简单地梯度正则化方法。

多源域适应（MSDA）学会了预测目标域数据中的标签，在标记来自多个源域的所有数据并且来自目标域的所有数据的设置下。为了解决这个问题，大多数方法都集中在跨域中学习不变表示。但是，他们的成功严重依赖于标签分布在跨域保持不变的假设。为了减轻它，我们提出了一个新的假设，潜在的协变量移位，其中潜在内容变量的边际分布跨域变化，并且给定标签的条件分布在跨域之间保持不变。我们引入了一个潜在样式变量，以补充潜在因果图作为数据和标签生成过程的潜在内容变量。我们表明，尽管潜在样式变量由于潜在空间中的传输性能而无法识别，但在某些温和条件下，可以将潜在内容变量识别为简单缩放。这激发了我们为MSDA提出一种新颖的方法，该方法在潜在内容变量上学习了不变标签的分布，而不是学习不变表示。与基于不变表示的许多最新方法相比，对模拟和真实数据的经验评估证明了该方法的有效性。

机器学习模型的基本挑战是由于杂散的相关性部分地推广到分销（OOD）数据。为了解决这一挑战，我们首先将“ood泛化问题”正式形式化为受限制的优化，称为解剖学限制域泛化（DDG）。我们以有限维参数化和经验逼近的方式将该非普通约束优化放宽到贸易形式。然后，提供了对上述变换偏离原始问题的程度的理论分析。基于转型，我们提出了一种用于联合表示解剖和域泛化的原始双向算法。与基于领域对抗性培训和域标签的传统方法形成鲜明对比，DDG共同学习解剖学的语义和变化编码器，使灵活的操纵和增强训练数据。 DDG旨在学习语义概念的内在表示，这些概念不变于滋扰因素，并遍布不同的域。对流行基准的综合实验表明，DDG可以实现竞争性的ood性能，并在数据中揭示可解释的突出结构。

分销转移（DS）是一个常见的问题，可恶化学习机器的性能。为了克服这个问题，我们假设现实世界的分布是由基本分布组成的，这些分布在不同域之间保持不变。我们将其称为不变的基本分布（即）假设。因此，这种不变性使知识转移到看不见的域。为了利用该假设在域概括（DG）中，我们开发了一个由门域单位（GDU）组成的模块化神经网络层。每个GDU都学会了单个基本领域的嵌入，使我们能够在训练过程中编码域相似性。在推断期间，GDU在观察和每个相应的基本分布之间进行了计算相似性，然后将其用于形成学习机的加权集合。由于我们的层是经过反向传播的训练，因此可以轻松地集成到现有的深度学习框架中。我们对Digits5，ECG，CamelyOn17，IwildCam和FMOW的评估显示出对训练的目标域的性能有显着改善，而无需从目标域访问数据。这一发现支持了即现实世界数据分布中的假设。

Machine learning models rely on various assumptions to attain high accuracy. One of the preliminary assumptions of these models is the independent and identical distribution, which suggests that the train and test data are sampled from the same distribution. However, this assumption seldom holds in the real world due to distribution shifts. As a result models that rely on this assumption exhibit poor generalization capabilities. Over the recent years, dedicated efforts have been made to improve the generalization capabilities of these models collectively known as -- \textit{domain generalization methods}. The primary idea behind these methods is to identify stable features or mechanisms that remain invariant across the different distributions. Many generalization approaches employ causal theories to describe invariance since causality and invariance are inextricably intertwined. However, current surveys deal with the causality-aware domain generalization methods on a very high-level. Furthermore, we argue that it is possible to categorize the methods based on how causality is leveraged in that method and in which part of the model pipeline is it used. To this end, we categorize the causal domain generalization methods into three categories, namely, (i) Invariance via Causal Data Augmentation methods which are applied during the data pre-processing stage, (ii) Invariance via Causal representation learning methods that are utilized during the representation learning stage, and (iii) Invariance via Transferring Causal mechanisms methods that are applied during the classification stage of the pipeline. Furthermore, this survey includes in-depth insights into benchmark datasets and code repositories for domain generalization methods. We conclude the survey with insights and discussions on future directions.

我们关注模型概括中最坏的情况，因为一个模型旨在在许多看不见的域上表现良好，而只有一个单个域可供训练。我们提出基于元学习的对抗领域的增强，以解决此范围泛化问题。关键思想是利用对抗性训练来创建“虚构的”但“具有挑战性”的人群，模型可以从中学会通过理论保证进行概括。为了促进快速和理想的域增强，我们将模型训练施加在元学习方案中，并使用Wasserstein自动编码器放宽广泛使用的最坏情况的约束。我们通过整合有效域概括的不确定性定量来进一步改善我们的方法。在多个基准数据集上进行的广泛实验表明其在解决单个领域概括方面的出色性能。

传统的监督学习方法，尤其是深的学习方法，发现对分发超出（OOD）示例敏感，主要是因为所学习的表示与由于其域特异性相关性的变异因子混合了语义因素，而只有语义因子导致输出。为了解决这个问题，我们提出了一种基于因果推理的因果语义生成模型（CSG），以便分别建模两个因素，以及从单个训练域中的oo ood预测的制定方法，这是常见和挑战的。该方法基于因果不变原理，在变形贝斯中具有新颖的设计，用于高效学习和易于预测。从理论上讲，我们证明，在某些条件下，CSG可以通过拟合训练数据来识别语义因素，并且这种语义识别保证了泛化概率的界限和适应的成功。实证研究表明，改善了卓越的基线表现。