通过推断培训数据中的潜在群体，最近的作品将不可用的注释不可用的情况引入不变性学习。通常，在大多数/少数族裔分裂下学习群体不变性在经验上被证明可以有效地改善许多数据集的分布泛化。但是，缺乏这些关于学习不变机制的理论保证。在本文中，我们揭示了在防止分类器依赖于培训集中的虚假相关性的情况下，现有小组不变学习方法的不足。具体来说，我们提出了两个关于判断这种充分性的标准。从理论和经验上讲，我们表明现有方法可以违反标准，因此未能推广出虚假的相关性转移。在此激励的情况下，我们设计了一种新的组不变学习方法，该方法构建具有统计独立性测试的组，并按组标签重新启动样本，以满足标准。关于合成数据和真实数据的实验表明，新方法在推广到虚假相关性转移方面显着优于现有的组不变学习方法。

Learning models that gracefully handle distribution shifts is central to research on domain generalization, robust optimization, and fairness. A promising formulation is domain-invariant learning, which identifies the key issue of learning which features are domain-specific versus domaininvariant. An important assumption in this area is that the training examples are partitioned into "domains" or "environments". Our focus is on the more common setting where such partitions are not provided. We propose EIIL, a general framework for domain-invariant learning that incorporates Environment Inference to directly infer partitions that are maximally informative for downstream Invariant Learning. We show that EIIL outperforms invariant learning methods on the CMNIST benchmark without using environment labels, and significantly outperforms ERM on worst-group performance in the Waterbirds and CivilComments datasets. Finally, we establish connections between EIIL and algorithmic fairness, which enables EIIL to improve accuracy and calibration in a fair prediction problem.

域泛化（DG）的主要挑战是克服多个训练域和看不见的测试域之间的潜在分布偏移。一类流行的DG算法旨在学习在训练域中具有不变因果关系的表示。但是，某些特征，称为\ emph {伪不变特征}，可能是培训域中的不变性，但不是测试域，并且可以大大降低现有算法的性能。为了解决这个问题，我们提出了一种新颖的算法，称为不变信息瓶颈（IIB），该算法学习跨越训练和测试域的最小值的最小值。通过最大限度地减少表示和输入之间的相互信息，IIB可以减轻其对伪不变特征的依赖，这对于DG是期望的。为了验证IIB原则的有效性，我们对大型DG基准进行了广泛的实验。结果表明，在两个评估度量标准中，IIB的IIIb平均超过2.8 \％和3.8 \％的准确性。

域名（ood）概括是机器学习模型的重大挑战。已经提出了许多技术来克服这一挑战，通常专注于具有某些不变性属性的学习模型。在这项工作中，我们绘制了ood性能和模型校准之间的链接，争论跨多个域的校准可以被视为一个特殊的表达，导致更好的EOD泛化。具体而言，我们表明，在某些条件下，实现\ EMPH {多域校准}的模型可被证明无杂散相关性。这导致我们提出多域校准作为分类器的性能的可测量和可训练的代理。因此，我们介绍了易于申请的方法，并允许从业者通过训练或修改现有模型来改善多域校准，从而更好地在看不见的域上的性能。使用最近提出的野外的四个数据集以及彩色的MNIST数据集，我们证明了训练或调整模型，以便在多个域中校准它们导致在看不见的测试域中显着提高性能。我们认为，校准和革建化之间的这种有趣联系是从一个实际和理论的观点出发的。

当环境标签未知时，我们研究不变学习的问题。当贝叶斯最佳条件标签分布在不同环境中相同时，我们将重点放在不变的表示概念上。先前的工作通过最大化不变风险最小化（IRM）框架的罚款来进行环境推理（EI）。 EI步骤使用的参考模型侧重于虚假相关性，以有效地达到良好的环境分区。但是，尚不清楚如何找到这样的参考模型。在这项工作中，我们建议重复EI过程，并在先前的EI步骤推断出的\ textit {多数}环境上重复ERM模型。在温和的假设下，我们发现这种迭代过程有助于学习比单一步骤更好地捕获虚假相关性的表示。这会导致更好的环境推理和更好的不变学习。我们表明，该方法在合成数据集和现实世界数据集上的表现优于基准。

从多个域收集的现实世界数据可以在多个属性上具有多个不同的分布变化。但是，域概括（DG）算法的最新进展仅关注对单个属性的特定变化。我们介绍了具有多属性分布变化的数据集，并发现现有的DG算法无法概括。为了解释这一点，我们使用因果图来根据虚假属性与分类标签之间的关系来表征不同类型的变化。每个多属性因果图都需要对观察到的变量进行不同的约束，因此，基于单个固定独立性约束的任何算法都不能在所有变化中正常工作。我们提出了因果自适应约束最小化（CACM），这是一种用于识别正则化的正确独立性约束的新算法。完全合成，MNIST和小型NORB数据集的结果，涵盖了二进制和多价值属性和标签，确认我们的理论主张：正确的独立性约束导致未见域的最高准确性，而不正确的约束则无法做到这一点。我们的结果表明，建模数据生成过程中固有的因果关系的重要性：在许多情况下，如果没有此信息，就不可能知道正确的正规化约束。

尽管机器学习模型迅速推进了各种现实世界任务的最先进，但鉴于这些模型对虚假相关性的脆弱性，跨域（OOD）的概括仍然是一个挑战性的问题。尽管当前的域概括方法通常着重于通过新的损耗函数设计在不同域上实施某些不变性属性，但我们提出了一种平衡的迷你批次采样策略，以减少观察到的训练分布中域特异性的虚假相关性。更具体地说，我们提出了一种两步方法，该方法1）识别虚假相关性的来源，以及2）通过在确定的来源上匹配，构建平衡的迷你批次而没有虚假相关性。我们提供了伪造来源的可识别性保证，并表明我们提出的方法是从所有培训环境中平衡，无虚拟分布的样本。实验是在三个具有伪造相关性的计算机视觉数据集上进行的，从经验上证明，与随机的迷你批次采样策略相比，我们平衡的微型批次采样策略可改善四个不同建立的域泛化模型基线的性能。

We propose a Target Conditioned Representation Independence (TCRI) objective for domain generalization. TCRI addresses the limitations of existing domain generalization methods due to incomplete constraints. Specifically, TCRI implements regularizers motivated by conditional independence constraints that are sufficient to strictly learn complete sets of invariant mechanisms, which we show are necessary and sufficient for domain generalization. Empirically, we show that TCRI is effective on both synthetic and real-world data. TCRI is competitive with baselines in average accuracy while outperforming them in worst-domain accuracy, indicating desired cross-domain stability.

最近的学习不变（因果）特征（OOD）概括最近引起了广泛的关注，在建议中不变风险最小化（IRM）（Arjovsky等，2019）是一个显着的解决方案。尽管其对线性回归的理论希望，但在线性分类问题中使用IRM的挑战仍然存在（Rosenfeld等，2020； Nagarajan等，2021）。沿着这一行，最近的一项研究（Arjovsky等人，2019年）迈出了第一步，并提出了基于信息瓶颈的不变风险最小化的学习原理（IB-imm）。在本文中，我们首先表明（Arjovsky等人，2019年）使用不变特征的支持重叠的关键假设对于保证OOD泛化是相当强大的，并且在没有这种假设的情况下仍然可以实现最佳解决方案。为了进一步回答IB-IRM是否足以在线性分类问题中学习不变特征的问题，我们表明IB-IRM在两种情况下仍将失败，无论是否不变功能捕获有关标签的所有信息。为了解决此类失败，我们提出了一个\ textit {基于反事实的信息瓶颈（CSIB）}学习算法，该算法可恢复不变的功能。即使从单个环境访问数据时，提出的算法也可以工作，并且在理论上对二进制和多类问题都具有一致的结果。我们对三个合成数据集进行了经验实验，以验证我们提出的方法的功效。

通过利用仅偏置模型的输出来调整学习目标，可以有效地显示了基于组合的脱叠方法。在本文中，我们专注于这些基于集合的方法的偏见模型，这起到了重要作用，但在现有文献中没有大量关注。从理论上讲，我们证明了脱结性能可能因偏见模型的不准确性估计而受损。凭经验，我们表明现有的偏见模型在产生准确的不确定性估计方面不足。这些发现的动机，我们建议在唯一的模型上进行校准，从而实现基于三阶段的脱叠框架，包括偏置建模，模型校准和脱叠。 NLI的实验结果和事实验证任务表明，我们提出的三阶段脱叠框架始终如一地优于传统的两级，以分配的准确性。

Distributional shift is one of the major obstacles when transferring machine learning prediction systems from the lab to the real world. To tackle this problem, we assume that variation across training domains is representative of the variation we might encounter at test time, but also that shifts at test time may be more extreme in magnitude. In particular, we show that reducing differences in risk across training domains can reduce a model's sensitivity to a wide range of extreme distributional shifts, including the challenging setting where the input contains both causal and anticausal elements. We motivate this approach, Risk Extrapolation (REx), as a form of robust optimization over a perturbation set of extrapolated domains (MM-REx), and propose a penalty on the variance of training risks (V-REx) as a simpler variant. We prove that variants of REx can recover the causal mechanisms of the targets, while also providing some robustness to changes in the input distribution ("covariate shift"). By tradingoff robustness to causally induced distributional shifts and covariate shift, REx is able to outperform alternative methods such as Invariant Risk Minimization in situations where these types of shift co-occur.

域的概括（DG）通过利用来自多个相关分布或域的标记培训数据在看不见的测试分布上表现良好的预测因子。为了实现这一目标，标准公式优化了所有可能域的最差性能。但是，由于最糟糕的转变在实践中的转变极不可能，这通常会导致过度保守的解决方案。实际上，最近的一项研究发现，没有DG算法在平均性能方面优于经验风险最小化。在这项工作中，我们认为DG既不是最坏的问题，也不是一个普通的问题，而是概率问题。为此，我们为DG提出了一个概率框架，我们称之为可能的域概括，其中我们的关键想法是在训练期间看到的分配变化应在测试时告诉我们可能的变化。为了实现这一目标，我们将培训和测试域明确关联为从同一基础元分布中获取的，并提出了一个新的优化问题 - 分数风险最小化（QRM） - 要求该预测因子以很高的概率概括。然后，我们证明了QRM：（i）产生的预测因子，这些预测因素将具有所需概率的新域（给定足够多的域和样本）； （ii）随着概括的所需概率接近一个，恢复因果预测因子。在我们的实验中，我们引入了针对DG的更全面的以分位数评估协议，并表明我们的算法在真实和合成数据上的最先进基准都优于最先进的基准。

最近，提出了不变的风险最小化（IRM）作为解决分布外（OOD）概括的有前途的解决方案。但是，目前尚不清楚何时应优先于广泛的经验风险最小化（ERM）框架。在这项工作中，我们从样本复杂性的角度分析了这两个框架，从而迈出了一个坚定的一步，以回答这个重要问题。我们发现，根据数据生成机制的类型，这两种方法可能具有有限样本和渐近行为。例如，在协变量偏移设置中，我们看到两种方法不仅达到了相同的渐近解决方案，而且具有相似的有限样本行为，没有明显的赢家。但是，对于其他分布变化，例如涉及混杂因素或反毒物变量的变化，两种方法到达不同的渐近解决方案，在这些方法中，保证IRM可以接近有限样品状态中所需的OOD溶液，而ERM甚至偶然地偏向于渐近。我们进一步研究了不同因素（环境的数量，模型的复杂性和IRM惩罚权重）如何影响IRM的样本复杂性与其距离OOD溶液的距离有关

尽管最近在欧几里得数据（例如图像）上使用不变性原理（OOD）概括（例如图像），但有关图数据的研究仍然受到限制。与图像不同，图形的复杂性质给采用不变性原理带来了独特的挑战。特别是，图表上的分布变化可以以多种形式出现，例如属性和结构，因此很难识别不变性。此外，在欧几里得数据上通常需要的域或环境分区通常需要的图形可能非常昂贵。为了弥合这一差距，我们提出了一个新的框架，以捕获图形的不变性，以在各种分配变化下进行保证的OOD概括。具体而言，我们表征了具有因果模型的图形上的潜在分布变化，得出结论，当模型仅关注包含有关标签原因最多信息的子图时，可以实现图形上的OOD概括。因此，我们提出了一个信息理论目标，以提取最大地保留不变的阶级信息的所需子图。用这些子图学习不受分配变化的影响。对合成和现实世界数据集进行的广泛实验，包括在AI ADED药物发现中充满挑战的环境，验证了我们方法的上等OOD概括能力。

尽管无偏见的机器学习模型对于许多应用程序至关重要，但偏见是一个人为定义的概念，可以在任务中有所不同。只有输入标签对，算法可能缺乏足够的信息来区分稳定（因果）特征和不稳定（虚假）特征。但是，相关任务通常具有类似的偏见 - 我们可以利用在转移环境中开发稳定的分类器的观察结果。在这项工作中，我们明确通知目标分类器有关源任务中不稳定功能的信息。具体而言，我们得出一个表示，该表示通过对比源任务中的不同数据环境来编码不稳定的功能。我们通过根据此表示形式将目标任务的数据聚类来实现鲁棒性，并最大程度地降低这些集群中最坏情况的风险。我们对文本和图像分类进行评估。经验结果表明，我们的算法能够在合成生成的环境和现实环境的目标任务上保持鲁棒性。我们的代码可在https://github.com/yujiabao/tofu上找到。

最近，对分布（OOD）数据具有相关性转移的概括引起了极大的关注。相关转移是由与类标签相关的虚假属性引起的，因为它们之间的相关性可能在训练和测试数据中有所不同。对于这样一个问题，我们表明，鉴于类标签，有条件独立的虚假属性模型是可推广的。基于此，提出了控制OOD泛化误差的度量条件伪变异（CSV），以衡量这种条件独立性。为了改善OOD的概括，我们将培训过程正常使用拟议的CSV。在温和的假设下，我们的训练目标可以作为非Convex-Concave Mini-Max问题提出。提出了具有可证明的收敛速率的算法来解决该问题。广泛的经验结果验证了我们算法在改善OOD概括方面的功效。

分销（OOD）泛化问题的目标是培训推广所有环境的预测因子。此字段中的流行方法使用这样的假设，即这种预测器应为\ Texit {不变预测器}，该{不变预测仪}捕获跨环境仍然不变的机制。虽然这些方法在各种案例研究中进行了实验成功，但仍然有很多关于这一假设的理论验证的空间。本文介绍了一系列不变预测因素所必需的一系列理论条件，以实现ood最优性。我们的理论不仅适用于非线性案例，还概括了\ CiteT {Rojas2018Invariant}中使用的必要条件。我们还从我们的理论中得出渐变对齐算法，并展示了\ Citet {Aubinlinear}提出的三个\ Texit {不变性单元测试}中的两种竞争力。

向外配送（OOD）数据的概括是现代机器学习中的核心问题之一。最近，试图提出主要建立在提取不变特征的想法上的算法。虽然直观地合理，但理论上了解如何保证ood泛化仍然有限，并且任意分配的概括显然是不可能的。在这项工作中，我们将第一步迈向严格和定量定义1）什么是ood; 2）通过说ood问题是学习的，这是什么意思。我们还介绍了扩展功能的新概念，其特征在于训练域的测试域中的方差在多大程度上放大，因此提供了不变特征的定量含义。基于这些，我们证明了ood泛化误差界限。事实证明，OOD泛化在很大程度上取决于扩展功能。正如Gulrajani和Lopez-PAZ（2020）所指出的那样，任何没有模型选择模块的学习算法都是不完整的。我们的理论自然地诱导了模型选择标准。基准OOD数据集的广泛实验表明，我们的模型选择标准在基线上具有显着的优势。

域的概括（DG）旨在学习分配变化的可推广模型，以避免重新拟合大规模训练数据。以前具有复杂损失设计和梯度约束的作品尚未在大规模基准上取得经验成功。在这项工作中，我们通过利用跨域跨域的预测特征的多个方面来揭示Experts（MOE）模型对DG的概括性的混合物。为此，我们提出了稀疏的融合混合物（SF-MOE），该混合物将稀疏性和融合机制纳入MOE框架中，以使模型保持稀疏和预测性。 SF-MOE有两个专用模块：1）稀疏块和2）融合块，它们分别分别分离和汇总对象的多样化信号。广泛的实验表明，SF-MOE是大规模基准的域名学习者。在5个大规模的DG数据集（例如域内）中，它的表现优于最佳同行，其计算成本相同甚至较低。我们从分布式表示的角度（例如，视觉属性）进一步揭示了SF-MOE的内部机制。我们希望这个框架可以促进未来的研究，将可普遍的对象识别推向现实世界。代码和模型在https://github.com/luodian/sf-moe-dg上发布。

基于不变性的方法，例如不变风险最小化（IRM），最近已成为有前途的域泛化方法（DG）。尽管有希望的理论，但由于真正不变特征和虚假不变特征的混合，这种方法在共同的分类任务中失败。为了解决这个问题，我们提出了一个基于条件熵最小化（CEM）原理的框架，以滤除带有具有更好概括能力的新算法的虚假不变特征。我们表明，我们提出的方法与众所周知的信息瓶颈（IB）框架密切相关，并证明在某些假设下，熵最小化可以准确恢复真正的不变特征。与最近在几个DG数据集中的最新原理替代方案相比，我们的方法提供了竞争性的分类精度。