在易于优化和强大的分布（OOD）概括之间通常存在困境。例如，许多OOD方法依赖于优化具有挑战性的罚款术语。他们要么太强大，无法可靠地优化，要么太虚弱而无法实现目标。我们建议用丰富的表示，其中包含一个潜在有用功能的调色板初始化网络，即使是简单的模型也可以使用。一方面，丰富的表示为优化器提供了良好的初始化。另一方面，它还提供了有助于OOD概括的电感偏差。这种表示形式是由丰富的功能构建（RFC）算法（也称为盆景算法）构建的，该算法由一系列培训情节组成。在发现剧集中，我们以防止网络使用以前迭代中构建的功能的方式制作了多目标优化标准及其相关数据集。在合成事件中，我们使用知识蒸馏来迫使网络同时代表所有先前发现的特征。用盆景表示的网络初始化，始终有助于六种OOD方法在ColoredMnist基准上实现最佳性能。相同的技术在Wilds Camelyon17任务上大大优于可比较的结果，消除了困扰其他方法的高结果差异，并使超参数调谐和模型选择更加可靠。

Does the dominant approach to learn representations (as a side effect of optimizing an expected cost for a single training distribution) remain a good approach when we are dealing with multiple distributions. Our thesis is that such scenarios are better served by representations that are "richer" than those obtained with a single optimization episode. This is supported by a collection of empirical results obtained with an apparently na\"ive ensembling technique: concatenating the representations obtained with multiple training episodes using the same data, model, algorithm, and hyper-parameters, but different random seeds. These independently trained networks perform similarly. Yet, in a number of scenarios involving new distributions, the concatenated representation performs substantially better than an equivalently sized network trained from scratch. This proves that the representations constructed by multiple training episodes are in fact different. Although their concatenation carries little additional information about the training task under the training distribution, it becomes substantially more informative when tasks or distributions change. Meanwhile, a single training episode is unlikely to yield such a redundant representation because the optimization process has no reason to accumulate features that do not incrementally improve the training performance.

最近证明，接受SGD训练的神经网络优先依赖线性预测的特征，并且可以忽略复杂的，同样可预测的功能。这种简单性偏见可以解释他们缺乏分布（OOD）的鲁棒性。学习任务越复杂，统计工件（即选择偏见，虚假相关性）的可能性就越大比学习的机制更简单。我们证明可以减轻简单性偏差并改善了OOD的概括。我们使用对其输入梯度对齐的惩罚来训练一组类似的模型以不同的方式拟合数据。我们从理论和经验上展示了这会导致学习更复杂的预测模式的学习。 OOD的概括从根本上需要超出I.I.D.示例，例如多个培训环境，反事实示例或其他侧面信息。我们的方法表明，我们可以将此要求推迟到独立的模型选择阶段。我们获得了SOTA的结果，可以在视觉域偏置数据和概括方面进行视觉识别。该方法 - 第一个逃避简单性偏见的方法 - 突出了需要更好地理解和控制深度学习中的归纳偏见。

Distributional shift is one of the major obstacles when transferring machine learning prediction systems from the lab to the real world. To tackle this problem, we assume that variation across training domains is representative of the variation we might encounter at test time, but also that shifts at test time may be more extreme in magnitude. In particular, we show that reducing differences in risk across training domains can reduce a model's sensitivity to a wide range of extreme distributional shifts, including the challenging setting where the input contains both causal and anticausal elements. We motivate this approach, Risk Extrapolation (REx), as a form of robust optimization over a perturbation set of extrapolated domains (MM-REx), and propose a penalty on the variance of training risks (V-REx) as a simpler variant. We prove that variants of REx can recover the causal mechanisms of the targets, while also providing some robustness to changes in the input distribution ("covariate shift"). By tradingoff robustness to causally induced distributional shifts and covariate shift, REx is able to outperform alternative methods such as Invariant Risk Minimization in situations where these types of shift co-occur.

Models trained via empirical risk minimization (ERM) are known to rely on spurious correlations between labels and task-independent input features, resulting in poor generalization to distributional shifts. Group distributionally robust optimization (G-DRO) can alleviate this problem by minimizing the worst-case loss over a set of pre-defined groups over training data. G-DRO successfully improves performance of the worst-group, where the correlation does not hold. However, G-DRO assumes that the spurious correlations and associated worst groups are known in advance, making it challenging to apply it to new tasks with potentially multiple unknown spurious correlations. We propose AGRO -- Adversarial Group discovery for Distributionally Robust Optimization -- an end-to-end approach that jointly identifies error-prone groups and improves accuracy on them. AGRO equips G-DRO with an adversarial slicing model to find a group assignment for training examples which maximizes worst-case loss over the discovered groups. On the WILDS benchmark, AGRO results in 8% higher model performance on average on known worst-groups, compared to prior group discovery approaches used with G-DRO. AGRO also improves out-of-distribution performance on SST2, QQP, and MS-COCO -- datasets where potential spurious correlations are as yet uncharacterized. Human evaluation of ARGO groups shows that they contain well-defined, yet previously unstudied spurious correlations that lead to model errors.

我们识别并形式化基本梯度下降现象，导致过度参数化神经网络中的学习倾向。尽管存在对任务相关的特征的子集最小化跨熵损失最小化梯度饥饿，尽管存在是否存在无法被发现的其他预测功能。这项工作为神经网络中这种特征不平衡的出现提供了理论解释。使用来自动态系统理论的工具，我们在梯度下降期间确定了学习动态的简单属性，从而导致这种不平衡，并证明可以预期这种情况在训练数据中提供某些统计结构。根据我们拟议的形式主义，我们为旨在解耦特征学习动态的新型正则化方法，提高患者渐变饥饿阻碍的准确性和鲁棒性的担保。我们用简单和真实的分配（OOD）泛化实验说明了我们的研究结果。

Learning models that gracefully handle distribution shifts is central to research on domain generalization, robust optimization, and fairness. A promising formulation is domain-invariant learning, which identifies the key issue of learning which features are domain-specific versus domaininvariant. An important assumption in this area is that the training examples are partitioned into "domains" or "environments". Our focus is on the more common setting where such partitions are not provided. We propose EIIL, a general framework for domain-invariant learning that incorporates Environment Inference to directly infer partitions that are maximally informative for downstream Invariant Learning. We show that EIIL outperforms invariant learning methods on the CMNIST benchmark without using environment labels, and significantly outperforms ERM on worst-group performance in the Waterbirds and CivilComments datasets. Finally, we establish connections between EIIL and algorithmic fairness, which enables EIIL to improve accuracy and calibration in a fair prediction problem.

研究兴趣大大增加了将数据驱动方法应用于力学问题的问题。尽管传统的机器学习（ML）方法已经实现了许多突破，但它们依赖于以下假设：培训（观察到的）数据和测试（看不见）数据是独立的且分布相同的（i.i.d）。因此，当应用于未知的测试环境和数据分布转移的现实世界力学问题时，传统的ML方法通常会崩溃。相反，分布（OOD）的概括假定测试数据可能会发生变化（即违反I.I.D.假设）。迄今为止，已经提出了多种方法来改善ML方法的OOD概括。但是，由于缺乏针对OOD回归问题的基准数据集，因此这些OOD方法在主导力学领域的回归问题上的效率仍然未知。为了解决这个问题，我们研究了机械回归问题的OOD泛化方法的性能。具体而言，我们确定了三个OOD问题：协变量移位，机制移位和采样偏差。对于每个问题，我们创建了两个基准示例，以扩展机械MNIST数据集收集，并研究了流行的OOD泛化方法在这些机械特定的回归问题上的性能。我们的数值实验表明，在大多数情况下，与传统的ML方法相比，在大多数情况下，在这些OOD问题上的传统ML方法的性能更好，但迫切需要开发更强大的OOD概括方法，这些方法在多个OOD场景中有效。总体而言，我们希望这项研究以及相关的开放访问基准数据集将进一步开发用于机械特定回归问题的OOD泛化方法。

几项研究在经验上比较了各种模型的分布（ID）和分布（OOD）性能。他们报告了计算机视觉和NLP中基准的频繁正相关。令人惊讶的是，他们从未观察到反相关性表明必要的权衡。这重要的是确定ID性能是否可以作为OOD概括的代理。这篇简短的论文表明，ID和OOD性能之间的逆相关性确实在现实基准中发生。由于模型的选择有偏见，因此在过去的研究中可能被错过。我们使用来自多个训练时期和随机种子的模型展示了Wilds-Amelyon17数据集上模式的示例。我们的观察结果尤其引人注目，对经过正规化器训练的模型，将解决方案多样化为ERM目标。我们在过去的研究中得出了细微的建议和结论。 （1）高OOD性能有时确实需要交易ID性能。 （2）仅专注于ID性能可能不会导致最佳OOD性能：它可能导致OOD性能的减少并最终带来负面回报。 （3）我们的示例提醒人们，实证研究仅按照现有方法来制定制度：在提出规定的建议时有必要进行护理。

尽管不变风险最小化（IRM）成功解决了分布式概括问题，但在实践中应用时，IRM仍可以损害最佳性。 IRM的实用变体，例如IRMV1，已被证明与IRM存在显着差距，因此即使在简单的问题中也可能无法捕获不变性。此外，IRMV1中的优化过程涉及两个内在冲突的目标，并且通常需要对客观权重进行仔细的调整。为了纠正上述问题，我们将IRM重新制定为多目标优化问题，并为IRM提出了一种新的优化方案，称为Pareto不变风险最小化（Pair）。对可以在客观冲突下适应优化指导。此外，我们表明对可以赋予实用的IRM变体能够在提供适当的指导时用原始IRM克服障碍。我们对ColoredMnist进行实验，以确认我们的理论和对的有效性。

域泛化算法使用来自多个域的培训数据来学习概括到未经识别域的模型。虽然最近提出的基准证明大多数现有算法不优于简单的基线，但建立的评估方法未能暴露各种因素的影响，这有助于性能不佳。在本文中，我们提出了一个域泛化算法的评估框架，其允许将误差分解成组件捕获概念的不同方面。通过基于域不变表示学习的思想的算法的普遍性的启发，我们扩展了评估框架，以捕获在实现不变性时捕获各种类型的失败。我们表明，泛化误差的最大贡献者跨越方法，数据集，正则化强度甚至培训长度各不相同。我们遵守与学习域不变表示的策略相关的两个问题。在彩色的MNIST上，大多数域泛化算法失败，因为它们仅在训练域上达到域名不变性。在Camelyon-17上，域名不变性会降低看不见域的表示质量。我们假设专注于在丰富的代表之上调整分类器可以是有希望的方向。

域名（ood）概括是机器学习模型的重大挑战。已经提出了许多技术来克服这一挑战，通常专注于具有某些不变性属性的学习模型。在这项工作中，我们绘制了ood性能和模型校准之间的链接，争论跨多个域的校准可以被视为一个特殊的表达，导致更好的EOD泛化。具体而言，我们表明，在某些条件下，实现\ EMPH {多域校准}的模型可被证明无杂散相关性。这导致我们提出多域校准作为分类器的性能的可测量和可训练的代理。因此，我们介绍了易于申请的方法，并允许从业者通过训练或修改现有模型来改善多域校准，从而更好地在看不见的域上的性能。使用最近提出的野外的四个数据集以及彩色的MNIST数据集，我们证明了训练或调整模型，以便在多个域中校准它们导致在看不见的测试域中显着提高性能。我们认为，校准和革建化之间的这种有趣联系是从一个实际和理论的观点出发的。

域泛化（DG）方法旨在开发概括到测试分布与训练数据不同的设置的模型。在本文中，我们专注于多源零拍DG的挑战性问题，其中来自多个源域的标记训练数据可用，但无法从目标域中访问数据。虽然这个问题已成为研究的重要话题，但令人惊讶的是，将所有源数据汇集在一起​​和培训单个分类器的简单解决方案在标准基准中具有竞争力。更重要的是，即使在不同域中明确地优化不变性的复杂方法也不一定提供对ERM的非微不足道的增益。在本文中，我们首次研究了预先指定的域标签和泛化性能之间的重要链接。使用动机案例研究和分布稳健优化算法的新变种，我们首先演示了如何推断的自定义域组可以通过数据集的原始域标签来实现一致的改进。随后，我们介绍了一种用于多域泛化，Muldens的一般方法，它使用基于ERM的深度合并骨干，并通过元优化算法执行隐式域重标。使用对多个标准基准测试的经验研究，我们表明Muldens不需要定制增强策略或特定于数据集的培训过程，始终如一地优于ERM，通过显着的边距，即使在比较时也会产生最先进的泛化性能对于利用域标签的现有方法。

尽管机器学习模型迅速推进了各种现实世界任务的最先进，但鉴于这些模型对虚假相关性的脆弱性，跨域（OOD）的概括仍然是一个挑战性的问题。尽管当前的域概括方法通常着重于通过新的损耗函数设计在不同域上实施某些不变性属性，但我们提出了一种平衡的迷你批次采样策略，以减少观察到的训练分布中域特异性的虚假相关性。更具体地说，我们提出了一种两步方法，该方法1）识别虚假相关性的来源，以及2）通过在确定的来源上匹配，构建平衡的迷你批次而没有虚假相关性。我们提供了伪造来源的可识别性保证，并表明我们提出的方法是从所有培训环境中平衡，无虚拟分布的样本。实验是在三个具有伪造相关性的计算机视觉数据集上进行的，从经验上证明，与随机的迷你批次采样策略相比，我们平衡的微型批次采样策略可改善四个不同建立的域泛化模型基线的性能。

最近的学习不变（因果）特征（OOD）概括最近引起了广泛的关注，在建议中不变风险最小化（IRM）（Arjovsky等，2019）是一个显着的解决方案。尽管其对线性回归的理论希望，但在线性分类问题中使用IRM的挑战仍然存在（Rosenfeld等，2020； Nagarajan等，2021）。沿着这一行，最近的一项研究（Arjovsky等人，2019年）迈出了第一步，并提出了基于信息瓶颈的不变风险最小化的学习原理（IB-imm）。在本文中，我们首先表明（Arjovsky等人，2019年）使用不变特征的支持重叠的关键假设对于保证OOD泛化是相当强大的，并且在没有这种假设的情况下仍然可以实现最佳解决方案。为了进一步回答IB-IRM是否足以在线性分类问题中学习不变特征的问题，我们表明IB-IRM在两种情况下仍将失败，无论是否不变功能捕获有关标签的所有信息。为了解决此类失败，我们提出了一个\ textit {基于反事实的信息瓶颈（CSIB）}学习算法，该算法可恢复不变的功能。即使从单个环境访问数据时，提出的算法也可以工作，并且在理论上对二进制和多类问题都具有一致的结果。我们对三个合成数据集进行了经验实验，以验证我们提出的方法的功效。

The ability to quickly and accurately identify covariate shift at test time is a critical and often overlooked component of safe machine learning systems deployed in high-risk domains. While methods exist for detecting when predictions should not be made on out-of-distribution test examples, identifying distributional level differences between training and test time can help determine when a model should be removed from the deployment setting and retrained. In this work, we define harmful covariate shift (HCS) as a change in distribution that may weaken the generalization of a predictive model. To detect HCS, we use the discordance between an ensemble of classifiers trained to agree on training data and disagree on test data. We derive a loss function for training this ensemble and show that the disagreement rate and entropy represent powerful discriminative statistics for HCS. Empirically, we demonstrate the ability of our method to detect harmful covariate shift with statistical certainty on a variety of high-dimensional datasets. Across numerous domains and modalities, we show state-of-the-art performance compared to existing methods, particularly when the number of observed test samples is small.

虽然神经网络在平均病例的性能方面对分类任务的成功显着，但它们通常无法在某些数据组上表现良好。这样的组信息可能是昂贵的;因此，即使在培训数据不可用的组标签不可用，较稳健性和公平的最新作品也提出了改善最差组性能的方法。然而，这些方法通常在培训时间使用集团信息的表现不佳。在这项工作中，我们假设没有组标签的较大数据集一起访问少量组标签。我们提出了一个简单的两步框架，利用这个部分组信息来提高最差组性能：训练模型以预测训练数据的丢失组标签，然后在强大的优化目标中使用这些预测的组标签。从理论上讲，我们在最差的组性能方面为我们的方法提供泛化界限，展示了泛化误差如何相对于培训点总数和具有组标签的培训点的数量。凭经验，我们的方法优于不使用群组信息的基线表达，即使只有1-33％的积分都有组标签。我们提供消融研究，以支持我们框架的稳健性和可扩展性。

许多数据集被指定：给定任务存在多个同样可行的解决方案。对于学习单个假设的方法，指定的指定可能是有问题的，因为实现低训练损失的不同功能可以集中在不同的预测特征上，从而在分布数据的数据上产生明显变化的预测。我们提出了Divdis，这是一个简单的两阶段框架，首先通过利用测试分布中的未标记数据来学习多种假设，以实现任务。然后，我们通过使用其他标签的形式或检查功能可视化的形式选择最小的其他监督来选择一个发现的假设之一来消除歧义。我们证明了Divdis找到在图像分类中使用强大特征的假设和自然语言处理问题的能力。

尽管无偏见的机器学习模型对于许多应用程序至关重要，但偏见是一个人为定义的概念，可以在任务中有所不同。只有输入标签对，算法可能缺乏足够的信息来区分稳定（因果）特征和不稳定（虚假）特征。但是，相关任务通常具有类似的偏见 - 我们可以利用在转移环境中开发稳定的分类器的观察结果。在这项工作中，我们明确通知目标分类器有关源任务中不稳定功能的信息。具体而言，我们得出一个表示，该表示通过对比源任务中的不同数据环境来编码不稳定的功能。我们通过根据此表示形式将目标任务的数据聚类来实现鲁棒性，并最大程度地降低这些集群中最坏情况的风险。我们对文本和图像分类进行评估。经验结果表明，我们的算法能够在合成生成的环境和现实环境的目标任务上保持鲁棒性。我们的代码可在https://github.com/yujiabao/tofu上找到。

分布式概括（OOD）都是关于对环境变化的学习不变性。如果每个类中的上下文分布均匀分布，则OOD将是微不足道的，因为由于基本原则，可以轻松地删除上下文：类是上下文不变的。但是，收集这种平衡的数据集是不切实际的。学习不平衡的数据使模型偏见对上下文，从而伤害了OOD。因此，OOD的关键是上下文平衡。我们认为，在先前工作中广泛采用的假设，可以直接从偏见的类预测中注释或估算上下文偏差，从而使上下文不完整甚至不正确。相比之下，我们指出了上述原则的另一面：上下文对于类也不变，这激励我们将类（已经被标记为已标记的）视为不同环境以解决上下文偏见（没有上下文标签）。我们通过最大程度地减少阶级样本相似性的对比损失，同时确保这种相似性在所有类别中不变，从而实现这一想法。在具有各种上下文偏见和域间隙的基准测试中，我们表明，配备了我们上下文估计的简单基于重新加权的分类器实现了最新的性能。我们在https://github.com/simpleshinobu/irmcon上提供了附录中的理论理由和代码。