分布式概括（OOD）都是关于对环境变化的学习不变性。如果每个类中的上下文分布均匀分布，则OOD将是微不足道的，因为由于基本原则，可以轻松地删除上下文：类是上下文不变的。但是，收集这种平衡的数据集是不切实际的。学习不平衡的数据使模型偏见对上下文，从而伤害了OOD。因此，OOD的关键是上下文平衡。我们认为，在先前工作中广泛采用的假设，可以直接从偏见的类预测中注释或估算上下文偏差，从而使上下文不完整甚至不正确。相比之下，我们指出了上述原则的另一面：上下文对于类也不变，这激励我们将类（已经被标记为已标记的）视为不同环境以解决上下文偏见（没有上下文标签）。我们通过最大程度地减少阶级样本相似性的对比损失，同时确保这种相似性在所有类别中不变，从而实现这一想法。在具有各种上下文偏见和域间隙的基准测试中，我们表明，配备了我们上下文估计的简单基于重新加权的分类器实现了最新的性能。我们在https://github.com/simpleshinobu/irmcon上提供了附录中的理论理由和代码。

我们有兴趣从数据不足的情况下学习强大的模型，而无需任何外部预训练的检查点。首先，与足够的数据相比，我们展示了为什么数据不足会使模型更容易偏向于通常不同于测试的有限培训环境。例如，如果所有训练天鹅样本都是“白色”，则该模型可能错误地使用“白色”环境来代表内在的天鹅。然后，我们证明，均衡感应偏差可以保留类功能，而不变性电感偏差可以消除环境功能，从而使类功能概括为测试中的任何环境变化。为了将它们强加于学习，我们证明可以部署任何基于现成的基于对比度的自我监督特征学习方法；对于不变性，我们提出了一个范围的不变风险最小化（IRM），该风险最小化（IRM）有效地应对常规IRM中缺少环境注释的挑战。对现实世界基准（Vipriors，Imagenet100和Nico）的最新实验结果验证了在数据效率学习中的巨大潜力和不变性的潜力。该代码可从https://github.com/wangt-cn/eqinv获得

常规的去命名方法依赖于所有样品都是独立且分布相同的假设，因此最终的分类器虽然受到噪声的干扰，但仍然可以轻松地将噪声识别为训练分布的异常值。但是，在不可避免地长尾巴的大规模数据中，该假设是不现实的。这种不平衡的训练数据使分类器对尾巴类别的歧视性较小，而尾巴类别的差异化现在变成了“硬”的噪声 - 它们几乎与干净的尾巴样品一样离群值。我们将这一新挑战介绍为嘈杂的长尾分类（NLT）。毫不奇怪，我们发现大多数拖延方法无法识别出硬噪声，从而导致三个提出的NLT基准测试的性能大幅下降：Imagenet-NLT，Animal10-NLT和Food101-NLT。为此，我们设计了一个迭代嘈杂的学习框架，称为“难以容易”（H2E）。我们的引导理念是首先学习一个分类器作为噪声标识符不变的类和上下文分布变化，从而将“硬”噪声减少到“ Easy”的噪声，其删除进一步改善了不变性。实验结果表明，我们的H2E胜过最先进的方法及其在长尾设置上的消融，同时在传统平衡设置上保持稳定的性能。数据集和代码可从https://github.com/yxymessi/h2e-framework获得

尽管机器学习模型迅速推进了各种现实世界任务的最先进，但鉴于这些模型对虚假相关性的脆弱性，跨域（OOD）的概括仍然是一个挑战性的问题。尽管当前的域概括方法通常着重于通过新的损耗函数设计在不同域上实施某些不变性属性，但我们提出了一种平衡的迷你批次采样策略，以减少观察到的训练分布中域特异性的虚假相关性。更具体地说，我们提出了一种两步方法，该方法1）识别虚假相关性的来源，以及2）通过在确定的来源上匹配，构建平衡的迷你批次而没有虚假相关性。我们提供了伪造来源的可识别性保证，并表明我们提出的方法是从所有培训环境中平衡，无虚拟分布的样本。实验是在三个具有伪造相关性的计算机视觉数据集上进行的，从经验上证明，与随机的迷你批次采样策略相比，我们平衡的微型批次采样策略可改善四个不同建立的域泛化模型基线的性能。

Machine learning models rely on various assumptions to attain high accuracy. One of the preliminary assumptions of these models is the independent and identical distribution, which suggests that the train and test data are sampled from the same distribution. However, this assumption seldom holds in the real world due to distribution shifts. As a result models that rely on this assumption exhibit poor generalization capabilities. Over the recent years, dedicated efforts have been made to improve the generalization capabilities of these models collectively known as -- \textit{domain generalization methods}. The primary idea behind these methods is to identify stable features or mechanisms that remain invariant across the different distributions. Many generalization approaches employ causal theories to describe invariance since causality and invariance are inextricably intertwined. However, current surveys deal with the causality-aware domain generalization methods on a very high-level. Furthermore, we argue that it is possible to categorize the methods based on how causality is leveraged in that method and in which part of the model pipeline is it used. To this end, we categorize the causal domain generalization methods into three categories, namely, (i) Invariance via Causal Data Augmentation methods which are applied during the data pre-processing stage, (ii) Invariance via Causal representation learning methods that are utilized during the representation learning stage, and (iii) Invariance via Transferring Causal mechanisms methods that are applied during the classification stage of the pipeline. Furthermore, this survey includes in-depth insights into benchmark datasets and code repositories for domain generalization methods. We conclude the survey with insights and discussions on future directions.

域泛化算法使用来自多个域的培训数据来学习概括到未经识别域的模型。虽然最近提出的基准证明大多数现有算法不优于简单的基线，但建立的评估方法未能暴露各种因素的影响，这有助于性能不佳。在本文中，我们提出了一个域泛化算法的评估框架，其允许将误差分解成组件捕获概念的不同方面。通过基于域不变表示学习的思想的算法的普遍性的启发，我们扩展了评估框架，以捕获在实现不变性时捕获各种类型的失败。我们表明，泛化误差的最大贡献者跨越方法，数据集，正则化强度甚至培训长度各不相同。我们遵守与学习域不变表示的策略相关的两个问题。在彩色的MNIST上，大多数域泛化算法失败，因为它们仅在训练域上达到域名不变性。在Camelyon-17上，域名不变性会降低看不见域的表示质量。我们假设专注于在丰富的代表之上调整分类器可以是有希望的方向。

尽管最近在欧几里得数据（例如图像）上使用不变性原理（OOD）概括（例如图像），但有关图数据的研究仍然受到限制。与图像不同，图形的复杂性质给采用不变性原理带来了独特的挑战。特别是，图表上的分布变化可以以多种形式出现，例如属性和结构，因此很难识别不变性。此外，在欧几里得数据上通常需要的域或环境分区通常需要的图形可能非常昂贵。为了弥合这一差距，我们提出了一个新的框架，以捕获图形的不变性，以在各种分配变化下进行保证的OOD概括。具体而言，我们表征了具有因果模型的图形上的潜在分布变化，得出结论，当模型仅关注包含有关标签原因最多信息的子图时，可以实现图形上的OOD概括。因此，我们提出了一个信息理论目标，以提取最大地保留不变的阶级信息的所需子图。用这些子图学习不受分配变化的影响。对合成和现实世界数据集进行的广泛实验，包括在AI ADED药物发现中充满挑战的环境，验证了我们方法的上等OOD概括能力。

最近证明，接受SGD训练的神经网络优先依赖线性预测的特征，并且可以忽略复杂的，同样可预测的功能。这种简单性偏见可以解释他们缺乏分布（OOD）的鲁棒性。学习任务越复杂，统计工件（即选择偏见，虚假相关性）的可能性就越大比学习的机制更简单。我们证明可以减轻简单性偏差并改善了OOD的概括。我们使用对其输入梯度对齐的惩罚来训练一组类似的模型以不同的方式拟合数据。我们从理论和经验上展示了这会导致学习更复杂的预测模式的学习。 OOD的概括从根本上需要超出I.I.D.示例，例如多个培训环境，反事实示例或其他侧面信息。我们的方法表明，我们可以将此要求推迟到独立的模型选择阶段。我们获得了SOTA的结果，可以在视觉域偏置数据和概括方面进行视觉识别。该方法 - 第一个逃避简单性偏见的方法 - 突出了需要更好地理解和控制深度学习中的归纳偏见。

尽管无偏见的机器学习模型对于许多应用程序至关重要，但偏见是一个人为定义的概念，可以在任务中有所不同。只有输入标签对，算法可能缺乏足够的信息来区分稳定（因果）特征和不稳定（虚假）特征。但是，相关任务通常具有类似的偏见 - 我们可以利用在转移环境中开发稳定的分类器的观察结果。在这项工作中，我们明确通知目标分类器有关源任务中不稳定功能的信息。具体而言，我们得出一个表示，该表示通过对比源任务中的不同数据环境来编码不稳定的功能。我们通过根据此表示形式将目标任务的数据聚类来实现鲁棒性，并最大程度地降低这些集群中最坏情况的风险。我们对文本和图像分类进行评估。经验结果表明，我们的算法能够在合成生成的环境和现实环境的目标任务上保持鲁棒性。我们的代码可在https://github.com/yujiabao/tofu上找到。

研究兴趣大大增加了将数据驱动方法应用于力学问题的问题。尽管传统的机器学习（ML）方法已经实现了许多突破，但它们依赖于以下假设：培训（观察到的）数据和测试（看不见）数据是独立的且分布相同的（i.i.d）。因此，当应用于未知的测试环境和数据分布转移的现实世界力学问题时，传统的ML方法通常会崩溃。相反，分布（OOD）的概括假定测试数据可能会发生变化（即违反I.I.D.假设）。迄今为止，已经提出了多种方法来改善ML方法的OOD概括。但是，由于缺乏针对OOD回归问题的基准数据集，因此这些OOD方法在主导力学领域的回归问题上的效率仍然未知。为了解决这个问题，我们研究了机械回归问题的OOD泛化方法的性能。具体而言，我们确定了三个OOD问题：协变量移位，机制移位和采样偏差。对于每个问题，我们创建了两个基准示例，以扩展机械MNIST数据集收集，并研究了流行的OOD泛化方法在这些机械特定的回归问题上的性能。我们的数值实验表明，在大多数情况下，与传统的ML方法相比，在大多数情况下，在这些OOD问题上的传统ML方法的性能更好，但迫切需要开发更强大的OOD概括方法，这些方法在多个OOD场景中有效。总体而言，我们希望这项研究以及相关的开放访问基准数据集将进一步开发用于机械特定回归问题的OOD泛化方法。

深度神经网络令人惊奇地遭受数据集偏见，这对模型鲁棒性，泛化和公平性有害。在这项工作中，我们提出了一个两级的脱扎方案，以防止顽固的未知偏差。通过分析有偏置模型的存在的因素，我们设计了一种小说学习目标，通过依赖单独的偏见，无法达到。具体而言，使用所提出的梯度对准（GA）实现了脱叠模型，该梯度对准（GA）动态地平衡了偏置对齐和偏见冲突的样本的贡献（在整个整个训练过程中，在整个训练过程中，强制执行模型以利用内部提示进行公平的决定。虽然在真实世界的情景中，潜在的偏差非常难以发现并对手动标记昂贵。我们进一步提出了通过对等挑选和培训集合来提出自动偏见冲突的样本挖掘方法，而无需先前了解偏见信息。各种数据中的多个数据集进行的实验表明了我们拟议计划的有效性和稳健性，该计划成功减轻了未知偏差的负面影响，实现了最先进的性能。

最近关于使用嘈杂标签的学习的研究通过利用小型干净数据集来显示出色的性能。特别是，基于模型不可知的元学习的标签校正方法进一步提高了性能，通过纠正了嘈杂的标签。但是，标签错误矫予没有保障措施，导致不可避免的性能下降。此外，每个训练步骤都需要至少三个背部传播，显着减慢训练速度。为了缓解这些问题，我们提出了一种强大而有效的方法，可以在飞行中学习标签转换矩阵。采用转换矩阵使分类器对所有校正样本持怀疑态度，这减轻了错误的错误问题。我们还介绍了一个双头架构，以便在单个反向传播中有效地估计标签转换矩阵，使得估计的矩阵紧密地遵循由标签校正引起的移位噪声分布。广泛的实验表明，我们的方法在训练效率方面表现出比现有方法相当或更好的准确性。

Distributional shift is one of the major obstacles when transferring machine learning prediction systems from the lab to the real world. To tackle this problem, we assume that variation across training domains is representative of the variation we might encounter at test time, but also that shifts at test time may be more extreme in magnitude. In particular, we show that reducing differences in risk across training domains can reduce a model's sensitivity to a wide range of extreme distributional shifts, including the challenging setting where the input contains both causal and anticausal elements. We motivate this approach, Risk Extrapolation (REx), as a form of robust optimization over a perturbation set of extrapolated domains (MM-REx), and propose a penalty on the variance of training risks (V-REx) as a simpler variant. We prove that variants of REx can recover the causal mechanisms of the targets, while also providing some robustness to changes in the input distribution ("covariate shift"). By tradingoff robustness to causally induced distributional shifts and covariate shift, REx is able to outperform alternative methods such as Invariant Risk Minimization in situations where these types of shift co-occur.

更广泛的人重新识别（Reid）在最近的计算机视觉社区中引起了不断的关注。在这项工作中，我们在身份标签，特定特定因素（衣服/鞋子颜色等）和域特定因素（背景，观点等）之间构建结构因果模型。根据因果分析，我们提出了一种新颖的域不变表示，以获得概括的人重新识别（DIR-REID）框架。具体而言，我们首先建议解散特定于特定的和域特定的特征空间，我们提出了一种有效的算法实现，用于后台调整，基本上是朝向SCM的因果干预。已经进行了广泛的实验，表明Dir-Reid在大规模域泛化Reid基准上表现出最先进的方法。

少数族裔类的数据增强是长尾识别的有效策略，因此开发了大量方法。尽管这些方法都确保了样本数量的平衡，但是增强样品的质量并不总是令人满意的，识别且容易出现过度拟合，缺乏多样性，语义漂移等问题。对于这些问题，我们建议班级感知的大学启发了重新平衡学习（CAUIRR），以进行长尾识别，这使Universum具有班级感知的能力，可以从样本数量和质量中重新平衡个人少数族裔。特别是，我们从理论上证明，凯尔学到的分类器与从贝叶斯的角度从平衡状态下学到的那些人一致。此外，我们进一步开发了一种高阶混合方法，该方法可以自动生成类感知的Universum（CAU）数据，而无需诉诸任何外部数据。与传统的大学不同，此类产生的全球还考虑了域的相似性，阶级可分离性和样本多样性。基准数据集的广泛实验证明了我们方法的令人惊讶的优势，尤其是与最先进的方法相比，少数族裔类别的TOP1准确性提高了1.9％6％。

现实世界中的数据通常显示出不平衡的标签分布。有关数据不平衡的现有研究集中在单域设置上，即样本来自相同的数据分布。但是，自然数据可以起源于不同的领域，在一个领域中的少数族裔可以从其他域中具有丰富的实例。我们正式化了多域长尾识别（MDLT）的任务，该任务从多域不平衡数据中学习，解决了跨域的标签不平衡，域移动和不同标签分布，并将其推广到所有域级对。我们首先开发了域类的可传递性图，并表明这种可传递性决定了MDLT中学习的成功。然后，我们提出了Boda，这是一种理论上的学习策略，可以跟踪可转移性统计的上限，并确保跨域级分布之间的平衡对齐和校准。我们策划了基于广泛使用的多域数据集的五个MDLT基准测试，并将BODA与跨越不同学习策略的二十个算法进行比较。广泛而严格的实验验证了BODA的出色性能。此外，作为副产品，Boda建立了有关域泛化基准测试的新的最新最先进，强调了解决跨域数据不平衡的重要性，这对于改善概括至看不见的域可能至关重要。代码和数据可在以下网址获得：https：//github.com/yyzharry/multi-domain-mmbalance。

监督学习的关键假设是培训和测试数据遵循相同的概率分布。然而，这种基本假设在实践中并不总是满足，例如，由于不断变化的环境，样本选择偏差，隐私问题或高标签成本。转移学习（TL）放松这种假设，并允许我们在分销班次下学习。通常依赖于重要性加权的经典TL方法 - 基于根据重要性（即测试过度训练密度比率）的训练损失培训预测器。然而，由于现实世界机器学习任务变得越来越复杂，高维和动态，探讨了新的新方法，以应对这些挑战最近。在本文中，在介绍基于重要性加权的TL基础之后，我们根据关节和动态重要预测估计审查最近的进步。此外，我们介绍一种因果机制转移方法，该方法包含T1中的因果结构。最后，我们讨论了TL研究的未来观点。

已知经过类不平衡数据培训的分类器在“次要”类的测试数据上表现不佳，我们的培训数据不足。在本文中，我们调查在这种情况下学习Convnet分类器。我们发现，Convnet显着夸大了次要类别，这与通常拟合的次要类别的传统机器学习算法完全相反。我们进行了一系列分析，并发现了特征偏差现象 - 学识渊博的Convnet在次要类别的训练和测试数据之间产生了偏差的特征 - 这解释了过度拟合的情况。为了补偿特征偏差的影响，将测试数据推向低决策价值区域，我们建议将依赖类的温度（CDT）纳入训练convnet。 CDT在训练阶段模拟特征偏差，迫使Convnet扩大次级数据的决策值，从而可以在测试阶段克服实际特征偏差。我们在基准数据集上验证我们的方法并实现有希望的性能。我们希望我们的见解能够激发解决阶级失去平衡深度学习的新思维方式。

Graph machine learning has been extensively studied in both academia and industry. Although booming with a vast number of emerging methods and techniques, most of the literature is built on the in-distribution hypothesis, i.e., testing and training graph data are identically distributed. However, this in-distribution hypothesis can hardly be satisfied in many real-world graph scenarios where the model performance substantially degrades when there exist distribution shifts between testing and training graph data. To solve this critical problem, out-of-distribution (OOD) generalization on graphs, which goes beyond the in-distribution hypothesis, has made great progress and attracted ever-increasing attention from the research community. In this paper, we comprehensively survey OOD generalization on graphs and present a detailed review of recent advances in this area. First, we provide a formal problem definition of OOD generalization on graphs. Second, we categorize existing methods into three classes from conceptually different perspectives, i.e., data, model, and learning strategy, based on their positions in the graph machine learning pipeline, followed by detailed discussions for each category. We also review the theories related to OOD generalization on graphs and introduce the commonly used graph datasets for thorough evaluations. Finally, we share our insights on future research directions. This paper is the first systematic and comprehensive review of OOD generalization on graphs, to the best of our knowledge.

现有的长尾分类（LT）方法仅着眼于解决阶级的失衡，即头部类别的样本多于尾巴类，但忽略了属性的不平衡。实际上，即使班级平衡，由于各种属性，每个类中的样本仍然可能会长时间尾。请注意，后者在根本上比前者更加普遍和具有挑战性，因为属性不仅是大多数数据集的隐含，而且在组合上也具有复杂性，因此平衡的昂贵。因此，我们引入了一个新的研究问题：广义的长尾分类（GLT），共同考虑两种失衡。通过“广义”，我们的意思是，GLT方法自然应该解决传统的LT，但反之亦然。毫不奇怪，我们发现大多数class LT方法在我们提出的两个基准中退化：Imagenet-GLT和Mscoco-GLT。我们认为这是因为他们过分强调了班级分布的调整，同时忽略了学习属性不变的功能。为此，我们提出了一种不变特征学习（IFL）方法，作为GLT的第一个强基线。 IFL首先从不完美的预测中发现具有不同类内分布的环境，然后在其中学习不变的功能。有希望的是，作为改进的功能主链，IFL提高了所有LT阵容：一个/两阶段的重新平衡，增强和合奏。代码和基准可在GitHub上获得：https：//github.com/kaihuatang/generalized-long-tailed-benchmarks.pytorch