Prior work has shown that Visual Recognition datasets frequently underrepresent bias groups $B$ (\eg Female) within class labels $Y$ (\eg Programmers). This dataset bias can lead to models that learn spurious correlations between class labels and bias groups such as age, gender, or race. Most recent methods that address this problem require significant architectural changes or additional loss functions requiring more hyper-parameter tuning. Alternatively, data sampling baselines from the class imbalance literature (\eg Undersampling, Upweighting), which can often be implemented in a single line of code and often have no hyperparameters, offer a cheaper and more efficient solution. However, these methods suffer from significant shortcomings. For example, Undersampling drops a significant part of the input distribution while Oversampling repeats samples, causing overfitting. To address these shortcomings, we introduce a new class conditioned sampling method: Bias Mimicking. The method is based on the observation that if a class $c$ bias distribution, \ie $P_D(B|Y=c)$ is mimicked across every $c^{\prime}\neq c$, then $Y$ and $B$ are statistically independent. Using this notion, BM, through a novel training procedure, ensures that the model is exposed to the entire distribution without repeating samples. Consequently, Bias Mimicking improves underrepresented groups average accuracy of sampling methods by 3\% over four benchmarks while maintaining and sometimes improving performance over non sampling methods. Code can be found in https://github.com/mqraitem/Bias-Mimicking

已经发现深层图像分类器可以从数据集中学习偏差。为了减轻偏见，大多数以前的方法都需要标签受保护的属性（例如，年龄，肤色）为全套，这有两个限制：1）当标签不可用时，它是不可行的； 2）它们无法缓解未知的偏见 - 人类没有先入为主的偏见。为了解决这些问题，我们提出了偏见的替代网络（Debian），该网络包括两个网络 - 一个发现者和一个分类器。通过以另一种方式培训，发现者试图找到分类器的多个未知偏见，而无需任何偏见注释，分类器的目的是删除发现者确定的偏见。虽然先前的作品评估了单个偏差的结果，但我们创建了多色MNIST数据集，以更好地缓解多偏差设置中的多个偏差，这不仅揭示了以前的方法中的问题，而且还展示了Debian的优势。在同时识别和减轻多种偏见时。我们进一步对现实世界数据集进行了广泛的实验，表明Debian中的发现者可以识别人类可能很难找到的未知偏见。关于辩护，Debian实现了强烈的偏见缓解绩效。

Trying to capture the sample-label relationship, conditional generative models often end up inheriting the spurious correlation in the training dataset, giving label-conditional distributions that are severely imbalanced in another latent attribute. To mitigate such undesirable correlations engraved into generative models, which we call spurious causality, we propose a general two-step strategy. (a) Fairness Intervention (FI): Emphasize the minority samples that are hard to be generated due to the spurious correlation in the training dataset. (b) Corrective Sampling (CS): Filter the generated samples explicitly to follow the desired label-conditional latent attribute distribution. We design the fairness intervention for various degrees of supervision on the spurious attribute, including unsupervised, weakly-supervised, and semi-supervised scenarios. Our experimental results show that the proposed FICS can successfully resolve the spurious correlation in generated samples on various datasets.

我们通过对杂散相关性的因果解释提出了一种信息 - 理论偏置测量技术，这通过利用条件相互信息来识别特征级算法偏压有效。尽管已经提出了几种偏置测量方法并广泛地研究以在各种任务中实现诸如面部识别的各种任务中的算法公平，但它们的准确性或基于Logit的度量易于导致普通预测得分调整而不是基本偏差减少。因此，我们设计针对算法偏差的新型扩张框架，其包括由所提出的信息 - 理论偏置测量方法导出的偏压正则化损耗。此外，我们介绍了一种基于随机标签噪声的简单而有效的无监督的脱叠技术，这不需要明确的偏置信息监督。通过多种标准基准测试的广泛实验，在不同的现实情景中验证了所提出的偏差测量和脱叠方法。

在偏置数据集中培训时，分类器会偏差。作为一种补救措施，我们建议学习分裂（LS），这是一种用于自动偏置检测的算法。给定一个具有输入标签对的数据集，LS学会了将该数据集分开，以便在训练分训练上训练的预测因素不能推广到测试分配。该性能差距表明，数据集中的测试拆分代表性不足，这是潜在偏差的信号。识别不可替代的分裂是具有挑战性的，因为我们对偏见没有注释。在这项工作中，我们表明，测试拆分中每个示例的预测正确性可以用作弱监督的来源：如果我们移动正确预测的示例，将概括性能下降错误预测。 LS是任务不合时宜的，可以应用于任何监督的学习问题，从自然语言理解和图像分类到分子财产预测。经验结果表明，LS能够产生与人类识别偏见相关的惊人挑战分裂。此外，我们证明，将强大的学习算法（例如群DRO）与LS启用自动偏差确定的拆分相结合。与以前的最先进相比，当训练和验证过程中偏见的来源未知时，我们显着提高了最差的组绩效（平均为23.4％）。

Standard training via empirical risk minimization (ERM) can produce models that achieve high accuracy on average but low accuracy on certain groups, especially in the presence of spurious correlations between the input and label. Prior approaches that achieve high worst-group accuracy, like group distributionally robust optimization (group DRO) require expensive group annotations for each training point, whereas approaches that do not use such group annotations typically achieve unsatisfactory worst-group accuracy. In this paper, we propose a simple two-stage approach, JTT, that first trains a standard ERM model for several epochs, and then trains a second model that upweights the training examples that the first model misclassified. Intuitively, this upweights examples from groups on which standard ERM models perform poorly, leading to improved worst-group performance. Averaged over four image classification and natural language processing tasks with spurious correlations, JTT closes 75% of the gap in worst-group accuracy between standard ERM and group DRO, while only requiring group annotations on a small validation set in order to tune hyperparameters.

尽管无偏见的机器学习模型对于许多应用程序至关重要，但偏见是一个人为定义的概念，可以在任务中有所不同。只有输入标签对，算法可能缺乏足够的信息来区分稳定（因果）特征和不稳定（虚假）特征。但是，相关任务通常具有类似的偏见 - 我们可以利用在转移环境中开发稳定的分类器的观察结果。在这项工作中，我们明确通知目标分类器有关源任务中不稳定功能的信息。具体而言，我们得出一个表示，该表示通过对比源任务中的不同数据环境来编码不稳定的功能。我们通过根据此表示形式将目标任务的数据聚类来实现鲁棒性，并最大程度地降低这些集群中最坏情况的风险。我们对文本和图像分类进行评估。经验结果表明，我们的算法能够在合成生成的环境和现实环境的目标任务上保持鲁棒性。我们的代码可在https://github.com/yujiabao/tofu上找到。

对机器学习模型进行了训练，以最大程度地减少单个度量标准的平均损失，因此通常不考虑公平和稳健性。当培训数据不平衡或测试分布不同时，忽略培训中的这种指标可能会使这些模型容易违反公平。这项工作介绍了通过元学习（FormL）进行公平优化的重新加权，这是一种训练算法，通过共同学习培训样本权重和神经网络参数来平衡公平和鲁棒性与准确性。该方法通过学习通过动态重新重量从用户指定的保留集合中学到的数据来平衡分布的数据来平衡超额和代表性不足的子组的贡献来提高模型的公平性。 Forml提高了图像分类任务上的机会公平标准的平等性，减少了损坏的标签的偏见，并通过数据凝结促进了建立更多公平数据集。这些改进是在没有预处理数据或后处理模型输出的情况下实现的，而无需学习额外的加权函数，没有更改模型体系结构，而是在原始预测指标上保持准确性。

虽然神经网络在平均病例的性能方面对分类任务的成功显着，但它们通常无法在某些数据组上表现良好。这样的组信息可能是昂贵的;因此，即使在培训数据不可用的组标签不可用，较稳健性和公平的最新作品也提出了改善最差组性能的方法。然而，这些方法通常在培训时间使用集团信息的表现不佳。在这项工作中，我们假设没有组标签的较大数据集一起访问少量组标签。我们提出了一个简单的两步框架，利用这个部分组信息来提高最差组性能：训练模型以预测训练数据的丢失组标签，然后在强大的优化目标中使用这些预测的组标签。从理论上讲，我们在最差的组性能方面为我们的方法提供泛化界限，展示了泛化误差如何相对于培训点总数和具有组标签的培训点的数量。凭经验，我们的方法优于不使用群组信息的基线表达，即使只有1-33％的积分都有组标签。我们提供消融研究，以支持我们框架的稳健性和可扩展性。

The standard empirical risk minimization (ERM) can underperform on certain minority groups (i.e., waterbirds in lands or landbirds in water) due to the spurious correlation between the input and its label. Several studies have improved the worst-group accuracy by focusing on the high-loss samples. The hypothesis behind this is that such high-loss samples are \textit{spurious-cue-free} (SCF) samples. However, these approaches can be problematic since the high-loss samples may also be samples with noisy labels in the real-world scenarios. To resolve this issue, we utilize the predictive uncertainty of a model to improve the worst-group accuracy under noisy labels. To motivate this, we theoretically show that the high-uncertainty samples are the SCF samples in the binary classification problem. This theoretical result implies that the predictive uncertainty is an adequate indicator to identify SCF samples in a noisy label setting. Motivated from this, we propose a novel ENtropy based Debiasing (END) framework that prevents models from learning the spurious cues while being robust to the noisy labels. In the END framework, we first train the \textit{identification model} to obtain the SCF samples from a training set using its predictive uncertainty. Then, another model is trained on the dataset augmented with an oversampled SCF set. The experimental results show that our END framework outperforms other strong baselines on several real-world benchmarks that consider both the noisy labels and the spurious-cues.

Learning models that gracefully handle distribution shifts is central to research on domain generalization, robust optimization, and fairness. A promising formulation is domain-invariant learning, which identifies the key issue of learning which features are domain-specific versus domaininvariant. An important assumption in this area is that the training examples are partitioned into "domains" or "environments". Our focus is on the more common setting where such partitions are not provided. We propose EIIL, a general framework for domain-invariant learning that incorporates Environment Inference to directly infer partitions that are maximally informative for downstream Invariant Learning. We show that EIIL outperforms invariant learning methods on the CMNIST benchmark without using environment labels, and significantly outperforms ERM on worst-group performance in the Waterbirds and CivilComments datasets. Finally, we establish connections between EIIL and algorithmic fairness, which enables EIIL to improve accuracy and calibration in a fair prediction problem.

最近，公平感知学习已经变得越来越重要，但我们注意到这些方法的大多数方法是通过假设完全注释的组标签的可用性来运作。我们强调，这种假设对于现实世界的应用是不现实的，因为组标签注释昂贵，并且可以与隐私问题冲突。在本文中，我们考虑了一种更实际的场景，称为算法公平，部分注释的组标签（Fair-PG）。我们观察到现有的公平方法，该方法仅使用与组标签的数据，表现比Vanilla培训更糟糕，这仅在Fair-PG下使用目标标签使用完整数据。为了解决这个问题，我们提出了一个简单的基于席信的群标签分配（CGL）策略，这些策略随时适用于任何公平意识的学习方法。我们的CGL利用辅助组分类器分配伪组标签，其中随机标签分配给低自信的样本。我们首先理论上表明，在公平标准方面，我们的方法设计优于香草伪标签策略。然后，我们经验展示了通过组合CGL和最先进的公平性的处理方法，与基线方法相比结合CGL和最先进的公平知识的处理方法，将目标精度和公平度量进行联合改善。此外，我们令人信服地表明，我们的CGL使得自然地将给定的组标记的数据集自然使用外部数据集仅适用于目标标签，以便可以提高精度和公平度量。我们将公开释放我们的实施，以便将来的研究重现我们的结果。

通常对机器学习分类器进行培训，以最大程度地减少数据集的平均误差。不幸的是，在实践中，这个过程通常会利用训练数据中亚组不平衡引起的虚假相关性，从而导致高平均性能，但跨亚组的性能高度可变。解决此问题的最新工作提出了使用骆驼进行模型修补。这种先前的方法使用生成的对抗网络来执行类内的群间数据增强，需要（a）训练许多计算昂贵的模型以及（b）给定域模型的合成输出的足够质量。在这项工作中，我们提出了RealPatch，这是一个基于统计匹配的简单，更快，更快的数据增强的框架。我们的框架通过使用真实样本增强数据集来执行模型修补程序，从而减轻了为目标任务训练生成模型的需求。我们证明了RealPatch在三个基准数据集，Celeba，Waterbird和IwildCam的一部分中的有效性，显示了最差的亚组性能和二进制分类中亚组性能差距的改进。此外，我们使用IMSITU数据集进行了211个类的实验，在这种设置中，基于生成模型的修补（例如骆驼）是不切实际的。我们表明，RealPatch可以成功消除数据集泄漏，同时减少模型泄漏并保持高实用程序。可以在https://github.com/wearepal/realpatch上找到RealPatch的代码。

When developing deep learning models, we usually decide what task we want to solve then search for a model that generalizes well on the task. An intriguing question would be: what if, instead of fixing the task and searching in the model space, we fix the model and search in the task space? Can we find tasks that the model generalizes on? How do they look, or do they indicate anything? These are the questions we address in this paper. We propose a task discovery framework that automatically finds examples of such tasks via optimizing a generalization-based quantity called agreement score. We demonstrate that one set of images can give rise to many tasks on which neural networks generalize well. These tasks are a reflection of the inductive biases of the learning framework and the statistical patterns present in the data, thus they can make a useful tool for analysing the neural networks and their biases. As an example, we show that the discovered tasks can be used to automatically create adversarial train-test splits which make a model fail at test time, without changing the pixels or labels, but by only selecting how the datapoints should be split between the train and test sets. We end with a discussion on human-interpretability of the discovered tasks.

深度神经网络令人惊奇地遭受数据集偏见，这对模型鲁棒性，泛化和公平性有害。在这项工作中，我们提出了一个两级的脱扎方案，以防止顽固的未知偏差。通过分析有偏置模型的存在的因素，我们设计了一种小说学习目标，通过依赖单独的偏见，无法达到。具体而言，使用所提出的梯度对准（GA）实现了脱叠模型，该梯度对准（GA）动态地平衡了偏置对齐和偏见冲突的样本的贡献（在整个整个训练过程中，在整个训练过程中，强制执行模型以利用内部提示进行公平的决定。虽然在真实世界的情景中，潜在的偏差非常难以发现并对手动标记昂贵。我们进一步提出了通过对等挑选和培训集合来提出自动偏见冲突的样本挖掘方法，而无需先前了解偏见信息。各种数据中的多个数据集进行的实验表明了我们拟议计划的有效性和稳健性，该计划成功减轻了未知偏差的负面影响，实现了最先进的性能。

Models trained via empirical risk minimization (ERM) are known to rely on spurious correlations between labels and task-independent input features, resulting in poor generalization to distributional shifts. Group distributionally robust optimization (G-DRO) can alleviate this problem by minimizing the worst-case loss over a set of pre-defined groups over training data. G-DRO successfully improves performance of the worst-group, where the correlation does not hold. However, G-DRO assumes that the spurious correlations and associated worst groups are known in advance, making it challenging to apply it to new tasks with potentially multiple unknown spurious correlations. We propose AGRO -- Adversarial Group discovery for Distributionally Robust Optimization -- an end-to-end approach that jointly identifies error-prone groups and improves accuracy on them. AGRO equips G-DRO with an adversarial slicing model to find a group assignment for training examples which maximizes worst-case loss over the discovered groups. On the WILDS benchmark, AGRO results in 8% higher model performance on average on known worst-groups, compared to prior group discovery approaches used with G-DRO. AGRO also improves out-of-distribution performance on SST2, QQP, and MS-COCO -- datasets where potential spurious correlations are as yet uncharacterized. Human evaluation of ARGO groups shows that they contain well-defined, yet previously unstudied spurious correlations that lead to model errors.

深度神经网络用于图像识别任务（例如预测笑脸）的性能会以代表性不足的敏感属性类别降低。我们通过基于人口统计学奇偶校验，均衡赔率和新型的联合会措施的批估计估计来引入公平意识的正规化损失来解决这个问题。对Celeba，UTKFACE和SIIM-ISIC黑色素瘤分类挑战的面部和医学图像进行的实验表明，我们提出的公平性损失对偏置缓解的有效性，因为它们可以改善模型公平，同时保持高分类性能。据我们所知，我们的工作是首次尝试将这些类型的损失纳入端到端培训方案，以减轻视觉属性预测指标的偏见。我们的代码可在https://github.com/nish03/fvap上找到。

神经网络倾向于在训练数据的主要部分中表现出的类和潜在属性之间的虚假相关性，这破坏了其概括能力。本文提出了一种新的方法，用于培训错误的分类器，没有虚假属性标签。该方法的关键思想是采用分类器委员会作为辅助模块，该模块可以识别偏置冲突的数据，即没有虚假相关性的数据，并在训练主要分类器时向它们分配了很大的权重。该委员会被学到了一个自举的合奏，因此大多数分类器都具有偏见和多样化，并且故意无法相应地预测偏见的偏见。因此，预测难度委员会的共识为识别和加权偏见冲突数据提供了可靠的提示。此外，该委员会还接受了从主要分类器转移的知识的培训，以便它逐渐与主要分类器一起变得偏见，并强调随着培训的进行而更加困难的数据。在五个现实世界数据集中，我们的方法在没有像我们这样的虚假属性标签的现有方法上优于现有方法，甚至偶尔会超越依靠偏见标签的方法。

现有的修剪技术保留了深层神经网络的整体能力，可以做出正确的预测，但在压缩过程中也可能会扩大隐藏的偏见。我们提出了一种新颖的修剪方法，即公平意识的梯度修剪法（Fairgrape），可最大程度地减少修剪对不同子组的不成比例的影响。我们的方法计算了每个模型权重的范围重要性，并选择了一部分权重，以维持相对组间的修剪中的总重要性。然后，提出的方法将具有较小重要性值的修剪网络边缘，并通过更新重要性值来重复该过程。我们在四个不同的数据集（Fairface，utkface，celeba和Imagenet）上演示了方法的有效性，用于面部属性分类的任务，其中我们的方法将性能降解的差异降低了90％，高达90％ - 阿尔特修剪算法。我们的方法在较高的修剪率（99％）的环境中更有效。实验中使用的代码和数据集可在https://github.com/bernardo1998/fairgrape上获得

机器学习模型通常使用诸如“依靠人的存在来检测网球拍”的虚假模式，这不概括。在这项工作中，我们介绍了一个端到端的管道，用于识别和减轻图像分类器的虚假模式。我们首先找到“模型对网球拍预测的模式，如果我们隐藏人民的时间似的63％。”然后，如果模式是虚幻的，我们通过新颖的数据增强来减轻它。我们展示了这种方法识别了一种多样化的杂散模式，并且它通过产生一个模型来减轻它们，这些模型在虚假图案对虚假模式对分布偏移不有用和更鲁棒的分布上进行更准确。