在图像分类中，“ debiasing”旨在训练分类器，以免对数据集偏差，数据样本的外围属性与目标类别之间的强相关性。例如，即使数据集中的青蛙类主要由具有沼泽背景的青蛙图像组成（即，偏见与一致的样本），也应该能够在海滩上正确地对青蛙进行正确分类（即，偏见的样品， ）。最近的辩论方法通常使用两个组件进行偏见，一个有偏见的模型$ f_b $和一个模型$ f_d $。 $ f_b $经过培训，可以专注于偏见的样本（即过度适合偏见），而$ f_d $主要通过专注于$ f_b $未能学习的样品，主要接受了偏见的样本培训，导致$ f_d $。不太容易受到数据集偏差的影响。虽然最先进的偏见技术旨在更好地培训$ f_d $，但我们专注于培训$ f_b $，这是迄今为止被忽视的组件。我们的实证分析表明，从$ f_b $的培训设置中删除偏见的样本对于改善$ f_d $的偏见性能很重要。这是由于以下事实：偏置冲突样品会干扰$ f_b $的偏见，因为这些样本不包括偏差属性。为此，我们提出了一种简单而有效的数据样本选择方法，该方法可以删除偏置冲突的样本，以构建一个偏置放大数据集用于培训$ f_b $。我们的数据示例选择方法可以直接应用于现有的基于重新加权的偏差方法，从而获得一致的性能提升并实现合成和现实世界数据集的最新性能。

图像分类器通常过于依赖于与目标类（即数据集偏差）在预测时具有很强相关性的外围属性。最近，无数的研究着重于缓解此类数据集偏见，其任务被称为偏见。但是，这些偏见方法通常具有不一致的实验设置（例如数据集和神经网络体系结构）。此外，大多数先前关于辩护方面的研究都没有指定它们如何选择涉及早期停止和超参数调整的模型参数。本文的目的是标准化不一致的实验设置，并提出一个用于脱缩的一致模型参数选择标准。基于这种统一的实验设置和模型参数选择标准，我们构建了一个名为DebiasBench的基准测试，其中包括五个数据集和七个Debiasing方法。我们仔细地在各个方面进行了广泛的实验，并表明不同的最新方法分别在不同的数据集中最有效。即使，没有任何依据模块的方法，也显示出低偏置严重程度的数据集中的竞争结果。我们公开释放DebiasBench中现有的辩论方法的实施，以鼓励未来的研究人员进行辩护，以进行公平的比较并进一步推动最先进的表现。

Improperly constructed datasets can result in inaccurate inferences. For instance, models trained on biased datasets perform poorly in terms of generalization (i.e., dataset bias). Recent debiasing techniques have successfully achieved generalization performance by underestimating easy-to-learn samples (i.e., bias-aligned samples) and highlighting difficult-to-learn samples (i.e., bias-conflicting samples). However, these techniques may fail owing to noisy labels, because the trained model recognizes noisy labels as difficult-to-learn and thus highlights them. In this study, we find that earlier approaches that used the provided labels to quantify difficulty could be affected by the small proportion of noisy labels. Furthermore, we find that running denoising algorithms before debiasing is ineffective because denoising algorithms reduce the impact of difficult-to-learn samples, including valuable bias-conflicting samples. Therefore, we propose an approach called denoising after entropy-based debiasing, i.e., DENEB, which has three main stages. (1) The prejudice model is trained by emphasizing (bias-aligned, clean) samples, which are selected using a Gaussian Mixture Model. (2) Using the per-sample entropy from the output of the prejudice model, the sampling probability of each sample that is proportional to the entropy is computed. (3) The final model is trained using existing denoising algorithms with the mini-batches constructed by following the computed sampling probability. Compared to existing debiasing and denoising algorithms, our method achieves better debiasing performance on multiple benchmarks.

尽管能够与过度能力网络概括，但深神经网络通常会学会滥用数据中的虚假偏见而不是使用实际的任务相关信息。由于此类快捷方式仅在收集的数据集中有效，因此由此产生的偏置模型在现实世界的投入上表现不佳，或导致意外的社交影响，例如性别歧视。为了抵消偏差的影响，现有方法可以利用辅助信息，这在实践中很少可获得，或者在训练数据中的无偏见样本中筛选，希望能够充分存在清洁样品。但是，这些关于数据的推定并不总是保证。在本文中，我们提出了通过生成偏差变换〜（CDVG）对比下展，该〜（CDVG）能够在现有的方法中经营，其中现有方法由于未偏置的偏差样品而不足的预设而下降。通过我们的观察，不仅如前所述的鉴别模型，而且生成模型倾向于关注偏差，CDVG使用翻译模型来将样本中的偏置转换为另一种偏差模式，同时保留任务相关信息。 。通过对比学习，我们将转化的偏见视图与另一个学习偏见，学习偏见不变的表示。综合和现实世界数据集的实验结果表明，我们的框架优于目前的最先进，并且有效地阻止模型即使在无偏差样本极为稀缺时也会被偏置。

深度神经网络令人惊奇地遭受数据集偏见，这对模型鲁棒性，泛化和公平性有害。在这项工作中，我们提出了一个两级的脱扎方案，以防止顽固的未知偏差。通过分析有偏置模型的存在的因素，我们设计了一种小说学习目标，通过依赖单独的偏见，无法达到。具体而言，使用所提出的梯度对准（GA）实现了脱叠模型，该梯度对准（GA）动态地平衡了偏置对齐和偏见冲突的样本的贡献（在整个整个训练过程中，在整个训练过程中，强制执行模型以利用内部提示进行公平的决定。虽然在真实世界的情景中，潜在的偏差非常难以发现并对手动标记昂贵。我们进一步提出了通过对等挑选和培训集合来提出自动偏见冲突的样本挖掘方法，而无需先前了解偏见信息。各种数据中的多个数据集进行的实验表明了我们拟议计划的有效性和稳健性，该计划成功减轻了未知偏差的负面影响，实现了最先进的性能。

已经发现深层图像分类器可以从数据集中学习偏差。为了减轻偏见，大多数以前的方法都需要标签受保护的属性（例如，年龄，肤色）为全套，这有两个限制：1）当标签不可用时，它是不可行的； 2）它们无法缓解未知的偏见 - 人类没有先入为主的偏见。为了解决这些问题，我们提出了偏见的替代网络（Debian），该网络包括两个网络 - 一个发现者和一个分类器。通过以另一种方式培训，发现者试图找到分类器的多个未知偏见，而无需任何偏见注释，分类器的目的是删除发现者确定的偏见。虽然先前的作品评估了单个偏差的结果，但我们创建了多色MNIST数据集，以更好地缓解多偏差设置中的多个偏差，这不仅揭示了以前的方法中的问题，而且还展示了Debian的优势。在同时识别和减轻多种偏见时。我们进一步对现实世界数据集进行了广泛的实验，表明Debian中的发现者可以识别人类可能很难找到的未知偏见。关于辩护，Debian实现了强烈的偏见缓解绩效。

神经网络倾向于在训练数据的主要部分中表现出的类和潜在属性之间的虚假相关性，这破坏了其概括能力。本文提出了一种新的方法，用于培训错误的分类器，没有虚假属性标签。该方法的关键思想是采用分类器委员会作为辅助模块，该模块可以识别偏置冲突的数据，即没有虚假相关性的数据，并在训练主要分类器时向它们分配了很大的权重。该委员会被学到了一个自举的合奏，因此大多数分类器都具有偏见和多样化，并且故意无法相应地预测偏见的偏见。因此，预测难度委员会的共识为识别和加权偏见冲突数据提供了可靠的提示。此外，该委员会还接受了从主要分类器转移的知识的培训，以便它逐渐与主要分类器一起变得偏见，并强调随着培训的进行而更加困难的数据。在五个现实世界数据集中，我们的方法在没有像我们这样的虚假属性标签的现有方法上优于现有方法，甚至偶尔会超越依靠偏见标签的方法。

数据集偏见和虚假相关性可能会严重损害深层神经网络中的概括。许多先前的努力已经使用替代性损失功能或集中在稀有模式上的采样策略来解决此问题。我们提出了一个新的方向：修改网络体系结构以施加归纳偏见，从而使网络对数据集偏置进行鲁棒性。具体而言，我们提出了OCCAMNET，这些OCCAMNET有偏见以通过设计偏爱更简单的解决方案。 OCCAMNET具有两个电感偏见。首先，他们有偏见地使用单个示例所需的网络深度。其次，它们偏向使用更少的图像位置进行预测。尽管Occamnets偏向更简单的假设，但必要时可以学习更多复杂的假设。在实验中，OCCAMNET的表现优于或竞争对手的最先进方法在不包含这些电感偏见的体系结构上运行。此外，我们证明，当最先进的伪造方法与OCCAMNETS结合使用时，结果进一步改善。

本文是第一个探索自动检测深度卷积神经网络中的自动化方法，只需查看其权重。此外，它也是了解神经网络以及它们的工作方式。我们表明，确实可以知道模型是否偏离或不仅仅是通过查看其权重，而没有特定输入的模型推断。我们分析了使用彩色MNIST数据库的玩具示例在深网络的权重中编码偏差，并且我们还提供了使用最先进的方法和实验资源从面部图像进行性别检测的现实案例研究。为此，我们生成了两个具有36k和48K偏置模型的数据库。在MNIST模型中，我们能够检测它们是否具有超过99％的精度呈现强大或低偏差，我们还能够在四个级别的偏差之间进行分类，精度超过70％。对于面部模型，我们在区分偏向亚洲，黑人或高加索人的型号的模型方面取得了90％的准确性。

神经网络通常使预测依赖于数据集的虚假相关性，而不是感兴趣的任务的内在特性，面对分布外（OOD）测试数据的急剧下降。现有的De-Bias学习框架尝试通过偏置注释捕获特定的DataSet偏差，它们无法处理复杂的“ood方案”。其他人在低能力偏置模型或损失上隐含地识别数据集偏置，但在训练和测试数据来自相同分布时，它们会降低。在本文中，我们提出了一般的贪婪去偏见学习框架（GGD），它贪婪地训练偏置模型和基础模型，如功能空间中的梯度下降。它鼓励基础模型专注于用偏置模型难以解决的示例，从而仍然在测试阶段中的杂散相关性稳健。 GGD在很大程度上提高了各种任务的模型的泛化能力，但有时会过度估计偏置水平并降低在分配测试。我们进一步重新分析了GGD的集合过程，并将课程正规化为由课程学习启发的GGD，这取得了良好的分配和分发性能之间的权衡。对图像分类的广泛实验，对抗问题应答和视觉问题应答展示了我们方法的有效性。 GGD可以在特定于特定于任务的偏置模型的设置下学习更强大的基础模型，其中具有现有知识和自组合偏置模型而无需先验知识。

Neural networks trained with ERM (empirical risk minimization) sometimes learn unintended decision rules, in particular when their training data is biased, i.e., when training labels are strongly correlated with undesirable features. To prevent a network from learning such features, recent methods augment training data such that examples displaying spurious correlations (i.e., bias-aligned examples) become a minority, whereas the other, bias-conflicting examples become prevalent. However, these approaches are sometimes difficult to train and scale to real-world data because they rely on generative models or disentangled representations. We propose an alternative based on mixup, a popular augmentation that creates convex combinations of training examples. Our method, coined SelecMix, applies mixup to contradicting pairs of examples, defined as showing either (i) the same label but dissimilar biased features, or (ii) different labels but similar biased features. Identifying such pairs requires comparing examples with respect to unknown biased features. For this, we utilize an auxiliary contrastive model with the popular heuristic that biased features are learned preferentially during training. Experiments on standard benchmarks demonstrate the effectiveness of the method, in particular when label noise complicates the identification of bias-conflicting examples.

与其他类别（称为少数族裔或尾巴类）相比，很少的类或类别（称为多数或头等类别的类别）具有更高的数据样本数量，在现实世界中，长尾数据集经常遇到。在此类数据集上培训深层神经网络会给质量级别带来偏见。到目前为止，研究人员提出了多种加权损失和数据重新采样技术，以减少偏见。但是，大多数此类技术都认为，尾巴类始终是最难学习的类，因此需要更多的重量或注意力。在这里，我们认为该假设可能并不总是成立的。因此，我们提出了一种新颖的方法，可以在模型的训练阶段动态测量每个类别的瞬时难度。此外，我们使用每个班级的难度度量来设计一种新型的加权损失技术，称为“基于阶级难度的加权（CDB-W）损失”和一种新型的数据采样技术，称为“基于类别难度的采样）（CDB-S ）'。为了验证CDB方法的广泛可用性，我们对多个任务进行了广泛的实验，例如图像分类，对象检测，实例分割和视频操作分类。结果验证了CDB-W损失和CDB-S可以在许多类似于现实世界中用例的类别不平衡数据集（例如Imagenet-LT，LVIS和EGTEA）上实现最先进的结果。

分布式概括（OOD）都是关于对环境变化的学习不变性。如果每个类中的上下文分布均匀分布，则OOD将是微不足道的，因为由于基本原则，可以轻松地删除上下文：类是上下文不变的。但是，收集这种平衡的数据集是不切实际的。学习不平衡的数据使模型偏见对上下文，从而伤害了OOD。因此，OOD的关键是上下文平衡。我们认为，在先前工作中广泛采用的假设，可以直接从偏见的类预测中注释或估算上下文偏差，从而使上下文不完整甚至不正确。相比之下，我们指出了上述原则的另一面：上下文对于类也不变，这激励我们将类（已经被标记为已标记的）视为不同环境以解决上下文偏见（没有上下文标签）。我们通过最大程度地减少阶级样本相似性的对比损失，同时确保这种相似性在所有类别中不变，从而实现这一想法。在具有各种上下文偏见和域间隙的基准测试中，我们表明，配备了我们上下文估计的简单基于重新加权的分类器实现了最新的性能。我们在https://github.com/simpleshinobu/irmcon上提供了附录中的理论理由和代码。

Empirical studies suggest that machine learning models trained with empirical risk minimization (ERM) often rely on attributes that may be spuriously correlated with the class labels. Such models typically lead to poor performance during inference for data lacking such correlations. In this work, we explicitly consider a situation where potential spurious correlations are present in the majority of training data. In contrast with existing approaches, which use the ERM model outputs to detect the samples without spurious correlations, and either heuristically upweighting or upsampling those samples; we propose the logit correction (LC) loss, a simple yet effective improvement on the softmax cross-entropy loss, to correct the sample logit. We demonstrate that minimizing the LC loss is equivalent to maximizing the group-balanced accuracy, so the proposed LC could mitigate the negative impacts of spurious correlations. Our extensive experimental results further reveal that the proposed LC loss outperforms the SoTA solutions on multiple popular benchmarks by a large margin, an average 5.5% absolute improvement, without access to spurious attribute labels. LC is also competitive with oracle methods that make use of the attribute labels. Code is available at https://github.com/shengliu66/LC.

为了改善模型概括，模型设计师通常会隐式或显式地限制其模型使用的功能。在这项工作中，我们通过将其视为数据的不同观点来探讨利用此类特征先验的设计空间。具体而言，我们发现经过多种功能先验训练的模型具有较少的重叠故障模式，因此可以更有效地组合。此外，我们证明，在其他（未标记的）数据上共同训练此类模型使他们能够纠正彼此的错误，这反过来又导致对虚假相关性的更好的概括和韧性。可在https://github.com/madrylab/copriors上找到代码

在偏置数据集上培训的分类模型通常在分发外部的外部样本上表现不佳，因为偏置的表示嵌入到模型中。最近，已经提出了各种脱叠方法来解除偏见的表示，但仅丢弃偏见的特征是具有挑战性的，而不会改变其他相关信息。在本文中，我们提出了一种新的扩展方法，该方法使用不同标记图像的纹理表示明确地生成附加图像来放大训练数据集，并在训练分类器时减轻偏差效果。每个新的生成图像包含来自源图像的类似内容信息，同时从具有不同标签的目标图像传送纹理。我们的模型包括纹理共发生损耗，该损耗确定生成的图像的纹理是否与目标的纹理类似，以及确定所生成和源图像之间的内容细节是否保留的内容细节的空间自相似性丢失。生成和原始训练图像都进一步用于训练能够改善抗偏置表示的鲁棒性的分类器。我们使用具有已知偏差的五个不同的人工设计数据集来展示我们的方法缓解偏差信息的能力。对于所有情况，我们的方法表现优于现有的现有最先进的方法。代码可用：https://github.com/myeongkyunkang/i2i4debias

当深层神经网络过于依赖培训数据集中的虚假相关性以解决下游任务时，就会发生快捷学习。先前的工作表明，这如何损害深度学习模型的组成概括能力。为了解决这个问题，我们提出了一种新的方法来减轻不受控制的目标域中的快捷方式学习。我们的方法使用附加的数据集（源域）扩展了训练集，该数据集（源域）是专门设计的，旨在促进学习基本视觉因素的独立表示。我们基于我们明确控制快捷机会以及现实世界目标域的合成目标域的想法。此外，我们分析了源域的不同规格和网络体系结构对组成概括的影响。我们的主要发现是，从源域中利用数据是减轻快捷方式学习的有效方法。通过促进学习表示的不同因素的独立性，网络可以学会仅考虑预测因素，并忽略推断期间潜在的快捷因素。

Many datasets are biased, namely they contain easy-to-learn features that are highly correlated with the target class only in the dataset but not in the true underlying distribution of the data. For this reason, learning unbiased models from biased data has become a very relevant research topic in the last years. In this work, we tackle the problem of learning representations that are robust to biases. We first present a margin-based theoretical framework that allows us to clarify why recent contrastive losses (InfoNCE, SupCon, etc.) can fail when dealing with biased data. Based on that, we derive a novel formulation of the supervised contrastive loss (epsilon-SupInfoNCE), providing more accurate control of the minimal distance between positive and negative samples. Furthermore, thanks to our theoretical framework, we also propose FairKL, a new debiasing regularization loss, that works well even with extremely biased data. We validate the proposed losses on standard vision datasets including CIFAR10, CIFAR100, and ImageNet, and we assess the debiasing capability of FairKL with epsilon-SupInfoNCE, reaching state-of-the-art performance on a number of biased datasets, including real instances of biases in the wild.

深度学习模型已在大规模视频基准测试上取得了出色的识别结果。但是，当应用于稀有场景或物体的视频时，它们的性能很差，这主要是由于现有视频数据集的偏见。我们从两个不同的角度解决了这个问题：算法和数据集。从算法的角度来看，我们提出了空间感知的多种偏见（SMAD），它既将明确的偏见都与多种相对的对抗性训练和隐含的偏见以及与空间行动重新重量的模块相结合，从行动方面。为了消除内在的数据集偏差，我们建议OmnideBias有选择地利用Web数据进行联合培训，这可以通过更少的Web数据实现更高的性能。为了验证有效性，我们建立评估协议并对现有数据集的重新分配分配和新的评估数据集进行广泛的实验，该数据集的重点是稀有场景。我们还表明，当转移到其他数据集和任务时，辩护形式可以更好地概括。

实际数据集中不可避免地有许多错误标记的数据。由于深度神经网络（DNNS）具有记忆标签的巨大能力，因此需要强大的训练方案来防止标签错误降低DNN的概括性能。当前的最新方法提出了一种共同训练方案，该方案使用与小损失相关的样本训练双网络。但是，实际上，培训两个网络可以同时负担计算资源。在这项研究中，我们提出了一种简单而有效的健壮培训计划，该计划仅通过培训一个网络来运行。在训练过程中，提出的方法通过从随机梯度下降优化形成的重量轨迹中抽样中间网络参数来生成时间自我启动。使用这些自我归档评估的损失总和用于识别错误标记的样品。同时，我们的方法通过将输入数据转换为各种形式，并考虑其协议以识别错误标记的样本来生成多视图预测。通过结合上述指标，我们介绍了提出的{\ it基于自动化的鲁棒训练}（SRT）方法，该方法可以用嘈杂的标签过滤样品，以减少其对训练的影响。广泛使用的公共数据集的实验表明，所提出的方法在某些类别中实现了最新的性能，而无需训练双网络。