Trying to capture the sample-label relationship, conditional generative models often end up inheriting the spurious correlation in the training dataset, giving label-conditional distributions that are severely imbalanced in another latent attribute. To mitigate such undesirable correlations engraved into generative models, which we call spurious causality, we propose a general two-step strategy. (a) Fairness Intervention (FI): Emphasize the minority samples that are hard to be generated due to the spurious correlation in the training dataset. (b) Corrective Sampling (CS): Filter the generated samples explicitly to follow the desired label-conditional latent attribute distribution. We design the fairness intervention for various degrees of supervision on the spurious attribute, including unsupervised, weakly-supervised, and semi-supervised scenarios. Our experimental results show that the proposed FICS can successfully resolve the spurious correlation in generated samples on various datasets.

我们研究了GaN调理问题，其目标是使用标记数据将普雷雷尼的无条件GaN转换为条件GaN。我们首先识别并分析这一问题的三种方法 - 从头开始​​，微调和输入重新编程的条件GaN培训。我们的分析表明，当标记数据的数量很小时，输入重新编程执行最佳。通过稀缺标记数据的现实世界情景，我们专注于输入重编程方法，并仔细分析现有算法。在识别出先前输入重新编程方法的一些关键问题之后，我们提出了一种名为INREP +的新算法。我们的算法INREP +解决了现有问题，具有可逆性神经网络的新颖用途和正面未标记（PU）学习。通过广泛的实验，我们表明Inrep +优于所有现有方法，特别是当标签信息稀缺，嘈杂和/或不平衡时。例如，对于用1％标记数据调节CiFar10 GaN的任务，Inrep +实现了82.13的平均峰值，而第二个最佳方法达到114.51。

This work addresses fair generative models. Dataset biases have been a major cause of unfairness in deep generative models. Previous work had proposed to augment large, biased datasets with small, unbiased reference datasets. Under this setup, a weakly-supervised approach has been proposed, which achieves state-of-the-art quality and fairness in generated samples. In our work, based on this setup, we propose a simple yet effective approach. Specifically, first, we propose fairTL, a transfer learning approach to learn fair generative models. Under fairTL, we pre-train the generative model with the available large, biased datasets and subsequently adapt the model using the small, unbiased reference dataset. We find that our fairTL can learn expressive sample generation during pre-training, thanks to the large (biased) dataset. This knowledge is then transferred to the target model during adaptation, which also learns to capture the underlying fair distribution of the small reference dataset. Second, we propose fairTL++, where we introduce two additional innovations to improve upon fairTL: (i) multiple feedback and (ii) Linear-Probing followed by Fine-Tuning (LP-FT). Taking one step further, we consider an alternative, challenging setup when only a pre-trained (potentially biased) model is available but the dataset that was used to pre-train the model is inaccessible. We demonstrate that our proposed fairTL and fairTL++ remain very effective under this setup. We note that previous work requires access to the large, biased datasets and is incapable of handling this more challenging setup. Extensive experiments show that fairTL and fairTL++ achieve state-of-the-art in both quality and fairness of generated samples. The code and additional resources can be found at bearwithchris.github.io/fairTL/.

有条件的生成对抗网络（CGANS）在课堂条件生成任务中显示出卓越的结果。为了同时控制多个条件，CGAN需要多标签训练数据集，其中可以将多个标签分配给每个数据实例。然而，巨大的注释成本限制了在现实世界中多标签数据集的可访问性。因此，我们探索称为单个正设置的实用设置，其中每个数据实例仅由一个没有明确的负标签的一个正标记。为了在单个正面设置中生成多标签数据，我们提出了一种基于马尔可夫链蒙特卡洛方法的新型抽样方法，称为单一标记（S2M）采样。作为一种广泛适用的“附加”方法，我们提出的S2M采样使现有的无条件和有条件的gans能够以最小的注释成本绘制高质量的多标签数据。在真实图像数据集上进行的广泛实验可以验证我们方法的有效性和正确性，即使与经过完全注释的数据集训练的模型相比。

改变特定特征但不是其他特性的输入扰动的反事实示例 - 已经显示用于评估机器学习模型的偏差，例如，对特定的人口组。然而，由于图像的各种特征上的底层的因果结构，生成用于图像的反事实示例是非琐碎的。为了有意义，生成的扰动需要满足因果模型所暗示的约束。我们通过在前瞻性学习推断（ALI）的改进变型中结合结构因果模型（SCM）来提出一种方法，该方法是根据图像的属性之间的因果关系生成反事实。基于所生成的反事实，我们展示了如何解释预先训练的机器学习分类器，评估其偏置，并使用反事实程序缓解偏差。在Morpho-Mnist DataSet上，我们的方法会在质量上产生与基于SCM的Factficuls（DeepScm）的质量相当的反功能，而在更复杂的Celeba DataSet上，我们的方法优于DeepScm在产生高质量的有效反应性时。此外，生成的反事件难以从人类评估实验中的重建图像中无法区分，并且随后使用它们来评估在Celeba数据上培训的标准分类器的公平性。我们表明分类器是偏见的w.r.t.皮肤和头发颜色，以及反事实规则化如何消除这些偏差。

本文提出了在适当的监督信息下进行分解的生成因果代表（亲爱的）学习方法。与实施潜在变量独立性的现有分解方法不同，我们考虑了一种基本利益因素可以因果关系相关的一般情况。我们表明，即使在监督下，先前具有独立先验的方法也无法解散因果关系。在这一发现的激励下，我们提出了一种称为DEAR的新的解开学习方法，该方法可以使因果可控的产生和因果代表学习。这种新公式的关键要素是使用结构性因果模型（SCM）作为双向生成模型的先验分布。然后，使用合适的GAN算法与发电机和编码器共同训练了先验，并与有关地面真相因子及其基本因果结构的监督信息合并。我们提供了有关该方法的可识别性和渐近收敛性的理论理由。我们对合成和真实数据集进行了广泛的实验，以证明DEAR在因果可控生成中的有效性，以及在样本效率和分布鲁棒性方面，学到的表示表示对下游任务的好处。

Empirical studies suggest that machine learning models trained with empirical risk minimization (ERM) often rely on attributes that may be spuriously correlated with the class labels. Such models typically lead to poor performance during inference for data lacking such correlations. In this work, we explicitly consider a situation where potential spurious correlations are present in the majority of training data. In contrast with existing approaches, which use the ERM model outputs to detect the samples without spurious correlations, and either heuristically upweighting or upsampling those samples; we propose the logit correction (LC) loss, a simple yet effective improvement on the softmax cross-entropy loss, to correct the sample logit. We demonstrate that minimizing the LC loss is equivalent to maximizing the group-balanced accuracy, so the proposed LC could mitigate the negative impacts of spurious correlations. Our extensive experimental results further reveal that the proposed LC loss outperforms the SoTA solutions on multiple popular benchmarks by a large margin, an average 5.5% absolute improvement, without access to spurious attribute labels. LC is also competitive with oracle methods that make use of the attribute labels. Code is available at https://github.com/shengliu66/LC.

由于视觉识别的社会影响一直受到审查，因此出现了几个受保护的平衡数据集，以解决不平衡数据集中的数据集偏差。但是，在面部属性分类中，数据集偏置既源于受保护的属性级别和面部属性级别，这使得构建多属性级别平衡的真实数据集使其具有挑战性。为了弥合差距，我们提出了一条有效的管道，以产生具有所需面部属性的高质量和足够的面部图像，并将原始数据集补充为两个级别的平衡数据集，从理论上讲，这在理论上满足了几个公平标准。我们方法的有效性在性别分类和面部属性分类方面得到了验证，通过将可比的任务性能作为原始数据集，并通过广泛的度量标准进行全面的公平评估，并进一步提高公平性。此外，我们的方法优于重采样和平衡的数据集构建来解决数据集偏差，以及解决任务偏置的模型模型。

深度神经网络令人惊奇地遭受数据集偏见，这对模型鲁棒性，泛化和公平性有害。在这项工作中，我们提出了一个两级的脱扎方案，以防止顽固的未知偏差。通过分析有偏置模型的存在的因素，我们设计了一种小说学习目标，通过依赖单独的偏见，无法达到。具体而言，使用所提出的梯度对准（GA）实现了脱叠模型，该梯度对准（GA）动态地平衡了偏置对齐和偏见冲突的样本的贡献（在整个整个训练过程中，在整个训练过程中，强制执行模型以利用内部提示进行公平的决定。虽然在真实世界的情景中，潜在的偏差非常难以发现并对手动标记昂贵。我们进一步提出了通过对等挑选和培训集合来提出自动偏见冲突的样本挖掘方法，而无需先前了解偏见信息。各种数据中的多个数据集进行的实验表明了我们拟议计划的有效性和稳健性，该计划成功减轻了未知偏差的负面影响，实现了最先进的性能。

Standard training via empirical risk minimization (ERM) can produce models that achieve high accuracy on average but low accuracy on certain groups, especially in the presence of spurious correlations between the input and label. Prior approaches that achieve high worst-group accuracy, like group distributionally robust optimization (group DRO) require expensive group annotations for each training point, whereas approaches that do not use such group annotations typically achieve unsatisfactory worst-group accuracy. In this paper, we propose a simple two-stage approach, JTT, that first trains a standard ERM model for several epochs, and then trains a second model that upweights the training examples that the first model misclassified. Intuitively, this upweights examples from groups on which standard ERM models perform poorly, leading to improved worst-group performance. Averaged over four image classification and natural language processing tasks with spurious correlations, JTT closes 75% of the gap in worst-group accuracy between standard ERM and group DRO, while only requiring group annotations on a small validation set in order to tune hyperparameters.

A machine learning model, under the influence of observed or unobserved confounders in the training data, can learn spurious correlations and fail to generalize when deployed. For image classifiers, augmenting a training dataset using counterfactual examples has been empirically shown to break spurious correlations. However, the counterfactual generation task itself becomes more difficult as the level of confounding increases. Existing methods for counterfactual generation under confounding consider a fixed set of interventions (e.g., texture, rotation) and are not flexible enough to capture diverse data-generating processes. Given a causal generative process, we formally characterize the adverse effects of confounding on any downstream tasks and show that the correlation between generative factors (attributes) can be used to quantitatively measure confounding between generative factors. To minimize such correlation, we propose a counterfactual generation method that learns to modify the value of any attribute in an image and generate new images given a set of observed attributes, even when the dataset is highly confounded. These counterfactual images are then used to regularize the downstream classifier such that the learned representations are the same across various generative factors conditioned on the class label. Our method is computationally efficient, simple to implement, and works well for any number of generative factors and confounding variables. Our experimental results on both synthetic (MNIST variants) and real-world (CelebA) datasets show the usefulness of our approach.

我们提出了一种具有多个鉴别器的生成的对抗性网络，其中每个鉴别者都专门用于区分真实数据集的子集。这种方法有助于学习与底层数据分布重合的发电机，从而减轻慢性模式崩溃问题。从多项选择学习的灵感来看，我们引导每个判别者在整个数据的子集中具有专业知识，并允许发电机在没有监督训练示例和鉴别者的数量的情况下自动找到潜伏和真实数据空间之间的合理对应关系。尽管使用多种鉴别器，但骨干网络在鉴别器中共享，并且培训成本的增加最小化。我们使用多个评估指标展示了我们算法在标准数据集中的有效性。

已经发现深层图像分类器可以从数据集中学习偏差。为了减轻偏见，大多数以前的方法都需要标签受保护的属性（例如，年龄，肤色）为全套，这有两个限制：1）当标签不可用时，它是不可行的； 2）它们无法缓解未知的偏见 - 人类没有先入为主的偏见。为了解决这些问题，我们提出了偏见的替代网络（Debian），该网络包括两个网络 - 一个发现者和一个分类器。通过以另一种方式培训，发现者试图找到分类器的多个未知偏见，而无需任何偏见注释，分类器的目的是删除发现者确定的偏见。虽然先前的作品评估了单个偏差的结果，但我们创建了多色MNIST数据集，以更好地缓解多偏差设置中的多个偏差，这不仅揭示了以前的方法中的问题，而且还展示了Debian的优势。在同时识别和减轻多种偏见时。我们进一步对现实世界数据集进行了广泛的实验，表明Debian中的发现者可以识别人类可能很难找到的未知偏见。关于辩护，Debian实现了强烈的偏见缓解绩效。

变异因素之间的相关性在现实数据中普遍存在。机器学习算法可能会受益于利用这种相关性，因为它们可以提高噪声数据的预测性能。然而，通常这种相关性不稳定（例如，它们可能在域，数据集或应用程序之间发生变化），我们希望避免利用它们。解剖学方法旨在学习捕获潜伏子空间变化不同因素的表示。常用方法涉及最小化潜伏子空间之间的相互信息，使得每个潜在的底层属性。但是，当属性相关时，这会失败。我们通过强制执行可用属性上的子空间之间的独立性来解决此问题，这允许我们仅删除不导致的依赖性，这些依赖性是由于训练数据中存在的相关结构。我们通过普发的方法实现这一目标，以最小化关于分类变量的子空间之间的条件互信息（CMI）。我们首先在理论上展示了CMI最小化是对高斯数据线性问题的稳健性解剖的良好目标。然后，我们基于MNIST和Celeba在现实世界数据集上应用我们的方法，并表明它会在相关偏移下产生脱屑和强大的模型，包括弱监督设置。

深尾学习旨在培训有用的深层网络，以实用现实世界中的不平衡分布，其中大多数尾巴类别的标签都与一些样本相关联。有大量的工作来训练判别模型，以进行长尾分布的视觉识别。相比之下，我们旨在训练有条件的生成对抗网络，这是一类长尾分布的图像生成模型。我们发现，类似于识别图像产生的最新方法类似，也遭受了尾部类别的性能降解。性能降解主要是由于尾部类别的类别模式塌陷，我们观察到与调节参数矩阵的光谱爆炸相关。我们提出了一种新型的组光谱正规剂（GSR），以防止光谱爆炸减轻模式崩溃，从而导致尾巴类别的形象产生多样化和合理的图像产生。我们发现GSR有效地与现有的增强和正则化技术结合在一起，从而导致长尾数据上的最新图像生成性能。广泛的实验证明了我们的常规器在不同程度不平衡的长尾数据集上的功效。

具有集群潜在空间的生成对抗网络（GANS）可以以完全无监督的方式执行条件生成。在现实世界中，未标记数据的突出属性可能是不平衡的。但是，现有的大多数无监督的条件GAN不能正确地将这些数据的群集属于它们的潜在空间，因为它们假设属性的均匀分布。为了解决这个问题，我们理论上派生的斯坦潜在优化，提供了在连续潜在空间中之前的高斯混合物的潜在分布参数的重新传播参数的梯度估计。在结构上，我们引入了编码器网络和新颖的无监督条件对比丢失，以确保从单个混合组件生成的数据表示单个属性。我们确认，即使在没有属性信息的情况下。此外，我们证明可以使用少量探测数据来操纵所学习的属性。

现代生成型号在包括图像或文本生成和化学分子建模的各种任务中获得优异的品质。然而，现有方法往往缺乏通过所要求的属性产生实例的基本能力，例如照片中的人的年龄或产生的分子的重量。包含此类额外的调节因子将需要重建整个架构并从头开始优化参数。此外，难以解除选定的属性，以便仅在将其他属性中执行不变的同时执行编辑。为了克服这些限制，我们提出插件（插件生成网络），这是一种简单而有效的生成技术，可以用作预先训练的生成模型的插件。我们的方法背后的想法是使用基于流的模块将纠缠潜在的潜在表示转换为多维空间，其中每个属性的值被建模为独立的一维分布。因此，插件可以生成具有所需属性的新样本，以及操作现有示例的标记属性。由于潜在代表的解散，我们甚至能够在数据集中的稀有或看不见的属性组合生成样本，例如具有灰色头发的年轻人，有妆容的男性或胡须的女性。我们将插入与GaN和VAE模型组合并将其应用于图像和化学分子建模的条件生成和操纵。实验表明，插件保留了骨干型号的质量，同时添加控制标记属性值的能力。

我们通过对杂散相关性的因果解释提出了一种信息 - 理论偏置测量技术，这通过利用条件相互信息来识别特征级算法偏压有效。尽管已经提出了几种偏置测量方法并广泛地研究以在各种任务中实现诸如面部识别的各种任务中的算法公平，但它们的准确性或基于Logit的度量易于导致普通预测得分调整而不是基本偏差减少。因此，我们设计针对算法偏差的新型扩张框架，其包括由所提出的信息 - 理论偏置测量方法导出的偏压正则化损耗。此外，我们介绍了一种基于随机标签噪声的简单而有效的无监督的脱叠技术，这不需要明确的偏置信息监督。通过多种标准基准测试的广泛实验，在不同的现实情景中验证了所提出的偏差测量和脱叠方法。

虽然神经网络在平均病例的性能方面对分类任务的成功显着，但它们通常无法在某些数据组上表现良好。这样的组信息可能是昂贵的;因此，即使在培训数据不可用的组标签不可用，较稳健性和公平的最新作品也提出了改善最差组性能的方法。然而，这些方法通常在培训时间使用集团信息的表现不佳。在这项工作中，我们假设没有组标签的较大数据集一起访问少量组标签。我们提出了一个简单的两步框架，利用这个部分组信息来提高最差组性能：训练模型以预测训练数据的丢失组标签，然后在强大的优化目标中使用这些预测的组标签。从理论上讲，我们在最差的组性能方面为我们的方法提供泛化界限，展示了泛化误差如何相对于培训点总数和具有组标签的培训点的数量。凭经验，我们的方法优于不使用群组信息的基线表达，即使只有1-33％的积分都有组标签。我们提供消融研究，以支持我们框架的稳健性和可扩展性。

尽管无偏见的机器学习模型对于许多应用程序至关重要，但偏见是一个人为定义的概念，可以在任务中有所不同。只有输入标签对，算法可能缺乏足够的信息来区分稳定（因果）特征和不稳定（虚假）特征。但是，相关任务通常具有类似的偏见 - 我们可以利用在转移环境中开发稳定的分类器的观察结果。在这项工作中，我们明确通知目标分类器有关源任务中不稳定功能的信息。具体而言，我们得出一个表示，该表示通过对比源任务中的不同数据环境来编码不稳定的功能。我们通过根据此表示形式将目标任务的数据聚类来实现鲁棒性，并最大程度地降低这些集群中最坏情况的风险。我们对文本和图像分类进行评估。经验结果表明，我们的算法能够在合成生成的环境和现实环境的目标任务上保持鲁棒性。我们的代码可在https://github.com/yujiabao/tofu上找到。