已知大型预训练的生成模型偶尔提供出于各种原因可能不希望的样品。减轻这种情况的标准方法是以不同的方式重新培养模型。在这项工作中，我们采用了一种不同，更友好的方法，并调查了如何在训练后将模型置于模型之后，以便忘记某些样本。我们为gan提供了三种不同的算法，这些算法在描述了遗忘的样本方面有所不同。对现实世界图像数据集的广泛评估表明，我们的算法能够忘记数据，同时以全面重新训练成本的一小部分保留高生成质量。

我们研究了GaN调理问题，其目标是使用标记数据将普雷雷尼的无条件GaN转换为条件GaN。我们首先识别并分析这一问题的三种方法 - 从头开始​​，微调和输入重新编程的条件GaN培训。我们的分析表明，当标记数据的数量很小时，输入重新编程执行最佳。通过稀缺标记数据的现实世界情景，我们专注于输入重编程方法，并仔细分析现有算法。在识别出先前输入重新编程方法的一些关键问题之后，我们提出了一种名为INREP +的新算法。我们的算法INREP +解决了现有问题，具有可逆性神经网络的新颖用途和正面未标记（PU）学习。通过广泛的实验，我们表明Inrep +优于所有现有方法，特别是当标签信息稀缺，嘈杂和/或不平衡时。例如，对于用1％标记数据调节CiFar10 GaN的任务，Inrep +实现了82.13的平均峰值，而第二个最佳方法达到114.51。

本文提出了差异性批判性生成对抗网络（DICGAN），以了解只有部分而不是整个数据集具有所需属性时用户呈现数据的分布。 Dicgan生成了满足用户期望的所需数据，并可以协助设计具有所需特性的生物产品。现有方法首先选择所需的样品，然后在选定样品上训练常规甘斯以得出用户呈现的数据分布。但是，所需数据的选择取决于整个数据集的全球知识和监督。 Dicgan介绍了一个差异评论家，该评论家从成对的偏好中学习，这些偏好是本地知识，可以在培训数据的一部分中定义。批评家是通过定义与瓦斯坦斯坦·甘（Wasserstein Gan）批评家的额外排名损失来建立的。它赋予每对样本之间的评论值差异，并具有用户喜好，并指导所需数据的生成而不是整个数据。为了获得更有效的解决方案以确保数据质量，我们将Dicgan进一步重新重新将其作为约束优化问题，基于理论上证明了我们的Dicgan的收敛性。对具有各种应用程序的各种数据集进行的广泛实验表明，我们的Dicgan在学习用户呈现的数据分布方面取得了最新的性能，尤其是在不足的所需数据和有限的监督下。

有条件的生成对抗网络（CGANS）在课堂条件生成任务中显示出卓越的结果。为了同时控制多个条件，CGAN需要多标签训练数据集，其中可以将多个标签分配给每个数据实例。然而，巨大的注释成本限制了在现实世界中多标签数据集的可访问性。因此，我们探索称为单个正设置的实用设置，其中每个数据实例仅由一个没有明确的负标签的一个正标记。为了在单个正面设置中生成多标签数据，我们提出了一种基于马尔可夫链蒙特卡洛方法的新型抽样方法，称为单一标记（S2M）采样。作为一种广泛适用的“附加”方法，我们提出的S2M采样使现有的无条件和有条件的gans能够以最小的注释成本绘制高质量的多标签数据。在真实图像数据集上进行的广泛实验可以验证我们方法的有效性和正确性，即使与经过完全注释的数据集训练的模型相比。

虽然在巨大数据上培训的机器学习模型导致了几个领域的断路器，但由于限制数据的访问，他们在隐私敏感域中的部署仍然有限。在私有数据上具有隐私约束的生成模型可以避免此挑战，而是提供对私有数据的间接访问。我们提出DP-Sinkhorn，一种新的最优传输的生成方法，用于从具有差异隐私的私有数据学习数据分布。 DP-Sinkhorn以差别私人方式在模型和数据之间的模型和数据之间最小化陷阱的分歧，将计算上有效的近似值，并在模型和数据之间使用新技术来控制梯度估计的偏差差异的偏差折衷。与现有的培训方法不同，差异私人生成模型主要基于生成的对抗网络，我们不依赖于对抗性目标，这令人惊叹的难以优化，特别是在隐私约束所施加的噪声存在下。因此，DP-Sinkhorn易于训练和部署。通过实验，我们改进了多种图像建模基准的最先进，并显示了差异私有的信息RGB图像综合。项目页面：https：//nv-tlabs.github.io/dp-sinkhorn。

深度神经网络（DNNS）铰接对大型数据集的可用性的最新成功;但是，对此类数据集的培训经常为敏感培训信息构成隐私风险。在本文中，我们的目标是探讨生成模型和梯度稀疏性的力量，并提出了一种可扩展的隐私保留生成模型数据标准。与标准展示隐私保留框架相比，允许教师对一维预测进行投票，在高维梯度向量上投票在隐私保存方面具有挑战性。随着需要尺寸减少技术，我们需要在（1）之间的改进之间导航精致的权衡空间，并进行SGD收敛的放缓。为了解决这一点，我们利用通信高效学习，并通过将顶-K压缩与相应的噪声注入机构相结合，提出一种新的噪声压缩和聚集方法TopAGG。理论上，我们证明了DataLens框架保证了其生成数据的差异隐私，并提供了其收敛性的分析。为了展示DataLens的实际使用情况，我们对不同数据集进行广泛的实验，包括Mnist，Fashion-Mnist和高维Celeba，并且我们表明，DataLens显着优于其他基线DP生成模型。此外，我们改进了所提出的Topagg方法，该方法是DP SGD培训的主要构建块之一，并表明它能够在大多数情况下实现比最先进的DP SGD方法更高的效用案件。我们的代码在HTTPS://github.com/ai-secure/datalens公开提供。

最近，已经积极研究了从无条件生成的对抗网络（GANS）产生的来自无条件生成的对抗网络（GANS）来改善整体图像质量的子采样或精炼图像。不幸的是，这些方法通常观察到处理条件GAN（CGANS） - 在类（AKA类条件GANS）或连续变量（AKA连续CGANs或CCGANs）上调节条件的效率较低或效率低。在这项工作中，我们引入了一个有效且有效的回顾性方案，命名为条件密度比引导抑制采样（CDR-RS），以从CGANS采样高质量的图像。具体地，我们首先制定一种新的条件密度比估计方法，称为CDRE-F-CSP，通过提出条件的SOFTPLUS（CSP）损耗和改进的特征提取机制。然后，我们导出了在CSP丢失训练的密度比模型的误差。最后，我们在其估计的条件密度比方面接受或拒绝假图像。还开发了一种过滤方案以增加假图像的标签一致性，而不会在从CCGANs采样时失去多样性。我们在五个基准数据集中广泛地测试CDR-RS的有效性和效率在各种条件的GANS和CCGANS中取样。当从类条件的GAN进行采样时，CDR-RS在有效性方面，CDR-RS通过大型余量（除DRE-F-SP + RS除外）优于现代最先进的方法。尽管CDR-RS的有效性通常与DRE-F-SP + RS的有效性相当，但CDR-RS基本上更有效。当从CCGANS取样时，在有效性和效率方面，CDR-RS的优越性甚至更加明显。值得注意的是，随着合理的计算资源的消耗，CDR-RS可以大大减少标签分数而不降低CCGAN生成的图像的多样性，而其他方法通常需要交易大量的多样性以略微改善标签分数。

我们研究了一种基于对抗性训练（AT）的学习基于能量的模型（EBM）的新方法。我们表明（二进制）学习一种特殊的能量功能，可以模拟数据分布的支持，并且学习过程与基于MCMC的EBM的最大似然学习密切相关。我们进一步提出了改进的与AT生成建模的技术，并证明这种新方法能够产生多样化和现实的图像。除了具有竞争性的图像生成性能到明确的EBM外，研究的方法还可以稳定训练，非常适合图像翻译任务，并且表现出强大的分布外对抗性鲁棒性。我们的结果证明了AT生成建模方法的生存能力，表明AT是学习EBM的竞争性替代方法。

深生成模型（DGM）是数据浏览的。从本质上讲，这是因为在有限数据上学习一个复杂的模型，遭受了较大的差异和容易过度的折磨。受\ emph {偏见 - 变化困境}的启发，我们提出了\ emph {正则化的深生成模型}（reg-dgm），该模型}（reg-dgm）利用了不可转移的预训练模型来减少具有有限数据的生成模型的变异。正式地，Reg-DGM优化了数据分布与DGM之间一定差异的加权总和，以及预先训练的模型W.R.T.定义的能量函数的期望。 DGM。从理论上讲，我们表征了Reg-DGM在非参数环境中全球最小值的存在和独特性，并严格证明Reg-DGM W.R.T.的统计益处。在一个简单而代表性的高斯拟合示例中，平均误差和预期风险。从经验上讲，在Reg-DGM中指定DGM和预训练的模型是非常灵活的。尤其是，使用RESNET-18分类器在ImageNet上进行了预先培训和数据依赖性能量功能，Reg-DGM始终在几个基准上改善了强大的DGM的生成性能，包括StyleGAN2和ADA在几个基准上，具有有限的数据，并为国家取得了竞争性的结果 - 艺术方法。

Generative Adversarial Networks (GANs) typically suffer from overfitting when limited training data is available. To facilitate GAN training, current methods propose to use data-specific augmentation techniques. Despite the effectiveness, it is difficult for these methods to scale to practical applications. In this work, we present ScoreMix, a novel and scalable data augmentation approach for various image synthesis tasks. We first produce augmented samples using the convex combinations of the real samples. Then, we optimize the augmented samples by minimizing the norms of the data scores, i.e., the gradients of the log-density functions. This procedure enforces the augmented samples close to the data manifold. To estimate the scores, we train a deep estimation network with multi-scale score matching. For different image synthesis tasks, we train the score estimation network using different data. We do not require the tuning of the hyperparameters or modifications to the network architecture. The ScoreMix method effectively increases the diversity of data and reduces the overfitting problem. Moreover, it can be easily incorporated into existing GAN models with minor modifications. Experimental results on numerous tasks demonstrate that GAN models equipped with the ScoreMix method achieve significant improvements.

Knowledge distillation (KD) has been actively studied for image classification tasks in deep learning, aiming to improve the performance of a student based on the knowledge from a teacher. However, applying KD in image regression with a scalar response variable has been rarely studied, and there exists no KD method applicable to both classification and regression tasks yet. Moreover, existing KD methods often require a practitioner to carefully select or adjust the teacher and student architectures, making these methods less flexible in practice. To address the above problems in a unified way, we propose a comprehensive KD framework based on cGANs, termed cGAN-KD. Fundamentally different from existing KD methods, cGAN-KD distills and transfers knowledge from a teacher model to a student model via cGAN-generated samples. This novel mechanism makes cGAN-KD suitable for both classification and regression tasks, compatible with other KD methods, and insensitive to the teacher and student architectures. An error bound for a student model trained in the cGAN-KD framework is derived in this work, providing a theory for why cGAN-KD is effective as well as guiding the practical implementation of cGAN-KD. Extensive experiments on CIFAR-100 and ImageNet-100 show that we can combine state of the art KD methods with the cGAN-KD framework to yield a new state of the art. Moreover, experiments on Steering Angle and UTKFace demonstrate the effectiveness of cGAN-KD in image regression tasks, where existing KD methods are inapplicable.

This work proposes the continuous conditional generative adversarial network (CcGAN), the first generative model for image generation conditional on continuous, scalar conditions (termed regression labels). Existing conditional GANs (cGANs) are mainly designed for categorical conditions (eg, class labels); conditioning on regression labels is mathematically distinct and raises two fundamental problems:(P1) Since there may be very few (even zero) real images for some regression labels, minimizing existing empirical versions of cGAN losses (aka empirical cGAN losses) often fails in practice;(P2) Since regression labels are scalar and infinitely many, conventional label input methods are not applicable. The proposed CcGAN solves the above problems, respectively, by (S1) reformulating existing empirical cGAN losses to be appropriate for the continuous scenario; and (S2) proposing a naive label input (NLI) method and an improved label input (ILI) method to incorporate regression labels into the generator and the discriminator. The reformulation in (S1) leads to two novel empirical discriminator losses, termed the hard vicinal discriminator loss (HVDL) and the soft vicinal discriminator loss (SVDL) respectively, and a novel empirical generator loss. The error bounds of a discriminator trained with HVDL and SVDL are derived under mild assumptions in this work. Two new benchmark datasets (RC-49 and Cell-200) and a novel evaluation metric (Sliding Fr\'echet Inception Distance) are also proposed for this continuous scenario. Our experiments on the Circular 2-D Gaussians, RC-49, UTKFace, Cell-200, and Steering Angle datasets show that CcGAN is able to generate diverse, high-quality samples from the image distribution conditional on a given regression label. Moreover, in these experiments, CcGAN substantially outperforms cGAN both visually and quantitatively.

Generative adversarial networks (GANs) provide a way to learn deep representations without extensively annotated training data. They achieve this through deriving backpropagation signals through a competitive process involving a pair of networks. The representations that can be learned by GANs may be used in a variety of applications, including image synthesis, semantic image editing, style transfer, image super-resolution and classification. The aim of this review paper is to provide an overview of GANs for the signal processing community, drawing on familiar analogies and concepts where possible. In addition to identifying different methods for training and constructing GANs, we also point to remaining challenges in their theory and application.

Generative models are becoming ever more powerful, being able to synthesize highly realistic images. We propose an algorithm for taming these models - changing the probability that the model will produce a specific image or image category. We consider generative models that are powered by normalizing flows, which allows us to reason about the exact generation probability likelihood for a given image. Our method is general purpose, and we exemplify it using models that generate human faces, a subdomain with many interesting privacy and bias considerations. Our method can be used in the context of privacy, e.g., removing a specific person from the output of a model, and also in the context of de-biasing by forcing a model to output specific image categories according to a given target distribution. Our method uses a fast fine-tuning process without retraining the model from scratch, achieving the goal in less than 1% of the time taken to initially train the generative model. We evaluate qualitatively and quantitatively, to examine the success of the taming process and output quality.

生成的对抗网络（GANS）是用于各种应用的一类生成模型，但是已知它们遭受模式崩溃问题，其中由发电机忽略目标分布的一些模式。使用新数据生成程序的调查研究表明，发电机的模式崩溃是由鉴别者在先前看到的样本上维持分类准确性的模式，这是一种被持续学习的灾难性遗忘的现象。这种观察的动机，我们介绍了一种新颖的培训程序，可以自适应地产生额外的鉴别者来记住以前的一代模式。在几个数据集上，我们表明我们的培训方案可以插入现有的GaN框架，以减轻模式崩溃并改进GaN评估的标准度量。

基于实例的解释方法已经广泛研究了监督学习方法，因为它们有助于解释黑匣子神经网络如何预测。然而，在无监督的学习的背景下，基于实例的解释仍然是不理解的。在本文中，我们调查影响功能[20]，一种基于流行的基于实例的解释方法，用于一类称为变分自动编码器（VAE）的深度生成模型。我们正式框架在这个环境中通过影响函数回答的反事实问题，并通过理论分析，检查他们揭示了培训样本对古典无监督学习方法的影响。然后，我们将基于Pruthi等人介绍VAE-Tracin，基于Pruthi等人的计算上有效和理论上的声音解决方案。最后，我们在几个现实世界数据集中评估了VAE-TRACIN，具有广泛的定量和定性分析。

Trying to capture the sample-label relationship, conditional generative models often end up inheriting the spurious correlation in the training dataset, giving label-conditional distributions that are severely imbalanced in another latent attribute. To mitigate such undesirable correlations engraved into generative models, which we call spurious causality, we propose a general two-step strategy. (a) Fairness Intervention (FI): Emphasize the minority samples that are hard to be generated due to the spurious correlation in the training dataset. (b) Corrective Sampling (CS): Filter the generated samples explicitly to follow the desired label-conditional latent attribute distribution. We design the fairness intervention for various degrees of supervision on the spurious attribute, including unsupervised, weakly-supervised, and semi-supervised scenarios. Our experimental results show that the proposed FICS can successfully resolve the spurious correlation in generated samples on various datasets.

我们提出了一种具有多个鉴别器的生成的对抗性网络，其中每个鉴别者都专门用于区分真实数据集的子集。这种方法有助于学习与底层数据分布重合的发电机，从而减轻慢性模式崩溃问题。从多项选择学习的灵感来看，我们引导每个判别者在整个数据的子集中具有专业知识，并允许发电机在没有监督训练示例和鉴别者的数量的情况下自动找到潜伏和真实数据空间之间的合理对应关系。尽管使用多种鉴别器，但骨干网络在鉴别器中共享，并且培训成本的增加最小化。我们使用多个评估指标展示了我们算法在标准数据集中的有效性。

最近，基于转换的自我监督学习已经应用于生成的对抗性网络（GANS），通过引入静止学习环境来缓解争夺者中的灾难性遗忘。然而，现有的自我监督GAN中的单独自我监督任务导致目标不一致，因为它们的自我监督分类器对发电机分配不可知。为了解决这个问题，我们提出了一种新颖的自我监督GaN，通过自我监督通过数据转换增强GaN标签（真实或假），将GaN任务统一了GAN任务。具体地，原始鉴别器和自我监督分类器统一到标签增强的鉴别器中，预测增强标签要知道每个转换下的发电机分配和数据分布，然后提供它们之间的差异以优化发电机。从理论上讲，我们证明了最佳发生器可以收敛以复制实际数据分布。凭经验，我们表明，该方法显着优异地优于先前的自我监督和数据增强GAN在基准数据集中的生成建模和代表学习。

在学习断开分布时，已知生成对抗网络（GAN）面临模型错误指定。实际上，从单峰潜伏分布到断开连接的连续映射是不可能的，因此甘斯一定会在目标分布支持之外生成样品。这提出了一个基本问题：最小化这些领域的衡量标准的潜在空间分区是什么？基于几何测量理论的最新结果，我们证明，最佳甘恩必须将其潜在空间构造为“简单群集” - 一个voronoi分区，其中细胞是凸锥 - 当潜在空间的尺寸大于大于的数量时模式。在此配置中，每个Voronoi单元格映射到数据的不同模式。我们在gan学习断开的歧管的最佳精度上得出了上限和下限。有趣的是，这两个界限具有相同的减小顺序：$ \ sqrt {\ log m} $，$ m $是模式的数量。最后，我们执行了几项实验，以表现出潜在空间的几何形状，并在实验上表明gan具有与理论相似的几何形状。