This work proposes the continuous conditional generative adversarial network (CcGAN), the first generative model for image generation conditional on continuous, scalar conditions (termed regression labels). Existing conditional GANs (cGANs) are mainly designed for categorical conditions (eg, class labels); conditioning on regression labels is mathematically distinct and raises two fundamental problems:(P1) Since there may be very few (even zero) real images for some regression labels, minimizing existing empirical versions of cGAN losses (aka empirical cGAN losses) often fails in practice;(P2) Since regression labels are scalar and infinitely many, conventional label input methods are not applicable. The proposed CcGAN solves the above problems, respectively, by (S1) reformulating existing empirical cGAN losses to be appropriate for the continuous scenario; and (S2) proposing a naive label input (NLI) method and an improved label input (ILI) method to incorporate regression labels into the generator and the discriminator. The reformulation in (S1) leads to two novel empirical discriminator losses, termed the hard vicinal discriminator loss (HVDL) and the soft vicinal discriminator loss (SVDL) respectively, and a novel empirical generator loss. The error bounds of a discriminator trained with HVDL and SVDL are derived under mild assumptions in this work. Two new benchmark datasets (RC-49 and Cell-200) and a novel evaluation metric (Sliding Fr\'echet Inception Distance) are also proposed for this continuous scenario. Our experiments on the Circular 2-D Gaussians, RC-49, UTKFace, Cell-200, and Steering Angle datasets show that CcGAN is able to generate diverse, high-quality samples from the image distribution conditional on a given regression label. Moreover, in these experiments, CcGAN substantially outperforms cGAN both visually and quantitatively.

最近，已经积极研究了从无条件生成的对抗网络（GANS）产生的来自无条件生成的对抗网络（GANS）来改善整体图像质量的子采样或精炼图像。不幸的是，这些方法通常观察到处理条件GAN（CGANS） - 在类（AKA类条件GANS）或连续变量（AKA连续CGANs或CCGANs）上调节条件的效率较低或效率低。在这项工作中，我们引入了一个有效且有效的回顾性方案，命名为条件密度比引导抑制采样（CDR-RS），以从CGANS采样高质量的图像。具体地，我们首先制定一种新的条件密度比估计方法，称为CDRE-F-CSP，通过提出条件的SOFTPLUS（CSP）损耗和改进的特征提取机制。然后，我们导出了在CSP丢失训练的密度比模型的误差。最后，我们在其估计的条件密度比方面接受或拒绝假图像。还开发了一种过滤方案以增加假图像的标签一致性，而不会在从CCGANs采样时失去多样性。我们在五个基准数据集中广泛地测试CDR-RS的有效性和效率在各种条件的GANS和CCGANS中取样。当从类条件的GAN进行采样时，CDR-RS在有效性方面，CDR-RS通过大型余量（除DRE-F-SP + RS除外）优于现代最先进的方法。尽管CDR-RS的有效性通常与DRE-F-SP + RS的有效性相当，但CDR-RS基本上更有效。当从CCGANS取样时，在有效性和效率方面，CDR-RS的优越性甚至更加明显。值得注意的是，随着合理的计算资源的消耗，CDR-RS可以大大减少标签分数而不降低CCGAN生成的图像的多样性，而其他方法通常需要交易大量的多样性以略微改善标签分数。

Knowledge distillation (KD) has been actively studied for image classification tasks in deep learning, aiming to improve the performance of a student based on the knowledge from a teacher. However, applying KD in image regression with a scalar response variable has been rarely studied, and there exists no KD method applicable to both classification and regression tasks yet. Moreover, existing KD methods often require a practitioner to carefully select or adjust the teacher and student architectures, making these methods less flexible in practice. To address the above problems in a unified way, we propose a comprehensive KD framework based on cGANs, termed cGAN-KD. Fundamentally different from existing KD methods, cGAN-KD distills and transfers knowledge from a teacher model to a student model via cGAN-generated samples. This novel mechanism makes cGAN-KD suitable for both classification and regression tasks, compatible with other KD methods, and insensitive to the teacher and student architectures. An error bound for a student model trained in the cGAN-KD framework is derived in this work, providing a theory for why cGAN-KD is effective as well as guiding the practical implementation of cGAN-KD. Extensive experiments on CIFAR-100 and ImageNet-100 show that we can combine state of the art KD methods with the cGAN-KD framework to yield a new state of the art. Moreover, experiments on Steering Angle and UTKFace demonstrate the effectiveness of cGAN-KD in image regression tasks, where existing KD methods are inapplicable.

我们研究了GaN调理问题，其目标是使用标记数据将普雷雷尼的无条件GaN转换为条件GaN。我们首先识别并分析这一问题的三种方法 - 从头开始​​，微调和输入重新编程的条件GaN培训。我们的分析表明，当标记数据的数量很小时，输入重新编程执行最佳。通过稀缺标记数据的现实世界情景，我们专注于输入重编程方法，并仔细分析现有算法。在识别出先前输入重新编程方法的一些关键问题之后，我们提出了一种名为INREP +的新算法。我们的算法INREP +解决了现有问题，具有可逆性神经网络的新颖用途和正面未标记（PU）学习。通过广泛的实验，我们表明Inrep +优于所有现有方法，特别是当标签信息稀缺，嘈杂和/或不平衡时。例如，对于用1％标记数据调节CiFar10 GaN的任务，Inrep +实现了82.13的平均峰值，而第二个最佳方法达到114.51。

条件生成的对抗性网络（CGAN）通过将类信息纳入GaN来生成现实图像。虽然最受欢迎的CGANS是一种辅助分类器GAN，但众所周知，随着数据集中的类别的数量增加，培训acgan正在挑战。偶数还倾向于产生缺乏多样性的容易甲型样本。在本文中，我们介绍了两种治疗方法。首先，我们识别分类器中的梯度爆炸可能会导致早期训练中的不良崩溃，并将输入向量投影到单元间隔子上可以解决问题。其次，我们提出了数据到数据跨熵丢失（D2D-CE）来利用类标记的数据集中的关系信息。在这个基础上，我们提出了重新启动的辅助分类器生成对抗网络（Reacgan）。实验结果表明，Reacgan在CIFAR10，微小想象成，CUB200和Imagenet数据集上实现了最先进的生成结果。我们还验证了来自可分辨率的增强的ReacanggaN的利益，以及D2D-CE与Stylegan2架构协调。模型权重和提供代表性CGANS实现的软件包和我们纸上的所有实验都可以在https://github.com/postech-cvlab/pytorch-studiogan获得。

生成对抗网络（GAN）是现实图像合成的最新生成模型之一。虽然培训和评估GAN变得越来越重要，但当前的GAN研究生态系统并未提供可靠的基准，以始终如一地进行评估。此外，由于GAN实施很少，因此研究人员将大量时间用于重现基线。我们研究了GAN方法的分类法，并提出了一个名为Studiogan的新开源库。 Studiogan支持7种GAN体系结构，9种调理方法，4种对抗损失，13个正则化模块，3个可区分的增强，7个评估指标和5个评估骨干。通过我们的培训和评估协议，我们使用各种数据集（CIFAR10，ImageNet，AFHQV2，FFHQ和Baby/Papa/Granpa-Imagenet）和3个不同的评估骨干（InceptionV3，Swav，Swav和Swin Transformer）提出了大规模的基准。与GAN社区中使用的其他基准不同，我们在统一的培训管道中培训了包括Biggan，stylegan2和stylegan3在内的代表GAN，并使用7个评估指标量化了生成性能。基准测试评估其他尖端生成模型（例如，stylegan-xl，adm，maskgit和rq-transformer）。 Studiogan提供了预先训练的权重的GAN实现，培训和评估脚本。 Studiogan可从https://github.com/postech-cvlab/pytorch-studiogan获得。

有条件的生成对抗网络（CGANs）将标准无条件GaN框架扩展到学习样本的联合数据标签分布，并已建立为能够产生高保真图像的强大生成模型。这种模型的训练挑战在于将课程信息恰当地注入到其发电机和鉴别器中。对于鉴别器，可以通过（1）直接将标签作为输入或（2）涉及辅助分类损失的标签来实现类调节。在本文中，我们表明前者直接对齐类条件的假和实际数据分布$ p（\ text {image} | \ text {class}）$（{\ EM数据匹配}），而后者对齐数据调节类分布$ p（\ text {class} | \ text {image}）$（{\ EM标签匹配}）。虽然类别可分离性并不直接转化为样本质量，并且如果分类本身是本质上困难的话，如果不同类别的特征映射到同一点，则不能为发电机提供有用的指导，因此可以为同一点映射并因此变得不可分割。通过这种直觉激励，我们提出了一种双重投影GaN（P2Gan）模型，它学会在{\ EM数据匹配}和{\ EM标签匹配}之间平衡。然后，我们提出了一种改进的Cgan模型，通过辅助分类，通过最大限度地减少$ F $ -divergence，通过辅助分类直接对准假和实际条件$ p（\ text {class} | \ text {image}）$。高斯（MOG）数据集的合成混合物和各种现实世界数据集的实验，包括CIFAR100，ImageNet和Vggface2，证明了我们所提出的模型的功效。

为了稳定地训练生成对抗网络（GAN），将实例噪声注入歧视器的输入中被认为是理论上的声音解决方案，但是，在实践中尚未实现其承诺。本文介绍了采用高斯混合物分布的扩散 - 在正向扩散链的所有扩散步骤中定义，以注入实例噪声。从观察到或生成的数据扩散的混合物中的随机样品被作为歧视器的输入。通过将其梯度通过前向扩散链进行反向传播来更新，该链的长度可自适应地调节以控制每个训练步骤允许的最大噪声与数据比率。理论分析验证了所提出的扩散gan的声音，该扩散器提供了模型和域 - 不可分割的可区分增强。在各种数据集上进行的一系列实验表明，扩散 - GAN可以提供稳定且具有数据效率的GAN训练，从而使对强GAN基准的性能保持一致，以综合构成照片现实的图像。

虽然生成的对抗网络（GaN）是他们对其更高的样本质量的流行，而与其他生成模型相反，但是它们遭受同样困难的产生样本的难度。必须牢记各个方面，如产生的样本的质量，课程的多样性（在课堂内和类别中），使用解除戒开的潜在空间，所述评估度量的协议与人类感知等。本文，我们提出了一个新的评分，即GM分数，这取得了各种因素，如样品质量，解除戒备的代表，阶级，级别的阶级和级别多样性等各种因素，以及诸如精确，召回和F1分数等其他指标用于可怜的性深度信仰网络（DBN）和限制Boltzmann机（RBM）的潜在空间。评估是针对不同的GANS（GAN，DCGAN，BIGAN，CGAN，CONFORDGON，LSGAN，SGAN，WAN，以及WGAN改进）的不同GANS（GAN，DCGAN，BIGAN，SCAN，WANT）在基准MNIST数据集上培训。

生成的对抗网络（GANS）产生高质量的图像，但致力于训练。它们需要仔细正常化，大量计算和昂贵的超参数扫描。我们通过将生成和真实样本投影到固定的预级特征空间中，在这些问题上进行了重要的头路。发现鉴别者无法充分利用来自预押模型的更深层次的特征，我们提出了更有效的策略，可以在渠道和分辨率中混合特征。我们预计的GaN提高了图像质量，样品效率和收敛速度。它与最多一个百万像素的分辨率进一步兼容，并在二十二个基准数据集上推进最先进的FR \'Echet Inception距离（FID）。重要的是，预计的GAN符合先前最低的FID速度快40倍，鉴于相同的计算资源，将壁钟时间从5天切割到不到3小时。

已知大型预训练的生成模型偶尔提供出于各种原因可能不希望的样品。减轻这种情况的标准方法是以不同的方式重新培养模型。在这项工作中，我们采用了一种不同，更友好的方法，并调查了如何在训练后将模型置于模型之后，以便忘记某些样本。我们为gan提供了三种不同的算法，这些算法在描述了遗忘的样本方面有所不同。对现实世界图像数据集的广泛评估表明，我们的算法能够忘记数据，同时以全面重新训练成本的一小部分保留高生成质量。

生成对抗网络（GAN）是最受欢迎的图像生成模型，在各种计算机视觉任务上取得了显着进度。但是，训练不稳定仍然是所有基于GAN的算法的开放问题之一。已经提出了许多方法来稳定gan的训练，其重点分别放在损失功能，正则化和归一化技术，训练算法和模型体系结构上。与上述方法不同，在本文中，提出了有关稳定gan训练的新观点。发现有时发电机产生的图像在训练过程中像歧视者的对抗示例一样，这可能是导致gan不稳定训练的原因的一部分。有了这一发现，我们提出了直接的对抗训练（DAT）方法来稳定gan的训练过程。此外，我们证明DAT方法能够适应歧视器的Lipschitz常数。 DAT的高级性能在多个损失功能，网络体系结构，超参数和数据集上进行了验证。具体而言，基于SSGAN的CIFAR-100无条件生成，DAT在CIFAR-100的无条件生成上实现了11.5％的FID，基于SSGAN的STL-10无条件生成的FID和基于SSGAN的LSUN卧室无条件生成的13.2％FID。代码将在https://github.com/iceli1007/dat-gan上找到

有条件的生成对抗网络（CGANS）在课堂条件生成任务中显示出卓越的结果。为了同时控制多个条件，CGAN需要多标签训练数据集，其中可以将多个标签分配给每个数据实例。然而，巨大的注释成本限制了在现实世界中多标签数据集的可访问性。因此，我们探索称为单个正设置的实用设置，其中每个数据实例仅由一个没有明确的负标签的一个正标记。为了在单个正面设置中生成多标签数据，我们提出了一种基于马尔可夫链蒙特卡洛方法的新型抽样方法，称为单一标记（S2M）采样。作为一种广泛适用的“附加”方法，我们提出的S2M采样使现有的无条件和有条件的gans能够以最小的注释成本绘制高质量的多标签数据。在真实图像数据集上进行的广泛实验可以验证我们方法的有效性和正确性，即使与经过完全注释的数据集训练的模型相比。

我们提出了一种具有多个鉴别器的生成的对抗性网络，其中每个鉴别者都专门用于区分真实数据集的子集。这种方法有助于学习与底层数据分布重合的发电机，从而减轻慢性模式崩溃问题。从多项选择学习的灵感来看，我们引导每个判别者在整个数据的子集中具有专业知识，并允许发电机在没有监督训练示例和鉴别者的数量的情况下自动找到潜伏和真实数据空间之间的合理对应关系。尽管使用多种鉴别器，但骨干网络在鉴别器中共享，并且培训成本的增加最小化。我们使用多个评估指标展示了我们算法在标准数据集中的有效性。

本文提出了差异性批判性生成对抗网络（DICGAN），以了解只有部分而不是整个数据集具有所需属性时用户呈现数据的分布。 Dicgan生成了满足用户期望的所需数据，并可以协助设计具有所需特性的生物产品。现有方法首先选择所需的样品，然后在选定样品上训练常规甘斯以得出用户呈现的数据分布。但是，所需数据的选择取决于整个数据集的全球知识和监督。 Dicgan介绍了一个差异评论家，该评论家从成对的偏好中学习，这些偏好是本地知识，可以在培训数据的一部分中定义。批评家是通过定义与瓦斯坦斯坦·甘（Wasserstein Gan）批评家的额外排名损失来建立的。它赋予每对样本之间的评论值差异，并具有用户喜好，并指导所需数据的生成而不是整个数据。为了获得更有效的解决方案以确保数据质量，我们将Dicgan进一步重新重新将其作为约束优化问题，基于理论上证明了我们的Dicgan的收敛性。对具有各种应用程序的各种数据集进行的广泛实验表明，我们的Dicgan在学习用户呈现的数据分布方面取得了最新的性能，尤其是在不足的所需数据和有限的监督下。

组织病理学分析是对癌前病变诊断的本金标准。从数字图像自动组织病理学分类的目标需要监督培训，这需要大量的专家注释，这可能是昂贵且耗时的收集。同时，精确分类从全幻灯片裁剪的图像斑块对于基于标准滑动窗口的组织病理学幻灯片分类方法是必不可少的。为了减轻这些问题，我们提出了一个精心设计的条件GaN模型，即hostogan，用于在类标签上合成现实组织病理学图像补丁。我们还研究了一种新颖的合成增强框架，可选择地添加由我们提出的HADOGAN生成的新的合成图像补丁，而不是直接扩展与合成图像的训练集。通过基于其指定标签的置信度和实际标记图像的特征相似性选择合成图像，我们的框架为合成增强提供了质量保证。我们的模型在两个数据集上进行评估：具有有限注释的宫颈组织病理学图像数据集，以及具有转移性癌症的淋巴结组织病理学图像的另一个数据集。在这里，我们表明利用具有选择性增强的组织产生的图像导致对宫颈组织病理学和转移性癌症数据集分别的分类性能（分别为6.7％和2.8％）的显着和一致性。

本文提出了有条件生成对抗性网络（CGANS）的两个重要贡献，以改善利用此架构的各种应用。第一个主要贡献是对CGANS的分析表明它们没有明确条件。特别地，将显示鉴别者和随后的Cgan不会自动学习输入之间的条件。第二种贡献是一种新方法，称为逆时针，该方法通过新颖的逆损失明确地模拟了对抗架构的两部分的条件，涉及培训鉴别者学习无条件（不利）示例。这导致了用于GANS（逆学习）的新型数据增强方法，其允许使用不利示例将发电机的搜索空间限制为条件输出。通过提出概率分布分析，进行广泛的实验以评估判别符的条件。与不同应用的CGAN架构的比较显示了众所周知的数据集的性能的显着改进，包括使用不同度量的不同度量的语义图像合成，图像分割，单眼深度预测和“单个标签” - 图像（FID） ），平均联盟（Miou）交叉口，根均线误差日志（RMSE日志）和统计上不同的箱数（NDB）。

有条件的生成对抗性网络（CGANS）是隐式生成模型，允许从类条件分布中进行采样。现有的CGANS基于各种不同的不同鉴别器设计和培训目标。早期作品中的一个流行的设计是在培训期间包括分类器，假设良好的分类器可以帮助消除使用错误类生成的样本。然而，包括CGANs的分类器通常具有仅产生易于分类的样本的副作用。最近，一些代表性的CGANS避免了缺点和达到最先进的表现而没有分类器。不知何故，它仍然未解决分类器是否可以复活以设计更好的CGANS。在这项工作中，我们证明可以正确利用分类器来改善CGANS。我们首先使用联合概率分布的分解来将CGANS的目标连接为统一框架。该框架以及经典能源模型与参数化分配，以原则方式为CGANS的分类器的使用证明了对标准的。它解释了几种流行的Cgan变体，例如acgan，projgan和contragan，作为具有不同近似水平的特殊情况，这提供了统一的观点，并为理解CGAN带来了新的见解。实验结果表明，由所提出的框架灵感的设计优于多个基准数据集上的最先进的CGAN，特别是在最具挑战性的想象中。该代码可在https://github.com/sian-chen/pytorch-ecgan获得。

与CNN的分类，分割或对象检测相比，生成网络的目标和方法根本不同。最初，它们不是作为图像分析工具，而是生成自然看起来的图像。已经提出了对抗性训练范式来稳定生成方法，并已被证明是非常成功的 - 尽管绝不是第一次尝试。本章对生成对抗网络（GAN）的动机进行了基本介绍，并通​​过抽象基本任务和工作机制并得出了早期实用方法的困难来追溯其成功的道路。将显示进行更稳定的训练方法，也将显示出不良收敛及其原因的典型迹象。尽管本章侧重于用于图像生成和图像分析的gan，但对抗性训练范式本身并非特定于图像，并且在图像分析中也概括了任务。在将GAN与最近进入场景的进一步生成建模方法进行对比之前，将闻名图像语义分割和异常检测的架构示例。这将允许对限制的上下文化观点，但也可以对gans有好处。

虽然在巨大数据上培训的机器学习模型导致了几个领域的断路器，但由于限制数据的访问，他们在隐私敏感域中的部署仍然有限。在私有数据上具有隐私约束的生成模型可以避免此挑战，而是提供对私有数据的间接访问。我们提出DP-Sinkhorn，一种新的最优传输的生成方法，用于从具有差异隐私的私有数据学习数据分布。 DP-Sinkhorn以差别私人方式在模型和数据之间的模型和数据之间最小化陷阱的分歧，将计算上有效的近似值，并在模型和数据之间使用新技术来控制梯度估计的偏差差异的偏差折衷。与现有的培训方法不同，差异私人生成模型主要基于生成的对抗网络，我们不依赖于对抗性目标，这令人惊叹的难以优化，特别是在隐私约束所施加的噪声存在下。因此，DP-Sinkhorn易于训练和部署。通过实验，我们改进了多种图像建模基准的最先进，并显示了差异私有的信息RGB图像综合。项目页面：https：//nv-tlabs.github.io/dp-sinkhorn。