FR \'Echet Inception距离（FID）是在数据驱动的生成建模中对模型进行排名的主要度量。虽然非常成功，但众所周知，该指标有时不同意人类的判断力。我们研究了这些差异的根本原因，并可视化生成图像中的FID“看”的内容。我们表明，FID（通常）计算的功能空间非常接近成像网分类，以使生成图像和真实图像集之间的顶部 - $ n $分类的直方图可大大降低FID - 而无需实际提高质量结果。因此，我们得出结论，FID容易出现故意或意外扭曲。作为偶然失真的实际例子，我们讨论了一个Imagenet预先训练的封装可以实现与stylegan2相当的情况的情况，同时在人类评估方面变得更糟

The ability to automatically estimate the quality and coverage of the samples produced by a generative model is a vital requirement for driving algorithm research. We present an evaluation metric that can separately and reliably measure both of these aspects in image generation tasks by forming explicit, non-parametric representations of the manifolds of real and generated data. We demonstrate the effectiveness of our metric in StyleGAN and BigGAN by providing several illustrative examples where existing metrics yield uninformative or contradictory results. Furthermore, we analyze multiple design variants of StyleGAN to better understand the relationships between the model architecture, training methods, and the properties of the resulting sample distribution. In the process, we identify new variants that improve the state-of-the-art. We also perform the first principled analysis of truncation methods and identify an improved method. Finally, we extend our metric to estimate the perceptual quality of individual samples, and use this to study latent space interpolations.

Training generative adversarial networks (GAN) using too little data typically leads to discriminator overfitting, causing training to diverge. We propose an adaptive discriminator augmentation mechanism that significantly stabilizes training in limited data regimes. The approach does not require changes to loss functions or network architectures, and is applicable both when training from scratch and when fine-tuning an existing GAN on another dataset. We demonstrate, on several datasets, that good results are now possible using only a few thousand training images, often matching StyleGAN2 results with an order of magnitude fewer images. We expect this to open up new application domains for GANs. We also find that the widely used CIFAR-10 is, in fact, a limited data benchmark, and improve the record FID from 5.59 to 2.42.

生成的对抗网络（GANS）产生高质量的图像，但致力于训练。它们需要仔细正常化，大量计算和昂贵的超参数扫描。我们通过将生成和真实样本投影到固定的预级特征空间中，在这些问题上进行了重要的头路。发现鉴别者无法充分利用来自预押模型的更深层次的特征，我们提出了更有效的策略，可以在渠道和分辨率中混合特征。我们预计的GaN提高了图像质量，样品效率和收敛速度。它与最多一个百万像素的分辨率进一步兼容，并在二十二个基准数据集上推进最先进的FR \'Echet Inception距离（FID）。重要的是，预计的GAN符合先前最低的FID速度快40倍，鉴于相同的计算资源，将壁钟时间从5天切割到不到3小时。

The style-based GAN architecture (StyleGAN) yields state-of-the-art results in data-driven unconditional generative image modeling. We expose and analyze several of its characteristic artifacts, and propose changes in both model architecture and training methods to address them. In particular, we redesign the generator normalization, revisit progressive growing, and regularize the generator to encourage good conditioning in the mapping from latent codes to images. In addition to improving image quality, this path length regularizer yields the additional benefit that the generator becomes significantly easier to invert. This makes it possible to reliably attribute a generated image to a particular network. We furthermore visualize how well the generator utilizes its output resolution, and identify a capacity problem, motivating us to train larger models for additional quality improvements. Overall, our improved model redefines the state of the art in unconditional image modeling, both in terms of existing distribution quality metrics as well as perceived image quality.

我们制定了一种评估给定两组图像的生成网络性能的度量。当前用于执行此操作的流行绩效指标是Fr \'Echet Inception距离（FID）。 FID假设使用Inception-V3的倒数第二层遵循高斯分布来特征的图像，如果我们希望将FID用作度量标准，则不会违反这种假设。但是，我们表明，ImakeNet数据集的Inception-V3特征不是高斯。特别是，每个边缘都不是高斯。为了解决这个问题，我们使用高斯混合模型（GMM）对特征图像进行建模，并计算限于GMM的2-Wasserstein距离。我们通过使用Inception-V3（或其他分类器）在两组图像上定义了一个称为WAM的性能度量，以表征图像，估算两个GMM，并使用受限的$ 2 $ - WASSERSTEIN距离比较GMMS。我们通过实验表明WAM比FID的优势，包括FID比WAM对不可察觉的图像扰动更敏感。通过建模从Inception-V3作为GMM获得的非高斯特征并使用GMM度量，我们可以更准确地评估生成网络性能。

模型反转攻击（MIAS）旨在创建合成图像，通过利用模型的学习知识来反映目标分类器的私人培训数据中的班级特征。先前的研究开发了生成的MIA，该MIA使用生成的对抗网络（GAN）作为针对特定目标模型的图像先验。这使得攻击时间和资源消耗，不灵活，并且容易受到数据集之间的分配变化的影响。为了克服这些缺点，我们提出了插头攻击，从而放宽了目标模型和图像之前的依赖性，并启用单个GAN来攻击广泛的目标，仅需要对攻击进行少量调整。此外，我们表明，即使在公开获得的预训练的gan和强烈的分配转变下，也可以实现强大的MIA，而先前的方法无法产生有意义的结果。我们的广泛评估证实了插头攻击的鲁棒性和灵活性，以及​​它们创建高质量图像的能力，揭示了敏感的类特征。

生成模型的评估主要基于特定特征空间中估计分布和地面真实分布之间的比较。为了将样本嵌入信息丰富的特征中，以前的作品经常使用针对分类进行优化的卷积神经网络，这是最近的研究批评。因此，已经探索了各种特征空间以发现替代方案。其中，一种令人惊讶的方法是使用随机初始化的神经网络进行功能嵌入。但是，采用随机特征的基本依据尚未足够合理。在本文中，我们严格研究具有随机权重的模型的特征空间，与训练有素的模型相比。此外，我们提供了一个经验证据，可以选择网络以获取随机特征以获得一致可靠的结果。我们的结果表明，随机网络的功能可以与训练有素的网络相似，可以很好地评估生成模型，此外，这两种功能可以以互补的方式一起使用。

这项工作评估了生成模型的质量度量的鲁棒性，例如INPECTION评分（IS）和FR \'Echet Inception距离（FID）。类似于深层模型对各种对抗性攻击的脆弱性，我们表明这种指标也可以通过添加剂像素扰动来操纵。我们的实验表明，可以生成分数很高但知觉质量低的图像分布。相反，人们可以优化对小型扰动，当将其添加到现实世界图像中时，会使他们的分数恶化。我们进一步将评估扩展到生成模型本身，包括最先进的网络样式。我们展示了生成模型和FID的脆弱性，反对潜在空间中的累加扰动。最后，我们证明，通过简单地以强大的启动来代替标准发明，可以强大地实现FID。我们通过广泛的实验来验证鲁棒度量的有效性，这表明它对操纵更为强大。

近年来，隐含的生成模型（例如生成对抗网络和扩散模型）已变得普遍。虽然这些模型确实显示出了显着的结果，但评估其性能是具有挑战性的。这个问题对于推动研究并从随机噪声中确定有意义的收益至关重要。当前，启发式指标（例如INCEPTION评分（IS）和特雷希特（Frechet Inception）距离（FID）是最常见的评估指标，但是它们所测量的内容尚不完全清楚。此外，关于他们的分数实际有多有意义的问题。在这项工作中，我们通过生成高质量的合成数据集来研究生成模型的评估指标，我们可以在该数据集中估算经典指标以进行比较。我们的研究表明，尽管FID和与几个F-Diverence确实相关，但它们的近距离模型的排名可能会差异很大，因此在用于Fain Graining比较时，它们有问题。我们进一步使用了这种实验环境来研究哪些评估度量与我们的概率指标相关。最后，我们研究用于FID等指标的基本功能。

评估图像生成模型（例如生成对抗网络（GAN））是一个具有挑战性的问题。一种常见的方法是比较地面真相图像集和生成的测试图像集的分布。 Frech \'Et启动距离是评估gan的最广泛使用的指标之一，该指标假定一组图像的训练有素的启动模型中的特征遵循正态分布。在本文中，我们认为这是一个过度简化的假设，这可能会导致不可靠的评估结果，并且可以使用截断的广义正态分布来实现更准确的密度估计。基于此，我们提出了一个新的度量，以准确评估gan，称为趋势（截断了截断的正常密度估计，对嵌入植物的嵌入）。我们证明我们的方法大大减少了密度估计的错误，因此消除了评估结果错误的风险。此外，我们表明所提出的指标可显着提高评估结果的鲁棒性，以防止图像样品数量变化。

生成对抗网络（GAN）是现实图像合成的最新生成模型之一。虽然培训和评估GAN变得越来越重要，但当前的GAN研究生态系统并未提供可靠的基准，以始终如一地进行评估。此外，由于GAN实施很少，因此研究人员将大量时间用于重现基线。我们研究了GAN方法的分类法，并提出了一个名为Studiogan的新开源库。 Studiogan支持7种GAN体系结构，9种调理方法，4种对抗损失，13个正则化模块，3个可区分的增强，7个评估指标和5个评估骨干。通过我们的培训和评估协议，我们使用各种数据集（CIFAR10，ImageNet，AFHQV2，FFHQ和Baby/Papa/Granpa-Imagenet）和3个不同的评估骨干（InceptionV3，Swav，Swav和Swin Transformer）提出了大规模的基准。与GAN社区中使用的其他基准不同，我们在统一的培训管道中培训了包括Biggan，stylegan2和stylegan3在内的代表GAN，并使用7个评估指标量化了生成性能。基准测试评估其他尖端生成模型（例如，stylegan-xl，adm，maskgit和rq-transformer）。 Studiogan提供了预先训练的权重的GAN实现，培训和评估脚本。 Studiogan可从https://github.com/postech-cvlab/pytorch-studiogan获得。

大规模训练的出现产生了强大的视觉识别模型的聚宝盆。然而，传统上以无人监督的方式从划痕训练的生成模型。可以利用来自一大堆预用的视觉模型的集体“知识”来改善GaN培训吗？如果是这样，有这么多的模型可供选择，应该选择哪一个，并且以什么方式最有效？我们发现预磨削的计算机视觉模型可以在鉴别器的集合中使用时显着提高性能。值得注意的是，所选模型的特定子集极大地影响性能。我们提出了一种有效的选择机制，通过探测预训练模型嵌入的实际和假样本之间的线性可分性，选择最准确的模型，并逐步将其添加到鉴别器集合中。有趣的是，我们的方法可以在有限的数据和大规模设置中提高GaN培训。只有10K培训样本，我们的LSUN猫的FID与1.6M图像培训的风格挂牌匹配。在完整的数据集上，我们的方法将FID提高了1.5倍的LSUN猫，教堂和马类的2倍。

We describe a new training methodology for generative adversarial networks. The key idea is to grow both the generator and discriminator progressively: starting from a low resolution, we add new layers that model increasingly fine details as training progresses. This both speeds the training up and greatly stabilizes it, allowing us to produce images of unprecedented quality, e.g., CELEBA images at 1024 2 . We also propose a simple way to increase the variation in generated images, and achieve a record inception score of 8.80 in unsupervised CIFAR10. Additionally, we describe several implementation details that are important for discouraging unhealthy competition between the generator and discriminator. Finally, we suggest a new metric for evaluating GAN results, both in terms of image quality and variation. As an additional contribution, we construct a higher-quality version of the CELEBA dataset.

利用深度学习的最新进展，文本到图像生成模型目前具有吸引公众关注的优点。其中两个模型Dall-E 2和Imagen已经证明，可以从图像的简单文本描述中生成高度逼真的图像。基于一种称为扩散模型的新型图像生成方法，文本对图像模型可以生产许多不同类型的高分辨率图像，其中人类想象力是唯一的极限。但是，这些模型需要大量的计算资源来训练，并处理从互联网收集的大量数据集。此外，代码库和模型均未发布。因此，它可以防止AI社区尝试这些尖端模型，从而使其结果复制变得复杂，即使不是不可能。在本文中，我们的目标是首先回顾这些模型使用的不同方法和技术，然后提出我们自己的文本模型模型实施。高度基于DALL-E 2，我们引入了一些轻微的修改，以应对所引起的高计算成本。因此，我们有机会进行实验，以了解这些模型的能力，尤其是在低资源制度中。特别是，我们提供了比Dall-e 2的作者（包括消融研究）更深入的分析。此外，扩散模型使用所谓的指导方法来帮助生成过程。我们引入了一种新的指导方法，该方法可以与其他指导方法一起使用，以提高图像质量。最后，我们的模型产生的图像质量相当好，而不必维持最先进的文本对图像模型的重大培训成本。

与CNN的分类，分割或对象检测相比，生成网络的目标和方法根本不同。最初，它们不是作为图像分析工具，而是生成自然看起来的图像。已经提出了对抗性训练范式来稳定生成方法，并已被证明是非常成功的 - 尽管绝不是第一次尝试。本章对生成对抗网络（GAN）的动机进行了基本介绍，并通​​过抽象基本任务和工作机制并得出了早期实用方法的困难来追溯其成功的道路。将显示进行更稳定的训练方法，也将显示出不良收敛及其原因的典型迹象。尽管本章侧重于用于图像生成和图像分析的gan，但对抗性训练范式本身并非特定于图像，并且在图像分析中也概括了任务。在将GAN与最近进入场景的进一步生成建模方法进行对比之前，将闻名图像语义分割和异常检测的架构示例。这将允许对限制的上下文化观点，但也可以对gans有好处。

We propose an alternative generator architecture for generative adversarial networks, borrowing from style transfer literature. The new architecture leads to an automatically learned, unsupervised separation of high-level attributes (e.g., pose and identity when trained on human faces) and stochastic variation in the generated images (e.g., freckles, hair), and it enables intuitive, scale-specific control of the synthesis. The new generator improves the state-of-the-art in terms of traditional distribution quality metrics, leads to demonstrably better interpolation properties, and also better disentangles the latent factors of variation. To quantify interpolation quality and disentanglement, we propose two new, automated methods that are applicable to any generator architecture. Finally, we introduce a new, highly varied and high-quality dataset of human faces.

We show that diffusion models can achieve image sample quality superior to the current state-of-the-art generative models. We achieve this on unconditional image synthesis by finding a better architecture through a series of ablations. For conditional image synthesis, we further improve sample quality with classifier guidance: a simple, compute-efficient method for trading off diversity for fidelity using gradients from a classifier. We achieve an FID of 2.97 on ImageNet 128×128, 4.59 on ImageNet 256×256, and 7.72 on ImageNet 512×512, and we match BigGAN-deep even with as few as 25 forward passes per sample, all while maintaining better coverage of the distribution. Finally, we find that classifier guidance combines well with upsampling diffusion models, further improving FID to 3.94 on ImageNet 256×256 and 3.85 on ImageNet 512×512. We release our code at https://github.com/openai/guided-diffusion.

在本文中，我们对单一和多对象文本到图像合成的最先进方法进行了研究，并提出了用于评估这些方法的共同框架。我们首先识别当前评估文本到图像模型的几个常见问题，即：（i）用于图像质量评估的常用度量，例如，Inception得分（是），通常是对单个对象的错误匹配案例或滥用多目标案例; （ii）在现有的R精度（RP）和SOA度量中出现过烧点现象，用于分别评估文本相关性和对象精度方面; （iii）在多目标案例评估中的许多重要因素主要被解雇，例如对象保真度，位置对准，计数对准; （iv）基于当前度量的方法的排名与真实图像高度不一致。然后，为了克服这些限制，我们提出了一个组合的现有和新度量标准，以系统地评估方法。对于现有的指标，我们通过使用温度缩放来校准所使用的分类器的置信度的改进版本的名称为*;我们还提出了一种解决方案来减轻RP和SOA的过度问题。关于在多目标情况下缺乏重要评估因素的一套新度量，我们开发CA用于计数对齐，PA用于定位对齐，以对象为中心，是（O-IS），以对象为中心的FID（O- FID）对于对象保真度。因此，我们的基准导致现有方法中高度一致的排名，与人类评估良好。我们还通过众所周知的Attngan简单修改，为基准创建一个强大的基线模型（Attngan ++）。我们将发布此工具箱进行统一评估，所谓的明智，以标准化文本到图像综合模型的评估。

The performance of generative adversarial networks (GANs) heavily deteriorates given a limited amount of training data. This is mainly because the discriminator is memorizing the exact training set. To combat it, we propose Differentiable Augmentation (DiffAugment), a simple method that improves the data efficiency of GANs by imposing various types of differentiable augmentations on both real and fake samples. Previous attempts to directly augment the training data manipulate the distribution of real images, yielding little benefit; DiffAugment enables us to adopt the differentiable augmentation for the generated samples, effectively stabilizes training, and leads to better convergence. Experiments demonstrate consistent gains of our method over a variety of GAN architectures and loss functions for both unconditional and class-conditional generation. With DiffAugment, we achieve a state-of-the-art FID of 6.80 with an IS of 100.8 on ImageNet 128×128 and 2-4× reductions of FID given 1,000 images on FFHQ and LSUN. Furthermore, with only 20% training data, we can match the top performance on CIFAR-10 and CIFAR-100. Finally, our method can generate high-fidelity images using only 100 images without pre-training, while being on par with existing transfer learning algorithms. Code is available at https://github.com/mit-han-lab/data-efficient-gans.