生成模型的培训尤其是生成的对抗网络可以在低数据设置中轻松分歧。为了减轻这个问题，我们提出了一种新颖的隐含数据增强方法，促进了稳定的培训和综合各种样品。具体地，我们将鉴别者视为真实数据歧管的度量嵌入，它在真实数据点之间提供适当的距离。然后，我们利用特征空间中的信息来开发数据驱动的增强方法。我们进一步提高了一个简单的指标来评估合成样本的多样性。少量发电任务的实验表明，与当前方法相比，我们的方法提高了结果的FID和多样性，并允许使用少于100个训练样本产生高质量和多样化的图像。

Generative Adversarial Networks (GANs) typically suffer from overfitting when limited training data is available. To facilitate GAN training, current methods propose to use data-specific augmentation techniques. Despite the effectiveness, it is difficult for these methods to scale to practical applications. In this work, we present ScoreMix, a novel and scalable data augmentation approach for various image synthesis tasks. We first produce augmented samples using the convex combinations of the real samples. Then, we optimize the augmented samples by minimizing the norms of the data scores, i.e., the gradients of the log-density functions. This procedure enforces the augmented samples close to the data manifold. To estimate the scores, we train a deep estimation network with multi-scale score matching. For different image synthesis tasks, we train the score estimation network using different data. We do not require the tuning of the hyperparameters or modifications to the network architecture. The ScoreMix method effectively increases the diversity of data and reduces the overfitting problem. Moreover, it can be easily incorporated into existing GAN models with minor modifications. Experimental results on numerous tasks demonstrate that GAN models equipped with the ScoreMix method achieve significant improvements.

The performance of generative adversarial networks (GANs) heavily deteriorates given a limited amount of training data. This is mainly because the discriminator is memorizing the exact training set. To combat it, we propose Differentiable Augmentation (DiffAugment), a simple method that improves the data efficiency of GANs by imposing various types of differentiable augmentations on both real and fake samples. Previous attempts to directly augment the training data manipulate the distribution of real images, yielding little benefit; DiffAugment enables us to adopt the differentiable augmentation for the generated samples, effectively stabilizes training, and leads to better convergence. Experiments demonstrate consistent gains of our method over a variety of GAN architectures and loss functions for both unconditional and class-conditional generation. With DiffAugment, we achieve a state-of-the-art FID of 6.80 with an IS of 100.8 on ImageNet 128×128 and 2-4× reductions of FID given 1,000 images on FFHQ and LSUN. Furthermore, with only 20% training data, we can match the top performance on CIFAR-10 and CIFAR-100. Finally, our method can generate high-fidelity images using only 100 images without pre-training, while being on par with existing transfer learning algorithms. Code is available at https://github.com/mit-han-lab/data-efficient-gans.

为了稳定地训练生成对抗网络（GAN），将实例噪声注入歧视器的输入中被认为是理论上的声音解决方案，但是，在实践中尚未实现其承诺。本文介绍了采用高斯混合物分布的扩散 - 在正向扩散链的所有扩散步骤中定义，以注入实例噪声。从观察到或生成的数据扩散的混合物中的随机样品被作为歧视器的输入。通过将其梯度通过前向扩散链进行反向传播来更新，该链的长度可自适应地调节以控制每个训练步骤允许的最大噪声与数据比率。理论分析验证了所提出的扩散gan的声音，该扩散器提供了模型和域 - 不可分割的可区分增强。在各种数据集上进行的一系列实验表明，扩散 - GAN可以提供稳定且具有数据效率的GAN训练，从而使对强GAN基准的性能保持一致，以综合构成照片现实的图像。

使用诸如GAN的生成模型产生多样化和现实图像通常需要大量的图像训练。具有极其限制的数据培训的GAN可以容易地覆盖很少的训练样本，并显示出“楼梯”潜在的空间，如潜在空间的过渡存在不连续性，偶尔会产生输出的突然变化。在这项工作中，我们认为我们的兴趣或可转让源数据集没有大规模数据集的情况，并寻求培训具有最小的过度和模式折叠的现有生成模型。我们在发电机和对应鉴别器的特征空间上提出基于潜在的混合距离正则化，这促使这两个玩家不仅仅是关于稀缺观察到的数据点，而且驻留的特征空间中的相对距离。不同数据集的定性和定量评估表明，我们的方法通常适用于现有模型，以在有限数据的约束下提高保真度和多样性。代码将公开。

The ability to automatically estimate the quality and coverage of the samples produced by a generative model is a vital requirement for driving algorithm research. We present an evaluation metric that can separately and reliably measure both of these aspects in image generation tasks by forming explicit, non-parametric representations of the manifolds of real and generated data. We demonstrate the effectiveness of our metric in StyleGAN and BigGAN by providing several illustrative examples where existing metrics yield uninformative or contradictory results. Furthermore, we analyze multiple design variants of StyleGAN to better understand the relationships between the model architecture, training methods, and the properties of the resulting sample distribution. In the process, we identify new variants that improve the state-of-the-art. We also perform the first principled analysis of truncation methods and identify an improved method. Finally, we extend our metric to estimate the perceptual quality of individual samples, and use this to study latent space interpolations.

有条件图像生成的最新方法受益于密集的监督，例如分割标签图，以实现高保真性。但是，很少探索使用密集的监督进行无条件的图像生成。在这里，我们探讨了密集监督在无条件生成中的功效，找到生成器特征图可以替代成本昂贵的语义标签图。从我们的经验证据来看，我们提出了一种新的生成器引导的鉴别剂正则化（GGDR），其中生成器的特征地图监督了歧视者在无条件生成中具有丰富的语义表示。具体而言，我们采用了一个U-NET架构进行鉴别器，该体系结构经过训练，可以预测发电机特征图作为输入的伪造图像。关于Mulitple数据集的广泛实验表明，我们的GGDR始终在定量和定性方面提高基线方法的性能。代码可从https://github.com/naver-ai/ggdr获得

我们提出了一种具有多个鉴别器的生成的对抗性网络，其中每个鉴别者都专门用于区分真实数据集的子集。这种方法有助于学习与底层数据分布重合的发电机，从而减轻慢性模式崩溃问题。从多项选择学习的灵感来看，我们引导每个判别者在整个数据的子集中具有专业知识，并允许发电机在没有监督训练示例和鉴别者的数量的情况下自动找到潜伏和真实数据空间之间的合理对应关系。尽管使用多种鉴别器，但骨干网络在鉴别器中共享，并且培训成本的增加最小化。我们使用多个评估指标展示了我们算法在标准数据集中的有效性。

生成的对抗网络（GANS）产生高质量的图像，但致力于训练。它们需要仔细正常化，大量计算和昂贵的超参数扫描。我们通过将生成和真实样本投影到固定的预级特征空间中，在这些问题上进行了重要的头路。发现鉴别者无法充分利用来自预押模型的更深层次的特征，我们提出了更有效的策略，可以在渠道和分辨率中混合特征。我们预计的GaN提高了图像质量，样品效率和收敛速度。它与最多一个百万像素的分辨率进一步兼容，并在二十二个基准数据集上推进最先进的FR \'Echet Inception距离（FID）。重要的是，预计的GAN符合先前最低的FID速度快40倍，鉴于相同的计算资源，将壁钟时间从5天切割到不到3小时。

旨在学习具有少量培训数据的生成模型的数据有效gan（DE-GAN）遇到了生成高质量样本的几个挑战。由于数据增强策略在很大程度上已经减轻了训练的不稳定性，因此如何进一步改善De-Gans的生成性能成为热点。最近，对比学习表明，提高了DE-GAN的合成质量的巨大潜力，但相关原则并未得到很好的探索。在本文中，我们对De-Gans中的不同对比度学习策略进行了比较，并确定（i）当前生成性能的瓶颈是潜在空间的不连续性； （ii）与其他对比的学习策略相比，实例扰动可用于潜在空间连续性，从而为De-Gans带来了重大改进。基于这些观察结果，我们提出了FakeClR，该观察只在扰动的假样品上应用对比度学习，并设计了三种相关的训练技术：与噪声​​相关的潜在增强，多样性吸引的排队和排队的遗忘因素。我们的实验结果表明了几乎没有发电和有限数据的新艺术状态。在多个数据集上，与现有DE-GAN相比，Fakeclr获得了15％以上的FID提高。代码可从https://github.com/iceli1007/fakeclr获得。

Training generative adversarial networks (GAN) using too little data typically leads to discriminator overfitting, causing training to diverge. We propose an adaptive discriminator augmentation mechanism that significantly stabilizes training in limited data regimes. The approach does not require changes to loss functions or network architectures, and is applicable both when training from scratch and when fine-tuning an existing GAN on another dataset. We demonstrate, on several datasets, that good results are now possible using only a few thousand training images, often matching StyleGAN2 results with an order of magnitude fewer images. We expect this to open up new application domains for GANs. We also find that the widely used CIFAR-10 is, in fact, a limited data benchmark, and improve the record FID from 5.59 to 2.42.

在生成的对抗网络中，改进鉴别器是生成性能的关键组件之一。由于图像分类器偏向纹理和脱扎，提高了准确性，我们调查1）如果判别者被偏见，而且2）如果脱位鉴别者将提高发电表现。实际上，我们发现实证证据证明鉴别者对图像的风格（\ equeg。，纹理和颜色）敏感。作为一个补救措施，我们提出了功能统计混合正常化（FSMR），鼓励鉴别者的预测不变于输入图像的样式。具体地，我们在鉴别者的特征空间中生成原始的混合特征和参考图像，并且我们应用正则化，使得混合特征的预测与原始图像的预测一致。我们进行了广泛的实验，以证明我们的正则化导致对风格的敏感性降低，一致地提高了九个数据集上各种GAN架构的性能。此外，将FSMR添加到最近提出的基于增强的GaN方法进一步提高了图像质量。代码将在线公开提供研究界。

生成对抗网络（GAN）是现实图像合成的最新生成模型之一。虽然培训和评估GAN变得越来越重要，但当前的GAN研究生态系统并未提供可靠的基准，以始终如一地进行评估。此外，由于GAN实施很少，因此研究人员将大量时间用于重现基线。我们研究了GAN方法的分类法，并提出了一个名为Studiogan的新开源库。 Studiogan支持7种GAN体系结构，9种调理方法，4种对抗损失，13个正则化模块，3个可区分的增强，7个评估指标和5个评估骨干。通过我们的培训和评估协议，我们使用各种数据集（CIFAR10，ImageNet，AFHQV2，FFHQ和Baby/Papa/Granpa-Imagenet）和3个不同的评估骨干（InceptionV3，Swav，Swav和Swin Transformer）提出了大规模的基准。与GAN社区中使用的其他基准不同，我们在统一的培训管道中培训了包括Biggan，stylegan2和stylegan3在内的代表GAN，并使用7个评估指标量化了生成性能。基准测试评估其他尖端生成模型（例如，stylegan-xl，adm，maskgit和rq-transformer）。 Studiogan提供了预先训练的权重的GAN实现，培训和评估脚本。 Studiogan可从https://github.com/postech-cvlab/pytorch-studiogan获得。

培训有效的生成对抗性网络（GANS）需要大量的培训数据，但是训练型模型通常是用鉴别器过度拟合的次优。通过大规模和手工制作的数据增强，通过扩大有限培训数据的分布来解决此问题的几项问题。我们从一个非常不同的角度处理数据限制图像生成。具体而言，我们设计Genco，这是一种生成的共同培训网络，通过引入多种互补鉴别者来减轻鉴别者过度拟合问题，这些判别符号在培训中提供多种独特的观点来提供不同的监督。我们以两种方式实例化了Genco的想法。首先是重量差异共同训练（WECO），其通过多样化它们的参数共同列举多个独特的鉴别器。第二种方式是数据差异共同训练（DACO），其通过馈送具有输入图像的不同视图的鉴别器（例如，输入图像的不同频率分量）来实现共同训练。在多个基准上进行广泛的实验表明，Genco实现了具有有限培训数据的优异发电。此外，Genco还通过组合时补充了增强方法，并在结合时进行了一致和明确的性能。

建模生物软组织是由于材料异质性而部分复杂的。微观结构模式在定义这些组织的机械行为方面起着主要作用，既具有挑战性，又难以模拟。最近，基于机器学习的方法来预测异质材料的机械行为，使得更彻底地探索与异质材料块相关的大量输入参数空间。具体而言，我们可以训练机器学习（ML）模型，以近似于计算上昂贵的异质材料模拟，其中ML模型在模拟的数据集上进行了训练，该模拟捕获了感兴趣的材料中存在的空间异质性范围。但是，在更广泛地将这些技术应用于生物组织时，存在一个主要的局限性：相关的微观结构模式既具有挑战性又难以分析。因此，可用于表征正在研究的输入域的有用示例的数量有限。在这项工作中，我们研究了基于ML的生成模型以及程序方法的功效，作为增强有限输入模式数据集的工具。我们发现，具有自适应判别器增强器的基于样式的生成对抗网络能够成功利用1,000个示例模式来创建最真实的生成模式。通常，与真实模式有足够相似之处的不同生成模式可以用作有限元模拟的输入，以有意义地增强训练数据集。为了实现这一方法论贡献，我们创建了一个基于Cahn-Hilliard模式的有限元分析模拟的开放访问数据集。我们预计未来的研究人员将能够利用此数据集并基于此处介绍的工作。

Deep neural networks excel at learning the training data, but often provide incorrect and confident predictions when evaluated on slightly different test examples. This includes distribution shifts, outliers, and adversarial examples. To address these issues, we propose Manifold Mixup, a simple regularizer that encourages neural networks to predict less confidently on interpolations of hidden representations. Manifold Mixup leverages semantic interpolations as additional training signal, obtaining neural networks with smoother decision boundaries at multiple levels of representation. As a result, neural networks trained with Manifold Mixup learn class-representations with fewer directions of variance. We prove theory on why this flattening happens under ideal conditions, validate it on practical situations, and connect it to previous works on information theory and generalization. In spite of incurring no significant computation and being implemented in a few lines of code, Manifold Mixup improves strong baselines in supervised learning, robustness to single-step adversarial attacks, and test log-likelihood.

条件生成的对抗性网络（CGAN）通过将类信息纳入GaN来生成现实图像。虽然最受欢迎的CGANS是一种辅助分类器GAN，但众所周知，随着数据集中的类别的数量增加，培训acgan正在挑战。偶数还倾向于产生缺乏多样性的容易甲型样本。在本文中，我们介绍了两种治疗方法。首先，我们识别分类器中的梯度爆炸可能会导致早期训练中的不良崩溃，并将输入向量投影到单元间隔子上可以解决问题。其次，我们提出了数据到数据跨熵丢失（D2D-CE）来利用类标记的数据集中的关系信息。在这个基础上，我们提出了重新启动的辅助分类器生成对抗网络（Reacgan）。实验结果表明，Reacgan在CIFAR10，微小想象成，CUB200和Imagenet数据集上实现了最先进的生成结果。我们还验证了来自可分辨率的增强的ReacanggaN的利益，以及D2D-CE与Stylegan2架构协调。模型权重和提供代表性CGANS实现的软件包和我们纸上的所有实验都可以在https://github.com/postech-cvlab/pytorch-studiogan获得。

大规模训练的出现产生了强大的视觉识别模型的聚宝盆。然而，传统上以无人监督的方式从划痕训练的生成模型。可以利用来自一大堆预用的视觉模型的集体“知识”来改善GaN培训吗？如果是这样，有这么多的模型可供选择，应该选择哪一个，并且以什么方式最有效？我们发现预磨削的计算机视觉模型可以在鉴别器的集合中使用时显着提高性能。值得注意的是，所选模型的特定子集极大地影响性能。我们提出了一种有效的选择机制，通过探测预训练模型嵌入的实际和假样本之间的线性可分性，选择最准确的模型，并逐步将其添加到鉴别器集合中。有趣的是，我们的方法可以在有限的数据和大规模设置中提高GaN培训。只有10K培训样本，我们的LSUN猫的FID与1.6M图像培训的风格挂牌匹配。在完整的数据集上，我们的方法将FID提高了1.5倍的LSUN猫，教堂和马类的2倍。

Large deep neural networks are powerful, but exhibit undesirable behaviors such as memorization and sensitivity to adversarial examples. In this work, we propose mixup, a simple learning principle to alleviate these issues. In essence, mixup trains a neural network on convex combinations of pairs of examples and their labels. By doing so, mixup regularizes the neural network to favor simple linear behavior in-between training examples. Our experiments on the ImageNet-2012, CIFAR-10, CIFAR-100, Google commands and UCI datasets show that mixup improves the generalization of state-of-the-art neural network architectures. We also find that mixup reduces the memorization of corrupt labels, increases the robustness to adversarial examples, and stabilizes the training of generative adversarial networks.

近年来有条件的GAN已经成熟，并且能够产生高质量的现实形象。但是，计算资源和培训高质量的GAN所需的培训数据是巨大的，因此对这些模型的转移学习的研究是一个紧急话题。在本文中，我们探讨了从高质量预训练的无条件GAN到有条件的GAN的转移。为此，我们提出了基于HyperNetwork的自适应权重调制。此外，我们介绍了一个自我初始化过程，不需要任何真实数据才能初始化HyperNetwork参数。为了进一步提高知识转移的样本效率，我们建议使用自我监督（对比）损失来改善GaN判别者。在广泛的实验中，我们验证了多个标准基准上的Hypernetworks，自我初始化和对比损失的效率。