旨在学习具有少量培训数据的生成模型的数据有效gan（DE-GAN）遇到了生成高质量样本的几个挑战。由于数据增强策略在很大程度上已经减轻了训练的不稳定性，因此如何进一步改善De-Gans的生成性能成为热点。最近，对比学习表明，提高了DE-GAN的合成质量的巨大潜力，但相关原则并未得到很好的探索。在本文中，我们对De-Gans中的不同对比度学习策略进行了比较，并确定（i）当前生成性能的瓶颈是潜在空间的不连续性； （ii）与其他对比的学习策略相比，实例扰动可用于潜在空间连续性，从而为De-Gans带来了重大改进。基于这些观察结果，我们提出了FakeClR，该观察只在扰动的假样品上应用对比度学习，并设计了三种相关的训练技术：与噪声​​相关的潜在增强，多样性吸引的排队和排队的遗忘因素。我们的实验结果表明了几乎没有发电和有限数据的新艺术状态。在多个数据集上，与现有DE-GAN相比，Fakeclr获得了15％以上的FID提高。代码可从https://github.com/iceli1007/fakeclr获得。

The performance of generative adversarial networks (GANs) heavily deteriorates given a limited amount of training data. This is mainly because the discriminator is memorizing the exact training set. To combat it, we propose Differentiable Augmentation (DiffAugment), a simple method that improves the data efficiency of GANs by imposing various types of differentiable augmentations on both real and fake samples. Previous attempts to directly augment the training data manipulate the distribution of real images, yielding little benefit; DiffAugment enables us to adopt the differentiable augmentation for the generated samples, effectively stabilizes training, and leads to better convergence. Experiments demonstrate consistent gains of our method over a variety of GAN architectures and loss functions for both unconditional and class-conditional generation. With DiffAugment, we achieve a state-of-the-art FID of 6.80 with an IS of 100.8 on ImageNet 128×128 and 2-4× reductions of FID given 1,000 images on FFHQ and LSUN. Furthermore, with only 20% training data, we can match the top performance on CIFAR-10 and CIFAR-100. Finally, our method can generate high-fidelity images using only 100 images without pre-training, while being on par with existing transfer learning algorithms. Code is available at https://github.com/mit-han-lab/data-efficient-gans.

通过区分真实和合成样品，鉴别器在训练生成对抗网络（GAN）中起着至关重要的作用。尽管实际数据分布保持不变，但由于发电机的发展，合成分布一直变化，从而影响鉴别器的BI分类任务的相应变化。我们认为，对其容量进行即时调整的歧视者可以更好地适应这种时间变化的任务。一项全面的实证研究证实，所提出的培训策略称为Dynamicd，改善了合成性能，而不会产生任何其他计算成本或培训目标。在不同的数据制度下开发了两个容量调整方案，用于培训gan：i）给定足够数量的培训数据，歧视者从逐渐增加的学习能力中受益，ii）ii）当培训数据受到限制时，逐渐减少层宽度的宽度减轻。歧视者的过度问题。在一系列数据集上进行的2D和3D感知图像合成任务的实验证实了我们的动力学的普遍性以及对基准的实质性改进。此外，Dynamicd与其他歧视器改进方法（包括数据增强，正规化器和预训练）具有协同作用，并且在将学习gans合并时会带来连续的性能增长。

生成的对抗网络（GANS）通常需要充分的数据进行培训，以综合高保真图像。最近的研究表明，由于鉴别器过度拟合，带有有限数据的培训GAN仍然是强大的，阻碍发电机收敛的根本原因。本文介绍了一种称为自适应伪增强（APA）的新战略，以鼓励发电机与鉴别者之间的健康竞争。作为依赖标准数据增强或模型正则化的现有方法的替代方法，APA通过采用发电机本身增加具有生成图像的真实数据分布来缓解过度装备，这使得判别符号自适应地欺骗鉴别器。广泛的实验证明了APA在降低数据制度中改善合成质量方面的有效性。我们提供了理论分析，以研究我们新培训策略的收敛性和合理性。 APA简单有效。它可以无缝添加到强大的当代GAN，例如Stylegan2，计算成本可忽略不计。

Generative Adversarial Networks (GANs) typically suffer from overfitting when limited training data is available. To facilitate GAN training, current methods propose to use data-specific augmentation techniques. Despite the effectiveness, it is difficult for these methods to scale to practical applications. In this work, we present ScoreMix, a novel and scalable data augmentation approach for various image synthesis tasks. We first produce augmented samples using the convex combinations of the real samples. Then, we optimize the augmented samples by minimizing the norms of the data scores, i.e., the gradients of the log-density functions. This procedure enforces the augmented samples close to the data manifold. To estimate the scores, we train a deep estimation network with multi-scale score matching. For different image synthesis tasks, we train the score estimation network using different data. We do not require the tuning of the hyperparameters or modifications to the network architecture. The ScoreMix method effectively increases the diversity of data and reduces the overfitting problem. Moreover, it can be easily incorporated into existing GAN models with minor modifications. Experimental results on numerous tasks demonstrate that GAN models equipped with the ScoreMix method achieve significant improvements.

使用诸如GAN的生成模型产生多样化和现实图像通常需要大量的图像训练。具有极其限制的数据培训的GAN可以容易地覆盖很少的训练样本，并显示出“楼梯”潜在的空间，如潜在空间的过渡存在不连续性，偶尔会产生输出的突然变化。在这项工作中，我们认为我们的兴趣或可转让源数据集没有大规模数据集的情况，并寻求培训具有最小的过度和模式折叠的现有生成模型。我们在发电机和对应鉴别器的特征空间上提出基于潜在的混合距离正则化，这促使这两个玩家不仅仅是关于稀缺观察到的数据点，而且驻留的特征空间中的相对距离。不同数据集的定性和定量评估表明，我们的方法通常适用于现有模型，以在有限数据的约束下提高保真度和多样性。代码将公开。

生成的对抗网络（GANS）能够生成从真实图像视觉无法区分的图像。然而，最近的研究表明，生成和实际图像在频域中共享显着差异。在本文中，我们探讨了高频分量在GAN训练中的影响。根据我们的观察，在大多数GAN的培训期间，严重的高频差异使鉴别器聚焦在过度高频成分上，阻碍了发电机拟合了对学习图像内容很重要的低频分量。然后，我们提出了两个简单但有效的频率操作，以消除由GAN训练的高频差异引起的副作用：高频混淆（HFC）和高频滤波器（HFF）。拟议的操作是一般的，可以应用于大多数现有的GAN，一小部分成本。在多丢失函数，网络架构和数据集中验证了所提出的操作的高级性能。具体而言，拟议的HFF在Celeba（128 * 128）基于SSNGAN的Celeba无条件生成的Celeba（128 * 128）无条件一代，在Celeba无条件一代基于SSGAN的13.2 \％$ 30.2 \％$ 69.3 \％$ 69.3 \％$ FID在Celeba无条件一代基于Infomaxgan。

这项工作旨在将在一个图像域上预先训练的生成的对抗网络（GaN）转移到新域名，其仅仅是只有一个目标图像。主要挑战是，在有限的监督下，综合照片现实和高度多样化的图像非常困难，同时获取目标的代表性。不同于采用Vanilla微调策略的现有方法，我们分别将两个轻量级模块导入发电机和鉴别器。具体地，我们将属性适配器引入发电机中冻结其原始参数，通过该参数，它可以通过其重复利用现有知识，因此保持合成质量和多样性。然后，我们用一个属性分类器装备了学习良好的鉴别器骨干，以确保生成器从引用中捕获相应的字符。此外，考虑到培训数据的多样性差（即，只有一个图像），我们建议在培训过程中建议在生成域中的多样性限制，减轻优化难度。我们的方法在各种环境下提出了吸引力的结果，基本上超越了最先进的替代方案，特别是在合成多样性方面。明显的是，我们的方法即使具有大域间隙，并且在几分钟内为每个实验提供鲁棒地收敛。

生成对抗网络（GAN）是最受欢迎的图像生成模型，在各种计算机视觉任务上取得了显着进度。但是，训练不稳定仍然是所有基于GAN的算法的开放问题之一。已经提出了许多方法来稳定gan的训练，其重点分别放在损失功能，正则化和归一化技术，训练算法和模型体系结构上。与上述方法不同，在本文中，提出了有关稳定gan训练的新观点。发现有时发电机产生的图像在训练过程中像歧视者的对抗示例一样，这可能是导致gan不稳定训练的原因的一部分。有了这一发现，我们提出了直接的对抗训练（DAT）方法来稳定gan的训练过程。此外，我们证明DAT方法能够适应歧视器的Lipschitz常数。 DAT的高级性能在多个损失功能，网络体系结构，超参数和数据集上进行了验证。具体而言，基于SSGAN的CIFAR-100无条件生成，DAT在CIFAR-100的无条件生成上实现了11.5％的FID，基于SSGAN的STL-10无条件生成的FID和基于SSGAN的LSUN卧室无条件生成的13.2％FID。代码将在https://github.com/iceli1007/dat-gan上找到

Generative adversarial network (GAN) is formulated as a two-player game between a generator (G) and a discriminator (D), where D is asked to differentiate whether an image comes from real data or is produced by G. Under such a formulation, D plays as the rule maker and hence tends to dominate the competition. Towards a fairer game in GANs, we propose a new paradigm for adversarial training, which makes G assign a task to D as well. Specifically, given an image, we expect D to extract representative features that can be adequately decoded by G to reconstruct the input. That way, instead of learning freely, D is urged to align with the view of G for domain classification. Experimental results on various datasets demonstrate the substantial superiority of our approach over the baselines. For instance, we improve the FID of StyleGAN2 from 4.30 to 2.55 on LSUN Bedroom and from 4.04 to 2.82 on LSUN Church. We believe that the pioneering attempt present in this work could inspire the community with better designed generator-leading tasks for GAN improvement.

近年来有条件的GAN已经成熟，并且能够产生高质量的现实形象。但是，计算资源和培训高质量的GAN所需的培训数据是巨大的，因此对这些模型的转移学习的研究是一个紧急话题。在本文中，我们探讨了从高质量预训练的无条件GAN到有条件的GAN的转移。为此，我们提出了基于HyperNetwork的自适应权重调制。此外，我们介绍了一个自我初始化过程，不需要任何真实数据才能初始化HyperNetwork参数。为了进一步提高知识转移的样本效率，我们建议使用自我监督（对比）损失来改善GaN判别者。在广泛的实验中，我们验证了多个标准基准上的Hypernetworks，自我初始化和对比损失的效率。

大规模训练的出现产生了强大的视觉识别模型的聚宝盆。然而，传统上以无人监督的方式从划痕训练的生成模型。可以利用来自一大堆预用的视觉模型的集体“知识”来改善GaN培训吗？如果是这样，有这么多的模型可供选择，应该选择哪一个，并且以什么方式最有效？我们发现预磨削的计算机视觉模型可以在鉴别器的集合中使用时显着提高性能。值得注意的是，所选模型的特定子集极大地影响性能。我们提出了一种有效的选择机制，通过探测预训练模型嵌入的实际和假样本之间的线性可分性，选择最准确的模型，并逐步将其添加到鉴别器集合中。有趣的是，我们的方法可以在有限的数据和大规模设置中提高GaN培训。只有10K培训样本，我们的LSUN猫的FID与1.6M图像培训的风格挂牌匹配。在完整的数据集上，我们的方法将FID提高了1.5倍的LSUN猫，教堂和马类的2倍。

生成的对抗网络（GANS）产生高质量的图像，但致力于训练。它们需要仔细正常化，大量计算和昂贵的超参数扫描。我们通过将生成和真实样本投影到固定的预级特征空间中，在这些问题上进行了重要的头路。发现鉴别者无法充分利用来自预押模型的更深层次的特征，我们提出了更有效的策略，可以在渠道和分辨率中混合特征。我们预计的GaN提高了图像质量，样品效率和收敛速度。它与最多一个百万像素的分辨率进一步兼容，并在二十二个基准数据集上推进最先进的FR \'Echet Inception距离（FID）。重要的是，预计的GAN符合先前最低的FID速度快40倍，鉴于相同的计算资源，将壁钟时间从5天切割到不到3小时。

培训有效的生成对抗性网络（GANS）需要大量的培训数据，但是训练型模型通常是用鉴别器过度拟合的次优。通过大规模和手工制作的数据增强，通过扩大有限培训数据的分布来解决此问题的几项问题。我们从一个非常不同的角度处理数据限制图像生成。具体而言，我们设计Genco，这是一种生成的共同培训网络，通过引入多种互补鉴别者来减轻鉴别者过度拟合问题，这些判别符号在培训中提供多种独特的观点来提供不同的监督。我们以两种方式实例化了Genco的想法。首先是重量差异共同训练（WECO），其通过多样化它们的参数共同列举多个独特的鉴别器。第二种方式是数据差异共同训练（DACO），其通过馈送具有输入图像的不同视图的鉴别器（例如，输入图像的不同频率分量）来实现共同训练。在多个基准上进行广泛的实验表明，Genco实现了具有有限培训数据的优异发电。此外，Genco还通过组合时补充了增强方法，并在结合时进行了一致和明确的性能。

条件生成的对抗性网络（CGAN）通过将类信息纳入GaN来生成现实图像。虽然最受欢迎的CGANS是一种辅助分类器GAN，但众所周知，随着数据集中的类别的数量增加，培训acgan正在挑战。偶数还倾向于产生缺乏多样性的容易甲型样本。在本文中，我们介绍了两种治疗方法。首先，我们识别分类器中的梯度爆炸可能会导致早期训练中的不良崩溃，并将输入向量投影到单元间隔子上可以解决问题。其次，我们提出了数据到数据跨熵丢失（D2D-CE）来利用类标记的数据集中的关系信息。在这个基础上，我们提出了重新启动的辅助分类器生成对抗网络（Reacgan）。实验结果表明，Reacgan在CIFAR10，微小想象成，CUB200和Imagenet数据集上实现了最先进的生成结果。我们还验证了来自可分辨率的增强的ReacanggaN的利益，以及D2D-CE与Stylegan2架构协调。模型权重和提供代表性CGANS实现的软件包和我们纸上的所有实验都可以在https://github.com/postech-cvlab/pytorch-studiogan获得。

GAN的进展使高分辨率的感性质量形象产生了产生。 stylegans允许通过数学操作对W/W+空间中的潜在样式向量进行数学操作进行引人入胜的属性修改，从而有效调节生成器的丰富层次结构表示。最近，此类操作已被推广到原始StyleGan纸中的属性交换之外，以包括插值。尽管StyleGans有许多重大改进，但仍被认为会产生不自然的图像。生成的图像的质量基于两个假设。 （a）生成器学到的层次表示的丰富性，以及（b）样式空间的线性和平滑度。在这项工作中，我们提出了一个层次的语义正常化程序（HSR），该层次正常化程序将生成器学到的层次表示与大量数据学到的相应的强大功能保持一致。 HSR不仅可以改善发电机的表示，还可以改善潜在风格空间的线性和平滑度，从而导致产生更自然的样式编辑的图像。为了证明线性改善，我们提出了一种新型的度量 - 属性线性评分（ALS）。通过改善感知路径长度（PPL）度量的改善，在不同的标准数据集中平均16.19％的不自然图像的生成显着降低，同时改善了属性编辑任务中属性变化的线性变化。

对于人工学习系统，随着时间的流逝，从数据流进行持续学习至关重要。对监督持续学习的新兴研究取得了长足的进步，而无监督学习中灾难性遗忘的研究仍然是空白的。在无监督的学习方法中，自居民学习方法在视觉表示上显示出巨大的潜力，而无需大规模标记的数据。为了改善自我监督学习的视觉表示，需要更大和更多的数据。在现实世界中，始终生成未标记的数据。这种情况为学习自我监督方法提供了巨大的优势。但是，在当前的范式中，将先前的数据和当前数据包装在一起并再次培训是浪费时间和资源。因此，迫切需要一种持续的自我监督学习方法。在本文中，我们首次尝试通过提出彩排方法来实现连续的对比自我监督学习，从而使以前的数据保持了一些典范。我们通过模仿旧网络通过一组保存的示例，通过模仿旧网络推断出的相似性分数分布，而不是将保存的示例与当前数据集结合到当前的培训数据集，而是利用自我监督的知识蒸馏将对比度信息传输到当前网络。此外，我们建立一个额外的样本队列，以帮助网络区分以前的数据和当前数据并在学习自己的功能表示时防止相互干扰。实验结果表明，我们的方法在CIFAR100和Imagenet-Sub上的性能很好。与基线的学习任务无需采用任何技术，我们将图像分类在CIFAR100上提高了1.60％，Imagenet-Sub上的2.86％，在10个增量步骤设置下对Imagenet-Full进行1.29％。

在本文中，我们通过将歧管学习步骤纳入鉴别器来改善生成的对抗网络。我们考虑了基于位置约束的线性和子空间的歧管，以及地方约束的非线性歧管。在我们的设计中，歧管学习和编码步骤与鉴别器的层交织在一起，其目标是将中间特征表示吸引到歧管上。我们自适应地平衡特征表示和歧管视图之间的差异，这代表了在歧管上的去噪和精炼歧管之间的折衷。我们得出结论，由于它们的不均匀密度和平滑度，地区限制的非线性歧管具有上部的线性歧管。我们对不同最近最新的基线显示出实质性的改进。

有条件图像生成的最新方法受益于密集的监督，例如分割标签图，以实现高保真性。但是，很少探索使用密集的监督进行无条件的图像生成。在这里，我们探讨了密集监督在无条件生成中的功效，找到生成器特征图可以替代成本昂贵的语义标签图。从我们的经验证据来看，我们提出了一种新的生成器引导的鉴别剂正则化（GGDR），其中生成器的特征地图监督了歧视者在无条件生成中具有丰富的语义表示。具体而言，我们采用了一个U-NET架构进行鉴别器，该体系结构经过训练，可以预测发电机特征图作为输入的伪造图像。关于Mulitple数据集的广泛实验表明，我们的GGDR始终在定量和定性方面提高基线方法的性能。代码可从https://github.com/naver-ai/ggdr获得

我们研究了GaN调理问题，其目标是使用标记数据将普雷雷尼的无条件GaN转换为条件GaN。我们首先识别并分析这一问题的三种方法 - 从头开始​​，微调和输入重新编程的条件GaN培训。我们的分析表明，当标记数据的数量很小时，输入重新编程执行最佳。通过稀缺标记数据的现实世界情景，我们专注于输入重编程方法，并仔细分析现有算法。在识别出先前输入重新编程方法的一些关键问题之后，我们提出了一种名为INREP +的新算法。我们的算法INREP +解决了现有问题，具有可逆性神经网络的新颖用途和正面未标记（PU）学习。通过广泛的实验，我们表明Inrep +优于所有现有方法，特别是当标签信息稀缺，嘈杂和/或不平衡时。例如，对于用1％标记数据调节CiFar10 GaN的任务，Inrep +实现了82.13的平均峰值，而第二个最佳方法达到114.51。