通过区分真实和合成样品，鉴别器在训练生成对抗网络（GAN）中起着至关重要的作用。尽管实际数据分布保持不变，但由于发电机的发展，合成分布一直变化，从而影响鉴别器的BI分类任务的相应变化。我们认为，对其容量进行即时调整的歧视者可以更好地适应这种时间变化的任务。一项全面的实证研究证实，所提出的培训策略称为Dynamicd，改善了合成性能，而不会产生任何其他计算成本或培训目标。在不同的数据制度下开发了两个容量调整方案，用于培训gan：i）给定足够数量的培训数据，歧视者从逐渐增加的学习能力中受益，ii）ii）当培训数据受到限制时，逐渐减少层宽度的宽度减轻。歧视者的过度问题。在一系列数据集上进行的2D和3D感知图像合成任务的实验证实了我们的动力学的普遍性以及对基准的实质性改进。此外，Dynamicd与其他歧视器改进方法（包括数据增强，正规化器和预训练）具有协同作用，并且在将学习gans合并时会带来连续的性能增长。

Generative adversarial network (GAN) is formulated as a two-player game between a generator (G) and a discriminator (D), where D is asked to differentiate whether an image comes from real data or is produced by G. Under such a formulation, D plays as the rule maker and hence tends to dominate the competition. Towards a fairer game in GANs, we propose a new paradigm for adversarial training, which makes G assign a task to D as well. Specifically, given an image, we expect D to extract representative features that can be adequately decoded by G to reconstruct the input. That way, instead of learning freely, D is urged to align with the view of G for domain classification. Experimental results on various datasets demonstrate the substantial superiority of our approach over the baselines. For instance, we improve the FID of StyleGAN2 from 4.30 to 2.55 on LSUN Bedroom and from 4.04 to 2.82 on LSUN Church. We believe that the pioneering attempt present in this work could inspire the community with better designed generator-leading tasks for GAN improvement.

这项工作旨在将在一个图像域上预先训练的生成的对抗网络（GaN）转移到新域名，其仅仅是只有一个目标图像。主要挑战是，在有限的监督下，综合照片现实和高度多样化的图像非常困难，同时获取目标的代表性。不同于采用Vanilla微调策略的现有方法，我们分别将两个轻量级模块导入发电机和鉴别器。具体地，我们将属性适配器引入发电机中冻结其原始参数，通过该参数，它可以通过其重复利用现有知识，因此保持合成质量和多样性。然后，我们用一个属性分类器装备了学习良好的鉴别器骨干，以确保生成器从引用中捕获相应的字符。此外，考虑到培训数据的多样性差（即，只有一个图像），我们建议在培训过程中建议在生成域中的多样性限制，减轻优化难度。我们的方法在各种环境下提出了吸引力的结果，基本上超越了最先进的替代方案，特别是在合成多样性方面。明显的是，我们的方法即使具有大域间隙，并且在几分钟内为每个实验提供鲁棒地收敛。

Generative Adversarial Networks (GANs) typically suffer from overfitting when limited training data is available. To facilitate GAN training, current methods propose to use data-specific augmentation techniques. Despite the effectiveness, it is difficult for these methods to scale to practical applications. In this work, we present ScoreMix, a novel and scalable data augmentation approach for various image synthesis tasks. We first produce augmented samples using the convex combinations of the real samples. Then, we optimize the augmented samples by minimizing the norms of the data scores, i.e., the gradients of the log-density functions. This procedure enforces the augmented samples close to the data manifold. To estimate the scores, we train a deep estimation network with multi-scale score matching. For different image synthesis tasks, we train the score estimation network using different data. We do not require the tuning of the hyperparameters or modifications to the network architecture. The ScoreMix method effectively increases the diversity of data and reduces the overfitting problem. Moreover, it can be easily incorporated into existing GAN models with minor modifications. Experimental results on numerous tasks demonstrate that GAN models equipped with the ScoreMix method achieve significant improvements.

旨在学习具有少量培训数据的生成模型的数据有效gan（DE-GAN）遇到了生成高质量样本的几个挑战。由于数据增强策略在很大程度上已经减轻了训练的不稳定性，因此如何进一步改善De-Gans的生成性能成为热点。最近，对比学习表明，提高了DE-GAN的合成质量的巨大潜力，但相关原则并未得到很好的探索。在本文中，我们对De-Gans中的不同对比度学习策略进行了比较，并确定（i）当前生成性能的瓶颈是潜在空间的不连续性； （ii）与其他对比的学习策略相比，实例扰动可用于潜在空间连续性，从而为De-Gans带来了重大改进。基于这些观察结果，我们提出了FakeClR，该观察只在扰动的假样品上应用对比度学习，并设计了三种相关的训练技术：与噪声​​相关的潜在增强，多样性吸引的排队和排队的遗忘因素。我们的实验结果表明了几乎没有发电和有限数据的新艺术状态。在多个数据集上，与现有DE-GAN相比，Fakeclr获得了15％以上的FID提高。代码可从https://github.com/iceli1007/fakeclr获得。

生成的对抗网络（GANS）通常需要充分的数据进行培训，以综合高保真图像。最近的研究表明，由于鉴别器过度拟合，带有有限数据的培训GAN仍然是强大的，阻碍发电机收敛的根本原因。本文介绍了一种称为自适应伪增强（APA）的新战略，以鼓励发电机与鉴别者之间的健康竞争。作为依赖标准数据增强或模型正则化的现有方法的替代方法，APA通过采用发电机本身增加具有生成图像的真实数据分布来缓解过度装备，这使得判别符号自适应地欺骗鉴别器。广泛的实验证明了APA在降低数据制度中改善合成质量方面的有效性。我们提供了理论分析，以研究我们新培训策略的收敛性和合理性。 APA简单有效。它可以无缝添加到强大的当代GAN，例如Stylegan2，计算成本可忽略不计。

大规模训练的出现产生了强大的视觉识别模型的聚宝盆。然而，传统上以无人监督的方式从划痕训练的生成模型。可以利用来自一大堆预用的视觉模型的集体“知识”来改善GaN培训吗？如果是这样，有这么多的模型可供选择，应该选择哪一个，并且以什么方式最有效？我们发现预磨削的计算机视觉模型可以在鉴别器的集合中使用时显着提高性能。值得注意的是，所选模型的特定子集极大地影响性能。我们提出了一种有效的选择机制，通过探测预训练模型嵌入的实际和假样本之间的线性可分性，选择最准确的模型，并逐步将其添加到鉴别器集合中。有趣的是，我们的方法可以在有限的数据和大规模设置中提高GaN培训。只有10K培训样本，我们的LSUN猫的FID与1.6M图像培训的风格挂牌匹配。在完整的数据集上，我们的方法将FID提高了1.5倍的LSUN猫，教堂和马类的2倍。

生成的对抗性网络（GANS）的成功基本上基于发电机（G）和鉴别者（D）之间的对抗训练。预计它们将达到一定的平衡，其中D不能将生成的图像与真实的图像区分开来。但是，在实践中，难以在GaN训练中实现如此平衡，而是几乎总是超过G.我们将这种现象归因于D和G之间的信息不对称。具体而言，我们观察到确定时的视觉注意力图像是真实还是假的，但G没有明确的线索，在哪个区域专注于特定合成。为了缓解D质量在GAN中竞争的问题，我们的目的是提高G的空间意识。随机采样的多级热手表被编码为G作为感应偏压的中间层。因此，G可以有目的地改善某些图像区域的合成。我们进一步建议将G的空间意识与D.通过这种方式对准G.通过这种方式，我们有效地减少了D和G之间的信息差距。广泛的结果表明，我们的方法将两位玩家游戏推动到均衡的GANS中的两个玩家游戏，导致综合性能更好。作为副产品，引入的空间意识有助于在输出合成上进行交互式编辑。演示视频和更多结果在https://genforce.github.io/eqgan/处。

The performance of generative adversarial networks (GANs) heavily deteriorates given a limited amount of training data. This is mainly because the discriminator is memorizing the exact training set. To combat it, we propose Differentiable Augmentation (DiffAugment), a simple method that improves the data efficiency of GANs by imposing various types of differentiable augmentations on both real and fake samples. Previous attempts to directly augment the training data manipulate the distribution of real images, yielding little benefit; DiffAugment enables us to adopt the differentiable augmentation for the generated samples, effectively stabilizes training, and leads to better convergence. Experiments demonstrate consistent gains of our method over a variety of GAN architectures and loss functions for both unconditional and class-conditional generation. With DiffAugment, we achieve a state-of-the-art FID of 6.80 with an IS of 100.8 on ImageNet 128×128 and 2-4× reductions of FID given 1,000 images on FFHQ and LSUN. Furthermore, with only 20% training data, we can match the top performance on CIFAR-10 and CIFAR-100. Finally, our method can generate high-fidelity images using only 100 images without pre-training, while being on par with existing transfer learning algorithms. Code is available at https://github.com/mit-han-lab/data-efficient-gans.

生成的对抗网络（GANS）产生高质量的图像，但致力于训练。它们需要仔细正常化，大量计算和昂贵的超参数扫描。我们通过将生成和真实样本投影到固定的预级特征空间中，在这些问题上进行了重要的头路。发现鉴别者无法充分利用来自预押模型的更深层次的特征，我们提出了更有效的策略，可以在渠道和分辨率中混合特征。我们预计的GaN提高了图像质量，样品效率和收敛速度。它与最多一个百万像素的分辨率进一步兼容，并在二十二个基准数据集上推进最先进的FR \'Echet Inception距离（FID）。重要的是，预计的GAN符合先前最低的FID速度快40倍，鉴于相同的计算资源，将壁钟时间从5天切割到不到3小时。

组织病理学分析是对癌前病变诊断的本金标准。从数字图像自动组织病理学分类的目标需要监督培训，这需要大量的专家注释，这可能是昂贵且耗时的收集。同时，精确分类从全幻灯片裁剪的图像斑块对于基于标准滑动窗口的组织病理学幻灯片分类方法是必不可少的。为了减轻这些问题，我们提出了一个精心设计的条件GaN模型，即hostogan，用于在类标签上合成现实组织病理学图像补丁。我们还研究了一种新颖的合成增强框架，可选择地添加由我们提出的HADOGAN生成的新的合成图像补丁，而不是直接扩展与合成图像的训练集。通过基于其指定标签的置信度和实际标记图像的特征相似性选择合成图像，我们的框架为合成增强提供了质量保证。我们的模型在两个数据集上进行评估：具有有限注释的宫颈组织病理学图像数据集，以及具有转移性癌症的淋巴结组织病理学图像的另一个数据集。在这里，我们表明利用具有选择性增强的组织产生的图像导致对宫颈组织病理学和转移性癌症数据集分别的分类性能（分别为6.7％和2.8％）的显着和一致性。

近年来有条件的GAN已经成熟，并且能够产生高质量的现实形象。但是，计算资源和培训高质量的GAN所需的培训数据是巨大的，因此对这些模型的转移学习的研究是一个紧急话题。在本文中，我们探讨了从高质量预训练的无条件GAN到有条件的GAN的转移。为此，我们提出了基于HyperNetwork的自适应权重调制。此外，我们介绍了一个自我初始化过程，不需要任何真实数据才能初始化HyperNetwork参数。为了进一步提高知识转移的样本效率，我们建议使用自我监督（对比）损失来改善GaN判别者。在广泛的实验中，我们验证了多个标准基准上的Hypernetworks，自我初始化和对比损失的效率。

制作生成模型3D感知桥梁2D图像空间和3D物理世界仍然挑战。最近尝试用神经辐射场（NERF）配备生成的对抗性网络（GAN），其将3D坐标映射到像素值，作为3D之前。然而，nerf中的隐式功能具有一个非常局部的接收领域，使得发电机难以意识到全局结构。与此同时，NERF建立在体积渲染上，这可能太昂贵，无法产生高分辨率结果，提高优化难度。为了减轻这两个问题，我们通过明确学习结构表示和纹理表示，向高保真3D感知图像综合提出了一种作为Volumegan称为Volumegan的新颖框架。我们首先学习一个特征卷来表示底层结构，然后使用类似NERF的模型转换为特征字段。特征字段进一步累积到作为纹理表示的2D特征图中，然后是用于外观合成的神经渲染器。这种设计使得能够独立控制形状和外观。广泛的数据集的大量实验表明，我们的方法比以前的方法实现了足够更高的图像质量和更好的3D控制。

最近对变形金刚的爆炸利益提出了他们成为计算机视觉任务的强大“通用”模型的潜力，例如分类，检测和分割。虽然这些尝试主要研究歧视模型，但我们探索变压器，更加臭名昭着的难以愿景任务，例如生成的对抗网络（GANS）。我们的目标是通过仅使用纯的变压器的架构，开展一项完全没有卷曲的GAN的试点研究。我们的Vanilla GaN架构被称为Cransgan，包括一个基于内存友好的变换器的发电机，逐渐增加了特征分辨率，并且相应地是多尺度鉴别器来捕获同时语义上下文和低级纹理。在他们之上，我们介绍了新的网格自我关注模块，以便进一步缓解记忆瓶颈，以便扩展到高分辨率的发电。我们还开发了一个独特的培训配方，包括一系列技术，可以减轻转发的培训不稳定问题，例如数据增强，修改的归一化和相对位置编码。与使用卷积骨架的当前最先进的GAN相比，我们最好的建筑达到了竞争力的表现。具体而言，转发在STL-10上设置10.43和18.28的最新的最新成立得分为18.28，表现优于样式。当涉及更高分辨率（例如256 x 256）的生成任务时，例如Celeba-HQ和Lsun-Church，Rancorgan继续生产具有高保真度和令人印象深刻的纹理细节的不同视觉示例。此外，我们通过可视化培训动力学，深入了解基于变压器的生成模型，了解他们的行为如何与卷积的行为。代码可在https://github.com/vita-group/transgan中获得。

变压器在计算机视觉中变得普遍，特别是对于高级视觉任务。然而，采用生成的对抗性网络（GaN）框架中的变压器仍然是一个开放但具有挑战性的问题。本文进行了一项全面的实证研究，探讨了高保真图像合成的GaN中变压器的性能。我们的分析亮点并重申了特征局部度在图像生成中的重要性，尽管局部性的优点在分类任务中是众所周知的。也许更有趣的是，我们发现自我关注层中的残余连接有害，以利用基于变压器的鉴别器和条件发电机。我们仔细检查了影响力，并提出了减轻负面影响的有效方法。我们的研究导致GaN中的变压器的新替代设计，卷积神经网络（CNN） - 免费发电机称为晶体 - G，这在无条件和条件图像代中实现了竞争导致。基于变压器的鉴别器，Strans-D也显着降低了其基于CNN的鉴别器的间隙。

使用诸如GAN的生成模型产生多样化和现实图像通常需要大量的图像训练。具有极其限制的数据培训的GAN可以容易地覆盖很少的训练样本，并显示出“楼梯”潜在的空间，如潜在空间的过渡存在不连续性，偶尔会产生输出的突然变化。在这项工作中，我们认为我们的兴趣或可转让源数据集没有大规模数据集的情况，并寻求培训具有最小的过度和模式折叠的现有生成模型。我们在发电机和对应鉴别器的特征空间上提出基于潜在的混合距离正则化，这促使这两个玩家不仅仅是关于稀缺观察到的数据点，而且驻留的特征空间中的相对距离。不同数据集的定性和定量评估表明，我们的方法通常适用于现有模型，以在有限数据的约束下提高保真度和多样性。代码将公开。

培训有效的生成对抗性网络（GANS）需要大量的培训数据，但是训练型模型通常是用鉴别器过度拟合的次优。通过大规模和手工制作的数据增强，通过扩大有限培训数据的分布来解决此问题的几项问题。我们从一个非常不同的角度处理数据限制图像生成。具体而言，我们设计Genco，这是一种生成的共同培训网络，通过引入多种互补鉴别者来减轻鉴别者过度拟合问题，这些判别符号在培训中提供多种独特的观点来提供不同的监督。我们以两种方式实例化了Genco的想法。首先是重量差异共同训练（WECO），其通过多样化它们的参数共同列举多个独特的鉴别器。第二种方式是数据差异共同训练（DACO），其通过馈送具有输入图像的不同视图的鉴别器（例如，输入图像的不同频率分量）来实现共同训练。在多个基准上进行广泛的实验表明，Genco实现了具有有限培训数据的优异发电。此外，Genco还通过组合时补充了增强方法，并在结合时进行了一致和明确的性能。

具有高计算成本的生成对抗网络（GANS），例如Biggan和Stylegan2，实现了显着的结果，在随机噪声中合成高分辨率和多样化的图像。降低GAN的计算成本，同时保持发电照片逼真的图像是一种紧急和具有挑战性的领域，用于其在计算资源限制设备上的广泛应用。在这项工作中，我们提出了一种新颖又简单的{\ bf d} isCriminator {\ bf g} uided {\ bf l}用于压缩vanilla {\ bf gaN}的折射方法，称为{\ bf dgl-gan}。受到教师歧视者可能包含一些有意义信息的现象的动机，我们通过对抗函数从教师歧视者转移知识。我们展示DGL-GAN自体虚拟性有效，从教师歧视者学习可以促进学生会的表现，通过广泛的实验结果验证。此外，我们提出了一个两级培训DGL-GAN的培训策略，当我们申请DGL-GAN来压缩两种最具代表性大规模的Vanilla Gans时，可以大大稳定其培训过程并实现卓越的性能。 。实验表明，DGL-GAN实现了最先进的（SOTA）在STYLAG2（FFHQ上的FID 2.92上有近1/3 $参数的FFH3）和Biggan（93.29和FID 9.92，在想象中有近1美元/ Biggan的4 $参数）并优于几种现有的香草GAN压缩技术。此外，DGL-GAN也有效地提高了原始未压缩的GAN的性能，原始未压缩的风格2升高的DGL-GAN促进了FFHQ的FID 2.65，这实现了新的最先进的性能。代码和模型可用于\ url {https://github.com/yuesongtian/dgl-gan}。

使用单视图2D照片仅集合，无监督的高质量多视图 - 一致的图像和3D形状一直是一个长期存在的挑战。现有的3D GAN是计算密集型的，也是没有3D-一致的近似;前者限制了所生成的图像的质量和分辨率，并且后者对多视图一致性和形状质量产生不利影响。在这项工作中，我们提高了3D GAN的计算效率和图像质量，而无需依赖这些近似。为此目的，我们介绍了一种表现力的混合明确隐式网络架构，与其他设计选择一起，不仅可以实时合成高分辨率多视图一致图像，而且还产生高质量的3D几何形状。通过解耦特征生成和神经渲染，我们的框架能够利用最先进的2D CNN生成器，例如Stylega2，并继承它们的效率和表现力。在其他实验中，我们展示了与FFHQ和AFHQ猫的最先进的3D感知合成。

真正需要什么才能使现有的2D GAN 3D了解？为了回答这个问题，我们会尽可能少地修改经典的gan，即styleganv2。我们发现只有两次修改是绝对必要的：1）一个多层图像样式生成器分支，该分支在其深度上产生一组Alpha地图；2）姿势条件歧视者。我们将生成的输出称为“生成多层图像”（GMPI），并强调其渲染不仅是高质量的，而且保证是持续的，这使GMPIS与许多先前的作品不同。重要的是，可以动态调整Alpha地图的数量，并且在训练和推理之间可能有所不同，减轻记忆问题，并在不到半天的时间内以1024^2美元的分辨率在不到半天的时间内快速训练GMPIS。我们的发现在三个具有挑战性和常见的高分辨率数据集（包括FFHQ，AFHQV2和METFACE）中是一致的。