生成的对抗网络（GANS）可以在狭窄的域中的照片逼真图像附近生成，例如人面。然而，模拟数据集的复杂分布，如想象成和Coco-ince，在无条件设置中仍然具有挑战性。在本文中，我们从内核密度估计技术中获取灵感并引入非参数方法来建模复杂数据集的分布。我们将数据歧管分为数据点及其最近邻居描述的重叠邻域的混合，并介绍一个名为实例条件GaN（IC-GaN）的模型，该模型将从每个数据点周围的分布中生动分布。 Imagenet和Coco-Stump的实验结果表明，IC-GaN显着改善了无条件模型和无监督数据分区基线。此外，我们表明IC-GaN可以通过简单地改变调节实例来毫不费力地转移到训练期间未见的数据集，并且仍然产生现实图像。最后，我们将IC-GAN扩展到课堂条件情况下，并在想象中显示语义可控的发电和竞争定量结果;同时在想象中改善了大战。在https://github.com/facebookResearch/IC_GAN中提供了重现报告结果的代码和训练有素的模型。

发现神经网络学到的内容仍然是一个挑战。在自我监督的学习中，分类是用于评估表示是多么常见的最常见任务。但是，只依赖于这样的下游任务可以限制我们对给定输入的表示中保留的信息量的理解。在这项工作中，我们展示了使用条件扩散的生成模型（RCDM）来可视化具有自我监督模型学习的表示。我们进一步展示了这种模型的发电质量如何与最先进的生成模型相符，同时忠于用作调节的代表性。通过使用这个新工具来分析自我监督模型，我们可以在视觉上显示i）SSL（骨干）表示并不是真正不变的，以便他们训练的许多数据增强。 ii）SSL投影仪嵌入出现太不变的任务，如分类。 III）SSL表示对其输入IV的小对抗扰动更稳健），具有可用于图像操作的SSL模型的固有结构。

深尾学习旨在培训有用的深层网络，以实用现实世界中的不平衡分布，其中大多数尾巴类别的标签都与一些样本相关联。有大量的工作来训练判别模型，以进行长尾分布的视觉识别。相比之下，我们旨在训练有条件的生成对抗网络，这是一类长尾分布的图像生成模型。我们发现，类似于识别图像产生的最新方法类似，也遭受了尾部类别的性能降解。性能降解主要是由于尾部类别的类别模式塌陷，我们观察到与调节参数矩阵的光谱爆炸相关。我们提出了一种新型的组光谱正规剂（GSR），以防止光谱爆炸减轻模式崩溃，从而导致尾巴类别的形象产生多样化和合理的图像产生。我们发现GSR有效地与现有的增强和正则化技术结合在一起，从而导致长尾数据上的最新图像生成性能。广泛的实验证明了我们的常规器在不同程度不平衡的长尾数据集上的功效。

Adversarially trained generative models (GANs) have recently achieved compelling image synthesis results. But despite early successes in using GANs for unsupervised representation learning, they have since been superseded by approaches based on self-supervision. In this work we show that progress in image generation quality translates to substantially improved representation learning performance. Our approach, BigBiGAN, builds upon the state-of-the-art BigGAN model, extending it to representation learning by adding an encoder and modifying the discriminator. We extensively evaluate the representation learning and generation capabilities of these BigBiGAN models, demonstrating that these generation-based models achieve the state of the art in unsupervised representation learning on ImageNet, as well as in unconditional image generation. Pretrained BigBiGAN models -including image generators and encoders -are available on TensorFlow Hub 1 .

近年来有条件的GAN已经成熟，并且能够产生高质量的现实形象。但是，计算资源和培训高质量的GAN所需的培训数据是巨大的，因此对这些模型的转移学习的研究是一个紧急话题。在本文中，我们探讨了从高质量预训练的无条件GAN到有条件的GAN的转移。为此，我们提出了基于HyperNetwork的自适应权重调制。此外，我们介绍了一个自我初始化过程，不需要任何真实数据才能初始化HyperNetwork参数。为了进一步提高知识转移的样本效率，我们建议使用自我监督（对比）损失来改善GaN判别者。在广泛的实验中，我们验证了多个标准基准上的Hypernetworks，自我初始化和对比损失的效率。

我们提出了一种具有多个鉴别器的生成的对抗性网络，其中每个鉴别者都专门用于区分真实数据集的子集。这种方法有助于学习与底层数据分布重合的发电机，从而减轻慢性模式崩溃问题。从多项选择学习的灵感来看，我们引导每个判别者在整个数据的子集中具有专业知识，并允许发电机在没有监督训练示例和鉴别者的数量的情况下自动找到潜伏和真实数据空间之间的合理对应关系。尽管使用多种鉴别器，但骨干网络在鉴别器中共享，并且培训成本的增加最小化。我们使用多个评估指标展示了我们算法在标准数据集中的有效性。

生成对抗网络（GAN）是现实图像合成的最新生成模型之一。虽然培训和评估GAN变得越来越重要，但当前的GAN研究生态系统并未提供可靠的基准，以始终如一地进行评估。此外，由于GAN实施很少，因此研究人员将大量时间用于重现基线。我们研究了GAN方法的分类法，并提出了一个名为Studiogan的新开源库。 Studiogan支持7种GAN体系结构，9种调理方法，4种对抗损失，13个正则化模块，3个可区分的增强，7个评估指标和5个评估骨干。通过我们的培训和评估协议，我们使用各种数据集（CIFAR10，ImageNet，AFHQV2，FFHQ和Baby/Papa/Granpa-Imagenet）和3个不同的评估骨干（InceptionV3，Swav，Swav和Swin Transformer）提出了大规模的基准。与GAN社区中使用的其他基准不同，我们在统一的培训管道中培训了包括Biggan，stylegan2和stylegan3在内的代表GAN，并使用7个评估指标量化了生成性能。基准测试评估其他尖端生成模型（例如，stylegan-xl，adm，maskgit和rq-transformer）。 Studiogan提供了预先训练的权重的GAN实现，培训和评估脚本。 Studiogan可从https://github.com/postech-cvlab/pytorch-studiogan获得。

条件生成的对抗性网络（CGAN）通过将类信息纳入GaN来生成现实图像。虽然最受欢迎的CGANS是一种辅助分类器GAN，但众所周知，随着数据集中的类别的数量增加，培训acgan正在挑战。偶数还倾向于产生缺乏多样性的容易甲型样本。在本文中，我们介绍了两种治疗方法。首先，我们识别分类器中的梯度爆炸可能会导致早期训练中的不良崩溃，并将输入向量投影到单元间隔子上可以解决问题。其次，我们提出了数据到数据跨熵丢失（D2D-CE）来利用类标记的数据集中的关系信息。在这个基础上，我们提出了重新启动的辅助分类器生成对抗网络（Reacgan）。实验结果表明，Reacgan在CIFAR10，微小想象成，CUB200和Imagenet数据集上实现了最先进的生成结果。我们还验证了来自可分辨率的增强的ReacanggaN的利益，以及D2D-CE与Stylegan2架构协调。模型权重和提供代表性CGANS实现的软件包和我们纸上的所有实验都可以在https://github.com/postech-cvlab/pytorch-studiogan获得。

随着几个行业正在朝着建模大规模的3D虚拟世界迈进，因此需要根据3D内容的数量，质量和多样性来扩展的内容创建工具的需求变得显而易见。在我们的工作中，我们旨在训练Parterant 3D生成模型，以合成纹理网格，可以通过3D渲染引擎直接消耗，因此立即在下游应用中使用。 3D生成建模的先前工作要么缺少几何细节，因此在它们可以生成的网格拓扑中受到限制，通常不支持纹理，或者在合成过程中使用神经渲染器，这使得它们在常见的3D软件中使用。在这项工作中，我们介绍了GET3D，这是一种生成模型，该模型直接生成具有复杂拓扑，丰富几何细节和高保真纹理的显式纹理3D网格。我们在可区分的表面建模，可区分渲染以及2D生成对抗网络中桥接了最新成功，以从2D图像集合中训练我们的模型。 GET3D能够生成高质量的3D纹理网格，从汽车，椅子，动物，摩托车和人类角色到建筑物，对以前的方法进行了重大改进。

生成的对抗网络（GANS）产生高质量的图像，但致力于训练。它们需要仔细正常化，大量计算和昂贵的超参数扫描。我们通过将生成和真实样本投影到固定的预级特征空间中，在这些问题上进行了重要的头路。发现鉴别者无法充分利用来自预押模型的更深层次的特征，我们提出了更有效的策略，可以在渠道和分辨率中混合特征。我们预计的GaN提高了图像质量，样品效率和收敛速度。它与最多一个百万像素的分辨率进一步兼容，并在二十二个基准数据集上推进最先进的FR \'Echet Inception距离（FID）。重要的是，预计的GAN符合先前最低的FID速度快40倍，鉴于相同的计算资源，将壁钟时间从5天切割到不到3小时。

我们研究了GaN调理问题，其目标是使用标记数据将普雷雷尼的无条件GaN转换为条件GaN。我们首先识别并分析这一问题的三种方法 - 从头开始​​，微调和输入重新编程的条件GaN培训。我们的分析表明，当标记数据的数量很小时，输入重新编程执行最佳。通过稀缺标记数据的现实世界情景，我们专注于输入重编程方法，并仔细分析现有算法。在识别出先前输入重新编程方法的一些关键问题之后，我们提出了一种名为INREP +的新算法。我们的算法INREP +解决了现有问题，具有可逆性神经网络的新颖用途和正面未标记（PU）学习。通过广泛的实验，我们表明Inrep +优于所有现有方法，特别是当标签信息稀缺，嘈杂和/或不平衡时。例如，对于用1％标记数据调节CiFar10 GaN的任务，Inrep +实现了82.13的平均峰值，而第二个最佳方法达到114.51。

Multiview self-supervised representation learning roots in exploring semantic consistency across data of complex intra-class variation. Such variation is not directly accessible and therefore simulated by data augmentations. However, commonly adopted augmentations are handcrafted and limited to simple geometrical and color changes, which are unable to cover the abundant intra-class variation. In this paper, we propose to extract the underlying data variation from datasets and construct a novel augmentation operator, named local manifold augmentation (LMA). LMA is achieved by training an instance-conditioned generator to fit the distribution on the local manifold of data and sampling multiview data using it. LMA shows the ability to create an infinite number of data views, preserve semantics, and simulate complicated variations in object pose, viewpoint, lighting condition, background etc. Experiments show that with LMA integrated, self-supervised learning methods such as MoCov2 and SimSiam gain consistent improvement on prevalent benchmarks including CIFAR10, CIFAR100, STL10, ImageNet100, and ImageNet. Furthermore, LMA leads to representations that obtain more significant invariance to the viewpoint, object pose, and illumination changes and stronger robustness to various real distribution shifts reflected by ImageNet-V2, ImageNet-R, ImageNet Sketch etc.

强大的模拟器高度降低了在培训和评估自动车辆时对真实测试的需求。数据驱动的模拟器蓬勃发展，最近有条件生成对冲网络（CGANS）的进步，提供高保真图像。主要挑战是在施加约束之后的同时合成光量造型图像。在这项工作中，我们建议通过重新思考鉴别者架构来提高所生成的图像的质量。重点是在给定对语义输入生成图像的问题类上，例如场景分段图或人体姿势。我们建立成功的CGAN模型，提出了一种新的语义感知鉴别器，更好地指导发电机。我们的目标是学习一个共享的潜在表示，编码足够的信息，共同进行语义分割，内容重建以及粗糙的粒度的对抗性推理。实现的改进是通用的，并且可以应用于任何条件图像合成的任何架构。我们展示了我们在场景，建筑和人类综合任务上的方法，跨越三个不同的数据集。代码可在https://github.com/vita-epfl/semdisc上获得。

Generative Adversarial Networks (GANs) typically suffer from overfitting when limited training data is available. To facilitate GAN training, current methods propose to use data-specific augmentation techniques. Despite the effectiveness, it is difficult for these methods to scale to practical applications. In this work, we present ScoreMix, a novel and scalable data augmentation approach for various image synthesis tasks. We first produce augmented samples using the convex combinations of the real samples. Then, we optimize the augmented samples by minimizing the norms of the data scores, i.e., the gradients of the log-density functions. This procedure enforces the augmented samples close to the data manifold. To estimate the scores, we train a deep estimation network with multi-scale score matching. For different image synthesis tasks, we train the score estimation network using different data. We do not require the tuning of the hyperparameters or modifications to the network architecture. The ScoreMix method effectively increases the diversity of data and reduces the overfitting problem. Moreover, it can be easily incorporated into existing GAN models with minor modifications. Experimental results on numerous tasks demonstrate that GAN models equipped with the ScoreMix method achieve significant improvements.

使用单视图2D照片仅集合，无监督的高质量多视图 - 一致的图像和3D形状一直是一个长期存在的挑战。现有的3D GAN是计算密集型的，也是没有3D-一致的近似;前者限制了所生成的图像的质量和分辨率，并且后者对多视图一致性和形状质量产生不利影响。在这项工作中，我们提高了3D GAN的计算效率和图像质量，而无需依赖这些近似。为此目的，我们介绍了一种表现力的混合明确隐式网络架构，与其他设计选择一起，不仅可以实时合成高分辨率多视图一致图像，而且还产生高质量的3D几何形状。通过解耦特征生成和神经渲染，我们的框架能够利用最先进的2D CNN生成器，例如Stylega2，并继承它们的效率和表现力。在其他实验中，我们展示了与FFHQ和AFHQ猫的最先进的3D感知合成。

Despite recent progress in generative image modeling, successfully generating high-resolution, diverse samples from complex datasets such as ImageNet remains an elusive goal. To this end, we train Generative Adversarial Networks at the largest scale yet attempted, and study the instabilities specific to such scale. We find that applying orthogonal regularization to the generator renders it amenable to a simple "truncation trick," allowing fine control over the trade-off between sample fidelity and variety by reducing the variance of the Generator's input. Our modifications lead to models which set the new state of the art in class-conditional image synthesis. When trained on ImageNet at 128×128 resolution, our models (BigGANs) achieve an Inception Score (IS) of 166.5 and Fréchet Inception Distance (FID) of 7.4, improving over the previous best IS of 52.52 and FID of 18.65.

与生成对抗网络（GAN）的图像和分割掩模的联合合成有望减少用像素通过像素注释收集图像数据所需的精力。但是，要学习高保真图像掩码合成，现有的GAN方法首先需要一个需要大量图像数据的预训练阶段，这限制了其在受限图像域中的利用。在这项工作中，我们迈出了一步，以减少此限制，从而引入了单次图像掩码合成的任务。我们旨在仅给出一个单个标记的示例，生成各种图像及其分割面具，并假设与以前的模型相反，则无法访问任何预训练数据。为此，我们受到单图像gan的最新体系结构发展的启发，我们介绍了OSMIS模型，该模型可以合成分割掩模，这些掩模与单次镜头中生成的图像完全一致。除了实现产生的口罩的高保真度外，OSMIS在图像合成质量和多样性中的最先进的单图像模型优于最先进的单位图。此外，尽管没有使用任何其他数据，OSMIS还是表现出令人印象深刻的能力，可以作为一击细分应用程序的有用数据增强的来源，提供了与标准数据增强技术相辅相成的性能提高。代码可从https://github.com/ boschresearch/One-shot-synthesis获得

The performance of generative adversarial networks (GANs) heavily deteriorates given a limited amount of training data. This is mainly because the discriminator is memorizing the exact training set. To combat it, we propose Differentiable Augmentation (DiffAugment), a simple method that improves the data efficiency of GANs by imposing various types of differentiable augmentations on both real and fake samples. Previous attempts to directly augment the training data manipulate the distribution of real images, yielding little benefit; DiffAugment enables us to adopt the differentiable augmentation for the generated samples, effectively stabilizes training, and leads to better convergence. Experiments demonstrate consistent gains of our method over a variety of GAN architectures and loss functions for both unconditional and class-conditional generation. With DiffAugment, we achieve a state-of-the-art FID of 6.80 with an IS of 100.8 on ImageNet 128×128 and 2-4× reductions of FID given 1,000 images on FFHQ and LSUN. Furthermore, with only 20% training data, we can match the top performance on CIFAR-10 and CIFAR-100. Finally, our method can generate high-fidelity images using only 100 images without pre-training, while being on par with existing transfer learning algorithms. Code is available at https://github.com/mit-han-lab/data-efficient-gans.

The ability to automatically estimate the quality and coverage of the samples produced by a generative model is a vital requirement for driving algorithm research. We present an evaluation metric that can separately and reliably measure both of these aspects in image generation tasks by forming explicit, non-parametric representations of the manifolds of real and generated data. We demonstrate the effectiveness of our metric in StyleGAN and BigGAN by providing several illustrative examples where existing metrics yield uninformative or contradictory results. Furthermore, we analyze multiple design variants of StyleGAN to better understand the relationships between the model architecture, training methods, and the properties of the resulting sample distribution. In the process, we identify new variants that improve the state-of-the-art. We also perform the first principled analysis of truncation methods and identify an improved method. Finally, we extend our metric to estimate the perceptual quality of individual samples, and use this to study latent space interpolations.

组织病理学分析是对癌前病变诊断的本金标准。从数字图像自动组织病理学分类的目标需要监督培训，这需要大量的专家注释，这可能是昂贵且耗时的收集。同时，精确分类从全幻灯片裁剪的图像斑块对于基于标准滑动窗口的组织病理学幻灯片分类方法是必不可少的。为了减轻这些问题，我们提出了一个精心设计的条件GaN模型，即hostogan，用于在类标签上合成现实组织病理学图像补丁。我们还研究了一种新颖的合成增强框架，可选择地添加由我们提出的HADOGAN生成的新的合成图像补丁，而不是直接扩展与合成图像的训练集。通过基于其指定标签的置信度和实际标记图像的特征相似性选择合成图像，我们的框架为合成增强提供了质量保证。我们的模型在两个数据集上进行评估：具有有限注释的宫颈组织病理学图像数据集，以及具有转移性癌症的淋巴结组织病理学图像的另一个数据集。在这里，我们表明利用具有选择性增强的组织产生的图像导致对宫颈组织病理学和转移性癌症数据集分别的分类性能（分别为6.7％和2.8％）的显着和一致性。