In this paper, we propose the Self-Attention Generative Adversarial Network (SAGAN) which allows attention-driven, long-range dependency modeling for image generation tasks. Traditional convolutional GANs generate high-resolution details as a function of only spatially local points in lower-resolution feature maps. In SAGAN, details can be generated using cues from all feature locations. Moreover, the discriminator can check that highly detailed features in distant portions of the image are consistent with each other. Furthermore, recent work has shown that generator conditioning affects GAN performance. Leveraging this insight, we apply spectral normalization to the GAN generator and find that this improves training dynamics. The proposed SAGAN performs better than prior work 1 , boosting the best published Inception score from 36.8 to 52.52 and reducing Fréchet Inception distance from 27.62 to 18.65 on the challenging ImageNet dataset. Visualization of the attention layers shows that the generator leverages neighborhoods that correspond to object shapes rather than local regions of fixed shape.

在本文中，我们介绍了新颖的轻质生成对抗网络，这些网络可以有效地捕获图像生成过程中的长期依赖性，并以更简单的体系结构产生高质量的结果。为了实现这一目标，我们首先引入一个远程模块，从而使网络能够动态调整集中抽样像素的数量并增强采样位置。因此，它可以打破卷积算子的固定几何结构的限制，并在空间和通道方向上捕获远距离依赖性。同样，提出的远程模块可以突出像素之间的负面关系，作为稳定训练的正规化。此外，我们提出了一种新一代策略，通过该策略，我们将元数据引入图像生成过程中，以提供有关目标图像的基本信息，这些信息可以稳定并加快训练过程。我们的新型远程模块仅引入几个其他参数，并且很容易插入现有模型以捕获长期依赖性。广泛的实验证明了我们方法具有轻量级体系结构的竞争性能。

最近对变形金刚的爆炸利益提出了他们成为计算机视觉任务的强大“通用”模型的潜力，例如分类，检测和分割。虽然这些尝试主要研究歧视模型，但我们探索变压器，更加臭名昭着的难以愿景任务，例如生成的对抗网络（GANS）。我们的目标是通过仅使用纯的变压器的架构，开展一项完全没有卷曲的GAN的试点研究。我们的Vanilla GaN架构被称为Cransgan，包括一个基于内存友好的变换器的发电机，逐渐增加了特征分辨率，并且相应地是多尺度鉴别器来捕获同时语义上下文和低级纹理。在他们之上，我们介绍了新的网格自我关注模块，以便进一步缓解记忆瓶颈，以便扩展到高分辨率的发电。我们还开发了一个独特的培训配方，包括一系列技术，可以减轻转发的培训不稳定问题，例如数据增强，修改的归一化和相对位置编码。与使用卷积骨架的当前最先进的GAN相比，我们最好的建筑达到了竞争力的表现。具体而言，转发在STL-10上设置10.43和18.28的最新的最新成立得分为18.28，表现优于样式。当涉及更高分辨率（例如256 x 256）的生成任务时，例如Celeba-HQ和Lsun-Church，Rancorgan继续生产具有高保真度和令人印象深刻的纹理细节的不同视觉示例。此外，我们通过可视化培训动力学，深入了解基于变压器的生成模型，了解他们的行为如何与卷积的行为。代码可在https://github.com/vita-group/transgan中获得。

One of the challenges in the study of generative adversarial networks is the instability of its training. In this paper, we propose a novel weight normalization technique called spectral normalization to stabilize the training of the discriminator. Our new normalization technique is computationally light and easy to incorporate into existing implementations. We tested the efficacy of spectral normalization on CIFAR10, STL-10, and ILSVRC2012 dataset, and we experimentally confirmed that spectrally normalized GANs (SN-GANs) is capable of generating images of better or equal quality relative to the previous training stabilization techniques. The code with Chainer (Tokui et al., 2015), generated images and pretrained models are available at https://github.com/pfnet-research/sngan_ projection.

在本文中，我们提出了一种有效且有效的单级框架（Divergan），根据自然语言描述产生多样化，可粘性和语义一致的图像。 Divergan采用两种新颖的单词级注意模块，即通道关注模块（CAM）和像素 - 注意模块（PAM），这在允许网络允许将较大的权重分配给定句子中的每个单词的重要性与突出字，语义对齐的重要通道和像素。之后，引入了条件自适应实例层归一化（CADailn）以使语言提示嵌入的句子中的语言线索灵活地操纵形状和纹理的变化量，进一步改善视觉语义表示和帮助稳定训练。此外，开发了双剩余结构以保持更多原始的视觉功能，同时允许更深的网络，从而产生更快的收敛速度和更生动的细节。此外，我们建议将完全连接的层插入管道以解决缺乏多样性问题，因为我们观察到致密层会显着提高网络的生成能力，平衡低于之间的权衡尺寸随机潜代码有助于使用高维和文本上下文来强度特征映射的变体和调制模块。在第二个残差块之后插入线性层，实现最佳品种和质量。基准数据集的定性和定量结果都展示了我们的潜水员实现多样性的优越性，而不会损害质量和语义一致性。

生成的对抗网络（GaN）中的发电机以粗到精细的方式学习图像生成，其中早期层学习图像的整体结构和后者细化细节。要播放粗略信息，最近的作品通常通过堆叠多个残差块来构建其发电机。虽然残余块可以产生高质量的图像以及稳定地训练，但它经常阻碍网络中的信息流。为了减轻这个问题，本简要介绍了一种新的发电机架构，通过组合通过两个不同的分支获得的特征来产生图像：主和辅助分支。主分支的目标是通过通过多个剩余块来产生图像，而辅助分支是将早期层中的粗略信息传送到稍后的块。要成功结合主和辅助分支机构中的功能，我们还提出了一个门控功能融合模块，用于控制这些分支机构中的信息流。为了证明所提出的方法的优越性，本简要提供了使用Cifar-10，CiFar-100，Lsun，Celeba-HQ，AFHQ和Tiny-ImageNet的各种标准数据集提供了广泛的实验。此外，我们进行了各种消融研究，以证明所提出的方法的泛化能力。定量评估证明，该方法在成立得分（IS）和FRECHET成立距离（FID）方面表现出令人印象深刻的GAN性能。例如，该方法可以分别提高FID，并分别在35.13至25.00和20.23至25.57之间的微小图像数据集上的分数。

变压器在计算机视觉中变得普遍，特别是对于高级视觉任务。然而，采用生成的对抗性网络（GaN）框架中的变压器仍然是一个开放但具有挑战性的问题。本文进行了一项全面的实证研究，探讨了高保真图像合成的GaN中变压器的性能。我们的分析亮点并重申了特征局部度在图像生成中的重要性，尽管局部性的优点在分类任务中是众所周知的。也许更有趣的是，我们发现自我关注层中的残余连接有害，以利用基于变压器的鉴别器和条件发电机。我们仔细检查了影响力，并提出了减轻负面影响的有效方法。我们的研究导致GaN中的变压器的新替代设计，卷积神经网络（CNN） - 免费发电机称为晶体 - G，这在无条件和条件图像代中实现了竞争导致。基于变压器的鉴别器，Strans-D也显着降低了其基于CNN的鉴别器的间隙。

组织病理学分析是对癌前病变诊断的本金标准。从数字图像自动组织病理学分类的目标需要监督培训，这需要大量的专家注释，这可能是昂贵且耗时的收集。同时，精确分类从全幻灯片裁剪的图像斑块对于基于标准滑动窗口的组织病理学幻灯片分类方法是必不可少的。为了减轻这些问题，我们提出了一个精心设计的条件GaN模型，即hostogan，用于在类标签上合成现实组织病理学图像补丁。我们还研究了一种新颖的合成增强框架，可选择地添加由我们提出的HADOGAN生成的新的合成图像补丁，而不是直接扩展与合成图像的训练集。通过基于其指定标签的置信度和实际标记图像的特征相似性选择合成图像，我们的框架为合成增强提供了质量保证。我们的模型在两个数据集上进行评估：具有有限注释的宫颈组织病理学图像数据集，以及具有转移性癌症的淋巴结组织病理学图像的另一个数据集。在这里，我们表明利用具有选择性增强的组织产生的图像导致对宫颈组织病理学和转移性癌症数据集分别的分类性能（分别为6.7％和2.8％）的显着和一致性。

本文介绍了一种新颖的卷积方法，称为生成卷积（GCONV），这对于改善生成的对抗网络（GaN）性能来说是简单而有效的。与标准卷积不同，GCONV首先选择与给定的潜像兼容的有用内核，然后线性地将所选内核结合起来制作潜在特定的内核。使用潜在特定的内核，所提出的方法产生潜在特定的特征，鼓励发电机产生高质量的图像。这种方法很简单，但令人惊讶地有效。首先，GaN性能随着额外的硬件成本而显着提高。其次，GCONV可以用于现有的最先进的发电机而不修改网络架构。为了揭示GCONV的优越性，本文使用各种标准数据集提供了广泛的实验，包括CiFar-10，CiFar-100，Lsun-Church，Celeba和微小想象成。定量评估证明，GCONV在成立得分（IS）和FRECHET成立距离（FID）方面大大提高了无条件和条件GAN的性能。例如，所提出的方法改善了FID，分别从35.13到29.76和20.23到22.64的微小想象网数据集上的分数。

基于注意的模型，由变压器举例说明，可以有效地模拟长距离依赖性，而是遭受自我注意操作的二次复杂性，使得基于生成的对抗网络（GAN）的高分辨率图像生成使得它们难以采用。在本文中，我们向变压器推出了两个关键成分来解决这一挑战。首先，在生成过程的低分辨率阶段，用所提出的多轴阻塞自我关注取代了标准的全球自我关注，这允许有效地混合本地和全球关注。其次，在高分辨率阶段，我们降低了自我关注，同时只保持多层的感知让人想起隐含的神经功能。为了进一步提高性能，我们基于横向引入额外的自我调制组件。结果模型表示为命中，具有关于图像尺寸的几乎线性的计算复杂度，从而直接缩放到合成高清晰度图像。我们在实验中展示了所提出的命中，实现最先进的FID得分31.87和2.95在无条件的ImageNet上，分别具有合理的吞吐量的128美元和256美元\ times 256美元。我们认为，拟议的命中是全球发电机的一个重要里程碑，完全没有卷积。

In this paper, we propose an Attentional Generative Adversarial Network (AttnGAN) that allows attention-driven, multi-stage refinement for fine-grained text-to-image generation. With a novel attentional generative network, the At-tnGAN can synthesize fine-grained details at different subregions of the image by paying attentions to the relevant words in the natural language description. In addition, a deep attentional multimodal similarity model is proposed to compute a fine-grained image-text matching loss for training the generator. The proposed AttnGAN significantly outperforms the previous state of the art, boosting the best reported inception score by 14.14% on the CUB dataset and 170.25% on the more challenging COCO dataset. A detailed analysis is also performed by visualizing the attention layers of the AttnGAN. It for the first time shows that the layered attentional GAN is able to automatically select the condition at the word level for generating different parts of the image.

Despite recent progress in generative image modeling, successfully generating high-resolution, diverse samples from complex datasets such as ImageNet remains an elusive goal. To this end, we train Generative Adversarial Networks at the largest scale yet attempted, and study the instabilities specific to such scale. We find that applying orthogonal regularization to the generator renders it amenable to a simple "truncation trick," allowing fine control over the trade-off between sample fidelity and variety by reducing the variance of the Generator's input. Our modifications lead to models which set the new state of the art in class-conditional image synthesis. When trained on ImageNet at 128×128 resolution, our models (BigGANs) achieve an Inception Score (IS) of 166.5 and Fréchet Inception Distance (FID) of 7.4, improving over the previous best IS of 52.52 and FID of 18.65.

深尾学习旨在培训有用的深层网络，以实用现实世界中的不平衡分布，其中大多数尾巴类别的标签都与一些样本相关联。有大量的工作来训练判别模型，以进行长尾分布的视觉识别。相比之下，我们旨在训练有条件的生成对抗网络，这是一类长尾分布的图像生成模型。我们发现，类似于识别图像产生的最新方法类似，也遭受了尾部类别的性能降解。性能降解主要是由于尾部类别的类别模式塌陷，我们观察到与调节参数矩阵的光谱爆炸相关。我们提出了一种新型的组光谱正规剂（GSR），以防止光谱爆炸减轻模式崩溃，从而导致尾巴类别的形象产生多样化和合理的图像产生。我们发现GSR有效地与现有的增强和正则化技术结合在一起，从而导致长尾数据上的最新图像生成性能。广泛的实验证明了我们的常规器在不同程度不平衡的长尾数据集上的功效。

In biomedical image analysis, the applicability of deep learning methods is directly impacted by the quantity of image data available. This is due to deep learning models requiring large image datasets to provide high-level performance. Generative Adversarial Networks (GANs) have been widely utilized to address data limitations through the generation of synthetic biomedical images. GANs consist of two models. The generator, a model that learns how to produce synthetic images based on the feedback it receives. The discriminator, a model that classifies an image as synthetic or real and provides feedback to the generator. Throughout the training process, a GAN can experience several technical challenges that impede the generation of suitable synthetic imagery. First, the mode collapse problem whereby the generator either produces an identical image or produces a uniform image from distinct input features. Second, the non-convergence problem whereby the gradient descent optimizer fails to reach a Nash equilibrium. Thirdly, the vanishing gradient problem whereby unstable training behavior occurs due to the discriminator achieving optimal classification performance resulting in no meaningful feedback being provided to the generator. These problems result in the production of synthetic imagery that is blurry, unrealistic, and less diverse. To date, there has been no survey article outlining the impact of these technical challenges in the context of the biomedical imagery domain. This work presents a review and taxonomy based on solutions to the training problems of GANs in the biomedical imaging domain. This survey highlights important challenges and outlines future research directions about the training of GANs in the domain of biomedical imagery.

生成的对抗网络（GANS）产生高质量的图像，但致力于训练。它们需要仔细正常化，大量计算和昂贵的超参数扫描。我们通过将生成和真实样本投影到固定的预级特征空间中，在这些问题上进行了重要的头路。发现鉴别者无法充分利用来自预押模型的更深层次的特征，我们提出了更有效的策略，可以在渠道和分辨率中混合特征。我们预计的GaN提高了图像质量，样品效率和收敛速度。它与最多一个百万像素的分辨率进一步兼容，并在二十二个基准数据集上推进最先进的FR \'Echet Inception距离（FID）。重要的是，预计的GAN符合先前最低的FID速度快40倍，鉴于相同的计算资源，将壁钟时间从5天切割到不到3小时。

使用计算流体动力学（CFD）方法近似风流可能是耗时的。创建用于在观察风流量变化的同时以交互式设计原型的工具需要更简单的模型来模拟更快。代替运行数值近似导致的详细计算，深度学习中的数据驱动方法可能能够在一小部分中提供类似的结果。这项工作将使用CFD计算到计算3D流场的问题，以在建筑占地面积上使用CFD到基于2D图像到图像转换的问题，以预测行人高度水平的流场。我们调查使用生成的对冲网络（GAN），例如PIX2PIX [1]和CYCREGAN [2]代表各种域中的图像到图像转换任务以及U-Net AutoEncoder [ 3]。模型可以以数据驱动的方式学习数据集的基础分布，我们认为可以帮助模型从CFD中了解底层雷诺平均的Navier-Stokes（RANS）方程。我们在具有且没有高度信息的各种三维诈唬型建筑物上进行新型模拟数据集。此外，我们为生成的图像提供了广泛的定性和定量评估，以选择模型，并将其性能与CFD传递的模拟进行比较。然后，我们通过提出用于在不同架构上注入这种信息的一般框架，将位置数据添加到输入可以产生更准确的结果。此外，我们表明模型通过应用注意机制和光谱归一化来改善，以便于稳定训练。

尽管在广泛的愿景任务中取得了诱人的成功，但变形金刚尚未在高分辨率图像生成建模中作为Convnets的讨论能力。在本文中，我们寻求探索使用纯变压器来构建用于高分辨率图像合成的生成对抗网络。为此，我们认为，当地的关注是在计算效率和建模能力之间取得平衡至关重要。因此，所提出的发电机采用基于风格的架构中的Swin变压器。为了实现更大的接收领域，我们提出了双重关注，同时利用本地和移位窗的上下文，从而提高了发电质量。此外，我们表明提供了在基于窗口的变压器中丢失的绝对位置的知识极大地利益了代理。所提出的STYLESWIN可扩展到高分辨率，粗糙几何和细结构都受益于变压器的强效力。然而，在高分辨率合成期间发生阻塞伪像，因为以块明智的方式执行局部注意力可能会破坏空间一致性。为了解决这一点，我们经验研究了各种解决方案，其中我们发现采用小波鉴别器来检查光谱差异的措施有效地抑制伪影。广泛的实验表明了对现有的基于变压器的GAN的优越性，特别是在高分辨率上，例如高分辨率，例如1024x1024。如果没有复杂的培训策略，则在Celeba-HQ 1024上赢得了STYLEGAN，并且在FFHQ-1024上实现了对PAR的表现，证明了使用变压器进行高分辨率图像生成的承诺。代码和模型将在https://github.com/microsoft/styleswin上使用。

We describe a new training methodology for generative adversarial networks. The key idea is to grow both the generator and discriminator progressively: starting from a low resolution, we add new layers that model increasingly fine details as training progresses. This both speeds the training up and greatly stabilizes it, allowing us to produce images of unprecedented quality, e.g., CELEBA images at 1024 2 . We also propose a simple way to increase the variation in generated images, and achieve a record inception score of 8.80 in unsupervised CIFAR10. Additionally, we describe several implementation details that are important for discouraging unhealthy competition between the generator and discriminator. Finally, we suggest a new metric for evaluating GAN results, both in terms of image quality and variation. As an additional contribution, we construct a higher-quality version of the CELEBA dataset.

提供和渲染室内场景一直是室内设计的一项长期任务，艺术家为空间创建概念设计，建立3D模型的空间，装饰，然后执行渲染。尽管任务很重要，但它很乏味，需要巨大的努力。在本文中，我们引入了一个特定领域的室内场景图像合成的新问题，即神经场景装饰。鉴于一张空的室内空间的照片以及用户确定的布局列表，我们旨在合成具有所需的家具和装饰的相同空间的新图像。神经场景装饰可用于以简单而有效的方式创建概念室内设计。我们解决这个研究问题的尝试是一种新颖的场景生成体系结构，它将空的场景和对象布局转化为现实的场景照片。我们通过将其与有条件图像合成基线进行比较，以定性和定量的方式将其进行比较，证明了我们提出的方法的性能。我们进行广泛的实验，以进一步验证我们生成的场景的合理性和美学。我们的实现可在\ url {https://github.com/hkust-vgd/neural_scene_decoration}获得。

本文提出了一种新颖的卷积层，称为扰动卷积（PCONV），该层侧重于同时实现两个目标：改善生成的对抗网络（GaN）性能并减轻判断者将所有图像从给定数据集记住的记忆问题，因为培训进步。在PCONV中，通过在执行卷积操作之前随机扰乱输入张量来产生扰动特征。这种方法很简单，但令人惊讶地有效。首先，为了产生类似的输出，即使使用扰动的张量，鉴别器中的每层也应该学习具有小本地嘴唇尖端值的鲁棒特征。其次，由于输入张量在培训过程中随机扰乱了神经网络中的辍学时，可以减轻记忆问题。为了展示所提出的方法的泛化能力，我们对各种丢失函数和数据集进行了广泛的实验，包括CIFAR-10，Celeba，Celeba-HQ，LSUN和微型想象成。定量评估表明，在FRECHET成立距离（FID）方面，PCONV有效地提高了GaN和条件GaN的性能。