图像综合和图像识别已经见证了显着的进展，但通常以计算昂贵的训练和推断为代价。学习轻量级又表达深度模型已成为一个重要而有趣的方向。本文提出了略微展开的展开构建模块（SLIM），促进了图像合成模型的略微学习，以及相同层变体（称为纤细TOO）作为图像识别的众所周知的RENEXT的替代品更强。在SLIM中，输入特征图首先将多个组（例如，4）。然后转换为潜在风格的向量（通过通道 - 明智地注意）和潜在的空间掩模（通过空间注意）。学习的潜在掩码和潜在风格向量被聚合以调制目标特征映射。对于生成的学习，纤细地建立在最近提出的轻质生成的对抗网络（即，Fastgans）上，该网络展示了跳过层励磁（SLE）模块。对于少量图像综合任务，所提出的纤细可以实现比SLE工作和其他相关方法更好的性能。对于单次图像综合任务，它显示比现有技术（例如初版）保留图像结构的更强能力。对于图像分类任务，所提出的纤细被用作Resnet中的卷积层的替代品（导致Resnext的模型），并在MageNET-1000数据集中实现更好的精度，模型复杂性显着更小

最近对变形金刚的爆炸利益提出了他们成为计算机视觉任务的强大“通用”模型的潜力，例如分类，检测和分割。虽然这些尝试主要研究歧视模型，但我们探索变压器，更加臭名昭着的难以愿景任务，例如生成的对抗网络（GANS）。我们的目标是通过仅使用纯的变压器的架构，开展一项完全没有卷曲的GAN的试点研究。我们的Vanilla GaN架构被称为Cransgan，包括一个基于内存友好的变换器的发电机，逐渐增加了特征分辨率，并且相应地是多尺度鉴别器来捕获同时语义上下文和低级纹理。在他们之上，我们介绍了新的网格自我关注模块，以便进一步缓解记忆瓶颈，以便扩展到高分辨率的发电。我们还开发了一个独特的培训配方，包括一系列技术，可以减轻转发的培训不稳定问题，例如数据增强，修改的归一化和相对位置编码。与使用卷积骨架的当前最先进的GAN相比，我们最好的建筑达到了竞争力的表现。具体而言，转发在STL-10上设置10.43和18.28的最新的最新成立得分为18.28，表现优于样式。当涉及更高分辨率（例如256 x 256）的生成任务时，例如Celeba-HQ和Lsun-Church，Rancorgan继续生产具有高保真度和令人印象深刻的纹理细节的不同视觉示例。此外，我们通过可视化培训动力学，深入了解基于变压器的生成模型，了解他们的行为如何与卷积的行为。代码可在https://github.com/vita-group/transgan中获得。

基于注意的模型，由变压器举例说明，可以有效地模拟长距离依赖性，而是遭受自我注意操作的二次复杂性，使得基于生成的对抗网络（GAN）的高分辨率图像生成使得它们难以采用。在本文中，我们向变压器推出了两个关键成分来解决这一挑战。首先，在生成过程的低分辨率阶段，用所提出的多轴阻塞自我关注取代了标准的全球自我关注，这允许有效地混合本地和全球关注。其次，在高分辨率阶段，我们降低了自我关注，同时只保持多层的感知让人想起隐含的神经功能。为了进一步提高性能，我们基于横向引入额外的自我调制组件。结果模型表示为命中，具有关于图像尺寸的几乎线性的计算复杂度，从而直接缩放到合成高清晰度图像。我们在实验中展示了所提出的命中，实现最先进的FID得分31.87和2.95在无条件的ImageNet上，分别具有合理的吞吐量的128美元和256美元\ times 256美元。我们认为，拟议的命中是全球发电机的一个重要里程碑，完全没有卷积。

变压器在计算机视觉中变得普遍，特别是对于高级视觉任务。然而，采用生成的对抗性网络（GaN）框架中的变压器仍然是一个开放但具有挑战性的问题。本文进行了一项全面的实证研究，探讨了高保真图像合成的GaN中变压器的性能。我们的分析亮点并重申了特征局部度在图像生成中的重要性，尽管局部性的优点在分类任务中是众所周知的。也许更有趣的是，我们发现自我关注层中的残余连接有害，以利用基于变压器的鉴别器和条件发电机。我们仔细检查了影响力，并提出了减轻负面影响的有效方法。我们的研究导致GaN中的变压器的新替代设计，卷积神经网络（CNN） - 免费发电机称为晶体 - G，这在无条件和条件图像代中实现了竞争导致。基于变压器的鉴别器，Strans-D也显着降低了其基于CNN的鉴别器的间隙。

生成的对抗网络（GANS）产生高质量的图像，但致力于训练。它们需要仔细正常化，大量计算和昂贵的超参数扫描。我们通过将生成和真实样本投影到固定的预级特征空间中，在这些问题上进行了重要的头路。发现鉴别者无法充分利用来自预押模型的更深层次的特征，我们提出了更有效的策略，可以在渠道和分辨率中混合特征。我们预计的GaN提高了图像质量，样品效率和收敛速度。它与最多一个百万像素的分辨率进一步兼容，并在二十二个基准数据集上推进最先进的FR \'Echet Inception距离（FID）。重要的是，预计的GAN符合先前最低的FID速度快40倍，鉴于相同的计算资源，将壁钟时间从5天切割到不到3小时。

Generative Adversarial Networks (GANs) typically suffer from overfitting when limited training data is available. To facilitate GAN training, current methods propose to use data-specific augmentation techniques. Despite the effectiveness, it is difficult for these methods to scale to practical applications. In this work, we present ScoreMix, a novel and scalable data augmentation approach for various image synthesis tasks. We first produce augmented samples using the convex combinations of the real samples. Then, we optimize the augmented samples by minimizing the norms of the data scores, i.e., the gradients of the log-density functions. This procedure enforces the augmented samples close to the data manifold. To estimate the scores, we train a deep estimation network with multi-scale score matching. For different image synthesis tasks, we train the score estimation network using different data. We do not require the tuning of the hyperparameters or modifications to the network architecture. The ScoreMix method effectively increases the diversity of data and reduces the overfitting problem. Moreover, it can be easily incorporated into existing GAN models with minor modifications. Experimental results on numerous tasks demonstrate that GAN models equipped with the ScoreMix method achieve significant improvements.

在本文中，我们提出了一种有效且有效的单级框架（Divergan），根据自然语言描述产生多样化，可粘性和语义一致的图像。 Divergan采用两种新颖的单词级注意模块，即通道关注模块（CAM）和像素 - 注意模块（PAM），这在允许网络允许将较大的权重分配给定句子中的每个单词的重要性与突出字，语义对齐的重要通道和像素。之后，引入了条件自适应实例层归一化（CADailn）以使语言提示嵌入的句子中的语言线索灵活地操纵形状和纹理的变化量，进一步改善视觉语义表示和帮助稳定训练。此外，开发了双剩余结构以保持更多原始的视觉功能，同时允许更深的网络，从而产生更快的收敛速度和更生动的细节。此外，我们建议将完全连接的层插入管道以解决缺乏多样性问题，因为我们观察到致密层会显着提高网络的生成能力，平衡低于之间的权衡尺寸随机潜代码有助于使用高维和文本上下文来强度特征映射的变体和调制模块。在第二个残差块之后插入线性层，实现最佳品种和质量。基准数据集的定性和定量结果都展示了我们的潜水员实现多样性的优越性，而不会损害质量和语义一致性。

语义图像编辑利用本地语义标签图来生成所需的内容。最近的工作借用了Spade Block来实现语义图像编辑。但是，由于编辑区域和周围像素之间的样式差异，它无法产生令人愉悦的结果。我们将其归因于以下事实：Spade仅使用与图像无关的局部语义布局，但忽略了已知像素中包含的图像特定样式。为了解决此问题，我们提出了一个样式保存的调制（SPM），其中包括两个调制过程：第一个调制包含上下文样式和语义布局，然后生成两个融合的调制参数。第二次调制采用融合参数来调制特征图。通过使用这两种调制，SPM可以在保留特定图像的上下文样式的同时注入给定的语义布局。此外，我们设计了一种渐进式体系结构，以粗到精细的方式生成编辑的内容。提出的方法可以获得上下文一致的结果，并显着减轻生成区域和已知像素之间的不愉快边界。

Our goal with this survey is to provide an overview of the state of the art deep learning technologies for face generation and editing. We will cover popular latest architectures and discuss key ideas that make them work, such as inversion, latent representation, loss functions, training procedures, editing methods, and cross domain style transfer. We particularly focus on GAN-based architectures that have culminated in the StyleGAN approaches, which allow generation of high-quality face images and offer rich interfaces for controllable semantics editing and preserving photo quality. We aim to provide an entry point into the field for readers that have basic knowledge about the field of deep learning and are looking for an accessible introduction and overview.

提供和渲染室内场景一直是室内设计的一项长期任务，艺术家为空间创建概念设计，建立3D模型的空间，装饰，然后执行渲染。尽管任务很重要，但它很乏味，需要巨大的努力。在本文中，我们引入了一个特定领域的室内场景图像合成的新问题，即神经场景装饰。鉴于一张空的室内空间的照片以及用户确定的布局列表，我们旨在合成具有所需的家具和装饰的相同空间的新图像。神经场景装饰可用于以简单而有效的方式创建概念室内设计。我们解决这个研究问题的尝试是一种新颖的场景生成体系结构，它将空的场景和对象布局转化为现实的场景照片。我们通过将其与有条件图像合成基线进行比较，以定性和定量的方式将其进行比较，证明了我们提出的方法的性能。我们进行广泛的实验，以进一步验证我们生成的场景的合理性和美学。我们的实现可在\ url {https://github.com/hkust-vgd/neural_scene_decoration}获得。

深层图像介绍取得了令人印象深刻的进步，随着图像产生和处理算法的最新进展。我们声称，可以通过生成的结构和纹理更好地判断介入算法的性能。结构是指孔中生成的对象边界或新的几何结构，而纹理是指高频细节，尤其是在结构区域内填充的人造重复模式。我们认为，更好的结构通常是从基于粗糙的GAN的发电机网络中获得的，而如今重复模式可以通过最新的高频快速快速傅立叶卷积层进行更好的建模。在本文中，我们提出了一个新颖的介绍网络，结合了这两种设计的优势。因此，我们的模型具有出色的视觉质量，可以匹配结构生成和使用单个网络重复纹理合成的最新性能。广泛的实验证明了该方法的有效性，我们的结论进一步突出了图像覆盖质量，结构和纹理的两个关键因素，即未来的设计方向。

最近的研究表明，风格老年提供了对图像合成和编辑的下游任务的有希望的现有模型。然而，由于样式盖的潜在代码被设计为控制全球样式，因此很难实现对合成图像的细粒度控制。我们提出了SemanticStylegan，其中发电机训练以分别培训局部语义部件，并以组成方式合成图像。不同局部部件的结构和纹理由相应的潜在码控制。实验结果表明，我们的模型在不同空间区域之间提供了强烈的解剖。当与为样式器设计的编辑方法结合使用时，它可以实现更细粒度的控制，以编辑合成或真实图像。该模型也可以通过传输学习扩展到其他域。因此，作为具有内置解剖学的通用先前模型，它可以促进基于GaN的应用的发展并实现更多潜在的下游任务。

The style-based GAN architecture (StyleGAN) yields state-of-the-art results in data-driven unconditional generative image modeling. We expose and analyze several of its characteristic artifacts, and propose changes in both model architecture and training methods to address them. In particular, we redesign the generator normalization, revisit progressive growing, and regularize the generator to encourage good conditioning in the mapping from latent codes to images. In addition to improving image quality, this path length regularizer yields the additional benefit that the generator becomes significantly easier to invert. This makes it possible to reliably attribute a generated image to a particular network. We furthermore visualize how well the generator utilizes its output resolution, and identify a capacity problem, motivating us to train larger models for additional quality improvements. Overall, our improved model redefines the state of the art in unconditional image modeling, both in terms of existing distribution quality metrics as well as perceived image quality.

近年来有条件的GAN已经成熟，并且能够产生高质量的现实形象。但是，计算资源和培训高质量的GAN所需的培训数据是巨大的，因此对这些模型的转移学习的研究是一个紧急话题。在本文中，我们探讨了从高质量预训练的无条件GAN到有条件的GAN的转移。为此，我们提出了基于HyperNetwork的自适应权重调制。此外，我们介绍了一个自我初始化过程，不需要任何真实数据才能初始化HyperNetwork参数。为了进一步提高知识转移的样本效率，我们建议使用自我监督（对比）损失来改善GaN判别者。在广泛的实验中，我们验证了多个标准基准上的Hypernetworks，自我初始化和对比损失的效率。

与生成对抗网络（GAN）的图像和分割掩模的联合合成有望减少用像素通过像素注释收集图像数据所需的精力。但是，要学习高保真图像掩码合成，现有的GAN方法首先需要一个需要大量图像数据的预训练阶段，这限制了其在受限图像域中的利用。在这项工作中，我们迈出了一步，以减少此限制，从而引入了单次图像掩码合成的任务。我们旨在仅给出一个单个标记的示例，生成各种图像及其分割面具，并假设与以前的模型相反，则无法访问任何预训练数据。为此，我们受到单图像gan的最新体系结构发展的启发，我们介绍了OSMIS模型，该模型可以合成分割掩模，这些掩模与单次镜头中生成的图像完全一致。除了实现产生的口罩的高保真度外，OSMIS在图像合成质量和多样性中的最先进的单图像模型优于最先进的单位图。此外，尽管没有使用任何其他数据，OSMIS还是表现出令人印象深刻的能力，可以作为一击细分应用程序的有用数据增强的来源，提供了与标准数据增强技术相辅相成的性能提高。代码可从https://github.com/ boschresearch/One-shot-synthesis获得

我们通过将此任务视为视觉令牌生成问题来提出新的视角来实现图像综合。与现有的范例不同，即直接从单个输入（例如，潜像）直接合成完整图像，新配方使得能够为不同的图像区域进行灵活的本地操作，这使得可以学习内容感知和细粒度的样式控制用于图像合成。具体地，它需要输入潜像令牌的序列，以预测用于合成图像的视觉令牌。在这种观点来看，我们提出了一个基于令牌的发电机（即Tokengan）。特别是，Tokengan输入了两个语义不同的视觉令牌，即，来自潜在空间的学习常量内容令牌和风格代币。鉴于一系列风格令牌，Tokengan能够通过用变压器将样式分配给内容令牌来控制图像合成。我们进行了广泛的实验，并表明拟议的Tokengan在几个广泛使用的图像综合基准上实现了最先进的结果，包括FFHQ和LSUN教会，具有不同的决议。特别地，发电机能够用1024x1024尺寸合成高保真图像，完全用卷曲分配。

最近的图像入介方法取得了长足的进步，但在处理复杂图像中的大孔时，通常很难产生合理的图像结构。这部分是由于缺乏有效的网络结构可以捕获图像的远程依赖性和高级语义。我们提出了级联调制GAN（CM-GAN），这是一种新的网络设计，由编码器组成，该设计由带有傅立叶卷积块的编码器组成，该块从带有孔的输入图像中提取多尺度特征表示，并带有带有新型级联全球空间调制的双流式解码器在每个比例尺上块。在每个解码器块中，首先应用全局调制以执行粗糙和语义感知的结构合成，然后进行空间调制以进一步以空间自适应的方式调整特征图。此外，我们设计了一种对象感知的培训方案，以防止网络在孔内部幻觉，从而满足实际情况下对象删除任务的需求。进行了广泛的实验，以表明我们的方法在定量和定性评估中都显着优于现有方法。请参阅项目页面：\ url {https://github.com/htzheng/cm-gan-inpainting}。

We propose semantic region-adaptive normalization (SEAN), a simple but effective building block for Generative Adversarial Networks conditioned on segmentation masks that describe the semantic regions in the desired output image. Using SEAN normalization, we can build a network architecture that can control the style of each semantic region individually, e.g., we can specify one style reference image per region. SEAN is better suited to encode, transfer, and synthesize style than the best previous method in terms of reconstruction quality, variability, and visual quality. We evaluate SEAN on multiple datasets and report better quan-titative metrics (e.g. FID, PSNR) than the current state of the art. SEAN also pushes the frontier of interactive image editing. We can interactively edit images by changing segmentation masks or the style for any given region. We can also interpolate styles from two reference images per region. Code: https://github.com/ZPdesu/SEAN .

三维（3D）医学图像的产生可能具有巨大的应用潜力，因为它考虑了3D解剖结构。但是，有两个问题可以防止有效培训3D医疗生成模型：（1）3D医学图像的获取和注释非常昂贵，导致培训图像不足，（2）大量参数是参与3D卷积。为了解决这两个问题，我们提出了一种名为3D Split＆Shuffle-Gan的新型GAN模型。为了解决3D数据稀缺问题，我们首先使用丰富的图像切片预先培训二维（2D）GAN模型，并夸大2D卷积权重以改善3D GAN的初始化。为GAN模型的生成器和鉴别器提出了新型的3D网络体系结构，以显着减少参数的数量，同时保持图像生成的质量。研究了许多体重通胀策略和参数有效的3D架构。对心脏（Stanford Aimi冠状动脉钙）和大脑（阿尔茨海默氏病神经成像计划）的实验表明，所提出的方法会导致改善的3D图像产生质量，参数较少。