强大的模拟器高度降低了在培训和评估自动车辆时对真实测试的需求。数据驱动的模拟器蓬勃发展，最近有条件生成对冲网络（CGANS）的进步，提供高保真图像。主要挑战是在施加约束之后的同时合成光量造型图像。在这项工作中，我们建议通过重新思考鉴别者架构来提高所生成的图像的质量。重点是在给定对语义输入生成图像的问题类上，例如场景分段图或人体姿势。我们建立成功的CGAN模型，提出了一种新的语义感知鉴别器，更好地指导发电机。我们的目标是学习一个共享的潜在表示，编码足够的信息，共同进行语义分割，内容重建以及粗糙的粒度的对抗性推理。实现的改进是通用的，并且可以应用于任何条件图像合成的任何架构。我们展示了我们在场景，建筑和人类综合任务上的方法，跨越三个不同的数据集。代码可在https://github.com/vita-epfl/semdisc上获得。

Our result (c) Application: Edit object appearance (b) Application: Change label types (a) Synthesized resultFigure 1: We propose a generative adversarial framework for synthesizing 2048 × 1024 images from semantic label maps (lower left corner in (a)). Compared to previous work [5], our results express more natural textures and details. (b) We can change labels in the original label map to create new scenes, like replacing trees with buildings. (c) Our framework also allows a user to edit the appearance of individual objects in the scene, e.g. changing the color of a car or the texture of a road. Please visit our website for more side-by-side comparisons as well as interactive editing demos.

本文提出了有条件生成对抗性网络（CGANS）的两个重要贡献，以改善利用此架构的各种应用。第一个主要贡献是对CGANS的分析表明它们没有明确条件。特别地，将显示鉴别者和随后的Cgan不会自动学习输入之间的条件。第二种贡献是一种新方法，称为逆时针，该方法通过新颖的逆损失明确地模拟了对抗架构的两部分的条件，涉及培训鉴别者学习无条件（不利）示例。这导致了用于GANS（逆学习）的新型数据增强方法，其允许使用不利示例将发电机的搜索空间限制为条件输出。通过提出概率分布分析，进行广泛的实验以评估判别符的条件。与不同应用的CGAN架构的比较显示了众所周知的数据集的性能的显着改进，包括使用不同度量的不同度量的语义图像合成，图像分割，单眼深度预测和“单个标签” - 图像（FID） ），平均联盟（Miou）交叉口，根均线误差日志（RMSE日志）和统计上不同的箱数（NDB）。

交换自动编码器在深层图像操纵和图像到图像翻译中实现了最先进的性能。我们通过基于梯度逆转层引入简单而有效的辅助模块来改善这项工作。辅助模块的损失迫使发电机学会使用全零纹理代码重建图像，从而鼓励结构和纹理信息之间更好地分解。提出的基于属性的转移方法可以在样式传输中进行精致的控制，同时在不使用语义掩码的情况下保留结构信息。为了操纵图像，我们将对象的几何形状和输入图像的一般样式编码为两个潜在代码，并具有实施结构一致性的附加约束。此外，由于辅助损失，训练时间大大减少。提出的模型的优越性在复杂的域中得到了证明，例如已知最先进的卫星图像。最后，我们表明我们的模型改善了广泛的数据集的质量指标，同时通过多模式图像生成技术实现了可比的结果。

基于图像的虚拟试验努力将服装的外观转移到目标人的图像上。先前的工作主要集中在上身衣服（例如T恤，衬衫和上衣）上，并忽略了全身或低身物品。这种缺点来自一个主要因素：用于基于图像的虚拟试验的当前公开可用数据集并不解释此品种，从而限制了该领域的进度。为了解决这种缺陷，我们介绍着着装代码，其中包含多类服装的图像。着装代码比基于图像的虚拟试验的公共可用数据集大于3倍以上，并且具有前视图，全身参考模型的高分辨率配对图像（1024x768）。为了生成具有高视觉质量且细节丰富的高清尝试图像，我们建议学习细粒度的区分功能。具体而言，我们利用一种语义意识歧视器，该歧视器在像素级而不是图像级或贴片级上进行预测。广泛的实验评估表明，所提出的方法在视觉质量和定量结果方面超过了基线和最先进的竞争者。着装码数据集可在https://github.com/aimagelab/dress-code上公开获得。

有条件图像生成的最新方法受益于密集的监督，例如分割标签图，以实现高保真性。但是，很少探索使用密集的监督进行无条件的图像生成。在这里，我们探讨了密集监督在无条件生成中的功效，找到生成器特征图可以替代成本昂贵的语义标签图。从我们的经验证据来看，我们提出了一种新的生成器引导的鉴别剂正则化（GGDR），其中生成器的特征地图监督了歧视者在无条件生成中具有丰富的语义表示。具体而言，我们采用了一个U-NET架构进行鉴别器，该体系结构经过训练，可以预测发电机特征图作为输入的伪造图像。关于Mulitple数据集的广泛实验表明，我们的GGDR始终在定量和定性方面提高基线方法的性能。代码可从https://github.com/naver-ai/ggdr获得

提供和渲染室内场景一直是室内设计的一项长期任务，艺术家为空间创建概念设计，建立3D模型的空间，装饰，然后执行渲染。尽管任务很重要，但它很乏味，需要巨大的努力。在本文中，我们引入了一个特定领域的室内场景图像合成的新问题，即神经场景装饰。鉴于一张空的室内空间的照片以及用户确定的布局列表，我们旨在合成具有所需的家具和装饰的相同空间的新图像。神经场景装饰可用于以简单而有效的方式创建概念室内设计。我们解决这个研究问题的尝试是一种新颖的场景生成体系结构，它将空的场景和对象布局转化为现实的场景照片。我们通过将其与有条件图像合成基线进行比较，以定性和定量的方式将其进行比较，证明了我们提出的方法的性能。我们进行广泛的实验，以进一步验证我们生成的场景的合理性和美学。我们的实现可在\ url {https://github.com/hkust-vgd/neural_scene_decoration}获得。

随着生成对冲网络（GANS）的快速进步，综合场景的视觉质量不断改进，包括复杂的城市场景，其中包含自动驾驶的应用。我们在这项工作中解决了一个持续的场景生成设置，其中GAN在不同的域流上培训;理想情况下，学习的模型最终应该能够在所有看到的域中生成新场景。此设置反映了现实生活场景，其中数据在不同时间的不同地方不断获取。在这种持续的设置中，我们的目标是学习零遗忘，即，由于灾难性的遗忘，在早期域内没有综合质量下降。为此，我们介绍了一种新颖的框架，不仅（i）可以在持续培训中实现无缝知识转移，而且（ii）还能以小的开销成本保证零遗忘。虽然更加内存有效，但由于继续学习，我们的模型比较每个域为一个完整模型的蛮力解决方案比较了更好的合成质量。特别是，在极端的低数据制度下，我们的方法通过大幅度大幅优于蛮力。

由于我们是婴儿，我们直观地发展了与视觉，音频和文本等不同认知传感器的输入相关联的能力。然而，在机器学习中，这种跨模型学习是一种非活动任务，因为不同的方式没有均匀性质。以前的作品发现，应该有不同的方式存在桥梁。从神经病学和心理学的角度来看，人类有能力将一种模态与另一个方式联系起来，例如，将一只鸟的图片与歌唱的唯一听证者相关联，反之亦然。机器学习算法是否可能恢复给定音频信号的场景？在本文中，我们提出了一种新型级联关注的残留甘（Car-GaN），旨在重建给定相应的音频信号的场景。特别地，我们介绍残留物模块，以逐渐降低不同方式之间的间隙。此外，具有新型分类损失函数的级联注意网络旨在解决跨模型学习任务。我们的模型在高级语义标签域中保持一致性，并且能够平衡两种不同的模式。实验结果表明，我们的模型在具有挑战性的子URMP数据集上实现了最先进的跨模型视听生成。代码将在https://github.com/tuffr5/car-gan中获得。

最近已经示出了从2D图像中提取隐式3D表示的生成神经辐射场（GNERF）模型，以产生代表刚性物体的现实图像，例如人面或汽车。然而，他们通常难以产生代表非刚性物体的高质量图像，例如人体，这对许多计算机图形应用具有很大的兴趣。本文提出了一种用于人类图像综合的3D感知语义导向生成模型（3D-SAGGA），其集成了GNERF和纹理发生器。前者学习人体的隐式3D表示，并输出一组2D语义分段掩模。后者将这些语义面部掩模转化为真实的图像，为人类的外观添加了逼真的纹理。如果不需要额外的3D信息，我们的模型可以使用照片现实可控生成学习3D人类表示。我们在Deepfashion DataSet上的实验表明，3D-SAGGAN显着优于最近的基线。

demonstrate this by synthesizing photographic images at 2-megapixel resolution, the full resolution of our training data. Extensive perceptual experiments on datasets of outdoor and indoor scenes demonstrate that images synthesized by the presented approach are considerably more realistic than alternative approaches.

Image and video synthesis has become a blooming topic in computer vision and machine learning communities along with the developments of deep generative models, due to its great academic and application value. Many researchers have been devoted to synthesizing high-fidelity human images as one of the most commonly seen object categories in daily lives, where a large number of studies are performed based on various deep generative models, task settings and applications. Thus, it is necessary to give a comprehensive overview on these variant methods on human image generation. In this paper, we divide human image generation techniques into three paradigms, i.e., data-driven methods, knowledge-guided methods and hybrid methods. For each route, the most representative models and the corresponding variants are presented, where the advantages and characteristics of different methods are summarized in terms of model architectures and input/output requirements. Besides, the main public human image datasets and evaluation metrics in the literature are also summarized. Furthermore, due to the wide application potentials, two typical downstream usages of synthesized human images are covered, i.e., data augmentation for person recognition tasks and virtual try-on for fashion customers. Finally, we discuss the challenges and potential directions of human image generation to shed light on future research.

人类视频运动转移（HVMT）的目的是鉴于源头的形象，生成了模仿驾驶人员运动的视频。 HVMT的现有方法主要利用生成对抗网络（GAN），以根据根据源人员图像和每个驾驶视频框架估计的流量来执行翘曲操作。但是，由于源头，量表和驾驶人员之间的巨大差异，这些方法始终会产生明显的人工制品。为了克服这些挑战，本文提出了基于gan的新型人类运动转移（远程移动）框架。为了产生逼真的动作，远遥采用了渐进的一代范式：它首先在没有基于流动的翘曲的情况下生成每个身体的零件，然后将所有零件变成驾驶运动的完整人。此外，为了保留自然的全球外观，我们设计了一个全球对齐模块，以根据其布局与驾驶员的规模和位置保持一致。此外，我们提出了一个纹理对准模块，以使人的每个部分都根据纹理的相似性对齐。最后，通过广泛的定量和定性实验，我们的远及以两个公共基准取得了最先进的结果。

我们提出了一种用于自动驾驶应用的图像增强的组成方法。它是一个端到端的神经网络，被训练，以便无缝地构成作为从物体图像的裁剪补片所代表的物体（例如，车辆或行人）进入背景场景图像。由于我们的方法强调了组合图像的语义和结构一致性，而不是它们的像素级RGB精度，我们通过结构感知功能来定制我们网络的输入和输出，相应地设计了我们的网络损耗。具体而言，我们的网络从输入场景图像中获取语义布局特征，从输入对象补丁中的边缘和剪影编码的功能，以及潜像作为输入的潜在代码，并生成定义平移和缩放的2D空间仿射变换对象补丁。学习的参数进一步进入可分扩展的空间变压器网络，以将对象补丁转换为目标图像，其中我们的模型通过仿射变换鉴别器和布局鉴别器对其进行对面的培训。我们评估我们的网络，为结构感知组成，在质量，可组合性和复合图像的概念方面，在突出的自动驾驶数据集上。对最先进的替代品进行比较，确认我们的方法的优越性。

前景感知的图像合成旨在生成图像及其前景面具。一种常见的方法是将图像制定为前景图像和背景图像的掩盖混合物。这是一个具有挑战性的问题，因为它容易到达琐碎的解决方案，在这些解决方案中，图像淹没了另一个图像，即面具变得完全充满或空，并且前景和背景没有有意义的分离。我们将Furrygan带有三个关键组成部分：1）施加前景图像和复合图像是现实的，2）将掩码设计为粗糙和细面膜的组合，以及3）通过在辅助掩码中引导发电机，并通过辅助掩码预测器中的辅助掩码预测器。歧视者。我们的方法生成了逼真的图像，并具有非常详细的α面膜，这些面膜以完全无监督的方式覆盖头发，皮毛和晶须。

图像生成在学术界和工业领域提出了巨大的关注，特别是对于有条件和目标导向的图像生成，例如犯罪肖像和时装设计。虽然目前的研究已经沿着这个方向实现了初步结果，但它们总是将课堂标签集中在阶级标签中作为空间内容从潜伏向量随机产生的条件。边缘细节通常模糊，因为空间信息难以保持。鉴于此，我们提出了一种新型的空间受限的生成对抗网络（SCAGAN），其从潜伏向量中分离出空间约束，并使这些约束可行作为额外的可控信号。为了增强空间可控性，发电机网络专门设计用于逐步采用语义分割，潜在的传染媒介和属性级标签作为输入。此外，构造分段网络以对发电机施加空间约束。在实验上，我们在Celeba和Deepfashion数据集中提供视觉和定量结果，并证明所提出的Scang在控制空间内容以及产生高质量图像方面非常有效。

Automatic font generation without human experts is a practical and significant problem, especially for some languages that consist of a large number of characters. Existing methods for font generation are often in supervised learning. They require a large number of paired data, which are labor-intensive and expensive to collect. In contrast, common unsupervised image-to-image translation methods are not applicable to font generation, as they often define style as the set of textures and colors. In this work, we propose a robust deformable generative network for unsupervised font generation (abbreviated as DGFont++). We introduce a feature deformation skip connection (FDSC) to learn local patterns and geometric transformations between fonts. The FDSC predicts pairs of displacement maps and employs the predicted maps to apply deformable convolution to the low-level content feature maps. The outputs of FDSC are fed into a mixer to generate final results. Moreover, we introduce contrastive self-supervised learning to learn a robust style representation for fonts by understanding the similarity and dissimilarities of fonts. To distinguish different styles, we train our model with a multi-task discriminator, which ensures that each style can be discriminated independently. In addition to adversarial loss, another two reconstruction losses are adopted to constrain the domain-invariant characteristics between generated images and content images. Taking advantage of FDSC and the adopted loss functions, our model is able to maintain spatial information and generates high-quality character images in an unsupervised manner. Experiments demonstrate that our model is able to generate character images of higher quality than state-of-the-art methods.

We propose semantic region-adaptive normalization (SEAN), a simple but effective building block for Generative Adversarial Networks conditioned on segmentation masks that describe the semantic regions in the desired output image. Using SEAN normalization, we can build a network architecture that can control the style of each semantic region individually, e.g., we can specify one style reference image per region. SEAN is better suited to encode, transfer, and synthesize style than the best previous method in terms of reconstruction quality, variability, and visual quality. We evaluate SEAN on multiple datasets and report better quan-titative metrics (e.g. FID, PSNR) than the current state of the art. SEAN also pushes the frontier of interactive image editing. We can interactively edit images by changing segmentation masks or the style for any given region. We can also interpolate styles from two reference images per region. Code: https://github.com/ZPdesu/SEAN .

在大多数情况下，有条件的图像生成可以被认为是对图像理解过程的反转。由于通用图像理解涉及解决多个任务，因此自然要通过多条件来生成图像。但是，由于异质性和（实际上）可用条件标签的稀疏性，多条件图像生成是一个非常具有挑战性的问题。在这项工作中，我们提出了一种新型的神经结构，以解决空间多条件标签的异质性和稀疏性问题。我们选择的空间条件（例如语义和深度）是由它具有更好地控制图像生成过程的承诺所驱动的。所提出的方法使用类似变压器的体系结构操作像素，该架构将可用的标签作为输入令牌接收，以将其合并在学习的标签均匀空间中。然后，合并的标签用于通过有条件的生成对抗训练进行图像生成。在此过程中，通过简单地将与所需位置的缺失标签相对应的输入令牌掉下来处理标签的稀疏性，这要归功于提议的像素操作架构。我们在三个基准数据集上进行的实验证明了我们的方法比最新的基准和比较基线的明显优势。源代码将公开可用。