由于我们是婴儿，我们直观地发展了与视觉，音频和文本等不同认知传感器的输入相关联的能力。然而，在机器学习中，这种跨模型学习是一种非活动任务，因为不同的方式没有均匀性质。以前的作品发现，应该有不同的方式存在桥梁。从神经病学和心理学的角度来看，人类有能力将一种模态与另一个方式联系起来，例如，将一只鸟的图片与歌唱的唯一听证者相关联，反之亦然。机器学习算法是否可能恢复给定音频信号的场景？在本文中，我们提出了一种新型级联关注的残留甘（Car-GaN），旨在重建给定相应的音频信号的场景。特别地，我们介绍残留物模块，以逐渐降低不同方式之间的间隙。此外，具有新型分类损失函数的级联注意网络旨在解决跨模型学习任务。我们的模型在高级语义标签域中保持一致性，并且能够平衡两种不同的模式。实验结果表明，我们的模型在具有挑战性的子URMP数据集上实现了最先进的跨模型视听生成。代码将在https://github.com/tuffr5/car-gan中获得。

我们建议使用单个图像进行面部表达到表达翻译的简单而强大的地标引导的生成对抗网络（Landmarkgan），这在计算机视觉中是一项重要且具有挑战性的任务，因为表达到表达的翻译是非 - 线性和非对准问题。此外，由于图像中的对象可以具有任意的姿势，大小，位置，背景和自我观念，因此需要在输入图像和输出图像之间有一个高级的语义理解。为了解决这个问题，我们建议明确利用面部地标信息。由于这是一个具有挑战性的问题，我们将其分为两个子任务，（i）类别引导的地标生成，以及（ii）具有里程碑意义的指导表达式对表达的翻译。两项子任务以端到端的方式进行了培训，旨在享受产生的地标和表情的相互改善的好处。与当前的按键指导的方法相比，提议的Landmarkgan只需要单个面部图像即可产生各种表达式。四个公共数据集的广泛实验结果表明，与仅使用单个图像的最先进方法相比，所提出的Landmarkgan获得了更好的结果。该代码可从https://github.com/ha0tang/landmarkgan获得。

强大的模拟器高度降低了在培训和评估自动车辆时对真实测试的需求。数据驱动的模拟器蓬勃发展，最近有条件生成对冲网络（CGANS）的进步，提供高保真图像。主要挑战是在施加约束之后的同时合成光量造型图像。在这项工作中，我们建议通过重新思考鉴别者架构来提高所生成的图像的质量。重点是在给定对语义输入生成图像的问题类上，例如场景分段图或人体姿势。我们建立成功的CGAN模型，提出了一种新的语义感知鉴别器，更好地指导发电机。我们的目标是学习一个共享的潜在表示，编码足够的信息，共同进行语义分割，内容重建以及粗糙的粒度的对抗性推理。实现的改进是通用的，并且可以应用于任何条件图像合成的任何架构。我们展示了我们在场景，建筑和人类综合任务上的方法，跨越三个不同的数据集。代码可在https://github.com/vita-epfl/semdisc上获得。

随着信息中的各种方式存在于现实世界中的各种方式，多式联信息之间的有效互动和融合在计算机视觉和深度学习研究中的多模式数据的创造和感知中起着关键作用。通过卓越的功率，在多式联运信息中建模互动，多式联运图像合成和编辑近年来已成为一个热门研究主题。与传统的视觉指导不同，提供明确的线索，多式联路指南在图像合成和编辑方面提供直观和灵活的手段。另一方面，该领域也面临着具有固有的模态差距的特征的几个挑战，高分辨率图像的合成，忠实的评估度量等。在本调查中，我们全面地阐述了最近多式联运图像综合的进展根据数据模型和模型架构编辑和制定分类。我们从图像合成和编辑中的不同类型的引导方式开始介绍。然后，我们描述了多模式图像综合和编辑方法，其具有详细的框架，包括生成的对抗网络（GAN），GaN反转，变压器和其他方法，例如NERF和扩散模型。其次是在多模式图像合成和编辑中广泛采用的基准数据集和相应的评估度量的综合描述，以及分析各个优点和限制的不同合成方法的详细比较。最后，我们为目前的研究挑战和未来的研究方向提供了深入了解。与本调查相关的项目可在HTTPS://github.com/fnzhan/mise上获得

文本对图像综合的症结很大，源于保持输入文本和合成图像之间的跨模式语义一致性的困难。试图直接建模文本图像映射的典型方法只能在文本中捕获指示常见对象或动作但无法学习其空间分布模式的文本中的关键字。规避此限制的一种有效方法是生成图像布局作为指导，这是通过一些方法尝试的。然而，由于输入文本和对象位置的多样性，这些方法无法生成实际有效的布局。在本文中，我们推动在文本到图像生成和布局到图像合成中进行有效的建模。具体而言，我们将文本到序列生成作为序列到序列建模任务，并在变压器上构建我们的模型，以通过对它们之间的顺序依赖性进行建模，以了解对象之间的空间关系。在布局到图像合成的阶段，我们专注于在布局中每个对象中的每个对象学习文本 - 视觉对齐，以精确地将输入文本纳入布局到图像构图合成过程。为了评估生成的布局的质量，我们设计了一个新的度量标准，称为布局质量得分，该评分既考虑了布局中边界框的绝对分布误差，又考虑了它们之间的相互空间关系。在三个数据集上进行的广泛实验证明了我们的方法优于最先进的方法，既可以预测布局和从给定文本综合图像。

文本对图像综合旨在从特定文本描述中生成光真逼真和语义一致的图像。与相应的图像和文本描述相比，由现成模型合成的图像通常包含有限的组件，从而降低了图像质量和文本 - 视觉一致性。为了解决这个问题，我们提出了一种新颖的视觉语言匹配策略，用于文本对图像综合，名为Vlmgan*，该策略介绍了一种双重视觉语言匹配机制，以增强图像质量和语义一致性。双视性匹配机制考虑了生成的图像与相应的文本描述之间的文本 - 视觉匹配，以及综合图像和真实图像之间的视觉视觉视觉一致约束。给定特定的文本描述，vlmgan*首先将其编码为文本特征，然后将它们馈送到基于双视觉匹配的生成模型中，以合成光合逼真的和文本的语义一致图像。此外，文本对图像合成的流行评估指标是从简单图像生成中借用的，该图像生成主要评估合成图像的现实和多样性。因此，我们引入了一个名为Vision语言匹配分数（VLMS）的度量标准，以评估文本对图像合成的性能，该分数可以考虑综合图像和描述之间的图像质量和语义一致性。所提出的双重多层视觉匹配策略可以应用于其他文本对图像合成方法。我们在两个受欢迎的基线上实现了此策略，这些基线用$ {\ text {vlmgan} _ {+\ text {attngan}}} $和$ {\ text {vlmgan} _ {+\ text {+\ text {+\ {+\ text {+\ text {dfgan}}} $ 。两个广泛使用的数据集的实验结果表明，该模型比其他最先进的方法实现了重大改进。

Image and video synthesis has become a blooming topic in computer vision and machine learning communities along with the developments of deep generative models, due to its great academic and application value. Many researchers have been devoted to synthesizing high-fidelity human images as one of the most commonly seen object categories in daily lives, where a large number of studies are performed based on various deep generative models, task settings and applications. Thus, it is necessary to give a comprehensive overview on these variant methods on human image generation. In this paper, we divide human image generation techniques into three paradigms, i.e., data-driven methods, knowledge-guided methods and hybrid methods. For each route, the most representative models and the corresponding variants are presented, where the advantages and characteristics of different methods are summarized in terms of model architectures and input/output requirements. Besides, the main public human image datasets and evaluation metrics in the literature are also summarized. Furthermore, due to the wide application potentials, two typical downstream usages of synthesized human images are covered, i.e., data augmentation for person recognition tasks and virtual try-on for fashion customers. Finally, we discuss the challenges and potential directions of human image generation to shed light on future research.

近年来，双相面孔皮草草图合成的显着进展随着生成的对抗性网络（GAN）的发展。双相面孔光学素材合成可以应用于数字娱乐和执法等宽范围的领域。然而，由于实际场景中的草图和复杂的照片变化，产生现实照片和不同的草图遭受了极大的挑战。为此，我们提出了一种新颖的语义驱动生成的对抗网络来解决上述问题，与图形表示学习合作。具体而言，我们将Class-Wise语义布局注入发电机以提供基于样式的空间监督，用于合成面部照片和草图。此外，为了提高生成的结果的保真度，我们利用语义布局来构造两种类型的代表性图，该图表示综合图像的类内语义特征和级别的结构特征。此外，我们基于所提出的代表性图设计了两种类型的约束，其便于保存生成的面部照片和草图中的细节。此外，为了进一步增强合成图像的感知质量，我们提出了一种新的双相培训策略，致力于通过迭代周期培训来细化所产生的结果。在CUFS和CUFSF数据集上进行了广泛的实验，以证明我们提出的方法实现了最先进的性能的突出能力。

Our result (c) Application: Edit object appearance (b) Application: Change label types (a) Synthesized resultFigure 1: We propose a generative adversarial framework for synthesizing 2048 × 1024 images from semantic label maps (lower left corner in (a)). Compared to previous work [5], our results express more natural textures and details. (b) We can change labels in the original label map to create new scenes, like replacing trees with buildings. (c) Our framework also allows a user to edit the appearance of individual objects in the scene, e.g. changing the color of a car or the texture of a road. Please visit our website for more side-by-side comparisons as well as interactive editing demos.

图像生成在学术界和工业领域提出了巨大的关注，特别是对于有条件和目标导向的图像生成，例如犯罪肖像和时装设计。虽然目前的研究已经沿着这个方向实现了初步结果，但它们总是将课堂标签集中在阶级标签中作为空间内容从潜伏向量随机产生的条件。边缘细节通常模糊，因为空间信息难以保持。鉴于此，我们提出了一种新型的空间受限的生成对抗网络（SCAGAN），其从潜伏向量中分离出空间约束，并使这些约束可行作为额外的可控信号。为了增强空间可控性，发电机网络专门设计用于逐步采用语义分割，潜在的传染媒介和属性级标签作为输入。此外，构造分段网络以对发电机施加空间约束。在实验上，我们在Celeba和Deepfashion数据集中提供视觉和定量结果，并证明所提出的Scang在控制空间内容以及产生高质量图像方面非常有效。

作为一项具有挑战性的任务，文本到图像生成旨在根据给定的文本说明生成照片真实和语义一致的图像。现有方法主要从一个句子中提取文本信息，以表示图像，文本表示良好地影响生成图像的质量。但是，直接利用一个句子中的有限信息错过了一些关键属性描述，这是准确描述图像的关键因素。为了减轻上述问题，我们提出了一种有效的文本表示方法，并具有属性信息的补充。首先，我们构建一个属性内存，以用句子输入共同控制文本对图像生成。其次，我们探讨了两种更新机制，即样品感知和样本 - 关节机制，以动态优化广义属性存储器。此外，我们设计了一个属性句子结合条件生成器学习方案，以使多个表示的特征嵌入对齐，从而促进跨模式网络训练。实验结果表明，该提出的方法对CUB（FID从14.81到8.57）和可可（FID从21.42到12.39）的数据集获得了实质性改进。

在本文中，我们探索了开放式剪影到照片转换，旨在将备用素描与其类标签中的徒手素描合成，即使培训数据中缺少该类的草图。由于缺乏训练监督和写法草图和照片域之间的大几何扭曲，这是挑战性的。要从照片中综合缺少的手绘草图，我们提出了一个框架，共同学习素描到照片和照片到素描生成。然而，由于合成草图和真实的域间隙，从假草图训练的发电机可能导致缺失类的草图时导致不满意的结果。为了缓解这个问题，我们进一步提出了一种简单但有效的开放式采样和优化策略，以“愚弄”将发电机视为真实的草图。我们的方法利用了域名数据的学习素描到照片和照片到草图映射，并将其概括为开放式域类。我们在涂鸦和Sketchycoco数据集上验证我们的方法。与最近的竞争方法相比，我们的方法显示令人印象深刻的成果，在综合逼真的颜色，纹理和维护各类开放式域草图的几何组合物方面。我们的代码可在https://github.com/mukosame/aoda获得

未配对的图像到图像转换的目标是产生反映目标域样式的输出图像，同时保持输入源图像的不相关内容不变。但是，由于缺乏对现有方法的内容变化的关注，来自源图像的语义信息遭受翻译期间的降级。在论文中，为了解决这个问题，我们介绍了一种新颖的方法，全局和局部对齐网络（GLA-NET）。全局对齐网络旨在将输入图像从源域传输到目标域。要有效地这样做，我们通过使用MLP-MILLER基于MATY编码器将多元高斯分布的参数（均值和标准偏差）作为样式特征学习。要更准确地传输样式，我们在编码器中使用自适应实例归一化层，具有目标多功能高斯分布的参数作为输入。我们还采用正常化和可能性损失，以进一步降低领域差距并产生高质量的产出。另外，我们介绍了局部对准网络，该网络采用预磨平的自我监督模型来通过新颖的局部对准丢失来产生注意图，确保翻译网络专注于相关像素。在五个公共数据集上进行的广泛实验表明，我们的方法有效地产生比现有方法更锐利和更现实的图像。我们的代码可在https://github.com/ygjwd12345/glanet获得。

本文的目标是对面部素描合成（FSS）问题进行全面的研究。然而，由于获得了手绘草图数据集的高成本，因此缺乏完整的基准，用于评估过去十年的FSS算法的开发。因此，我们首先向FSS引入高质量的数据集，名为FS2K，其中包括2,104个图像素描对，跨越三种类型的草图样式，图像背景，照明条件，肤色和面部属性。 FS2K与以前的FSS数据集不同于难度，多样性和可扩展性，因此应促进FSS研究的进展。其次，我们通过调查139种古典方法，包括34个手工特征的面部素描合成方法，37个一般的神经式传输方法，43个深映像到图像翻译方法，以及35个图像 - 素描方法。此外，我们详细说明了现有的19个尖端模型的综合实验。第三，我们为FSS提供了一个简单的基准，名为FSGAN。只有两个直截了当的组件，即面部感知屏蔽和风格矢量扩展，FSGAN将超越所提出的FS2K数据集的所有先前最先进模型的性能，通过大边距。最后，我们在过去几年中汲取的经验教训，并指出了几个未解决的挑战。我们的开源代码可在https://github.com/dengpingfan/fsgan中获得。

生成的对抗网络（GANS）已经促进了解决图像到图像转换问题的新方向。不同的GANS在目标函数中使用具有不同损耗的发电机和鉴别器网络。仍然存在差距来填补所生成的图像的质量并靠近地面真理图像。在这项工作中，我们介绍了一个名为循环辨别生成的对抗网络（CDGAN）的新的图像到图像转换网络，填补了上述空白。除了加速本的原始架构之外，所提出的CDGAN通过结合循环图像的附加鉴别器网络来产生高质量和更现实的图像。所提出的CDGAN在三个图像到图像转换数据集上进行测试。分析了定量和定性结果，并与最先进的方法进行了比较。在三个基线图像到图像转换数据集中，所提出的CDGAN方法优于最先进的方法。该代码可在https://github.com/kishankancharagunta/cdgan获得。

尽管具有生成对抗网络（GAN）的图像到图像（I2I）翻译的显着进步，但使用单对生成器和歧视器将图像有效地转换为多个目标域中的一组不同图像仍然具有挑战性。现有的I2i翻译方法采用多个针对不同域的特定于域的内容编码，其中每个特定于域的内容编码器仅经过来自同一域的图像的训练。然而，我们认为应从所有域之间的图像中学到内容（域变相）特征。因此，现有方案的每个特定于域的内容编码器都无法有效提取域不变特征。为了解决这个问题，我们提出了一个灵活而通用的Sologan模型，用于在多个域之间具有未配对数据的多模式I2I翻译。与现有方法相反，Solgan算法使用具有附加辅助分类器的单个投影鉴别器，并为所有域共享编码器和生成器。因此，可以使用来自所有域的图像有效地训练Solgan，从而可以有效提取域 - 不变性内容表示。在多个数据集中，针对多个同行和sologan的变体的定性和定量结果证明了该方法的优点，尤其是对于挑战i2i翻译数据集的挑战，即涉及极端形状变化的数据集或在翻译后保持复杂的背景，需要保持复杂的背景。此外，我们通过消融研究证明了Sogan中每个成分的贡献。

最近的研究表明了对面部表情合成的多域图像到图像转换的令人印象深刻的结果。虽然有效，但这些方法需要大量标记的样本进行合理的结果。当我们在较小的数据集中训练时，他们的性能显着降低。为了解决这一限制，在这项工作中，我们展示了US-GaN，通过采用显着的小型数据集来合成合理表达的较小有效的方法。所提出的方法包括编码层，单个残差块，解码层和终极跳过连接，其将输入图像链接到输出图像。与最先进的面部表情合成方法相比，参数具有三倍。实验结果表明了我们提出的方法的定量和定性效果。此外，我们还表明，终极跳过连接足以恢复较大的最先进模型无法恢复的输入面部图像的富有的面部和整体颜色细节。

We present a novel image inversion framework and a training pipeline to achieve high-fidelity image inversion with high-quality attribute editing. Inverting real images into StyleGAN's latent space is an extensively studied problem, yet the trade-off between the image reconstruction fidelity and image editing quality remains an open challenge. The low-rate latent spaces are limited in their expressiveness power for high-fidelity reconstruction. On the other hand, high-rate latent spaces result in degradation in editing quality. In this work, to achieve high-fidelity inversion, we learn residual features in higher latent codes that lower latent codes were not able to encode. This enables preserving image details in reconstruction. To achieve high-quality editing, we learn how to transform the residual features for adapting to manipulations in latent codes. We train the framework to extract residual features and transform them via a novel architecture pipeline and cycle consistency losses. We run extensive experiments and compare our method with state-of-the-art inversion methods. Qualitative metrics and visual comparisons show significant improvements. Code: https://github.com/hamzapehlivan/StyleRes

Despite excellent performance in image generation, Generative Adversarial Networks (GANs) are notorious for its requirements of enormous storage and intensive computation. As an awesome ''performance maker'', knowledge distillation is demonstrated to be particularly efficacious in exploring low-priced GANs. In this paper, we investigate the irreplaceability of teacher discriminator and present an inventive discriminator-cooperated distillation, abbreviated as DCD, towards refining better feature maps from the generator. In contrast to conventional pixel-to-pixel match methods in feature map distillation, our DCD utilizes teacher discriminator as a transformation to drive intermediate results of the student generator to be perceptually close to corresponding outputs of the teacher generator. Furthermore, in order to mitigate mode collapse in GAN compression, we construct a collaborative adversarial training paradigm where the teacher discriminator is from scratch established to co-train with student generator in company with our DCD. Our DCD shows superior results compared with existing GAN compression methods. For instance, after reducing over 40x MACs and 80x parameters of CycleGAN, we well decrease FID metric from 61.53 to 48.24 while the current SoTA method merely has 51.92. This work's source code has been made accessible at https://github.com/poopit/DCD-official.

In this work, we propose TediGAN, a novel framework for multi-modal image generation and manipulation with textual descriptions. The proposed method consists of three components: StyleGAN inversion module, visual-linguistic similarity learning, and instance-level optimization. The inversion module maps real images to the latent space of a well-trained StyleGAN. The visual-linguistic similarity learns the text-image matching by mapping the image and text into a common embedding space. The instancelevel optimization is for identity preservation in manipulation. Our model can produce diverse and high-quality images with an unprecedented resolution at 1024 2 . Using a control mechanism based on style-mixing, our Tedi-GAN inherently supports image synthesis with multi-modal inputs, such as sketches or semantic labels, with or without instance guidance. To facilitate text-guided multimodal synthesis, we propose the Multi-Modal CelebA-HQ, a large-scale dataset consisting of real face images and corresponding semantic segmentation map, sketch, and textual descriptions. Extensive experiments on the introduced dataset demonstrate the superior performance of our proposed method. Code and data are available at https://github.com/weihaox/TediGAN.