图像到图像（I2i）翻译是计算机视觉中的一个具有挑战性的话题。我们将此问题分为三个任务：强烈约束的翻译，通常受约束的翻译和弱约束的翻译。这里的约束表示保留原始图像中的内容或语义信息的程度。尽管以前的方法在弱限制的任务中取得了良好的性能，但他们未能完全保留强烈和正常受限的任务中的内容，包括照片真实性的综合，样式转移和着色等，以实现强烈约束的内容传递通常，我们提出了styleflow，这是一种新的I2I翻译模型，该模型由标准化流量和一种新颖的样式意识归一化（SAN）模块组成。借助可逆的网络结构，StyleFlow首先将图像输入向前通行中的深色特征空间，而后退通行证则利用SAN模块执行内容固定的特征转换，然后将其投影回图像空间。我们的模型支持图像引导的翻译和多模式合成。我们在几个I2I翻译基准中评估了我们的模型，结果表明，在强烈约束和正常约束任务中，所提出的模型比以前的方法具有优势。

建筑摄影是一种摄影类型，重点是捕获前景中带有戏剧性照明的建筑物或结构。受图像到图像翻译方法的成功启发，我们旨在为建筑照片执行风格转移。但是，建筑摄影中的特殊构图对这类照片中的样式转移构成了巨大挑战。现有的神经风格转移方法将建筑图像视为单个实体，它将产生与原始建筑的几何特征，产生不切实际的照明，错误的颜色演绎以及可视化伪影，例如幽灵，外观失真或颜色不匹配。在本文中，我们专门针对建筑摄影的神经风格转移方法。我们的方法解决了两个分支神经网络中建筑照片中前景和背景的组成，该神经网络分别考虑了前景和背景的样式转移。我们的方法包括一个分割模块，基于学习的图像到图像翻译模块和图像混合优化模块。我们使用了一天中不同的魔术时代捕获的不受限制的户外建筑照片的新数据集培训了图像到图像的翻译神经网络，利用其他语义信息，以更好地匹配和几何形状保存。我们的实验表明，我们的方法可以在前景和背景上产生逼真的照明和颜色演绎，并且在定量和定性上都优于一般图像到图像转换和任意样式转移基线。我们的代码和数据可在https://github.com/hkust-vgd/architectural_style_transfer上获得。

未配对的图像到图像转换的目标是产生反映目标域样式的输出图像，同时保持输入源图像的不相关内容不变。但是，由于缺乏对现有方法的内容变化的关注，来自源图像的语义信息遭受翻译期间的降级。在论文中，为了解决这个问题，我们介绍了一种新颖的方法，全局和局部对齐网络（GLA-NET）。全局对齐网络旨在将输入图像从源域传输到目标域。要有效地这样做，我们通过使用MLP-MILLER基于MATY编码器将多元高斯分布的参数（均值和标准偏差）作为样式特征学习。要更准确地传输样式，我们在编码器中使用自适应实例归一化层，具有目标多功能高斯分布的参数作为输入。我们还采用正常化和可能性损失，以进一步降低领域差距并产生高质量的产出。另外，我们介绍了局部对准网络，该网络采用预磨平的自我监督模型来通过新颖的局部对准丢失来产生注意图，确保翻译网络专注于相关像素。在五个公共数据集上进行的广泛实验表明，我们的方法有效地产生比现有方法更锐利和更现实的图像。我们的代码可在https://github.com/ygjwd12345/glanet获得。

交换自动编码器在深层图像操纵和图像到图像翻译中实现了最先进的性能。我们通过基于梯度逆转层引入简单而有效的辅助模块来改善这项工作。辅助模块的损失迫使发电机学会使用全零纹理代码重建图像，从而鼓励结构和纹理信息之间更好地分解。提出的基于属性的转移方法可以在样式传输中进行精致的控制，同时在不使用语义掩码的情况下保留结构信息。为了操纵图像，我们将对象的几何形状和输入图像的一般样式编码为两个潜在代码，并具有实施结构一致性的附加约束。此外，由于辅助损失，训练时间大大减少。提出的模型的优越性在复杂的域中得到了证明，例如已知最先进的卫星图像。最后，我们表明我们的模型改善了广泛的数据集的质量指标，同时通过多模式图像生成技术实现了可比的结果。

当前的图像到图像翻译方法通过条件生成模型来制定任务，从而仅学习重塑或区域变化，因为条件上下文提供的丰富结构信息受到了约束。在这项工作中，我们建议将矢量量化技术引入图像到图像翻译框架。矢量量化的内容表示不仅可以促进翻译，还可以促进不同域之间共享的无条件分布。同时，加上散布的样式表示，提出的方法进一步使图像扩展能力具有灵活性，并在内域内和域间具有灵活性。定性和定量实验表明，我们的框架与最先进的图像到图像到图像翻译和图像扩展方法的性能可比。与单个任务的方法相比，所提出的方法是统一的框架，释放了组合图像到图像翻译，无条件生成和图像扩展的应用程序。例如，它为图像生成和扩展提供了样式的可变性，并为图像到图像翻译提供了进一步的扩展功能。

图像转换是一类视觉和图形问题，其目标是学习输入图像和输出图像之间的映射，在深神网络的背景下迅速发展。在计算机视觉（CV）中，许多问题可以被视为图像转换任务，例如语义分割和样式转移。这些作品具有不同的主题和动机，使图像转换任务蓬勃发展。一些调查仅回顾有关样式转移或图像到图像翻译的研究，所有这些都只是图像转换的一个分支。但是，没有一项调查总结这些调查在我们最佳知识的统一框架中共同起作用。本文提出了一个新颖的学习框架，包括独立学习，指导学习和合作学习，称为IGC学习框架。我们讨论的图像转换主要涉及有关深神经网络的一般图像到图像翻译和样式转移。从这个框架的角度来看，我们回顾了这些子任务，并对各种情况进行统一的解释。我们根据相似的开发趋势对图像转换的相关子任务进行分类。此外，已经进行了实验以验证IGC学习的有效性。最后，讨论了新的研究方向和开放问题，以供将来的研究。

In image-to-image translation, each patch in the output should reflect the content of the corresponding patch in the input, independent of domain. We propose a straightforward method for doing so -maximizing mutual information between the two, using a framework based on contrastive learning. The method encourages two elements (corresponding patches) to map to a similar point in a learned feature space, relative to other elements (other patches) in the dataset, referred to as negatives. We explore several critical design choices for making contrastive learning effective in the image synthesis setting. Notably, we use a multilayer, patch-based approach, rather than operate on entire images. Furthermore, we draw negatives from within the input image itself, rather than from the rest of the dataset. We demonstrate that our framework enables one-sided translation in the unpaired image-to-image translation setting, while improving quality and reducing training time. In addition, our method can even be extended to the training setting where each "domain" is only a single image.

STYLE TRANSED引起了大量的关注，因为它可以在保留图像结构的同时将给定图像更改为一个壮观的艺术风格。然而，常规方法容易丢失图像细节，并且在风格转移期间倾向于产生令人不快的伪影。在本文中，为了解决这些问题，提出了一种具有目标特征调色板的新颖艺术程式化方法，可以准确地传递关键特征。具体而言，我们的方法包含两个模块，即特征调色板组成（FPC）和注意着色（AC）模块。 FPC模块基于K-means群集捕获代表特征，并生成特征目标调色板。以下AC模块计算内容和样式图像之间的注意力映射，并根据注意力映射和目标调色板传输颜色和模式。这些模块使提出的程式化能够专注于关键功能并生成合理的传输图像。因此，所提出的方法的贡献是提出一种新的深度学习的样式转移方法和当前目标特征调色板和注意着色模块，并通过详尽的消融研究提供对所提出的方法的深入分析和洞察。定性和定量结果表明，我们的程式化图像具有最先进的性能，具有保护核心结构和内容图像的细节。

图像到图像转换是最近使用生成对冲网络（GaN）将图像从一个域转换为另一个域的趋势。现有的GaN模型仅利用转换的输入和输出方式执行培训。在本文中，我们执行GaN模型的语义注射训练。具体而言，我们用原始输入和输出方式训练，并注入几个时代，用于从输入到语义地图的翻译。让我们将原始培训称为输入图像转换为目标域的培训。原始训练中的语义训练注射改善了训练的GaN模型的泛化能力。此外，它还以更好的方式在生成的图像中以更好的方式保留分类信息。语义地图仅在训练时间使用，并且在测试时间不需要。通过在城市景观和RGB-NIR立体数据集上使用最先进的GaN模型进行实验。与原始训练相比，在注入语义训练后，我们遵守SSIM，FID和KID等方面的提高性能。

图像到图像翻译在启用合成数据的计算机视觉方面发挥了重要作用。但是，如果源和目标域具有较大的语义不匹配，那么现有的技术通常会遭受源内容损坏，也就是语义翻转。为了解决这个问题，我们提出了一个新的范式，用于使用矢量符号体系结构（VSA），这是一个理论框架，该框架定义了在高维矢量（HyphyMytector）空间中定义代数操作的理论框架。我们通过学习逆转翻译以确保与源内容的一致性来介绍对源到目标翻译的对抗学习的基于VSA的约束。我们在定性和定量上表明我们的方法比其他最先进的技术有所改进。

近年来，由于其在图像生成过程中的可控性，有条件的图像合成引起了不断的关注。虽然最近的作品取得了现实的结果，但大多数都没有处理细微细节的细粒度风格。为了解决这个问题，提出了一种名为DRAN的新型归一化模块。它学会了细粒度的风格表示，同时保持普通风格的稳健性。具体来说，我们首先引入多级结构，空间感知金字塔汇集，以指导模型学习粗略的功能。然后，为了自适应地保险熔断不同的款式，我们提出动态门控，使得可以根据不同的空间区域选择不同的样式。为了评估DRAN的有效性和泛化能力，我们对化妆和语义图像合成进行了一组实验。定量和定性实验表明，配备了DRAN，基线模型能够实现复杂风格转移和纹理细节重建的显着改善。

Unsupervised image-to-image translation is an important and challenging problem in computer vision. Given an image in the source domain, the goal is to learn the conditional distribution of corresponding images in the target domain, without seeing any examples of corresponding image pairs. While this conditional distribution is inherently multimodal, existing approaches make an overly simplified assumption, modeling it as a deterministic one-to-one mapping. As a result, they fail to generate diverse outputs from a given source domain image. To address this limitation, we propose a Multimodal Unsupervised Image-to-image Translation (MUNIT) framework. We assume that the image representation can be decomposed into a content code that is domain-invariant, and a style code that captures domain-specific properties. To translate an image to another domain, we recombine its content code with a random style code sampled from the style space of the target domain. We analyze the proposed framework and establish several theoretical results. Extensive experiments with comparisons to state-of-the-art approaches further demonstrate the advantage of the proposed framework. Moreover, our framework allows users to control the style of translation outputs by providing an example style image. Code and pretrained models are available at https://github.com/nvlabs/MUNIT.

组织病理学依赖于微观组织图像的分析来诊断疾病。组织制备的关键部分正在染色，从而使染料用于使显着的组织成分更具区分。但是，实验室协议和扫描设备的差异导致相应图像的显着混淆外观变化。这种变异增加了人类错误和评估者间的变异性，并阻碍了自动或半自动方法的性能。在本文中，我们引入了一个无监督的对抗网络，以在多个数据采集域中翻译（因此使）整个幻灯片图像。我们的关键贡献是：（i）一种对抗性体系结构，该架构使用信息流分支通过单个发电机 - 歧视器网络在多个域中学习，该信息流分支优化可感知损失，以及（ii）在培训过程中包含一个附加功能提取网络，以指导指导指导的额外功能提取网络。转换网络以保持组织图像中的所有结构特征完整。我们：（i）首先证明了提出的方法对120例肾癌的H \＆e幻灯片的有效性，以及（ii）显示了该方法对更一般问题的好处，例如基于灵活照明的自然图像增强功能和光源适应。

The mechanism of existing style transfer algorithms is by minimizing a hybrid loss function to push the generated image toward high similarities in both content and style. However, this type of approach cannot guarantee visual fidelity, i.e., the generated artworks should be indistinguishable from real ones. In this paper, we devise a new style transfer framework called QuantArt for high visual-fidelity stylization. QuantArt pushes the latent representation of the generated artwork toward the centroids of the real artwork distribution with vector quantization. By fusing the quantized and continuous latent representations, QuantArt allows flexible control over the generated artworks in terms of content preservation, style similarity, and visual fidelity. Experiments on various style transfer settings show that our QuantArt framework achieves significantly higher visual fidelity compared with the existing style transfer methods.

Automatic font generation without human experts is a practical and significant problem, especially for some languages that consist of a large number of characters. Existing methods for font generation are often in supervised learning. They require a large number of paired data, which are labor-intensive and expensive to collect. In contrast, common unsupervised image-to-image translation methods are not applicable to font generation, as they often define style as the set of textures and colors. In this work, we propose a robust deformable generative network for unsupervised font generation (abbreviated as DGFont++). We introduce a feature deformation skip connection (FDSC) to learn local patterns and geometric transformations between fonts. The FDSC predicts pairs of displacement maps and employs the predicted maps to apply deformable convolution to the low-level content feature maps. The outputs of FDSC are fed into a mixer to generate final results. Moreover, we introduce contrastive self-supervised learning to learn a robust style representation for fonts by understanding the similarity and dissimilarities of fonts. To distinguish different styles, we train our model with a multi-task discriminator, which ensures that each style can be discriminated independently. In addition to adversarial loss, another two reconstruction losses are adopted to constrain the domain-invariant characteristics between generated images and content images. Taking advantage of FDSC and the adopted loss functions, our model is able to maintain spatial information and generates high-quality character images in an unsupervised manner. Experiments demonstrate that our model is able to generate character images of higher quality than state-of-the-art methods.

Text style transfer aims to alter the style of a sentence while preserving its content. Due to the lack of parallel corpora, most recent work focuses on unsupervised methods and often uses cycle construction to train models. Since cycle construction helps to improve the style transfer ability of the model by rebuilding transferred sentences back to original-style sentences, it brings about a content loss in unsupervised text style transfer tasks. In this paper, we propose a novel disentanglement-based style transfer model StyleFlow to enhance content preservation. Instead of the typical encoder-decoder scheme, StyleFlow can not only conduct the forward process to obtain the output, but also infer to the input through the output. We design an attention-aware coupling layers to disentangle the content representations and the style representations of a sentence. Besides, we propose a data augmentation method based on Normalizing Flow to improve the robustness of the model. Experiment results demonstrate that our model preserves content effectively and achieves the state-of-the-art performance on the most metrics.

使用合成数据来训练在现实世界数据上实现良好性能的神经网络是一项重要任务，因为它可以减少对昂贵数据注释的需求。然而，合成和现实世界数据具有域间隙。近年来，已经广泛研究了这种差距，也称为域的适应性。通过直接执行两者之间的适应性来缩小源（合成）和目标数据之间的域间隙是具有挑战性的。在这项工作中，我们提出了一个新颖的两阶段框架，用于改进图像数据上的域适应技术。在第一阶段，我们逐步训练一个多尺度神经网络，以从源域到目标域进行图像翻译。我们将新的转换数据表示为“目标中的源”（SIT）。然后，我们将生成的SIT数据插入任何标准UDA方法的输入。该新数据从所需的目标域缩小了域间隙，这有助于应用UDA进一步缩小差距的方法。我们通过与其他领先的UDA和图像对图像翻译技术进行比较来强调方法的有效性，当时用作SIT发电机。此外，我们通过三种用于语义分割的最先进的UDA方法（HRDA，daformer and proda）在两个UDA任务上，GTA5到CityScapes和Synthia to CityScapes来证明我们的框架的改进。

本文介绍了DCT-NET，这是一种新颖的图像翻译体系结构，可用于几张肖像风格。给定有限的样式示例（$ \ sim $ 100），新的体系结构可以产生高质量的样式转移结果，具有先进的能力，可以合成高保真内容和强大的一般性来处理复杂的场景（例如，遮挡和配件）。此外，它可以通过一个由部分观察（即风格化的头）训练的优雅评估网络启用全身图像翻译。几乎没有基于学习的样式转移是具有挑战性的，因为由于仅由少数几个培训示例形成的偏见分布，学到的模型很容易在目标域中过度拟合。本文旨在通过采用“首先校准，稍后翻译”的关键思想来应对挑战，并以本地注重的翻译探索增强的全球结构。具体而言，所提出的DCT-NET由三个模块组成：一个内容适配器从源照片借用功能的先验来校准目标样本的内容分布；使用仿射变换来释放空间语义约束的几何扩展模块；以及通过校准分布产生的样品的质地翻译模块学习细粒的转换。实验结果证明了所提出的方法在头部风格化方面具有优势及其对具有自适应变形的完整图像翻译的有效性。

尽管具有生成对抗网络（GAN）的图像到图像（I2I）翻译的显着进步，但使用单对生成器和歧视器将图像有效地转换为多个目标域中的一组不同图像仍然具有挑战性。现有的I2i翻译方法采用多个针对不同域的特定于域的内容编码，其中每个特定于域的内容编码器仅经过来自同一域的图像的训练。然而，我们认为应从所有域之间的图像中学到内容（域变相）特征。因此，现有方案的每个特定于域的内容编码器都无法有效提取域不变特征。为了解决这个问题，我们提出了一个灵活而通用的Sologan模型，用于在多个域之间具有未配对数据的多模式I2I翻译。与现有方法相反，Solgan算法使用具有附加辅助分类器的单个投影鉴别器，并为所有域共享编码器和生成器。因此，可以使用来自所有域的图像有效地训练Solgan，从而可以有效提取域 - 不变性内容表示。在多个数据集中，针对多个同行和sologan的变体的定性和定量结果证明了该方法的优点，尤其是对于挑战i2i翻译数据集的挑战，即涉及极端形状变化的数据集或在翻译后保持复杂的背景，需要保持复杂的背景。此外，我们通过消融研究证明了Sogan中每个成分的贡献。