COMOGAN是一个连续的GAN，依赖于功能歧管上目标数据的无监督重组。就此而言，我们引入了一个新的功能实例归一化层和剩余机制，该机制将图像含量从目标歧管上的位置分开。我们依靠天真的物理启发的模型来指导培训，同时允许私人模型/翻译功能。COMOGAN可与任何GAN主链一起使用，并允许新型的图像翻译类型，例如循环图像翻译（如及时解散的生成）或分离的线性翻译。在所有数据集上，它都优于文献。我们的代码可在http://github.com/cv-rits/comogan上找到。

图像到图像翻译（I2i）网络在目标域中与物理相关现象的存在（例如遮挡，雾等）存在纠缠效应，从而完全降低了翻译质量，可控性和可变性。在本文中，我们基于简单物理模型的收集，并提出了一种综合方法，可以通过物理模型来指导目标图像中的视觉特征，从而指导过程，该模型呈现一些目标特征，并学习其余的特征。因为它允许明确和可解释的输出，所以我们的物理模型（在目标上最佳回归）允许以可控的方式生成看不见的方案。我们还扩展了我们的框架，显示出多功能性与神经引导的分离。结果表明，在几种挑战性的图像翻译方案中，我们的分离策略在定性和定量上大大提高了性能。

大多数图像到图像翻译方法需要大量的培训图像，这限制了他们的适用性。我们提出了清单：几次拍摄图像转换的框架，它仅从几个图像中了解目标域的上下文感知表示。要强制执行功能一致性，我们的框架会在源和代理锚域之间的样式歧管（假设由大量图像组成）之间。学习的歧管通过基于贴片的对策和特征统计对准损耗来插入并使少量射击目标域变形。所有这些组件在单端到端循环期间同时培训。除了普通的少量镜头翻译任务之外，我们的方法可以在单个示例图像上调节以再现其特定样式。广泛的实验证明了清单对多项任务的功效，优于所有度量的最先进，并且在基于一般和示例的情景中表现出最先进的。我们的代码将是开源的。

Current methods for image-to-image translation produce compelling results, however, the applied transformation is difficult to control, since existing mechanisms are often limited and non-intuitive. We propose ParGAN, a generalization of the cycle-consistent GAN framework to learn image transformations with simple and intuitive controls. The proposed generator takes as input both an image and a parametrization of the transformation. We train this network to preserve the content of the input image while ensuring that the result is consistent with the given parametrization. Our approach does not require paired data and can learn transformations across several tasks and datasets. We show how, with disjoint image domains with no annotated parametrization, our framework can create smooth interpolations as well as learn multiple transformations simultaneously.

恶劣的天气图像翻译属于无监督的图像到图像（I2i）翻译任务，旨在将不利条件领域（例如，雨夜）转移到标准领域（例如，日期）。这是一个具有挑战性的任务，因为来自不利域的图像具有一些伪影和信息不足。最近，许多采用生成的对抗性网络（GANS）的研究在I2I翻译中取得了显着的成功，但仍然有限制将它们应用于恶劣天气增强。基于双向循环 - 一致性损耗的对称架构被采用作为无监督域传输方法的标准框架。但是，如果两个域具有不平衡信息，它可能会导致较差的转换结果。为了解决这个问题，我们提出了一种新的GaN模型，即Au-GaN，它具有不对称的域翻译的非对称架构。我们仅在普通域生成器（即雨夜 - >日）中插入建议的功能传输网络（$ {T} $ - 网），以增强不利域图像的编码特征。此外，我们介绍了对编码特征的解剖学的非对称特征匹配。最后，我们提出了不确定感知的周期 - 一致性损失，以解决循环重建图像的区域不确定性。我们通过与最先进的模型进行定性和定量比较来证明我们的方法的有效性。代码在https://github.com/jgkwak95/au-g中提供。

尽管具有生成对抗网络（GAN）的图像到图像（I2I）翻译的显着进步，但使用单对生成器和歧视器将图像有效地转换为多个目标域中的一组不同图像仍然具有挑战性。现有的I2i翻译方法采用多个针对不同域的特定于域的内容编码，其中每个特定于域的内容编码器仅经过来自同一域的图像的训练。然而，我们认为应从所有域之间的图像中学到内容（域变相）特征。因此，现有方案的每个特定于域的内容编码器都无法有效提取域不变特征。为了解决这个问题，我们提出了一个灵活而通用的Sologan模型，用于在多个域之间具有未配对数据的多模式I2I翻译。与现有方法相反，Solgan算法使用具有附加辅助分类器的单个投影鉴别器，并为所有域共享编码器和生成器。因此，可以使用来自所有域的图像有效地训练Solgan，从而可以有效提取域 - 不变性内容表示。在多个数据集中，针对多个同行和sologan的变体的定性和定量结果证明了该方法的优点，尤其是对于挑战i2i翻译数据集的挑战，即涉及极端形状变化的数据集或在翻译后保持复杂的背景，需要保持复杂的背景。此外，我们通过消融研究证明了Sogan中每个成分的贡献。

未配对的图像到图像转换的目标是产生反映目标域样式的输出图像，同时保持输入源图像的不相关内容不变。但是，由于缺乏对现有方法的内容变化的关注，来自源图像的语义信息遭受翻译期间的降级。在论文中，为了解决这个问题，我们介绍了一种新颖的方法，全局和局部对齐网络（GLA-NET）。全局对齐网络旨在将输入图像从源域传输到目标域。要有效地这样做，我们通过使用MLP-MILLER基于MATY编码器将多元高斯分布的参数（均值和标准偏差）作为样式特征学习。要更准确地传输样式，我们在编码器中使用自适应实例归一化层，具有目标多功能高斯分布的参数作为输入。我们还采用正常化和可能性损失，以进一步降低领域差距并产生高质量的产出。另外，我们介绍了局部对准网络，该网络采用预磨平的自我监督模型来通过新颖的局部对准丢失来产生注意图，确保翻译网络专注于相关像素。在五个公共数据集上进行的广泛实验表明，我们的方法有效地产生比现有方法更锐利和更现实的图像。我们的代码可在https://github.com/ygjwd12345/glanet获得。

当前的图像到图像翻译方法通过条件生成模型来制定任务，从而仅学习重塑或区域变化，因为条件上下文提供的丰富结构信息受到了约束。在这项工作中，我们建议将矢量量化技术引入图像到图像翻译框架。矢量量化的内容表示不仅可以促进翻译，还可以促进不同域之间共享的无条件分布。同时，加上散布的样式表示，提出的方法进一步使图像扩展能力具有灵活性，并在内域内和域间具有灵活性。定性和定量实验表明，我们的框架与最先进的图像到图像到图像翻译和图像扩展方法的性能可比。与单个任务的方法相比，所提出的方法是统一的框架，释放了组合图像到图像翻译，无条件生成和图像扩展的应用程序。例如，它为图像生成和扩展提供了样式的可变性，并为图像到图像翻译提供了进一步的扩展功能。

我们提出了Vecgan，这是一个图像到图像翻译框架，用于带有可解释潜在方向的面部属性编辑。面部属性编辑任务面临着精确属性编辑的挑战，具有可控的强度和图像的其他属性的保存。对于此目标，我们通过潜在空间分解设计属性编辑，对于每个属性，我们学习了与其他属性正交的线性方向。另一个组件是变化的可控强度，标量值。在我们的框架中，可以通过投影从参考图像中对此标量进行采样或编码。我们的工作灵感来自固定预验证的gan的潜在空间分解作品。但是，尽管这些模型无法进行端到端训练，并难以精确编辑编码的图像，但Vecgan受到了端到端的培训，用于图像翻译任务，并成功地编辑了属性，同时保留了其他属性。我们的广泛实验表明，vecgan对本地和全球编辑的最先进进行了重大改进。

Domain adaptation is critical for success in new, unseen environments. Adversarial adaptation models applied in feature spaces discover domain invariant representations, but are difficult to visualize and sometimes fail to capture pixel-level and low-level domain shifts. Recent work has shown that generative adversarial networks combined with cycle-consistency constraints are surprisingly effective at mapping images between domains, even without the use of aligned image pairs. We propose a novel discriminatively-trained Cycle-Consistent Adversarial Domain Adaptation model. CyCADA adapts representations at both the pixel-level and feature-level, enforces cycle-consistency while leveraging a task loss, and does not require aligned pairs. Our model can be applied in a variety of visual recognition and prediction settings. We show new state-of-the-art results across multiple adaptation tasks, including digit classification and semantic segmentation of road scenes demonstrating transfer from synthetic to real world domains.

连续的一到一对映射是在低级视觉和神经图像翻译中较少研究但重要的任务。在本文中，我们提出了一种称为MonoPix的新配方，这是一个无监督和对比的连续调制模型，并进一步迈出了一个像素级的空间控制，这是至关重要的，但以前无法正确处理。这项工作的关键特征是建模具有新颖的对比度调制框架和相应的单调性约束之间控制信号与域歧视器之间的单调性。我们还引入了具有对数近似复杂性并支持快速域适应的选择性推理策略。在各种连续的映射任务上，包括AFHQ Cat-Dog和Yosemite夏季冬季翻译，对最先进的性能进行了验证。引入的方法还有助于为许多低级任务（如低光增强和自然噪声产生）提供新的解决方案，这超出了一对一训练和推理的长期实践。代码可从https://github.com/lukun199/monopix获得。

Domain adaptation has been vastly investigated in computer vision but still requires access to target images at train time, which might be intractable in some conditions, especially for long-tail samples. In this paper, we propose the task of `Prompt-driven Zero-shot Domain Adaptation', where we adapt a model trained on a source domain using only a general textual description of the target domain, i.e., a prompt. First, we leverage a pretrained contrastive vision-language model (CLIP) to optimize affine transformations of source features, bringing them closer to target text embeddings, while preserving their content and semantics. Second, we show that augmented features can be used to perform zero-shot domain adaptation for semantic segmentation. Experiments demonstrate that our method significantly outperforms CLIP-based style transfer baselines on several datasets for the downstream task at hand. Our prompt-driven approach even outperforms one-shot unsupervised domain adaptation on some datasets, and gives comparable results on others. The code is available at https://github.com/astra-vision/PODA.

通过对抗训练的雾霾图像转换的关键程序在于仅涉及雾度合成的特征，即表示不变语义内容的特征，即内容特征。以前的方法通过利用它在培训过程中对Haze图像进行分类来分开单独的内容。然而，在本文中，我们认识到在这种技术常规中的内容式解剖学的不完整性。缺陷的样式功能与内容信息纠缠不可避免地引导阴霾图像的呈现。要解决，我们通过随机线性插值提出自我监督的风格回归，以减少风格特征中的内容信息。烧蚀实验表明了静态感知雾度图像合成中的解开的完整性及其优越性。此外，所产生的雾度数据应用于车辆检测器的测试概括。雾度和检测性能之间的进一步研究表明，雾度对车辆探测器的概括具有明显的影响，并且这种性能降低水平与雾度水平线性相关，反过来验证了该方法的有效性。

最近，大型预磨损模型（例如，BERT，STYLEGAN，CLIP）在其域内的各种下游任务中表现出很好的知识转移和泛化能力。在这些努力的启发中，在本文中，我们提出了一个统一模型，用于开放域图像编辑，重点是开放式域图像的颜色和音调调整，同时保持原始内容和结构。我们的模型了解许多现有照片编辑软件中使用的操作空间（例如，对比度，亮度，颜色曲线）更具语义，直观，易于操作的统一编辑空间。我们的模型属于图像到图像转换框架，由图像编码器和解码器组成，并且在图像之前和图像的成对上培训以产生多模式输出。我们认为，通过将图像对反馈到学习编辑空间的潜在代码中，我们的模型可以利用各种下游编辑任务，例如语言引导图像编辑，个性化编辑，编辑式聚类，检索等。我们广泛地研究实验中编辑空间的独特属性，并在上述任务上展示了卓越的性能。

使用机器学习的数据驱动的范例在图像处理和通信中变得普遍存在。特别地，图像到图像（I2I）转换是一种通用和广泛使用的图像处理问题的方法，例如图像合成，样式传输和图像恢复。同时，神经图像压缩被出现为可视通信中传统编码方法的数据驱动替代方法。在本文中，我们将这两种范例的组合与联合I2I压缩和翻译框架一起研究，重点是多域图像合成。首先通过将量化和熵编码集成到I2I翻译框架（即i2iCodec）中提出分布式I2I转换。在实践中，也希望图像压缩功能（即自动编码），需要与常规图像编解码器一起部署。因此，我们进一步提出了一个统一的框架，其允许在单个编解码器中进行平移和自动编码功能。在翻译/压缩模式下调节的自适应残差块提供灵活的适应性对所需功能。实验表明，使用单个模型的I2I平移和图像压缩均有前景。

可以训练生成模型，以从特定域中生成图像，仅由文本提示引导，而不看到任何图像？换句话说：可以将图像生成器“盲目地训练”吗？利用大规模对比语言图像预训练（CLIP）模型的语义力量，我们提出了一种文本驱动方法，允许将生成模型转移到新域，而无需收集单个图像。我们展示通过自然语言提示和几分钟的培训，我们的方法可以通过各种风格和形状的多种域调整发电机。值得注意的是，许多这些修改难以与现有方法达到困难或完全不可能。我们在广泛的域中进行了广泛的实验和比较。这些证明了我们方法的有效性，并表明我们的移动模型保持了对下游任务吸引的生成模型的潜在空间属性。

生成的对抗网络（GANS）最近引入了执行图像到图像翻译的有效方法。这些模型可以应用于图像到图像到图像转换中的各种域而不改变任何参数。在本文中，我们调查并分析了八个图像到图像生成的对策网络：PIX2PX，Cyclegan，Cogan，Stargan，Munit，Stargan2，Da-Gan，以及自我关注GaN。这些模型中的每一个都呈现了最先进的结果，并引入了构建图像到图像的新技术。除了对模型的调查外，我们还调查了他们接受培训的18个数据集，并在其上进行了评估的9个指标。最后，我们在常见的一组指标和数据集中呈现6种这些模型的受控实验的结果。结果混合并显示，在某些数据集，任务和指标上，某些型号优于其他型号。本文的最后一部分讨论了这些结果并建立了未来研究领域。由于研究人员继续创新新的图像到图像GAN，因此他们非常重要地了解现有方法，数据集和指标。本文提供了全面的概述和讨论，以帮助构建此基础。

交换自动编码器在深层图像操纵和图像到图像翻译中实现了最先进的性能。我们通过基于梯度逆转层引入简单而有效的辅助模块来改善这项工作。辅助模块的损失迫使发电机学会使用全零纹理代码重建图像，从而鼓励结构和纹理信息之间更好地分解。提出的基于属性的转移方法可以在样式传输中进行精致的控制，同时在不使用语义掩码的情况下保留结构信息。为了操纵图像，我们将对象的几何形状和输入图像的一般样式编码为两个潜在代码，并具有实施结构一致性的附加约束。此外，由于辅助损失，训练时间大大减少。提出的模型的优越性在复杂的域中得到了证明，例如已知最先进的卫星图像。最后，我们表明我们的模型改善了广泛的数据集的质量指标，同时通过多模式图像生成技术实现了可比的结果。