先前的协调方法着重于基于输入掩码的图像中调整一个无量子区域。在处理不同语义区域的不同扰动时，他们可能会遇到问题，而没有可用的输入口罩。为了处理一个图像粘贴到来自不同图像的几个前景的问题，需要将它们朝着不同的域方向进行协调，而无需任何掩码作为输入，我们提出了一个新的语义引导的多掩码图像和谐任务。与以前的单掩模图像协调任务不同，每个非火山图像都根据语义分割掩码的方式扰动不同的方法。分别基于$ 150 $和19美元的语义类别构建了两个具有挑战性的基准HSCENE和HLIP。此外，以前的基线专注于回归统一图像的每个像素的确切值。生成的结果在“黑匣子”中，无法编辑。在这项工作中，我们提出了一种新颖的方式来通过预测一系列操作员面具来编辑inharmonious图像。掩模表示应用特定尺寸的亮度，饱和度和颜色的水平和位置。操作员蒙版为用户提供了更大的灵活性，可以进一步编辑图像。广泛的实验验证了基于操作员掩模的网络可以进一步改善那些最新的方法，这些方法在扰动是结构性时直接回归RGB图像。已经在我们的构造基准上进行了实验，以验证我们所提出的基于掩护的框架可以在更复杂的场景中定位和修改inharmonious区域。我们的代码和模型可在https://github.com/xuqianren/semantic-guided-multi-mask-image-harmonization.git上找到。

图像协调旨在根据具体背景修改复合区域的颜色。以前的工作模型是使用Unet系列结构的像素-ID映像转换。然而，模型大小和计算成本限制了模型在边缘设备和更高分辨率图像上的能力。为此，我们首次提出了一种新的空间分离曲线渲染网络（S $ ^ 2 $ CRNET），首次进行高效和高分辨率的图像协调。在S $ ^ 2 $ CRNET中，我们首先将屏蔽前景和背景的缩略图中提取空间分离的嵌入物。然后，我们设计一种曲线渲染模块（CRM），其使用线性层学习并结合空间特定知识，以生成前景区域中的方向曲线映射的参数。最后，我们使用学习的颜色曲线直接渲染原始的高分辨率图像。此外，我们还通过Cascaded-CRM和语义CRM分别进行了两个框架的延伸，分别用于级联细化和语义指导。实验表明，与以前的方法相比，该方法降低了90％以上的参数，但仍然达到了合成的iHarmony4和现实世界DIH测试集的最先进的性能。此外，我们的方法可以在0.1秒内在更高分辨率图像（例如，2048美元\ times2048 $）上顺利工作，而不是所有现有方法的GPU计算资源。代码将在\ url {http://github.com/stefanleong/s2crnet}中提供。

作为一个常见的图像编辑操作，图像组成旨在将前景从一个图像切割并粘贴在另一个图像上，从而产生复合图像。但是，有许多问题可能使复合图像不现实。这些问题可以总结为前景和背景之间的不一致，包括外观不一致（例如，不兼容的照明），几何不一致（例如不合理的大小）和语义不一致（例如，不匹配的语义上下文）。先前的作品将图像组成任务分为多个子任务，其中每个子任务在一个或多个问题上目标。具体而言，对象放置旨在为前景找到合理的比例，位置和形状。图像混合旨在解决前景和背景之间的不自然边界。图像协调旨在调整前景的照明统计数据。影子生成旨在为前景产生合理的阴影。通过将所有上述努力放在一起，我们可以获取现实的复合图像。据我们所知，以前没有关于图像组成的调查。在本文中，我们对图像组成的子任务进行了全面的调查。对于每个子任务，我们总结了传统方法，基于深度学习的方法，数据集和评估。我们还指出了每个子任务中现有方法的局限性以及整个图像组成任务的问题。图像组合的数据集和代码在https://github.com/bcmi/awesome-image-composition上进行了总结。

Image harmonization task aims at harmonizing different composite foreground regions according to specific background image. Previous methods would rather focus on improving the reconstruction ability of the generator by some internal enhancements such as attention, adaptive normalization and light adjustment, $etc.$. However, they pay less attention to discriminating the foreground and background appearance features within a restricted generator, which becomes a new challenge in image harmonization task. In this paper, we propose a novel image harmonization framework with external style fusion and region-wise contrastive learning scheme. For the external style fusion, we leverage the external background appearance from the encoder as the style reference to generate harmonized foreground in the decoder. This approach enhances the harmonization ability of the decoder by external background guidance. Moreover, for the contrastive learning scheme, we design a region-wise contrastive loss function for image harmonization task. Specifically, we first introduce a straight-forward samples generation method that selects negative samples from the output harmonized foreground region and selects positive samples from the ground-truth background region. Our method attempts to bring together corresponding positive and negative samples by maximizing the mutual information between the foreground and background styles, which desirably makes our harmonization network more robust to discriminate the foreground and background style features when harmonizing composite images. Extensive experiments on the benchmark datasets show that our method can achieve a clear improvement in harmonization quality and demonstrate the good generalization capability in real-scenario applications.

图像颜色协调算法旨在自动匹配在不同条件下捕获的前景图像的颜色分布和背景图像。以前的基于深度学习的模型忽略了两个对于实际应用至关重要的问题，即高分辨率（HR）图像处理和模型的可理解性。在本文中，我们提出了一个新型的深层综合颜色滤波器（DCCF）学习框架，用于高分辨率图像协调。具体而言，DCCF首先将原始输入图像列为其低分辨率（LR）对抗零件，然后以端到端的方式学习四个人类可理解的神经过滤器（即色相，饱和，饱和，价值和细心的渲染过滤器），最终以将这些过滤器应用于原始输入图像以获得统一的结果。从可理解的神经过滤器中受益，我们可以为用户提供一个简单而有效的处理程序，以便用户与Deep Model合作，以便在必要时很少努力获得所需的结果。广泛的实验证明了DCCF学习框架的有效性，并且它在IHARMONY4数据集上的最先进的后处理方法优于图像的全分辨率，分别在MSE和PSNR上实现了7.63％和1.69％的相对改进，从而超过了图像的全分辨率。

关于图像协调的最新作品将问题作为像素图像翻译任务通过大型自动编码器解决。在处理高分辨率图像时，它们的性能不令人满意和缓慢的推理速度。在这项工作中，我们观察到调整基本图像过滤器的输入参数，例如亮度和对比度，足以使人类从复合材料的图像中产生逼真的图像。因此，我们将图像协调作为图像级回归问题，以了解人类用于任务的过滤器的参数。我们提出了一个用于图像协调的谐波框架。与基于黑框自动编码器的先前方法不同，Harmonizer包含用于过滤器参数预测的神经网络，以及用于图像协调的几个白色框过滤器（基于预测参数）。我们还引入了级联回归器和一个动态损失策略，以使和声使更稳定地学习过滤器论点。由于我们的网络仅输出图像级参数和我们使用的过滤器是有效的，因此谐波比现有方法更轻，更快。全面的实验表明，谐波可以超过现有方法，尤其是在高分辨率输入的情况下。最后，我们将谐波应用于视频和谐，以1080p分辨率在框架和56 fps上实现一致的结果。代码和型号可在以下网址提供：https：//github.com/zhkkke/harmonizer。

灰度图像着色是AI在信息恢复中的引人入胜的应用。该问题的天生性质不良的性质使其更具挑战性，因为输出可能是多模式的。目前正在使用的基于学习的方法为直接情况产生可接受的结果，但在没有明确的图形分离的情况下通常无法恢复上下文信息。同样，由于在完整图像特征上训练的单个模型不足以学习各种数据模式，因此图像遭受了颜色出血和饱和背景。为了解决这些问题，我们提出了一个基于GAN的配色框架。在我们的方法中，每个量身定制的GAN管道都会使前景（使用对象级特征）或背景（使用全图像功能）着色。前景管道采用了一个具有自我注意事项的残留无UNET作为其发电机，使用了全图像功能和可可数据集中的相应对象级特征训练。背景管道依赖于该位置数据集的全图像功能和其他培训示例。我们设计了一个基于密集的融合网络，以通过基于特征的融合来获得最终的有色图像。我们显示了通常用于评估多模式问题（例如图像着色）并使用多个感知指标对我们的框架进行广泛的绩效评估的非感知评估指标的缺点。我们的方法的表现优于大多数基于学习的方法，并且产生的结果与最新的方法相当。此外，我们进行了运行时分析，并获得了每个图像的平均推理时间24ms。

近年来已经提出了显示屏下的显示器，作为减少移动设备的形状因子的方式，同时最大化屏幕区域。不幸的是，将相机放在屏幕后面导致显着的图像扭曲，包括对比度，模糊，噪音，色移，散射伪像和降低光敏性的损失。在本文中，我们提出了一种图像恢复管道，其是ISP-Annostic，即它可以与任何传统ISP组合，以产生使用相同的ISP与常规相机外观匹配的最终图像。这是通过执行Raw-Raw Image Restoration的深度学习方法来实现的。为了获得具有足够对比度和场景多样性的大量实际展示摄像机培训数据，我们还开发利用HDR监视器的数据捕获方法，以及数据增强方法以产生合适的HDR内容。监视器数据补充有现实世界的数据，该数据具有较少的场景分集，但允许我们实现细节恢复而不受监视器分辨率的限制。在一起，这种方法成功地恢复了颜色和对比度以及图像细节。

图像协调旨在调整前景的外观，使其更兼容背景。由于对背景照明方向缺乏了解，现有的作品无法产生现实的前景着色。在本文中，我们将图像协调分解为两个子问题：1）背景图像的照明估计和前景对象的渲染。在解决这两个子问题之前，我们首先通过神经渲染框架学习方向感知的照明描述符，其中密钥是一个着色模块，其将阴影场分解为给定深度信息的多个着色组件。然后我们设计背景照明估计模块，以从背景中提取方向感知的照明描述符。最后，照明描述符与神经渲染框架结合使用，以生成包含新颖谐波阴影的统一前景图像。此外，我们构建了一种照片 - 现实的合成图像协调数据集，其包含基于图像的照明的许多阴影变化。对该数据集的广泛实验证明了该方法的有效性。我们的数据集和代码将公开可用。

建筑摄影是一种摄影类型，重点是捕获前景中带有戏剧性照明的建筑物或结构。受图像到图像翻译方法的成功启发，我们旨在为建筑照片执行风格转移。但是，建筑摄影中的特殊构图对这类照片中的样式转移构成了巨大挑战。现有的神经风格转移方法将建筑图像视为单个实体，它将产生与原始建筑的几何特征，产生不切实际的照明，错误的颜色演绎以及可视化伪影，例如幽灵，外观失真或颜色不匹配。在本文中，我们专门针对建筑摄影的神经风格转移方法。我们的方法解决了两个分支神经网络中建筑照片中前景和背景的组成，该神经网络分别考虑了前景和背景的样式转移。我们的方法包括一个分割模块，基于学习的图像到图像翻译模块和图像混合优化模块。我们使用了一天中不同的魔术时代捕获的不受限制的户外建筑照片的新数据集培训了图像到图像的翻译神经网络，利用其他语义信息，以更好地匹配和几何形状保存。我们的实验表明，我们的方法可以在前景和背景上产生逼真的照明和颜色演绎，并且在定量和定性上都优于一般图像到图像转换和任意样式转移基线。我们的代码和数据可在https://github.com/hkust-vgd/architectural_style_transfer上获得。

Face Restoration (FR) aims to restore High-Quality (HQ) faces from Low-Quality (LQ) input images, which is a domain-specific image restoration problem in the low-level computer vision area. The early face restoration methods mainly use statistic priors and degradation models, which are difficult to meet the requirements of real-world applications in practice. In recent years, face restoration has witnessed great progress after stepping into the deep learning era. However, there are few works to study deep learning-based face restoration methods systematically. Thus, this paper comprehensively surveys recent advances in deep learning techniques for face restoration. Specifically, we first summarize different problem formulations and analyze the characteristic of the face image. Second, we discuss the challenges of face restoration. Concerning these challenges, we present a comprehensive review of existing FR methods, including prior based methods and deep learning-based methods. Then, we explore developed techniques in the task of FR covering network architectures, loss functions, and benchmark datasets. We also conduct a systematic benchmark evaluation on representative methods. Finally, we discuss future directions, including network designs, metrics, benchmark datasets, applications,etc. We also provide an open-source repository for all the discussed methods, which is available at https://github.com/TaoWangzj/Awesome-Face-Restoration.

语义图像编辑利用本地语义标签图来生成所需的内容。最近的工作借用了Spade Block来实现语义图像编辑。但是，由于编辑区域和周围像素之间的样式差异，它无法产生令人愉悦的结果。我们将其归因于以下事实：Spade仅使用与图像无关的局部语义布局，但忽略了已知像素中包含的图像特定样式。为了解决此问题，我们提出了一个样式保存的调制（SPM），其中包括两个调制过程：第一个调制包含上下文样式和语义布局，然后生成两个融合的调制参数。第二次调制采用融合参数来调制特征图。通过使用这两种调制，SPM可以在保留特定图像的上下文样式的同时注入给定的语义布局。此外，我们设计了一种渐进式体系结构，以粗到精细的方式生成编辑的内容。提出的方法可以获得上下文一致的结果，并显着减轻生成区域和已知像素之间的不愉快边界。

人类视频运动转移（HVMT）的目的是鉴于源头的形象，生成了模仿驾驶人员运动的视频。 HVMT的现有方法主要利用生成对抗网络（GAN），以根据根据源人员图像和每个驾驶视频框架估计的流量来执行翘曲操作。但是，由于源头，量表和驾驶人员之间的巨大差异，这些方法始终会产生明显的人工制品。为了克服这些挑战，本文提出了基于gan的新型人类运动转移（远程移动）框架。为了产生逼真的动作，远遥采用了渐进的一代范式：它首先在没有基于流动的翘曲的情况下生成每个身体的零件，然后将所有零件变成驾驶运动的完整人。此外，为了保留自然的全球外观，我们设计了一个全球对齐模块，以根据其布局与驾驶员的规模和位置保持一致。此外，我们提出了一个纹理对准模块，以使人的每个部分都根据纹理的相似性对齐。最后，通过广泛的定量和定性实验，我们的远及以两个公共基准取得了最先进的结果。

前景感知的图像合成旨在生成图像及其前景面具。一种常见的方法是将图像制定为前景图像和背景图像的掩盖混合物。这是一个具有挑战性的问题，因为它容易到达琐碎的解决方案，在这些解决方案中，图像淹没了另一个图像，即面具变得完全充满或空，并且前景和背景没有有意义的分离。我们将Furrygan带有三个关键组成部分：1）施加前景图像和复合图像是现实的，2）将掩码设计为粗糙和细面膜的组合，以及3）通过在辅助掩码中引导发电机，并通过辅助掩码预测器中的辅助掩码预测器。歧视者。我们的方法生成了逼真的图像，并具有非常详细的α面膜，这些面膜以完全无监督的方式覆盖头发，皮毛和晶须。

尽管近年来图像合成中生成对抗网络（GAN）的发展迅速，但现有的图像合成方法在几何域或外观域中起作用，通常会引入各种合成伪像。本文提出了创新的层次组合物gan（HIC-GAN），该组合物将图像合成在几何和外观域中融合到端到端可训练的网络中，并同时在两个域中实现了卓越的合成现实主义。我们设计了一种创新的分层组成机制，该机制能够学习逼真的组成几何和处理遮挡，而图像组成涉及多个前景对象。此外，我们引入了一种新颖的注意力面罩机制，该机制指导着适应前景对象的外观，这也有助于为几何域中的学习提供更好的训练参考。场景文本图像合成，肖像编辑和室内渲染任务的广泛实验表明，所提出的HIC-GAN在定性和定量上实现了优越的合成性能。

生成的对抗网络（GANS）已经实现了图像生成的照片逼真品质。但是，如何最好地控制图像内容仍然是一个开放的挑战。我们介绍了莱特基照片，这是一个两级GaN，它在古典GAN目标上训练了训练，在一组空间关键点上有内部调节。这些关键点具有相关的外观嵌入，分别控制生成对象的位置和样式及其部件。我们使用合适的网络架构和培训方案地址的一个主要困难在没有领域知识和监督信号的情况下将图像解开到空间和外观因素中。我们展示了莱特基点提供可解释的潜在空间，可用于通过重新定位和交换Keypoint Embedding来重新安排生成的图像，例如通过组合来自不同图像的眼睛，鼻子和嘴巴来产生肖像。此外，关键点和匹配图像的显式生成启用了一种用于无监督的关键点检测的新的GaN的方法。

基于深度学习的低光图像增强方法通常需要巨大的配对训练数据，这对于在现实世界的场景中捕获是不切实际的。最近，已经探索了无监督的方法来消除对成对训练数据的依赖。然而，由于没有前衣，它们在不同的现实情景中表现得不稳定。为了解决这个问题，我们提出了一种基于先前（HEP）的有效预期直方图均衡的无监督的低光图像增强方法。我们的作品受到了有趣的观察，即直方图均衡增强图像的特征图和地面真理是相似的。具体而言，我们制定了HEP，提供了丰富的纹理和亮度信息。嵌入一​​个亮度模块（LUM），它有助于将低光图像分解为照明和反射率图，并且反射率图可以被视为恢复的图像。然而，基于Retinex理论的推导揭示了反射率图被噪声污染。我们介绍了一个噪声解剖学模块（NDM），以解除反射率图中的噪声和内容，具有不配对清洁图像的可靠帮助。通过直方图均衡的先前和噪声解剖，我们的方法可以恢复更精细的细节，更有能力抑制现实世界低光场景中的噪声。广泛的实验表明，我们的方法对最先进的无监督的低光增强算法有利地表现出甚至与最先进的监督算法匹配。

In this paper we present TreEnhance, an automatic method for low-light image enhancement capable of improving the quality of digital images. The method combines tree search theory, and in particular the Monte Carlo Tree Search (MCTS) algorithm, with deep reinforcement learning. Given as input a low-light image, TreEnhance produces as output its enhanced version together with the sequence of image editing operations used to obtain it. During the training phase, the method repeatedly alternates two main phases: a generation phase, where a modified version of MCTS explores the space of image editing operations and selects the most promising sequence, and an optimization phase, where the parameters of a neural network, implementing the enhancement policy, are updated. Two different inference solutions are proposed for the enhancement of new images: one is based on MCTS and is more accurate but more time and memory consuming; the other directly applies the learned policy and is faster but slightly less precise. As a further contribution, we propose a guided search strategy that "reverses" the enhancement procedure that a photo editor applied to a given input image. Unlike other methods from the state of the art, TreEnhance does not pose any constraint on the image resolution and can be used in a variety of scenarios with minimal tuning. We tested the method on two datasets: the Low-Light dataset and the Adobe Five-K dataset obtaining good results from both a qualitative and a quantitative point of view.

面部去夹旨在从模糊的输入图像恢复清晰的面部图像，具有更明确的结构和面部细节。然而，大多数传统的图像和面部去夹方法的重点是整个产生的图像分辨率，而不考虑特殊的面部纹理并且通常产生无充气的细节。考虑到面部和背景具有不同的分布信息，在本研究中，我们设计了一种基于可分离的归一化和自适应非规范化（SnAdnet）的有效面部去孔网络。首先，我们微调面部解析网络以获得精确的面部结构。然后，我们将脸部解析功能划分为面部前景和背景。此外，我们构建了一种新的特征自适应非规范化，以将FAYCIAL结构规则为辅助的条件，以产生更加和谐的面部结构。另外，我们提出了一种纹理提取器和多贴片鉴别器，以增强所生成的面部纹理信息。 Celeba和Celeba-HQ数据集的实验结果表明，所提出的面部去孔网络以更具面部细节恢复面部结构，并在结构相似性索引方法（SSIM），峰值信号方面对最先进的方法进行有利的方法。信噪比（PSNR），Frechet Inception距离（FID）和L1以及定性比较。

基于图像的艺术渲染可以使用算法图像过滤合成各种表达式。与基于深度学习的方法相反，这些基于启发式的过滤技术可以在高分辨率图像上运行，可以解释，并且可以根据各个设计方面进行参数化。但是，适应或扩展这些技术生产新样式通常是一项乏味且容易出错的任务，需要专家知识。我们提出了一个新的范式来减轻此问题：实现算法图像过滤技术作为可区分的操作，可以学习与某些参考样式一致的参数化。为此，我们提出了明智的，这是一个基于示例的图像处理系统，可以在公共框架内处理多种风格化技术，例如水彩，油或卡通风格。通过训练全局和本地滤波器参数化的参数预测网络，我们可以同时适应参考样式和图像内容，例如增强面部特征。我们的方法可以在样式转移框架中进行优化，也可以在用于图像到图像翻译的生成对流设置中学习。我们证明，共同训练XDOG滤波器和用于后处理的CNN可以与基于GAN的最新方法获得可比的结果。