面部图像中的对象删除和图像介绍是一项任务，其中遮挡面部图像的对象被专门针对，删除和替换为正确重建的面部图像。利用U-NET和调制发电机的两种不同的方法已被广泛认可了该任务的独特优势，但尽管每种方法的先天缺点。 u-net是一种有条件剂的常规方法，保留了未掩盖区域的精细细节，但是重建图像的样式与原始图像的其余部分不一致，并且只有在遮挡对象的大小足够小时才可以坚固。相比之下，调制生成方法可以处理图像中较大的阻塞区域，并提供{a}更一致的样式，但通常会错过大多数详细功能。这两种模型之间的这种权衡需要制定模型的发明，该模型可以应用于任何尺寸的面具，同时保持一致的样式并保留面部特征的细节细节。在这里，我们提出了语义引导的介绍网络（SGIN）本身是对调制发电机的修改，旨在利用其先进的生成能力并保留原始图像的高保真详细信息。通过使用语义图的指导，我们的模型能够操纵面部特征，这些特征将方向赋予了一对多问题，以进一步实用。

深度学习方法在图像染色中优于传统方法。为了生成上下文纹理，研究人员仍在努力改进现有方法，并提出可以提取，传播和重建类似于地面真实区域的特征的模型。此外，更深层的缺乏高质量的特征传递机制有助于对所产生的染色区域有助于持久的像差。为了解决这些限制，我们提出了V-Linknet跨空间学习策略网络。为了改善语境化功能的学习，我们设计了一种使用两个编码器的损失模型。此外，我们提出了递归残留过渡层（RSTL）。 RSTL提取高电平语义信息并将其传播为下层。最后，我们将在与不同面具的同一面孔和不同面部面上的相同面上进行了比较的措施。为了提高图像修复再现性，我们提出了一种标准协议来克服各种掩模和图像的偏差。我们使用实验方法调查V-LinkNet组件。当使用标准协议时，在Celeba-HQ上评估时，我们的结果超越了现有技术。此外，我们的模型可以在Paris Street View上评估时概括良好，以及具有标准协议的Parume2数据集。

传统上，视频会议是广泛采用的电信解决方案，但由于面部代表性的2D性质，缺乏沉浸性是固有的。通过头戴式显示器（HMDS）的通信/远程呈现系统中虚拟现实（VR）的集成有望为用户提供更好的沉浸体验。然而，HMD通过阻挡用户的面部外观和表达而导致障碍。为了克服这些问题，我们提出了一种用于HMD去闭锁的一种新的关注的编码器解码器架构。我们还建议使用用户的短视频（1-2分钟），在不同的外观中捕获的短视频（1-2分钟）培训我们的特定于人士的模型，并展示了解开了Unseen姿势和外观的概括。我们通过最先进的方法报告了卓越的定性和定量结果。我们还使用现有动画和3D面重建管道向混合视频电话会议提供这种方法的应用。

封闭在野外的脸部图像中非常常见，导致面部相关任务的性能劣化。虽然致力于从面部图像中去除闭塞的努力，但遮挡的不同形状和纹理仍然挑战当前方法的稳健性。结果，目前的方法依赖于手动遮挡掩模或仅适用于特定的闭塞。本文提出了一种基于面部分割和3D面重建的新型面部去遮挡模型，其自动除去甚至模糊边界，例如，毛发。，毛发。所提出的模型包括3D面部重建模块，面部分割模块和图像生成模块。对于前两者预测的面部和遮挡掩模，图像生成模块可以忠实地恢复缺失的面部纹理。为了监督培训，我们进一步构建了一个大型遮挡数据集，双手动标记和合成闭塞。定性和定量结果证明了该方法的有效性和稳健性。

我们提出了Exe-Gan，这是一种新型的使用生成对抗网络的典范引导的面部介绍框架。我们的方法不仅可以保留输入面部图像的质量，而且还可以使用类似示例性的面部属性来完成图像。我们通过同时利用输入图像的全局样式，从随机潜在代码生成的随机样式以及示例图像的示例样式来实现这一目标。我们介绍了一个新颖的属性相似性指标，以鼓励网络以一种自我监督的方式从示例中学习面部属性的风格。为了确保跨地区边界之间的自然过渡，我们引入了一种新型的空间变体梯度反向传播技术，以根据空间位置调整损耗梯度。关于公共Celeba-HQ和FFHQ数据集的广泛评估和实际应用，可以验证Exe-GAN的优越性，从面部镶嵌的视觉质量来看。

图像介入寻求一种语义一致的方法，以根据其未掩盖的内容来恢复损坏的图像。以前的方法通常将训练有素的甘恩重复使用，然后在产生逼真的斑块中用于缺少GAN反转的孔。然而，在这些算法中对硬约束的无知可能会产生gan倒置和图像插入之间的差距。在解决这个问题的情况下，我们在本文中设计了一个新颖的GAN反转模型，用于图像插入，称为Interverfill，主要由带有预调制模块的编码器和具有F＆W+潜在空间的GAN生成器组成。在编码器中，预调制网络利用多尺度结构将更多的歧视语义编码为样式向量。为了弥合GAN倒置和图像插入之间的缝隙，提出了F＆W+潜在空间以消除巨大的颜色差异和语义不一致。为了重建忠实和逼真的图像，一个简单而有效的软上升平均潜在模块旨在捕获更多样化的内域模式，以合成大型腐败的高保真质地。在包括Ploce2，Celeba-HQ，Metfaces和Scenery在内的四个具有挑战性的数据集上进行的全面实验表明，我们的Intervill效果优于定性和定量的高级方法，并支持室外图像的完成。

最近的研究表明，在介绍问题中建模长期相互作用的重要性。为了实现这一目标，现有方法利用独立的注意技术或变压器，但考虑到计算成本，通常在低分辨率下。在本文中，我们提出了一个基于变压器的新型模型，用于大孔介入，该模型统一了变压器和卷积的优点，以有效地处理高分辨率图像。我们仔细设计框架的每个组件，以确保恢复图像的高保真度和多样性。具体而言，我们自定义了一个面向内部的变压器块，其中注意模块仅从部分有效令牌中汇总非本地信息，该信息由动态掩码表示。广泛的实验证明了在多个基准数据集上新模型的最新性能。代码在https://github.com/fenglinglwb/mat上发布。

语义图像编辑利用本地语义标签图来生成所需的内容。最近的工作借用了Spade Block来实现语义图像编辑。但是，由于编辑区域和周围像素之间的样式差异，它无法产生令人愉悦的结果。我们将其归因于以下事实：Spade仅使用与图像无关的局部语义布局，但忽略了已知像素中包含的图像特定样式。为了解决此问题，我们提出了一个样式保存的调制（SPM），其中包括两个调制过程：第一个调制包含上下文样式和语义布局，然后生成两个融合的调制参数。第二次调制采用融合参数来调制特征图。通过使用这两种调制，SPM可以在保留特定图像的上下文样式的同时注入给定的语义布局。此外，我们设计了一种渐进式体系结构，以粗到精细的方式生成编辑的内容。提出的方法可以获得上下文一致的结果，并显着减轻生成区域和已知像素之间的不愉快边界。

Deep learning techniques have made considerable progress in image inpainting, restoration, and reconstruction in the last few years. Image outpainting, also known as image extrapolation, lacks attention and practical approaches to be fulfilled, owing to difficulties caused by large-scale area loss and less legitimate neighboring information. These difficulties have made outpainted images handled by most of the existing models unrealistic to human eyes and spatially inconsistent. When upsampling through deconvolution to generate fake content, the naive generation methods may lead to results lacking high-frequency details and structural authenticity. Therefore, as our novelties to handle image outpainting problems, we introduce structural prior as a condition to optimize the generation quality and a new semantic embedding term to enhance perceptual sanity. we propose a deep learning method based on Generative Adversarial Network (GAN) and condition edges as structural prior in order to assist the generation. We use a multi-phase adversarial training scheme that comprises edge inference training, contents inpainting training, and joint training. The newly added semantic embedding loss is proved effective in practice.

尽管深度学习使图像介绍方面取得了巨大的飞跃，但当前的方法通常无法综合现实的高频细节。在本文中，我们建议将超分辨率应用于粗糙的重建输出，以高分辨率进行精炼，然后将输出降低到原始分辨率。通过将高分辨率图像引入改进网络，我们的框架能够重建更多的细节，这些细节通常由于光谱偏置而被平滑 - 神经网络倾向于比高频更好地重建低频。为了协助培训大型高度孔洞的改进网络，我们提出了一种渐进的学习技术，其中缺失区域的大小随着培训的进行而增加。我们的缩放，完善和缩放策略，结合了高分辨率的监督和渐进学习，构成了一种框架 - 不合时宜的方法，用于增强高频细节，可应用于任何基于CNN的涂层方法。我们提供定性和定量评估以及消融分析，以显示我们方法的有效性。这种看似简单但功能强大的方法优于最先进的介绍方法。我们的代码可在https://github.com/google/zoom-to-inpaint中找到

通过最近使用深神经网络，图像纯洁方法显示出显着的改进。然而，许多这些技术经常产生与周围区域不一致的扭曲的结构或模糊纹理。该问题植根于编码器层的无效，在建立缺失地区的完全和忠实的嵌入时。为了解决这个问题，两阶段方法部署了两个单独的网络，用于对染色图像的粗略和精细估计。一些方法利用手工制作的特征，如边缘或轮廓，以指导重建过程。由于多个发电机网络，手工特征有限，并且在地面真理中存在的信息的次优，这些方法遭受巨大的计算开销。通过这些观察结果，我们提出了一种基于蒸馏的方法，用于以自适应方式为编码器层提供直接特征级监督。我们部署交叉和自蒸馏技术，并讨论了对编码器中专用完成块的需要，以实现蒸馏靶。我们对多个数据集进行广泛的评估以验证我们的方法。

Figure 1: Example inpainting results of our method on images of natural scene, face and texture. Missing regions are shown in white. In each pair, the left is input image and right is the direct output of our trained generative neural networks without any post-processing.

将带家具的房间图像转换为背景的任务 - 仅是非常具有挑战性，因为它需要在仍然保持整体布局和风格的同时进行大量变化。为了获得照片 - 现实和结构一致的背景，现有的深度学习方法使用图像修复方法或将场景布局的学习作为个人任务，以后在不完全可分辨率的语义区域自适应归一代化模块中利用它。为了解决这些缺点，我们将场景布局生成视为特征线性变换问题，并提出了一个简单但有效的调整后的完全可分辨率的软语义区域 - 自适应归一化模块（SoftSean）块。我们展示了现实和深度估计任务的缩短和深度估计任务中的适用性，在那里我们的方法除了减轻培训复杂性和不可差异性问题的优点，超越了定量和定性的比较方法。我们的SoftSean块可用作现有辨别和生成模型的液位模块。在vcl3d.github.io/panodr/上提供实现。

基于补丁的方法和深度网络已经采用了解决图像染色问题，具有自己的优势和劣势。基于补丁的方法能够通过从未遮盖区域搜索最近的邻居修补程序来恢复具有高质量纹理的缺失区域。但是，这些方法在恢复大缺失区域时会带来问题内容。另一方面，深度网络显示有希望的成果完成大区域。尽管如此，结果往往缺乏类似周围地区的忠诚和尖锐的细节。通过汇集两个范式中，我们提出了一种新的深度染色框架，其中纹理生成是由从未掩蔽区域提取的补丁样本的纹理记忆引导的。该框架具有一种新颖的设计，允许使用深度修复网络训练纹理存储器检索。此外，我们还介绍了贴片分配损失，以鼓励高质量的贴片合成。所提出的方法在三个具有挑战性的图像基准测试中，即地位，Celeba-HQ和巴黎街道视图数据集来说，该方法显示出质量和定量的卓越性能。

发型转移是将源发型修改为目标的任务。尽管最近的发型转移模型可以反映发型的精致特征，但它们仍然有两个主要局限性。首先，当源和目标图像具有不同的姿势（例如，查看方向或面部尺寸）时，现有方法无法转移发型，这在现实世界中很普遍。同样，当源图像中有非平凡的区域被其原始头发遮住时，先前的模型会产生不切实际的图像。当将长发修改为短发时，肩膀或背景被长发遮住了。为了解决这些问题，我们为姿势不变的发型转移，发型提出了一个新颖的框架。我们的模型包括两个阶段：1）基于流动的头发对齐和2）头发合成。在头发对齐阶段，我们利用基于关键点的光流估计器将目标发型与源姿势对齐。然后，我们基于语义区域感知的嵌入面膜（SIM）估计器在头发合成阶段生成最终的发型转移图像。我们的SIM估计器将源图像中的封闭区域划分为不同的语义区域，以反映其在涂料过程中的独特特征。为了证明我们的模型的有效性，我们使用多视图数据集（K-Hairstyle和Voxceleb）进行定量和定性评估。结果表明，发型通过在不同姿势的图像之间成功地转移发型来实现最先进的表现，而这是以前从未实现的。

图像介入是将图像的掩盖或未知区域填充具有视觉上现实内容的任务，最近，深层神经网络（DNNS）极大地改善了图像。从本质上讲，作为一个反问题，内部介绍面临着在没有纹理伪像的情况下重建语义相干结果的根本挑战。以前的许多努力是通过利用注意机制和先验知识（例如边缘和语义分割）做出的。但是，这些作品在实践中仍然受到可学习的先验参数和刺激性计算负担的限制。为此，我们提出了一个新颖的模型 - 轴向镶嵌网络（WAIN）中的小波事先注意学习，其发电机包含编码器，解码器以及小波图像的两个关键组件先验注意力（WPA）和堆叠的多层层轴向转化器（ATS）。特别是，WPA指导多尺度频域中的高级特征聚集，从而减轻了文本伪像。堆叠的ATS采用未掩盖的线索来帮助建模合理的功能以及水平和垂直轴的低级特征，从而提高语义连贯性。对Celeba-HQ和Place2数据集进行了广泛的定量和定性实验，以验证我们的Wain可以在竞争对手上实现最新的性能。代码和模型将发布。

桥接全球上下文交互正确对大面具的高保真图像完成非常重要。先前的方法通过深或大的接收领域（RF）卷积无法逃离附近互动的主导地位，这可能是劣等的。在本文中，我们建议将图像完成视为无缝的序列到序列预测任务，并部署变压器以直接捕获编码器中的远程依赖性。至关重要，我们使用具有小而非重叠的RF的限制性CNN，用于加权令牌表示，这允许变压器明确地模拟所有层中的相同重要性，而在使用较大的RF时，没有隐含地混淆邻居令牌。为了改善可见区域之间的外观一致性，引入了一种新的注意力层（aal）以更好地利用远方相关的高频功能。总体而言，与若干数据集上的最先进方法相比，大量实验表现出卓越的性能。

基于草图的图像操作是一个交互式图像编辑任务，用于根据用户的输入草图修改图像。现有方法通常将此任务制定为条件染色问题，这需要用户绘制除草图之外还要修改区域的额外掩码。蒙面区域被视为孔，并通过剪影模型填充在草图上。利用这种配方，可以通过随机制造掩模和提取边缘或轮廓来容易地获得成对的训练数据。虽然此设置简化了数据准备和模型设计，但它使用户交互复杂化并丢弃在蒙面区域中的有用信息。为此，我们调查了一种基于草图的图像操作的新范式：无掩盖的本地图像操作，只需要从用户素描输入并利用整个原始图像。给定图像和草图，我们的模型会自动预测目标修改区域并将其编码为结构不可知的风格矢量。然后，发电机基于样式向量和草图综合新的图像内容。最终通过将发电机输出混合到原始图像的修改区域中来产生操纵图像。我们的模型可以通过学习从风格矢量和素描的图像区域的重建来训练自我监督的时尚。该方法提供了更简单，更直观的用户工作流程，用于基于草图的图像操作，并提供比以前的方法更好的结果。更多结果，代码和交互式演示将在\ url {https://zengxianyu.github.io/sketchedit}上获得。

由于发型的复杂性和美味，编辑发型是独一无二的，而且具有挑战性。尽管最近的方法显着改善了头发的细节，但是当源图像的姿势与目标头发图像的姿势大不相同时，这些模型通常会产生不良的输出，从而限制了其真实世界的应用。发型是一种姿势不变的发型转移模型，可以减轻这种限制，但在保留精致的头发质地方面仍然表现出不令人满意的质量。为了解决这些局限性，我们提出了配备潜在优化和新呈现的局部匹配损失的高性能姿势不变的发型转移模型。在stylegan2潜在空间中，我们首先探索目标头发的姿势对准的潜在代码，并根据本地风格匹配保留了详细纹理。然后，我们的模型对源的遮挡构成了对齐的目标头发的遮挡，并将两个图像混合在一起以产生最终输出。实验结果表明，我们的模型在在较大的姿势差异和保留局部发型纹理下转移发型方面具有优势。

图像介入是一个不适的问题，可以基于带有遮罩的不完整图像来恢复缺失或损坏的图像内容。以前的作品通常可以预测辅助结构（例如边缘，分割和轮廓），以帮助以多阶段的方式填充视觉逼真的斑块。但是，不精确的辅助先验可能会产生有偏见的成分结果。此外，对于复杂的神经网络的多个阶段来实现的某些方法是耗时的。为了解决此问题，我们开发了一个端到端的多模式引导的变压器网络，包括一个镶嵌分支和两个用于语义分割和边缘纹理的辅助分支。在每个变压器块中，提出的多尺度空间感知注意模块可以通过辅助构成规范有效地学习多模式结构特征。与以前依赖于偏见先验的直接指导的方法不同，我们的方法基于来自多种模式的判别性相互作用信息，在图像中具有语义一致的上下文。关于几个具有挑战性的图像镶嵌数据集的全面实验表明，我们的方法实现了最先进的性能，以有效地处理各种常规/不规则面具。