我们提出了一个深层神经网络，用于从不受约束的肖像图像中删除不良阴影特征，从而恢复基础纹理。我们的培训计划纳入了三种正则化策略：蒙面损失，以强调高频阴影特征；软阴影损失，改善了对照明微妙变化的敏感性；和阴影偏移估计，以监督阴影和纹理的分离。与最先进的方法相比，我们的方法表明了质量和概括的改善。我们进一步展示了我们的愉悦方法如何增强光敏的计算机视觉任务任务（例如面部重新放置和语义解析）的性能，从而使它们能够处理极端的照明条件。

鉴于一个人的肖像图像和目标照明的环境图，肖像重新旨在重新刷新图像中的人，就好像该人出现在具有目标照明的环境中一样。为了获得高质量的结果，最近的方法依靠深度学习。一种有效的方法是用高保真输入输出对的高保真数据集监督对深神经网络的培训，并以光阶段捕获。但是，获取此类数据需要昂贵的特殊捕获钻机和耗时的工作，从而限制了对少数机智的实验室的访问。为了解决限制，我们提出了一种新方法，该方法可以与最新的（SOTA）重新确定方法相提并论，而无需光阶段。我们的方法基于这样的意识到，肖像图像的成功重新重新取决于两个条件。首先，该方法需要模仿基于物理的重新考虑的行为。其次，输出必须是逼真的。为了满足第一个条件，我们建议通过通过虚拟光阶段生成的训练数据来训练重新网络，该培训数据在不同的环境图下对各种3D合成人体进行了基于物理的渲染。为了满足第二种条件，我们开发了一种新型的合成对真实方法，以将光真实主义带入重新定向网络输出。除了获得SOTA结果外，我们的方法还提供了与先前方法相比的几个优点，包括可控的眼镜和更暂时的结果以重新欣赏视频。

在过去几年中，许多面部分析任务已经完成了惊人的性能，其中应用包括来自单个“野外”图像的面部生成和3D面重建。尽管如此，据我们所知，没有方法可以从“野外”图像中产生渲染的高分辨率3D面，并且这可以归因于：（a）可用数据的跨度进行培训（b）缺乏可以成功应用于非常高分辨率数据的强大方法。在这项工作中，我们介绍了一种能够从单个“野外”图像中重建光电型渲染3D面部几何和BRDF的第一种方法。我们捕获了一个大型的面部形状和反射率，我们已经公开了。我们用精确的面部皮肤漫射和镜面反射，自遮挡和地下散射近似来定义快速面部光电型拟型渲染方法。有了这一点，我们训练一个网络，将面部漫射和镜面BRDF组件与烘焙照明的形状和质地一起脱颖而出，以最先进的3DMM配件方法重建。我们的方法通过显着的余量优于现有技术，并从单个低分辨率图像重建高分辨率3D面，这可以在各种应用中呈现，并桥接不一体谷。

我们提出了Boareskinnet，这是一种新颖的方法，可以同时去除面部图像的化妆和照明影响。我们的方法利用3D形态模型，不需要参考干净的面部图像或指定的光条件。通过结合3D面重建的过程，我们可以轻松获得3D几何和粗3D纹理。使用此信息，我们可以通过图像翻译网络推断出归一化的3D面纹理图（扩散，正常，粗糙和镜面）。因此，没有不良信息的重建3D面部纹理将显着受益于随后的过程，例如重新照明或重新制作。在实验中，我们表明Bareskinnet优于最先进的化妆方法。此外，我们的方法有助于卸妆以生成一致的高保真纹理图，这使其可扩展到许多现实的面部生成应用。它还可以在相应的3D数据之前和之后自动构建面部化妆图像的图形资产。这将有助于艺术家加速他们的作品，例如3D Makeup Avatar创作。

单像人类的重新构成旨在通过将输入图像分解为反照率，形状和照明，以在新的照明条件下重新确定目标人。尽管可以实现合理的重新确定结果，但以前的方法均遭受反照率和照明之间的纠缠以及缺乏硬阴影的纠缠，这大大降低了现实主义。为了解决这两个问题，我们提出了一个几何学意识到的单像人类重心框架，该框架利用单位图几何重建来共同部署传统的图形渲染和神经渲染技术。对于脱光灯，我们探索了UNET架构的缺点，并提出了修改后的HRNET，从而在反照率和照明之间获得了更好的分解。为了获得重新，我们引入了一个基于射线跟踪的每个像素照明表示形式，该表示明确地对高频阴影进行了建模，并提出了一个基于学习的阴影修补模块，以恢复来自射线追踪的阴影图的逼真的逼真的阴影（包括硬铸造阴影）。我们的框架能够生成照片逼真的高频阴影，例如在挑战性的照明条件下铸造阴影。广泛的实验表明，我们提出的方法在合成图像和真实图像上都优于先前的方法。

从单个图像重建高保真3D面部纹理是一个具有挑战性的任务，因为缺乏完整的面部信息和3D面和2D图像之间的域间隙。最新作品通过应用基于代或基于重建的方法来解决面部纹理重建问题。尽管各种方法具有自身的优势，但它们不能恢复高保真和可重新可传送的面部纹理，其中术语“重新可调剂”要求面部质地在空间地完成和与环境照明中脱颖而出。在本文中，我们提出了一种新颖的自我监督学习框架，用于从野外的单视图重建高质量的3D面。我们的主要思想是首先利用先前的一代模块来生产先前的Albedo，然后利用细节细化模块来获得详细的Albedo。为了进一步使面部纹理解开照明，我们提出了一种新颖的详细的照明表示，该表现在一起与详细的Albedo一起重建。我们还在反照侧和照明方面设计了几种正规化损失功能，以便于解散这两个因素。最后，由于可怜的渲染技术，我们的神经网络可以以自我监督的方式有效地培训。关于具有挑战性的数据集的广泛实验表明，我们的框架在定性和定量比较方面显着优于最先进的方法。

我们提出了一种从单个图像中编辑复杂室内照明的方法，其深度和光源分割掩码。这是一个极具挑战性的问题，需要对复杂的光传输进行建模，并仅通过对场景的部分LDR观察，将HDR照明从材料和几何形状中解散。我们使用两个新颖的组件解决了这个问题：1）一种整体场景重建方法，该方法估计场景反射率和参数3D照明，以及2）一个神经渲染框架，从我们的预测中重新呈现场景。我们使用基于物理的室内光表示，可以进行直观的编辑，并推断可见和看不见的光源。我们的神经渲染框架结合了基于物理的直接照明和阴影渲染，深层网络近似于全球照明。它可以捕获具有挑战性的照明效果，例如柔软的阴影，定向照明，镜面材料和反射。以前的单个图像逆渲染方法通常纠缠场景照明和几何形状，仅支持对象插入等应用程序。取而代之的是，通过将参数3D照明估计与神经场景渲染相结合，我们演示了从单个图像中实现完整场景重新确定（包括光源插入，删除和替换）的第一种自动方法。所有源代码和数据将公开发布。

生成对抗性网络（GANS）的最新进展导致了面部图像合成的显着成果。虽然使用基于样式的GAN的方法可以产生尖锐的照片拟真的面部图像，但是通常难以以有意义和解开的方式控制所产生的面的特性。之前的方法旨在在先前培训的GaN的潜在空间内实现此类语义控制和解剖。相比之下，我们提出了一个框架，即明确地提出了诸如3D形状，反玻璃，姿势和照明的面部的身体属性，从而通过设计提供解剖。我们的方法，大多数GaN，与非线性3D可变模型的物理解剖和灵活性集成了基于风格的GAN的表现力和质感，我们与最先进的2D头发操纵网络相结合。大多数GaN通过完全解散的3D控制来实现肖像图像的照片拟理性操纵，从而实现了光线，面部表情和姿势变化的极端操作，直到完整的档案视图。

我们提出了一种新的方法来获取来自在线图像集合的对象表示，从具有不同摄像机，照明和背景的照片捕获任意物体的高质量几何形状和材料属性。这使得各种以各种对象渲染应用诸如新颖的综合，致密和协调的背景组合物，从疯狂的内部输入。使用多级方法延伸神经辐射场，首先推断表面几何形状并优化粗估计的初始相机参数，同时利用粗糙的前景对象掩模来提高训练效率和几何质量。我们还介绍了一种强大的正常估计技术，其消除了几何噪声的效果，同时保持了重要细节。最后，我们提取表面材料特性和环境照明，以球形谐波表示，具有处理瞬态元素的延伸部，例如，锋利的阴影。这些组件的结合导致高度模块化和有效的对象采集框架。广泛的评估和比较证明了我们在捕获高质量的几何形状和外观特性方面的方法，可用于渲染应用。

Most shadow removal methods rely on the invasion of training images associated with laborious and lavish shadow region annotations, leading to the increasing popularity of shadow image synthesis. However, the poor performance also stems from these synthesized images since they are often shadow-inauthentic and details-impaired. In this paper, we present a novel generation framework, referred to as HQSS, for high-quality pseudo shadow image synthesis. The given image is first decoupled into a shadow region identity and a non-shadow region identity. HQSS employs a shadow feature encoder and a generator to synthesize pseudo images. Specifically, the encoder extracts the shadow feature of a region identity which is then paired with another region identity to serve as the generator input to synthesize a pseudo image. The pseudo image is expected to have the shadow feature as its input shadow feature and as well as a real-like image detail as its input region identity. To fulfill this goal, we design three learning objectives. When the shadow feature and input region identity are from the same region identity, we propose a self-reconstruction loss that guides the generator to reconstruct an identical pseudo image as its input. When the shadow feature and input region identity are from different identities, we introduce an inter-reconstruction loss and a cycle-reconstruction loss to make sure that shadow characteristics and detail information can be well retained in the synthesized images. Our HQSS is observed to outperform the state-of-the-art methods on ISTD dataset, Video Shadow Removal dataset, and SRD dataset. The code is available at https://github.com/zysxmu/HQSS.

Face Restoration (FR) aims to restore High-Quality (HQ) faces from Low-Quality (LQ) input images, which is a domain-specific image restoration problem in the low-level computer vision area. The early face restoration methods mainly use statistic priors and degradation models, which are difficult to meet the requirements of real-world applications in practice. In recent years, face restoration has witnessed great progress after stepping into the deep learning era. However, there are few works to study deep learning-based face restoration methods systematically. Thus, this paper comprehensively surveys recent advances in deep learning techniques for face restoration. Specifically, we first summarize different problem formulations and analyze the characteristic of the face image. Second, we discuss the challenges of face restoration. Concerning these challenges, we present a comprehensive review of existing FR methods, including prior based methods and deep learning-based methods. Then, we explore developed techniques in the task of FR covering network architectures, loss functions, and benchmark datasets. We also conduct a systematic benchmark evaluation on representative methods. Finally, we discuss future directions, including network designs, metrics, benchmark datasets, applications,etc. We also provide an open-source repository for all the discussed methods, which is available at https://github.com/TaoWangzj/Awesome-Face-Restoration.

虚拟面部化身将在身临其境的沟通，游戏和元视频中发挥越来越重要的作用，因此至关重要的是包容性。这需要准确地恢复出现，无论年龄，性别或种族如何，都以反照率表示。尽管在估计3D面部几何形状方面取得了重大进展，但反照率估计受到较少的关注。该任务在根本上是模棱两可的，因为观察到的颜色是反照率和照明的函数，这两者都是未知的。我们发现，由于（1）偏爱较轻的色素沉着和（2）算法溶液，因此当前的方法偏向浅色肤色，而无视光/反照率的歧义。为了解决这个问题，我们提出了一个新的评估数据集（公平）和算法（Trust），以改善反照率估计以及公平性。具体而言，我们创建了第一个面部反照率评估基准，其中受试者在肤色方面保持平衡，并使用单个类型学角度（ITA）度量测量精度。然后，我们通过建立关键观察结果来解决光/反照率的歧义：与面部的裁剪图像相反，整个场景的图像包含有关照明的重要信息，可用于歧义。信任通过在面部区域和从场景图像中获得的全球照明信号进行调节来回归面部反照率。我们的实验结果表明，就准确性和公平性而言，与最先进的反照率估计方法相比，相比之下。评估基准和代码将用于研究目的，网址为https://trust.is.tue.mpg.de。

随着增强的焦点和虚拟现实应用（XR）来说，可以对可以将物体从图像和视频升力到适合各种相关3D任务的表示的算法。 XR设备和应用程序的大规模部署意味着我们不能仅仅依赖于监督学习，因为收集和注释现实世界中无限各种物体的数据是不可行的。我们提出了一种弱监督的方法，能够将物体的单个图像分解成形状（深度和正规），材料（反射率，反射率和发光）和全局照明参数。对于培训，该方法仅依赖于训练对象的粗略初始形状估计来引导学习过程。这种形状监督可以例如从预先预制的深度网络或 - 从传统的结构 - 来自运动管道中的普罗维尔或 - 更慷慨地实现。在我们的实验中，我们表明该方法可以将2D图像成功地将2D图像成功渲染为分解的3D表示并推广到未经证明的对象类别。由于缺乏频繁的评估因缺乏地面真理数据而困难，我们还介绍了一种允许定量评估的照片 - 现实的合成测试集。

我们提出了一种新颖的暗影拆除深层学习方法。灵感来自暗影形成的物理模型，我们使用线性照明变换来模拟图像中的阴影效果，允许阴影图像表示为无影子图像，阴影参数和遮罩层的组合。我们使用两个深网络，即SP-Net和M-Net，分别预测阴影参数和阴影遮罩。该系统允许我们删除图像的影子效果。然后，我们采用了一个素食网络，I-Net，以进一步改进结果。我们在最具挑战性的阴影删除数据集（ISTD）上培训并测试我们的框架。我们的方法通过20 \％的阴影区域的根均线误差（RMSE）来改善最先进的。此外，这种分解允许我们制定基于补丁的弱监督暗影去除方法。这种型号可以培训，没有任何暗影图像（非常麻烦的图像），与使用完全配对的阴影和无影子图像训练的最先进的方法相比，实现了竞争阴影去除结果。最后，我们介绍了SBU-timelapse，一个视频阴影删除数据集，用于评估阴影清除方法。

建筑摄影是一种摄影类型，重点是捕获前景中带有戏剧性照明的建筑物或结构。受图像到图像翻译方法的成功启发，我们旨在为建筑照片执行风格转移。但是，建筑摄影中的特殊构图对这类照片中的样式转移构成了巨大挑战。现有的神经风格转移方法将建筑图像视为单个实体，它将产生与原始建筑的几何特征，产生不切实际的照明，错误的颜色演绎以及可视化伪影，例如幽灵，外观失真或颜色不匹配。在本文中，我们专门针对建筑摄影的神经风格转移方法。我们的方法解决了两个分支神经网络中建筑照片中前景和背景的组成，该神经网络分别考虑了前景和背景的样式转移。我们的方法包括一个分割模块，基于学习的图像到图像翻译模块和图像混合优化模块。我们使用了一天中不同的魔术时代捕获的不受限制的户外建筑照片的新数据集培训了图像到图像的翻译神经网络，利用其他语义信息，以更好地匹配和几何形状保存。我们的实验表明，我们的方法可以在前景和背景上产生逼真的照明和颜色演绎，并且在定量和定性上都优于一般图像到图像转换和任意样式转移基线。我们的代码和数据可在https://github.com/hkust-vgd/architectural_style_transfer上获得。

每次坐在电视或监视器前，都会通过时变的光模式积极照亮。本文建议使用这种时断照明，以与任何新的照明条件进行脸部的合成复兴。在这样做时，我们从Debevec等人的轻型阶段工作中获取灵感。谁首先展示了在受控照明环境中捕获的人的能力。然而，现有的光级需要昂贵的房间级球形捕获龙门，并且在世界上只有一些实验室存在，我们演示了如何从普通电视或台式机监视器获取有用的数据。我们不对用户感到不舒服的快速闪烁光图案，而不是在用户观看YouTube视频或其他标准内容的用户的图像上运行。我们在图像上培训一个深网络以及给定用户的监视器模式，并学会在任何目标照明（监视器模式）下预测该用户的图像。实验评估表明，我们的方法产生了现实的发感结果。视频结果可在http://grail.cs.washington.edu/projects/light_stage_on_every_desk/上获得。

面部3D形态模型是无数应用程序的主要计算机视觉主题，并且在过去二十年中已得到高度优化。深层生成网络的巨大改进创造了改善此类模型的各种可能性，并引起了广泛的兴趣。此外，神经辐射领域的最新进展正在彻底改变已知场景的新颖视图综合。在这项工作中，我们提出了一个面部3D形态模型，该模型利用了上述两者，并且可以准确地对受试者的身份，姿势和表达进行建模，并以任意照明形式呈现。这是通过利用强大的基于风格的发电机来克服神经辐射场的两个主要弱点，即它们的刚度和渲染速度来实现的。我们介绍了一个基于样式的生成网络，该网络在一个通过中综合了全部，并且仅在神经辐射场的所需渲染样品中构成。我们创建了一个庞大的标记为面部渲染的合成数据集，并在这些数据上训练网络，以便它可以准确地建模并推广到面部身份，姿势和外观。最后，我们表明该模型可以准确地适合“野外”的任意姿势和照明的面部图像，提取面部特征，并用于在可控条件下重新呈现面部。

传统上，本征成像或内在图像分解被描述为将图像分解为两层：反射率，材料的反射率;和一个阴影，由光和几何之间的相互作用产生。近年来，深入学习技术已广泛应用，以提高这些分离的准确性。在本调查中，我们概述了那些在知名内在图像数据集和文献中使用的相关度量的结果，讨论了预测所需的内在图像分解的适用性。虽然Lambertian的假设仍然是许多方法的基础，但我们表明，对图像形成过程更复杂的物理原理组件的潜力越来越意识到，这是光学准确的材料模型和几何形状，更完整的逆轻型运输估计。考虑使用的前瞻和模型以及驾驶分解过程的学习架构和方法，我们将这些方法分类为分解的类型。考虑到最近神经，逆和可微分的渲染技术的进步，我们还提供了关于未来研究方向的见解。

面部地标检测是具有许多重要应用的非常基本和重要的愿景任务。在实践中，面部地标检测可能受到大量自然降级的影响。最常见和最重要的降解之一是光源阻塞引起的阴影。虽然已经提出了许多先进的阴影去除方法来恢复近年来的图像质量，但它们对面部地标检测的影响并不具备很好的研究。例如，它仍然不清楚阴影去除是否可以增强面部地标检测的鲁棒性，以与不同的阴影模式。在这项工作中，为了第一次尝试，我们构建了一个新颖的基准，以将两个独立但相关任务联系起来（即阴影去除和面部地标检测）。特别是，所提出的基准覆盖具有不同强度，尺寸，形状和位置的不同面孔阴影。此外，对于对面部地标检测的挤出硬影模式，我们提出了一种新的方法（即，普发的阴影攻击），这使我们能够构建基准的具有挑战性的综合分析。通过构造的基准，我们对三个最先进的阴影清除方法和三个地标检测器进行了广泛的分析。这项工作的观察激励我们设计一种新颖的检测感知阴影拆除框架，使暗影去除以实现更高的恢复质量并增强部署的面部地标检测器的阴影稳健性。

本文的目标是对面部素描合成（FSS）问题进行全面的研究。然而，由于获得了手绘草图数据集的高成本，因此缺乏完整的基准，用于评估过去十年的FSS算法的开发。因此，我们首先向FSS引入高质量的数据集，名为FS2K，其中包括2,104个图像素描对，跨越三种类型的草图样式，图像背景，照明条件，肤色和面部属性。 FS2K与以前的FSS数据集不同于难度，多样性和可扩展性，因此应促进FSS研究的进展。其次，我们通过调查139种古典方法，包括34个手工特征的面部素描合成方法，37个一般的神经式传输方法，43个深映像到图像翻译方法，以及35个图像 - 素描方法。此外，我们详细说明了现有的19个尖端模型的综合实验。第三，我们为FSS提供了一个简单的基准，名为FSGAN。只有两个直截了当的组件，即面部感知屏蔽和风格矢量扩展，FSGAN将超越所提出的FS2K数据集的所有先前最先进模型的性能，通过大边距。最后，我们在过去几年中汲取的经验教训，并指出了几个未解决的挑战。我们的开源代码可在https://github.com/dengpingfan/fsgan中获得。