图像构成目标在将前景对象插入到背景图像中。最先前的图像构成方法专注于调整前景，使其与背景兼容，同时忽略背景的前景的阴影效果。在这项工作中，我们专注于为复合图像中的前景对象产生合理的阴影。首先，我们通过基于配对的真实图像和deshadowed图像生成合成合成图像来贡献实际阴影生成数据集脱差。然后，我们提出了一种新的阴影生成网络SGRNet，其包括阴影掩模预测阶段和阴影填充阶段。在阴影掩模预测阶段，前景和背景信息彻底互动以产生前景影掩模。在阴影填充阶段，预计暗影参数填充阴影区域。我们的Desoba数据集和真实复合图像的广泛实验证明了我们所提出的方法的有效性。我们的数据集和代码可在https://github.com/bcmi/object-shadow-generation-dataset-desoba获得。

作为一个常见的图像编辑操作，图像组成旨在将前景从一个图像切割并粘贴在另一个图像上，从而产生复合图像。但是，有许多问题可能使复合图像不现实。这些问题可以总结为前景和背景之间的不一致，包括外观不一致（例如，不兼容的照明），几何不一致（例如不合理的大小）和语义不一致（例如，不匹配的语义上下文）。先前的作品将图像组成任务分为多个子任务，其中每个子任务在一个或多个问题上目标。具体而言，对象放置旨在为前景找到合理的比例，位置和形状。图像混合旨在解决前景和背景之间的不自然边界。图像协调旨在调整前景的照明统计数据。影子生成旨在为前景产生合理的阴影。通过将所有上述努力放在一起，我们可以获取现实的复合图像。据我们所知，以前没有关于图像组成的调查。在本文中，我们对图像组成的子任务进行了全面的调查。对于每个子任务，我们总结了传统方法，基于深度学习的方法，数据集和评估。我们还指出了每个子任务中现有方法的局限性以及整个图像组成任务的问题。图像组合的数据集和代码在https://github.com/bcmi/awesome-image-composition上进行了总结。

当使用切割和贴子获取复合图像时，前景和背景之间的几何不一致可能会严重损害其保真度。为了解决复合图像中的几何不一致，几项现有作品学会了扭曲前景对象的几何校正。但是，没有注释的数据集导致性能不令人满意和不可靠的评估。在这项工作中，我们为涵盖三个典型应用程序方案的虚拟尝试（Strat）数据集做出了空间转换。此外，以前的作品仅将前景和背景作为输入，而无需考虑它们的相互对应。取而代之的是，我们提出了一个新颖的对应学习网络（CORRELNET），以使用交叉注意图对正面和背景之间的对应关系进行建模，我们可以预测目标坐标，即前景的每个源坐标都应映射到背景上。然后，前景对象的翘曲参数可以从源和目标坐标对派生。此外，我们学习一个过滤面膜，以消除嘈杂的坐标对，以估计更准确的翘曲参数。我们的Strat数据集上的广泛实验表明，我们所提出的CORRELNET对以前的方法更有利。

Image harmonization aims to produce visually harmonious composite images by adjusting the foreground appearance to be compatible with the background. When the composite image has photographic foreground and painterly background, the task is called painterly image harmonization. There are only few works on this task, which are either time-consuming or weak in generating well-harmonized results. In this work, we propose a novel painterly harmonization network consisting of a dual-domain generator and a dual-domain discriminator, which harmonizes the composite image in both spatial domain and frequency domain. The dual-domain generator performs harmonization by using AdaIn modules in the spatial domain and our proposed ResFFT modules in the frequency domain. The dual-domain discriminator attempts to distinguish the inharmonious patches based on the spatial feature and frequency feature of each patch, which can enhance the ability of generator in an adversarial manner. Extensive experiments on the benchmark dataset show the effectiveness of our method. Our code and model are available at https://github.com/bcmi/PHDNet-Painterly-Image-Harmonization.

对象放置旨在将前景对象放在具有合适位置和大小的背景图像上。在这项工作中，我们将对象放置视为图形完成问题，并提出一个新的图形完成模块（GCM）。背景场景由一个图形表示，在不同的空间位置具有多个节点，并带有各种接收场。前景对象被编码为应插入该图中合理位置的特殊节点。我们还在GCM的结构上设计了一个双路径框架，以完全利用带注释的复合图像。通过在OPA数据集上进行广泛的实验，我们的方法证明在生成合理的对象放置而不会丧失多样性方面显着胜过现有的方法。

图像协调旨在调整前景的外观，使其更兼容背景。由于对背景照明方向缺乏了解，现有的作品无法产生现实的前景着色。在本文中，我们将图像协调分解为两个子问题：1）背景图像的照明估计和前景对象的渲染。在解决这两个子问题之前，我们首先通过神经渲染框架学习方向感知的照明描述符，其中密钥是一个着色模块，其将阴影场分解为给定深度信息的多个着色组件。然后我们设计背景照明估计模块，以从背景中提取方向感知的照明描述符。最后，照明描述符与神经渲染框架结合使用，以生成包含新颖谐波阴影的统一前景图像。此外，我们构建了一种照片 - 现实的合成图像协调数据集，其包含基于图像的照明的许多阴影变化。对该数据集的广泛实验证明了该方法的有效性。我们的数据集和代码将公开可用。

图像组成旨在通过将物体从一个图像插入另一个背景图像，其中插入物体的放置（例如，位置，尺寸，遮挡）的位置可以是不合理的，这将显着降低合成图像的质量。虽然有些作品试图学习对象放置以创建现实的合成图像，但它们并未专注于评估对象放置的合理性。在本文中，我们专注于对象放置评估任务，该任务验证了在对象放置方面是否是合理的合成图像。为完成此任务，我们构建由复合图像及其合理性标签组成的第一个对象放置评估（OPA）数据集。我们还为此任务提出了一个简单但有效的基线。数据集可在https://github.com/bcmi/object-placement-assessment-dataset-opa获得。

学习为仅基于几个图像（称为少数图像生成的少数图像）生成新类别的新图像，引起了研究的兴趣。几项最先进的作品取得了令人印象深刻的结果，但多样性仍然有限。在这项工作中，我们提出了一个新型的三角洲生成对抗网络（Deltagan），该网络由重建子网和一代子网组成。重建子网捕获了类别内转换，即“ delta”，在相同类别对之间。生成子网为输入图像生成了特定于样本的“ delta”，该图像与此输入图像结合使用，以在同一类别中生成新图像。此外，对抗性的三角洲匹配损失旨在将上述两个子网链接在一起。在五个少量图像数据集上进行的广泛实验证明了我们提出的方法的有效性。

学习为仅基于几个图像（称为少数图像生成的少数图像）生成新类别的新图像，引起了研究的兴趣。几项最先进的作品取得了令人印象深刻的结果，但多样性仍然有限。在这项工作中，我们提出了一个新型的三角洲生成对抗网络（Deltagan），该网络由重建子网和一代子网组成。重建子网捕获了类别内转换，即同一类别对之间的三角洲。该生成子网为输入图像生成了特定于样本的三角洲，该图像与此输入图像结合使用，以在同一类别中生成新图像。此外，对抗性的三角洲匹配损失旨在将上述两个子网链接在一起。六个基准数据集的广泛实验证明了我们提出的方法的有效性。我们的代码可从https://github.com/bcmi/deltagan-few-shot-image-generation获得。

提供和渲染室内场景一直是室内设计的一项长期任务，艺术家为空间创建概念设计，建立3D模型的空间，装饰，然后执行渲染。尽管任务很重要，但它很乏味，需要巨大的努力。在本文中，我们引入了一个特定领域的室内场景图像合成的新问题，即神经场景装饰。鉴于一张空的室内空间的照片以及用户确定的布局列表，我们旨在合成具有所需的家具和装饰的相同空间的新图像。神经场景装饰可用于以简单而有效的方式创建概念室内设计。我们解决这个研究问题的尝试是一种新颖的场景生成体系结构，它将空的场景和对象布局转化为现实的场景照片。我们通过将其与有条件图像合成基线进行比较，以定性和定量的方式将其进行比较，证明了我们提出的方法的性能。我们进行广泛的实验，以进一步验证我们生成的场景的合理性和美学。我们的实现可在\ url {https://github.com/hkust-vgd/neural_scene_decoration}获得。

Most shadow removal methods rely on the invasion of training images associated with laborious and lavish shadow region annotations, leading to the increasing popularity of shadow image synthesis. However, the poor performance also stems from these synthesized images since they are often shadow-inauthentic and details-impaired. In this paper, we present a novel generation framework, referred to as HQSS, for high-quality pseudo shadow image synthesis. The given image is first decoupled into a shadow region identity and a non-shadow region identity. HQSS employs a shadow feature encoder and a generator to synthesize pseudo images. Specifically, the encoder extracts the shadow feature of a region identity which is then paired with another region identity to serve as the generator input to synthesize a pseudo image. The pseudo image is expected to have the shadow feature as its input shadow feature and as well as a real-like image detail as its input region identity. To fulfill this goal, we design three learning objectives. When the shadow feature and input region identity are from the same region identity, we propose a self-reconstruction loss that guides the generator to reconstruct an identical pseudo image as its input. When the shadow feature and input region identity are from different identities, we introduce an inter-reconstruction loss and a cycle-reconstruction loss to make sure that shadow characteristics and detail information can be well retained in the synthesized images. Our HQSS is observed to outperform the state-of-the-art methods on ISTD dataset, Video Shadow Removal dataset, and SRD dataset. The code is available at https://github.com/zysxmu/HQSS.

我们提出了一种新颖的暗影拆除深层学习方法。灵感来自暗影形成的物理模型，我们使用线性照明变换来模拟图像中的阴影效果，允许阴影图像表示为无影子图像，阴影参数和遮罩层的组合。我们使用两个深网络，即SP-Net和M-Net，分别预测阴影参数和阴影遮罩。该系统允许我们删除图像的影子效果。然后，我们采用了一个素食网络，I-Net，以进一步改进结果。我们在最具挑战性的阴影删除数据集（ISTD）上培训并测试我们的框架。我们的方法通过20 \％的阴影区域的根均线误差（RMSE）来改善最先进的。此外，这种分解允许我们制定基于补丁的弱监督暗影去除方法。这种型号可以培训，没有任何暗影图像（非常麻烦的图像），与使用完全配对的阴影和无影子图像训练的最先进的方法相比，实现了竞争阴影去除结果。最后，我们介绍了SBU-timelapse，一个视频阴影删除数据集，用于评估阴影清除方法。

阴影对于逼真的图像合成至关重要。基于物理的阴影渲染方法需要3D几何形状，这并不总是可用。基于深度学习的阴影综合方法从光信息到对象的阴影中学习映射，而无需明确建模阴影几何形状。尽管如此，它们仍然缺乏控制，并且容易出现视觉伪像。我们介绍了Pixel Heigh，这是一种新颖的几何表示，它编码对象，地面和相机姿势之间的相关性。像素高度可以根据3D几何形状计算，并在2D图像上手动注释，也可以通过有监督的方法从单视RGB图像中预测。它可用于根据投影几何形状计算2D图像中的硬阴影，从而精确控制阴影的方向和形状。此外，我们提出了一个数据驱动的软影子生成器，以基于软性输入参数将软性应用于硬阴影。定性和定量评估表明，所提出的像素高度显着提高了阴影产生的质量，同时允许可控性。

图像协调旨在根据具体背景修改复合区域的颜色。以前的工作模型是使用Unet系列结构的像素-ID映像转换。然而，模型大小和计算成本限制了模型在边缘设备和更高分辨率图像上的能力。为此，我们首次提出了一种新的空间分离曲线渲染网络（S $ ^ 2 $ CRNET），首次进行高效和高分辨率的图像协调。在S $ ^ 2 $ CRNET中，我们首先将屏蔽前景和背景的缩略图中提取空间分离的嵌入物。然后，我们设计一种曲线渲染模块（CRM），其使用线性层学习并结合空间特定知识，以生成前景区域中的方向曲线映射的参数。最后，我们使用学习的颜色曲线直接渲染原始的高分辨率图像。此外，我们还通过Cascaded-CRM和语义CRM分别进行了两个框架的延伸，分别用于级联细化和语义指导。实验表明，与以前的方法相比，该方法降低了90％以上的参数，但仍然达到了合成的iHarmony4和现实世界DIH测试集的最先进的性能。此外，我们的方法可以在0.1秒内在更高分辨率图像（例如，2048美元\ times2048 $）上顺利工作，而不是所有现有方法的GPU计算资源。代码将在\ url {http://github.com/stefanleong/s2crnet}中提供。

Object compositing based on 2D images is a challenging problem since it typically involves multiple processing stages such as color harmonization, geometry correction and shadow generation to generate realistic results. Furthermore, annotating training data pairs for compositing requires substantial manual effort from professionals, and is hardly scalable. Thus, with the recent advances in generative models, in this work, we propose a self-supervised framework for object compositing by leveraging the power of conditional diffusion models. Our framework can hollistically address the object compositing task in a unified model, transforming the viewpoint, geometry, color and shadow of the generated object while requiring no manual labeling. To preserve the input object's characteristics, we introduce a content adaptor that helps to maintain categorical semantics and object appearance. A data augmentation method is further adopted to improve the fidelity of the generator. Our method outperforms relevant baselines in both realism and faithfulness of the synthesized result images in a user study on various real-world images.

我们考虑了户外照明估算的挑战性问题，即影像逼真的虚拟对象将其插入照片中的目标。现有在室外照明估计的作品通常将场景照明简化为环境图，该图无法捕获室外场景中的空间变化的照明效果。在这项工作中，我们提出了一种神经方法，该方法可以从单个图像中估算5D HDR光场，以及一个可区分的对象插入公式，该公式可以通过基于图像的损失来端对端训练，从而鼓励现实主义。具体而言，我们设计了针对室外场景量身定制的混合照明表示，其中包含一个HDR Sky Dome，可处理太阳的极端强度，并具有体积的照明表示，该代表模拟了周围场景的空间变化外观。通过估计的照明，我们的阴影感知对象插入是完全可区分的，这使得对复合图像的对抗训练可以为照明预测提供其他监督信号。我们在实验上证明，混合照明表示比现有的室外照明估计方法更具性能。我们进一步显示了AR对象插入在自主驾驶应用程序中的好处，在对我们的增强数据进行培训时，我们可以在其中获得3D对象检测器的性能提高。

从单个图像中删除阴影通常仍然是一个开放的问题。大多数现有的基于学习的方法都使用监督的学习，并需要大量的配对图像（阴影和相应的非阴影图像）进行培训。最近的无监督方法，面具 - 饰面方法解决了这一限制。但是，它需要二进制掩码来表示阴影区域，从而使其不适合柔软的阴影。为了解决这个问题，在本文中，我们提出了一个无监督的域分类器引导删除网络DC-Shadownet。具体而言，我们建议将无阴影/无阴影域分类器集成到发电机及其歧视器中，从而使它们能够专注于阴影区域。为了训练我们的网络，我们引入了基于基于物理的无阴影色彩，阴影的感知特征和边界平滑度的新颖损失。此外，我们表明我们的无监督网络可用于测试时间培训，以进一步改善结果。我们的实验表明，所有这些新型组件允许我们的方法处理柔和的阴影，并且比现有的最新阴影去除方法在定量和定性上都能在硬阴影上表现更好。

本文制定了一个新问题，实例影子检测，旨在检测影子实例和关联的对象实例，这些实例在输入图像中投射每个阴影。为了完成此任务，我们首先编译了一个新的数据集，其中包含掩码，用于影子实例，对象实例和阴影对象关联。然后，我们设计了一个评估度量，以定量评估实例阴影检测的性能。此外，我们设计了一个单阶段检测器，以端到端的方式执行实例阴影检测，其中双向关系学习模块和可变形的maskiou头在检测器中提议直接学习阴影实例与对象实例之间的关系并提高预测口罩的准确性。最后，我们在实例阴影检测的基准数据集上进行定量和定性评估我们的方法，并在光方向估计和照片编辑中显示我们方法的适用性。

建筑摄影是一种摄影类型，重点是捕获前景中带有戏剧性照明的建筑物或结构。受图像到图像翻译方法的成功启发，我们旨在为建筑照片执行风格转移。但是，建筑摄影中的特殊构图对这类照片中的样式转移构成了巨大挑战。现有的神经风格转移方法将建筑图像视为单个实体，它将产生与原始建筑的几何特征，产生不切实际的照明，错误的颜色演绎以及可视化伪影，例如幽灵，外观失真或颜色不匹配。在本文中，我们专门针对建筑摄影的神经风格转移方法。我们的方法解决了两个分支神经网络中建筑照片中前景和背景的组成，该神经网络分别考虑了前景和背景的样式转移。我们的方法包括一个分割模块，基于学习的图像到图像翻译模块和图像混合优化模块。我们使用了一天中不同的魔术时代捕获的不受限制的户外建筑照片的新数据集培训了图像到图像的翻译神经网络，利用其他语义信息，以更好地匹配和几何形状保存。我们的实验表明，我们的方法可以在前景和背景上产生逼真的照明和颜色演绎，并且在定量和定性上都优于一般图像到图像转换和任意样式转移基线。我们的代码和数据可在https://github.com/hkust-vgd/architectural_style_transfer上获得。

先前的协调方法着重于基于输入掩码的图像中调整一个无量子区域。在处理不同语义区域的不同扰动时，他们可能会遇到问题，而没有可用的输入口罩。为了处理一个图像粘贴到来自不同图像的几个前景的问题，需要将它们朝着不同的域方向进行协调，而无需任何掩码作为输入，我们提出了一个新的语义引导的多掩码图像和谐任务。与以前的单掩模图像协调任务不同，每个非火山图像都根据语义分割掩码的方式扰动不同的方法。分别基于$ 150 $和19美元的语义类别构建了两个具有挑战性的基准HSCENE和HLIP。此外，以前的基线专注于回归统一图像的每个像素的确切值。生成的结果在“黑匣子”中，无法编辑。在这项工作中，我们提出了一种新颖的方式来通过预测一系列操作员面具来编辑inharmonious图像。掩模表示应用特定尺寸的亮度，饱和度和颜色的水平和位置。操作员蒙版为用户提供了更大的灵活性，可以进一步编辑图像。广泛的实验验证了基于操作员掩模的网络可以进一步改善那些最新的方法，这些方法在扰动是结构性时直接回归RGB图像。已经在我们的构造基准上进行了实验，以验证我们所提出的基于掩护的框架可以在更复杂的场景中定位和修改inharmonious区域。我们的代码和模型可在https://github.com/xuqianren/semantic-guided-multi-mask-image-harmonization.git上找到。