基于图像的虚拟试验努力将服装的外观转移到目标人的图像上。先前的工作主要集中在上身衣服（例如T恤，衬衫和上衣）上，并忽略了全身或低身物品。这种缺点来自一个主要因素：用于基于图像的虚拟试验的当前公开可用数据集并不解释此品种，从而限制了该领域的进度。为了解决这种缺陷，我们介绍着着装代码，其中包含多类服装的图像。着装代码比基于图像的虚拟试验的公共可用数据集大于3倍以上，并且具有前视图，全身参考模型的高分辨率配对图像（1024x768）。为了生成具有高视觉质量且细节丰富的高清尝试图像，我们建议学习细粒度的区分功能。具体而言，我们利用一种语义意识歧视器，该歧视器在像素级而不是图像级或贴片级上进行预测。广泛的实验评估表明，所提出的方法在视觉质量和定量结果方面超过了基线和最先进的竞争者。着装码数据集可在https://github.com/aimagelab/dress-code上公开获得。

Image-based virtual try-on techniques have shown great promise for enhancing the user-experience and improving customer satisfaction on fashion-oriented e-commerce platforms. However, existing techniques are currently still limited in the quality of the try-on results they are able to produce from input images of diverse characteristics. In this work, we propose a Context-Driven Virtual Try-On Network (C-VTON) that addresses these limitations and convincingly transfers selected clothing items to the target subjects even under challenging pose configurations and in the presence of self-occlusions. At the core of the C-VTON pipeline are: (i) a geometric matching procedure that efficiently aligns the target clothing with the pose of the person in the input images, and (ii) a powerful image generator that utilizes various types of contextual information when synthesizing the final try-on result. C-VTON is evaluated in rigorous experiments on the VITON and MPV datasets and in comparison to state-of-the-art techniques from the literature. Experimental results show that the proposed approach is able to produce photo-realistic and visually convincing results and significantly improves on the existing state-of-the-art.

基于图像的虚拟试验是以人为中心的现实潜力，是以人为中心的图像生成的最有希望的应用之一。在这项工作中，我们迈出了一步，探索多功能的虚拟尝试解决方案，我们认为这应该具有三个主要属性，即，它们应支持无监督的培训，任意服装类别和可控的服装编辑。为此，我们提出了一个特征性的端到端网络，即用空间自适应的斑点适应性GAN ++（Pasta-gan ++），以实现用于高分辨率不合规的虚拟试验的多功能系统。具体而言，我们的意大利面++由一个创新的贴布贴片的拆卸模块组成，可以将完整的服装切换为归一化贴剂，该贴片能够保留服装样式信息，同时消除服装空间信息，从而减轻在未受监督训练期间过度适应的问题。此外，面食++引入了基于贴片的服装表示和一个贴片引导的解析合成块，使其可以处理任意服装类别并支持本地服装编辑。最后，为了获得具有逼真的纹理细节的尝试结果，面食gan ++结合了一种新型的空间自适应残留模块，以将粗翘曲的服装功能注入发电机。对我们新收集的未配对的虚拟试验（UPT）数据集进行了广泛的实验，证明了面食gan ++比现有SOTA的优越性及其可控服装编辑的能力。

虚拟试验旨在在店内服装和参考人员图像的情况下产生光真实的拟合结果。现有的方法通常建立多阶段框架来分别处理衣服翘曲和身体混合，或严重依赖基于中间解析器的标签，这些标签可能嘈杂甚至不准确。为了解决上述挑战，我们通过开发一种新型的变形注意流（DAFLOF）提出了一个单阶段的尝试框架，该框架将可变形的注意方案应用于多流量估计。仅将姿势关键点作为指导，分别为参考人员和服装图像估计了自我和跨跨性别的注意力流。通过对多个流场进行采样，通过注意机制同时提取并合并了来自不同语义区域的特征级和像素级信息。它使衣服翘曲和身体合成，同时以端到端的方式导致照片真实的结果。在两个尝试数据集上进行的广泛实验表明，我们提出的方法在定性和定量上都能达到最先进的性能。此外，其他两个图像编辑任务上的其他实验说明了我们用于多视图合成和图像动画方法的多功能性。

基于图像的虚拟试验旨在综合一个穿给定服装的人的图像。为了解决任务，现有的方法会经过衣物项目，以适合该人的身体并生成穿着该物品的人的分割图，然后再将物品与人融合。但是，当扭曲和分割生成阶段在没有信息交换的情况下单独运行时，扭曲的衣服和分割图之间的未对准发生了，从而导致最终图像中的工件。信息断开还会导致在身体部位遮住的衣服区域附近过度翘曲，所谓的像素 - 刺式伪像。为了解决这些问题，我们提出了一个新颖的尝试条件发生器，作为两个阶段的统一模块（即扭曲和分割生成阶段）。条件生成器中新提出的特征融合块实现了信息交换，并且条件生成器不会造成任何未对准或像素 - 平方形工件。我们还介绍了歧视者的拒绝，从而滤除了不正确的细分图预测并确保虚拟试验框架的性能。高分辨率数据集上的实验表明，我们的模型成功处理了未对准和遮挡，并显着优于基线。代码可从https://github.com/sangyun884/hr-viton获得。

Previous virtual try-on methods usually focus on aligning a clothing item with a person, limiting their ability to exploit the complex pose, shape and skin color of the person, as well as the overall structure of the clothing, which is vital to photo-realistic virtual try-on. To address this potential weakness, we propose a fill in fabrics (FIFA) model, a self-supervised conditional generative adversarial network based framework comprised of a Fabricator and a unified virtual try-on pipeline with a Segmenter, Warper and Fuser. The Fabricator aims to reconstruct the clothing image when provided with a masked clothing as input, and learns the overall structure of the clothing by filling in fabrics. A virtual try-on pipeline is then trained by transferring the learned representations from the Fabricator to Warper in an effort to warp and refine the target clothing. We also propose to use a multi-scale structural constraint to enforce global context at multiple scales while warping the target clothing to better fit the pose and shape of the person. Extensive experiments demonstrate that our FIFA model achieves state-of-the-art results on the standard VITON dataset for virtual try-on of clothing items, and is shown to be effective at handling complex poses and retaining the texture and embroidery of the clothing.

基于图像的虚拟试图是由于其巨大的真实潜力，以人为本的图像生成最有希望的应用之一。然而，由于大多数预先接近店内服装到目标人物，他们需要对成对的训练数据集进行费力和限制性的结构，严重限制了它们的可扩展性。虽然最近的一些作品试图直接从一个人转移服装，但减轻了收集配对数据集的需要，它们的表现受缺乏配对（监督）信息影响。特别地，衣服的解开样式和空间信息成为一个挑战，通过需要辅助数据或广泛的在线优化程序来解决任何方法，从而仍抑制其可扩展性。实现A \ EMPH {可扩展}虚拟试样系统，可以以无监督的方式在源和目标人物之间传输任意服装，因此我们提出了一种纹理保留的端到端网络，该包装空间 - 适应甘（意大利面），促进了现实世界的未配对虚拟试验。具体而言，要解开每位服装的风格和空间信息，意大利面甘包括一个创新的补丁路由解剖模块，用于成功挡住衣服纹理和形状特性。由源人关键点引导，修补程序路由的解剖学模块首先将衣服脱发到标准化的贴片中，从而消除了衣服的固有空间信息，然后将归一化贴片重建到符合目标人员姿势的翘曲衣服。鉴于翘曲的衣服，Pasta-GaN进一步推出了一种新型空间适应性的残余块，指导发电机合成更现实的服装细节。

Image and video synthesis has become a blooming topic in computer vision and machine learning communities along with the developments of deep generative models, due to its great academic and application value. Many researchers have been devoted to synthesizing high-fidelity human images as one of the most commonly seen object categories in daily lives, where a large number of studies are performed based on various deep generative models, task settings and applications. Thus, it is necessary to give a comprehensive overview on these variant methods on human image generation. In this paper, we divide human image generation techniques into three paradigms, i.e., data-driven methods, knowledge-guided methods and hybrid methods. For each route, the most representative models and the corresponding variants are presented, where the advantages and characteristics of different methods are summarized in terms of model architectures and input/output requirements. Besides, the main public human image datasets and evaluation metrics in the literature are also summarized. Furthermore, due to the wide application potentials, two typical downstream usages of synthesized human images are covered, i.e., data augmentation for person recognition tasks and virtual try-on for fashion customers. Finally, we discuss the challenges and potential directions of human image generation to shed light on future research.

强大的模拟器高度降低了在培训和评估自动车辆时对真实测试的需求。数据驱动的模拟器蓬勃发展，最近有条件生成对冲网络（CGANS）的进步，提供高保真图像。主要挑战是在施加约束之后的同时合成光量造型图像。在这项工作中，我们建议通过重新思考鉴别者架构来提高所生成的图像的质量。重点是在给定对语义输入生成图像的问题类上，例如场景分段图或人体姿势。我们建立成功的CGAN模型，提出了一种新的语义感知鉴别器，更好地指导发电机。我们的目标是学习一个共享的潜在表示，编码足够的信息，共同进行语义分割，内容重建以及粗糙的粒度的对抗性推理。实现的改进是通用的，并且可以应用于任何条件图像合成的任何架构。我们展示了我们在场景，建筑和人类综合任务上的方法，跨越三个不同的数据集。代码可在https://github.com/vita-epfl/semdisc上获得。

基于深度学习的虚拟试用系统最近取得了一些令人鼓舞的进展，但仍然存在需要解决的几个重要挑战，例如尝试所有类型的任意衣服，从一个类别到另一个类别的衣服尝试 - 少数文物的结果。要处理这个问题，我们在本文中首先使用各种类型的衣服，\即顶部，底部和整个衣服收集新的数据集，每个人都有多个类别，具有模式，徽标和其他细节的服装特性丰富的信息。基于此数据集，我们提出了用于全型衣服的任意虚拟试验网络（Avton），这可以通过保存和交易目标衣服和参考人员的特性来综合实际的试验图像。我们的方法包括三个模块：1）四肢预测模块，其用于通过保留参考人物的特性来预测人体部位。这对于处理交叉类别的试验任务（例如长袖\（\ Leftrightarrow \）短袖或长裤（\ Leftrightarrow \）裙子，\等），\等）特别适合，其中暴露的手臂或腿部有皮肤可以合理地预测颜色和细节; 2）改进的几何匹配模块，该模块设计成根据目标人的几何形状的扭曲衣服。通过紧凑的径向功能（Wendland的\（\ PSI \） - 功能），我们改进了基于TPS的翘曲方法; 3）折衷融合模块，即扭转翘曲衣服和参考人员的特点。该模块是基于网络结构的微调对称性来使生成的试验图像看起来更加自然和现实。进行了广泛的模拟，与最先进的虚拟试用方法相比，我们的方法可以实现更好的性能。

最近已经示出了从2D图像中提取隐式3D表示的生成神经辐射场（GNERF）模型，以产生代表刚性物体的现实图像，例如人面或汽车。然而，他们通常难以产生代表非刚性物体的高质量图像，例如人体，这对许多计算机图形应用具有很大的兴趣。本文提出了一种用于人类图像综合的3D感知语义导向生成模型（3D-SAGGA），其集成了GNERF和纹理发生器。前者学习人体的隐式3D表示，并输出一组2D语义分段掩模。后者将这些语义面部掩模转化为真实的图像，为人类的外观添加了逼真的纹理。如果不需要额外的3D信息，我们的模型可以使用照片现实可控生成学习3D人类表示。我们在Deepfashion DataSet上的实验表明，3D-SAGGAN显着优于最近的基线。

Image Virtual try-on aims at replacing the cloth on a personal image with a garment image (in-shop clothes), which has attracted increasing attention from the multimedia and computer vision communities. Prior methods successfully preserve the character of clothing images, however, occlusion remains a pernicious effect for realistic virtual try-on. In this work, we first present a comprehensive analysis of the occlusions and categorize them into two aspects: i) Inherent-Occlusion: the ghost of the former cloth still exists in the try-on image; ii) Acquired-Occlusion: the target cloth warps to the unreasonable body part. Based on the in-depth analysis, we find that the occlusions can be simulated by a novel semantically-guided mixup module, which can generate semantic-specific occluded images that work together with the try-on images to facilitate training a de-occlusion try-on (DOC-VTON) framework. Specifically, DOC-VTON first conducts a sharpened semantic parsing on the try-on person. Aided by semantics guidance and pose prior, various complexities of texture are selectively blending with human parts in a copy-and-paste manner. Then, the Generative Module (GM) is utilized to take charge of synthesizing the final try-on image and learning to de-occlusion jointly. In comparison to the state-of-the-art methods, DOC-VTON achieves better perceptual quality by reducing occlusion effects.

可控的人图像合成任务可以通过对身体姿势和外观的明确控制来实现广泛的应用。在本文中，我们提出了一个基于跨注意的样式分布模块，该模块在源语义样式和目标姿势转移的目标姿势之间计算。该模块故意选择每个语义表示的样式，并根据目标姿势分配它们。交叉注意的注意力矩阵表达了目标姿势与所有语义的源样式之间的动态相似性。因此，可以利用它来从源图像路由颜色和纹理，并受到目标解析图的进一步限制，以实现更清晰的目标。同时，为了准确编码源外观，还添加了不同语义样式之间的自我注意力。我们的模型的有效性在姿势转移和虚拟的尝试任务上进行了定量和质量验证。

\ textit {virtual try-on}（vton）的想法通过为用户提供在舒适的家中尝试服装的便利，从而使电子零售受益。总的来说，当一个人与手臂折叠的人（即弯曲或交叉）想要尝试服装时，大多数现有的VTON方法会产生不一致的结果。在长袖服装的情况下，问题变得严重。当时，对于交叉的臂姿势，可能会发生不同的衣服零件之间的重叠。现有的方法，尤其是采用\ textit {薄板样条（TPS）}的基于扭曲的方法}转换无法解决此类情况。为此，我们尝试了一种解决方案方法，将源头的衣服分为语义上有意义的部分，每个部分都独立扭曲为人的形状。为了解决弯曲问题，我们采用了与人体几何形状一致的手工制作的几何特征来扭曲源装备。此外，我们提出了两个基于学习的模块：合成器网络和一个掩码预测网络。所有这些共同尝试生成光合逼真的，姿势射击的VTON解决方案，而无需任何配对的训练数据。与某些基准方法的比较清楚地确定了该方法的有效性。

发型转移是将源发型修改为目标的任务。尽管最近的发型转移模型可以反映发型的精致特征，但它们仍然有两个主要局限性。首先，当源和目标图像具有不同的姿势（例如，查看方向或面部尺寸）时，现有方法无法转移发型，这在现实世界中很普遍。同样，当源图像中有非平凡的区域被其原始头发遮住时，先前的模型会产生不切实际的图像。当将长发修改为短发时，肩膀或背景被长发遮住了。为了解决这些问题，我们为姿势不变的发型转移，发型提出了一个新颖的框架。我们的模型包括两个阶段：1）基于流动的头发对齐和2）头发合成。在头发对齐阶段，我们利用基于关键点的光流估计器将目标发型与源姿势对齐。然后，我们基于语义区域感知的嵌入面膜（SIM）估计器在头发合成阶段生成最终的发型转移图像。我们的SIM估计器将源图像中的封闭区域划分为不同的语义区域，以反映其在涂料过程中的独特特征。为了证明我们的模型的有效性，我们使用多视图数据集（K-Hairstyle和Voxceleb）进行定量和定性评估。结果表明，发型通过在不同姿势的图像之间成功地转移发型来实现最先进的表现，而这是以前从未实现的。

The vision community has explored numerous pose guided human editing methods due to their extensive practical applications. Most of these methods still use an image-to-image formulation in which a single image is given as input to produce an edited image as output. However, the problem is ill-defined in cases when the target pose is significantly different from the input pose. Existing methods then resort to in-painting or style transfer to handle occlusions and preserve content. In this paper, we explore the utilization of multiple views to minimize the issue of missing information and generate an accurate representation of the underlying human model. To fuse the knowledge from multiple viewpoints, we design a selector network that takes the pose keypoints and texture from images and generates an interpretable per-pixel selection map. After that, the encodings from a separate network (trained on a single image human reposing task) are merged in the latent space. This enables us to generate accurate, precise, and visually coherent images for different editing tasks. We show the application of our network on 2 newly proposed tasks - Multi-view human reposing, and Mix-and-match human image generation. Additionally, we study the limitations of single-view editing and scenarios in which multi-view provides a much better alternative.

人物图像的旨在在源图像上执行非刚性变形，这通常需要未对准数据对进行培训。最近，自我监督的方法通过合并自我重建的解除印章表达来表达这项任务的巨大前景。然而，这些方法未能利用解除戒断功能之间的空间相关性。在本文中，我们提出了一种自我监督的相关挖掘网络（SCM-NET）来重新排列特征空间中的源图像，其中两种协作模块是集成的，分解的样式编码器（DSE）和相关挖掘模块（CMM）。具体地，DSE首先在特征级别创建未对齐的对。然后，CMM建立用于特征重新排列的空间相关领域。最终，翻译模块将重新排列的功能转换为逼真的结果。同时，为了提高跨尺度姿态变换的保真度，我们提出了一种基于曲线图的体结构保持损失（BSR损耗），以保持半体上的合理的身体结构到全身。与Deepfashion DataSet进行的广泛实验表明了与其他监督和无监督和无监督的方法相比的方法的优势。此外，对面部的令人满意的结果显示了我们在其他变形任务中的方法的多功能性。

提供和渲染室内场景一直是室内设计的一项长期任务，艺术家为空间创建概念设计，建立3D模型的空间，装饰，然后执行渲染。尽管任务很重要，但它很乏味，需要巨大的努力。在本文中，我们引入了一个特定领域的室内场景图像合成的新问题，即神经场景装饰。鉴于一张空的室内空间的照片以及用户确定的布局列表，我们旨在合成具有所需的家具和装饰的相同空间的新图像。神经场景装饰可用于以简单而有效的方式创建概念室内设计。我们解决这个研究问题的尝试是一种新颖的场景生成体系结构，它将空的场景和对象布局转化为现实的场景照片。我们通过将其与有条件图像合成基线进行比较，以定性和定量的方式将其进行比较，证明了我们提出的方法的性能。我们进行广泛的实验，以进一步验证我们生成的场景的合理性和美学。我们的实现可在\ url {https://github.com/hkust-vgd/neural_scene_decoration}获得。

我们呈现SeveryGan，一种能够从单个输入示例自动生成砖纹理映射的方法。与大多数现有方法相比，专注于解决合成问题，我们的工作同时解决问题，合成和涤纶性。我们的关键思想是认识到，通过越野落扩展技术训练的生成网络内的潜伏空间产生具有在接缝交叉点的连续性的输出，然后可以通过裁剪中心区域进入彩色图像。由于不是潜在空间的每个值都有有效的来产生高质量的输出，因此我们利用鉴别者作为能够在采样过程中识别无伪纹理的感知误差度量。此外，与之前的深度纹理合成的工作相比，我们的模型设计和优化，以便使用多层纹理表示，使由多个地图组成的纹理，例如Albedo，法线等。我们广泛地测试网络的设计选择架构，丢失功能和采样参数。我们在定性和定量上展示我们的方法优于以前的方法和适用于不同类型的纹理。

本文的目标是对面部素描合成（FSS）问题进行全面的研究。然而，由于获得了手绘草图数据集的高成本，因此缺乏完整的基准，用于评估过去十年的FSS算法的开发。因此，我们首先向FSS引入高质量的数据集，名为FS2K，其中包括2,104个图像素描对，跨越三种类型的草图样式，图像背景，照明条件，肤色和面部属性。 FS2K与以前的FSS数据集不同于难度，多样性和可扩展性，因此应促进FSS研究的进展。其次，我们通过调查139种古典方法，包括34个手工特征的面部素描合成方法，37个一般的神经式传输方法，43个深映像到图像翻译方法，以及35个图像 - 素描方法。此外，我们详细说明了现有的19个尖端模型的综合实验。第三，我们为FSS提供了一个简单的基准，名为FSGAN。只有两个直截了当的组件，即面部感知屏蔽和风格矢量扩展，FSGAN将超越所提出的FS2K数据集的所有先前最先进模型的性能，通过大边距。最后，我们在过去几年中汲取的经验教训，并指出了几个未解决的挑战。我们的开源代码可在https://github.com/dengpingfan/fsgan中获得。