提供和渲染室内场景一直是室内设计的一项长期任务，艺术家为空间创建概念设计，建立3D模型的空间，装饰，然后执行渲染。尽管任务很重要，但它很乏味，需要巨大的努力。在本文中，我们引入了一个特定领域的室内场景图像合成的新问题，即神经场景装饰。鉴于一张空的室内空间的照片以及用户确定的布局列表，我们旨在合成具有所需的家具和装饰的相同空间的新图像。神经场景装饰可用于以简单而有效的方式创建概念室内设计。我们解决这个研究问题的尝试是一种新颖的场景生成体系结构，它将空的场景和对象布局转化为现实的场景照片。我们通过将其与有条件图像合成基线进行比较，以定性和定量的方式将其进行比较，证明了我们提出的方法的性能。我们进行广泛的实验，以进一步验证我们生成的场景的合理性和美学。我们的实现可在\ url {https://github.com/hkust-vgd/neural_scene_decoration}获得。

布局设计在许多应用中无处不在，例如建筑/城市规划等，涉及漫长的迭代设计过程。最近，深度学习已被利用以通过图像生成自动生成布局，从而表明了使设计师摆脱艰辛的常规的巨大潜力。尽管自动生成可以极大地提高生产率，但设计师的投入无疑至关重要。理想的AI辅助设计工具应自动化重复的例程，同时接受人类的指导并提供智能/主动的建议。但是，在主要是端到端方法的现有方法中，将使人类参与循环的能力在很大程度上被忽略了。为此，我们提出了一种新的人类生成模型Iplan，它能够自动生成布局，但在整个过程中也与设计师进行交互，使人类和AI能够逐渐协调一个粗略的想法进入最终设计。在不同的数据集上对IPLAN进行了评估，并将其与现有方法进行了比较。结果表明，IPLAN在制作与人类设计师的相似布局方面具有高忠诚，在接受设计师的投入和相应地提供设计建议方面具有极大的灵活性，并且在面对看不见的设计任务和有限的培训数据时，具有强大的概括性。

我们提出了一种用于自动驾驶应用的图像增强的组成方法。它是一个端到端的神经网络，被训练，以便无缝地构成作为从物体图像的裁剪补片所代表的物体（例如，车辆或行人）进入背景场景图像。由于我们的方法强调了组合图像的语义和结构一致性，而不是它们的像素级RGB精度，我们通过结构感知功能来定制我们网络的输入和输出，相应地设计了我们的网络损耗。具体而言，我们的网络从输入场景图像中获取语义布局特征，从输入对象补丁中的边缘和剪影编码的功能，以及潜像作为输入的潜在代码，并生成定义平移和缩放的2D空间仿射变换对象补丁。学习的参数进一步进入可分扩展的空间变压器网络，以将对象补丁转换为目标图像，其中我们的模型通过仿射变换鉴别器和布局鉴别器对其进行对面的培训。我们评估我们的网络，为结构感知组成，在质量，可组合性和复合图像的概念方面，在突出的自动驾驶数据集上。对最先进的替代品进行比较，确认我们的方法的优越性。

Existing 3D-aware image synthesis approaches mainly focus on generating a single canonical object and show limited capacity in composing a complex scene containing a variety of objects. This work presents DisCoScene: a 3Daware generative model for high-quality and controllable scene synthesis. The key ingredient of our method is a very abstract object-level representation (i.e., 3D bounding boxes without semantic annotation) as the scene layout prior, which is simple to obtain, general to describe various scene contents, and yet informative to disentangle objects and background. Moreover, it serves as an intuitive user control for scene editing. Based on such a prior, the proposed model spatially disentangles the whole scene into object-centric generative radiance fields by learning on only 2D images with the global-local discrimination. Our model obtains the generation fidelity and editing flexibility of individual objects while being able to efficiently compose objects and the background into a complete scene. We demonstrate state-of-the-art performance on many scene datasets, including the challenging Waymo outdoor dataset. Project page: https://snap-research.github.io/discoscene/

我们为场景的生成模型提出了一个无监督的中级表示。该表示是中等水平的，因为它既不是人均也不是每图像。相反，场景被建模为一系列空间，深度订购的特征“斑点”。斑点分化在特征网格上，该特征网格被生成对抗网络解码为图像。由于斑点的空间均匀性和卷积固有的局部性，我们的网络学会了将不同的斑点与场景中的不同实体相关联，并安排这些斑点以捕获场景布局。我们通过证明，尽管没有任何监督训练，但我们的方法启用了诸如场景中的物体（例如，移动，卸下和修复家具），创建可行场景（例如，可靠的，Plaausible（例如，可靠），我们的方法可以轻松地操纵对象（例如，可行的情况）来证明这种紧急行为。带抽屉在特定位置的房间），将现实世界图像解析为组成部分。在充满挑战的室内场景的多类数据集上，Blobgan在FID测量的图像质量中优于图像质量。有关视频结果和交互式演示，请参见我们的项目页面：https：//www.dave.ml/blobgan

语义图像编辑利用本地语义标签图来生成所需的内容。最近的工作借用了Spade Block来实现语义图像编辑。但是，由于编辑区域和周围像素之间的样式差异，它无法产生令人愉悦的结果。我们将其归因于以下事实：Spade仅使用与图像无关的局部语义布局，但忽略了已知像素中包含的图像特定样式。为了解决此问题，我们提出了一个样式保存的调制（SPM），其中包括两个调制过程：第一个调制包含上下文样式和语义布局，然后生成两个融合的调制参数。第二次调制采用融合参数来调制特征图。通过使用这两种调制，SPM可以在保留特定图像的上下文样式的同时注入给定的语义布局。此外，我们设计了一种渐进式体系结构，以粗到精细的方式生成编辑的内容。提出的方法可以获得上下文一致的结果，并显着减轻生成区域和已知像素之间的不愉快边界。

尽管近年来图像合成中生成对抗网络（GAN）的发展迅速，但现有的图像合成方法在几何域或外观域中起作用，通常会引入各种合成伪像。本文提出了创新的层次组合物gan（HIC-GAN），该组合物将图像合成在几何和外观域中融合到端到端可训练的网络中，并同时在两个域中实现了卓越的合成现实主义。我们设计了一种创新的分层组成机制，该机制能够学习逼真的组成几何和处理遮挡，而图像组成涉及多个前景对象。此外，我们引入了一种新颖的注意力面罩机制，该机制指导着适应前景对象的外观，这也有助于为几何域中的学习提供更好的训练参考。场景文本图像合成，肖像编辑和室内渲染任务的广泛实验表明，所提出的HIC-GAN在定性和定量上实现了优越的合成性能。

强大的模拟器高度降低了在培训和评估自动车辆时对真实测试的需求。数据驱动的模拟器蓬勃发展，最近有条件生成对冲网络（CGANS）的进步，提供高保真图像。主要挑战是在施加约束之后的同时合成光量造型图像。在这项工作中，我们建议通过重新思考鉴别者架构来提高所生成的图像的质量。重点是在给定对语义输入生成图像的问题类上，例如场景分段图或人体姿势。我们建立成功的CGAN模型，提出了一种新的语义感知鉴别器，更好地指导发电机。我们的目标是学习一个共享的潜在表示，编码足够的信息，共同进行语义分割，内容重建以及粗糙的粒度的对抗性推理。实现的改进是通用的，并且可以应用于任何条件图像合成的任何架构。我们展示了我们在场景，建筑和人类综合任务上的方法，跨越三个不同的数据集。代码可在https://github.com/vita-epfl/semdisc上获得。

生成的对抗网络（GANS）已经实现了图像生成的照片逼真品质。但是，如何最好地控制图像内容仍然是一个开放的挑战。我们介绍了莱特基照片，这是一个两级GaN，它在古典GAN目标上训练了训练，在一组空间关键点上有内部调节。这些关键点具有相关的外观嵌入，分别控制生成对象的位置和样式及其部件。我们使用合适的网络架构和培训方案地址的一个主要困难在没有领域知识和监督信号的情况下将图像解开到空间和外观因素中。我们展示了莱特基点提供可解释的潜在空间，可用于通过重新定位和交换Keypoint Embedding来重新安排生成的图像，例如通过组合来自不同图像的眼睛，鼻子和嘴巴来产生肖像。此外，关键点和匹配图像的显式生成启用了一种用于无监督的关键点检测的新的GaN的方法。

We propose semantic region-adaptive normalization (SEAN), a simple but effective building block for Generative Adversarial Networks conditioned on segmentation masks that describe the semantic regions in the desired output image. Using SEAN normalization, we can build a network architecture that can control the style of each semantic region individually, e.g., we can specify one style reference image per region. SEAN is better suited to encode, transfer, and synthesize style than the best previous method in terms of reconstruction quality, variability, and visual quality. We evaluate SEAN on multiple datasets and report better quan-titative metrics (e.g. FID, PSNR) than the current state of the art. SEAN also pushes the frontier of interactive image editing. We can interactively edit images by changing segmentation masks or the style for any given region. We can also interpolate styles from two reference images per region. Code: https://github.com/ZPdesu/SEAN .

作为一个常见的图像编辑操作，图像组成旨在将前景从一个图像切割并粘贴在另一个图像上，从而产生复合图像。但是，有许多问题可能使复合图像不现实。这些问题可以总结为前景和背景之间的不一致，包括外观不一致（例如，不兼容的照明），几何不一致（例如不合理的大小）和语义不一致（例如，不匹配的语义上下文）。先前的作品将图像组成任务分为多个子任务，其中每个子任务在一个或多个问题上目标。具体而言，对象放置旨在为前景找到合理的比例，位置和形状。图像混合旨在解决前景和背景之间的不自然边界。图像协调旨在调整前景的照明统计数据。影子生成旨在为前景产生合理的阴影。通过将所有上述努力放在一起，我们可以获取现实的复合图像。据我们所知，以前没有关于图像组成的调查。在本文中，我们对图像组成的子任务进行了全面的调查。对于每个子任务，我们总结了传统方法，基于深度学习的方法，数据集和评估。我们还指出了每个子任务中现有方法的局限性以及整个图像组成任务的问题。图像组合的数据集和代码在https://github.com/bcmi/awesome-image-composition上进行了总结。

Our result (c) Application: Edit object appearance (b) Application: Change label types (a) Synthesized resultFigure 1: We propose a generative adversarial framework for synthesizing 2048 × 1024 images from semantic label maps (lower left corner in (a)). Compared to previous work [5], our results express more natural textures and details. (b) We can change labels in the original label map to create new scenes, like replacing trees with buildings. (c) Our framework also allows a user to edit the appearance of individual objects in the scene, e.g. changing the color of a car or the texture of a road. Please visit our website for more side-by-side comparisons as well as interactive editing demos.

我们介绍了GANFormer2模型，这是一个迭代对象的变压器，探讨了生成建模的任务。该网络包含强大明显的结构前导者，以反映视觉场景的组成性质，并通过连续过程合成图像。它以两个阶段运行：快速轻薄的规划阶段，在其中我们起草高级场景布局，然后采用基于关注的执行阶段，其中布局正在改进，进化为丰富和详细的图片。我们的模型远离传统的黑盒GAN架构，该架构具有平坦和单片潜在的空间，朝向透明设计，鼓励效率，可控性和可解释性。我们通过仔细评估在一系列数据集中仔细评估来展示Ganformer2的优势和素质，从多对象CLEVR场景到挑战的Coco图像，显示它在视觉质量，多样性和一致性方面成功实现了最先进的性能。进一步的实验表明了模型的解剖学，并提供了更深入的洞察力进入其生成过程，因为它从粗略的初始草图逐步进行，详细的布局，用于考虑对象的深度和依赖项，最终达到最终的布局决心描绘充满活力和复杂的现实世界场景。有关模型实现，请参阅https://github.com/dorarad/gansformer。

将带家具的房间图像转换为背景的任务 - 仅是非常具有挑战性，因为它需要在仍然保持整体布局和风格的同时进行大量变化。为了获得照片 - 现实和结构一致的背景，现有的深度学习方法使用图像修复方法或将场景布局的学习作为个人任务，以后在不完全可分辨率的语义区域自适应归一代化模块中利用它。为了解决这些缺点，我们将场景布局生成视为特征线性变换问题，并提出了一个简单但有效的调整后的完全可分辨率的软语义区域 - 自适应归一化模块（SoftSean）块。我们展示了现实和深度估计任务的缩短和深度估计任务中的适用性，在那里我们的方法除了减轻培训复杂性和不可差异性问题的优点，超越了定量和定性的比较方法。我们的SoftSean块可用作现有辨别和生成模型的液位模块。在vcl3d.github.io/panodr/上提供实现。

Automated synthesis of histology images has several potential applications in computational pathology. However, no existing method can generate realistic tissue images with a bespoke cellular layout or user-defined histology parameters. In this work, we propose a novel framework called SynCLay (Synthesis from Cellular Layouts) that can construct realistic and high-quality histology images from user-defined cellular layouts along with annotated cellular boundaries. Tissue image generation based on bespoke cellular layouts through the proposed framework allows users to generate different histological patterns from arbitrary topological arrangement of different types of cells. SynCLay generated synthetic images can be helpful in studying the role of different types of cells present in the tumor microenvironmet. Additionally, they can assist in balancing the distribution of cellular counts in tissue images for designing accurate cellular composition predictors by minimizing the effects of data imbalance. We train SynCLay in an adversarial manner and integrate a nuclear segmentation and classification model in its training to refine nuclear structures and generate nuclear masks in conjunction with synthetic images. During inference, we combine the model with another parametric model for generating colon images and associated cellular counts as annotations given the grade of differentiation and cell densities of different cells. We assess the generated images quantitatively and report on feedback from trained pathologists who assigned realism scores to a set of images generated by the framework. The average realism score across all pathologists for synthetic images was as high as that for the real images. We also show that augmenting limited real data with the synthetic data generated by our framework can significantly boost prediction performance of the cellular composition prediction task.

本文的目标是对面部素描合成（FSS）问题进行全面的研究。然而，由于获得了手绘草图数据集的高成本，因此缺乏完整的基准，用于评估过去十年的FSS算法的开发。因此，我们首先向FSS引入高质量的数据集，名为FS2K，其中包括2,104个图像素描对，跨越三种类型的草图样式，图像背景，照明条件，肤色和面部属性。 FS2K与以前的FSS数据集不同于难度，多样性和可扩展性，因此应促进FSS研究的进展。其次，我们通过调查139种古典方法，包括34个手工特征的面部素描合成方法，37个一般的神经式传输方法，43个深映像到图像翻译方法，以及35个图像 - 素描方法。此外，我们详细说明了现有的19个尖端模型的综合实验。第三，我们为FSS提供了一个简单的基准，名为FSGAN。只有两个直截了当的组件，即面部感知屏蔽和风格矢量扩展，FSGAN将超越所提出的FS2K数据集的所有先前最先进模型的性能，通过大边距。最后，我们在过去几年中汲取的经验教训，并指出了几个未解决的挑战。我们的开源代码可在https://github.com/dengpingfan/fsgan中获得。

To truly understand the visual world our models should be able not only to recognize images but also generate them. To this end, there has been exciting recent progress on generating images from natural language descriptions. These methods give stunning results on limited domains such as descriptions of birds or flowers, but struggle to faithfully reproduce complex sentences with many objects and relationships. To overcome this limitation we propose a method for generating images from scene graphs, enabling explicitly reasoning about objects and their relationships. Our model uses graph convolution to process input graphs, computes a scene layout by predicting bounding boxes and segmentation masks for objects, and converts the layout to an image with a cascaded refinement network. The network is trained adversarially against a pair of discriminators to ensure realistic outputs. We validate our approach on Visual Genome and COCO-Stuff, where qualitative results, ablations, and user studies demonstrate our method's ability to generate complex images with multiple objects.

我们呈现SeveryGan，一种能够从单个输入示例自动生成砖纹理映射的方法。与大多数现有方法相比，专注于解决合成问题，我们的工作同时解决问题，合成和涤纶性。我们的关键思想是认识到，通过越野落扩展技术训练的生成网络内的潜伏空间产生具有在接缝交叉点的连续性的输出，然后可以通过裁剪中心区域进入彩色图像。由于不是潜在空间的每个值都有有效的来产生高质量的输出，因此我们利用鉴别者作为能够在采样过程中识别无伪纹理的感知误差度量。此外，与之前的深度纹理合成的工作相比，我们的模型设计和优化，以便使用多层纹理表示，使由多个地图组成的纹理，例如Albedo，法线等。我们广泛地测试网络的设计选择架构，丢失功能和采样参数。我们在定性和定量上展示我们的方法优于以前的方法和适用于不同类型的纹理。

基于图像的艺术渲染可以使用算法图像过滤合成各种表达式。与基于深度学习的方法相反，这些基于启发式的过滤技术可以在高分辨率图像上运行，可以解释，并且可以根据各个设计方面进行参数化。但是，适应或扩展这些技术生产新样式通常是一项乏味且容易出错的任务，需要专家知识。我们提出了一个新的范式来减轻此问题：实现算法图像过滤技术作为可区分的操作，可以学习与某些参考样式一致的参数化。为此，我们提出了明智的，这是一个基于示例的图像处理系统，可以在公共框架内处理多种风格化技术，例如水彩，油或卡通风格。通过训练全局和本地滤波器参数化的参数预测网络，我们可以同时适应参考样式和图像内容，例如增强面部特征。我们的方法可以在样式转移框架中进行优化，也可以在用于图像到图像翻译的生成对流设置中学习。我们证明，共同训练XDOG滤波器和用于后处理的CNN可以与基于GAN的最新方法获得可比的结果。