草图是一种从个人的创造性角度传达视觉场景的媒介。添加颜色基本上增强了草图的总体表征。本文提出了通过利用轮廓绘制数据集来模仿人绘制着色草图的两种方法。我们的第一个方法通过应用k-means颜色聚类辅助的图像处理技术来呈现彩色的轮廓草图。第二种方法使用生成的对抗性网络来开发一个可以从先前未观察到的图像生成彩色草图的模型。我们评估通过定量和定性评估获得的结果。

本文的目标是对面部素描合成（FSS）问题进行全面的研究。然而，由于获得了手绘草图数据集的高成本，因此缺乏完整的基准，用于评估过去十年的FSS算法的开发。因此，我们首先向FSS引入高质量的数据集，名为FS2K，其中包括2,104个图像素描对，跨越三种类型的草图样式，图像背景，照明条件，肤色和面部属性。 FS2K与以前的FSS数据集不同于难度，多样性和可扩展性，因此应促进FSS研究的进展。其次，我们通过调查139种古典方法，包括34个手工特征的面部素描合成方法，37个一般的神经式传输方法，43个深映像到图像翻译方法，以及35个图像 - 素描方法。此外，我们详细说明了现有的19个尖端模型的综合实验。第三，我们为FSS提供了一个简单的基准，名为FSGAN。只有两个直截了当的组件，即面部感知屏蔽和风格矢量扩展，FSGAN将超越所提出的FS2K数据集的所有先前最先进模型的性能，通过大边距。最后，我们在过去几年中汲取的经验教训，并指出了几个未解决的挑战。我们的开源代码可在https://github.com/dengpingfan/fsgan中获得。

Labels to Facade BW to Color Aerial to Map Labels to Street Scene Edges to Photo input output input input input input output output output output input output Day to Night Figure 1: Many problems in image processing, graphics, and vision involve translating an input image into a corresponding output image.These problems are often treated with application-specific algorithms, even though the setting is always the same: map pixels to pixels. Conditional adversarial nets are a general-purpose solution that appears to work well on a wide variety of these problems. Here we show results of the method on several. In each case we use the same architecture and objective, and simply train on different data.

Our result (c) Application: Edit object appearance (b) Application: Change label types (a) Synthesized resultFigure 1: We propose a generative adversarial framework for synthesizing 2048 × 1024 images from semantic label maps (lower left corner in (a)). Compared to previous work [5], our results express more natural textures and details. (b) We can change labels in the original label map to create new scenes, like replacing trees with buildings. (c) Our framework also allows a user to edit the appearance of individual objects in the scene, e.g. changing the color of a car or the texture of a road. Please visit our website for more side-by-side comparisons as well as interactive editing demos.

Cartoons are an important part of our entertainment culture. Though drawing a cartoon is not for everyone, creating it using an arrangement of basic geometric primitives that approximates that character is a fairly frequent technique in art. The key motivation behind this technique is that human bodies - as well as cartoon figures - can be split down into various basic geometric primitives. Numerous tutorials are available that demonstrate how to draw figures using an appropriate arrangement of fundamental shapes, thus assisting us in creating cartoon characters. This technique is very beneficial for children in terms of teaching them how to draw cartoons. In this paper, we develop a tool - shape2toon - that aims to automate this approach by utilizing a generative adversarial network which combines geometric primitives (i.e. circles) and generate a cartoon figure (i.e. Mickey Mouse) depending on the given approximation. For this purpose, we created a dataset of geometrically represented cartoon characters. We apply an image-to-image translation technique on our dataset and report the results in this paper. The experimental results show that our system can generate cartoon characters from input layout of geometric shapes. In addition, we demonstrate a web-based tool as a practical implication of our work.

生成的对抗网络（GANS）已经促进了解决图像到图像转换问题的新方向。不同的GANS在目标函数中使用具有不同损耗的发电机和鉴别器网络。仍然存在差距来填补所生成的图像的质量并靠近地面真理图像。在这项工作中，我们介绍了一个名为循环辨别生成的对抗网络（CDGAN）的新的图像到图像转换网络，填补了上述空白。除了加速本的原始架构之外，所提出的CDGAN通过结合循环图像的附加鉴别器网络来产生高质量和更现实的图像。所提出的CDGAN在三个图像到图像转换数据集上进行测试。分析了定量和定性结果，并与最先进的方法进行了比较。在三个基线图像到图像转换数据集中，所提出的CDGAN方法优于最先进的方法。该代码可在https://github.com/kishankancharagunta/cdgan获得。

从手绘中生成图像是内容创建的至关重要和基本任务。翻译很困难，因为存在无限的可能性，并且不同的用户通常会期望不同的结果。因此，我们提出了一个统一的框架，该框架支持基于扩散模型的草图和笔触对图像合成的三维控制。用户不仅可以确定输入笔画和草图的忠诚程度，而且还可以确定现实程度，因为用户输入通常与真实图像不一致。定性和定量实验表明，我们的框架实现了最新的性能，同时提供了具有控制形状，颜色和现实主义的自定义图像的灵活性。此外，我们的方法释放了应用程序，例如在真实图像上编辑，部分草图和笔触的生成以及多域多模式合成。

渲染程序已经完全改变了设计过程，因为它们可以在制造产品之前查看产品的外观。但是，渲染过程很复杂，并且需要大量时间，不仅在渲染本身，而且在场景的环境中。需要设置材料，灯光和摄像头，以获得最佳质量效果。然而，在第一个渲染中可能无法获得最佳输出。这一切使渲染过程成为一个繁琐的过程。因为Goodfellow等人。 2014年引入了生成对抗网络（GAN）[1]，它们已用于生成计算机分配的合成数据，从不存在的人脸到医学数据分析或图像样式转移。 GAN已被用来将图像纹理从一个域传输到另一个域。但是，需要来自两个域的配对数据。朱等。引入了Cyclegan模型，消除了这种昂贵的约束允许将一个图像从一个域转换为另一个域的，而无需配对数据。这项工作验证了Cyclegans在样式转移从初始草图到2D最终渲染的适用性，该渲染代表3D设计，这是每个产品设计过程中最重要的一步。我们询问将Cyclegans作为设计管道的一部分的可能性，更确切地说是应用于环设计的渲染。我们的贡献需要该过程的关键部分，因为它允许客户在购买前查看最终产品。这项工作为将来的研究树立了基础，展示了gan在设计中的可能性，并为新型应用程序建立了接近工艺设计的起点。

基于图像的艺术渲染可以使用算法图像过滤合成各种表达式。与基于深度学习的方法相反，这些基于启发式的过滤技术可以在高分辨率图像上运行，可以解释，并且可以根据各个设计方面进行参数化。但是，适应或扩展这些技术生产新样式通常是一项乏味且容易出错的任务，需要专家知识。我们提出了一个新的范式来减轻此问题：实现算法图像过滤技术作为可区分的操作，可以学习与某些参考样式一致的参数化。为此，我们提出了明智的，这是一个基于示例的图像处理系统，可以在公共框架内处理多种风格化技术，例如水彩，油或卡通风格。通过训练全局和本地滤波器参数化的参数预测网络，我们可以同时适应参考样式和图像内容，例如增强面部特征。我们的方法可以在样式转移框架中进行优化，也可以在用于图像到图像翻译的生成对流设置中学习。我们证明，共同训练XDOG滤波器和用于后处理的CNN可以与基于GAN的最新方法获得可比的结果。

图像转换是一类视觉和图形问题，其目标是学习输入图像和输出图像之间的映射，在深神网络的背景下迅速发展。在计算机视觉（CV）中，许多问题可以被视为图像转换任务，例如语义分割和样式转移。这些作品具有不同的主题和动机，使图像转换任务蓬勃发展。一些调查仅回顾有关样式转移或图像到图像翻译的研究，所有这些都只是图像转换的一个分支。但是，没有一项调查总结这些调查在我们最佳知识的统一框架中共同起作用。本文提出了一个新颖的学习框架，包括独立学习，指导学习和合作学习，称为IGC学习框架。我们讨论的图像转换主要涉及有关深神经网络的一般图像到图像翻译和样式转移。从这个框架的角度来看，我们回顾了这些子任务，并对各种情况进行统一的解释。我们根据相似的开发趋势对图像转换的相关子任务进行分类。此外，已经进行了实验以验证IGC学习的有效性。最后，讨论了新的研究方向和开放问题，以供将来的研究。

Jamdani is the strikingly patterned textile heritage of Bangladesh. The exclusive geometric motifs woven on the fabric are the most attractive part of this craftsmanship having a remarkable influence on textile and fine art. In this paper, we have developed a technique based on the Generative Adversarial Network that can learn to generate entirely new Jamdani patterns from a collection of Jamdani motifs that we assembled, the newly formed motifs can mimic the appearance of the original designs. Users can input the skeleton of a desired pattern in terms of rough strokes and our system finalizes the input by generating the complete motif which follows the geometric structure of real Jamdani ones. To serve this purpose, we collected and preprocessed a dataset containing a large number of Jamdani motifs images from authentic sources via fieldwork and applied a state-of-the-art method called pix2pix to it. To the best of our knowledge, this dataset is currently the only available dataset of Jamdani motifs in digital format for computer vision research. Our experimental results of the pix2pix model on this dataset show satisfactory outputs of computer-generated images of Jamdani motifs and we believe that our work will open a new avenue for further research.

自动化生成和（用户）逼真的虚拟地形的创作是VR模型和游戏等多媒体应用最受寻求的。地形采用的最常见的代表是数字海拔模型（DEM）。现有地形创作和建模技术已经解决了其中一些并且可以广泛地分类为：程序建模，仿真方法和基于示例的方法。在本文中，我们提出了一种由VAE和生成条件GaN模型组合的新型现实地形创作框架。我们的框架是一种基于示例的方法，该方法通过从真实世界地形数据集学习潜在的空间来克服现有方法的局限性。此潜在空间允许我们从单个输入生成地形的多个变体，以及地形之间的内插，同时保持所生成的地形接近真实数据分布。我们还开发了一个交互式工具，让用户使用最低纲领派的输入生成不同的地形。我们进行彻底的定性和定量分析，并提供与其他SOTA方法的比较。我们打算向学术界发出我们的代码/工具。

Generative adversarial networks (GANs) provide a way to learn deep representations without extensively annotated training data. They achieve this through deriving backpropagation signals through a competitive process involving a pair of networks. The representations that can be learned by GANs may be used in a variety of applications, including image synthesis, semantic image editing, style transfer, image super-resolution and classification. The aim of this review paper is to provide an overview of GANs for the signal processing community, drawing on familiar analogies and concepts where possible. In addition to identifying different methods for training and constructing GANs, we also point to remaining challenges in their theory and application.

在没有人为干预的图像自动色彩上是在机器学习界的兴趣中的一个短暂的时间。分配颜色到图像是一个非常令人虐待的问题，因为它具有非常高的自由度的先天性;给定图像，通常没有单一的颜色组合是正确的。除了着色之外，图像重建中的另一个问题是单图像超分辨率，其旨在将低分辨率图像转换为更高的分辨率。该研究旨在通过专注于图像的非常特定的图像，即天文图像，并使用生成的对抗网络（GAN）来提供自动化方法。我们探索两种不同颜色空间，RGB和L * A *中各种型号的使用。我们使用传输学习，由于小数据集，使用预先训练的Reset-18作为骨干，即U-Net的编码器，进一步微调。该模型产生视觉上有吸引力的图像，其在原始图像中不存在的这些结果中呈现的高分辨率高分辨率，着色数据。我们通过使用所有通道的每个颜色空间中的距离度量（例如L1距离和L2距离）评估GAN来提供我们的结果，以提供比较分析。我们使用Frechet Inception距离（FID）将生成的图像的分布与实际图像的分布进行比较，以评估模型的性能。

随着脑成像技术和机器学习工具的出现，很多努力都致力于构建计算模型来捕获人脑中的视觉信息的编码。最具挑战性的大脑解码任务之一是通过功能磁共振成像（FMRI）测量的脑活动的感知自然图像的精确重建。在这项工作中，我们调查了来自FMRI的自然图像重建的最新学习方法。我们在架构设计，基准数据集和评估指标方面检查这些方法，并在标准化评估指标上呈现公平的性能评估。最后，我们讨论了现有研究的优势和局限，并提出了潜在的未来方向。

We propose semantic region-adaptive normalization (SEAN), a simple but effective building block for Generative Adversarial Networks conditioned on segmentation masks that describe the semantic regions in the desired output image. Using SEAN normalization, we can build a network architecture that can control the style of each semantic region individually, e.g., we can specify one style reference image per region. SEAN is better suited to encode, transfer, and synthesize style than the best previous method in terms of reconstruction quality, variability, and visual quality. We evaluate SEAN on multiple datasets and report better quan-titative metrics (e.g. FID, PSNR) than the current state of the art. SEAN also pushes the frontier of interactive image editing. We can interactively edit images by changing segmentation masks or the style for any given region. We can also interpolate styles from two reference images per region. Code: https://github.com/ZPdesu/SEAN .

生成的对抗网络（GANS）最近引入了执行图像到图像翻译的有效方法。这些模型可以应用于图像到图像到图像转换中的各种域而不改变任何参数。在本文中，我们调查并分析了八个图像到图像生成的对策网络：PIX2PX，Cyclegan，Cogan，Stargan，Munit，Stargan2，Da-Gan，以及自我关注GaN。这些模型中的每一个都呈现了最先进的结果，并引入了构建图像到图像的新技术。除了对模型的调查外，我们还调查了他们接受培训的18个数据集，并在其上进行了评估的9个指标。最后，我们在常见的一组指标和数据集中呈现6种这些模型的受控实验的结果。结果混合并显示，在某些数据集，任务和指标上，某些型号优于其他型号。本文的最后一部分讨论了这些结果并建立了未来研究领域。由于研究人员继续创新新的图像到图像GAN，因此他们非常重要地了解现有方法，数据集和指标。本文提供了全面的概述和讨论，以帮助构建此基础。

在本文中，我们探索了开放式剪影到照片转换，旨在将备用素描与其类标签中的徒手素描合成，即使培训数据中缺少该类的草图。由于缺乏训练监督和写法草图和照片域之间的大几何扭曲，这是挑战性的。要从照片中综合缺少的手绘草图，我们提出了一个框架，共同学习素描到照片和照片到素描生成。然而，由于合成草图和真实的域间隙，从假草图训练的发电机可能导致缺失类的草图时导致不满意的结果。为了缓解这个问题，我们进一步提出了一种简单但有效的开放式采样和优化策略，以“愚弄”将发电机视为真实的草图。我们的方法利用了域名数据的学习素描到照片和照片到草图映射，并将其概括为开放式域类。我们在涂鸦和Sketchycoco数据集上验证我们的方法。与最近的竞争方法相比，我们的方法显示令人印象深刻的成果，在综合逼真的颜色，纹理和维护各类开放式域草图的几何组合物方面。我们的代码可在https://github.com/mukosame/aoda获得

Realistic image manipulation is challenging because it requires modifying the image appearance in a user-controlled way, while preserving the realism of the result. Unless the user has considerable artistic skill, it is easy to "fall off" the manifold of natural images while editing. In this paper, we propose to learn the natural image manifold directly from data using a generative adversarial neural network. We then define a class of image editing operations, and constrain their output to lie on that learned manifold at all times. The model automatically adjusts the output keeping all edits as realistic as possible. All our manipulations are expressed in terms of constrained optimization and are applied in near-real time. We evaluate our algorithm on the task of realistic photo manipulation of shape and color. The presented method can further be used for changing one image to look like the other, as well as generating novel imagery from scratch based on user's scribbles 1 .