任意样式转移生成了艺术图像，该图像仅使用一个训练有素的网络结合了内容图像的结构和艺术风格的结合。此方法中使用的图像表示包含内容结构表示和样式模式表示形式，这通常是预训练的分类网络中高级表示的特征表示。但是，传统的分类网络是为分类而设计的，该分类通常集中在高级功能上并忽略其他功能。结果，风格化的图像在整个图像中均匀地分布了样式元素，并使整体图像结构无法识别。为了解决这个问题，我们通过结合全球和局部损失，引入了一种新型的任意风格转移方法，并通过结构增强。局部结构细节由LapStyle表示，全局结构由图像深度控制。实验结果表明，与其他最新方法相比，我们的方法可以在几个常见数据集中生成具有令人印象深刻的视觉效果的更高质量图像。

STYLE TRANSED引起了大量的关注，因为它可以在保留图像结构的同时将给定图像更改为一个壮观的艺术风格。然而，常规方法容易丢失图像细节，并且在风格转移期间倾向于产生令人不快的伪影。在本文中，为了解决这些问题，提出了一种具有目标特征调色板的新颖艺术程式化方法，可以准确地传递关键特征。具体而言，我们的方法包含两个模块，即特征调色板组成（FPC）和注意着色（AC）模块。 FPC模块基于K-means群集捕获代表特征，并生成特征目标调色板。以下AC模块计算内容和样式图像之间的注意力映射，并根据注意力映射和目标调色板传输颜色和模式。这些模块使提出的程式化能够专注于关键功能并生成合理的传输图像。因此，所提出的方法的贡献是提出一种新的深度学习的样式转移方法和当前目标特征调色板和注意着色模块，并通过详尽的消融研究提供对所提出的方法的深入分析和洞察。定性和定量结果表明，我们的程式化图像具有最先进的性能，具有保护核心结构和内容图像的细节。

Gatys et al. recently introduced a neural algorithm that renders a content image in the style of another image, achieving so-called style transfer. However, their framework requires a slow iterative optimization process, which limits its practical application. Fast approximations with feed-forward neural networks have been proposed to speed up neural style transfer. Unfortunately, the speed improvement comes at a cost: the network is usually tied to a fixed set of styles and cannot adapt to arbitrary new styles. In this paper, we present a simple yet effective approach that for the first time enables arbitrary style transfer in real-time. At the heart of our method is a novel adaptive instance normalization (AdaIN) layer that aligns the mean and variance of the content features with those of the style features. Our method achieves speed comparable to the fastest existing approach, without the restriction to a pre-defined set of styles. In addition, our approach allows flexible user controls such as content-style trade-off, style interpolation, color & spatial controls, all using a single feed-forward neural network.

神经风格转移（NST）与视觉媒体的艺术风格有关。它可以描述为将艺术图像风格转移到普通照片上的过程。最近，许多研究考虑了NST算法的深度保护功能的增强，以解决当输入内容图像包含许多深度的众多对象时发生的不希望的效果。我们的方法使用了一个深层残留卷积网络，并使用实例归一化层，该层利用高级深度预测网络将深度保存作为内容和样式的附加损失函数集成。我们展示了有效保留内容图像的深度和全局结构的结果。三个不同的评估过程表明，我们的系统能够保留风格化结果的结构，同时表现出样式捕捉功能和美学质量，或与最先进的方法相当或优越。项目页面：https：//ioannoue.github.io/depth-aware-nst-using-in.html。

最近的研究表明，通用风格转移的成功取得了巨大的成功，将任意视觉样式转移到内容图像中。但是，现有的方法遭受了审美的非现实主义问题，该问题引入了不和谐的模式和明显的人工制品，从而使结果很容易从真实的绘画中发现。为了解决这一限制，我们提出了一种新颖的美学增强风格转移方法，可以在美学上为任意风格产生更现实和令人愉悦的结果。具体而言，我们的方法引入了一种审美歧视者，以从大量的艺术家创造的绘画中学习通用的人类自愿美学特征。然后，合并了美学特征，以通过新颖的美学感知样式（AESSA）模块来增强样式转移过程。这样的AESSA模块使我们的Aesust能够根据样式图像的全局美学通道分布和内容图像的局部语义空间分布有效而灵活地集成样式模式。此外，我们还开发了一种新的两阶段转移培训策略，并通过两种审美正规化来更有效地训练我们的模型，从而进一步改善风格化的性能。广泛的实验和用户研究表明，我们的方法比艺术的状态综合了美学上更加和谐和现实的结果，从而大大缩小了真正的艺术家创造的绘画的差异。我们的代码可在https://github.com/endywon/aesust上找到。

最新的馈送前向神经方法的任意图像样式转移主要使用的编码特征映射到其二阶统计数据，即线性转换内容图像的编码特征映射，以具有相同的均值和方差（或协方差）（或协方差）功能图。在这项工作中，我们将二阶统计特征匹配扩展到一般分布匹配，以理解图像的样式由接收场的响应分布表示表示。对于此概括，首先，我们提出了一个新的特征转换层，该层与内容图像的特征映射分布完全匹配到目标样式图像的特征图层。其次，我们分析了与我们的新功能变换层一致的最新样式损失，以训练一个解码器网络，该网络生成了从变换的功能映射传输图像的样式。根据我们的实验结果，证明使用我们的方法获得的风格化图像与所有现有样式测量中的目标样式图像更相似，而不会丢失内容清晰度。

In recent years, arbitrary image style transfer has attracted more and more attention. Given a pair of content and style images, a stylized one is hoped that retains the content from the former while catching style patterns from the latter. However, it is difficult to simultaneously keep well the trade-off between the content details and the style features. To stylize the image with sufficient style patterns, the content details may be damaged and sometimes the objects of images can not be distinguished clearly. For this reason, we present a new transformer-based method named STT for image style transfer and an edge loss which can enhance the content details apparently to avoid generating blurred results for excessive rendering on style features. Qualitative and quantitative experiments demonstrate that STT achieves comparable performance to state-of-the-art image style transfer methods while alleviating the content leak problem.

Photo-realistic style transfer aims at migrating the artistic style from an exemplar style image to a content image, producing a result image without spatial distortions or unrealistic artifacts. Impressive results have been achieved by recent deep models. However, deep neural network based methods are too expensive to run in real-time. Meanwhile, bilateral grid based methods are much faster but still contain artifacts like overexposure. In this work, we propose the \textbf{Adaptive ColorMLP (AdaCM)}, an effective and efficient framework for universal photo-realistic style transfer. First, we find the complex non-linear color mapping between input and target domain can be efficiently modeled by a small multi-layer perceptron (ColorMLP) model. Then, in \textbf{AdaCM}, we adopt a CNN encoder to adaptively predict all parameters for the ColorMLP conditioned on each input content and style image pair. Experimental results demonstrate that AdaCM can generate vivid and high-quality stylization results. Meanwhile, our AdaCM is ultrafast and can process a 4K resolution image in 6ms on one V100 GPU.

现有的神经样式传输方法需要参考样式图像来将样式图像的纹理信息传输到内容图像。然而，在许多实际情况中，用户可能没有参考样式图像，但仍然有兴趣通过想象它们来传输样式。为了处理此类应用程序，我们提出了一个新的框架，它可以实现样式转移`没有'风格图像，但仅使用所需风格的文本描述。使用预先训练的文本图像嵌入模型的剪辑，我们仅通过单个文本条件展示了内容图像样式的调制。具体而言，我们提出了一种针对现实纹理传输的多视图增强的修补程序文本图像匹配丢失。广泛的实验结果证实了具有反映语义查询文本的现实纹理的成功图像风格转移。

Arbitrary Style Transfer is a technique used to produce a new image from two images: a content image, and a style image. The newly produced image is unseen and is generated from the algorithm itself. Balancing the structure and style components has been the major challenge that other state-of-the-art algorithms have tried to solve. Despite all the efforts, it's still a major challenge to apply the artistic style that was originally created on top of the structure of the content image while maintaining consistency. In this work, we solved these problems by using a Deep Learning approach using Convolutional Neural Networks. Our implementation will first extract foreground from the background using the pre-trained Detectron 2 model from the content image, and then apply the Arbitrary Style Transfer technique that is used in SANet. Once we have the two styled images, we will stitch the two chunks of images after the process of style transfer for the complete end piece.

最近，提出了注意力任意样式转移方法来实现细粒度的结果，其操纵内容和风格特征之间的点亮相似性。然而，基于特征点的注意机构忽略了特征多歧管分布，其中每个特征歧管对应于图像中的语义区域。因此，通过来自各种样式语义区域的高度不同模式来呈现均匀内容语义区域，通过视觉伪像产生不一致的程式化结果。我们提出了逐步的注意力歧管对齐（PAMA）来缓解这个问题，这反复应用关注操作和空间感知的插值。根据内容特征的空间分布，注意操作重新排列风格特性。这使得内容和样式歧管对应于特征映射。然后，空间感知插值自适应地在相应的内容和样式歧管之间插入以增加它们的相似性。通过逐步将内容歧管对准风格歧管，所提出的PAMA实现了最先进的性能，同时避免了语义区域的不一致。代码可在https://github.com/computer-vision2022/pama获得。

在本文中，我们旨在设计一种能够共同执行艺术，照片现实和视频风格转移的通用风格的转移方法，而无需在培训期间看到视频。以前的单帧方法对整个图像进行了强大的限制，以维持时间一致性，在许多情况下可能会违反。取而代之的是，我们做出了一个温和而合理的假设，即全球不一致是由局部不一致所支配的，并设计了应用于本地斑块的一般对比度连贯性损失（CCPL）。 CCPL可以在样式传输过程中保留内容源的连贯性，而不会降低样式化。此外，它拥有一种邻居调节机制，从而大大减少了局部扭曲和大量视觉质量的改善。除了其在多功能风格转移方面的出色性能外，它还可以轻松地扩展到其他任务，例如图像到图像翻译。此外，为了更好地融合内容和样式功能，我们提出了简单的协方差转换（SCT），以有效地将内容功能的二阶统计数据与样式功能保持一致。实验证明了使用CCPL武装时，所得模型对于多功能风格转移的有效性。

Photorealistic style transfer aims to transfer the artistic style of an image onto an input image or video while keeping photorealism. In this paper, we think it's the summary statistics matching scheme in existing algorithms that leads to unrealistic stylization. To avoid employing the popular Gram loss, we propose a self-supervised style transfer framework, which contains a style removal part and a style restoration part. The style removal network removes the original image styles, and the style restoration network recovers image styles in a supervised manner. Meanwhile, to address the problems in current feature transformation methods, we propose decoupled instance normalization to decompose feature transformation into style whitening and restylization. It works quite well in ColoristaNet and can transfer image styles efficiently while keeping photorealism. To ensure temporal coherency, we also incorporate optical flow methods and ConvLSTM to embed contextual information. Experiments demonstrates that ColoristaNet can achieve better stylization effects when compared with state-of-the-art algorithms.

最近求解深卷积神经网络（CNNS）内的光致风格转移的技术通常需要大规模数据集的密集训练，从而具有有限的适用性和揭示图像或风格的普遍性能力差。为了克服这一点，我们提出了一种新颖的框架，称为深度翻译（DTP），通过对给定输入图像对的测试时间训练来实现光致风格转移，与未经培训的网络一起学习特定于图像对的翻译，从而更好地产生性能和泛化。为风格转移进行此类测试时间培训量身定制，我们提出了新颖的网络架构，具有两个对应和生成模块的子模块，以及由对比含量，样式和循环一致性损耗组成的损耗功能。我们的框架不需要离线培训阶段进行风格转移，这是现有方法中的主要挑战之一，但网络将在测试期间仅了解。实验结果证明我们的框架具有更好的概念图像对的概括能力，甚至优于最先进的方法。

回想一下，大多数当前图像样式转移方法要求用户给出特定样式的图像，然后提取该样式功能和纹理以生成图像的样式，但仍然存在一些问题：用户可能没有一个参考样式图像，或者很难用一个图像总结所需的样式。最近提议的夹板解决了此问题，该问题仅根据提供的样式图像的描述来执行样式转移。尽管当景观或肖像单独出现时，ClipStyler可以取得良好的性能，但它可能会模糊人民并在人和风景共存时失去原始语义。基于这些问题，我们演示了一个新颖的框架，该框架使用了预训练的剪辑文本图像嵌入模型，并通过FCN语义分割网络指导图像样式传输。具体而言，我们解决了与人类主题相机的自拍照和现实世界的肖像过度风格的问题，增强了肖像和景观风格转移效果之间的对比，并使不同语义部分的图像风格转移程度完全可控。我们的生成工匠解决了夹具的失败案例，并产生定性和定量方法，以证明我们在自拍照和人类受试者照片中的自拍照和现实世界景观中的剪贴画的结果要好得多。这种改进使我们可以将我们的业务场景框架（例如修饰图形软件）进行商业化。

任意神经风格转移是一个重要的主题，具有研究价值和工业应用前景，该主题旨在使用另一个样式呈现一个图像的结构。最近的研究已致力于任意风格转移（AST）的任务，以提高风格化质量。但是，关于AST图像的质量评估的探索很少，即使它可以指导不同算法的设计。在本文中，我们首先构建了一个新的AST图像质量评估数据库（AST-IQAD），该数据库包括150个内容样式的图像对以及由八种典型AST算法产生的相应的1200个风格化图像。然后，在我们的AST-IQAD数据库上进行了一项主观研究，该研究获得了三种主观评估（即内容保存（CP），样式相似（SR）和整体视觉（OV），该数据库获得了所有风格化图像的主观评分评分。 。为了定量测量AST图像的质量，我们提出了一个新的基于稀疏表示的图像质量评估度量（SRQE），该指标（SRQE）使用稀疏特征相似性来计算质量。 AST-IQAD的实验结果证明了该方法的优越性。数据集和源代码将在https://github.com/hangwei-chen/ast-iqad-srqe上发布

We consider image transformation problems, where an input image is transformed into an output image. Recent methods for such problems typically train feed-forward convolutional neural networks using a per-pixel loss between the output and ground-truth images. Parallel work has shown that high-quality images can be generated by defining and optimizing perceptual loss functions based on high-level features extracted from pretrained networks. We combine the benefits of both approaches, and propose the use of perceptual loss functions for training feed-forward networks for image transformation tasks. We show results on image style transfer, where a feed-forward network is trained to solve the optimization problem proposed by Gatys et al in real-time. Compared to the optimization-based method, our network gives similar qualitative results but is three orders of magnitude faster. We also experiment with single-image super-resolution, where replacing a per-pixel loss with a perceptual loss gives visually pleasing results.

This paper proposes Markovian Generative Adversarial Networks (MGANs), a method for training generative neural networks for efficient texture synthesis. While deep neural network approaches have recently demonstrated remarkable results in terms of synthesis quality, they still come at considerable computational costs (minutes of run-time for low-res images). Our paper addresses this efficiency issue. Instead of a numerical deconvolution in previous work, we precompute a feedforward, strided convolutional network that captures the feature statistics of Markovian patches and is able to directly generate outputs of arbitrary dimensions. Such network can directly decode brown noise to realistic texture, or photos to artistic paintings. With adversarial training, we obtain quality comparable to recent neural texture synthesis methods. As no optimization is required any longer at generation time, our run-time performance (0.25M pixel images at 25Hz) surpasses previous neural texture synthesizers by a significant margin (at least 500 times faster). We apply this idea to texture synthesis, style transfer, and video stylization.

Arbitrary style transfer (AST) transfers arbitrary artistic styles onto content images. Despite the recent rapid progress, existing AST methods are either incapable or too slow to run at ultra-resolutions (e.g., 4K) with limited resources, which heavily hinders their further applications. In this paper, we tackle this dilemma by learning a straightforward and lightweight model, dubbed MicroAST. The key insight is to completely abandon the use of cumbersome pre-trained Deep Convolutional Neural Networks (e.g., VGG) at inference. Instead, we design two micro encoders (content and style encoders) and one micro decoder for style transfer. The content encoder aims at extracting the main structure of the content image. The style encoder, coupled with a modulator, encodes the style image into learnable dual-modulation signals that modulate both intermediate features and convolutional filters of the decoder, thus injecting more sophisticated and flexible style signals to guide the stylizations. In addition, to boost the ability of the style encoder to extract more distinct and representative style signals, we also introduce a new style signal contrastive loss in our model. Compared to the state of the art, our MicroAST not only produces visually superior results but also is 5-73 times smaller and 6-18 times faster, for the first time enabling super-fast (about 0.5 seconds) AST at 4K ultra-resolutions. Code is available at https://github.com/EndyWon/MicroAST.

在移动摄影和AR / VR中，视觉内容创建刺激了飙升的兴趣。作为两个代表性任务的样式转移和单像3D摄影迄今为止独立发展。在本文中，我们在两者之间进行了联系，并解决了3D照片风格化的具有挑战性的任务 - 从单个图像中生成了一个任意映像的程式化的小说视图。我们的关键直观是，风格转移和视图综合必须为此任务共同建模。为此，我们提出了一个深入的模型，可以从场景的点云表示，从场景的点云表示，学习几何风格感知内容特征，从而导致跨视图一致的高质量风格化图像。此外，我们介绍了一种新颖的训练协议，以使学习仅使用2D图像。我们通过广泛的定性和定量研究展示了我们的方法的优越性，以及鉴于从2D图像资产的3D内容创建的需求不断增长，展示我们方法的关键应用。