我们介绍了一种用于将一个自然形象的视觉外观转移到另一个自然形象的方法。具体地，我们的目标是生成一个图像，其中源结构图像中的对象是“绘制”的目标外观图像中的语义相关对象的视觉外观。我们的方法通过训练一个单个结构/外观映像对给出一个发电机作为输入。将语义信息集成到我们的框架中 - 解决此任务的关键组件 - 我们的主要思想是利用作为外部语义的预训练和固定视觉变压器（VIT）模型。具体而言，我们从深毒性特征中提取的结构和外观的新颖表示，从学习的自我关注模块中解开它们。然后，我们建立一个客观函数，即接头所需的结构和外观表示，在vit特征的空间中相互交互。我们术语“拼接”的框架不涉及对抗性培训，也不需要任何额外的输入信息，例如语义分割或通信，并且可以产生高分辨率结果，例如，在高清中工作。我们在物体数量，姿势和外观的显着变化下，我们展示了各种内野图像对的高质量结果。

我们利用从预先训练的视觉变压器（VIT）提取的深度特征，如密集的视觉描述符。我们证明这些特征是当从自我监督的Vit模型（Dino-Vit）中提取时，表现出几种打击性质：（i）特征在高空间分辨率下编码强大的高级信息 - 即，捕获精细的语义对象部件空间粒度和（ii）编码的语义信息跨相关但不同的对象类别（即超级类别）共享。这些属性允许我们设计强大的密集Vit描述符，便于各种应用，包括共分割，部分共分割和通信 - 通过将轻量级方法应用于深度染色特征（例如，分布/聚类）来实现。我们将这些应用程序进一步接受级别任务的领域 - 展示相关类别的对象如何在显着的姿势和外观变化下常规分段为语义部分。我们的方法，在定性和定量地评估的方法，实现最先进的部分共分割结果，以及最近监督方法的竞争结果，专门针对共同分割和对应关系。

Unpaired exemplar-based image-to-image (UEI2I) translation aims to translate a source image to a target image domain with the style of a target image exemplar, without ground-truth input-translation pairs. Existing UEI2I methods represent style using either a global, image-level feature vector, or one vector per object instance/class but requiring knowledge of the scene semantics. Here, by contrast, we propose to represent style as a dense feature map, allowing for a finer-grained transfer to the source image without requiring any external semantic information. We then rely on perceptual and adversarial losses to disentangle our dense style and content representations, and exploit unsupervised cross-domain semantic correspondences to warp the exemplar style to the source content. We demonstrate the effectiveness of our method on two datasets using standard metrics together with a new localized style metric measuring style similarity in a class-wise manner. Our results evidence that the translations produced by our approach are more diverse and closer to the exemplars than those of the state-of-the-art methods while nonetheless preserving the source content.

建筑摄影是一种摄影类型，重点是捕获前景中带有戏剧性照明的建筑物或结构。受图像到图像翻译方法的成功启发，我们旨在为建筑照片执行风格转移。但是，建筑摄影中的特殊构图对这类照片中的样式转移构成了巨大挑战。现有的神经风格转移方法将建筑图像视为单个实体，它将产生与原始建筑的几何特征，产生不切实际的照明，错误的颜色演绎以及可视化伪影，例如幽灵，外观失真或颜色不匹配。在本文中，我们专门针对建筑摄影的神经风格转移方法。我们的方法解决了两个分支神经网络中建筑照片中前景和背景的组成，该神经网络分别考虑了前景和背景的样式转移。我们的方法包括一个分割模块，基于学习的图像到图像翻译模块和图像混合优化模块。我们使用了一天中不同的魔术时代捕获的不受限制的户外建筑照片的新数据集培训了图像到图像的翻译神经网络，利用其他语义信息，以更好地匹配和几何形状保存。我们的实验表明，我们的方法可以在前景和背景上产生逼真的照明和颜色演绎，并且在定量和定性上都优于一般图像到图像转换和任意样式转移基线。我们的代码和数据可在https://github.com/hkust-vgd/architectural_style_transfer上获得。

交换自动编码器在深层图像操纵和图像到图像翻译中实现了最先进的性能。我们通过基于梯度逆转层引入简单而有效的辅助模块来改善这项工作。辅助模块的损失迫使发电机学会使用全零纹理代码重建图像，从而鼓励结构和纹理信息之间更好地分解。提出的基于属性的转移方法可以在样式传输中进行精致的控制，同时在不使用语义掩码的情况下保留结构信息。为了操纵图像，我们将对象的几何形状和输入图像的一般样式编码为两个潜在代码，并具有实施结构一致性的附加约束。此外，由于辅助损失，训练时间大大减少。提出的模型的优越性在复杂的域中得到了证明，例如已知最先进的卫星图像。最后，我们表明我们的模型改善了广泛的数据集的质量指标，同时通过多模式图像生成技术实现了可比的结果。

Random samples from a single image Single training image Figure 1: Image generation learned from a single training image. We propose SinGAN-a new unconditional generative model trained on a single natural image. Our model learns the image's patch statistics across multiple scales, using a dedicated multi-scale adversarial training scheme; it can then be used to generate new realistic image samples that preserve the original patch distribution while creating new object configurations and structures.

本文介绍了DCT-NET，这是一种新颖的图像翻译体系结构，可用于几张肖像风格。给定有限的样式示例（$ \ sim $ 100），新的体系结构可以产生高质量的样式转移结果，具有先进的能力，可以合成高保真内容和强大的一般性来处理复杂的场景（例如，遮挡和配件）。此外，它可以通过一个由部分观察（即风格化的头）训练的优雅评估网络启用全身图像翻译。几乎没有基于学习的样式转移是具有挑战性的，因为由于仅由少数几个培训示例形成的偏见分布，学到的模型很容易在目标域中过度拟合。本文旨在通过采用“首先校准，稍后翻译”的关键思想来应对挑战，并以本地注重的翻译探索增强的全球结构。具体而言，所提出的DCT-NET由三个模块组成：一个内容适配器从源照片借用功能的先验来校准目标样本的内容分布；使用仿射变换来释放空间语义约束的几何扩展模块；以及通过校准分布产生的样品的质地翻译模块学习细粒的转换。实验结果证明了所提出的方法在头部风格化方面具有优势及其对具有自适应变形的完整图像翻译的有效性。

In image-to-image translation, each patch in the output should reflect the content of the corresponding patch in the input, independent of domain. We propose a straightforward method for doing so -maximizing mutual information between the two, using a framework based on contrastive learning. The method encourages two elements (corresponding patches) to map to a similar point in a learned feature space, relative to other elements (other patches) in the dataset, referred to as negatives. We explore several critical design choices for making contrastive learning effective in the image synthesis setting. Notably, we use a multilayer, patch-based approach, rather than operate on entire images. Furthermore, we draw negatives from within the input image itself, rather than from the rest of the dataset. We demonstrate that our framework enables one-sided translation in the unpaired image-to-image translation setting, while improving quality and reducing training time. In addition, our method can even be extended to the training setting where each "domain" is only a single image.

Our result (c) Application: Edit object appearance (b) Application: Change label types (a) Synthesized resultFigure 1: We propose a generative adversarial framework for synthesizing 2048 × 1024 images from semantic label maps (lower left corner in (a)). Compared to previous work [5], our results express more natural textures and details. (b) We can change labels in the original label map to create new scenes, like replacing trees with buildings. (c) Our framework also allows a user to edit the appearance of individual objects in the scene, e.g. changing the color of a car or the texture of a road. Please visit our website for more side-by-side comparisons as well as interactive editing demos.

The neural radiance field (NeRF) has shown promising results in preserving the fine details of objects and scenes. However, unlike mesh-based representations, it remains an open problem to build dense correspondences across different NeRFs of the same category, which is essential in many downstream tasks. The main difficulties of this problem lie in the implicit nature of NeRF and the lack of ground-truth correspondence annotations. In this paper, we show it is possible to bypass these challenges by leveraging the rich semantics and structural priors encapsulated in a pre-trained NeRF-based GAN. Specifically, we exploit such priors from three aspects, namely 1) a dual deformation field that takes latent codes as global structural indicators, 2) a learning objective that regards generator features as geometric-aware local descriptors, and 3) a source of infinite object-specific NeRF samples. Our experiments demonstrate that such priors lead to 3D dense correspondence that is accurate, smooth, and robust. We also show that established dense correspondence across NeRFs can effectively enable many NeRF-based downstream applications such as texture transfer.

我们提出Hypernst；基于超网络和stylegan2体系结构的图像艺术风格的神经风格转移（NST）技术。我们的贡献是一种新颖的方法，用于诱导通过度量空间进行参数化的样式转移，并预先训练基于样式的视觉搜索（SBV）。我们首次证明可以使用此类空间来驱动NST，从而从SBVS系统中启用样式的应用程序和插值。技术贡献是一个超网络，可以预测对型号的stylegan2的重量更新，而在各种各样的艺术内容（肖像）上，可以使用面部区域的语义图在每个区域量身定制样式参数化。我们在保留良好的风格转移性能的同时，在内容保存方面显示了超越最高的内容。

本文的目标是对面部素描合成（FSS）问题进行全面的研究。然而，由于获得了手绘草图数据集的高成本，因此缺乏完整的基准，用于评估过去十年的FSS算法的开发。因此，我们首先向FSS引入高质量的数据集，名为FS2K，其中包括2,104个图像素描对，跨越三种类型的草图样式，图像背景，照明条件，肤色和面部属性。 FS2K与以前的FSS数据集不同于难度，多样性和可扩展性，因此应促进FSS研究的进展。其次，我们通过调查139种古典方法，包括34个手工特征的面部素描合成方法，37个一般的神经式传输方法，43个深映像到图像翻译方法，以及35个图像 - 素描方法。此外，我们详细说明了现有的19个尖端模型的综合实验。第三，我们为FSS提供了一个简单的基准，名为FSGAN。只有两个直截了当的组件，即面部感知屏蔽和风格矢量扩展，FSGAN将超越所提出的FS2K数据集的所有先前最先进模型的性能，通过大边距。最后，我们在过去几年中汲取的经验教训，并指出了几个未解决的挑战。我们的开源代码可在https://github.com/dengpingfan/fsgan中获得。

最近已经示出了从2D图像中提取隐式3D表示的生成神经辐射场（GNERF）模型，以产生代表刚性物体的现实图像，例如人面或汽车。然而，他们通常难以产生代表非刚性物体的高质量图像，例如人体，这对许多计算机图形应用具有很大的兴趣。本文提出了一种用于人类图像综合的3D感知语义导向生成模型（3D-SAGGA），其集成了GNERF和纹理发生器。前者学习人体的隐式3D表示，并输出一组2D语义分段掩模。后者将这些语义面部掩模转化为真实的图像，为人类的外观添加了逼真的纹理。如果不需要额外的3D信息，我们的模型可以使用照片现实可控生成学习3D人类表示。我们在Deepfashion DataSet上的实验表明，3D-SAGGAN显着优于最近的基线。

Astounding results from Transformer models on natural language tasks have intrigued the vision community to study their application to computer vision problems. Among their salient benefits, Transformers enable modeling long dependencies between input sequence elements and support parallel processing of sequence as compared to recurrent networks e.g., Long short-term memory (LSTM). Different from convolutional networks, Transformers require minimal inductive biases for their design and are naturally suited as set-functions. Furthermore, the straightforward design of Transformers allows processing multiple modalities (e.g., images, videos, text and speech) using similar processing blocks and demonstrates excellent scalability to very large capacity networks and huge datasets. These strengths have led to exciting progress on a number of vision tasks using Transformer networks. This survey aims to provide a comprehensive overview of the Transformer models in the computer vision discipline. We start with an introduction to fundamental concepts behind the success of Transformers i.e., self-attention, large-scale pre-training, and bidirectional feature encoding. We then cover extensive applications of transformers in vision including popular recognition tasks (e.g., image classification, object detection, action recognition, and segmentation), generative modeling, multi-modal tasks (e.g., visual-question answering, visual reasoning, and visual grounding), video processing (e.g., activity recognition, video forecasting), low-level vision (e.g., image super-resolution, image enhancement, and colorization) and 3D analysis (e.g., point cloud classification and segmentation). We compare the respective advantages and limitations of popular techniques both in terms of architectural design and their experimental value. Finally, we provide an analysis on open research directions and possible future works. We hope this effort will ignite further interest in the community to solve current challenges towards the application of transformer models in computer vision.

语义分割在广泛的计算机视觉应用中起着基本作用，提供了全球对图像​​的理解的关键信息。然而，最先进的模型依赖于大量的注释样本，其比在诸如图像分类的任务中获得更昂贵的昂贵的样本。由于未标记的数据替代地获得更便宜，因此无监督的域适应达到了语义分割社区的广泛成功并不令人惊讶。本调查致力于总结这一令人难以置信的快速增长的领域的五年，这包含了语义细分本身的重要性，以及将分段模型适应新环境的关键需求。我们提出了最重要的语义分割方法;我们对语义分割的域适应技术提供了全面的调查;我们揭示了多域学习，域泛化，测试时间适应或无源域适应等较新的趋势;我们通过描述在语义细分研究中最广泛使用的数据集和基准测试来结束本调查。我们希望本调查将在学术界和工业中提供具有全面参考指导的研究人员，并有助于他们培养现场的新研究方向。

在偏置数据集上培训的分类模型通常在分发外部的外部样本上表现不佳，因为偏置的表示嵌入到模型中。最近，已经提出了各种脱叠方法来解除偏见的表示，但仅丢弃偏见的特征是具有挑战性的，而不会改变其他相关信息。在本文中，我们提出了一种新的扩展方法，该方法使用不同标记图像的纹理表示明确地生成附加图像来放大训练数据集，并在训练分类器时减轻偏差效果。每个新的生成图像包含来自源图像的类似内容信息，同时从具有不同标签的目标图像传送纹理。我们的模型包括纹理共发生损耗，该损耗确定生成的图像的纹理是否与目标的纹理类似，以及确定所生成和源图像之间的内容细节是否保留的内容细节的空间自相似性丢失。生成和原始训练图像都进一步用于训练能够改善抗偏置表示的鲁棒性的分类器。我们使用具有已知偏差的五个不同的人工设计数据集来展示我们的方法缓解偏差信息的能力。对于所有情况，我们的方法表现优于现有的现有最先进的方法。代码可用：https://github.com/myeongkyunkang/i2i4debias

组织病理学依赖于微观组织图像的分析来诊断疾病。组织制备的关键部分正在染色，从而使染料用于使显着的组织成分更具区分。但是，实验室协议和扫描设备的差异导致相应图像的显着混淆外观变化。这种变异增加了人类错误和评估者间的变异性，并阻碍了自动或半自动方法的性能。在本文中，我们引入了一个无监督的对抗网络，以在多个数据采集域中翻译（因此使）整个幻灯片图像。我们的关键贡献是：（i）一种对抗性体系结构，该架构使用信息流分支通过单个发电机 - 歧视器网络在多个域中学习，该信息流分支优化可感知损失，以及（ii）在培训过程中包含一个附加功能提取网络，以指导指导指导的额外功能提取网络。转换网络以保持组织图像中的所有结构特征完整。我们：（i）首先证明了提出的方法对120例肾癌的H \＆e幻灯片的有效性，以及（ii）显示了该方法对更一般问题的好处，例如基于灵活照明的自然图像增强功能和光源适应。

语言变形金刚的成功主要归因于屏蔽语言建模（MLM）的借口任务，其中文本首先被致以语义有意义的作品。在这项工作中，我们研究了蒙面图像建模（MIM），并指出使用语义有意义的视觉销售器的优缺点。我们提出了一个自我监督的框架IBOT，可以使用在线标记器执行蒙版预测。具体而言，我们在蒙面的补丁令牌上进行自我蒸馏，并将教师网络作为在线标记器，以及在课堂上的自蒸馏来获取视觉语义。在线销售器与MIM目标和分配的多级培训管道共同学习，销售器需要预先预先培训。通过在Imagenet-1K上达到81.6％的线性探测精度和86.3％的微调精度来展示IBOT的突出。除了最先进的图像分类结果之外，我们强调了新兴的局部语义模式，这有助于模型对共同损坏获得强大的鲁棒性，并在密集的下游任务中实现领先的结果，例如，对象检测，实例分割和语义细分。

在本文中，我们基于单个图像呈现Deadsim，用于条件图像操纵的生成模型。我们发现广泛的增强是启用单个图像训练的关键，并将使用薄板样条（TPS）作为有效的增强。我们的网络学习在图像本身的图像的原始表示之间映射。原始表示的选择对操纵的缓和和表达性产生影响，并且可以是自动的（例如边缘），手动（例如分段）或混合，例如分割顶部的边缘。在操纵时间时，我们的生成器允许通过修改原始输入表示并通过网络映射映射来进行复杂的图像更改。我们的方法显示在图像操纵任务上实现了显着性能。