现代形象染色系统，尽管取得了重大进展，往往与大型缺失区域，复杂的几何结构和高分辨率图像斗争。我们发现这是一个主要原因之一是缺乏染色网络和损失功能的有效的接受领域。为了减轻这个问题，我们提出了一种称为大面膜修正（LAMA）的新方法。喇嘛基于i）一种新的侵略网络架构，它使用具有图像宽接收领域的快速傅里叶卷曲（FFC）; ii）高接受领域感性损失; iii）大型训练面具，可解锁前两个组件的潜力。我们的批准网络在一系列数据集中改善了最先进的，即使在具有挑战性的情况下也能实现出色的性能，例如，完成定期结构。我们的模型令人惊讶地展现得比在火车时间高于所看到的决议，并在比竞争性基线更低的参数和时间成本实现这一目标。代码可用于\ url {https:/github.com/saic-mdal/lama}。

深层图像介绍取得了令人印象深刻的进步，随着图像产生和处理算法的最新进展。我们声称，可以通过生成的结构和纹理更好地判断介入算法的性能。结构是指孔中生成的对象边界或新的几何结构，而纹理是指高频细节，尤其是在结构区域内填充的人造重复模式。我们认为，更好的结构通常是从基于粗糙的GAN的发电机网络中获得的，而如今重复模式可以通过最新的高频快速快速傅立叶卷积层进行更好的建模。在本文中，我们提出了一个新颖的介绍网络，结合了这两种设计的优势。因此，我们的模型具有出色的视觉质量，可以匹配结构生成和使用单个网络重复纹理合成的最新性能。广泛的实验证明了该方法的有效性，我们的结论进一步突出了图像覆盖质量，结构和纹理的两个关键因素，即未来的设计方向。

最近的图像入介方法取得了长足的进步，但在处理复杂图像中的大孔时，通常很难产生合理的图像结构。这部分是由于缺乏有效的网络结构可以捕获图像的远程依赖性和高级语义。我们提出了级联调制GAN（CM-GAN），这是一种新的网络设计，由编码器组成，该设计由带有傅立叶卷积块的编码器组成，该块从带有孔的输入图像中提取多尺度特征表示，并带有带有新型级联全球空间调制的双流式解码器在每个比例尺上块。在每个解码器块中，首先应用全局调制以执行粗糙和语义感知的结构合成，然后进行空间调制以进一步以空间自适应的方式调整特征图。此外，我们设计了一种对象感知的培训方案，以防止网络在孔内部幻觉，从而满足实际情况下对象删除任务的需求。进行了广泛的实验，以表明我们的方法在定量和定性评估中都显着优于现有方法。请参阅项目页面：\ url {https://github.com/htzheng/cm-gan-inpainting}。

最近的研究表明，在介绍问题中建模长期相互作用的重要性。为了实现这一目标，现有方法利用独立的注意技术或变压器，但考虑到计算成本，通常在低分辨率下。在本文中，我们提出了一个基于变压器的新型模型，用于大孔介入，该模型统一了变压器和卷积的优点，以有效地处理高分辨率图像。我们仔细设计框架的每个组件，以确保恢复图像的高保真度和多样性。具体而言，我们自定义了一个面向内部的变压器块，其中注意模块仅从部分有效令牌中汇总非本地信息，该信息由动态掩码表示。广泛的实验证明了在多个基准数据集上新模型的最新性能。代码在https://github.com/fenglinglwb/mat上发布。

尽管深度学习使图像介绍方面取得了巨大的飞跃，但当前的方法通常无法综合现实的高频细节。在本文中，我们建议将超分辨率应用于粗糙的重建输出，以高分辨率进行精炼，然后将输出降低到原始分辨率。通过将高分辨率图像引入改进网络，我们的框架能够重建更多的细节，这些细节通常由于光谱偏置而被平滑 - 神经网络倾向于比高频更好地重建低频。为了协助培训大型高度孔洞的改进网络，我们提出了一种渐进的学习技术，其中缺失区域的大小随着培训的进行而增加。我们的缩放，完善和缩放策略，结合了高分辨率的监督和渐进学习，构成了一种框架 - 不合时宜的方法，用于增强高频细节，可应用于任何基于CNN的涂层方法。我们提供定性和定量评估以及消融分析，以显示我们方法的有效性。这种看似简单但功能强大的方法优于最先进的介绍方法。我们的代码可在https://github.com/google/zoom-to-inpaint中找到

Generative adversarial networks (GANs) have made great success in image inpainting yet still have difficulties tackling large missing regions. In contrast, iterative algorithms, such as autoregressive and denoising diffusion models, have to be deployed with massive computing resources for decent effect. To overcome the respective limitations, we present a novel spatial diffusion model (SDM) that uses a few iterations to gradually deliver informative pixels to the entire image, largely enhancing the inference efficiency. Also, thanks to the proposed decoupled probabilistic modeling and spatial diffusion scheme, our method achieves high-quality large-hole completion. On multiple benchmarks, we achieve new state-of-the-art performance. Code is released at https://github.com/fenglinglwb/SDM.

通过利用深层神经网络（DNN）来建模各种先前的信息以恢复图像，许多最近的介绍作品都取得了令人印象深刻的结果。不幸的是，这些方法的性能在很大程度上受到了香草卷积神经网络（CNNS）骨架的表示能力的限制。另一方面，具有自我监督的预训练的视觉变压器（VIT）显示出许多视觉识别和许多视觉识别的潜力对象检测任务。一个自然的问题是，VIT主链是否可以大大受益？但是，直接替换在内部网络中的新骨干是不是很普遍的，因为indpainting与识别任务根本不同。为此，本文将基于训练的胶面膜自动编码器（MAE）结合到了indpaining模型中，该模型具有更丰富的信息学先验，以增强涂漆过程。此外，我们建议使用MAE的注意力学先验，以使介绍模型学习掩盖区域和未掩盖区域之间更多的长距离依赖关系。已经讨论了有关本文内部介绍和自我监督的预训练模型的足够消融。此外，对Ploce2和FFHQ的实验证明了我们提出的模型的有效性。代码和预培训模型在https://github.com/ewrfcas/mae-far中发布。

基于补丁的方法和深度网络已经采用了解决图像染色问题，具有自己的优势和劣势。基于补丁的方法能够通过从未遮盖区域搜索最近的邻居修补程序来恢复具有高质量纹理的缺失区域。但是，这些方法在恢复大缺失区域时会带来问题内容。另一方面，深度网络显示有希望的成果完成大区域。尽管如此，结果往往缺乏类似周围地区的忠诚和尖锐的细节。通过汇集两个范式中，我们提出了一种新的深度染色框架，其中纹理生成是由从未掩蔽区域提取的补丁样本的纹理记忆引导的。该框架具有一种新颖的设计，允许使用深度修复网络训练纹理存储器检索。此外，我们还介绍了贴片分配损失，以鼓励高质量的贴片合成。所提出的方法在三个具有挑战性的图像基准测试中，即地位，Celeba-HQ和巴黎街道视图数据集来说，该方法显示出质量和定量的卓越性能。

深度学习方法在图像染色中优于传统方法。为了生成上下文纹理，研究人员仍在努力改进现有方法，并提出可以提取，传播和重建类似于地面真实区域的特征的模型。此外，更深层的缺乏高质量的特征传递机制有助于对所产生的染色区域有助于持久的像差。为了解决这些限制，我们提出了V-Linknet跨空间学习策略网络。为了改善语境化功能的学习，我们设计了一种使用两个编码器的损失模型。此外，我们提出了递归残留过渡层（RSTL）。 RSTL提取高电平语义信息并将其传播为下层。最后，我们将在与不同面具的同一面孔和不同面部面上的相同面上进行了比较的措施。为了提高图像修复再现性，我们提出了一种标准协议来克服各种掩模和图像的偏差。我们使用实验方法调查V-LinkNet组件。当使用标准协议时，在Celeba-HQ上评估时，我们的结果超越了现有技术。此外，我们的模型可以在Paris Street View上评估时概括良好，以及具有标准协议的Parume2数据集。

Weakly-supervised learning (WSL) has been proposed to alleviate the conflict between data annotation cost and model performance through employing sparsely-grained (i.e., point-, box-, scribble-wise) supervision and has shown promising performance, particularly in the image segmentation field. However, it is still a very challenging problem due to the limited supervision, especially when only a small number of labeled samples are available. Additionally, almost all existing WSL segmentation methods are designed for star-convex structures which are very different from curvilinear structures such as vessels and nerves. In this paper, we propose a novel sparsely annotated segmentation framework for curvilinear structures, named YoloCurvSeg, based on image synthesis. A background generator delivers image backgrounds that closely match real distributions through inpainting dilated skeletons. The extracted backgrounds are then combined with randomly emulated curves generated by a Space Colonization Algorithm-based foreground generator and through a multilayer patch-wise contrastive learning synthesizer. In this way, a synthetic dataset with both images and curve segmentation labels is obtained, at the cost of only one or a few noisy skeleton annotations. Finally, a segmenter is trained with the generated dataset and possibly an unlabeled dataset. The proposed YoloCurvSeg is evaluated on four publicly available datasets (OCTA500, CORN, DRIVE and CHASEDB1) and the results show that YoloCurvSeg outperforms state-of-the-art WSL segmentation methods by large margins. With only one noisy skeleton annotation (respectively 0.14%, 0.02%, 1.4%, and 0.65% of the full annotation), YoloCurvSeg achieves more than 97% of the fully-supervised performance on each dataset. Code and datasets will be released at https://github.com/llmir/YoloCurvSeg.

桥接全球上下文交互正确对大面具的高保真图像完成非常重要。先前的方法通过深或大的接收领域（RF）卷积无法逃离附近互动的主导地位，这可能是劣等的。在本文中，我们建议将图像完成视为无缝的序列到序列预测任务，并部署变压器以直接捕获编码器中的远程依赖性。至关重要，我们使用具有小而非重叠的RF的限制性CNN，用于加权令牌表示，这允许变压器明确地模拟所有层中的相同重要性，而在使用较大的RF时，没有隐含地混淆邻居令牌。为了改善可见区域之间的外观一致性，引入了一种新的注意力层（aal）以更好地利用远方相关的高频功能。总体而言，与若干数据集上的最先进方法相比，大量实验表现出卓越的性能。

FREDSR is a GAN variant that aims to outperform traditional GAN models in specific tasks such as Single Image Super Resolution with extreme parameter efficiency at the cost of per-dataset generalizeability. FREDSR integrates fast Fourier transformation, residual prediction, diffusive discriminators, etc to achieve strong performance in comparisons to other models on the UHDSR4K dataset for Single Image 3x Super Resolution from 360p and 720p with only 37000 parameters. The model follows the characteristics of the given dataset, resulting in lower generalizeability but higher performance on tasks such as real time up-scaling.

Figure 1: Example inpainting results of our method on images of natural scene, face and texture. Missing regions are shown in white. In each pair, the left is input image and right is the direct output of our trained generative neural networks without any post-processing.

Figure 1: Free-form image inpainting results by our system built on gated convolution. Each triad shows original image, free-form input and our result from left to right. The system supports free-form mask and guidance like user sketch. It helps user remove distracting objects, modify image layouts and edit faces in images.

Structure-guided image completion aims to inpaint a local region of an image according to an input guidance map from users. While such a task enables many practical applications for interactive editing, existing methods often struggle to hallucinate realistic object instances in complex natural scenes. Such a limitation is partially due to the lack of semantic-level constraints inside the hole region as well as the lack of a mechanism to enforce realistic object generation. In this work, we propose a learning paradigm that consists of semantic discriminators and object-level discriminators for improving the generation of complex semantics and objects. Specifically, the semantic discriminators leverage pretrained visual features to improve the realism of the generated visual concepts. Moreover, the object-level discriminators take aligned instances as inputs to enforce the realism of individual objects. Our proposed scheme significantly improves the generation quality and achieves state-of-the-art results on various tasks, including segmentation-guided completion, edge-guided manipulation and panoptically-guided manipulation on Places2 datasets. Furthermore, our trained model is flexible and can support multiple editing use cases, such as object insertion, replacement, removal and standard inpainting. In particular, our trained model combined with a novel automatic image completion pipeline achieves state-of-the-art results on the standard inpainting task.

我们呈现SeveryGan，一种能够从单个输入示例自动生成砖纹理映射的方法。与大多数现有方法相比，专注于解决合成问题，我们的工作同时解决问题，合成和涤纶性。我们的关键思想是认识到，通过越野落扩展技术训练的生成网络内的潜伏空间产生具有在接缝交叉点的连续性的输出，然后可以通过裁剪中心区域进入彩色图像。由于不是潜在空间的每个值都有有效的来产生高质量的输出，因此我们利用鉴别者作为能够在采样过程中识别无伪纹理的感知误差度量。此外，与之前的深度纹理合成的工作相比，我们的模型设计和优化，以便使用多层纹理表示，使由多个地图组成的纹理，例如Albedo，法线等。我们广泛地测试网络的设计选择架构，丢失功能和采样参数。我们在定性和定量上展示我们的方法优于以前的方法和适用于不同类型的纹理。

Image completion with large-scale free-form missing regions is one of the most challenging tasks for the computer vision community. While researchers pursue better solutions, drawbacks such as pattern unawareness, blurry textures, and structure distortion remain noticeable, and thus leave space for improvement. To overcome these challenges, we propose a new StyleGAN-based image completion network, Spectral Hint GAN (SH-GAN), inside which a carefully designed spectral processing module, Spectral Hint Unit, is introduced. We also propose two novel 2D spectral processing strategies, Heterogeneous Filtering and Gaussian Split that well-fit modern deep learning models and may further be extended to other tasks. From our inclusive experiments, we demonstrate that our model can reach FID scores of 3.4134 and 7.0277 on the benchmark datasets FFHQ and Places2, and therefore outperforms prior works and reaches a new state-of-the-art. We also prove the effectiveness of our design via ablation studies, from which one may notice that the aforementioned challenges, i.e. pattern unawareness, blurry textures, and structure distortion, can be noticeably resolved. Our code will be open-sourced at: https://github.com/SHI-Labs/SH-GAN.

自由格式介绍是在任意二进制掩码指定的区域中向图像中添加新内容的任务。大多数现有方法训练了一定的面具分布，这将其概括能力限制为看不见的掩模类型。此外，通过像素和知觉损失的训练通常会导致对缺失区域的简单质地扩展，而不是语义上有意义的一代。在这项工作中，我们提出重新启动：基于deno的扩散概率模型（DDPM）的内部介入方法，甚至适用于极端掩模。我们采用预定的无条件DDPM作为生成先验。为了调节生成过程，我们仅通过使用给定的图像信息对未掩盖的区域进行采样来改变反向扩散迭代。由于该技术不会修改或调节原始DDPM网络本身，因此该模型可为任何填充形式产生高质量和不同的输出图像。我们使用标准面具和极端口罩验证面部和通用图像的方法。重新粉刷优于最先进的自动回归，而GAN的方法至少在六个面具分布中进行了五个。 github存储库：git.io/repaint

图像介入是将图像的掩盖或未知区域填充具有视觉上现实内容的任务，最近，深层神经网络（DNNS）极大地改善了图像。从本质上讲，作为一个反问题，内部介绍面临着在没有纹理伪像的情况下重建语义相干结果的根本挑战。以前的许多努力是通过利用注意机制和先验知识（例如边缘和语义分割）做出的。但是，这些作品在实践中仍然受到可学习的先验参数和刺激性计算负担的限制。为此，我们提出了一个新颖的模型 - 轴向镶嵌网络（WAIN）中的小波事先注意学习，其发电机包含编码器，解码器以及小波图像的两个关键组件先验注意力（WPA）和堆叠的多层层轴向转化器（ATS）。特别是，WPA指导多尺度频域中的高级特征聚集，从而减轻了文本伪像。堆叠的ATS采用未掩盖的线索来帮助建模合理的功能以及水平和垂直轴的低级特征，从而提高语义连贯性。对Celeba-HQ和Place2数据集进行了广泛的定量和定性实验，以验证我们的Wain可以在竞争对手上实现最新的性能。代码和模型将发布。

We present an unsupervised visual feature learning algorithm driven by context-based pixel prediction. By analogy with auto-encoders, we propose Context Encoders -a convolutional neural network trained to generate the contents of an arbitrary image region conditioned on its surroundings. In order to succeed at this task, context encoders need to both understand the content of the entire image, as well as produce a plausible hypothesis for the missing part(s). When training context encoders, we have experimented with both a standard pixel-wise reconstruction loss, as well as a reconstruction plus an adversarial loss. The latter produces much sharper results because it can better handle multiple modes in the output. We found that a context encoder learns a representation that captures not just appearance but also the semantics of visual structures. We quantitatively demonstrate the effectiveness of our learned features for CNN pre-training on classification, detection, and segmentation tasks. Furthermore, context encoders can be used for semantic inpainting tasks, either stand-alone or as initialization for non-parametric methods.