图像染色是增强扭曲数字图像的有效方法。不同的初始化方法使用相邻像素的信息来预测丢失像素的值。最近，深度神经网络已经用于学习图像的结构和语义细节以获得避免目的。在本文中，我们提出了一种用于图像染色的网络。此网络类似于U-Net，从图像中提取各种功能，导致更好的结果。我们通过用输出图像的恢复像素替换损坏的像素来改善最终结果。我们的实验结果表明，该方法产生了与传统方法相比的高质量结果。

尽管深度学习使图像介绍方面取得了巨大的飞跃，但当前的方法通常无法综合现实的高频细节。在本文中，我们建议将超分辨率应用于粗糙的重建输出，以高分辨率进行精炼，然后将输出降低到原始分辨率。通过将高分辨率图像引入改进网络，我们的框架能够重建更多的细节，这些细节通常由于光谱偏置而被平滑 - 神经网络倾向于比高频更好地重建低频。为了协助培训大型高度孔洞的改进网络，我们提出了一种渐进的学习技术，其中缺失区域的大小随着培训的进行而增加。我们的缩放，完善和缩放策略，结合了高分辨率的监督和渐进学习，构成了一种框架 - 不合时宜的方法，用于增强高频细节，可应用于任何基于CNN的涂层方法。我们提供定性和定量评估以及消融分析，以显示我们方法的有效性。这种看似简单但功能强大的方法优于最先进的介绍方法。我们的代码可在https://github.com/google/zoom-to-inpaint中找到

深度学习方法在图像染色中优于传统方法。为了生成上下文纹理，研究人员仍在努力改进现有方法，并提出可以提取，传播和重建类似于地面真实区域的特征的模型。此外，更深层的缺乏高质量的特征传递机制有助于对所产生的染色区域有助于持久的像差。为了解决这些限制，我们提出了V-Linknet跨空间学习策略网络。为了改善语境化功能的学习，我们设计了一种使用两个编码器的损失模型。此外，我们提出了递归残留过渡层（RSTL）。 RSTL提取高电平语义信息并将其传播为下层。最后，我们将在与不同面具的同一面孔和不同面部面上的相同面上进行了比较的措施。为了提高图像修复再现性，我们提出了一种标准协议来克服各种掩模和图像的偏差。我们使用实验方法调查V-LinkNet组件。当使用标准协议时，在Celeba-HQ上评估时，我们的结果超越了现有技术。此外，我们的模型可以在Paris Street View上评估时概括良好，以及具有标准协议的Parume2数据集。

基于补丁的方法和深度网络已经采用了解决图像染色问题，具有自己的优势和劣势。基于补丁的方法能够通过从未遮盖区域搜索最近的邻居修补程序来恢复具有高质量纹理的缺失区域。但是，这些方法在恢复大缺失区域时会带来问题内容。另一方面，深度网络显示有希望的成果完成大区域。尽管如此，结果往往缺乏类似周围地区的忠诚和尖锐的细节。通过汇集两个范式中，我们提出了一种新的深度染色框架，其中纹理生成是由从未掩蔽区域提取的补丁样本的纹理记忆引导的。该框架具有一种新颖的设计，允许使用深度修复网络训练纹理存储器检索。此外，我们还介绍了贴片分配损失，以鼓励高质量的贴片合成。所提出的方法在三个具有挑战性的图像基准测试中，即地位，Celeba-HQ和巴黎街道视图数据集来说，该方法显示出质量和定量的卓越性能。

场景文本擦除，它在自然图像中替换了具有合理内容的文本区域，近年来在计算机视觉社区中造成了重大关注。场景文本删除中有两个潜在的子任务：文本检测和图像修复。两个子任务都需要相当多的数据来实现更好的性能;但是，缺乏大型现实世界场景文本删除数据集不允许现有方法实现其潜力。为了弥补缺乏成对的真实世界数据，我们在额外的增强后大大使用了合成文本，随后仅在改进的合成文本引擎生成的数据集上培训了我们的模型。我们所提出的网络包含一个笔划掩模预测模块和背景染色模块，可以从裁剪文本图像中提取文本笔划作为相对较小的孔，以维持更多的背景内容以获得更好的修复结果。该模型可以用边界框部分删除场景图像中的文本实例，或者使用现有场景文本检测器进行自动场景文本擦除。 SCUT-SYN，ICDAR2013和SCUT-ENSTEXT数据集的定性和定量评估的实验结果表明，即使在现实世界数据上培训，我们的方法也显着优于现有的最先进的方法。

Deep learning techniques have made considerable progress in image inpainting, restoration, and reconstruction in the last few years. Image outpainting, also known as image extrapolation, lacks attention and practical approaches to be fulfilled, owing to difficulties caused by large-scale area loss and less legitimate neighboring information. These difficulties have made outpainted images handled by most of the existing models unrealistic to human eyes and spatially inconsistent. When upsampling through deconvolution to generate fake content, the naive generation methods may lead to results lacking high-frequency details and structural authenticity. Therefore, as our novelties to handle image outpainting problems, we introduce structural prior as a condition to optimize the generation quality and a new semantic embedding term to enhance perceptual sanity. we propose a deep learning method based on Generative Adversarial Network (GAN) and condition edges as structural prior in order to assist the generation. We use a multi-phase adversarial training scheme that comprises edge inference training, contents inpainting training, and joint training. The newly added semantic embedding loss is proved effective in practice.

Figure 1: Free-form image inpainting results by our system built on gated convolution. Each triad shows original image, free-form input and our result from left to right. The system supports free-form mask and guidance like user sketch. It helps user remove distracting objects, modify image layouts and edit faces in images.

在本文中，我们提出了一个新颖的统一框架，用于突出显示多片的检测和去除，包括合成图像，面部图像，自然图像和文本图像。该框架由三个主要组件组成，突出显示了特征提取器模块，突出显示粗卸下模块和凸显的精炼拆卸模块。首先，高光功能提取器模块可以将突出显示功能和非高光功能与原始突出显示图像直接分开。然后，使用粗大的拆卸网络获得了突出显示的拆卸图像。为了进一步提高突出显示的效果，最终使用基于上下文突出显示注意机制的精制突出显示模块获得了精制的突出显示图像。在多个场景中的广泛实验结果表明，所提出的框架可以获得突出显示的出色视觉效果，并获得最新的结果，从而获得了几种定量评估指标。我们的算法首次在视频重点删除中首次应用，并有令人鼓舞的结果。

图像重新定位旨在更改图像大小，同时保留重要内容并最大程度地减少明显的扭曲。但是，先前的图像重新定位方法创建了遭受工件和扭曲的输出。此外，大多数以前的作品都尝试同时重新定位输入图像的背景和前景。同时调整前景和背景会导致对象的长宽比的变化。纵横比的变化对于人类对象并不理想。我们提出了一种克服这些问题的重新定位方法。提出的方法包括以下步骤。首先，一种涂上方法使用输入图像和前景对象的二进制掩码来生成背景图像，而无需任何前景对象。其次，接缝雕刻方法将背景图像调整到目标大小。然后，一种超分辨率方法增加了输入图像质量，然后提取前景对象。最后，将重定位的背景和提取的超级分辨对象馈入粒子群优化算法（PSO）中。 PSO算法使用审美质量评估作为其目标函数，以确定将对象放置在背景中的最佳位置和大小。我们使用图像质量评估和美学质量评估措施来显示我们与流行的图像重新定位技术相比的优越结果。

We present an unsupervised visual feature learning algorithm driven by context-based pixel prediction. By analogy with auto-encoders, we propose Context Encoders -a convolutional neural network trained to generate the contents of an arbitrary image region conditioned on its surroundings. In order to succeed at this task, context encoders need to both understand the content of the entire image, as well as produce a plausible hypothesis for the missing part(s). When training context encoders, we have experimented with both a standard pixel-wise reconstruction loss, as well as a reconstruction plus an adversarial loss. The latter produces much sharper results because it can better handle multiple modes in the output. We found that a context encoder learns a representation that captures not just appearance but also the semantics of visual structures. We quantitatively demonstrate the effectiveness of our learned features for CNN pre-training on classification, detection, and segmentation tasks. Furthermore, context encoders can be used for semantic inpainting tasks, either stand-alone or as initialization for non-parametric methods.

高密度物体（例如金属植入物和牙科填充物）的存在可以在计算机断层扫描（CT）图像中引入严重的条纹样伪像，从而极大地限制了随后的诊断。尽管已经提出了用于减少金属伪像的各种基于神经网络的方法（MAR），但由于对正式域中的全球环境的利用有限，图像域引入的次生伪像，它们的性能通常不佳，并且需要精确的次要伪像。金属面具。为了解决这些问题，本文探讨了在辛图和图像域中在MAR中的快速傅立叶卷积，并提出了MAR的傅立叶双域网络，称为FD-MAR。具体而言，我们首先提出了一个傅立叶曲调恢复网络，该网络可以利用辛克图范围内的接受环境来填充来自未腐败区域的金属腐败区域，因此对金属痕迹是可靠的。其次，我们在图像域中提出了一个傅立叶细化网络，该网络可以通过探索整个图像范围的上下文信息以局部到全球的方式来完善重建的图像。结果，拟议的FD-MAR可以探索MAR的正式和图像范围的接收场。通过通过复合损失函数优化FD-MAR，广泛的实验结果证明了拟议的FD-MAR在定量指标和视觉比较方面的优越性优于最先进的MAR方法。值得注意的是，FD-MAR不需要精确的金属口罩，这在临床常规中非常重要。

Figure 1: Example inpainting results of our method on images of natural scene, face and texture. Missing regions are shown in white. In each pair, the left is input image and right is the direct output of our trained generative neural networks without any post-processing.

Fig. 1. Masked images and corresponding inpainted results using our partialconvolution based network.

与传统CS方法相比，基于深度学习（DL）的压缩传感（CS）已被应用于图像重建的更好性能。但是，大多数现有的DL方法都利用逐个块测量，每个测量块分别恢复，这引入了重建的有害阻塞效应。此外，这些方法的神经元接受场被设计为每一层的大小相同，这只能收集单尺度的空间信息，并对重建过程产生负面影响。本文提出了一个新的框架，称为CS测量和重建的多尺度扩张卷积神经网络（MSDCNN）。在测量期间，我们直接从训练有素的测量网络中获得所有测量，该测量网络采用了完全卷积结构，并通过输入图像与重建网络共同训练。它不必将其切成块，从而有效地避免了块效应。在重建期间，我们提出了多尺度特征提取（MFE）体系结构，以模仿人类视觉系统以捕获同一功能映射的多尺度特征，从而增强了框架的图像特征提取能力并提高了框架的性能并提高了框架的性能。影像重建。在MFE中，有多个并行卷积通道以获取多尺度特征信息。然后，将多尺度功能信息融合在一起，并以高质量重建原始图像。我们的实验结果表明，根据PSNR和SSIM，该提出的方法对最新方法的性能有利。

Figure 1: (a) and (b): input images; (c): the "two-face" generated by naively copying the left half from (a) and the right half from (b); (d): the "two-face" generated by our Image2StyleGAN++ framework.

For satellite images, the presence of clouds presents a problem as clouds obscure more than half to two-thirds of the ground information. This problem causes many issues for reliability in a noise-free environment to communicate data and other applications that need seamless monitoring. Removing the clouds from the images while keeping the background pixels intact can help address the mentioned issues. Recently, deep learning methods have become popular for researching cloud removal by demonstrating promising results, among which Generative Adversarial Networks (GAN) have shown considerably better performance. In this project, we aim to address cloud removal from satellite images using AttentionGAN and then compare our results by reproducing the results obtained using traditional GANs and auto-encoders. We use RICE dataset. The outcome of this project can be used to develop applications that require cloud-free satellite images. Moreover, our results could be helpful for making further research improvements.

在过去十年中，深度学习的出现极大地帮助进步了图像。尽管实现了有希望的性能，但基于深度学习的载体算法仍然因结构和上下文特征的融合而造成的失真而挣扎，这些特征通常是从卷积编码器的深层和浅层层中获得的。在这一观察过程中，我们提出了一个新型的渐进式介绍网络，该网络维持了处理的图像的结构和上下文完整性。更具体地说，受高斯和拉普拉斯金字塔的启发，提出的网络的核心是一个名为GLE的特征提取模块。堆叠GLE模块使网络能够从不同的图像频率组件中提取图像特征。这种能力对于维持结构和上下文完整性很重要，对于高频组件对应于结构信息，而低频组件对应于上下文信息。提出的网络利用GLE功能以迭代方式逐渐以损坏的图像填充缺失区域。我们的基准测试实验表明，所提出的方法在许多最先进的介绍算法上取得了明显的改善。

The processing and recognition of geoscience images have wide applications. Most of existing researches focus on understanding the high-quality geoscience images by assuming that all the images are clear. However, in many real-world cases, the geoscience images might contain occlusions during the image acquisition. This problem actually implies the image inpainting problem in computer vision and multimedia. To the best of our knowledge, all the existing image inpainting algorithms learn to repair the occluded regions for a better visualization quality, they are excellent for natural images but not good enough for geoscience images by ignoring the geoscience related tasks. This paper aims to repair the occluded regions for a better geoscience task performance with the advanced visualization quality simultaneously, without changing the current deployed deep learning based geoscience models. Because of the complex context of geoscience images, we propose a coarse-to-fine encoder-decoder network with coarse-to-fine adversarial context discriminators to reconstruct the occluded image regions. Due to the limited data of geoscience images, we use a MaskMix based data augmentation method to exploit more information from limited geoscience image data. The experimental results on three public geoscience datasets for remote sensing scene recognition, cross-view geolocation and semantic segmentation tasks respectively show the effectiveness and accuracy of the proposed method.

具有较高纹理区域（例如去除面罩）的逼真的图像恢复具有挑战性。最新的基于深度学习的方法无法保证高保真性，由于梯度问题消失（例如，在初始层中略有更新）和空间信息损失而导致训练不稳定。它们还取决于中介阶段，例如分割含义需要外部掩码。本文提出了一种使用残留注意的盲面膜面孔涂底漆方法，以清除面膜并用细节恢复面部，同时用地面真相面部结构最大程度地减少差距。残留的块将信息馈送到下一层，直接进入大约两个啤酒花的图层，以解决梯度消失的问题。此外，注意单元帮助模型专注于相关的面具区域，减少资源并更快地使模型。公开可用的Celeba数据集的广泛实验显示了我们提出的模型的可行性和鲁棒性。代码可在\ url {https://github.com/mdhosen/mask-face-inpainting-using-isidual-cription-unet}中获得。

通过利用深层神经网络（DNN）来建模各种先前的信息以恢复图像，许多最近的介绍作品都取得了令人印象深刻的结果。不幸的是，这些方法的性能在很大程度上受到了香草卷积神经网络（CNNS）骨架的表示能力的限制。另一方面，具有自我监督的预训练的视觉变压器（VIT）显示出许多视觉识别和许多视觉识别的潜力对象检测任务。一个自然的问题是，VIT主链是否可以大大受益？但是，直接替换在内部网络中的新骨干是不是很普遍的，因为indpainting与识别任务根本不同。为此，本文将基于训练的胶面膜自动编码器（MAE）结合到了indpaining模型中，该模型具有更丰富的信息学先验，以增强涂漆过程。此外，我们建议使用MAE的注意力学先验，以使介绍模型学习掩盖区域和未掩盖区域之间更多的长距离依赖关系。已经讨论了有关本文内部介绍和自我监督的预训练模型的足够消融。此外，对Ploce2和FFHQ的实验证明了我们提出的模型的有效性。代码和预培训模型在https://github.com/ewrfcas/mae-far中发布。