Shadow removal improves the visual quality and legibility of digital copies of documents. However, document shadow removal remains an unresolved subject. Traditional techniques rely on heuristics that vary from situation to situation. Given the quality and quantity of current public datasets, the majority of neural network models are ill-equipped for this task. In this paper, we propose a Transformer-based model for document shadow removal that utilizes shadow context encoding and decoding in both shadow and shadow-free regions. Additionally, shadow detection and pixel-level enhancement are included in the whole coarse-to-fine process. On the basis of comprehensive benchmark evaluations, it is competitive with state-of-the-art methods.
translated by 谷歌翻译
去除阴影的关键是通过非阴影区域的指导恢复阴影区域的内容。由于远程建模不足,基于CNN的方法无法彻底研究非阴影地区的信息。为了解决这个问题,我们提出了一个新颖的清洁效果图网络(CNSNET),并具有面向阴影的自适应归一化(SOAN)模块,并根据阴影蒙版带有带有变压器(SAAT)模块的阴影吸引的聚合。在影子面罩的指导下,Soan模块制定了非阴影区域的统计数据,并将它们适应到阴影区域以进行区域修复。 SAAT模块利用阴影面膜来精确指导每个阴影像素的修复,通过考虑来自无阴影区域的高度相关像素以进行全球像素恢复。在三个基准数据集(ISTD,ISTD+和SRD)上进行了广泛的实验表明,我们的方法可实现出色的脱落性能。
translated by 谷歌翻译
旨在恢复图像中影子区域的原始强度,并使它们与剩余的非阴影区域兼容,而没有跟踪,删除阴影是一个非常具有挑战性的问题,使许多下游图像/视频相关的任务受益。最近,变形金刚通过捕获全局像素相互作用来显示它们在各种应用中的强大能力,并且这种能力在删除阴影时非常可取。然而,由于以下两个原因,应用变压器促进阴影去除是非平凡的:1)修补程序操作不适用于由于不规则的阴影形状而导致阴影去除; 2)阴影去除只需要从非阴影区域到阴影区域的单向交互,而不是图像中所有像素之间的共同双向相互作用。在本文中,我们提出了一种新型的跨区域变压器,即CRFormer,用于去除阴影,它与现有变压器的不同之处仅通过考虑从非阴影区域到阴影区域的像素相互作用而不将图像分为斑块。这是通过精心设计的区域感知的跨注意操作来实现的,该操作可以汇总以非阴影区域特征为条件的恢复的阴影区域特征。与其他最先进的方法相比,关于ISTD,AISTD,SRD和视频阴影删除数据集的广泛实验证明了我们方法的优势。
translated by 谷歌翻译
在许多收集的图像中,由于未经污染的图像对于许多下游多媒体任务至关重要,因此阴影删除引起了人们的关注。当前的方法考虑了阴影和非阴影区域的相同卷积操作,同时忽略了阴影区域和非阴影区域的颜色映射之间的巨大差距,从而导致重建图像的质量差和沉重的计算负担。为了解决这个问题,本文介绍了一个新颖的插件阴影感知动态卷积(SADC)模块,以使阴影区域与非阴影区域之间的相互依赖性解除。受到以下事实的启发:非阴影区域的颜色映射更易于学习,我们的SDC以计算上的轻巧卷积模块的方式处理非阴影区域,并以计算上的廉价方式处理,并使用更复杂的卷积模块恢复阴影区域图像重建的质量。鉴于非阴影区域通常包含更多背景颜色信息,我们进一步开发了一种新型的卷积内蒸馏损失,以增强从非阴影区域到阴影区域的信息流。在ISTD和SRD数据集上进行的广泛实验表明,我们的方法在许多最先进的情况下取得了更好的阴影去除性能。我们的代码可从https://github.com/xuyimin0926/sadc获得。
translated by 谷歌翻译
本文着重于当前过度参数化的阴影去除模型的局限性。我们提出了一个新颖的轻型深神经网络,该网络在实验室色彩空间中处理阴影图像。提出的称为“实验室网络”的网络是由以下三个观察结果激励的:首先,实验室颜色空间可以很好地分离亮度信息和颜色属性。其次,顺序堆叠的卷积层无法完全使用来自不同接受场的特征。第三,非阴影区域是重要的先验知识,可以减少阴影和非阴影区域之间的剧烈差异。因此,我们通过涉及两个分支结构的结构来设计实验室网络:L和AB分支。因此,与阴影相关的亮度信息可以很好地处理在L分支中,而颜色属性则很好地保留在AB分支中。此外,每个分支由几个基本块,局部空间注意模块(LSA)和卷积过滤器组成。每个基本块由多个平行的扩张扩张率的扩张卷积组成,以接收不同的接收场,这些接收场具有不同的网络宽度,以节省模型参数和计算成本。然后,构建了增强的通道注意模块(ECA),以从不同的接受场聚集特征,以更好地去除阴影。最后,进一步开发了LSA模块,以充分利用非阴影区域中的先前信息来清洁阴影区域。我们在ISTD和SRD数据集上执行广泛的实验。实验结果表明,我们的实验室网络井胜过最先进的方法。同样,我们的模型参数和计算成本降低了几个数量级。我们的代码可在https://github.com/ngrxmu/lab-net上找到。
translated by 谷歌翻译
如今,广泛使用了数字化文件,如科学文章,税务表,发票,合同文件和历史文本。由于各种原因,这些图像可能会劣化或损坏,包括捕获图像时的差的情况,阴影,扫描它们时,噪音和模糊,老化,墨水染色,通过,水印,印模等。文档图像增强和恢复在许多自动文档分析和识别任务中发挥至关重要的作用,例如使用光学字符识别(OCR)的内容提取。随着最近深入学习的进步,提出了许多方法来提高这些文档图像的质量。在本文中,我们审查了基于深入的学习方法,数据集和指标,用于不同的文档图像增强问题。我们提供全面概述六种不同文档图像增强任务的基于深度学习的方法,包括二值化,脱落,去噪,偏差,水印去除和暗影去除。我们总结了每个任务的主要最先进的工作,并讨论其特征,挑战和局限性。我们介绍了多个文件图像增强任务,这些任务不仅仅是注意力,包括在曝光和暴露校正和漏洞中,并识别未来研究的其他一些有前途的研究方向和机会。
translated by 谷歌翻译
在本文中,我们提出了端到端的水疗形式,以从单个阴影图像中恢复无阴影的图像。与需要两个步骤进行阴影检测然后再删除阴影的传统方法不同,Spa-Former将这些步骤统一为一个,这是一个单阶段网络,能够直接学习阴影和无阴影之间的映射功能,不需要一个单独的阴影检测。因此,SPA形式适应于实际图像去阴影,以适应投影在不同语义区域上的阴影。SPA形式由变压器层和一系列关节傅立叶变压残留块和两轮关节空间注意力组成。本文中的网络能够在达到非常快速的处理效率的同时处理任务。我们的代码在https://github.com/ zhangbaijin/spatial-transformer-shadow-removal上重新发布
translated by 谷歌翻译
Recent deep learning methods have achieved promising results in image shadow removal. However, their restored images still suffer from unsatisfactory boundary artifacts, due to the lack of degradation prior embedding and the deficiency in modeling capacity. Our work addresses these issues by proposing a unified diffusion framework that integrates both the image and degradation priors for highly effective shadow removal. In detail, we first propose a shadow degradation model, which inspires us to build a novel unrolling diffusion model, dubbed ShandowDiffusion. It remarkably improves the model's capacity in shadow removal via progressively refining the desired output with both degradation prior and diffusive generative prior, which by nature can serve as a new strong baseline for image restoration. Furthermore, ShadowDiffusion progressively refines the estimated shadow mask as an auxiliary task of the diffusion generator, which leads to more accurate and robust shadow-free image generation. We conduct extensive experiments on three popular public datasets, including ISTD, ISTD+, and SRD, to validate our method's effectiveness. Compared to the state-of-the-art methods, our model achieves a significant improvement in terms of PSNR, increasing from 31.69dB to 34.73dB over SRD dataset.
translated by 谷歌翻译
Most shadow removal methods rely on the invasion of training images associated with laborious and lavish shadow region annotations, leading to the increasing popularity of shadow image synthesis. However, the poor performance also stems from these synthesized images since they are often shadow-inauthentic and details-impaired. In this paper, we present a novel generation framework, referred to as HQSS, for high-quality pseudo shadow image synthesis. The given image is first decoupled into a shadow region identity and a non-shadow region identity. HQSS employs a shadow feature encoder and a generator to synthesize pseudo images. Specifically, the encoder extracts the shadow feature of a region identity which is then paired with another region identity to serve as the generator input to synthesize a pseudo image. The pseudo image is expected to have the shadow feature as its input shadow feature and as well as a real-like image detail as its input region identity. To fulfill this goal, we design three learning objectives. When the shadow feature and input region identity are from the same region identity, we propose a self-reconstruction loss that guides the generator to reconstruct an identical pseudo image as its input. When the shadow feature and input region identity are from different identities, we introduce an inter-reconstruction loss and a cycle-reconstruction loss to make sure that shadow characteristics and detail information can be well retained in the synthesized images. Our HQSS is observed to outperform the state-of-the-art methods on ISTD dataset, Video Shadow Removal dataset, and SRD dataset. The code is available at https://github.com/zysxmu/HQSS.
translated by 谷歌翻译
当检测较小,不清楚或具有模糊边缘时的阴影区域时,电流阴影检测方法表现不佳。在这项工作中,我们试图在两个前面解决这个问题。首先,我们提出了一个精细的上下文感知阴影检测网络(FCSD-NET),在那里我们约束接收字段大小并专注于低级功能以学习精细上下文的功能更好。其次,我们提出了一种新的学习策略,称为恢复来检测(R2D),在那里我们表明,当深度神经网络训练恢复时(暗影删除),它也会学习有意义的功能来描绘阴影面具。为了利用阴影检测和删除任务的这种互补性,我们培训辅助网络进行影子拆卸,并提出互补特征学习块(CFL),以从阴影清除网络到阴影检测网络学习和融合有意义的功能。我们使用多个数据集的R2D学习策略培训所提出的网络FCSD-Net。三个公共影子检测数据集(ISTD,SBU和UCF)的实验结果表明,与其他最近的方法相比,我们的方法能够更好地检测到微观上下文的同时提高阴影检测性能。
translated by 谷歌翻译
图像协调旨在根据具体背景修改复合区域的颜色。以前的工作模型是使用Unet系列结构的像素-ID映像转换。然而,模型大小和计算成本限制了模型在边缘设备和更高分辨率图像上的能力。为此,我们首次提出了一种新的空间分离曲线渲染网络(S $ ^ 2 $ CRNET),首次进行高效和高分辨率的图像协调。在S $ ^ 2 $ CRNET中,我们首先将屏蔽前景和背景的缩略图中提取空间分离的嵌入物。然后,我们设计一种曲线渲染模块(CRM),其使用线性层学习并结合空间特定知识,以生成前景区域中的方向曲线映射的参数。最后,我们使用学习的颜色曲线直接渲染原始的高分辨率图像。此外,我们还通过Cascaded-CRM和语义CRM分别进行了两个框架的延伸,分别用于级联细化和语义指导。实验表明,与以前的方法相比,该方法降低了90%以上的参数,但仍然达到了合成的iHarmony4和现实世界DIH测试集的最先进的性能。此外,我们的方法可以在0.1秒内在更高分辨率图像(例如,2048美元\ times2048 $)上顺利工作,而不是所有现有方法的GPU计算资源。代码将在\ url {http://github.com/stefanleong/s2crnet}中提供。
translated by 谷歌翻译
降解的图像通常存在于字符图像的一般来源中,从而导致特征识别结果不令人满意。现有的方法有专门的努力来恢复降级的角色图像。但是,这些方法获得的降解结果似乎并不能提高字符识别性能。这主要是因为当前方法仅着眼于像素级信息,而忽略了角色的关键特征,例如其字形,从而在脱索过程中导致字符标志性损害。在本文中,我们介绍了一个基于字形融合和注意力机制(即Churformer)的新型通用框架,以精确地恢复角色图像而不改变其固有的字形。与现有的框架不同,Charformer引入了一个并行目标任务,用于捕获其他信息并将其注入DICONISE骨架的图像,这将在字符图像DeNoising期间保持角色字形的一致性。此外,我们利用基于注意力的网络进行全局本地特征交互,这将有助于处理盲目的denoising和增强deNoSising绩效。我们将Charformer与多个数据集上的最新方法进行比较。实验结果表明了杂形和质量上的优势。
translated by 谷歌翻译
在本文中,我们提出了一个新颖的统一框架,用于突出显示多片的检测和去除,包括合成图像,面部图像,自然图像和文本图像。该框架由三个主要组件组成,突出显示了特征提取器模块,突出显示粗卸下模块和凸显的精炼拆卸模块。首先,高光功能提取器模块可以将突出显示功能和非高光功能与原始突出显示图像直接分开。然后,使用粗大的拆卸网络获得了突出显示的拆卸图像。为了进一步提高突出显示的效果,最终使用基于上下文突出显示注意机制的精制突出显示模块获得了精制的突出显示图像。在多个场景中的广泛实验结果表明,所提出的框架可以获得突出显示的出色视觉效果,并获得最新的结果,从而获得了几种定量评估指标。我们的算法首次在视频重点删除中首次应用,并有令人鼓舞的结果。
translated by 谷歌翻译
高动态范围(HDR)DEGHOSTING算法旨在生成具有现实细节的无幽灵HDR图像。受到接收场的局部性的限制,现有的基于CNN的方法通常容易产生大型运动和严重饱和的情况下产生鬼影和强度扭曲。在本文中,我们提出了一种新颖的背景感知视觉变压器(CA-VIT),用于无幽灵的高动态范围成像。 CA-VIT被设计为双分支结构,可以共同捕获全球和本地依赖性。具体而言,全球分支采用基于窗口的变压器编码器来建模远程对象运动和强度变化以解决hosting。对于本地分支,我们设计了局部上下文提取器(LCE)来捕获短范围的图像特征,并使用频道注意机制在提取的功能上选择信息丰富的本地详细信息,以补充全局分支。通过将CA-VIT作为基本组件纳入基本组件,我们进一步构建了HDR-Transformer,这是一个分层网络,以重建高质量的无幽灵HDR图像。在三个基准数据集上进行的广泛实验表明,我们的方法在定性和定量上优于最先进的方法,而计算预算大大降低。代码可从https://github.com/megvii-research/hdr-transformer获得
translated by 谷歌翻译
在恶劣天气下降雪场景的图像恢复是一项艰巨的任务。雪图像具有复杂的降解,并在干净的图像上混乱,改变了干净的图像的分布。以前基于CNN的方法由于缺乏特定的全球建模能力,因此在恢复雪场景中完全恢复了雪场的挑战。在本文中,我们将视觉变压器应用于从单个图像中去除积雪的任务。具体而言,我们建议沿通道拆分的并行网络体系结构分别执行本地功能改进和全局信息建模。我们利用频道洗牌操作来结合其各自的优势以增强网络性能。其次,我们提出了MSP模块,该模块利用多规模的AVGPOOL来汇总不同大小的信息,并同时对多头自我注意力进行多尺度投影自我注意,以提高模型在不同规模下降下的表示能力。最后,我们设计了一个轻巧,简单的本地捕获模块,可以完善模型的本地捕获能力。在实验部分,我们进行了广泛的实验以证明我们方法的优越性。我们比较了三个雪场数据集上的先前清除方法。实验结果表明,我们的方法超过了更少的参数和计算的最新方法。在CSD测试数据集上,我们实现了1.99dB和SSIM 0.03的实质增长。在SRR和SNOW100K数据集上,与Transweather方法相比,我们还增加了2.47dB和1.62dB,在SSIM中提高了0.03。在视觉比较部分中,我们的MSP形式比现有方法获得了更好的视觉效果,证明了我们方法的可用性。
translated by 谷歌翻译
由于其在隐私保护,文档修复和文本编辑方面的各种应用,因此删除文本引起了越来越多的关注。它显示出深度神经网络的重大进展。但是,大多数现有方法通常会为复杂的背景产生不一致的结果。为了解决此问题,我们提出了一个上下文引导的文本删除网络,称为CTRNET。 Ctrnet探索了低级结构和高级判别上下文特征,作为指导背景恢复过程的先验知识。我们进一步提出了具有CNNS和Transformer-编码器的局部全球含量建模(LGCM)块,以捕获局部特征并在全球像素之间建立长期关系。最后,我们将LGCM与特征建模和解码的上下文指南合并。在基准数据集,Scut-Enstext和Scut-Syn上进行的实验表明,CTRNET显着胜过现有的最新方法。此外,关于考试论文的定性实验也证明了我们方法的概括能力。代码和补充材料可在https://github.com/lcy0604/ctrnet上获得。
translated by 谷歌翻译
我们提出了一个深层神经网络,用于从不受约束的肖像图像中删除不良阴影特征,从而恢复基础纹理。我们的培训计划纳入了三种正则化策略:蒙面损失,以强调高频阴影特征;软阴影损失,改善了对照明微妙变化的敏感性;和阴影偏移估计,以监督阴影和纹理的分离。与最先进的方法相比,我们的方法表明了质量和概括的改善。我们进一步展示了我们的愉悦方法如何增强光敏的计算机视觉任务任务(例如面部重新放置和语义解析)的性能,从而使它们能够处理极端的照明条件。
translated by 谷歌翻译
从单个图像中删除阴影通常仍然是一个开放的问题。大多数现有的基于学习的方法都使用监督的学习,并需要大量的配对图像(阴影和相应的非阴影图像)进行培训。最近的无监督方法,面具 - 饰面方法解决了这一限制。但是,它需要二进制掩码来表示阴影区域,从而使其不适合柔软的阴影。为了解决这个问题,在本文中,我们提出了一个无监督的域分类器引导删除网络DC-Shadownet。具体而言,我们建议将无阴影/无阴影域分类器集成到发电机及其歧视器中,从而使它们能够专注于阴影区域。为了训练我们的网络,我们引入了基于基于物理的无阴影色彩,阴影的感知特征和边界平滑度的新颖损失。此外,我们表明我们的无监督网络可用于测试时间培训,以进一步改善结果。我们的实验表明,所有这些新型组件允许我们的方法处理柔和的阴影,并且比现有的最新阴影去除方法在定量和定性上都能在硬阴影上表现更好。
translated by 谷歌翻译
我们提出了一种新颖的暗影拆除深层学习方法。灵感来自暗影形成的物理模型,我们使用线性照明变换来模拟图像中的阴影效果,允许阴影图像表示为无影子图像,阴影参数和遮罩层的组合。我们使用两个深网络,即SP-Net和M-Net,分别预测阴影参数和阴影遮罩。该系统允许我们删除图像的影子效果。然后,我们采用了一个素食网络,I-Net,以进一步改进结果。我们在最具挑战性的阴影删除数据集(ISTD)上培训并测试我们的框架。我们的方法通过20 \%的阴影区域的根均线误差(RMSE)来改善最先进的。此外,这种分解允许我们制定基于补丁的弱监督暗影去除方法。这种型号可以培训,没有任何暗影图像(非常麻烦的图像),与使用完全配对的阴影和无影子图像训练的最先进的方法相比,实现了竞争阴影去除结果。最后,我们介绍了SBU-timelapse,一个视频阴影删除数据集,用于评估阴影清除方法。
translated by 谷歌翻译
Image restoration under hazy weather condition, which is called single image dehazing, has been of significant interest for various computer vision applications. In recent years, deep learning-based methods have achieved success. However, existing image dehazing methods typically neglect the hierarchy of features in the neural network and fail to exploit their relationships fully. To this end, we propose an effective image dehazing method named Hierarchical Contrastive Dehazing (HCD), which is based on feature fusion and contrastive learning strategies. HCD consists of a hierarchical dehazing network (HDN) and a novel hierarchical contrastive loss (HCL). Specifically, the core design in the HDN is a Hierarchical Interaction Module, which utilizes multi-scale activation to revise the feature responses hierarchically. To cooperate with the training of HDN, we propose HCL which performs contrastive learning on hierarchically paired exemplars, facilitating haze removal. Extensive experiments on public datasets, RESIDE, HazeRD, and DENSE-HAZE, demonstrate that HCD quantitatively outperforms the state-of-the-art methods in terms of PSNR, SSIM and achieves better visual quality.
translated by 谷歌翻译