从图像中删除像雨,雾和雪一样的恶劣天气条件是许多应用中的重要问题。在文献中提出的大多数方法旨在处理只是去除一种劣化。最近,建议使用神经架构搜索的基于CNN的方法(一体化),以一次去除所有天气条件。但是,它具有大量参数,因为它使用多个编码器来满足每个天气删除任务,并且仍然具有改进其性能的范围。在这项工作中,我们专注于开发一个有效的解决方案,以了解所有恶劣的恶劣气象删除问题。为此,我们提出了一个基于变压器的端到端模型的Transweather,只需一个编码器和可通过任何天气状况恢复图像恢复的解码器。具体地,我们利用了一种使用内部变压器块的新型变压器编码器,以增强贴片内的注意力,以有效地消除较小的天气降级。我们还介绍了一个具有学习天气型嵌入的变压器解码器,可调整​​手头的天气降级。 Transweather通过一体化网络以及针对特定任务的微调的方法跨越多个测试数据集的显着改进。特别是,Transweather在Test1(Rain + Fog)DataSet上的当前最先进的最新状态将+6.34 PSNR推动雪橇上的Test1(Rain + Fog)DataSet +4.93 PSNR和rainDrop测试数据集上的+3.11 psnr。近天气天气也在现实世界测试图像上验证,发现比以前的方法更有效。可以在https://github.com/jeya-maria-jose/transweather访问实施代码和预先训练的权重。
translated by 谷歌翻译
在恶劣天气下降雪场景的图像恢复是一项艰巨的任务。雪图像具有复杂的降解,并在干净的图像上混乱,改变了干净的图像的分布。以前基于CNN的方法由于缺乏特定的全球建模能力,因此在恢复雪场景中完全恢复了雪场的挑战。在本文中,我们将视觉变压器应用于从单个图像中去除积雪的任务。具体而言,我们建议沿通道拆分的并行网络体系结构分别执行本地功能改进和全局信息建模。我们利用频道洗牌操作来结合其各自的优势以增强网络性能。其次,我们提出了MSP模块,该模块利用多规模的AVGPOOL来汇总不同大小的信息,并同时对多头自我注意力进行多尺度投影自我注意,以提高模型在不同规模下降下的表示能力。最后,我们设计了一个轻巧,简单的本地捕获模块,可以完善模型的本地捕获能力。在实验部分,我们进行了广泛的实验以证明我们方法的优越性。我们比较了三个雪场数据集上的先前清除方法。实验结果表明,我们的方法超过了更少的参数和计算的最新方法。在CSD测试数据集上,我们实现了1.99dB和SSIM 0.03的实质增长。在SRR和SNOW100K数据集上,与Transweather方法相比,我们还增加了2.47dB和1.62dB,在SSIM中提高了0.03。在视觉比较部分中,我们的MSP形式比现有方法获得了更好的视觉效果,证明了我们方法的可用性。
translated by 谷歌翻译
在本文中,我们呈现了UFFORER,一种用于图像恢复的有效和高效的变换器架构,其中我们使用变压器块构建分层编码器解码器网络。在UFFAR中,有两个核心设计。首先,我们介绍了一个新颖的本地增强型窗口(Lewin)变压器块,其执行基于窗口的自我关注而不是全局自我关注。它显着降低了高分辨率特征映射的计算复杂性,同时捕获本地上下文。其次,我们提出了一种以多尺度空间偏置的形式提出了一种学习的多尺度恢复调制器,以调整UFFORER解码器的多个层中的特征。我们的调制器展示了卓越的能力,用于恢复各种图像恢复任务的详细信息,同时引入边缘额外参数和计算成本。通过这两个设计提供支持,UFFORER享有高能力,可以捕获本地和全局依赖性的图像恢复。为了评估我们的方法,在几种图像恢复任务中进行了广泛的实验,包括图像去噪,运动脱棕,散焦和污染物。没有钟声和口哨,与最先进的算法相比,我们的UFormer实现了卓越的性能或相当的性能。代码和模型可在https://github.com/zhendongwang6/uformer中找到。
translated by 谷歌翻译
否决单图是一项普遍但又具有挑战性的任务。复杂的降雪降解和各种降解量表需要强大的代表能力。为了使否定的网络看到各种降雪并建模本地细节和全球信息的上下文相互作用,我们提出了一种称为Snowformer的功能强大的建筑。首先,它在编码器中执行比例感知功能聚合,以捕获各种降解的丰富积雪信息。其次,为了解决大规模降级,它使用了解码器中的新颖上下文交互变压器块,该互动器块在全球上下文交互中从前范围内的局部细节和全局信息进行了上下文交互。并引入本地上下文互动可改善场景细节的恢复。第三,我们设计了一个异质的特征投影头,该功能投影头逐渐融合了编码器和解码器的特征,并将精制功能投影到干净的图像中。广泛的实验表明,所提出的雪诺形雪孔比其他SOTA方法取得了重大改进。与SOTA单图像HDCW-NET相比,它在CSD测试集上将PSNR度量提高了9.2dB。此外,与一般图像恢复体系结构NAFNET相比,PSNR的增加5.13db,这验证了我们的雪诺形雪地降雪任务的强大表示能力。该代码在\ url {https://github.com/ephemeral182/snowformer}中发布。
translated by 谷歌翻译
学习自然图像恢复的一般性先验是一项重要但具有挑战性的任务。早期方法主要涉及手工制作的先验,包括归一化稀疏性,L_0梯度,暗通道先验等。最近,深层神经网络已用于学习各种图像先验,但不能保证概括。在本文中,我们提出了一种新颖的方法,该方法将任务敏捷的先验嵌入到变压器中。我们的方法称为任务不合时宜的先验嵌入(磁带),由两个阶段组成,即,任务不合时宜的预训练和特定于任务的微调,第一阶段将有关自然图像的先验知识嵌入到变压器中,第二阶段嵌入了第二阶段。阶段提取知识以帮助下游图像恢复。对各种降解的实验验证了胶带的有效性。根据PSNR的图像恢复性能提高了多达1.45dB,甚至超过了特定于任务的算法。更重要的是,磁带显示了从退化的图像中解开广义图像先验的能力,这些图像具有良好的转移能力,可以转移到未知的下游任务。
translated by 谷歌翻译
最近的变形金刚和多层Perceptron(MLP)模型的进展为计算机视觉任务提供了新的网络架构设计。虽然这些模型在许多愿景任务中被证明是有效的,但在图像识别之类的愿景中,仍然存在挑战,使他们适应低级视觉。支持高分辨率图像和本地注意力的局限性的不灵活性可能是使用变压器和MLP在图像恢复中的主要瓶颈。在这项工作中,我们介绍了一个多轴MLP基于MARIC的架构,称为Maxim,可用作用于图像处理任务的高效和灵活的通用视觉骨干。 Maxim使用UNET形的分层结构,并支持由空间门控MLP启用的远程交互。具体而言,Maxim包含两个基于MLP的构建块:多轴门控MLP,允许局部和全球视觉线索的高效和可扩展的空间混合,以及交叉栅栏,替代跨关注的替代方案 - 细分互补。这两个模块都仅基于MLP,而且还受益于全局和“全卷积”,两个属性对于图像处理是可取的。我们广泛的实验结果表明,所提出的Maxim模型在一系列图像处理任务中实现了十多个基准的最先进的性能,包括去噪,失败,派热,脱落和增强,同时需要更少或相当的数量参数和拖鞋而不是竞争模型。
translated by 谷歌翻译
我们提出了一种新的零射多帧图像恢复方法,用于去除连续帧中变化的不需要的障碍物(例如降雨,雪和莫尔图案)。它有三个阶段:变压器预训练,零射恢复和硬贴片细化。使用预先训练的变压器,我们的模型能够在真实图像信息和阻碍元件之间讲述运动差异。对于零拍摄图像恢复,我们设计了一种由暹罗变换器,编码器和解码器构建的新型模型,称为暹罗。每个变压器具有时间关注层和几个自我注意层,以捕获多个帧的时间和空间信息。只有在去噪任务上进行预训练(自我监督),Siamtrans在三个不同的低级视觉任务中测试了三种不同的低级视觉任务(派生,发誓和Desnowing)。与相关方法相比,我们的表现效果最佳,甚至优于具有监督学习的表现。
translated by 谷歌翻译
高动态范围(HDR)DEGHOSTING算法旨在生成具有现实细节的无幽灵HDR图像。受到接收场的局部性的限制,现有的基于CNN的方法通常容易产生大型运动和严重饱和的情况下产生鬼影和强度扭曲。在本文中,我们提出了一种新颖的背景感知视觉变压器(CA-VIT),用于无幽灵的高动态范围成像。 CA-VIT被设计为双分支结构,可以共同捕获全球和本地依赖性。具体而言,全球分支采用基于窗口的变压器编码器来建模远程对象运动和强度变化以解决hosting。对于本地分支,我们设计了局部上下文提取器(LCE)来捕获短范围的图像特征,并使用频道注意机制在提取的功能上选择信息丰富的本地详细信息,以补充全局分支。通过将CA-VIT作为基本组件纳入基本组件,我们进一步构建了HDR-Transformer,这是一个分层网络,以重建高质量的无幽灵HDR图像。在三个基准数据集上进行的广泛实验表明,我们的方法在定性和定量上优于最先进的方法,而计算预算大大降低。代码可从https://github.com/megvii-research/hdr-transformer获得
translated by 谷歌翻译
这项工作研究了关节降雨和雾霾清除问题。在现实情况下,雨水和阴霾通常是两个经常共同发生的共同天气现象,可以极大地降低场景图像的清晰度和质量,从而导致视觉应用的性能下降,例如自动驾驶。但是,在场景图像中共同消除雨水和雾霾是艰难而挑战,在那里,阴霾和雨水的存在以及大气光的变化都可以降低现场信息。当前的方法集中在污染部分上,因此忽略了受大气光的变化影响的场景信息的恢复。我们提出了一个新颖的深神经网络,称为不对称双重编码器U-NET(ADU-NET),以应对上述挑战。 ADU-NET既产生污染物残留物,又产生残留的现场,以有效地去除雨水和雾霾,同时保留场景信息的保真度。广泛的实验表明,我们的工作在合成数据和现实世界数据基准(包括RainCityScapes,Bid Rain和Spa-data)的相当大的差距上优于现有的最新方法。例如,我们在RainCityScapes/spa-data上分别将最新的PSNR值提高了2.26/4.57。代码将免费提供给研究社区。
translated by 谷歌翻译
在冬季场景中,在雪下拍摄的图像的降解可能非常复杂,其中雪降解的空间分布因图像而异。最近的方法采用深层神经网络,直接从雪图像中恢复清洁的场景。但是,由于复杂的雪降解差异导致悖论,实时实现可靠的高清图像是一个巨大的挑战。我们开发了一种新型有效的金字塔网络,具有非对称编码器架构,用于实时高清图像。我们提出的网络的一般思想是通过功能中的多尺度特征流充分利用多尺度的特征流。与以前最先进的方法相比,我们的方法实现了更好的复杂性 - 性能取舍,并有效地处理了高清和超高清图像的处理困难。在三个大规模图像上进行的广泛实验表明,我们的方法超过了所有最新方法,既有数量又定性地超过了大幅度,从而将PSNR度量从31.76 dB提高到34.10 dB,升至34.10 dB。 SRRS测试数据集上的28.29 dB至30.87 dB。
translated by 谷歌翻译
压缩在通过限制系统(例如流媒体服务,虚拟现实或视频游戏)等系统的有效传输和存储图像和视频中起着重要作用。但是,不可避免地会导致伪影和原始信息的丢失,这可能会严重降低视觉质量。由于这些原因,压缩图像的质量增强已成为流行的研究主题。尽管大多数最先进的图像恢复方法基于卷积神经网络,但基于Swinir等其他基于变压器的方法在这些任务上表现出令人印象深刻的性能。在本文中,我们探索了新型的Swin Transformer V2,以改善图像超分辨率的Swinir,尤其是压缩输入方案。使用这种方法,我们可以解决训练变压器视觉模型中的主要问题,例如训练不稳定性,预训练和微调之间的分辨率差距以及数据饥饿。我们对三个代表性任务进行实验:JPEG压缩伪像去除,图像超分辨率(经典和轻巧)以及压缩的图像超分辨率。实验结果表明,我们的方法SWIN2SR可以改善SWINIR的训练收敛性和性能,并且是“ AIM 2022挑战压缩图像和视频的超分辨率”的前5个解决方案。
translated by 谷歌翻译
传统的基于CNNS的脱水模型遭受了两个基本问题:脱水框架(可解释性有限)和卷积层(内容无关,无效地学习远程依赖信息)。在本文中,我们提出了一种新的互补特征增强框架,其中互补特征由几个互补的子任务学习,然后一起用于提高主要任务的性能。新框架的一个突出优势之一是,有目的选择的互补任务可以专注于学习弱依赖性的互补特征,避免重复和无效的网络学习。我们根据这样一个框架设计了一种新的脱瘟网络。具体地,我们选择内在图像分解作为补充任务,其中反射率和阴影预测子任务用于提取色彩和纹理的互补特征。为了有效地聚合这些互补特征,我们提出了一种互补特征选择模块(CFSM),以选择图像脱水的更有用功能。此外,我们介绍了一个名为Hybrid Local-Global Vision变换器(Hylog-Vit)的新版本的Vision变换器块,并将其包含在我们的脱水网络中。 Hylog-VIT块包括用于捕获本地和全球依赖性的本地和全局视觉变压器路径。结果,Hylog-VIT引入网络中的局部性并捕获全局和远程依赖性。在均匀,非均匀和夜间脱水任务上的广泛实验表明,所提出的脱水网络可以实现比基于CNNS的去吸收模型的相当甚至更好的性能。
translated by 谷歌翻译
现实世界图像Denoising是一个实用的图像恢复问题,旨在从野外嘈杂的输入中获取干净的图像。最近,Vision Transformer(VIT)表现出强大的捕获远程依赖性的能力,许多研究人员试图将VIT应用于图像DeNosing任务。但是,现实世界的图像是一个孤立的框架,它使VIT构建了内部贴片的远程依赖性,该依赖性将图像分为贴片并混乱噪声模式和梯度连续性。在本文中,我们建议通过使用连续的小波滑动转换器来解决此问题,该小波滑动转换器在现实世界中构建频率对应关系,称为dnswin。具体而言,我们首先使用CNN编码器从嘈杂的输入图像中提取底部功能。 DNSWIN的关键是将高频和低频信息与功能和构建频率依赖性分开。为此,我们提出了小波滑动窗口变压器,该变压器利用离散的小波变换,自我注意力和逆离散小波变换来提取深度特征。最后,我们使用CNN解码器将深度特征重建为DeNo的图像。对现实世界的基准测试的定量和定性评估都表明,拟议的DNSWIN对最新方法的表现良好。
translated by 谷歌翻译
现有的DERANE方法主要集中于单个输入图像。只有单个输入图像,很难准确检测到雨条,去除雨条并恢复无雨图像。与单个2D图像相比,光场图像(LFI)通过通过元素摄像机记录每个事件射线的方向和位置,嵌入了广泛的3D结构和纹理信息,该镜头已成为计算机中的流行设备视觉和图形研究社区。在本文中,我们提出了一个新颖的网络4D-MGP-SRRNET,以从LFI中删除雨条。我们的方法将大雨LFI的所有子视图作为输入。为了充分利用LFI,我们采用4D卷积层来构建拟议的雨牛排清除网络,以同时处理LFI的所有子视图。在拟议的网络中,提出了带有新颖的多尺度自引导高斯工艺(MSGP)模块的雨水检测模型MGPDNET,以检测输入LFI的所有子视图中的雨条。引入了半监督的学习,以通过对虚拟世界LFI和现实世界中的LFI进行多个尺度上的虚拟世界LFI和现实世界中的LFI来准确检测雨季,这是通过计算现实世界中雨水条纹的伪地面真相。然后,所有减去预测的雨条的子视图都将馈送到4D残差模型中,以估计深度图。最后,所有子视图与相应的雨条和从估计的深度图转换的相应雨条和雾图都馈送到基于对抗性复发性神经网络的雨天LFI恢复模型,以逐步消除雨水条纹并恢复无雨的LFI LFI LFI。 。对合成LFI和现实世界LFI进行的广泛的定量和定性评估证明了我们提出的方法的有效性。
translated by 谷歌翻译
As the quality of optical sensors improves, there is a need for processing large-scale images. In particular, the ability of devices to capture ultra-high definition (UHD) images and video places new demands on the image processing pipeline. In this paper, we consider the task of low-light image enhancement (LLIE) and introduce a large-scale database consisting of images at 4K and 8K resolution. We conduct systematic benchmarking studies and provide a comparison of current LLIE algorithms. As a second contribution, we introduce LLFormer, a transformer-based low-light enhancement method. The core components of LLFormer are the axis-based multi-head self-attention and cross-layer attention fusion block, which significantly reduces the linear complexity. Extensive experiments on the new dataset and existing public datasets show that LLFormer outperforms state-of-the-art methods. We also show that employing existing LLIE methods trained on our benchmark as a pre-processing step significantly improves the performance of downstream tasks, e.g., face detection in low-light conditions. The source code and pre-trained models are available at https://github.com/TaoWangzj/LLFormer.
translated by 谷歌翻译
虽然变压器在各种高级视觉任务中取得了显着性能,但它仍然具有挑战性地利用变压器在图像恢复中的全部潜力。 CRUX在典型的编码器 - 解码器框架中应用了有限的应用变压器,用于图像恢复,从层次的不同深度(尺度)的繁重的自我关注计算负荷和低效通信产生。在本文中,我们为图像恢复提供了一种深度和有效的变换器网络,称为U2-iner,能够使用变压器作为核心操作以在深度编码和解码空间中执行图像恢复。具体地,它利用嵌套的U形结构来促进不同层的不同层的相互作用。此外,我们通过引入要压缩令牌表示的特征过滤机制来优化基本变压器块的计算效率。除了典型的图像恢复方式外,我们的U2-ider还在多个方面进行对比学习,以进一步与背景图像分离噪声分量。对各种图像恢复任务的广泛实验,分别包括反射去除,雨串去除和除去,证明了所提出的U2-inter的有效性。
translated by 谷歌翻译
由于卷积神经网络(CNNS)在从大规模数据中进行了学习的可概括图像前沿执行井,因此这些模型已被广泛地应用于图像恢复和相关任务。最近,另一类神经架构,变形金刚表现出对自然语言和高级视觉任务的显着性能。虽然变压器模型减轻了CNNS的缺点(即,有限的接收领域并对输入内容而无关),但其计算复杂性以空间分辨率二次大转,因此可以对涉及高分辨率图像的大多数图像恢复任务应用得不可行。在这项工作中,我们通过在构建块(多头关注和前锋网络)中进行多个关键设计,提出了一种有效的变压器模型,使得它可以捕获远程像素相互作用,同时仍然适用于大图像。我们的模型,命名恢复变压器(RESTORMER),实现了最先进的结果,导致几种图像恢复任务,包括图像派生,单图像运动脱棕,散焦去纹(单图像和双像素数据)和图像去噪(高斯灰度/颜色去噪,真实的图像去噪)。源代码和预先训练的型号可在https://github.com/swz30/restormer上获得。
translated by 谷歌翻译
当检测较小,不清楚或具有模糊边缘时的阴影区域时,电流阴影检测方法表现不佳。在这项工作中,我们试图在两个前面解决这个问题。首先,我们提出了一个精细的上下文感知阴影检测网络(FCSD-NET),在那里我们约束接收字段大小并专注于低级功能以学习精细上下文的功能更好。其次,我们提出了一种新的学习策略,称为恢复来检测(R2D),在那里我们表明,当深度神经网络训练恢复时(暗影删除),它也会学习有意义的功能来描绘阴影面具。为了利用阴影检测和删除任务的这种互补性,我们培训辅助网络进行影子拆卸,并提出互补特征学习块(CFL),以从阴影清除网络到阴影检测网络学习和融合有意义的功能。我们使用多个数据集的R2D学习策略培训所提出的网络FCSD-Net。三个公共影子检测数据集(ISTD,SBU和UCF)的实验结果表明,与其他最近的方法相比,我们的方法能够更好地检测到微观上下文的同时提高阴影检测性能。
translated by 谷歌翻译
卷积神经网络(CNN)和变压器在多媒体应用中取得了巨大成功。但是,几乎没有努力有效,有效地协调这两个架构以满足图像的范围。本文旨在统一这两种架构,以利用其学习优点来降低图像。特别是,CNN的局部连通性和翻译等效性以及变压器中自我注意力(SA)的全球聚合能力被完全利用用于特定的局部环境和全球结构表示。基于雨水分布揭示降解位置和程度的观察,我们在帮助背景恢复之前引入退化,并因此呈现关联细化方案。提出了一种新型的多输入注意模块(MAM),以将降雨的去除和背景恢复关联。此外,我们为模型配备了有效的深度可分离卷积,以学习特定的特征表示并权衡计算复杂性。广泛的实验表明,我们提出的方法(称为ELF)的表现平均比最先进的方法(MPRNET)优于0.25 dB,但仅占其计算成本和参数的11.7 \%和42.1 \%。源代码可从https://github.com/kuijiang94/magic-elf获得。
translated by 谷歌翻译
在动态场景中拍摄的图像可能包含不必要的运动模糊,从而大大降低视觉质量。这种模糊会导致短期和远程特定区域的平滑伪像,通常是方向性和不均匀的,很难去除。受到变压器在计算机视觉和图像处理任务的最新成功的启发,我们开发了Stripformer,这是一种基于变压器的体系结构,该体系结构构建了内部和跨条纹代币,以在水平和垂直方向上重新构建图像特征,以捕获模糊的模式,以不同于不同方向。它堆叠了隔离的内带和串间注意层,以揭示模糊的幅度。除了检测各种取向和幅度的区域特异性模式外,Stripformer还是一个令牌效率和参数有效的变压器模型,要求比Vanilla变压器更少的内存使用和计算成本要少得多,但在不依赖巨大训练数据的情况下工作得更好。实验结果表明,在动态场景中,脱衣舞素对最新模型的表现良好。
translated by 谷歌翻译