尽管最近在图像恢复领域取得了重大进展，但最新方法（SOTA）方法的系统复杂性也在增加，这可能会阻碍方法的方便分析和比较。在本文中，我们提出了一个超过SOTA方法并且在计算上有效的简单基线。为了进一步简化基线，我们揭示了非线性激活功能，例如不需要Sigmoid，Relu，Gelu，SoftMax等：可以用乘法代替或去除它们。因此，我们从基线得出一个非线性无线激活网络，即nafnet。在各种具有挑战性的基准上取得了SOTA结果，例如33.69 db psnr在GoPro上（对于图像脱张），超过了先前的SOTA 0.38 dB，其计算成本仅为8.4％； SIDD上的40.30 dB PSNR（用于图像denoising），超过了先前的SOTA 0.28 dB，其计算成本不到一半。代码和预培训模型将在https://github.com/megvii-research/nafnet上发布。

在本文中，我们呈现了UFFORER，一种用于图像恢复的有效和高效的变换器架构，其中我们使用变压器块构建分层编码器解码器网络。在UFFAR中，有两个核心设计。首先，我们介绍了一个新颖的本地增强型窗口（Lewin）变压器块，其执行基于窗口的自我关注而不是全局自我关注。它显着降低了高分辨率特征映射的计算复杂性，同时捕获本地上下文。其次，我们提出了一种以多尺度空间偏置的形式提出了一种学习的多尺度恢复调制器，以调整UFFORER解码器的多个层中的特征。我们的调制器展示了卓越的能力，用于恢复各种图像恢复任务的详细信息，同时引入边缘额外参数和计算成本。通过这两个设计提供支持，UFFORER享有高能力，可以捕获本地和全局依赖性的图像恢复。为了评估我们的方法，在几种图像恢复任务中进行了广泛的实验，包括图像去噪，运动脱棕，散焦和污染物。没有钟声和口哨，与最先进的算法相比，我们的UFormer实现了卓越的性能或相当的性能。代码和模型可在https://github.com/zhendongwang6/uformer中找到。

图像修复是计算机视觉中的一项重要且具有挑战性的任务。将过滤的图像恢复到其原始图像有助于各种计算机视觉任务。我们采用非线性激活函数网络（NAFNET）进行快速且轻巧的模型，并添加色彩注意模块，以提取有用的颜色信息以提高精确度。我们提出了一个准确，快速，轻巧的网络，具有多尺度和色彩的关注，以进行Instagram滤波器删除（CAIR）。实验结果表明，所提出的CAIR以快速和轻巧的方式优于现有的Instagram滤波器删除网络，约11 $ \ times $快速$ \ times $和2.4 $ \ times $ ipher，而在IFFI数据集上超过3.69 db psnr。CAIR可以通过高质量成功地删除Instagram过滤器，并以定性结果恢复颜色信息。源代码和预处理的权重可在\ url {https://github.com/hnv-lab/cair}上获得。

通过利用大型内核分解和注意机制，卷积神经网络（CNN）可以在许多高级计算机视觉任务中与基于变压器的方法竞争。但是，由于远程建模的优势，具有自我注意力的变压器仍然主导着低级视野，包括超分辨率任务。在本文中，我们提出了一个基于CNN的多尺度注意网络（MAN），该网络由多尺度的大内核注意力（MLKA）和一个封闭式的空间注意单元（GSAU）组成，以提高卷积SR网络的性能。在我们的MLKA中，我们使用多尺度和栅极方案纠正LKA，以在各种粒度水平上获得丰富的注意图，从而共同汇总了全局和局部信息，并避免了潜在的阻塞伪像。在GSAU中，我们集成了栅极机制和空间注意力，以消除不必要的线性层和汇总信息丰富的空间环境。为了确认我们的设计的有效性，我们通过简单地堆叠不同数量的MLKA和GSAU来评估具有多种复杂性的人。实验结果表明，我们的人可以在最先进的绩效和计算之间实现各种权衡。代码可从https://github.com/icandle/man获得。

Dimage Dehazing是低级视觉中的一个活跃主题，并且随着深度学习的快速发展，已经提出了许多图像去悬式网络。尽管这些网络的管道效果很好，但改善图像飞行性能的关键机制尚不清楚。因此，我们不针对带有精美模块的飞行网络。相反，我们对流行的U-NET进行了最小的修改，以获得紧凑的飞行网络。具体而言，我们将U-NET中的卷积块与门控机构，使用选择性内核进行融合，并跳过连接，并调用所得的U-NET变体Gunet。结果，由于开销大大减少，Gunet优于多个图像脱掩的数据集上的最新方法。最后，我们通过广泛的消融研究来验证这些关键设计为图像去除网络的性能增益。

在恶劣天气下降雪场景的图像恢复是一项艰巨的任务。雪图像具有复杂的降解，并在干净的图像上混乱，改变了干净的图像的分布。以前基于CNN的方法由于缺乏特定的全球建模能力，因此在恢复雪场景中完全恢复了雪场的挑战。在本文中，我们将视觉变压器应用于从单个图像中去除积雪的任务。具体而言，我们建议沿通道拆分的并行网络体系结构分别执行本地功能改进和全局信息建模。我们利用频道洗牌操作来结合其各自的优势以增强网络性能。其次，我们提出了MSP模块，该模块利用多规模的AVGPOOL来汇总不同大小的信息，并同时对多头自我注意力进行多尺度投影自我注意，以提高模型在不同规模下降下的表示能力。最后，我们设计了一个轻巧，简单的本地捕获模块，可以完善模型的本地捕获能力。在实验部分，我们进行了广泛的实验以证明我们方法的优越性。我们比较了三个雪场数据集上的先前清除方法。实验结果表明，我们的方法超过了更少的参数和计算的最新方法。在CSD测试数据集上，我们实现了1.99dB和SSIM 0.03的实质增长。在SRR和SNOW100K数据集上，与Transweather方法相比，我们还增加了2.47dB和1.62dB，在SSIM中提高了0.03。在视觉比较部分中，我们的MSP形式比现有方法获得了更好的视觉效果，证明了我们方法的可用性。

现实世界图像Denoising是一个实用的图像恢复问题，旨在从野外嘈杂的输入中获取干净的图像。最近，Vision Transformer（VIT）表现出强大的捕获远程依赖性的能力，许多研究人员试图将VIT应用于图像DeNosing任务。但是，现实世界的图像是一个孤立的框架，它使VIT构建了内部贴片的远程依赖性，该依赖性将图像分为贴片并混乱噪声模式和梯度连续性。在本文中，我们建议通过使用连续的小波滑动转换器来解决此问题，该小波滑动转换器在现实世界中构建频率对应关系，称为dnswin。具体而言，我们首先使用CNN编码器从嘈杂的输入图像中提取底部功能。 DNSWIN的关键是将高频和低频信息与功能和构建频率依赖性分开。为此，我们提出了小波滑动窗口变压器，该变压器利用离散的小波变换，自我注意力和逆离散小波变换来提取深度特征。最后，我们使用CNN解码器将深度特征重建为DeNo的图像。对现实世界的基准测试的定量和定性评估都表明，拟议的DNSWIN对最新方法的表现良好。

最近的变形金刚和多层Perceptron（MLP）模型的进展为计算机视觉任务提供了新的网络架构设计。虽然这些模型在许多愿景任务中被证明是有效的，但在图像识别之类的愿景中，仍然存在挑战，使他们适应低级视觉。支持高分辨率图像和本地注意力的局限性的不灵活性可能是使用变压器和MLP在图像恢复中的主要瓶颈。在这项工作中，我们介绍了一个多轴MLP基于MARIC的架构，称为Maxim，可用作用于图像处理任务的高效和灵活的通用视觉骨干。 Maxim使用UNET形的分层结构，并支持由空间门控MLP启用的远程交互。具体而言，Maxim包含两个基于MLP的构建块：多轴门控MLP，允许局部和全球视觉线索的高效和可扩展的空间混合，以及交叉栅栏，替代跨关注的替代方案 - 细分互补。这两个模块都仅基于MLP，而且还受益于全局和“全卷积”，两个属性对于图像处理是可取的。我们广泛的实验结果表明，所提出的Maxim模型在一系列图像处理任务中实现了十多个基准的最先进的性能，包括去噪，失败，派热，脱落和增强，同时需要更少或相当的数量参数和拖鞋而不是竞争模型。

为了获得下游图像信号过程（ISP）的高质量的原始图像，在本文中，我们提出了一个有效的本地乘法变压器，称为ELMFORMER，用于原始图像恢复。 Elmformer包含两个核心设计，尤其是针对原始属性是单渠道的原始图像。第一个设计是双向融合投影（BFP）模块，我们考虑了原始图像的颜色特征和单渠道的空间结构。第二个是我们提出了一个本地乘法自我注意力（L-MSA）方案，以有效地从当地空间传递信息到相关部分。 Elmformer可以有效地减少计算消耗，并在原始图像恢复任务上表现良好。通过这两种核心设计，Elmformer提高了最高的性能，并且与最先进的机构相比，原始DeNoising和原始Deblurring基准测试最低。广泛的实验证明了Elmformer的优势和概括能力。在SIDD基准测试中，我们的方法比基于ISP的方法具有更好的降解性能，这些方法需要大量的额外的SRGB培训图像。这些代码在https://github.com/leonmakise/elmformer上发布。

由于卷积神经网络（CNNS）在从大规模数据中进行了学习的可概括图像前沿执行井，因此这些模型已被广泛地应用于图像恢复和相关任务。最近，另一类神经架构，变形金刚表现出对自然语言和高级视觉任务的显着性能。虽然变压器模型减轻了CNNS的缺点（即，有限的接收领域并对输入内容而无关），但其计算复杂性以空间分辨率二次大转，因此可以对涉及高分辨率图像的大多数图像恢复任务应用得不可行。在这项工作中，我们通过在构建块（多头关注和前锋网络）中进行多个关键设计，提出了一种有效的变压器模型，使得它可以捕获远程像素相互作用，同时仍然适用于大图像。我们的模型，命名恢复变压器（RESTORMER），实现了最先进的结果，导致几种图像恢复任务，包括图像派生，单图像运动脱棕，散焦去纹（单图像和双像素数据）和图像去噪（高斯灰度/颜色去噪，真实的图像去噪）。源代码和预先训练的型号可在https://github.com/swz30/restormer上获得。

Deep convolutional neural networks have achieved great progress in image denoising tasks. However, their complicated architectures and heavy computational cost hinder their deployments on a mobile device. Some recent efforts in designing lightweight denoising networks focus on reducing either FLOPs (floating-point operations) or the number of parameters. However, these metrics are not directly correlated with the on-device latency. By performing extensive analysis and experiments, we identify the network architectures that can fully utilize powerful neural processing units (NPUs) and thus enjoy both low latency and excellent denoising performance. To this end, we propose a mobile-friendly denoising network, namely MFDNet. The experiments show that MFDNet achieves state-of-the-art performance on real-world denoising benchmarks SIDD and DND under real-time latency on mobile devices. The code and pre-trained models will be released.

沿着整个空间尺寸聚集的全局空间统计数据广泛用于顶级性能图像恢复器。例如，在挤压和激发（SE）中采用的实例归一化（IN）中采用的实例归一化（IN）的平均值，方差，其被应用于MPRNet。本文首先显示在训练/测试阶段的基于补丁/全部图像的特征上聚合的统计分别可以分发非常不同，并导致图像恢复器中的性能下降。它已被以前的作品被广泛忽视。要解决此问题，我们提出了一种简单的方法，测试时将局部统计转换器（TLSC）替换为仅在测试时间中从全局到本地的统计聚合操作区域。如果没有再培训或芬降，我们的方法显着提高了图像恢复器的性能。特别是，通过将TLSC扩展到最先进的模型，MPRNET升压在GoPro数据集上的PSNR中的0.65 dB，实现了33.31dB，超过了先前的最佳结果0.6 dB。此外，我们只需将TLSC应用于高级视觉任务，即语义细分，并实现竞争结果。进行了广泛的数量和质量实验，以证明TLSC解决了边际成本的问题，同时显着获得。该代码可在https://github.com/megvii-research/tlsc中获得。

使用注意机制的深度卷积神经网络（CNN）在动态场景中取得了巨大的成功。在大多数这些网络中，只能通过注意图精炼的功能传递到下一层，并且不同层的注意力图彼此分开，这并不能充分利用来自CNN中不同层的注意信息。为了解决这个问题，我们引入了一种新的连续跨层注意传播（CCLAT）机制，该机制可以利用所有卷积层的分层注意信息。基于CCLAT机制，我们使用非常简单的注意模块来构建一个新型残留的密集注意融合块（RDAFB）。在RDAFB中，从上述RDAFB的输出中推断出的注意图和每一层直接连接到后续的映射，从而导致CRLAT机制。以RDAFB为基础，我们为动态场景Deblurring设计了一个名为RDAFNET的有效体系结构。基准数据集上的实验表明，所提出的模型的表现优于最先进的脱毛方法，并证明了CCLAT机制的有效性。源代码可在以下网址提供：https：//github.com/xjmz6/rdafnet。

否决单图是一项普遍但又具有挑战性的任务。复杂的降雪降解和各种降解量表需要强大的代表能力。为了使否定的网络看到各种降雪并建模本地细节和全球信息的上下文相互作用，我们提出了一种称为Snowformer的功能强大的建筑。首先，它在编码器中执行比例感知功能聚合，以捕获各种降解的丰富积雪信息。其次，为了解决大规模降级，它使用了解码器中的新颖上下文交互变压器块，该互动器块在全球上下文交互中从前范围内的局部细节和全局信息进行了上下文交互。并引入本地上下文互动可改善场景细节的恢复。第三，我们设计了一个异质的特征投影头，该功能投影头逐渐融合了编码器和解码器的特征，并将精制功能投影到干净的图像中。广泛的实验表明，所提出的雪诺形雪孔比其他SOTA方法取得了重大改进。与SOTA单图像HDCW-NET相比，它在CSD测试集上将PSNR度量提高了9.2dB。此外，与一般图像恢复体系结构NAFNET相比，PSNR的增加5.13db，这验证了我们的雪诺形雪地降雪任务的强大表示能力。该代码在\ url {https://github.com/ephemeral182/snowformer}中发布。

Image restoration tasks demand a complex balance between spatial details and high-level contextualized information while recovering images. In this paper, we propose a novel synergistic design that can optimally balance these competing goals. Our main proposal is a multi-stage architecture, that progressively learns restoration functions for the degraded inputs, thereby breaking down the overall recovery process into more manageable steps. Specifically, our model first learns the contextualized features using encoder-decoder architectures and later combines them with a high-resolution branch that retains local information. At each stage, we introduce a novel per-pixel adaptive design that leverages in-situ supervised attention to reweight the local features. A key ingredient in such a multi-stage architecture is the information exchange between different stages. To this end, we propose a twofaceted approach where the information is not only exchanged sequentially from early to late stages, but lateral connections between feature processing blocks also exist to avoid any loss of information. The resulting tightly interlinked multi-stage architecture, named as MPRNet, delivers strong performance gains on ten datasets across a range of tasks including image deraining, deblurring, and denoising. The source code and pre-trained models are available at https://github.com/swz30/MPRNet.

许多图像处理网络在整个输入图像上应用一组静态卷积核，这是自然图像的次优，因为它们通常由异质视觉模式组成。最近在分类，分割和图像恢复方面的工作已经证明，动态核优于局部图像统计数据的静态内核。然而，这些工作经常采用每像素卷积核，这引入了高存储器和计算成本。为了在没有显着开销的情况下实现空间变化的处理，我们呈现\ TextBF {Malle} Chable \ TextBF {CONV} olution（\ textbf {malleconv}），作为动态卷积的有效变体。 \我们的权重由能够在特定空间位置产生内容相关的输出的有效预测器网络动态地产生。与以前的作品不同，\我们从输入生成一组更小的空间变化内核，这会扩大网络的接收领域，并显着降低计算和内存成本。然后通过具有最小内存开销的高效切片和-Conver操作员将这些内核应用于全分辨率的特征映射。我们进一步使用MalleConv建立了高效的去噪网络，被创建为\ textbf {mallenet}。它实现了高质量的结果，没有非常深的架构，例如，它是8.91 $ \ times $的速度快于最好的去噪算法（Swinir），同时保持类似的性能。我们还表明，添加到标准的基于卷积的骨干的单个\我们可以贡献显着降低计算成本或以相似的成本提高图像质量。项目页面：https://yifanjiang.net/malleconv.html

在现实世界中，在雾度下拍摄的图像的降解可以是非常复杂的，其中雾度的空间分布从图像变化到图像。最近的方法采用深神经网络直接从朦胧图像中恢复清洁场景。然而，由于悖论由真正捕获的雾霾的变化和当前网络的固定退化参数引起的悖论，最近在真实朦胧的图像上的脱水方法的泛化能力不是理想的。解决现实世界建模问题阴霾退化，我们建议通过对不均匀雾度分布的鉴定和建模密度来解决这个问题。我们提出了一种新颖的可分离混合注意力（SHA）模块来编码雾霾密度，通过捕获正交方向上的特征来实现这一目标。此外，提出了密度图以明确地模拟雾度的不均匀分布。密度图以半监督方式生成位置编码。这种雾度密度感知和建模有效地捕获特征水平的不均匀分布性变性。通过SHA和密度图的合适组合，我们设计了一种新型的脱水网络架构，实现了良好的复杂性性能权衡。两个大规模数据集的广泛实验表明，我们的方法通过量化和定性地通过大幅度超越所有最先进的方法，将最佳发布的PSNR度量从28.53 DB升高到Haze4K测试数据集和在SOTS室内测试数据集中的37.17 dB至38.41 dB。

由于卷积神经网络在从大规模数据中学习可概括的图像先验方面表现良好，因此这些模型已被广泛用于图像DeNoise任务。但是，在复杂模型上，计算复杂性也急剧增加。在本文中，我们提出了一个新颖的轻巧互补注意模块，其中包括密度模块和稀疏模块，该模块可以合作地挖掘浓密和稀疏功能，以供特征互补学习，以构建有效的轻质体系结构。此外，为了减少因denoing而导致的细节丢失，本文构建了基于梯度的结构保护分支。我们利用基于梯度的分支来获取其他结构先验来进行降级，并使模型通过优化梯度损失优化，使模型更加关注图像几何细节。基于上述，我们提出了一个具有双分支的有效的UNET结构化网络，视觉结果显示这可以有效地保留原始图像的结构细节，我们评估了包括Sidd和DND在内的基准，其中Scanet在PSNR和SSIM中实现了最先进的性能，同时大大降低了计算成本。

卷积神经网络（CNNS）成功地进行了压缩图像感测。然而，由于局部性和重量共享的归纳偏差，卷积操作证明了建模远程依赖性的内在限制。变压器，最初作为序列到序列模型设计，在捕获由于基于自我关注的架构而捕获的全局背景中，即使它可以配备有限的本地化能力。本文提出了一种混合框架，一个混合框架，其集成了从CNN提供的借用的优点以及变压器提供的全局上下文，以获得增强的表示学习。所提出的方法是由自适应采样和恢复组成的端到端压缩图像感测方法。在采样模块中，通过学习的采样矩阵测量图像逐块。在重建阶段，将测量投射到双杆中。一个是用于通过卷积建模邻域关系的CNN杆，另一个是用于采用全球自我关注机制的变压器杆。双分支结构是并发，并且本地特征和全局表示在不同的分辨率下融合，以最大化功能的互补性。此外，我们探索一个渐进的战略和基于窗口的变压器块，以降低参数和计算复杂性。实验结果表明了基于专用变压器的架构进行压缩感测的有效性，与不同数据集的最先进方法相比，实现了卓越的性能。

Convolutional neural network (CNN) depth is of crucial importance for image super-resolution (SR). However, we observe that deeper networks for image SR are more difficult to train. The lowresolution inputs and features contain abundant low-frequency information, which is treated equally across channels, hence hindering the representational ability of CNNs. To solve these problems, we propose the very deep residual channel attention networks (RCAN). Specifically, we propose a residual in residual (RIR) structure to form very deep network, which consists of several residual groups with long skip connections. Each residual group contains some residual blocks with short skip connections. Meanwhile, RIR allows abundant low-frequency information to be bypassed through multiple skip connections, making the main network focus on learning high-frequency information. Furthermore, we propose a channel attention mechanism to adaptively rescale channel-wise features by considering interdependencies among channels. Extensive experiments show that our RCAN achieves better accuracy and visual improvements against state-of-the-art methods.