我们提出了有效的结构性先验引导的生成对抗变压器（SPGAT）来解决低光图像增强。我们的SPGAT主要包含一个具有两个鉴别器和一个结构性估计器（SPE）的发生器。发电机基于U形变压器，该变压器用于探索非本地信息，以更好地清晰图像恢复。 SPE用于探索来自图像的有用结构，以引导发电机以进行更好的结构细节估计。为了生成更真实的图像，我们通过在发生器和歧视器之间建立跳过连接来开发一种新的结构性对手学习方法，以便歧视者可以更好地区分真实功能和虚假功能。最后，我们提出了一个基于Windows的SWIN Transformer块，以汇总不同级别的层次特征，以进行高质量的图像恢复。实验结果表明，所提出的SPGAT在合成数据集和现实世界中的最新方法中表现出色。

虽然大多数当前的图像支出都进行了水平外推，但我们研究了广义图像支出问题，这些问题将视觉上下文推断出给定图像周围的全面。为此，我们开发了一个新型的基于变压器的生成对抗网络，称为U-Transformer，能够扩展具有合理结构和细节的图像边界，即使是复杂的风景图像。具体而言，我们将生成器设计为嵌入流行的Swin Transformer块的编码器到二次结构。因此，我们的新型框架可以更好地应对图像远程依赖性，这对于广义图像支出至关重要。我们另外提出了U形结构和多视图时间空间预测网络，以增强图像自我重建以及未知的零件预测。我们在实验上证明，我们提出的方法可以为针对最新图像支出方法提供广义图像支出产生可吸引人的结果。

在本文中，我们呈现了UFFORER，一种用于图像恢复的有效和高效的变换器架构，其中我们使用变压器块构建分层编码器解码器网络。在UFFAR中，有两个核心设计。首先，我们介绍了一个新颖的本地增强型窗口（Lewin）变压器块，其执行基于窗口的自我关注而不是全局自我关注。它显着降低了高分辨率特征映射的计算复杂性，同时捕获本地上下文。其次，我们提出了一种以多尺度空间偏置的形式提出了一种学习的多尺度恢复调制器，以调整UFFORER解码器的多个层中的特征。我们的调制器展示了卓越的能力，用于恢复各种图像恢复任务的详细信息，同时引入边缘额外参数和计算成本。通过这两个设计提供支持，UFFORER享有高能力，可以捕获本地和全局依赖性的图像恢复。为了评估我们的方法，在几种图像恢复任务中进行了广泛的实验，包括图像去噪，运动脱棕，散焦和污染物。没有钟声和口哨，与最先进的算法相比，我们的UFormer实现了卓越的性能或相当的性能。代码和模型可在https://github.com/zhendongwang6/uformer中找到。

眼科医生已经使用眼底图像筛选和诊断眼病。然而，不同的设备和眼科医生对眼底图像的质量产生了大的变化。低质量（LQ）降级的眼底图像在临床筛查中容易导致不确定性，并且通常会增加误诊的风险。因此，真实的眼底图像恢复值得研究。不幸的是，到目前为止，这项任务尚未探索真正的临床基准。在本文中，我们研究了真正的临床眼底图像恢复问题。首先，我们建立一个临床数据集，真实的眼底（RF），包括120个低质量和高质量（HQ）图像对。然后，我们提出了一种新型的变压器的生成对抗网络（RFRMANER）来恢复临床眼底图像的实际降级。我们网络中的关键组件是基于窗口的自我关注块（WSAB），其捕获非本地自我相似性和远程依赖性。为了产生更明显的令人愉悦的结果，介绍了一种基于变压器的鉴别器。在我们的临床基准测试中的广泛实验表明，所提出的rformer显着优于最先进的（SOTA）方法。此外，诸如船舶分割和光盘/杯子检测之类的下游任务的实验表明我们所提出的rformer益处临床眼底图像分析和应用。将发布数据集，代码和模型。

现实世界图像Denoising是一个实用的图像恢复问题，旨在从野外嘈杂的输入中获取干净的图像。最近，Vision Transformer（VIT）表现出强大的捕获远程依赖性的能力，许多研究人员试图将VIT应用于图像DeNosing任务。但是，现实世界的图像是一个孤立的框架，它使VIT构建了内部贴片的远程依赖性，该依赖性将图像分为贴片并混乱噪声模式和梯度连续性。在本文中，我们建议通过使用连续的小波滑动转换器来解决此问题，该小波滑动转换器在现实世界中构建频率对应关系，称为dnswin。具体而言，我们首先使用CNN编码器从嘈杂的输入图像中提取底部功能。 DNSWIN的关键是将高频和低频信息与功能和构建频率依赖性分开。为此，我们提出了小波滑动窗口变压器，该变压器利用离散的小波变换，自我注意力和逆离散小波变换来提取深度特征。最后，我们使用CNN解码器将深度特征重建为DeNo的图像。对现实世界的基准测试的定量和定性评估都表明，拟议的DNSWIN对最新方法的表现良好。

As the quality of optical sensors improves, there is a need for processing large-scale images. In particular, the ability of devices to capture ultra-high definition (UHD) images and video places new demands on the image processing pipeline. In this paper, we consider the task of low-light image enhancement (LLIE) and introduce a large-scale database consisting of images at 4K and 8K resolution. We conduct systematic benchmarking studies and provide a comparison of current LLIE algorithms. As a second contribution, we introduce LLFormer, a transformer-based low-light enhancement method. The core components of LLFormer are the axis-based multi-head self-attention and cross-layer attention fusion block, which significantly reduces the linear complexity. Extensive experiments on the new dataset and existing public datasets show that LLFormer outperforms state-of-the-art methods. We also show that employing existing LLIE methods trained on our benchmark as a pre-processing step significantly improves the performance of downstream tasks, e.g., face detection in low-light conditions. The source code and pre-trained models are available at https://github.com/TaoWangzj/LLFormer.

Face Restoration (FR) aims to restore High-Quality (HQ) faces from Low-Quality (LQ) input images, which is a domain-specific image restoration problem in the low-level computer vision area. The early face restoration methods mainly use statistic priors and degradation models, which are difficult to meet the requirements of real-world applications in practice. In recent years, face restoration has witnessed great progress after stepping into the deep learning era. However, there are few works to study deep learning-based face restoration methods systematically. Thus, this paper comprehensively surveys recent advances in deep learning techniques for face restoration. Specifically, we first summarize different problem formulations and analyze the characteristic of the face image. Second, we discuss the challenges of face restoration. Concerning these challenges, we present a comprehensive review of existing FR methods, including prior based methods and deep learning-based methods. Then, we explore developed techniques in the task of FR covering network architectures, loss functions, and benchmark datasets. We also conduct a systematic benchmark evaluation on representative methods. Finally, we discuss future directions, including network designs, metrics, benchmark datasets, applications,etc. We also provide an open-source repository for all the discussed methods, which is available at https://github.com/TaoWangzj/Awesome-Face-Restoration.

Image restoration is a long-standing low-level vision problem that aims to restore high-quality images from lowquality images (e.g., downscaled, noisy and compressed images). While state-of-the-art image restoration methods are based on convolutional neural networks, few attempts have been made with Transformers which show impressive performance on high-level vision tasks. In this paper, we propose a strong baseline model SwinIR for image restoration based on the Swin Transformer. SwinIR consists of three parts: shallow feature extraction, deep feature extraction and high-quality image reconstruction. In particular, the deep feature extraction module is composed of several residual Swin Transformer blocks (RSTB), each of which has several Swin Transformer layers together with a residual connection. We conduct experiments on three representative tasks: image super-resolution (including classical, lightweight and real-world image super-resolution), image denoising (including grayscale and color image denoising) and JPEG compression artifact reduction. Experimental results demonstrate that SwinIR outperforms state-of-the-art methods on different tasks by up to 0.14∼0.45dB, while the total number of parameters can be reduced by up to 67%.

传统的基于CNNS的脱水模型遭受了两个基本问题：脱水框架（可解释性有限）和卷积层（内容无关，无效地学习远程依赖信息）。在本文中，我们提出了一种新的互补特征增强框架，其中互补特征由几个互补的子任务学习，然后一起用于提高主要任务的性能。新框架的一个突出优势之一是，有目的选择的互补任务可以专注于学习弱依赖性的互补特征，避免重复和无效的网络学习。我们根据这样一个框架设计了一种新的脱瘟网络。具体地，我们选择内在图像分解作为补充任务，其中反射率和阴影预测子任务用于提取色彩和纹理的互补特征。为了有效地聚合这些互补特征，我们提出了一种互补特征选择模块（CFSM），以选择图像脱水的更有用功能。此外，我们介绍了一个名为Hybrid Local-Global Vision变换器（Hylog-Vit）的新版本的Vision变换器块，并将其包含在我们的脱水网络中。 Hylog-VIT块包括用于捕获本地和全球依赖性的本地和全局视觉变压器路径。结果，Hylog-VIT引入网络中的局部性并捕获全局和远程依赖性。在均匀，非均匀和夜间脱水任务上的广泛实验表明，所提出的脱水网络可以实现比基于CNNS的去吸收模型的相当甚至更好的性能。

为了获得下游图像信号过程（ISP）的高质量的原始图像，在本文中，我们提出了一个有效的本地乘法变压器，称为ELMFORMER，用于原始图像恢复。 Elmformer包含两个核心设计，尤其是针对原始属性是单渠道的原始图像。第一个设计是双向融合投影（BFP）模块，我们考虑了原始图像的颜色特征和单渠道的空间结构。第二个是我们提出了一个本地乘法自我注意力（L-MSA）方案，以有效地从当地空间传递信息到相关部分。 Elmformer可以有效地减少计算消耗，并在原始图像恢复任务上表现良好。通过这两种核心设计，Elmformer提高了最高的性能，并且与最先进的机构相比，原始DeNoising和原始Deblurring基准测试最低。广泛的实验证明了Elmformer的优势和概括能力。在SIDD基准测试中，我们的方法比基于ISP的方法具有更好的降解性能，这些方法需要大量的额外的SRGB培训图像。这些代码在https://github.com/leonmakise/elmformer上发布。

最近的变形金刚和多层Perceptron（MLP）模型的进展为计算机视觉任务提供了新的网络架构设计。虽然这些模型在许多愿景任务中被证明是有效的，但在图像识别之类的愿景中，仍然存在挑战，使他们适应低级视觉。支持高分辨率图像和本地注意力的局限性的不灵活性可能是使用变压器和MLP在图像恢复中的主要瓶颈。在这项工作中，我们介绍了一个多轴MLP基于MARIC的架构，称为Maxim，可用作用于图像处理任务的高效和灵活的通用视觉骨干。 Maxim使用UNET形的分层结构，并支持由空间门控MLP启用的远程交互。具体而言，Maxim包含两个基于MLP的构建块：多轴门控MLP，允许局部和全球视觉线索的高效和可扩展的空间混合，以及交叉栅栏，替代跨关注的替代方案 - 细分互补。这两个模块都仅基于MLP，而且还受益于全局和“全卷积”，两个属性对于图像处理是可取的。我们广泛的实验结果表明，所提出的Maxim模型在一系列图像处理任务中实现了十多个基准的最先进的性能，包括去噪，失败，派热，脱落和增强，同时需要更少或相当的数量参数和拖鞋而不是竞争模型。

卷积神经网络（CNNS）成功地进行了压缩图像感测。然而，由于局部性和重量共享的归纳偏差，卷积操作证明了建模远程依赖性的内在限制。变压器，最初作为序列到序列模型设计，在捕获由于基于自我关注的架构而捕获的全局背景中，即使它可以配备有限的本地化能力。本文提出了一种混合框架，一个混合框架，其集成了从CNN提供的借用的优点以及变压器提供的全局上下文，以获得增强的表示学习。所提出的方法是由自适应采样和恢复组成的端到端压缩图像感测方法。在采样模块中，通过学习的采样矩阵测量图像逐块。在重建阶段，将测量投射到双杆中。一个是用于通过卷积建模邻域关系的CNN杆，另一个是用于采用全球自我关注机制的变压器杆。双分支结构是并发，并且本地特征和全局表示在不同的分辨率下融合，以最大化功能的互补性。此外，我们探索一个渐进的战略和基于窗口的变压器块，以降低参数和计算复杂性。实验结果表明了基于专用变压器的架构进行压缩感测的有效性，与不同数据集的最先进方法相比，实现了卓越的性能。

水下杂质的光吸收和散射导致水下较差的水下成像质量。现有的基于数据驱动的基于数据的水下图像增强（UIE）技术缺乏包含各种水下场景和高保真参考图像的大规模数据集。此外，不同颜色通道和空间区域的不一致衰减不完全考虑提升增强。在这项工作中，我们构建了一个大规模的水下图像（LSUI）数据集，包括5004个图像对，并报告了一个U形变压器网络，其中变压器模型首次引入UIE任务。 U形变压器与通道 - 方面的多尺度特征融合变压器（CMSFFT）模块和空间全局功能建模变压器（SGFMT）模块集成在一起，可使用更多地加强网络对色频道和空间区域的关注严重衰减。同时，为了进一步提高对比度和饱和度，在人类视觉原理之后，设计了组合RGB，实验室和LCH颜色空间的新型损失函数。可用数据集的广泛实验验证了报告的技术的最先进性能，具有超过2dB的优势。

高光谱图像（HSI）重建旨在从编码光圈快照频谱成像（CASSI）系统中的2D测量中恢复3D空间光谱信号。 HSI表示在光谱维度上具有高度相似和相关性。建模频谱间相互作用对HSI重建有益。然而，现有的基于CNN的方法显示了捕获光谱和远程依赖性的限制。此外，HSI信息由CASSI中的编码孔径（物理掩码）调制。尽管如此，目前的算法尚未完全探索掩模的掩模恢复的引导效果。在本文中，我们提出了一种新颖的框架，掩模引导的光谱 - 明智变压器（MST），用于HSI重建。具体地，我们介绍了一种频谱，用于将每个光谱特征视为令牌的频谱 - 明智的多头自我注意（S-MSA）并计算沿光谱尺寸的自我关注。此外，我们自定义一个掩模导向机构（mm），指示S-MSA，以注意具有高保真谱表示的空间区域。广泛的实验表明，我们的MST在模拟和真实HSI数据集上显着优于最先进的（SOTA）方法，同时需要大幅更便宜的计算和内存成本。

基于深度学习的低光图像增强方法通常需要巨大的配对训练数据，这对于在现实世界的场景中捕获是不切实际的。最近，已经探索了无监督的方法来消除对成对训练数据的依赖。然而，由于没有前衣，它们在不同的现实情景中表现得不稳定。为了解决这个问题，我们提出了一种基于先前（HEP）的有效预期直方图均衡的无监督的低光图像增强方法。我们的作品受到了有趣的观察，即直方图均衡增强图像的特征图和地面真理是相似的。具体而言，我们制定了HEP，提供了丰富的纹理和亮度信息。嵌入一​​个亮度模块（LUM），它有助于将低光图像分解为照明和反射率图，并且反射率图可以被视为恢复的图像。然而，基于Retinex理论的推导揭示了反射率图被噪声污染。我们介绍了一个噪声解剖学模块（NDM），以解除反射率图中的噪声和内容，具有不配对清洁图像的可靠帮助。通过直方图均衡的先前和噪声解剖，我们的方法可以恢复更精细的细节，更有能力抑制现实世界低光场景中的噪声。广泛的实验表明，我们的方法对最先进的无监督的低光增强算法有利地表现出甚至与最先进的监督算法匹配。

盲面修复（BFR）旨在从相应的低质量（LQ）输入中构建高质量（HQ）面部图像。最近，已经提出了许多BFR方法，并取得了杰出的成功。但是，这些方法经过私人合成的数据集进行了培训或评估，这使得与后续方法相比的方法是不可行的。为了解决这个问题，我们首先合成两个称为EDFEACE-CELEB-1M（BFR128）和EDFACE-CELEB-150K（BFR512）的盲面恢复基准数据集。在五个设置下，将最先进的方法在它们的五个设置下进行了基准测试，包括模糊，噪声，低分辨率，JPEG压缩伪像及其组合（完全退化）。为了使比较更全面，应用了五个广泛使用的定量指标和两个任务驱动的指标，包括平均面部标志距离（AFLD）和平均面部ID余弦相似性（AFICS）。此外，我们开发了一个有效的基线模型，称为Swin Transformer U-NET（昏迷）。带有U-NET体系结构的昏迷器应用了注意机制和移动的窗口方案，以捕获远程像素相互作用，并更多地关注重要功能，同时仍受到有效训练。实验结果表明，所提出的基线方法对各种BFR任务的SOTA方法表现出色。

在恶劣天气下降雪场景的图像恢复是一项艰巨的任务。雪图像具有复杂的降解，并在干净的图像上混乱，改变了干净的图像的分布。以前基于CNN的方法由于缺乏特定的全球建模能力，因此在恢复雪场景中完全恢复了雪场的挑战。在本文中，我们将视觉变压器应用于从单个图像中去除积雪的任务。具体而言，我们建议沿通道拆分的并行网络体系结构分别执行本地功能改进和全局信息建模。我们利用频道洗牌操作来结合其各自的优势以增强网络性能。其次，我们提出了MSP模块，该模块利用多规模的AVGPOOL来汇总不同大小的信息，并同时对多头自我注意力进行多尺度投影自我注意，以提高模型在不同规模下降下的表示能力。最后，我们设计了一个轻巧，简单的本地捕获模块，可以完善模型的本地捕获能力。在实验部分，我们进行了广泛的实验以证明我们方法的优越性。我们比较了三个雪场数据集上的先前清除方法。实验结果表明，我们的方法超过了更少的参数和计算的最新方法。在CSD测试数据集上，我们实现了1.99dB和SSIM 0.03的实质增长。在SRR和SNOW100K数据集上，与Transweather方法相比，我们还增加了2.47dB和1.62dB，在SSIM中提高了0.03。在视觉比较部分中，我们的MSP形式比现有方法获得了更好的视觉效果，证明了我们方法的可用性。

基于深入的学习的断层摄影图像重建一直在这些年来引起了很多关注。稀疏视图数据重建是典型的未确定逆问题之一，如何从数十个投影重建高质量CT图像仍然是实践中的挑战。为了解决这一挑战，在本文中，我们提出了一个多域一体化的Swin变压器网络（MIST-NET）。首先，使用灵活的网络架构，所提出的雾网掺入了来自数据，残差数据，图像和剩余图像的豪华域特征。这里，残差数据和残差 - 图像域网组件可以被认为是数据一致性模块，以消除残差数据和图像域中的插值误差，然后进一步保持图像细节。其次，为了检测图像特征和进一步保护图像边缘，将培训的Sobel滤波器结合到网络中以提高编码解码能力。第三，随着经典的Swin变压器，我们进一步设计了高质量的重建变压器（即，REFFORMER）来提高重建性能。 REFFORMER继承了SWIN变压器的功率以捕获重建图像的全局和本地特征。具有48种视图的数值数据集的实验证明了我们所提出的雾网提供更高的重建图像质量，具有小的特征恢复和边缘保护，而不是其他竞争对手，包括高级展开网络。定量结果表明，我们的雾网也获得了最佳性能。训练有素的网络被转移到真实的心脏CT数据集，48次视图，重建结果进一步验证了我们的雾网的优势，进一步证明了临床应用中雾的良好稳健性。

最近，一些研究在图像压缩感测（CS）任务中应用了深层卷积神经网络（CNN），以提高重建质量。但是，卷积层通常具有一个小的接受场。因此，使用CNN捕获远程像素相关性是具有挑战性的，这限制了其在Image CS任务中的重建性能。考虑到这一限制，我们为图像CS任务（称为uformer-ics）提出了一个U形变压器。我们通过将CS的先验投影知识集成到原始变压器块中，然后使用基于投影基于投影的变压器块和残留卷积块构建对称重建模型来开发一个基于投影的变压器块。与以前的基于CNN的CS方法相比，只能利用本地图像特征，建议的重建模型可以同时利用图像的局部特征和远程依赖性，以及CS理论的先前投影知识。此外，我们设计了一个自适应采样模型，该模型可以基于块稀疏性自适应采样图像块，这可以确保压缩结果保留在固定采样比下原始图像的最大可能信息。提出的UFORFORFOR-ICS是一个端到端框架，同时学习采样和重建过程。实验结果表明，与现有的基于深度学习的CS方法相比，它的重建性能明显优于重建性能。

虽然变压器在各种高级视觉任务中取得了显着性能，但它仍然具有挑战性地利用变压器在图像恢复中的全部潜力。 CRUX在典型的编码器 - 解码器框架中应用了有限的应用变压器，用于图像恢复，从层次的不同深度（尺度）的繁重的自我关注计算负荷和低效通信产生。在本文中，我们为图像恢复提供了一种深度和有效的变换器网络，称为U2-iner，能够使用变压器作为核心操作以在深度编码和解码空间中执行图像恢复。具体地，它利用嵌套的U形结构来促进不同层的不同层的相互作用。此外，我们通过引入要压缩令牌表示的特征过滤机制来优化基本变压器块的计算效率。除了典型的图像恢复方式外，我们的U2-ider还在多个方面进行对比学习，以进一步与背景图像分离噪声分量。对各种图像恢复任务的广泛实验，分别包括反射去除，雨串去除和除去，证明了所提出的U2-inter的有效性。