放映摄像头（UDC）已被广泛利用，以帮助智能手机实现全屏显示。但是，由于屏幕不可避免地会影响光传播过程，因此UDC系统捕获的图像通常包含耀斑，雾霾，模糊和噪声。特别是，UDC图像中的耀斑和模糊可能会严重恶化高动态范围（HDR）场景的用户体验。在本文中，我们提出了一个新的深层模型，即UDC-UNET，以解决HDR场景中已知点扩展功能（PSF）的UDC图像恢复问题。在已知UDC系统的点扩散函数（PSF）的前提下，我们将UDC图像恢复视为非盲图像恢复问题，并提出了一种基于学习的新方法。我们的网络由三个部分组成，包括使用多尺度信息的U形基础网络，一个条件分支以执行空间变体调制以及一个内核分支，以提供给定PSF的先验知识。根据HDR数据的特征，我们还设计了音调映射损失，以稳定网络优化并获得更好的视觉质量。实验结果表明，所提出的UDC-UNET在定量和定性比较方面优于最新方法。我们的方法赢得了MIPI Challenge的UDC图像修复轨道的第二名。代码将公开可用。

随着移动平台上对计算摄影和成像的需求不断增长，在相机系统中开发和集成了高级图像传感器与新型算法的发展。但是，缺乏用于研究的高质量数据以及从行业和学术界进行深入交流的难得的机会限制了移动智能摄影和成像（MIPI）的发展。为了弥合差距，我们介绍了第一个MIPI挑战，包括五个曲目，这些曲目着重于新型图像传感器和成像算法。在本文中，我们总结并审查了MIPI 2022上的分配摄像头（UDC）图像恢复轨道。总共，成功注册了167名参与者，并在最终测试阶段提交了19个团队。在这项挑战中开发的解决方案在播放摄像头映像修复局上实现了最新的性能。本文提供了此挑战中所有模型的详细描述。有关此挑战的更多详细信息以及数据集的链接，请访问https://github.com/mipi-challenge/mipi2022。

夜间摄影通常由于昏暗的环境和长期使用而遭受弱光和模糊问题。尽管现有的光增强和脱毛方法可以单独解决每个问题，但一系列此类方法不能和谐地适应可见性和纹理的共同降解。训练端到端网络也是不可行的，因为没有配对数据可以表征低光和模糊的共存。我们通过引入新的数据合成管道来解决该问题，该管道对现实的低光模糊降解进行建模。使用管道，我们介绍了第一个用于关节低光增强和去皮的大型数据集。数据集，LOL-BLUR，包含12,000个低Blur/正常出现的对，在不同的情况下具有不同的黑暗和运动模糊。我们进一步提出了一个名为LEDNET的有效网络，以执行关节弱光增强和脱毛。我们的网络是独一无二的，因为它是专门设计的，目的是考虑两个相互连接的任务之间的协同作用。拟议的数据集和网络都为这项具有挑战性的联合任务奠定了基础。广泛的实验证明了我们方法对合成和现实数据集的有效性。

在各种基于学习的图像恢复任务（例如图像降解和图像超分辨率）中，降解表示形式被广泛用于建模降解过程并处理复杂的降解模式。但是，在基于学习的图像deblurring中，它们的探索程度较低，因为在现实世界中挑战性的情况下，模糊内核估计不能很好地表现。我们认为，对于图像降低的降解表示形式是特别必要的，因为模糊模式通常显示出比噪声模式或高频纹理更大的变化。在本文中，我们提出了一个框架来学习模糊图像的空间自适应降解表示。提出了一种新颖的联合图像re毁和脱蓝色的学习过程，以提高降解表示的表现力。为了使学习的降解表示有效地启动和降解，我们提出了一个多尺度退化注入网络（MSDI-NET），以将它们集成到神经网络中。通过集成，MSDI-NET可以适应各种复杂的模糊模式。 GoPro和Realblur数据集上的实验表明，我们提出的具有学识渊博的退化表示形式的Deblurring框架优于最先进的方法，具有吸引人的改进。该代码在https://github.com/dasongli1/learning_degradation上发布。

在弱光环境下，手持式摄影在长时间的曝光设置下遭受了严重的相机震动。尽管现有的Deblurry算法在暴露良好的模糊图像上表现出了令人鼓舞的性能，但它们仍然无法应对低光快照。在实用的低光脱毛中，复杂的噪声和饱和区是两个主导挑战。在这项工作中，我们提出了一种称为图像的新型非盲脱毛方法，并具有特征空间Wiener Deonervolution网络（Infwide），以系统地解决这些问题。在算法设计方面，Infwide提出了一个两分支的架构，该体系结构明确消除了噪声并幻觉，使图像空间中的饱和区域抑制了特征空间中的响起文物，并将两个互补输出与一个微妙的多尺度融合网络集成在一起高质量的夜间照片浮雕。为了进行有效的网络培训，我们设计了一组损失功能，集成了前向成像模型和向后重建，以形成近环的正则化，以确保深神经网络的良好收敛性。此外，为了优化Infwide在实际弱光条件下的适用性，采用基于物理过程的低光噪声模型来合成现实的嘈杂夜间照片进行模型训练。利用传统的Wiener Deonervolution算法的身体驱动的特征并引起了深层神经网络的表示能力，Infwide可以恢复细节，同时抑制在脱毛期间的不愉快的人工制品。关于合成数据和实际数据的广泛实验证明了所提出的方法的出色性能。

在本文中，我们呈现了UFFORER，一种用于图像恢复的有效和高效的变换器架构，其中我们使用变压器块构建分层编码器解码器网络。在UFFAR中，有两个核心设计。首先，我们介绍了一个新颖的本地增强型窗口（Lewin）变压器块，其执行基于窗口的自我关注而不是全局自我关注。它显着降低了高分辨率特征映射的计算复杂性，同时捕获本地上下文。其次，我们提出了一种以多尺度空间偏置的形式提出了一种学习的多尺度恢复调制器，以调整UFFORER解码器的多个层中的特征。我们的调制器展示了卓越的能力，用于恢复各种图像恢复任务的详细信息，同时引入边缘额外参数和计算成本。通过这两个设计提供支持，UFFORER享有高能力，可以捕获本地和全局依赖性的图像恢复。为了评估我们的方法，在几种图像恢复任务中进行了广泛的实验，包括图像去噪，运动脱棕，散焦和污染物。没有钟声和口哨，与最先进的算法相比，我们的UFormer实现了卓越的性能或相当的性能。代码和模型可在https://github.com/zhendongwang6/uformer中找到。

最近的变形金刚和多层Perceptron（MLP）模型的进展为计算机视觉任务提供了新的网络架构设计。虽然这些模型在许多愿景任务中被证明是有效的，但在图像识别之类的愿景中，仍然存在挑战，使他们适应低级视觉。支持高分辨率图像和本地注意力的局限性的不灵活性可能是使用变压器和MLP在图像恢复中的主要瓶颈。在这项工作中，我们介绍了一个多轴MLP基于MARIC的架构，称为Maxim，可用作用于图像处理任务的高效和灵活的通用视觉骨干。 Maxim使用UNET形的分层结构，并支持由空间门控MLP启用的远程交互。具体而言，Maxim包含两个基于MLP的构建块：多轴门控MLP，允许局部和全球视觉线索的高效和可扩展的空间混合，以及交叉栅栏，替代跨关注的替代方案 - 细分互补。这两个模块都仅基于MLP，而且还受益于全局和“全卷积”，两个属性对于图像处理是可取的。我们广泛的实验结果表明，所提出的Maxim模型在一系列图像处理任务中实现了十多个基准的最先进的性能，包括去噪，失败，派热，脱落和增强，同时需要更少或相当的数量参数和拖鞋而不是竞争模型。

随着移动设备的快速开发，现代使用的手机通常允许用户捕获4K分辨率（即超高定义）图像。然而，对于图像进行示范，在低级视觉中，一项艰巨的任务，现有作品通常是在低分辨率或合成图像上进行的。因此，这些方法对4K分辨率图像的有效性仍然未知。在本文中，我们探索了Moire模式的删除，以进行超高定义图像。为此，我们提出了第一个超高定义的演示数据集（UHDM），其中包含5,000个现实世界4K分辨率图像对，并对当前最新方法进行基准研究。此外，我们提出了一个有效的基线模型ESDNET来解决4K Moire图像，其中我们构建了一个语义对准的比例感知模块来解决Moire模式的尺度变化。广泛的实验表明了我们的方法的有效性，这可以超过最轻巧的优于最先进的方法。代码和数据集可在https://xinyu-andy.github.io/uhdm-page上找到。

大多数现有的基于深度学习的单图像动态场景盲目脱毛（SIDSBD）方法通常设计深网络，以直接从一个输入的运动模糊图像中直接删除空间变化的运动模糊，而无需模糊的内核估计。在本文中，受投射运动路径模糊（PMPB）模型和可变形卷积的启发，我们提出了一个新颖的约束可变形的卷积网络（CDCN），以进行有效的单图像动态场景，同时实现了准确的空间变化，以及仅观察到的运动模糊图像的高质量图像恢复。在我们提出的CDCN中，我们首先构建了一种新型的多尺度多级多输入多输出（MSML-MIMO）编码器架构，以提高功能提取能力。其次，与使用多个连续帧的DLVBD方法不同，提出了一种新颖的约束可变形卷积重塑（CDCR）策略，其中首先将可变形的卷积应用于输入的单运动模糊图像的模糊特征，用于学习学习的抽样点，以学习学习的采样点每个像素的运动模糊内核类似于PMPB模型中摄像机震动的运动密度函数的估计，然后提出了一种基于PMPB的新型重塑损耗函数来限制学习的采样点收敛，这可以使得可以使得可以使其产生。学习的采样点与每个像素的相对运动轨迹匹配，并促进空间变化的运动模糊内核估计的准确性。

使用注意机制的深度卷积神经网络（CNN）在动态场景中取得了巨大的成功。在大多数这些网络中，只能通过注意图精炼的功能传递到下一层，并且不同层的注意力图彼此分开，这并不能充分利用来自CNN中不同层的注意信息。为了解决这个问题，我们引入了一种新的连续跨层注意传播（CCLAT）机制，该机制可以利用所有卷积层的分层注意信息。基于CCLAT机制，我们使用非常简单的注意模块来构建一个新型残留的密集注意融合块（RDAFB）。在RDAFB中，从上述RDAFB的输出中推断出的注意图和每一层直接连接到后续的映射，从而导致CRLAT机制。以RDAFB为基础，我们为动态场景Deblurring设计了一个名为RDAFNET的有效体系结构。基准数据集上的实验表明，所提出的模型的表现优于最先进的脱毛方法，并证明了CCLAT机制的有效性。源代码可在以下网址提供：https：//github.com/xjmz6/rdafnet。

由少量镜头组成的全景环形镜头（PAL）在全景周围具有巨大潜力，该镜头围绕着移动和可穿戴设备的传感任务，因为其尺寸很小，并且视野很大（FOV）。然而，由于缺乏畸变校正的镜头，小体积PAL的图像质量仅限于光学极限。在本文中，我们提出了一个环形计算成像（ACI）框架，以打破轻质PAL设计的光学限制。为了促进基于学习的图像恢复，我们引入了基于波浪的模拟管道，用于全景成像，并通过多个数据分布来应对合成间隙。提出的管道可以轻松地适应具有设计参数的任何PAL，并且适用于宽松的设计。此外，我们考虑了全景成像和物理知识学习的物理先验，我们设计了物理知情的图像恢复网络（PI2RNET）。在数据集级别，我们创建了Divpano数据集，其广泛的实验表明，我们提出的网络在空间变化的降级下在全景图像恢复中设置了新的最新技术。此外，对只有3个球形镜头的简单PAL上提议的ACI的评估揭示了高质量全景成像与紧凑设计之间的微妙平衡。据我们所知，我们是第一个探索PAL中计算成像（CI）的人。代码和数据集将在https://github.com/zju-jiangqi/aci-pi2rnet上公开提供。

Image restoration under hazy weather condition, which is called single image dehazing, has been of significant interest for various computer vision applications. In recent years, deep learning-based methods have achieved success. However, existing image dehazing methods typically neglect the hierarchy of features in the neural network and fail to exploit their relationships fully. To this end, we propose an effective image dehazing method named Hierarchical Contrastive Dehazing (HCD), which is based on feature fusion and contrastive learning strategies. HCD consists of a hierarchical dehazing network (HDN) and a novel hierarchical contrastive loss (HCL). Specifically, the core design in the HDN is a Hierarchical Interaction Module, which utilizes multi-scale activation to revise the feature responses hierarchically. To cooperate with the training of HDN, we propose HCL which performs contrastive learning on hierarchically paired exemplars, facilitating haze removal. Extensive experiments on public datasets, RESIDE, HazeRD, and DENSE-HAZE, demonstrate that HCD quantitatively outperforms the state-of-the-art methods in terms of PSNR, SSIM and achieves better visual quality.

引导过滤器是计算机视觉和计算机图形中的基本工具，旨在将结构信息从引导图像传输到目标图像。大多数现有方法构造来自指导本身的滤波器内核，而不考虑指导和目标之间的相互依赖性。然而，由于两种图像中通常存在显着不同的边沿，只需将引导的所有结构信息传送到目标即将导致各种伪像。要应对这个问题，我们提出了一个名为Deep Enterponal引导图像过滤的有效框架，其过滤过程可以完全集成两个图像中包含的互补信息。具体地，我们提出了一种注意力内核学习模块，分别从引导和目标生成双组滤波器内核，然后通过在两个图像之间建模像素方向依赖性来自适应地组合它们。同时，我们提出了一种多尺度引导图像滤波模块，以粗略的方式通过所构造的内核逐渐产生滤波结果。相应地，引入了多尺度融合策略以重用中间导点在粗略的过程中。广泛的实验表明，所提出的框架在广泛的引导图像滤波应用中，诸如引导超分辨率，横向模态恢复，纹理拆除和语义分割的最先进的方法。

现实世界图像Denoising是一个实用的图像恢复问题，旨在从野外嘈杂的输入中获取干净的图像。最近，Vision Transformer（VIT）表现出强大的捕获远程依赖性的能力，许多研究人员试图将VIT应用于图像DeNosing任务。但是，现实世界的图像是一个孤立的框架，它使VIT构建了内部贴片的远程依赖性，该依赖性将图像分为贴片并混乱噪声模式和梯度连续性。在本文中，我们建议通过使用连续的小波滑动转换器来解决此问题，该小波滑动转换器在现实世界中构建频率对应关系，称为dnswin。具体而言，我们首先使用CNN编码器从嘈杂的输入图像中提取底部功能。 DNSWIN的关键是将高频和低频信息与功能和构建频率依赖性分开。为此，我们提出了小波滑动窗口变压器，该变压器利用离散的小波变换，自我注意力和逆离散小波变换来提取深度特征。最后，我们使用CNN解码器将深度特征重建为DeNo的图像。对现实世界的基准测试的定量和定性评估都表明，拟议的DNSWIN对最新方法的表现良好。

在现实世界中，在雾度下拍摄的图像的降解可以是非常复杂的，其中雾度的空间分布从图像变化到图像。最近的方法采用深神经网络直接从朦胧图像中恢复清洁场景。然而，由于悖论由真正捕获的雾霾的变化和当前网络的固定退化参数引起的悖论，最近在真实朦胧的图像上的脱水方法的泛化能力不是理想的。解决现实世界建模问题阴霾退化，我们建议通过对不均匀雾度分布的鉴定和建模密度来解决这个问题。我们提出了一种新颖的可分离混合注意力（SHA）模块来编码雾霾密度，通过捕获正交方向上的特征来实现这一目标。此外，提出了密度图以明确地模拟雾度的不均匀分布。密度图以半监督方式生成位置编码。这种雾度密度感知和建模有效地捕获特征水平的不均匀分布性变性。通过SHA和密度图的合适组合，我们设计了一种新型的脱水网络架构，实现了良好的复杂性性能权衡。两个大规模数据集的广泛实验表明，我们的方法通过量化和定性地通过大幅度超越所有最先进的方法，将最佳发布的PSNR度量从28.53 DB升高到Haze4K测试数据集和在SOTS室内测试数据集中的37.17 dB至38.41 dB。

由于卷积神经网络（CNNS）在从大规模数据中进行了学习的可概括图像前沿执行井，因此这些模型已被广泛地应用于图像恢复和相关任务。最近，另一类神经架构，变形金刚表现出对自然语言和高级视觉任务的显着性能。虽然变压器模型减轻了CNNS的缺点（即，有限的接收领域并对输入内容而无关），但其计算复杂性以空间分辨率二次大转，因此可以对涉及高分辨率图像的大多数图像恢复任务应用得不可行。在这项工作中，我们通过在构建块（多头关注和前锋网络）中进行多个关键设计，提出了一种有效的变压器模型，使得它可以捕获远程像素相互作用，同时仍然适用于大图像。我们的模型，命名恢复变压器（RESTORMER），实现了最先进的结果，导致几种图像恢复任务，包括图像派生，单图像运动脱棕，散焦去纹（单图像和双像素数据）和图像去噪（高斯灰度/颜色去噪，真实的图像去噪）。源代码和预先训练的型号可在https://github.com/swz30/restormer上获得。

由于卷积神经网络在从大规模数据中学习可概括的图像先验方面表现良好，因此这些模型已被广泛用于图像DeNoise任务。但是，在复杂模型上，计算复杂性也急剧增加。在本文中，我们提出了一个新颖的轻巧互补注意模块，其中包括密度模块和稀疏模块，该模块可以合作地挖掘浓密和稀疏功能，以供特征互补学习，以构建有效的轻质体系结构。此外，为了减少因denoing而导致的细节丢失，本文构建了基于梯度的结构保护分支。我们利用基于梯度的分支来获取其他结构先验来进行降级，并使模型通过优化梯度损失优化，使模型更加关注图像几何细节。基于上述，我们提出了一个具有双分支的有效的UNET结构化网络，视觉结果显示这可以有效地保留原始图像的结构细节，我们评估了包括Sidd和DND在内的基准，其中Scanet在PSNR和SSIM中实现了最先进的性能，同时大大降低了计算成本。

在本文中，我们考虑了Defocus图像去缩合中的问题。以前的经典方法遵循两步方法，即首次散焦映射估计，然后是非盲目脱毛。在深度学习时代，一些研究人员试图解决CNN的这两个问题。但是，代表模糊级别的Defocus图的简单串联导致了次优性能。考虑到Defocus Blur的空间变体特性和Defocus Map中指示的模糊级别，我们采用Defocus Map作为条件指导来调整输入模糊图像而不是简单串联的特征。然后，我们提出了一个基于Defocus图的空间调制的简单但有效的网络。为了实现这一目标，我们设计了一个由三个子网络组成的网络，包括DeFocus Map估计网络，该网络将DeFocus Map编码为条件特征的条件网络以及根据条件功能执行空间动态调制的DeFocus Deblurring网络。此外，空间动态调制基于仿射变换函数，以调整输入模糊图像的特征。实验结果表明，与常用的公共测试数据集中的现有最新方法相比，我们的方法可以实现更好的定量和定性评估性能。

Image restoration tasks demand a complex balance between spatial details and high-level contextualized information while recovering images. In this paper, we propose a novel synergistic design that can optimally balance these competing goals. Our main proposal is a multi-stage architecture, that progressively learns restoration functions for the degraded inputs, thereby breaking down the overall recovery process into more manageable steps. Specifically, our model first learns the contextualized features using encoder-decoder architectures and later combines them with a high-resolution branch that retains local information. At each stage, we introduce a novel per-pixel adaptive design that leverages in-situ supervised attention to reweight the local features. A key ingredient in such a multi-stage architecture is the information exchange between different stages. To this end, we propose a twofaceted approach where the information is not only exchanged sequentially from early to late stages, but lateral connections between feature processing blocks also exist to avoid any loss of information. The resulting tightly interlinked multi-stage architecture, named as MPRNet, delivers strong performance gains on ten datasets across a range of tasks including image deraining, deblurring, and denoising. The source code and pre-trained models are available at https://github.com/swz30/MPRNet.

Existing convolutional neural networks (CNN) based image super-resolution (SR) methods have achieved impressive performance on bicubic kernel, which is not valid to handle unknown degradations in real-world applications. Recent blind SR methods suggest to reconstruct SR images relying on blur kernel estimation. However, their results still remain visible artifacts and detail distortion due to the estimation errors. To alleviate these problems, in this paper, we propose an effective and kernel-free network, namely DSSR, which enables recurrent detail-structure alternative optimization without blur kernel prior incorporation for blind SR. Specifically, in our DSSR, a detail-structure modulation module (DSMM) is built to exploit the interaction and collaboration of image details and structures. The DSMM consists of two components: a detail restoration unit (DRU) and a structure modulation unit (SMU). The former aims at regressing the intermediate HR detail reconstruction from LR structural contexts, and the latter performs structural contexts modulation conditioned on the learned detail maps at both HR and LR spaces. Besides, we use the output of DSMM as the hidden state and design our DSSR architecture from a recurrent convolutional neural network (RCNN) view. In this way, the network can alternatively optimize the image details and structural contexts, achieving co-optimization across time. Moreover, equipped with the recurrent connection, our DSSR allows low- and high-level feature representations complementary by observing previous HR details and contexts at every unrolling time. Extensive experiments on synthetic datasets and real-world images demonstrate that our method achieves the state-of-the-art against existing methods. The source code can be found at https://github.com/Arcananana/DSSR.