最近的基于学习的图像雨和噪声衰减的繁荣主要是由于精心设计的神经网络架构和大型标记数据集。但是，我们发现当前的图像雨和噪声去除方法导致图像的利用率低。为了减轻对大型标签数据集的依赖，我们提出了基于引入的补丁分析策略的任务驱动的图像雨和噪声（TRNR）。补丁分析策略提供了具有各种空间和统计特性的图像贴片，用于培训，并已被验证以增加图像的利用率。此外，补丁分析策略激励我们考虑学习图像雨和噪声去除任务驱动而不是数据驱动。因此，我们介绍了TRNR的N频率-K射击学习任务。每个N频率-K-Shot学习任务基于包含补丁分析策略采样的NK图像修补的微小数据集。 TRNR使神经网络能够从足够的数据以外的丰富N频率-K射击学习任务中学习。为了验证TRNR的有效性，我们建立了一个浅色多尺度残差网络（MSRESNet），具有约0.9米的参数来学习图像雨量拆卸，并使用简单的RESET与大约1.2M参数配合DNNET进行盲目高斯噪声删除，有一些图像（例如，20.0％的Rain100h培训赛车组）。实验结果表明，TRNR使MSRESNet能够从更少的图像中学到更好的学习。此外，MSRESNet和DNNET利用TRNR获得的性能比大多数最近的深度学习方法在大型标记数据集上受过训练的数据驱动。这些实验结果证实了所提出的TRNR的有效性和优越性。 TRNR的代码将很快公开。

多尺度体系结构和注意力模块在许多基于深度学习的图像脱落方法中都显示出有效性。但是，将这两个组件手动设计和集成到神经网络中需要大量的劳动力和广泛的专业知识。在本文中，高性能多尺度的细心神经体系结构搜索（MANAS）框架是技术开发的。所提出的方法为图像脱落任务的最爱的多个灵活模块制定了新的多尺度注意搜索空间。在搜索空间下，建立了多尺度的细胞，该单元被进一步用于构建功能强大的图像脱落网络。通过基于梯度的搜索算法自动搜索脱毛网络的内部多尺度架构，该算法在某种程度上避免了手动设计的艰巨过程。此外，为了获得强大的图像脱落模型，还提出了一种实用有效的多到一对训练策略，以允许去磨损网络从具有相同背景场景的多个雨天图像中获取足够的背景信息，与此同时，共同优化了包括外部损失，内部损失，建筑正则损失和模型复杂性损失在内的多个损失功能，以实现可靠的损伤性能和可控的模型复杂性。对合成和逼真的雨图像以及下游视觉应用（即反对检测和分割）的广泛实验结果始终证明了我们提出的方法的优越性。

As a common weather, rain streaks adversely degrade the image quality. Hence, removing rains from an image has become an important issue in the field. To handle such an ill-posed single image deraining task, in this paper, we specifically build a novel deep architecture, called rain convolutional dictionary network (RCDNet), which embeds the intrinsic priors of rain streaks and has clear interpretability. In specific, we first establish a RCD model for representing rain streaks and utilize the proximal gradient descent technique to design an iterative algorithm only containing simple operators for solving the model. By unfolding it, we then build the RCDNet in which every network module has clear physical meanings and corresponds to each operation involved in the algorithm. This good interpretability greatly facilitates an easy visualization and analysis on what happens inside the network and why it works well in inference process. Moreover, taking into account the domain gap issue in real scenarios, we further design a novel dynamic RCDNet, where the rain kernels can be dynamically inferred corresponding to input rainy images and then help shrink the space for rain layer estimation with few rain maps so as to ensure a fine generalization performance in the inconsistent scenarios of rain types between training and testing data. By end-to-end training such an interpretable network, all involved rain kernels and proximal operators can be automatically extracted, faithfully characterizing the features of both rain and clean background layers, and thus naturally lead to better deraining performance. Comprehensive experiments substantiate the superiority of our method, especially on its well generality to diverse testing scenarios and good interpretability for all its modules. Code is available in \emph{\url{https://github.com/hongwang01/DRCDNet}}.

在遥感，图像或视频检索中捕获的图像在现实世界中捕获，室外监视受到天气不良的质量降低质量。雨水和薄雾等条件引入文物，使视觉分析具有挑战性并限制高级计算机视觉方法的性能。对于需要快速响应的时间临界应用，开发自动去除降​​雨的算法至关重要，而不会降低图像内容的质量。本文旨在开发一种新型的四个季节多阶段多尺度神经网络，该神经网络具有一个称为QSAM-NET的自我发场模块，以消除雨条。该算法的新颖性在于，在先前的方法上，它需要更少的参数为3.98，同时提高视觉质量。这是通过对合成和现实世界图像的广泛评估和基准测试来证明的。 QSAM-NET的此功能使网络适合在边缘设备和需要接近实时性能的应用程序上实现。实验表明，通过提高图像的视觉质量来表明。此外，对象检测准确性和训练速度也得到提高。

虽然对图像背景恢复的研究从常规大小的降级图像恢复已经取得了显着的进步，但由于计算复杂性和记忆使用情况的爆炸式增长以及缺陷，恢复超高分辨率（例如4K）图像仍然是一项极具挑战性的任务。带注释的数据。在本文中，我们提出了一种用于超高分辨率图像恢复的新型模型，称为全局逐步生成网络（GLSGN），该模型采用涉及四个恢复途径的逐步恢复策略：三个局部途径和一条全球途径。本地途径着重于以局部但高分辨率的图像贴片的细粒度进行图像恢复，而全球途径则在缩放尺寸但完整的图像上执行图像恢复，以在全球视图中为本地途径提供线索包括语义和噪声模式。为了平滑这四个途径之间的相互协作，我们的GLSGN旨在确保在低级内容，感知注意力，恢复强度和高级语义方面的四个方面的跨道路一致性。作为这项工作的另一个主要贡献，我们还介绍了迄今为止的第一个超高分辨率数据集，以删除反射和降雨条纹，包括4,670个现实世界和合成图像。跨三个典型的图像背景修复任务进行的广泛实验，包括删除图像反射，删除图像雨条和图像去悬来表明我们的GLSGN始终优于最先进的方法。

这项工作研究了关节降雨和雾霾清除问题。在现实情况下，雨水和阴霾通常是两个经常共同发生的共同天气现象，可以极大地降低场景图像的清晰度和质量，从而导致视觉应用的性能下降，例如自动驾驶。但是，在场景图像中共同消除雨水和雾霾是艰难而挑战，在那里，阴霾和雨水的存在以及大气光的变化都可以降低现场信息。当前的方法集中在污染部分上，因此忽略了受大气光的变化影响的场景信息的恢复。我们提出了一个新颖的深神经网络，称为不对称双重编码器U-NET（ADU-NET），以应对上述挑战。 ADU-NET既产生污染物残留物，又产生残留的现场，以有效地去除雨水和雾霾，同时保留场景信息的保真度。广泛的实验表明，我们的工作在合成数据和现实世界数据基准（包括RainCityScapes，Bid Rain和Spa-data）的相当大的差距上优于现有的最新方法。例如，我们在RainCityScapes/spa-data上分别将最新的PSNR值提高了2.26/4.57。代码将免费提供给研究社区。

Image restoration under hazy weather condition, which is called single image dehazing, has been of significant interest for various computer vision applications. In recent years, deep learning-based methods have achieved success. However, existing image dehazing methods typically neglect the hierarchy of features in the neural network and fail to exploit their relationships fully. To this end, we propose an effective image dehazing method named Hierarchical Contrastive Dehazing (HCD), which is based on feature fusion and contrastive learning strategies. HCD consists of a hierarchical dehazing network (HDN) and a novel hierarchical contrastive loss (HCL). Specifically, the core design in the HDN is a Hierarchical Interaction Module, which utilizes multi-scale activation to revise the feature responses hierarchically. To cooperate with the training of HDN, we propose HCL which performs contrastive learning on hierarchically paired exemplars, facilitating haze removal. Extensive experiments on public datasets, RESIDE, HazeRD, and DENSE-HAZE, demonstrate that HCD quantitatively outperforms the state-of-the-art methods in terms of PSNR, SSIM and achieves better visual quality.

现实世界图像Denoising是一个实用的图像恢复问题，旨在从野外嘈杂的输入中获取干净的图像。最近，Vision Transformer（VIT）表现出强大的捕获远程依赖性的能力，许多研究人员试图将VIT应用于图像DeNosing任务。但是，现实世界的图像是一个孤立的框架，它使VIT构建了内部贴片的远程依赖性，该依赖性将图像分为贴片并混乱噪声模式和梯度连续性。在本文中，我们建议通过使用连续的小波滑动转换器来解决此问题，该小波滑动转换器在现实世界中构建频率对应关系，称为dnswin。具体而言，我们首先使用CNN编码器从嘈杂的输入图像中提取底部功能。 DNSWIN的关键是将高频和低频信息与功能和构建频率依赖性分开。为此，我们提出了小波滑动窗口变压器，该变压器利用离散的小波变换，自我注意力和逆离散小波变换来提取深度特征。最后，我们使用CNN解码器将深度特征重建为DeNo的图像。对现实世界的基准测试的定量和定性评估都表明，拟议的DNSWIN对最新方法的表现良好。

派生是一个重要而基本的计算机视觉任务，旨在消除在下雨天捕获的图像或视频中的雨条纹和累积。现有的派威方法通常会使雨水模型的启发式假设，这迫使它们采用复杂的优化或迭代细化以获得高回收质量。然而，这导致耗时的方法，并影响解决从假设偏离的雨水模式的有效性。在本文中，我们通过在没有复杂的雨水模型假设的情况下，通过在没有复杂的雨水模型假设的情况下制定污染作为预测滤波问题的简单而有效的污染方法。具体地，我们识别通过深网络自适应地预测适当的核的空间变型预测滤波（SPFILT以过滤不同的各个像素。由于滤波可以通过加速卷积来实现，因此我们的方法可以显着效率。我们进一步提出了eFderain +，其中包含三个主要贡献来解决残留的雨迹，多尺度和多样化的雨水模式而不会损害效率。首先，我们提出了不确定感知的级联预测滤波（UC-PFILT），其可以通过预测的内核来识别重建清洁像素的困难，并有效地移除残留的雨水迹线。其次，我们设计重量共享多尺度扩张过滤（WS-MS-DFILT），以处理多尺度雨条纹，而不会损害效率。第三，消除各种雨水模式的差距，我们提出了一种新颖的数据增强方法（即Rainmix）来培养我们的深层模型。通过对不同变体的复杂分析的所有贡献相结合，我们的最终方法在恢复质量和速度方面优于四个单像辐照数据集和一个视频派威数据集的基线方法。

本文解决了单幅图像下雨的问题，即从一张多雨工件遮挡的单个图像中恢复清洁和无雨背景场景的任务。虽然最近的进步采用现实世界的延期数据来克服对雨水清洁图像的需要，但它们仅限于充分利用时间流逝数据。主要原因是，在网络架构方面，由于缺乏内存组件，它们无法在训练期间在训练期间捕获长期雨条纹信息。为了解决这个问题，我们提出了一种基于内存网络的新颖网络架构，该内存网络明确有助于在时间流逝数据中捕获长期雨条纹信息。我们的网络包括编码器 - 解码器网络和存储器网络。从编码器中提取的功能被读取并更新在包含几个存储器项中以存储雨条目感知功能表示的几个存储器项。利用读/更新操作，存储器网络根据查询检索相关的存储器项，使得存储器项能够表示在时间流逝数据中包括的各种雨条纹。为了提高内存特征的辨别力，我们还通过擦除背景信息，提出了一种用于仅捕获存储网络中的雨条信息的新型背景选择性美白（BSW）损耗。标准基准测试的实验结果证明了我们方法的有效性和优越性。

本文提出了图像恢复的新变异推理框架和一个卷积神经网络（CNN）结构，该结构可以解决所提出的框架所描述的恢复问题。较早的基于CNN的图像恢复方法主要集中在网络体系结构设计或培训策略上，具有非盲方案，其中已知或假定降解模型。为了更接近现实世界的应用程序，CNN还接受了整个数据集的盲目培训，包括各种降解。然而，给定有多样化的图像的高质量图像的条件分布太复杂了，无法通过单个CNN学习。因此，也有一些方法可以提供其他先验信息来培训CNN。与以前的方法不同，我们更多地专注于基于贝叶斯观点以及如何重新重新重构目标的恢复目标。具体而言，我们的方法放松了原始的后推理问题，以更好地管理子问题，因此表现得像分裂和互动方案。结果，与以前的框架相比，提出的框架提高了几个恢复问题的性能。具体而言，我们的方法在高斯denoising，现实世界中的降噪，盲图超级分辨率和JPEG压缩伪像减少方面提供了最先进的性能。

在恶劣天气下的图像修复是一项艰巨的任务。过去的大多数作品都集中在消除图像中的雨水和阴霾现象。但是，雪也是一种极为普遍的大气现象，它将严重影响高级计算机视觉任务的性能，例如对象检测和语义分割。最近，已经提出了一些用于降雪的方法，大多数方法直接将雪图像作为优化对象。但是，雪地点和形状的分布很复杂。因此，未能有效地检测雪花 /雪连胜将影响降雪并限制模型性能。为了解决这些问题，我们提出了一个雪地掩模的自适应残留网络（SMGARN）。具体而言，SMGARN由三个部分组成，即Mask-Net，Guidance-Fusion Network（GF-NET）和重建-NET。首先，我们构建了一个以自像素的注意（SA）和跨像素的注意（CA），以捕获雪花的特征并准确地定位了雪的位置，从而预测了准确的雪山。其次，预测的雪面被发送到专门设计的GF-NET中，以适应指导模型去除雪。最后，使用有效的重建网络来消除面纱效果并纠正图像以重建最终的无雪图像。广泛的实验表明，我们的SMGARN数值优于所有现有的降雪方法，并且重建的图像在视觉对比度上更清晰。所有代码都将可用。

Discriminative model learning for image denoising has been recently attracting considerable attentions due to its favorable denoising performance. In this paper, we take one step forward by investigating the construction of feed-forward denoising convolutional neural networks (DnCNNs) to embrace the progress in very deep architecture, learning algorithm, and regularization method into image denoising. Specifically, residual learning and batch normalization are utilized to speed up the training process as well as boost the denoising performance. Different from the existing discriminative denoising models which usually train a specific model for additive white Gaussian noise (AWGN) at a certain noise level, our DnCNN model is able to handle Gaussian denoising with unknown noise level (i.e., blind Gaussian denoising). With the residual learning strategy, DnCNN implicitly removes the latent clean image in the hidden layers. This property motivates us to train a single DnCNN model to tackle with several general image denoising tasks such as Gaussian denoising, single image super-resolution and JPEG image deblocking. Our extensive experiments demonstrate that our DnCNN model can not only exhibit high effectiveness in several general image denoising tasks, but also be efficiently implemented by benefiting from GPU computing.

盲图修复（IR）是计算机视觉中常见但充满挑战的问题。基于经典模型的方法和最新的深度学习（DL）方法代表了有关此问题的两种不同方法，每种方法都有自己的优点和缺点。在本文中，我们提出了一种新颖的盲图恢复方法，旨在整合它们的两种优势。具体而言，我们为盲IR构建了一个普通的贝叶斯生成模型，该模型明确描绘了降解过程。在此提出的模型中，PICEL的非I.I.D。高斯分布用于适合图像噪声。它的灵活性比简单的I.I.D。在大多数常规方法中采用的高斯或拉普拉斯分布，以处理图像降解中包含的更复杂的噪声类型。为了解决该模型，我们设计了一个变异推理算法，其中所有预期的后验分布都被参数化为深神经网络，以提高其模型能力。值得注意的是，这种推论算法诱导统一的框架共同处理退化估计和图像恢复的任务。此外，利用了前一种任务中估计的降解信息来指导后一种红外过程。对两项典型的盲型IR任务进行实验，即图像降解和超分辨率，表明所提出的方法比当前最新的方法实现了卓越的性能。

在弱光环境下，手持式摄影在长时间的曝光设置下遭受了严重的相机震动。尽管现有的Deblurry算法在暴露良好的模糊图像上表现出了令人鼓舞的性能，但它们仍然无法应对低光快照。在实用的低光脱毛中，复杂的噪声和饱和区是两个主导挑战。在这项工作中，我们提出了一种称为图像的新型非盲脱毛方法，并具有特征空间Wiener Deonervolution网络（Infwide），以系统地解决这些问题。在算法设计方面，Infwide提出了一个两分支的架构，该体系结构明确消除了噪声并幻觉，使图像空间中的饱和区域抑制了特征空间中的响起文物，并将两个互补输出与一个微妙的多尺度融合网络集成在一起高质量的夜间照片浮雕。为了进行有效的网络培训，我们设计了一组损失功能，集成了前向成像模型和向后重建，以形成近环的正则化，以确保深神经网络的良好收敛性。此外，为了优化Infwide在实际弱光条件下的适用性，采用基于物理过程的低光噪声模型来合成现实的嘈杂夜间照片进行模型训练。利用传统的Wiener Deonervolution算法的身体驱动的特征并引起了深层神经网络的表示能力，Infwide可以恢复细节，同时抑制在脱毛期间的不愉快的人工制品。关于合成数据和实际数据的广泛实验证明了所提出的方法的出色性能。

无监督的深度学习最近证明了生产高质量样本的希望。尽管它具有促进图像着色任务的巨大潜力，但由于数据歧管和模型能力的高维度，性能受到限制。这项研究提出了一种新的方案，该方案利用小波域中的基于得分的生成模型来解决这些问题。通过利用通过小波变换来利用多尺度和多渠道表示，该模型可以共同有效地从堆叠的粗糙小波系数组件中了解较富裕的先验。该策略还降低了原始歧管的维度，并减轻了维度的诅咒，这对估计和采样有益。此外，设计了小波域中的双重一致性项，即数据一致性和结构一致性，以更好地利用着色任务。具体而言，在训练阶段，一组由小波系数组成的多通道张量被用作训练网络以denoising得分匹配的输入。在推论阶段，样品是通过具有数据和结构一致性的退火Langevin动力学迭代生成的。实验证明了所提出的方法在发电和着色质量方面的显着改善，尤其是在着色鲁棒性和多样性方面。

卷积神经网络（CNNS）成功地进行了压缩图像感测。然而，由于局部性和重量共享的归纳偏差，卷积操作证明了建模远程依赖性的内在限制。变压器，最初作为序列到序列模型设计，在捕获由于基于自我关注的架构而捕获的全局背景中，即使它可以配备有限的本地化能力。本文提出了一种混合框架，一个混合框架，其集成了从CNN提供的借用的优点以及变压器提供的全局上下文，以获得增强的表示学习。所提出的方法是由自适应采样和恢复组成的端到端压缩图像感测方法。在采样模块中，通过学习的采样矩阵测量图像逐块。在重建阶段，将测量投射到双杆中。一个是用于通过卷积建模邻域关系的CNN杆，另一个是用于采用全球自我关注机制的变压器杆。双分支结构是并发，并且本地特征和全局表示在不同的分辨率下融合，以最大化功能的互补性。此外，我们探索一个渐进的战略和基于窗口的变压器块，以降低参数和计算复杂性。实验结果表明了基于专用变压器的架构进行压缩感测的有效性，与不同数据集的最先进方法相比，实现了卓越的性能。

最近，基于深度学习的图像降级方法在测试数据上具有与训练集相同的测试数据的有希望的性能，在该数据中，已经学习了基于合成或收集的现实世界训练数据的各种denoising模型。但是，在处理真实世界的嘈杂图像时，Denoising的性能仍然受到限制。在本文中，我们提出了一种简单而有效的贝叶斯深集合（BDE）方法，用于真实世界图像denoising，其中可以融合使用各种训练数据设置进行预训练的几位代表性的深层Denoiser，以提高稳健性。 BDE的基础是，现实世界的图像噪声高度取决于信号依赖性，并且在现实世界中的嘈杂图像中的异质噪声可以由不同的Deoisiser分别处理。特别是，我们将受过良好训练的CBDNET，NBNET，HINET，UFORFORMER和GMSNET进入Denoiser池，并采用U-NET来预测Pixel的加权图以融合这些DeOisiser。引入了贝叶斯深度学习策略，而不是仅仅学习像素的加权地图，而是为了预测加权不确定性和加权图，可以通过该策略来建模预测差异，以改善现实世界中的嘈杂图像的鲁棒性。广泛的实验表明，可以通过融合现有的DINOISER而不是训练一个以昂贵的成本来训练一个大的Denoiser来更好地消除现实世界的噪音。在DND数据集上，我们的BDE实现了 +0.28〜dB PSNR的增益，而不是最先进的denoising方法。此外，我们注意到，在应用于现实世界嘈杂的图像时，基于不同高斯噪声水平的BDE Denoiser优于最先进的CBDNET。此外，我们的BDE可以扩展到其他图像恢复任务，并在基准数据集上获得 +0.30dB， +0.18dB和 +0.12dB PSNR的收益，以分别用于图像去除图像，图像降低和单个图像超级分辨率。

最近的变形金刚和多层Perceptron（MLP）模型的进展为计算机视觉任务提供了新的网络架构设计。虽然这些模型在许多愿景任务中被证明是有效的，但在图像识别之类的愿景中，仍然存在挑战，使他们适应低级视觉。支持高分辨率图像和本地注意力的局限性的不灵活性可能是使用变压器和MLP在图像恢复中的主要瓶颈。在这项工作中，我们介绍了一个多轴MLP基于MARIC的架构，称为Maxim，可用作用于图像处理任务的高效和灵活的通用视觉骨干。 Maxim使用UNET形的分层结构，并支持由空间门控MLP启用的远程交互。具体而言，Maxim包含两个基于MLP的构建块：多轴门控MLP，允许局部和全球视觉线索的高效和可扩展的空间混合，以及交叉栅栏，替代跨关注的替代方案 - 细分互补。这两个模块都仅基于MLP，而且还受益于全局和“全卷积”，两个属性对于图像处理是可取的。我们广泛的实验结果表明，所提出的Maxim模型在一系列图像处理任务中实现了十多个基准的最先进的性能，包括去噪，失败，派热，脱落和增强，同时需要更少或相当的数量参数和拖鞋而不是竞争模型。

最近，卷积神经网络（CNN）已被广泛用于图像DeNoising。现有方法受益于剩余学习并获得高性能。许多研究都注意到优化CNN的网络体系结构，但忽略了残留学习的局限性。本文提出了两个局限性。一个是残留学习的重点是估计噪声，从而忽略图像信息。另一个是图像自相似性没有被有效考虑。本文提出了一个组成剥落网络（CDN），其图像信息路径（IIP）和噪声估计路径（NEP）将分别解决这两个问题。 IIP通过图像到图像的方法来培训图像信息。对于NEP，它从训练的角度利用了图像自相似性。这种基于相似性的训练方法将NEP限制为输出具有特定类型噪声的不同图像贴片的相似估计噪声分布。最后，将全面考虑图像信息和噪声分布信息，以进行图像denoising。实验表明，CDN达到最新的结果会导致合成和现实世界图像降解。我们的代码将在https://github.com/jiahongz/cdn上发布。