基于预训练的深层模型的图像恢复方案由于解决各种反问题的独特灵活性，因此受到了极大的关注。尤其是，插件播放（PNP）框架是一种流行而强大的工具，可以将现成的深层Denoiser集成，以与已知的观察模型一起，以用于不同的图像恢复任务。但是，在实践中，获得与实际情况完全匹配的观察模型可能具有挑战性。因此，带有常规深地位者的PNP方案可能无法在某些现实世界图像恢复任务中产生令人满意的结果。我们认为，通过使用经过确定性优化训练的现成的深层DENOISER，PNP框架的鲁棒性在很大程度上受到限制。为此，我们提出了一种新颖的深钢筋学习（DRL），以称为Repnp的PNP框架，通过利用基于轻巧的DRL的DENOISER来制定可靠的图像恢复任务。实验结果表明，所提出的REPNP对与实际情况的PNP方案中使用的观察模型具有鲁棒性。因此，RepNP可以为图像脱张和超级分辨率任务生成更可靠的恢复结果。与几个最先进的深层图像恢复基线相比，RepNP可以通过更少的模型参数实现更好的模型偏差的结果。

Model-based optimization methods and discriminative learning methods have been the two dominant strategies for solving various inverse problems in low-level vision. Typically, those two kinds of methods have their respective merits and drawbacks, e.g., model-based optimization methods are flexible for handling different inverse problems but are usually time-consuming with sophisticated priors for the purpose of good performance; in the meanwhile, discriminative learning methods have fast testing speed but their application range is greatly restricted by the specialized task. Recent works have revealed that, with the aid of variable splitting techniques, denoiser prior can be plugged in as a modular part of model-based optimization methods to solve other inverse problems (e.g., deblurring). Such an integration induces considerable advantage when the denoiser is obtained via discriminative learning. However, the study of integration with fast discriminative denoiser prior is still lacking. To this end, this paper aims to train a set of fast and effective CNN (convolutional neural network) denoisers and integrate them into model-based optimization method to solve other inverse problems. Experimental results demonstrate that the learned set of denoisers not only achieve promising Gaussian denoising results but also can be used as prior to deliver good performance for various low-level vision applications.

插件播放（PNP）框架使得将高级图像deno的先验集成到优化算法中成为可能，以有效地解决通常以最大后验（MAP）估计问题为例的各种图像恢复任务。乘法乘数的交替方向方法（ADMM）和通过denoing（红色）算法的正则化是这类方法的两个示例，这些示例在图像恢复方面取得了突破。但是，尽管前一种方法仅适用于近端算法，但最近已经证明，当DeOisers缺乏Jacobian对称性时，没有任何正规化解释红色算法，这恰恰是最实际的DINOISERS的情况。据我们所知，没有任何方法来训练直接代表正规器梯度的网络，该网络可以直接用于基于插入梯度的算法中。我们表明，可以在共同训练相应的地图Denoiser的同时训练直接建模MAP正常化程序梯度的网络。我们在基于梯度的优化方法中使用该网络，并获得与其他通用插件方法相比，获得更好的结果。我们还表明，正规器可以用作展开梯度下降的预训练网络。最后，我们证明了由此产生的Denoiser允许更好地收敛插件ADMM。

基于深度学习的高光谱图像（HSI）恢复方法因其出色的性能而广受欢迎，但每当任务更改的细节时，通常都需要昂贵的网络再培训。在本文中，我们建议使用有效的插入方法以统一的方法恢复HSI，该方法可以共同保留基于优化方法的灵活性，并利用深神经网络的强大表示能力。具体而言，我们首先开发了一个新的深HSI DeNoiser，利用了门控复发单元，短期和长期的跳过连接以及增强的噪声水平图，以更好地利用HSIS内丰富的空间光谱信息。因此，这导致在高斯和复杂的噪声设置下，在HSI DeNosing上的最新性能。然后，在处理各种HSI恢复任务之前，将提议的DeNoiser插入即插即用的框架中。通过对HSI超分辨率，压缩感测和内部进行的广泛实验，我们证明了我们的方法经常实现卓越的性能，这与每个任务上的最先进的竞争性或甚至更好任何特定任务的培训。

本文提出了一种通过深层插件（PNP）方法恢复数字视频的新方法。在贝叶斯形式主义下，该方法包括在交替的优化方案中使用深度卷积的降级网络代替先前的近端操作员。我们通过直接应用该方法来恢复降级视频观察结果的数字视频，从而将自己与先前的PNP工作区分开来。这样，可以将经过验证训练的网络重新用于其他视频修复任务。我们在视频脱张，超分辨率和随机缺失像素的插值方面的实验都显示出明显的好处，因为它使用专门为视频denoising设计的网络，因为它可以产生更好的恢复性能和更好的时间稳定性。使用相同的PNP公式。此外，我们的方法比较比较在序列的每个帧上分别应用不同的最新PNP方案。这在视频修复领域打开了新的观点。

盲图修复（IR）是计算机视觉中常见但充满挑战的问题。基于经典模型的方法和最新的深度学习（DL）方法代表了有关此问题的两种不同方法，每种方法都有自己的优点和缺点。在本文中，我们提出了一种新颖的盲图恢复方法，旨在整合它们的两种优势。具体而言，我们为盲IR构建了一个普通的贝叶斯生成模型，该模型明确描绘了降解过程。在此提出的模型中，PICEL的非I.I.D。高斯分布用于适合图像噪声。它的灵活性比简单的I.I.D。在大多数常规方法中采用的高斯或拉普拉斯分布，以处理图像降解中包含的更复杂的噪声类型。为了解决该模型，我们设计了一个变异推理算法，其中所有预期的后验分布都被参数化为深神经网络，以提高其模型能力。值得注意的是，这种推论算法诱导统一的框架共同处理退化估计和图像恢复的任务。此外，利用了前一种任务中估计的降解信息来指导后一种红外过程。对两项典型的盲型IR任务进行实验，即图像降解和超分辨率，表明所提出的方法比当前最新的方法实现了卓越的性能。

Deep convolutional networks have become a popular tool for image generation and restoration. Generally, their excellent performance is imputed to their ability to learn realistic image priors from a large number of example images. In this paper, we show that, on the contrary, the structure of a generator network is sufficient to capture a great deal of low-level image statistics prior to any learning. In order to do so, we show that a randomly-initialized neural network can be used as a handcrafted prior with excellent results in standard inverse problems such as denoising, superresolution, and inpainting. Furthermore, the same prior can be used to invert deep neural representations to diagnose them, and to restore images based on flash-no flash input pairs.

插件播放（PNP）方法通过迭代近端算法解决了不良的逆问题，通过替换近端操作员通过denoisising操作来解决。当使用深层神经网络Denoisers应用时，这些方法显示出用于图像恢复问题的最先进的视觉性能。但是，他们的理论收敛分析仍然不完整。大多数现有的融合结果都考虑非现实的非专业转换器，或者将其分析限制为在逆问题中强烈凸出数据验证项。最近，提议将DeNoiser作为梯度下降步骤训练，以通过深神经网络参数为参数。使用这样的DeNoiser保证PNP版本的半季度分解（PNP-HQS）迭代算法的收敛性。在本文中，我们表明该梯度Denoiser实际上可以对应于另一个标量函数的近端操作员。鉴于这一新结果，我们利用了非convex设置中近端算法的收敛理论，以获得PNP-PGD（近端梯度下降）和PNP-ADMM（乘数的交替方向方法）的收敛结果。当建立在光滑的梯度Denoiser之上时，我们表明PNP-PGD和PNP-ADMM是显式功能的收敛性和目标固定点。这些收敛结果通过数值实验进行了脱毛，超分辨率和内化。

Deconvolution is a widely used strategy to mitigate the blurring and noisy degradation of hyperspectral images~(HSI) generated by the acquisition devices. This issue is usually addressed by solving an ill-posed inverse problem. While investigating proper image priors can enhance the deconvolution performance, it is not trivial to handcraft a powerful regularizer and to set the regularization parameters. To address these issues, in this paper we introduce a tuning-free Plug-and-Play (PnP) algorithm for HSI deconvolution. Specifically, we use the alternating direction method of multipliers (ADMM) to decompose the optimization problem into two iterative sub-problems. A flexible blind 3D denoising network (B3DDN) is designed to learn deep priors and to solve the denoising sub-problem with different noise levels. A measure of 3D residual whiteness is then investigated to adjust the penalty parameters when solving the quadratic sub-problems, as well as a stopping criterion. Experimental results on both simulated and real-world data with ground-truth demonstrate the superiority of the proposed method.

Discriminative model learning for image denoising has been recently attracting considerable attentions due to its favorable denoising performance. In this paper, we take one step forward by investigating the construction of feed-forward denoising convolutional neural networks (DnCNNs) to embrace the progress in very deep architecture, learning algorithm, and regularization method into image denoising. Specifically, residual learning and batch normalization are utilized to speed up the training process as well as boost the denoising performance. Different from the existing discriminative denoising models which usually train a specific model for additive white Gaussian noise (AWGN) at a certain noise level, our DnCNN model is able to handle Gaussian denoising with unknown noise level (i.e., blind Gaussian denoising). With the residual learning strategy, DnCNN implicitly removes the latent clean image in the hidden layers. This property motivates us to train a single DnCNN model to tackle with several general image denoising tasks such as Gaussian denoising, single image super-resolution and JPEG image deblocking. Our extensive experiments demonstrate that our DnCNN model can not only exhibit high effectiveness in several general image denoising tasks, but also be efficiently implemented by benefiting from GPU computing.

尽管目前基于深度学习的方法在盲目的单图像超分辨率（SISR）任务中已获得了有希望的表现，但其中大多数主要集中在启发式上构建多样化的网络体系结构，并更少强调对Blur之间的物理发电机制的明确嵌入内核和高分辨率（HR）图像。为了减轻这个问题，我们提出了一个模型驱动的深神经网络，称为blind SISR。具体而言，为了解决经典的SISR模型，我们提出了一种简单的效果迭代算法。然后，通过将所涉及的迭代步骤展开到相应的网络模块中，我们自然构建了KXNET。所提出的KXNET的主要特异性是整个学习过程与此SISR任务的固有物理机制完全合理地集成在一起。因此，学习的模糊内核具有清晰的物理模式，并且模糊内核和HR图像之间的相互迭代过程可以很好地指导KXNET沿正确的方向发展。关于合成和真实数据的广泛实验很好地证明了我们方法的卓越准确性和一般性超出了当前代表性的最先进的盲目SISR方法。代码可在：\ url {https://github.com/jiahong-fu/kxnet}中获得。

本文提出了图像恢复的新变异推理框架和一个卷积神经网络（CNN）结构，该结构可以解决所提出的框架所描述的恢复问题。较早的基于CNN的图像恢复方法主要集中在网络体系结构设计或培训策略上，具有非盲方案，其中已知或假定降解模型。为了更接近现实世界的应用程序，CNN还接受了整个数据集的盲目培训，包括各种降解。然而，给定有多样化的图像的高质量图像的条件分布太复杂了，无法通过单个CNN学习。因此，也有一些方法可以提供其他先验信息来培训CNN。与以前的方法不同，我们更多地专注于基于贝叶斯观点以及如何重新重新重构目标的恢复目标。具体而言，我们的方法放松了原始的后推理问题，以更好地管理子问题，因此表现得像分裂和互动方案。结果，与以前的框架相比，提出的框架提高了几个恢复问题的性能。具体而言，我们的方法在高斯denoising，现实世界中的降噪，盲图超级分辨率和JPEG压缩伪像减少方面提供了最先进的性能。

Recent years have witnessed the unprecedented success of deep convolutional neural networks (CNNs) in single image super-resolution (SISR). However, existing CNN-based SISR methods mostly assume that a low-resolution (LR) image is bicubicly downsampled from a high-resolution (HR) image, thus inevitably giving rise to poor performance when the true degradation does not follow this assumption. Moreover, they lack scalability in learning a single model to nonblindly deal with multiple degradations. To address these issues, we propose a general framework with dimensionality stretching strategy that enables a single convolutional super-resolution network to take two key factors of the SISR degradation process, i.e., blur kernel and noise level, as input. Consequently, the super-resolver can handle multiple and even spatially variant degradations, which significantly improves the practicability. Extensive experimental results on synthetic and real LR images show that the proposed convolutional super-resolution network not only can produce favorable results on multiple degradations but also is computationally efficient, providing a highly effective and scalable solution to practical SISR applications.

图像恢复仍然是图像处理中有挑战性的任务。许多方法解决这个问题，通常通过最小化非平滑惩罚的共轨似然函数来解决。虽然解决方案很容易以理论保证来解释，但其估计依赖于可能需要时间的优化过程。考虑到图像分类和分割深度学习的研究努力，这类方法提供了一个严重的替代方案来执行图像恢复，但要挑战解决逆问题。在这项工作中，我们设计了一个名为Deeppdnet的深网络，从原始双近迭代构建，与之前的分析有关的标准惩罚可能性，允许我们利用两个世界。我们用固定图层为深度网络进行重构Condat-Vu原始 - 双混梯度（PDHG）算法的特定实例。学习的参数均为PDHG算法阶梯大小和惩罚中涉及的分析线性运算符（包括正则化参数）。允许这些参数从层变为另一个参数。提出了两种不同的学习策略：提出了“全学习”和“部分学习”，第一个是数值最有效的，而第二个是依赖于标准约束确保标准PDHG迭代中的收敛。此外，研究了全局和局部稀疏分析，以寻求更好的特征表示。我们将所提出的方法应用于MNIST和BSD68数据集上的图像恢复以及BSD100和SET14数据集的单个图像超分辨率。广泛的结果表明，建议的DeepPDNET在MNIST和更复杂的BSD68，BSD100和SET14数据集中展示了卓越的性能，用于图像恢复和单图像超分辨率任务。

Deep neural networks provide unprecedented performance gains in many real world problems in signal and image processing. Despite these gains, future development and practical deployment of deep networks is hindered by their blackbox nature, i.e., lack of interpretability, and by the need for very large training sets. An emerging technique called algorithm unrolling or unfolding offers promise in eliminating these issues by providing a concrete and systematic connection between iterative algorithms that are used widely in signal processing and deep neural networks. Unrolling methods were first proposed to develop fast neural network approximations for sparse coding. More recently, this direction has attracted enormous attention and is rapidly growing both in theoretic investigations and practical applications. The growing popularity of unrolled deep networks is due in part to their potential in developing efficient, high-performance and yet interpretable network architectures from reasonable size training sets. In this article, we review algorithm unrolling for signal and image processing. We extensively cover popular techniques for algorithm unrolling in various domains of signal and image processing including imaging, vision and recognition, and speech processing. By reviewing previous works, we reveal the connections between iterative algorithms and neural networks and present recent theoretical results. Finally, we provide a discussion on current limitations of unrolling and suggest possible future research directions.

在本文中，我们研究了实用的时空视频超分辨率（STVSR）问题，该问题旨在从低型低分辨率的低分辨率模糊视频中生成高富含高分辨率的夏普视频。当使用低填充和低分辨率摄像头记录快速动态事件时，通常会发生这种问题，而被捕获的视频将遭受三个典型问题：i）运动模糊发生是由于曝光时间内的对象/摄像机运动而发生的； ii）当事件时间频率超过时间采样的奈奎斯特极限时，运动异叠是不可避免的； iii）由于空间采样率低，因此丢失了高频细节。这些问题可以通过三个单独的子任务的级联来缓解，包括视频脱张，框架插值和超分辨率，但是，这些问题将无法捕获视频序列之间的空间和时间相关性。为了解决这个问题，我们通过利用基于模型的方法和基于学习的方法来提出一个可解释的STVSR框架。具体而言，我们将STVSR作为联合视频脱张，框架插值和超分辨率问题，并以另一种方式将其作为两个子问题解决。对于第一个子问题，我们得出了可解释的分析解决方案，并将其用作傅立叶数据变换层。然后，我们为第二个子问题提出了一个反复的视频增强层，以进一步恢复高频细节。广泛的实验证明了我们方法在定量指标和视觉质量方面的优势。

近年来，基于神经网络的深度恢复方法已实现了最先进的方法，从而导致了各种图像过度的任务。但是，基于深度学习的Deblurring网络的一个主要缺点是，训练需要大量模糊清洁图像对才能实现良好的性能。此外，当测试过程中的模糊图像和模糊内核与训练过程中使用的图像和模糊内核时，深层网络通常无法表现良好。这主要是因为网络参数在培训数据上过度拟合。在这项工作中，我们提出了一种解决这些问题的方法。我们将非盲图像脱毛问题视为一个脱氧问题。为此，我们在一对模糊图像上使用相应的模糊内核进行Wiener过滤。这导致一对具有彩色噪声的图像。因此，造成造成的问题被转化为一个降解问题。然后，我们在不使用明确的清洁目标图像的情况下解决了降解问题。进行了广泛的实验，以表明我们的方法取得了与最先进的非盲人脱毛作品相提并论的结果。

为了解决高光谱图像超分辨率（HSISR）的不良问题，通常方法是使用高光谱图像（HSIS）的先前信息作为正则化术语来限制目标函数。使用手工制作前沿的基于模型的方法无法完全表征HSI的性质。基于学习的方法通常使用卷积神经网络（CNN）来学习HSI的隐式前导者。然而，CNN的学习能力是有限的，它仅考虑HSI的空间特性并忽略光谱特性，并且卷积对远程依赖性建模无效。还有很多改进的空间。在本文中，我们提出了一种新颖的HSISR方法，该方法使用变压器而不是CNN来学习HSI之前。具体地，我们首先使用近端梯度算法来解决HSISR模型，然后使用展开网络来模拟迭代解决方案过程。变压器的自我注意层使其具有空间全局互动的能力。此外，我们在变压器层后面添加3D-CNN，以更好地探索HSIS的时空相关性。两个广泛使用的HSI数据集和实际数据集的定量和视觉结果证明，与所有主流算法相比，所提出的方法实现了相当大的增益，包括最竞争力的传统方法和最近提出的基于深度学习的方法。

We propose a deep learning method for single image superresolution (SR). Our method directly learns an end-to-end mapping between the low/high-resolution images. The mapping is represented as a deep convolutional neural network (CNN) [15] that takes the lowresolution image as the input and outputs the high-resolution one. We further show that traditional sparse-coding-based SR methods can also be viewed as a deep convolutional network. But unlike traditional methods that handle each component separately, our method jointly optimizes all layers. Our deep CNN has a lightweight structure, yet demonstrates state-of-the-art restoration quality, and achieves fast speed for practical on-line usage.

在弱光环境下，手持式摄影在长时间的曝光设置下遭受了严重的相机震动。尽管现有的Deblurry算法在暴露良好的模糊图像上表现出了令人鼓舞的性能，但它们仍然无法应对低光快照。在实用的低光脱毛中，复杂的噪声和饱和区是两个主导挑战。在这项工作中，我们提出了一种称为图像的新型非盲脱毛方法，并具有特征空间Wiener Deonervolution网络（Infwide），以系统地解决这些问题。在算法设计方面，Infwide提出了一个两分支的架构，该体系结构明确消除了噪声并幻觉，使图像空间中的饱和区域抑制了特征空间中的响起文物，并将两个互补输出与一个微妙的多尺度融合网络集成在一起高质量的夜间照片浮雕。为了进行有效的网络培训，我们设计了一组损失功能，集成了前向成像模型和向后重建，以形成近环的正则化，以确保深神经网络的良好收敛性。此外，为了优化Infwide在实际弱光条件下的适用性，采用基于物理过程的低光噪声模型来合成现实的嘈杂夜间照片进行模型训练。利用传统的Wiener Deonervolution算法的身体驱动的特征并引起了深层神经网络的表示能力，Infwide可以恢复细节，同时抑制在脱毛期间的不愉快的人工制品。关于合成数据和实际数据的广泛实验证明了所提出的方法的出色性能。