插件播放（PNP）框架使得将高级图像deno的先验集成到优化算法中成为可能，以有效地解决通常以最大后验（MAP）估计问题为例的各种图像恢复任务。乘法乘数的交替方向方法（ADMM）和通过denoing（红色）算法的正则化是这类方法的两个示例，这些示例在图像恢复方面取得了突破。但是，尽管前一种方法仅适用于近端算法，但最近已经证明，当DeOisers缺乏Jacobian对称性时，没有任何正规化解释红色算法，这恰恰是最实际的DINOISERS的情况。据我们所知，没有任何方法来训练直接代表正规器梯度的网络，该网络可以直接用于基于插入梯度的算法中。我们表明，可以在共同训练相应的地图Denoiser的同时训练直接建模MAP正常化程序梯度的网络。我们在基于梯度的优化方法中使用该网络，并获得与其他通用插件方法相比，获得更好的结果。我们还表明，正规器可以用作展开梯度下降的预训练网络。最后，我们证明了由此产生的Denoiser允许更好地收敛插件ADMM。

Deep convolutional networks have become a popular tool for image generation and restoration. Generally, their excellent performance is imputed to their ability to learn realistic image priors from a large number of example images. In this paper, we show that, on the contrary, the structure of a generator network is sufficient to capture a great deal of low-level image statistics prior to any learning. In order to do so, we show that a randomly-initialized neural network can be used as a handcrafted prior with excellent results in standard inverse problems such as denoising, superresolution, and inpainting. Furthermore, the same prior can be used to invert deep neural representations to diagnose them, and to restore images based on flash-no flash input pairs.

本文提出了一种通过深层插件（PNP）方法恢复数字视频的新方法。在贝叶斯形式主义下，该方法包括在交替的优化方案中使用深度卷积的降级网络代替先前的近端操作员。我们通过直接应用该方法来恢复降级视频观察结果的数字视频，从而将自己与先前的PNP工作区分开来。这样，可以将经过验证训练的网络重新用于其他视频修复任务。我们在视频脱张，超分辨率和随机缺失像素的插值方面的实验都显示出明显的好处，因为它使用专门为视频denoising设计的网络，因为它可以产生更好的恢复性能和更好的时间稳定性。使用相同的PNP公式。此外，我们的方法比较比较在序列的每个帧上分别应用不同的最新PNP方案。这在视频修复领域打开了新的观点。

插件播放（PNP）方法通过迭代近端算法解决了不良的逆问题，通过替换近端操作员通过denoisising操作来解决。当使用深层神经网络Denoisers应用时，这些方法显示出用于图像恢复问题的最先进的视觉性能。但是，他们的理论收敛分析仍然不完整。大多数现有的融合结果都考虑非现实的非专业转换器，或者将其分析限制为在逆问题中强烈凸出数据验证项。最近，提议将DeNoiser作为梯度下降步骤训练，以通过深神经网络参数为参数。使用这样的DeNoiser保证PNP版本的半季度分解（PNP-HQS）迭代算法的收敛性。在本文中，我们表明该梯度Denoiser实际上可以对应于另一个标量函数的近端操作员。鉴于这一新结果，我们利用了非convex设置中近端算法的收敛理论，以获得PNP-PGD（近端梯度下降）和PNP-ADMM（乘数的交替方向方法）的收敛结果。当建立在光滑的梯度Denoiser之上时，我们表明PNP-PGD和PNP-ADMM是显式功能的收敛性和目标固定点。这些收敛结果通过数值实验进行了脱毛，超分辨率和内化。

基于预训练的深层模型的图像恢复方案由于解决各种反问题的独特灵活性，因此受到了极大的关注。尤其是，插件播放（PNP）框架是一种流行而强大的工具，可以将现成的深层Denoiser集成，以与已知的观察模型一起，以用于不同的图像恢复任务。但是，在实践中，获得与实际情况完全匹配的观察模型可能具有挑战性。因此，带有常规深地位者的PNP方案可能无法在某些现实世界图像恢复任务中产生令人满意的结果。我们认为，通过使用经过确定性优化训练的现成的深层DENOISER，PNP框架的鲁棒性在很大程度上受到限制。为此，我们提出了一种新颖的深钢筋学习（DRL），以称为Repnp的PNP框架，通过利用基于轻巧的DRL的DENOISER来制定可靠的图像恢复任务。实验结果表明，所提出的REPNP对与实际情况的PNP方案中使用的观察模型具有鲁棒性。因此，RepNP可以为图像脱张和超级分辨率任务生成更可靠的恢复结果。与几个最先进的深层图像恢复基线相比，RepNP可以通过更少的模型参数实现更好的模型偏差的结果。

基于深度学习的高光谱图像（HSI）恢复方法因其出色的性能而广受欢迎，但每当任务更改的细节时，通常都需要昂贵的网络再培训。在本文中，我们建议使用有效的插入方法以统一的方法恢复HSI，该方法可以共同保留基于优化方法的灵活性，并利用深神经网络的强大表示能力。具体而言，我们首先开发了一个新的深HSI DeNoiser，利用了门控复发单元，短期和长期的跳过连接以及增强的噪声水平图，以更好地利用HSIS内丰富的空间光谱信息。因此，这导致在高斯和复杂的噪声设置下，在HSI DeNosing上的最新性能。然后，在处理各种HSI恢复任务之前，将提议的DeNoiser插入即插即用的框架中。通过对HSI超分辨率，压缩感测和内部进行的广泛实验，我们证明了我们的方法经常实现卓越的性能，这与每个任务上的最先进的竞争性或甚至更好任何特定任务的培训。

Model-based optimization methods and discriminative learning methods have been the two dominant strategies for solving various inverse problems in low-level vision. Typically, those two kinds of methods have their respective merits and drawbacks, e.g., model-based optimization methods are flexible for handling different inverse problems but are usually time-consuming with sophisticated priors for the purpose of good performance; in the meanwhile, discriminative learning methods have fast testing speed but their application range is greatly restricted by the specialized task. Recent works have revealed that, with the aid of variable splitting techniques, denoiser prior can be plugged in as a modular part of model-based optimization methods to solve other inverse problems (e.g., deblurring). Such an integration induces considerable advantage when the denoiser is obtained via discriminative learning. However, the study of integration with fast discriminative denoiser prior is still lacking. To this end, this paper aims to train a set of fast and effective CNN (convolutional neural network) denoisers and integrate them into model-based optimization method to solve other inverse problems. Experimental results demonstrate that the learned set of denoisers not only achieve promising Gaussian denoising results but also can be used as prior to deliver good performance for various low-level vision applications.

Deconvolution is a widely used strategy to mitigate the blurring and noisy degradation of hyperspectral images~(HSI) generated by the acquisition devices. This issue is usually addressed by solving an ill-posed inverse problem. While investigating proper image priors can enhance the deconvolution performance, it is not trivial to handcraft a powerful regularizer and to set the regularization parameters. To address these issues, in this paper we introduce a tuning-free Plug-and-Play (PnP) algorithm for HSI deconvolution. Specifically, we use the alternating direction method of multipliers (ADMM) to decompose the optimization problem into two iterative sub-problems. A flexible blind 3D denoising network (B3DDN) is designed to learn deep priors and to solve the denoising sub-problem with different noise levels. A measure of 3D residual whiteness is then investigated to adjust the penalty parameters when solving the quadratic sub-problems, as well as a stopping criterion. Experimental results on both simulated and real-world data with ground-truth demonstrate the superiority of the proposed method.

图像恢复仍然是图像处理中有挑战性的任务。许多方法解决这个问题，通常通过最小化非平滑惩罚的共轨似然函数来解决。虽然解决方案很容易以理论保证来解释，但其估计依赖于可能需要时间的优化过程。考虑到图像分类和分割深度学习的研究努力，这类方法提供了一个严重的替代方案来执行图像恢复，但要挑战解决逆问题。在这项工作中，我们设计了一个名为Deeppdnet的深网络，从原始双近迭代构建，与之前的分析有关的标准惩罚可能性，允许我们利用两个世界。我们用固定图层为深度网络进行重构Condat-Vu原始 - 双混梯度（PDHG）算法的特定实例。学习的参数均为PDHG算法阶梯大小和惩罚中涉及的分析线性运算符（包括正则化参数）。允许这些参数从层变为另一个参数。提出了两种不同的学习策略：提出了“全学习”和“部分学习”，第一个是数值最有效的，而第二个是依赖于标准约束确保标准PDHG迭代中的收敛。此外，研究了全局和局部稀疏分析，以寻求更好的特征表示。我们将所提出的方法应用于MNIST和BSD68数据集上的图像恢复以及BSD100和SET14数据集的单个图像超分辨率。广泛的结果表明，建议的DeepPDNET在MNIST和更复杂的BSD68，BSD100和SET14数据集中展示了卓越的性能，用于图像恢复和单图像超分辨率任务。

本文介绍了在混合高斯 - 突破噪声条件下重建高分辨率（HR）LF图像的GPU加速计算框架。主要重点是考虑处理速度和重建质量的高性能方法。从统计的角度来看，我们得出了一个联合$ \ ell^1 $ - $ \ ell^2 $数据保真度，用于惩罚人力资源重建错误，考虑到混合噪声情况。对于正则化，我们采用了加权非本地总变异方法，这使我们能够通过适当的加权方案有效地实现LF图像。我们表明，乘数算法（ADMM）的交替方向方法可用于简化计算复杂性，并在GPU平台上导致高性能并行计算。对合成4D LF数据集和自然图像数据集进行了广泛的实验，以验证提出的SR模型的鲁棒性并评估加速优化器的性能。实验结果表明，与最先进的方法相比，我们的方法在严重的混合噪声条件下实现了更好的重建质量。此外，提议的方法克服了处理大规模SR任务的先前工作的局限性。虽然适合单个现成的GPU，但建议的加速器提供的平均加速度为2.46 $ \ times $和1.57 $ \ times $，分别为$ \ times 2 $和$ \ times 3 $ SR任务。此外，与CPU执行相比，达到$ 77 \ times $的加速。

本文提出了图像恢复的新变异推理框架和一个卷积神经网络（CNN）结构，该结构可以解决所提出的框架所描述的恢复问题。较早的基于CNN的图像恢复方法主要集中在网络体系结构设计或培训策略上，具有非盲方案，其中已知或假定降解模型。为了更接近现实世界的应用程序，CNN还接受了整个数据集的盲目培训，包括各种降解。然而，给定有多样化的图像的高质量图像的条件分布太复杂了，无法通过单个CNN学习。因此，也有一些方法可以提供其他先验信息来培训CNN。与以前的方法不同，我们更多地专注于基于贝叶斯观点以及如何重新重新重构目标的恢复目标。具体而言，我们的方法放松了原始的后推理问题，以更好地管理子问题，因此表现得像分裂和互动方案。结果，与以前的框架相比，提出的框架提高了几个恢复问题的性能。具体而言，我们的方法在高斯denoising，现实世界中的降噪，盲图超级分辨率和JPEG压缩伪像减少方面提供了最先进的性能。

我们提出了一个基于一般学习的框架，用于解决非平滑和非凸图像重建问题。我们将正则函数建模为$ l_ {2,1} $ norm的组成，并将平滑但非convex功能映射参数化为深卷积神经网络。我们通过利用Nesterov的平滑技术和残留学习的概念来开发一种可证明的趋同的下降型算法来解决非平滑非概念最小化问题，并学习网络参数，以使算法的输出与培训数据中的参考匹配。我们的方法用途广泛，因为人们可以将各种现代网络结构用于正规化，而所得网络继承了算法的保证收敛性。我们还表明，所提出的网络是参数有效的，其性能与实践中各种图像重建问题中的最新方法相比有利。

我们在凸优化和深度学习的界面上引入了一类新的迭代图像重建算法，以启发凸出和深度学习。该方法包括通过训练深神网络（DNN）作为Denoiser学习先前的图像模型，并将其替换为优化算法的手工近端正则操作员。拟议的airi（``````````````'''''）框架，用于成像复杂的强度结构，并从可见性数据中扩散和微弱的发射，继承了优化的鲁棒性和解释性，以及网络的学习能力和速度。我们的方法取决于三个步骤。首先，我们从光强度图像设计了一个低动态范围训练数据库。其次，我们以从数据的信噪比推断出的噪声水平来训练DNN Denoiser。我们使用训练损失提高了术语，可确保算法收敛，并通过指示进行即时数据库动态范围增强。第三，我们将学习的DeNoiser插入前向后的优化算法中，从而产生了一个简单的迭代结构，该结构与梯度下降的数据输入步骤交替出现Denoising步骤。我们已经验证了SARA家族的清洁，优化算法的AIRI，并经过DNN训练，可以直接从可见性数据中重建图像。仿真结果表明，AIRI与SARA及其基于前卫的版本USARA具有竞争力，同时提供了显着的加速。干净保持更快，但质量较低。端到端DNN提供了进一步的加速，但质量远低于AIRI。

我们提出了一种监督学习稀疏促进正规化器的方法，以降低信号和图像。促进稀疏性正则化是解决现代信号重建问题的关键要素。但是，这些正规化器的基础操作员通常是通过手动设计的，要么以无监督的方式从数据中学到。监督学习（主要是卷积神经网络）在解决图像重建问题方面的最新成功表明，这可能是设计正规化器的富有成果的方法。为此，我们建议使用带有参数，稀疏的正规器的变异公式来贬低信号，其中学会了正常器的参数，以最大程度地减少在地面真实图像和测量对的训练集中重建的平均平方误差。培训涉及解决一个具有挑战性的双层优化问题；我们使用denoising问题的封闭形式解决方案得出了训练损失梯度的表达，并提供了随附的梯度下降算法以最大程度地减少其。我们使用结构化1D信号和自然图像的实验表明，所提出的方法可以学习一个超过众所周知的正规化器（总变化，DCT-SPARSITY和无监督的字典学习）的操作员和用于DeNoisis的协作过滤。尽管我们提出的方法是特定于denoising的，但我们认为它可以适应线性测量模型的较大类反问题，使其在广泛的信号重建设置中适用。

在这项工作中，我们研究了非盲目图像解卷积的问题，并提出了一种新的经常性网络架构，其导致高图像质量的竞争性恢复结果。通过现有大规模线性求解器的计算效率和稳健性的推动，我们设法将该问题的解决方案表达为一系列自适应非负数最小二乘问题的解决方案。这引发了我们提出的复发性最小二乘因解网络（RLSDN）架构，其包括在其输入和输出之间施加线性约束的隐式层。通过设计，我们的网络管理以同时服务两个重要的目的。首先，它隐含地模拟了可以充分表征这组自然图像的有效图像，而第二种是它恢复相应的最大后验（MAP）估计。近期最先进的方法的公开数据集的实验表明，我们提出的RLSDN方法可以实现所有测试方案的灰度和彩色图像的最佳报告性能。此外，我们介绍了一种新颖的培训策略，可以通过任何网络架构采用，这些架构涉及线性系统作为其管道的一部分的解决方案。我们的策略完全消除了线性求解器所需迭代的需要，因此，它在训练期间显着降低了内存占用。因此，这使得能够培训更深的网络架构，这可以进一步提高重建结果。

Neural networks have recently allowed solving many ill-posed inverse problems with unprecedented performance. Physics informed approaches already progressively replace carefully hand-crafted reconstruction algorithms in real applications. However, these networks suffer from a major defect: when trained on a given forward operator, they do not generalize well to a different one. The aim of this paper is twofold. First, we show through various applications that training the network with a family of forward operators allows solving the adaptivity problem without compromising the reconstruction quality significantly. Second, we illustrate that this training procedure allows tackling challenging blind inverse problems. Our experiments include partial Fourier sampling problems arising in magnetic resonance imaging (MRI), computerized tomography (CT) and image deblurring.

经典图像恢复算法使用各种前瞻性，无论是明确的还是明确的。他们的前沿是手工设计的，它们的相应权重是启发式分配的。因此，深度学习方法通​​常会产生优异的图像恢复质量。然而，深度网络是能够诱导强烈且难以预测的幻觉。在学习图像时，网络隐含地学会联合忠于观察到的数据;然后是不可能的原始数据和下游的幻觉数据的分离。这限制了它们在图像恢复中的广泛采用。此外，通常是降解模型过度装备的受害者的幻觉部分。我们提出了一种具有解耦的网络先前的幻觉和数据保真度的方法。我们将我们的框架称为贝叶斯队的生成先前（BigPrior）的集成。我们的方法植根于贝叶斯框架中，并将其紧密连接到经典恢复方法。实际上，它可以被视为大型经典恢复算法的概括。我们使用网络反转来从生成网络中提取图像先前信息。我们表明，在图像着色，染色和去噪，我们的框架始终如一地提高了反演结果。我们的方法虽然部分依赖于生成网络反演的质量，具有竞争性的监督和任务特定的恢复方法。它还提供了一种额外的公制，其阐述了每像素的先前依赖程度相对于数据保真度。

盲图修复（IR）是计算机视觉中常见但充满挑战的问题。基于经典模型的方法和最新的深度学习（DL）方法代表了有关此问题的两种不同方法，每种方法都有自己的优点和缺点。在本文中，我们提出了一种新颖的盲图恢复方法，旨在整合它们的两种优势。具体而言，我们为盲IR构建了一个普通的贝叶斯生成模型，该模型明确描绘了降解过程。在此提出的模型中，PICEL的非I.I.D。高斯分布用于适合图像噪声。它的灵活性比简单的I.I.D。在大多数常规方法中采用的高斯或拉普拉斯分布，以处理图像降解中包含的更复杂的噪声类型。为了解决该模型，我们设计了一个变异推理算法，其中所有预期的后验分布都被参数化为深神经网络，以提高其模型能力。值得注意的是，这种推论算法诱导统一的框架共同处理退化估计和图像恢复的任务。此外，利用了前一种任务中估计的降解信息来指导后一种红外过程。对两项典型的盲型IR任务进行实验，即图像降解和超分辨率，表明所提出的方法比当前最新的方法实现了卓越的性能。

由智能手机和中端相机捕获的照片的空间分辨率和动态范围有限，在饱和区域中未充满刺激的区域和颜色人工制品中的嘈杂响应。本文介绍了第一种方法（据我们所知），以重建高分辨率，高动态范围的颜色图像，这些颜色来自带有曝光括号的手持相机捕获的原始照相爆发。该方法使用图像形成的物理精确模型来结合迭代优化算法，用于求解相应的逆问题和学习的图像表示，以进行健壮的比对，并以前的自然图像。所提出的算法很快，与基于最新的学习图像恢复方法相比，内存需求较低，并且从合成但逼真的数据终止学习的特征。广泛的实验证明了其出色的性能，具有最多$ \ times 4 $的超分辨率因子在野外拍摄的带有手持相机的真实照片，以及对低光条件，噪音，摄像机摇动和中等物体运动的高度鲁棒性。

近年来，深度学习在图像重建方面取得了显着的经验成功。这已经促进了对关键用例中数据驱动方法的正确性和可靠性的精确表征的持续追求，例如在医学成像中。尽管基于深度学习的方法具有出色的性能和功效，但对其稳定性或缺乏稳定性的关注以及严重的实际含义。近年来，已经取得了重大进展，以揭示数据驱动的图像恢复方法的内部运作，从而挑战了其广泛认为的黑盒本质。在本文中，我们将为数据驱动的图像重建指定相关的融合概念，该概念将构成具有数学上严格重建保证的学习方法调查的基础。强调的一个例子是ICNN的作用，提供了将深度学习的力量与经典凸正则化理论相结合的可能性，用于设计被证明是融合的方法。这篇调查文章旨在通过提供对数据驱动的图像重建方法以及从业人员的理解，旨在通过提供可访问的融合概念的描述，并通过将一些现有的经验实践放在可靠的数学上，来推进我们对数据驱动图像重建方法的理解以及从业人员的了解。基础。