通过结合使用卷积神经网（CNN）指定的物理测量模型和学习的图像验证者，对基于模型的架构（DMBA）的兴趣越来越大。例如，用于系统设计DMBA的著名框架包括插件培训（PNP），深度展开（DU）和深度平衡模型（DEQ）。尽管已广泛研究了DMBA的经验性能和理论特性，但当确切地知道所需的图像之前，该地区的现有工作主要集中在其性能上。这项工作通过在不匹配的CNN先验下向DMBA提供新的理论和数值见解来解决先前工作的差距。当训练和测试数据之间存在分布变化时，自然会出现不匹配的先验，例如，由于测试图像来自与用于训练CNN先验的图像不同的分布。当CNN事先用于推理是一些所需的统计估计器（MAP或MMSE）的近似值时，它们也会出现。我们的理论分析在一组明确指定的假设下，由于不匹配的CNN先验，在解决方案上提供了明显的误差界限。我们的数值结果比较了在现实分布变化和近似统计估计器下DMBA的经验性能。

近年来，深度学习在图像重建方面取得了显着的经验成功。这已经促进了对关键用例中数据驱动方法的正确性和可靠性的精确表征的持续追求，例如在医学成像中。尽管基于深度学习的方法具有出色的性能和功效，但对其稳定性或缺乏稳定性的关注以及严重的实际含义。近年来，已经取得了重大进展，以揭示数据驱动的图像恢复方法的内部运作，从而挑战了其广泛认为的黑盒本质。在本文中，我们将为数据驱动的图像重建指定相关的融合概念，该概念将构成具有数学上严格重建保证的学习方法调查的基础。强调的一个例子是ICNN的作用，提供了将深度学习的力量与经典凸正则化理论相结合的可能性，用于设计被证明是融合的方法。这篇调查文章旨在通过提供对数据驱动的图像重建方法以及从业人员的理解，旨在通过提供可访问的融合概念的描述，并通过将一些现有的经验实践放在可靠的数学上，来推进我们对数据驱动图像重建方法的理解以及从业人员的了解。基础。

我们提出了一个基于一般学习的框架，用于解决非平滑和非凸图像重建问题。我们将正则函数建模为$ l_ {2,1} $ norm的组成，并将平滑但非convex功能映射参数化为深卷积神经网络。我们通过利用Nesterov的平滑技术和残留学习的概念来开发一种可证明的趋同的下降型算法来解决非平滑非概念最小化问题，并学习网络参数，以使算法的输出与培训数据中的参考匹配。我们的方法用途广泛，因为人们可以将各种现代网络结构用于正规化，而所得网络继承了算法的保证收敛性。我们还表明，所提出的网络是参数有效的，其性能与实践中各种图像重建问题中的最新方法相比有利。

Computational imaging has been revolutionized by compressed sensing algorithms, which offer guaranteed uniqueness, convergence, and stability properties. In recent years, model-based deep learning methods that combine imaging physics with learned regularization priors have been emerging as more powerful alternatives for image recovery. The main focus of this paper is to introduce a memory efficient model-based algorithm with similar theoretical guarantees as CS methods. The proposed iterative algorithm alternates between a gradient descent involving the score function and a conjugate gradient algorithm to encourage data consistency. The score function is modeled as a monotone convolutional neural network. Our analysis shows that the monotone constraint is necessary and sufficient to enforce the uniqueness of the fixed point in arbitrary inverse problems. In addition, it also guarantees the convergence to a fixed point, which is robust to input perturbations. Current algorithms including RED and MoDL are special cases of the proposed algorithm; the proposed theoretical tools enable the optimization of the framework for the deep equilibrium setting. The proposed deep equilibrium formulation is significantly more memory efficient than unrolled methods, which allows us to apply it to 3D or 2D+time problems that current unrolled algorithms cannot handle.

自Venkatakrishnan等人的开创性工作以来。 2013年，即插即用（PNP）方法在贝叶斯成像中变得普遍存在。这些方法通过将显式似然函数与预定由图像去噪算法隐式定义的明确定义，导出用于成像中的逆问题的最小均方误差（MMSE）或最大后验误差（MAP）估计器。文献中提出的PNP算法主要不同于他们用于优化或采样的迭代方案。在优化方案的情况下，一些最近的作品能够保证收敛到一个定点，尽管不一定是地图估计。在采样方案的情况下，据我们所知，没有已知的收敛证明。关于潜在的贝叶斯模型和估算器是否具有明确定义，良好的良好，并且具有支持这些数值方案所需的基本规律性属性，还存在重要的开放性问题。为了解决这些限制，本文开发了用于对PNP前锋进行贝叶斯推断的理论，方法和可忽略的会聚算法。我们介绍了两个算法：1）PNP-ULA（未调整的Langevin算法），用于蒙特卡罗采样和MMSE推断; 2）PNP-SGD（随机梯度下降）用于MAP推理。利用Markov链的定量融合的最新结果，我们为这两种算法建立了详细的收敛保证，在现实假设下，在去噪运营商使用的现实假设下，特别注意基于深神经网络的遣散者。我们还表明这些算法大致瞄准了良好的决策理论上最佳的贝叶斯模型。所提出的算法在几种规范问题上证明了诸如图像去纹，染色和去噪，其中它们用于点估计以及不确定的可视化和量化。

用于医学图像重建的深度神经网络传统上使用高质量的地基图像作为训练目标训练。最近关于噪声的工作（N2N）已经示出了使用与具有地面真理的多个噪声测量的潜力。然而，现有的基于N2N的方法不适合于从经历非身份变形的物体的测量来学习。本文通过补偿对象变形来提出用于训练深层重建网络的变形补偿学习（DecoLearn）方法来解决此问题。DecoLearn的一个关键组件是一个深度登记模块，它与深度重建网络共同培训，没有任何地理监督。我们在模拟和实验收集的磁共振成像（MRI）数据上验证了甲板，并表明它显着提高了成像质量。

为了解决逆问题，已经开发了插件（PNP）方法，可以用呼叫特定于应用程序的DeNoiser在凸优化算法中替换近端步骤，该算法通常使用深神经网络（DNN）实现。尽管这种方法已经成功，但可以改进它们。例如，Denoiser通常经过设计/训练以消除白色高斯噪声，但是PNP算法中的DINOISER输入误差通常远非白色或高斯。近似消息传递（AMP）方法提供了白色和高斯DEOISER输入误差，但仅当正向操作员是一个大的随机矩阵时。在这项工作中，对于基于傅立叶的远期运营商，我们提出了一种基于普遍期望一致性（GEC）近似的PNP算法 - AMP的紧密表弟 - 在每次迭代时提供可预测的错误统计信息，以及新的DNN利用这些统计数据的Denoiser。我们将方法应用于磁共振成像（MRI）图像恢复，并证明其优于现有的PNP和AMP方法。

CSGM框架（Bora-Jalal-Price-Dimakis'17）表明，深度生成前沿可能是解决逆问题的强大工具。但是，迄今为止，此框架仅在某些数据集（例如，人称和MNIST数字）上经验成功，并且已知在分布外样品上表现不佳。本文介绍了CSGM框架在临床MRI数据上的第一次成功应用。我们在FastMri DataSet上培训了大脑扫描之前的生成，并显示通过Langevin Dynamics的后验采样实现了高质量的重建。此外，我们的实验和理论表明，后部采样是对地面定语分布和测量过程的变化的强大。我们的代码和型号可用于：\ URL {https://github.com/utcsilab/csgm-mri-langevin}。

总变化（TV）正则化已经提高了用于图像处理任务的各种变分模型。我们提出了与电视正则化的早期文献中的倒扩散过程与电视正常化相结合，并表明所得到的增强电视最小化模型对于降低对比度的损失特别有效，这通常由使用电视正常化的模型遇到。我们从嘈杂的额相测量中建立了增强电视模型的稳定重建保证;考虑非自适应线性测量和可变密度采样的傅里叶测量。特别地，在一些较弱的受限制的等距特性条件下，增强的电视最小化模型被示出为比各种基于电视的模型具有更严格的重建误差界限，用于噪声水平很大并且测量量有限。增强电视模型的优点也通过初步实验进行了数值验证，通过一些合成，自然和医学图像的重建。

插件播放（PNP）方法通过迭代近端算法解决了不良的逆问题，通过替换近端操作员通过denoisising操作来解决。当使用深层神经网络Denoisers应用时，这些方法显示出用于图像恢复问题的最先进的视觉性能。但是，他们的理论收敛分析仍然不完整。大多数现有的融合结果都考虑非现实的非专业转换器，或者将其分析限制为在逆问题中强烈凸出数据验证项。最近，提议将DeNoiser作为梯度下降步骤训练，以通过深神经网络参数为参数。使用这样的DeNoiser保证PNP版本的半季度分解（PNP-HQS）迭代算法的收敛性。在本文中，我们表明该梯度Denoiser实际上可以对应于另一个标量函数的近端操作员。鉴于这一新结果，我们利用了非convex设置中近端算法的收敛理论，以获得PNP-PGD（近端梯度下降）和PNP-ADMM（乘数的交替方向方法）的收敛结果。当建立在光滑的梯度Denoiser之上时，我们表明PNP-PGD和PNP-ADMM是显式功能的收敛性和目标固定点。这些收敛结果通过数值实验进行了脱毛，超分辨率和内化。

最近，模型驱动的深度学习通过用网络模块替换符号器的一阶信息（即（子）梯度或近端运算符）来拓展到级联网络中的一定迭代算法，该算法呈现出更可说明的与常见的数据驱动网络相比，可以预测。相反，理论上，不一定存在这样的功能常规程序，其一级信息与替换的网络模块匹配，这意味着网络输出可能不被原始正则化模型覆盖。此外，到目前为止，在现实假设下，也没有保证展开网络的全球收敛性和鲁棒性（规律性）。为了弥合这一差距，本文建议在展开网络上提出保障方法。具体而言，专注于加速MRI，我们展开了一个零阶算法，网络模块代表常规器本身，使得网络输出可以仍然被正则化模型覆盖。此外，受到深度均衡模型的理想的启发，在反向化之前，我们执行了展开的迭代网络，以收敛到一个固定点，以确保收敛。如果测量数据包含噪声，我们证明了所提出的网络对嘈杂干扰具有强大。最后，数值实验表明，所提出的网络始终如一地优于最先进的MRI重建方法，包括传统的正规化方法和其他深度学习方法。

本文首先提出了一种凸双翼优化范例，可以在现实世界场景中制定和优化流行的学习和视觉问题。与传统方法不同，直接基于给定的问题制定设计其迭代方案，我们将任务导向的能量引入我们的潜在约束，这集成了更丰富的任务信息。通过明确地重新表征可行性，我们建立了一种高效且灵活的算法框架，可以使用缩小解决方案空间和强大的辅助（基于任务的域知识和数据分布）来解决凸模型。理论上，我们提出了基于潜在可行性重新表征的数值策略的收敛分析。我们还在计算误差扰动下分析了理论会聚的稳定性。进行了广泛的数值实验，以验证我们的理论调查结果，并评估我们对不同应用方法的实际表现。

End-to-end deep neural networks (DNNs) have become state-of-the-art (SOTA) for solving inverse problems. Despite their outstanding performance, during deployment, such networks are sensitive to minor variations in the training pipeline and often fail to reconstruct small but important details, a feature critical in medical imaging, astronomy, or defence. Such instabilities in DNNs can be explained by the fact that they ignore the forward measurement model during deployment, and thus fail to enforce consistency between their output and the input measurements. To overcome this, we propose a framework that transforms any DNN for inverse problems into a measurement-consistent one. This is done by appending to it an implicit layer (or deep equilibrium network) designed to solve a model-based optimization problem. The implicit layer consists of a shallow learnable network that can be integrated into the end-to-end training. Experiments on single-image super-resolution show that the proposed framework leads to significant improvements in reconstruction quality and robustness over the SOTA DNNs.

近年来，在诸如denoing，压缩感应，介入和超分辨率等反问题中使用深度学习方法的使用取得了重大进展。尽管这种作品主要是由实践算法和实验驱动的，但它也引起了各种有趣的理论问题。在本文中，我们调查了这一作品中一些突出的理论发展，尤其是生成先验，未经训练的神经网络先验和展开算法。除了总结这些主题中的现有结果外，我们还强调了一些持续的挑战和开放问题。

在这项工作中，我们提出了一个新的范式，用于使用降低性降低方案（包括Minibatch梯度近似和操作员草图）设计有效的深层展开网络。深度展开的网络目前是成像逆问题的最新解决方案。然而，对于高维成像任务，尤其是X射线CT和MRI成像，由于需要多次计算高维向前和邻接运算符，因此深层展开方案通常在记忆和计算方面效率低下。最近，研究人员发现，可以通过展开随机梯度下降（SGD）来部分解决此类局限性，这受到随机一阶优化的成功的启发。在这项工作中，我们基于最先进的原始偶（LPD）网络，进一步探讨了这一方向，并首先提出了更具表现力和实用的随机原始偶发性展开，也是随机原始的进一步加速 - 双曲线，使用素描技术在高维图像空间中近似产品。操作员素描可以与随机展开共同应用，以获得最佳的加速度和压缩性能。我们对X射线CT图像重建的数值实验证明了我们加速展开方案的显着有效性。

In this work, a method for obtaining pixel-wise error bounds in Bayesian regularization of inverse imaging problems is introduced. The proposed method employs estimates of the posterior variance together with techniques from conformal prediction in order to obtain coverage guarantees for the error bounds, without making any assumption on the underlying data distribution. It is generally applicable to Bayesian regularization approaches, independent, e.g., of the concrete choice of the prior. Furthermore, the coverage guarantees can also be obtained in case only approximate sampling from the posterior is possible. With this in particular, the proposed framework is able to incorporate any learned prior in a black-box manner. Guaranteed coverage without assumptions on the underlying distributions is only achievable since the magnitude of the error bounds is, in general, unknown in advance. Nevertheless, experiments with multiple regularization approaches presented in the paper confirm that in practice, the obtained error bounds are rather tight. For realizing the numerical experiments, also a novel primal-dual Langevin algorithm for sampling from non-smooth distributions is introduced in this work.

Neural networks have recently allowed solving many ill-posed inverse problems with unprecedented performance. Physics informed approaches already progressively replace carefully hand-crafted reconstruction algorithms in real applications. However, these networks suffer from a major defect: when trained on a given forward operator, they do not generalize well to a different one. The aim of this paper is twofold. First, we show through various applications that training the network with a family of forward operators allows solving the adaptivity problem without compromising the reconstruction quality significantly. Second, we illustrate that this training procedure allows tackling challenging blind inverse problems. Our experiments include partial Fourier sampling problems arising in magnetic resonance imaging (MRI), computerized tomography (CT) and image deblurring.

基于模型的深度学习（MODL）依赖展开的算法是作为图像恢复的强大工具。在这项工作中，我们介绍了一种新颖的单调运营商学习框架，以克服与当前展开框架相关的一些挑战，包括高记忆成本，缺乏对扰动的鲁布利的保证，以及低的可解释性。与使用有限数量迭代的展开架构不同，我们使用深度均衡（DEQ）框架来迭代算法来收敛，并使用Jacobian迭代评估卷积神经网络块的梯度。这种方法显着降低了内存需求，促进了ModL算法的扩展到高维问题。我们将CNN限制为单调运算符，允许我们引入具有保证收敛性的算法和鲁棒性保证。我们在平行MRI的背景下展示了所提出的方案的效用。

With the aim of developing a fast yet accurate algorithm for compressive sensing (CS) reconstruction of natural images, we combine in this paper the merits of two existing categories of CS methods: the structure insights of traditional optimization-based methods and the speed of recent network-based ones. Specifically, we propose a novel structured deep network, dubbed ISTA-Net, which is inspired by the Iterative Shrinkage-Thresholding Algorithm (ISTA) for optimizing a general 1 norm CS reconstruction model. To cast ISTA into deep network form, we develop an effective strategy to solve the proximal mapping associated with the sparsity-inducing regularizer using nonlinear transforms. All the parameters in ISTA-Net (e.g. nonlinear transforms, shrinkage thresholds, step sizes, etc.) are learned end-to-end, rather than being hand-crafted. Moreover, considering that the residuals of natural images are more compressible, an enhanced version of ISTA-Net in the residual domain, dubbed ISTA-Net + , is derived to further improve CS reconstruction. Extensive CS experiments demonstrate that the proposed ISTA-Nets outperform existing state-of-the-art optimization-based and networkbased CS methods by large margins, while maintaining fast computational speed. Our source codes are available: http://jianzhang.tech/projects/ISTA-Net.

物理驱动的深度学习方法已成为计算磁共振成像（MRI）问题的强大工具，将重建性能推向新限制。本文概述了将物理信息纳入基于学习的MRI重建中的最新发展。我们考虑了用于计算MRI的线性和非线性正向模型的逆问题，并回顾了解决这些方法的经典方法。然后，我们专注于物理驱动的深度学习方法，涵盖了物理驱动的损失功能，插件方法，生成模型和展开的网络。我们重点介绍了特定于领域的挑战，例如神经网络的实现和复杂值的构建基块，以及具有线性和非线性正向模型的MRI转换应用。最后，我们讨论常见问题和开放挑战，并与物理驱动的学习与医学成像管道中的其他下游任务相结合时，与物理驱动的学习的重要性联系在一起。