Neural networks have recently allowed solving many ill-posed inverse problems with unprecedented performance. Physics informed approaches already progressively replace carefully hand-crafted reconstruction algorithms in real applications. However, these networks suffer from a major defect: when trained on a given forward operator, they do not generalize well to a different one. The aim of this paper is twofold. First, we show through various applications that training the network with a family of forward operators allows solving the adaptivity problem without compromising the reconstruction quality significantly. Second, we illustrate that this training procedure allows tackling challenging blind inverse problems. Our experiments include partial Fourier sampling problems arising in magnetic resonance imaging (MRI), computerized tomography (CT) and image deblurring.

物理驱动的深度学习方法已成为计算磁共振成像（MRI）问题的强大工具，将重建性能推向新限制。本文概述了将物理信息纳入基于学习的MRI重建中的最新发展。我们考虑了用于计算MRI的线性和非线性正向模型的逆问题，并回顾了解决这些方法的经典方法。然后，我们专注于物理驱动的深度学习方法，涵盖了物理驱动的损失功能，插件方法，生成模型和展开的网络。我们重点介绍了特定于领域的挑战，例如神经网络的实现和复杂值的构建基块，以及具有线性和非线性正向模型的MRI转换应用。最后，我们讨论常见问题和开放挑战，并与物理驱动的学习与医学成像管道中的其他下游任务相结合时，与物理驱动的学习的重要性联系在一起。

基于分数的扩散模型为使用数据分布的梯度建模图像提供了一种强大的方法。利用学到的分数函数为先验，在这里，我们引入了一种从条件分布中进行测量的方法，以便可以轻松地用于求解成像中的反问题，尤其是用于加速MRI。简而言之，我们通过denoising得分匹配来训练连续的时间依赖分数函数。然后，在推论阶段，我们在数值SDE求解器和数据一致性投影步骤之间进行迭代以实现重建。我们的模型仅需要用于训练的幅度图像，但能够重建复杂值数据，甚至扩展到并行成像。所提出的方法是不可知论到子采样模式，可以与任何采样方案一起使用。同样，由于其生成性质，我们的方法可以量化不确定性，这是标准回归设置不可能的。最重要的是，我们的方法还具有非常强大的性能，甚至击败了经过全面监督训练的模型。通过广泛的实验，我们在质量和实用性方面验证了我们方法的优势。

CSGM框架（Bora-Jalal-Price-Dimakis'17）表明，深度生成前沿可能是解决逆问题的强大工具。但是，迄今为止，此框架仅在某些数据集（例如，人称和MNIST数字）上经验成功，并且已知在分布外样品上表现不佳。本文介绍了CSGM框架在临床MRI数据上的第一次成功应用。我们在FastMri DataSet上培训了大脑扫描之前的生成，并显示通过Langevin Dynamics的后验采样实现了高质量的重建。此外，我们的实验和理论表明，后部采样是对地面定语分布和测量过程的变化的强大。我们的代码和型号可用于：\ URL {https://github.com/utcsilab/csgm-mri-langevin}。

近年来，深度学习在图像重建方面取得了显着的经验成功。这已经促进了对关键用例中数据驱动方法的正确性和可靠性的精确表征的持续追求，例如在医学成像中。尽管基于深度学习的方法具有出色的性能和功效，但对其稳定性或缺乏稳定性的关注以及严重的实际含义。近年来，已经取得了重大进展，以揭示数据驱动的图像恢复方法的内部运作，从而挑战了其广泛认为的黑盒本质。在本文中，我们将为数据驱动的图像重建指定相关的融合概念，该概念将构成具有数学上严格重建保证的学习方法调查的基础。强调的一个例子是ICNN的作用，提供了将深度学习的力量与经典凸正则化理论相结合的可能性，用于设计被证明是融合的方法。这篇调查文章旨在通过提供对数据驱动的图像重建方法以及从业人员的理解，旨在通过提供可访问的融合概念的描述，并通过将一些现有的经验实践放在可靠的数学上，来推进我们对数据驱动图像重建方法的理解以及从业人员的了解。基础。

最近，由于高性能，深度学习方法已成为生物学图像重建和增强问题的主要研究前沿，以及其超快速推理时间。但是，由于获得监督学习的匹配参考数据的难度，对不需要配对的参考数据的无监督学习方法越来越兴趣。特别是，已成功用于各种生物成像应用的自我监督的学习和生成模型。在本文中，我们概述了在古典逆问题的背景下的连贯性观点，并讨论其对生物成像的应用，包括电子，荧光和去卷积显微镜，光学衍射断层扫描和功能性神经影像。

In this paper, we propose a novel deep convolutional neural network (CNN)-based algorithm for solving ill-posed inverse problems. Regularized iterative algorithms have emerged as the standard approach to ill-posed inverse problems in the past few decades. These methods produce excellent results, but can be challenging to deploy in practice due to factors including the high computational cost of the forward and adjoint operators and the difficulty of hyper parameter selection. The starting point of our work is the observation that unrolled iterative methods have the form of a CNN (filtering followed by point-wise non-linearity) when the normal operator (H * H, the adjoint of H times H) of the forward model is a convolution. Based on this observation, we propose using direct inversion followed by a CNN to solve normal-convolutional inverse problems. The direct inversion encapsulates the physical model of the system, but leads to artifacts when the problem is ill-posed; the CNN combines multiresolution decomposition and residual learning in order to learn to remove these artifacts while preserving image structure. We demonstrate the performance of the proposed network in sparse-view reconstruction (down to 50 views) on parallel beam X-ray computed tomography in synthetic phantoms as well as in real experimental sinograms. The proposed network outperforms total variation-regularized iterative reconstruction for the more realistic phantoms and requires less than a second to reconstruct a 512 × 512 image on the GPU. K.H. Jin acknowledges the support from the "EPFL Fellows" fellowship program co-funded by Marie Curie from the European Unions Horizon 2020 Framework Programme for Research and Innovation under grant agreement 665667.

插件播放（PNP）框架使得将高级图像deno的先验集成到优化算法中成为可能，以有效地解决通常以最大后验（MAP）估计问题为例的各种图像恢复任务。乘法乘数的交替方向方法（ADMM）和通过denoing（红色）算法的正则化是这类方法的两个示例，这些示例在图像恢复方面取得了突破。但是，尽管前一种方法仅适用于近端算法，但最近已经证明，当DeOisers缺乏Jacobian对称性时，没有任何正规化解释红色算法，这恰恰是最实际的DINOISERS的情况。据我们所知，没有任何方法来训练直接代表正规器梯度的网络，该网络可以直接用于基于插入梯度的算法中。我们表明，可以在共同训练相应的地图Denoiser的同时训练直接建模MAP正常化程序梯度的网络。我们在基于梯度的优化方法中使用该网络，并获得与其他通用插件方法相比，获得更好的结果。我们还表明，正规器可以用作展开梯度下降的预训练网络。最后，我们证明了由此产生的Denoiser允许更好地收敛插件ADMM。

The data consistency for the physical forward model is crucial in inverse problems, especially in MR imaging reconstruction. The standard way is to unroll an iterative algorithm into a neural network with a forward model embedded. The forward model always changes in clinical practice, so the learning component's entanglement with the forward model makes the reconstruction hard to generalize. The proposed method is more generalizable for different MR acquisition settings by separating the forward model from the deep learning component. The deep learning-based proximal gradient descent was proposed to create a learned regularization term independent of the forward model. We applied the one-time trained regularization term to different MR acquisition settings to validate the proposed method and compared the reconstruction with the commonly used $\ell_1$ regularization. We showed ~3 dB improvement in the peak signal to noise ratio, compared with conventional $\ell_1$ regularized reconstruction. We demonstrated the flexibility of the proposed method in choosing different undersampling patterns. We also evaluated the effect of parameter tuning for the deep learning regularization.

Image reconstruction using deep learning algorithms offers improved reconstruction quality and lower reconstruction time than classical compressed sensing and model-based algorithms. Unfortunately, clean and fully sampled ground-truth data to train the deep networks is often unavailable in several applications, restricting the applicability of the above methods. We introduce a novel metric termed the ENsemble Stein's Unbiased Risk Estimate (ENSURE) framework, which can be used to train deep image reconstruction algorithms without fully sampled and noise-free images. The proposed framework is the generalization of the classical SURE and GSURE formulation to the setting where the images are sampled by different measurement operators, chosen randomly from a set. We evaluate the expectation of the GSURE loss functions over the sampling patterns to obtain the ENSURE loss function. We show that this loss is an unbiased estimate for the true mean-square error, which offers a better alternative to GSURE, which only offers an unbiased estimate for the projected error. Our experiments show that the networks trained with this loss function can offer reconstructions comparable to the supervised setting. While we demonstrate this framework in the context of MR image recovery, the ENSURE framework is generally applicable to arbitrary inverse problems.

我们在凸优化和深度学习的界面上引入了一类新的迭代图像重建算法，以启发凸出和深度学习。该方法包括通过训练深神网络（DNN）作为Denoiser学习先前的图像模型，并将其替换为优化算法的手工近端正则操作员。拟议的airi（``````````````'''''）框架，用于成像复杂的强度结构，并从可见性数据中扩散和微弱的发射，继承了优化的鲁棒性和解释性，以及网络的学习能力和速度。我们的方法取决于三个步骤。首先，我们从光强度图像设计了一个低动态范围训练数据库。其次，我们以从数据的信噪比推断出的噪声水平来训练DNN Denoiser。我们使用训练损失提高了术语，可确保算法收敛，并通过指示进行即时数据库动态范围增强。第三，我们将学习的DeNoiser插入前向后的优化算法中，从而产生了一个简单的迭代结构，该结构与梯度下降的数据输入步骤交替出现Denoising步骤。我们已经验证了SARA家族的清洁，优化算法的AIRI，并经过DNN训练，可以直接从可见性数据中重建图像。仿真结果表明，AIRI与SARA及其基于前卫的版本USARA具有竞争力，同时提供了显着的加速。干净保持更快，但质量较低。端到端DNN提供了进一步的加速，但质量远低于AIRI。

Deep neural networks provide unprecedented performance gains in many real world problems in signal and image processing. Despite these gains, future development and practical deployment of deep networks is hindered by their blackbox nature, i.e., lack of interpretability, and by the need for very large training sets. An emerging technique called algorithm unrolling or unfolding offers promise in eliminating these issues by providing a concrete and systematic connection between iterative algorithms that are used widely in signal processing and deep neural networks. Unrolling methods were first proposed to develop fast neural network approximations for sparse coding. More recently, this direction has attracted enormous attention and is rapidly growing both in theoretic investigations and practical applications. The growing popularity of unrolled deep networks is due in part to their potential in developing efficient, high-performance and yet interpretable network architectures from reasonable size training sets. In this article, we review algorithm unrolling for signal and image processing. We extensively cover popular techniques for algorithm unrolling in various domains of signal and image processing including imaging, vision and recognition, and speech processing. By reviewing previous works, we reveal the connections between iterative algorithms and neural networks and present recent theoretical results. Finally, we provide a discussion on current limitations of unrolling and suggest possible future research directions.

为了解决逆问题，已经开发了插件（PNP）方法，可以用呼叫特定于应用程序的DeNoiser在凸优化算法中替换近端步骤，该算法通常使用深神经网络（DNN）实现。尽管这种方法已经成功，但可以改进它们。例如，Denoiser通常经过设计/训练以消除白色高斯噪声，但是PNP算法中的DINOISER输入误差通常远非白色或高斯。近似消息传递（AMP）方法提供了白色和高斯DEOISER输入误差，但仅当正向操作员是一个大的随机矩阵时。在这项工作中，对于基于傅立叶的远期运营商，我们提出了一种基于普遍期望一致性（GEC）近似的PNP算法 - AMP的紧密表弟 - 在每次迭代时提供可预测的错误统计信息，以及新的DNN利用这些统计数据的Denoiser。我们将方法应用于磁共振成像（MRI）图像恢复，并证明其优于现有的PNP和AMP方法。

目的：开发一种适用于具有非平滑相位变化的扩散加权（DW）图像的鲁棒部分傅里叶（PF）重建算法。方法：基于展开的近端分裂算法，导出了一种神经网络架构，其在经常复卷卷积实现的数据一致性操作和正则化之间交替。为了利用相关性，在考虑到置换方面，共同重建相同切片的多重重复。该算法在60名志愿者的DW肝脏数据上培训，并回顾性和预期的不同解剖和分辨率的次样本数据评估。结果：该方法能够在定量措施以及感知图像质量方面具有显着优异地优于追溯子采样数据的传统PF技术。在这种情况下，发现重复的联合重建以及特定类型的经常性网络展开展开是有益的重建质量。在预期的PF采样数据上，所提出的方法使得DW成像能够在不牺牲图像分辨率或引入额外的伪影的情况下进行DW成像。或者，它可以用来对抗具有更高分辨率的获取的TE增加。此外，可以向展示训练集中的解剖学和对比度显示普遍性的脑数据。结论：这项工作表明，即使在易于相位变化的解剖中的强力PF因子中，DW数据的强大PF重建也是可行的。由于所提出的方法不依赖于阶段的平滑度前沿，而是使用学习的经常性卷积，因此可以避免传统PF方法的伪像。

仅使用少量数据学习神经网络是一个重要的研究主题，具有巨大的应用潜力。在本文中，我们介绍了基于归一化流量的成像中反问题的变异建模的常规化器。我们的常规器称为PatchNR，涉及在很少的图像的贴片上学习的正常流。特别是，培训独立于考虑的逆问题，因此可以将相同的正规化程序用于在同一类图像上作用的不同前向操作员。通过研究斑块的分布与整个图像类别的分布，我们证明我们的变分模型确实是一种地图方法。如果有其他监督信息，我们的模型可以推广到有条件的补丁。材料图像和低剂量或限量角度计算机断层扫描（CT）的层分辨率的数值示例表明，我们的方法在具有相似假设的方法之间提供了高质量的结果，但仅需要很少的数据。

光子计数CT（PCCT）通过更好的空间和能量分辨率提供了改进的诊断性能，但是开发可以处理这些大数据集的高质量图像重建方法是具有挑战性的。基于模型的解决方案结合了物理采集的模型，以重建更准确的图像，但取决于准确的前向操作员，并在寻找良好的正则化方面遇到困难。另一种方法是深度学习的重建，这在CT中表现出了巨大的希望。但是，完全数据驱动的解决方案通常需要大量的培训数据，并且缺乏解释性。为了结合两种方法的好处，同时最大程度地降低了各自的缺点，希望开发重建算法，以结合基于模型和数据驱动的方法。在这项工作中，我们基于展开/展开的迭代网络提出了一种新颖的深度学习解决方案，用于PCCT中的材料分解。我们评估了两种情况：一种学识渊博的后处理，隐含地利用了模型知识，以及一种学到的梯度，该梯度在体系结构中具有明确的基于模型的组件。借助我们提出的技术，我们解决了一个具有挑战性的PCCT模拟情况：低剂量，碘对比度和很小的训练样品支持的腹部成像中的三材料分解。在这种情况下，我们的方法的表现优于最大似然估计，一种变异方法以及一个完整的网络。

With the aim of developing a fast yet accurate algorithm for compressive sensing (CS) reconstruction of natural images, we combine in this paper the merits of two existing categories of CS methods: the structure insights of traditional optimization-based methods and the speed of recent network-based ones. Specifically, we propose a novel structured deep network, dubbed ISTA-Net, which is inspired by the Iterative Shrinkage-Thresholding Algorithm (ISTA) for optimizing a general 1 norm CS reconstruction model. To cast ISTA into deep network form, we develop an effective strategy to solve the proximal mapping associated with the sparsity-inducing regularizer using nonlinear transforms. All the parameters in ISTA-Net (e.g. nonlinear transforms, shrinkage thresholds, step sizes, etc.) are learned end-to-end, rather than being hand-crafted. Moreover, considering that the residuals of natural images are more compressible, an enhanced version of ISTA-Net in the residual domain, dubbed ISTA-Net + , is derived to further improve CS reconstruction. Extensive CS experiments demonstrate that the proposed ISTA-Nets outperform existing state-of-the-art optimization-based and networkbased CS methods by large margins, while maintaining fast computational speed. Our source codes are available: http://jianzhang.tech/projects/ISTA-Net.

Deep convolutional networks have become a popular tool for image generation and restoration. Generally, their excellent performance is imputed to their ability to learn realistic image priors from a large number of example images. In this paper, we show that, on the contrary, the structure of a generator network is sufficient to capture a great deal of low-level image statistics prior to any learning. In order to do so, we show that a randomly-initialized neural network can be used as a handcrafted prior with excellent results in standard inverse problems such as denoising, superresolution, and inpainting. Furthermore, the same prior can be used to invert deep neural representations to diagnose them, and to restore images based on flash-no flash input pairs.

通过结合使用卷积神经网（CNN）指定的物理测量模型和学习的图像验证者，对基于模型的架构（DMBA）的兴趣越来越大。例如，用于系统设计DMBA的著名框架包括插件培训（PNP），深度展开（DU）和深度平衡模型（DEQ）。尽管已广泛研究了DMBA的经验性能和理论特性，但当确切地知道所需的图像之前，该地区的现有工作主要集中在其性能上。这项工作通过在不匹配的CNN先验下向DMBA提供新的理论和数值见解来解决先前工作的差距。当训练和测试数据之间存在分布变化时，自然会出现不匹配的先验，例如，由于测试图像来自与用于训练CNN先验的图像不同的分布。当CNN事先用于推理是一些所需的统计估计器（MAP或MMSE）的近似值时，它们也会出现。我们的理论分析在一组明确指定的假设下，由于不匹配的CNN先验，在解决方案上提供了明显的误差界限。我们的数值结果比较了在现实分布变化和近似统计估计器下DMBA的经验性能。

近年来，在诸如denoing，压缩感应，介入和超分辨率等反问题中使用深度学习方法的使用取得了重大进展。尽管这种作品主要是由实践算法和实验驱动的，但它也引起了各种有趣的理论问题。在本文中，我们调查了这一作品中一些突出的理论发展，尤其是生成先验，未经训练的神经网络先验和展开算法。除了总结这些主题中的现有结果外，我们还强调了一些持续的挑战和开放问题。