In this paper, we propose a novel deep convolutional neural network (CNN)-based algorithm for solving ill-posed inverse problems. Regularized iterative algorithms have emerged as the standard approach to ill-posed inverse problems in the past few decades. These methods produce excellent results, but can be challenging to deploy in practice due to factors including the high computational cost of the forward and adjoint operators and the difficulty of hyper parameter selection. The starting point of our work is the observation that unrolled iterative methods have the form of a CNN (filtering followed by point-wise non-linearity) when the normal operator (H * H, the adjoint of H times H) of the forward model is a convolution. Based on this observation, we propose using direct inversion followed by a CNN to solve normal-convolutional inverse problems. The direct inversion encapsulates the physical model of the system, but leads to artifacts when the problem is ill-posed; the CNN combines multiresolution decomposition and residual learning in order to learn to remove these artifacts while preserving image structure. We demonstrate the performance of the proposed network in sparse-view reconstruction (down to 50 views) on parallel beam X-ray computed tomography in synthetic phantoms as well as in real experimental sinograms. The proposed network outperforms total variation-regularized iterative reconstruction for the more realistic phantoms and requires less than a second to reconstruct a 512 × 512 image on the GPU. K.H. Jin acknowledges the support from the "EPFL Fellows" fellowship program co-funded by Marie Curie from the European Unions Horizon 2020 Framework Programme for Research and Innovation under grant agreement 665667.

本文解决了利益区域（ROI）计算机断层扫描（CT）的图像重建问题。尽管基于模型的迭代方法可用于此问题，但由于乏味的参数化和缓慢的收敛性，它们的实用性通常受到限制。另外，当保留的先验不完全适合溶液空间时，可以获得不足的溶液。深度学习方法提供了一种快速的替代方法，从大型数据集中利用信息，因此可以达到高重建质量。但是，这些方法通常依赖于不考虑成像系统物理学的黑匣子，而且它们缺乏可解释性通常会感到沮丧。在两种方法的十字路口，最近都提出了展开的深度学习技术。它们将模型的物理和迭代优化算法纳入神经网络设计中，从而在各种应用中均具有出色的性能。本文介绍了一种新颖的，展开的深度学习方法，称为U-RDBFB，为ROI CT重建而设计为有限的数据。由于强大的非凸数据保真功能与稀疏性诱导正则化功能相结合，因此有效地处理了很少的截断数据。然后，嵌入在迭代重新加权方案中的块双重前向（DBFB）算法的迭代将在神经网络体系结构上展开，从而以监督的方式学习各种参数。我们的实验显示了对各种最新方法的改进，包括基于模型的迭代方案，深度学习体系结构和深度展开的方法。

基于深度学习的解决方案正在为各种应用程序成功实施。最值得注意的是，临床用例已增加了兴趣，并且是过去几年提出的一些尖端数据驱动算法背后的主要驱动力。对于诸如稀疏视图重建等应用，其中测量数据的量很少，以使获取时间短而且辐射剂量较低，降低了串联的伪像，促使数据驱动的DeNoINEDENO算法的开发，其主要目标是获得获得的主要目标。只有一个全扫描数据的子集诊断可行的图像。我们提出了WNET，这是一个数据驱动的双域denoising模型，其中包含用于稀疏视图deNoising的可训练的重建层。两个编码器 - 模型网络同时在正式和重建域中执行deno，而实现过滤后的反向投影算法的第三层则夹在前两种之间，并照顾重建操作。我们研究了该网络在稀疏视图胸部CT扫描上的性能，并突出显示了比更传统的固定层具有可训练的重建层的额外好处。我们在两个临床相关的数据集上训练和测试我们的网络，并将获得的结果与三种不同类型的稀疏视图CT CT DeNoisis和重建算法进行了比较。

Neural networks have recently allowed solving many ill-posed inverse problems with unprecedented performance. Physics informed approaches already progressively replace carefully hand-crafted reconstruction algorithms in real applications. However, these networks suffer from a major defect: when trained on a given forward operator, they do not generalize well to a different one. The aim of this paper is twofold. First, we show through various applications that training the network with a family of forward operators allows solving the adaptivity problem without compromising the reconstruction quality significantly. Second, we illustrate that this training procedure allows tackling challenging blind inverse problems. Our experiments include partial Fourier sampling problems arising in magnetic resonance imaging (MRI), computerized tomography (CT) and image deblurring.

我们提出了一个基于一般学习的框架，用于解决非平滑和非凸图像重建问题。我们将正则函数建模为$ l_ {2,1} $ norm的组成，并将平滑但非convex功能映射参数化为深卷积神经网络。我们通过利用Nesterov的平滑技术和残留学习的概念来开发一种可证明的趋同的下降型算法来解决非平滑非概念最小化问题，并学习网络参数，以使算法的输出与培训数据中的参考匹配。我们的方法用途广泛，因为人们可以将各种现代网络结构用于正规化，而所得网络继承了算法的保证收敛性。我们还表明，所提出的网络是参数有效的，其性能与实践中各种图像重建问题中的最新方法相比有利。

物理驱动的深度学习方法已成为计算磁共振成像（MRI）问题的强大工具，将重建性能推向新限制。本文概述了将物理信息纳入基于学习的MRI重建中的最新发展。我们考虑了用于计算MRI的线性和非线性正向模型的逆问题，并回顾了解决这些方法的经典方法。然后，我们专注于物理驱动的深度学习方法，涵盖了物理驱动的损失功能，插件方法，生成模型和展开的网络。我们重点介绍了特定于领域的挑战，例如神经网络的实现和复杂值的构建基块，以及具有线性和非线性正向模型的MRI转换应用。最后，我们讨论常见问题和开放挑战，并与物理驱动的学习与医学成像管道中的其他下游任务相结合时，与物理驱动的学习的重要性联系在一起。

从早期图像处理到现代计算成像，成功的模型和算法都依赖于自然信号的基本属性：对称性。在这里，对称是指信号集的不变性属性，例如翻译，旋转或缩放等转换。对称性也可以以模棱两可的形式纳入深度神经网络中，从而可以进行更多的数据效率学习。虽然近年来端到端的图像分类网络的设计方面取得了重要进展，但计算成像引入了对等效网络解决方案的独特挑战，因为我们通常只通过一些嘈杂的不良反向操作员观察图像，可能不是均等的。我们回顾了现象成像的新兴领域，并展示它如何提供改进的概括和新成像机会。在此过程中，我们展示了采集物理学与小组动作之间的相互作用，以及与迭代重建，盲目的压缩感应和自我监督学习之间的联系。

In photoacoustic tomography (PAT) with flat sensor, we routinely encounter two types of limited data. The first is due to using a finite sensor and is especially perceptible if the region of interest is large relative to the sensor or located farther away from the sensor. In this paper, we focus on the second type caused by a varying sensitivity of the sensor to the incoming wavefront direction which can be modelled as binary i.e. by a cone of sensitivity. Such visibility conditions result, in the Fourier domain, in a restriction of both the image and the data to a bow-tie, akin to the one corresponding to the range of the forward operator. The visible wavefrontsets in image and data domains, are related by the wavefront direction mapping. We adapt the wedge restricted Curvelet decomposition, we previously proposed for the representation of the full PAT data, to separate the visible and invisible wavefronts in the image. We optimally combine fast approximate operators with tailored deep neural network architectures into efficient learned reconstruction methods which perform reconstruction of the visible coefficients and the invisible coefficients are learned from a training set of similar data.

Deep neural networks provide unprecedented performance gains in many real world problems in signal and image processing. Despite these gains, future development and practical deployment of deep networks is hindered by their blackbox nature, i.e., lack of interpretability, and by the need for very large training sets. An emerging technique called algorithm unrolling or unfolding offers promise in eliminating these issues by providing a concrete and systematic connection between iterative algorithms that are used widely in signal processing and deep neural networks. Unrolling methods were first proposed to develop fast neural network approximations for sparse coding. More recently, this direction has attracted enormous attention and is rapidly growing both in theoretic investigations and practical applications. The growing popularity of unrolled deep networks is due in part to their potential in developing efficient, high-performance and yet interpretable network architectures from reasonable size training sets. In this article, we review algorithm unrolling for signal and image processing. We extensively cover popular techniques for algorithm unrolling in various domains of signal and image processing including imaging, vision and recognition, and speech processing. By reviewing previous works, we reveal the connections between iterative algorithms and neural networks and present recent theoretical results. Finally, we provide a discussion on current limitations of unrolling and suggest possible future research directions.

在计算机断层扫描成像的实际应用中，投影数据可以在有限角度范围内获取，并由于扫描条件的限制而被噪声损坏。嘈杂的不完全投影数据导致反问题的不良性。在这项工作中，我们从理论上验证了低分辨率重建问题的数值稳定性比高分辨率问题更好。在接下来的内容中，提出了一个新型的低分辨率图像先验的CT重建模型，以利用低分辨率图像来提高重建质量。更具体地说，我们在下采样的投影数据上建立了低分辨率重建问题，并将重建的低分辨率图像作为原始限量角CT问题的先验知识。我们通过交替的方向方法与卷积神经网络近似的所有子问题解决了约束最小化问题。数值实验表明，我们的双分辨率网络在嘈杂的有限角度重建问题上的变异方法和流行的基于学习的重建方法都优于变异方法。

双能计算机断层扫描（DECT）已广泛用于需要材料分解的许多应用中。图像域方法直接分解来自高能和低能量衰减图像的材料图像，因此，衰减图像上的噪声和伪影易感。本研究的目的是开发一种改进的迭代神经网络（INN），用于DECT中的高质量图像域材料分解，并研究其性质。我们为DECT材料分解提出了一个新的Inn架构。该建议的Inn Architection在图像精炼模块中使用不同的跨材料卷积神经网络（CNN），并在图像重建模块中使用图像分解物理。独特的交叉材料CNN炼油厂包括不同的编码解码滤波器和跨材料模型，其捕获不同材料之间的相关性。我们研究了具有贴片式重构和紧密框架条件的不同跨材料CNN炼油厂。扩展Cardiacorso（XCAT）幻像和临床数据的数值实验表明，所提出的INN显着提高了几种图像域材料分解方法的图像质量，包括使用边缘保留规范器的传统模型的图像分解（MBID）方法，最近使用预先学习的材料缺口变换的MBID方法，以及非特性深层CNN方法。我们的研究基于补丁的重新制作表明，不同的跨材料CNN炼油厂的学习过滤器可以大致满足紧密框架状态。

深度展开是一种基于深度学习的图像重建方法，它弥合了基于模型和纯粹的基于深度学习的图像重建方法之间的差距。尽管深层展开的方法实现了成像问题的最新性能，并允许将观察模型纳入重建过程，但它们没有提供有关重建图像的任何不确定性信息，这严重限制了他们在实践中的使用，尤其是用于安全 - 关键成像应用。在本文中，我们提出了一个基于学习的图像重建框架，该框架将观察模型纳入重建任务中，并能够基于深层展开和贝叶斯神经网络来量化认知和核心不确定性。我们证明了所提出的框架在磁共振成像和计算机断层扫描重建问题上的不确定性表征能力。我们研究了拟议框架提供的认知和态度不确定性信息的特征，以激发未来的研究利用不确定性信息来开发更准确，健壮，可信赖，不确定性，基于学习的图像重建和成像问题的分析方法。我们表明，所提出的框架可以提供不确定性信息，同时与最新的深层展开方法实现可比的重建性能。

Low-dose computed tomography (CT) plays a significant role in reducing the radiation risk in clinical applications. However, lowering the radiation dose will significantly degrade the image quality. With the rapid development and wide application of deep learning, it has brought new directions for the development of low-dose CT imaging algorithms. Therefore, we propose a fully unsupervised one sample diffusion model (OSDM)in projection domain for low-dose CT reconstruction. To extract sufficient prior information from single sample, the Hankel matrix formulation is employed. Besides, the penalized weighted least-squares and total variation are introduced to achieve superior image quality. Specifically, we first train a score-based generative model on one sinogram by extracting a great number of tensors from the structural-Hankel matrix as the network input to capture prior distribution. Then, at the inference stage, the stochastic differential equation solver and data consistency step are performed iteratively to obtain the sinogram data. Finally, the final image is obtained through the filtered back-projection algorithm. The reconstructed results are approaching to the normal-dose counterparts. The results prove that OSDM is practical and effective model for reducing the artifacts and preserving the image quality.

深度学习方法已成功用于各种计算机视觉任务。受到成功的启发，已经在磁共振成像（MRI）重建中探索了深度学习。特别是，整合深度学习和基于模型的优化方法已显示出很大的优势。但是，对于高重建质量，通常需要大量标记的培训数据，这对于某些MRI应用来说是具有挑战性的。在本文中，我们提出了一种名为DUREN-NET的新型重建方法，该方法可以通过组合无监督的DeNoising网络和插件方法来为MR图像重建提供可解释的无监督学习。我们的目标是通过添加明确的先验利用成像物理学来提高无监督学习的重建性能。具体而言，使用denoising（红色）正规化实现了MRI重建网络的杠杆作用。实验结果表明，所提出的方法需要减少训练数据的数量才能达到高重建质量。

With the aim of developing a fast yet accurate algorithm for compressive sensing (CS) reconstruction of natural images, we combine in this paper the merits of two existing categories of CS methods: the structure insights of traditional optimization-based methods and the speed of recent network-based ones. Specifically, we propose a novel structured deep network, dubbed ISTA-Net, which is inspired by the Iterative Shrinkage-Thresholding Algorithm (ISTA) for optimizing a general 1 norm CS reconstruction model. To cast ISTA into deep network form, we develop an effective strategy to solve the proximal mapping associated with the sparsity-inducing regularizer using nonlinear transforms. All the parameters in ISTA-Net (e.g. nonlinear transforms, shrinkage thresholds, step sizes, etc.) are learned end-to-end, rather than being hand-crafted. Moreover, considering that the residuals of natural images are more compressible, an enhanced version of ISTA-Net in the residual domain, dubbed ISTA-Net + , is derived to further improve CS reconstruction. Extensive CS experiments demonstrate that the proposed ISTA-Nets outperform existing state-of-the-art optimization-based and networkbased CS methods by large margins, while maintaining fast computational speed. Our source codes are available: http://jianzhang.tech/projects/ISTA-Net.

基于分数的扩散模型为使用数据分布的梯度建模图像提供了一种强大的方法。利用学到的分数函数为先验，在这里，我们引入了一种从条件分布中进行测量的方法，以便可以轻松地用于求解成像中的反问题，尤其是用于加速MRI。简而言之，我们通过denoising得分匹配来训练连续的时间依赖分数函数。然后，在推论阶段，我们在数值SDE求解器和数据一致性投影步骤之间进行迭代以实现重建。我们的模型仅需要用于训练的幅度图像，但能够重建复杂值数据，甚至扩展到并行成像。所提出的方法是不可知论到子采样模式，可以与任何采样方案一起使用。同样，由于其生成性质，我们的方法可以量化不确定性，这是标准回归设置不可能的。最重要的是，我们的方法还具有非常强大的性能，甚至击败了经过全面监督训练的模型。通过广泛的实验，我们在质量和实用性方面验证了我们方法的优势。

近年来，深度学习在图像重建方面取得了显着的经验成功。这已经促进了对关键用例中数据驱动方法的正确性和可靠性的精确表征的持续追求，例如在医学成像中。尽管基于深度学习的方法具有出色的性能和功效，但对其稳定性或缺乏稳定性的关注以及严重的实际含义。近年来，已经取得了重大进展，以揭示数据驱动的图像恢复方法的内部运作，从而挑战了其广泛认为的黑盒本质。在本文中，我们将为数据驱动的图像重建指定相关的融合概念，该概念将构成具有数学上严格重建保证的学习方法调查的基础。强调的一个例子是ICNN的作用，提供了将深度学习的力量与经典凸正则化理论相结合的可能性，用于设计被证明是融合的方法。这篇调查文章旨在通过提供对数据驱动的图像重建方法以及从业人员的理解，旨在通过提供可访问的融合概念的描述，并通过将一些现有的经验实践放在可靠的数学上，来推进我们对数据驱动图像重建方法的理解以及从业人员的了解。基础。

We propose a deep learning method for three-dimensional reconstruction in low-dose helical cone-beam computed tomography. We reconstruct the volume directly, i.e., not from 2D slices, guaranteeing consistency along all axes. In a crucial step beyond prior work, we train our model in a self-supervised manner in the projection domain using noisy 2D projection data, without relying on 3D reference data or the output of a reference reconstruction method. This means the fidelity of our results is not limited by the quality and availability of such data. We evaluate our method on real helical cone-beam projections and simulated phantoms. Our reconstructions are sharper and less noisy than those of previous methods, and several decibels better in quantitative PSNR measurements. When applied to full-dose data, our method produces high-quality results orders of magnitude faster than iterative techniques.

最近在图像重建之前被引入了深度图像。它表示要作为深度卷积神经网络的输出恢复的图像，并学习网络的参数，使得输出适合损坏的观察。尽管它令人印象深刻的重建属性，但与学到的学习或传统的重建技术相比，该方法缓慢。我们的工作开发了一个两阶段学习范式来解决计算挑战：（i）我们在合成数据集上执行网络的监督预测;（ii）我们微调网络的参数，以适应目标重建。我们展示了预先预测的预测，从实际测量的生物样本的实际微型计算机断层扫描数据中提高了随后的重建。代码和附加实验材料可在https://educateddip.github.io/docs.educated_deep_image_prior/处获得。

通过结合使用卷积神经网（CNN）指定的物理测量模型和学习的图像验证者，对基于模型的架构（DMBA）的兴趣越来越大。例如，用于系统设计DMBA的著名框架包括插件培训（PNP），深度展开（DU）和深度平衡模型（DEQ）。尽管已广泛研究了DMBA的经验性能和理论特性，但当确切地知道所需的图像之前，该地区的现有工作主要集中在其性能上。这项工作通过在不匹配的CNN先验下向DMBA提供新的理论和数值见解来解决先前工作的差距。当训练和测试数据之间存在分布变化时，自然会出现不匹配的先验，例如，由于测试图像来自与用于训练CNN先验的图像不同的分布。当CNN事先用于推理是一些所需的统计估计器（MAP或MMSE）的近似值时，它们也会出现。我们的理论分析在一组明确指定的假设下，由于不匹配的CNN先验，在解决方案上提供了明显的误差界限。我们的数值结果比较了在现实分布变化和近似统计估计器下DMBA的经验性能。