双能计算机断层扫描（DECT）已广泛用于需要材料分解的许多应用中。图像域方法直接分解来自高能和低能量衰减图像的材料图像，因此，衰减图像上的噪声和伪影易感。本研究的目的是开发一种改进的迭代神经网络（INN），用于DECT中的高质量图像域材料分解，并研究其性质。我们为DECT材料分解提出了一个新的Inn架构。该建议的Inn Architection在图像精炼模块中使用不同的跨材料卷积神经网络（CNN），并在图像重建模块中使用图像分解物理。独特的交叉材料CNN炼油厂包括不同的编码解码滤波器和跨材料模型，其捕获不同材料之间的相关性。我们研究了具有贴片式重构和紧密框架条件的不同跨材料CNN炼油厂。扩展Cardiacorso（XCAT）幻像和临床数据的数值实验表明，所提出的INN显着提高了几种图像域材料分解方法的图像质量，包括使用边缘保留规范器的传统模型的图像分解（MBID）方法，最近使用预先学习的材料缺口变换的MBID方法，以及非特性深层CNN方法。我们的研究基于补丁的重新制作表明，不同的跨材料CNN炼油厂的学习过滤器可以大致满足紧密框架状态。

本文解决了利益区域（ROI）计算机断层扫描（CT）的图像重建问题。尽管基于模型的迭代方法可用于此问题，但由于乏味的参数化和缓慢的收敛性，它们的实用性通常受到限制。另外，当保留的先验不完全适合溶液空间时，可以获得不足的溶液。深度学习方法提供了一种快速的替代方法，从大型数据集中利用信息，因此可以达到高重建质量。但是，这些方法通常依赖于不考虑成像系统物理学的黑匣子，而且它们缺乏可解释性通常会感到沮丧。在两种方法的十字路口，最近都提出了展开的深度学习技术。它们将模型的物理和迭代优化算法纳入神经网络设计中，从而在各种应用中均具有出色的性能。本文介绍了一种新颖的，展开的深度学习方法，称为U-RDBFB，为ROI CT重建而设计为有限的数据。由于强大的非凸数据保真功能与稀疏性诱导正则化功能相结合，因此有效地处理了很少的截断数据。然后，嵌入在迭代重新加权方案中的块双重前向（DBFB）算法的迭代将在神经网络体系结构上展开，从而以监督的方式学习各种参数。我们的实验显示了对各种最新方法的改进，包括基于模型的迭代方案，深度学习体系结构和深度展开的方法。

基于深度学习的解决方案正在为各种应用程序成功实施。最值得注意的是，临床用例已增加了兴趣，并且是过去几年提出的一些尖端数据驱动算法背后的主要驱动力。对于诸如稀疏视图重建等应用，其中测量数据的量很少，以使获取时间短而且辐射剂量较低，降低了串联的伪像，促使数据驱动的DeNoINEDENO算法的开发，其主要目标是获得获得的主要目标。只有一个全扫描数据的子集诊断可行的图像。我们提出了WNET，这是一个数据驱动的双域denoising模型，其中包含用于稀疏视图deNoising的可训练的重建层。两个编码器 - 模型网络同时在正式和重建域中执行deno，而实现过滤后的反向投影算法的第三层则夹在前两种之间，并照顾重建操作。我们研究了该网络在稀疏视图胸部CT扫描上的性能，并突出显示了比更传统的固定层具有可训练的重建层的额外好处。我们在两个临床相关的数据集上训练和测试我们的网络，并将获得的结果与三种不同类型的稀疏视图CT CT DeNoisis和重建算法进行了比较。

In this paper, we propose a novel deep convolutional neural network (CNN)-based algorithm for solving ill-posed inverse problems. Regularized iterative algorithms have emerged as the standard approach to ill-posed inverse problems in the past few decades. These methods produce excellent results, but can be challenging to deploy in practice due to factors including the high computational cost of the forward and adjoint operators and the difficulty of hyper parameter selection. The starting point of our work is the observation that unrolled iterative methods have the form of a CNN (filtering followed by point-wise non-linearity) when the normal operator (H * H, the adjoint of H times H) of the forward model is a convolution. Based on this observation, we propose using direct inversion followed by a CNN to solve normal-convolutional inverse problems. The direct inversion encapsulates the physical model of the system, but leads to artifacts when the problem is ill-posed; the CNN combines multiresolution decomposition and residual learning in order to learn to remove these artifacts while preserving image structure. We demonstrate the performance of the proposed network in sparse-view reconstruction (down to 50 views) on parallel beam X-ray computed tomography in synthetic phantoms as well as in real experimental sinograms. The proposed network outperforms total variation-regularized iterative reconstruction for the more realistic phantoms and requires less than a second to reconstruct a 512 × 512 image on the GPU. K.H. Jin acknowledges the support from the "EPFL Fellows" fellowship program co-funded by Marie Curie from the European Unions Horizon 2020 Framework Programme for Research and Innovation under grant agreement 665667.

光子计数CT（PCCT）通过更好的空间和能量分辨率提供了改进的诊断性能，但是开发可以处理这些大数据集的高质量图像重建方法是具有挑战性的。基于模型的解决方案结合了物理采集的模型，以重建更准确的图像，但取决于准确的前向操作员，并在寻找良好的正则化方面遇到困难。另一种方法是深度学习的重建，这在CT中表现出了巨大的希望。但是，完全数据驱动的解决方案通常需要大量的培训数据，并且缺乏解释性。为了结合两种方法的好处，同时最大程度地降低了各自的缺点，希望开发重建算法，以结合基于模型和数据驱动的方法。在这项工作中，我们基于展开/展开的迭代网络提出了一种新颖的深度学习解决方案，用于PCCT中的材料分解。我们评估了两种情况：一种学识渊博的后处理，隐含地利用了模型知识，以及一种学到的梯度，该梯度在体系结构中具有明确的基于模型的组件。借助我们提出的技术，我们解决了一个具有挑战性的PCCT模拟情况：低剂量，碘对比度和很小的训练样品支持的腹部成像中的三材料分解。在这种情况下，我们的方法的表现优于最大似然估计，一种变异方法以及一个完整的网络。

基于深入的学习的断层摄影图像重建一直在这些年来引起了很多关注。稀疏视图数据重建是典型的未确定逆问题之一，如何从数十个投影重建高质量CT图像仍然是实践中的挑战。为了解决这一挑战，在本文中，我们提出了一个多域一体化的Swin变压器网络（MIST-NET）。首先，使用灵活的网络架构，所提出的雾网掺入了来自数据，残差数据，图像和剩余图像的豪华域特征。这里，残差数据和残差 - 图像域网组件可以被认为是数据一致性模块，以消除残差数据和图像域中的插值误差，然后进一步保持图像细节。其次，为了检测图像特征和进一步保护图像边缘，将培训的Sobel滤波器结合到网络中以提高编码解码能力。第三，随着经典的Swin变压器，我们进一步设计了高质量的重建变压器（即，REFFORMER）来提高重建性能。 REFFORMER继承了SWIN变压器的功率以捕获重建图像的全局和本地特征。具有48种视图的数值数据集的实验证明了我们所提出的雾网提供更高的重建图像质量，具有小的特征恢复和边缘保护，而不是其他竞争对手，包括高级展开网络。定量结果表明，我们的雾网也获得了最佳性能。训练有素的网络被转移到真实的心脏CT数据集，48次视图，重建结果进一步验证了我们的雾网的优势，进一步证明了临床应用中雾的良好稳健性。

图像去噪是许多领域下游任务的先决条件。低剂量和光子计数计算断层扫描（CT）去噪可以在最小化辐射剂量下优化诊断性能。监督深层去噪方法是流行的，但需要成对的清洁或嘈杂的样本通常在实践中不可用。受独立噪声假设的限制，电流无监督的去噪方法不能处理与CT图像中的相关噪声。在这里，我们提出了一种基于类似的类似性的无人监督的无监督的深度去噪方法，称为Coxing2Sim，以非局部和非线性方式起作用，不仅抑制独立而且还具有相关的噪音。从理论上讲，噪声2SIM在温和条件下渐近相当于监督学习方法。通过实验，Nosie2SIM从嘈杂的低剂量CT和光子计数CT图像中的内在特征，从视觉上，定量和统计上有效地或甚至优于实际数据集的监督学习方法。 Coke2Sim是一般无监督的去噪方法，在不同的应用中具有很大的潜力。

物理驱动的深度学习方法已成为计算磁共振成像（MRI）问题的强大工具，将重建性能推向新限制。本文概述了将物理信息纳入基于学习的MRI重建中的最新发展。我们考虑了用于计算MRI的线性和非线性正向模型的逆问题，并回顾了解决这些方法的经典方法。然后，我们专注于物理驱动的深度学习方法，涵盖了物理驱动的损失功能，插件方法，生成模型和展开的网络。我们重点介绍了特定于领域的挑战，例如神经网络的实现和复杂值的构建基块，以及具有线性和非线性正向模型的MRI转换应用。最后，我们讨论常见问题和开放挑战，并与物理驱动的学习与医学成像管道中的其他下游任务相结合时，与物理驱动的学习的重要性联系在一起。

我们提出了一种监督学习稀疏促进正规化器的方法，以降低信号和图像。促进稀疏性正则化是解决现代信号重建问题的关键要素。但是，这些正规化器的基础操作员通常是通过手动设计的，要么以无监督的方式从数据中学到。监督学习（主要是卷积神经网络）在解决图像重建问题方面的最新成功表明，这可能是设计正规化器的富有成果的方法。为此，我们建议使用带有参数，稀疏的正规器的变异公式来贬低信号，其中学会了正常器的参数，以最大程度地减少在地面真实图像和测量对的训练集中重建的平均平方误差。培训涉及解决一个具有挑战性的双层优化问题；我们使用denoising问题的封闭形式解决方案得出了训练损失梯度的表达，并提供了随附的梯度下降算法以最大程度地减少其。我们使用结构化1D信号和自然图像的实验表明，所提出的方法可以学习一个超过众所周知的正规化器（总变化，DCT-SPARSITY和无监督的字典学习）的操作员和用于DeNoisis的协作过滤。尽管我们提出的方法是特定于denoising的，但我们认为它可以适应线性测量模型的较大类反问题，使其在广泛的信号重建设置中适用。

深度学习方法已成功用于各种计算机视觉任务。受到成功的启发，已经在磁共振成像（MRI）重建中探索了深度学习。特别是，整合深度学习和基于模型的优化方法已显示出很大的优势。但是，对于高重建质量，通常需要大量标记的培训数据，这对于某些MRI应用来说是具有挑战性的。在本文中，我们提出了一种名为DUREN-NET的新型重建方法，该方法可以通过组合无监督的DeNoising网络和插件方法来为MR图像重建提供可解释的无监督学习。我们的目标是通过添加明确的先验利用成像物理学来提高无监督学习的重建性能。具体而言，使用denoising（红色）正规化实现了MRI重建网络的杠杆作用。实验结果表明，所提出的方法需要减少训练数据的数量才能达到高重建质量。

我们展示了OpenFWI，是用于地震全波形反演（FWI）的大型开源基准数据集的集合。OpenFWI是地球科学和机器学习界的一流，以促进对基于机器学习的FWI多元化，严谨和可重复的研究。OpenFWI包括多个尺度的数据集，包含不同的域，涵盖各种级别的模型复杂性。除了数据集之外，我们还对每个数据集进行实证研究，具有完全卷积的深度学习模型。OpenFWI已被核心维护，并将通过新数据和实验结果定期更新。我们感谢社区的投入，帮助我们进一步改进OpenFWI。在当前版本，我们在OpenFWI中发布了七个数据集，其中为3D FWI指定了一个，其余的是2D场景。所有数据集和相关信息都可以通过我们的网站访问https://openfwi.github.io/。

在计算断层摄影（CT）成像过程中，患者内的金属植入物总是造成有害伪影，这对重建的CT图像的视觉质量产生了负面影响，并且对随后的临床诊断产生负面影响。对于金属伪影减少（MAR）任务，基于深度学习的方法取得了有希望的表现。然而，大多数主要共享两个主要常见限制：1）CT物理成像几何约束是完全融入深网络结构中的; 2）整个框架对特定MAR任务具有薄弱的可解释性;因此，难以评估每个网络模块的作用。为了减轻这些问题，在本文中，我们构建了一种新的可解释的双域网络，称为Indudonet +，CT成像过程被精细地嵌入到其中。具体地说，我们推出了一个联合空间和氡域重建模型，并提出了一种仅具有简单操作员的优化算法来解决它。通过将所提出的算法中涉及的迭代步骤展开到相应的网络模块中，我们可以轻松地构建Indudonet +，以明确的解释性。此外，我们分析了不同组织之间的CT值，并将现有的观察合并到Endudonet +的现有网络中，这显着提高了其泛化性能。综合数据和临床数据的综合实验证实了所提出的方法的优越性以及超出当前最先进（SOTA）MAR方法的卓越概括性性能。代码可用于\ url {https://github.com/hongwang01/indududonet_plus}。

Deep neural networks provide unprecedented performance gains in many real world problems in signal and image processing. Despite these gains, future development and practical deployment of deep networks is hindered by their blackbox nature, i.e., lack of interpretability, and by the need for very large training sets. An emerging technique called algorithm unrolling or unfolding offers promise in eliminating these issues by providing a concrete and systematic connection between iterative algorithms that are used widely in signal processing and deep neural networks. Unrolling methods were first proposed to develop fast neural network approximations for sparse coding. More recently, this direction has attracted enormous attention and is rapidly growing both in theoretic investigations and practical applications. The growing popularity of unrolled deep networks is due in part to their potential in developing efficient, high-performance and yet interpretable network architectures from reasonable size training sets. In this article, we review algorithm unrolling for signal and image processing. We extensively cover popular techniques for algorithm unrolling in various domains of signal and image processing including imaging, vision and recognition, and speech processing. By reviewing previous works, we reveal the connections between iterative algorithms and neural networks and present recent theoretical results. Finally, we provide a discussion on current limitations of unrolling and suggest possible future research directions.

肾脏DCE-MRI旨在通过估计示踪动力学（TK）模型参数来定义评估肾脏解剖学和对肾功能的定量评估。 TK模型参数的准确估计需要具有高时间分辨率的动脉输入功能（AIF）的精确测量。加速成像用于实现高时间分辨率，其在重建图像中产生欠采样伪像。压缩传感（CS）方法提供各种重建选项。最常见的是，鼓励正规化的时间差异的稀疏性以减少伪影。在CS方法中越来越多的正则化除去环境伪像，但也会过度平滑时间，这减少了参数估计精度。在这项工作中，我们提出了一种训练有素的深神经网络，以减少MRI欠采样伪像而不降低功能成像标记的准确性。通过从较低的维度表示，我们通过从较低维度表示来促进正常化而不是在惩罚术语中进行规范化。在此手稿中，我们激励并解释了较低的维度输入设计。我们将我们的方法与多个正则化权重进行CS重建的方法。所提出的方法导致肾生物标志物与使用CS重建估计的地面真理标记高度相关，这是针对功能分析进行了优化的。同时，所提出的方法减少了重建图像中的伪像。

在计算机断层扫描成像的实际应用中，投影数据可以在有限角度范围内获取，并由于扫描条件的限制而被噪声损坏。嘈杂的不完全投影数据导致反问题的不良性。在这项工作中，我们从理论上验证了低分辨率重建问题的数值稳定性比高分辨率问题更好。在接下来的内容中，提出了一个新型的低分辨率图像先验的CT重建模型，以利用低分辨率图像来提高重建质量。更具体地说，我们在下采样的投影数据上建立了低分辨率重建问题，并将重建的低分辨率图像作为原始限量角CT问题的先验知识。我们通过交替的方向方法与卷积神经网络近似的所有子问题解决了约束最小化问题。数值实验表明，我们的双分辨率网络在嘈杂的有限角度重建问题上的变异方法和流行的基于学习的重建方法都优于变异方法。

用于医学图像重建的深度神经网络传统上使用高质量的地基图像作为训练目标训练。最近关于噪声的工作（N2N）已经示出了使用与具有地面真理的多个噪声测量的潜力。然而，现有的基于N2N的方法不适合于从经历非身份变形的物体的测量来学习。本文通过补偿对象变形来提出用于训练深层重建网络的变形补偿学习（DecoLearn）方法来解决此问题。DecoLearn的一个关键组件是一个深度登记模块，它与深度重建网络共同培训，没有任何地理监督。我们在模拟和实验收集的磁共振成像（MRI）数据上验证了甲板，并表明它显着提高了成像质量。

计算机断层扫描（CT）使用从身体周围的传感器取出的X射线测量以产生人体的断层图像。如果X射线数据充分采样和高质量，则可以使用传统的重建算法;然而，诸如将剂量减少给患者的问题，或数据采集的几何限制可能导致低质量或不完整的数据。由于噪声和其他伪像，使用传统方法从这些数据重建的图像具有差的质量。本研究的目的是训练单个神经网络，从嘈杂或不完全CT扫描数据重建高质量CT图像，包括低剂量，稀疏视图和有限的角度场景。为了完成这项任务，我们将生成的对冲网络（GaN）作为信号训练，以与CT数据的迭代同步代数重建技术（SART）结合使用。网络包括自我关注块，以模拟数据中的远程依赖性。我们将我们的自我关注GaN进行CT图像重建，包括几种最先进的方法，包括去噪循环GaN，Circle GaN和总变化的校长算法。我们的方法被证明是可以相当的整体性能来圈出GaN，同时优于其他两种方法。

Self-supervised image denoising techniques emerged as convenient methods that allow training denoising models without requiring ground-truth noise-free data. Existing methods usually optimize loss metrics that are calculated from multiple noisy realizations of similar images, e.g., from neighboring tomographic slices. However, those approaches fail to utilize the multiple contrasts that are routinely acquired in medical imaging modalities like MRI or dual-energy CT. In this work, we propose the new self-supervised training scheme Noise2Contrast that combines information from multiple measured image contrasts to train a denoising model. We stack denoising with domain-transfer operators to utilize the independent noise realizations of different image contrasts to derive a self-supervised loss. The trained denoising operator achieves convincing quantitative and qualitative results, outperforming state-of-the-art self-supervised methods by 4.7-11.0%/4.8-7.3% (PSNR/SSIM) on brain MRI data and by 43.6-50.5%/57.1-77.1% (PSNR/SSIM) on dual-energy CT X-ray microscopy data with respect to the noisy baseline. Our experiments on different real measured data sets indicate that Noise2Contrast training generalizes to other multi-contrast imaging modalities.

We propose a deep learning method for three-dimensional reconstruction in low-dose helical cone-beam computed tomography. We reconstruct the volume directly, i.e., not from 2D slices, guaranteeing consistency along all axes. In a crucial step beyond prior work, we train our model in a self-supervised manner in the projection domain using noisy 2D projection data, without relying on 3D reference data or the output of a reference reconstruction method. This means the fidelity of our results is not limited by the quality and availability of such data. We evaluate our method on real helical cone-beam projections and simulated phantoms. Our reconstructions are sharper and less noisy than those of previous methods, and several decibels better in quantitative PSNR measurements. When applied to full-dose data, our method produces high-quality results orders of magnitude faster than iterative techniques.

深度展开是一种基于深度学习的图像重建方法，它弥合了基于模型和纯粹的基于深度学习的图像重建方法之间的差距。尽管深层展开的方法实现了成像问题的最新性能，并允许将观察模型纳入重建过程，但它们没有提供有关重建图像的任何不确定性信息，这严重限制了他们在实践中的使用，尤其是用于安全 - 关键成像应用。在本文中，我们提出了一个基于学习的图像重建框架，该框架将观察模型纳入重建任务中，并能够基于深层展开和贝叶斯神经网络来量化认知和核心不确定性。我们证明了所提出的框架在磁共振成像和计算机断层扫描重建问题上的不确定性表征能力。我们研究了拟议框架提供的认知和态度不确定性信息的特征，以激发未来的研究利用不确定性信息来开发更准确，健壮，可信赖，不确定性，基于学习的图像重建和成像问题的分析方法。我们表明，所提出的框架可以提供不确定性信息，同时与最新的深层展开方法实现可比的重建性能。