在这项工作中，我们提出了一种新型高效的深度展开网络，用于解决成像逆问题。经典深度展开方法需要全向前运算符及其伴随各层，因此可以计算比其他端到端方法（如FBP-GROMNET）昂贵，尤其是在3D图像重建任务中。我们提出了一种具有所学习的原始双（LPD）的随机（订购子集）延伸，这是一种最先进的展开网络。在我们的展开网络中，我们只使用前向和伴随运营商的子集，以实现计算效率。我们为我们的LSPD框架内提供了对特殊情况的理论分析，这表明我们的LSPD网络有可能实现相同的完整批量LPD网络准确性，只能访问运营商的子集。我们的数值结果证明了我们在X射线CT成像任务中的方法的有效性，表明我们的网络实现了与全批次LPD相似的重建精度，同时只需要计算的一小部分。

在这项工作中，我们提出了一个新的范式，用于使用降低性降低方案（包括Minibatch梯度近似和操作员草图）设计有效的深层展开网络。深度展开的网络目前是成像逆问题的最新解决方案。然而，对于高维成像任务，尤其是X射线CT和MRI成像，由于需要多次计算高维向前和邻接运算符，因此深层展开方案通常在记忆和计算方面效率低下。最近，研究人员发现，可以通过展开随机梯度下降（SGD）来部分解决此类局限性，这受到随机一阶优化的成功的启发。在这项工作中，我们基于最先进的原始偶（LPD）网络，进一步探讨了这一方向，并首先提出了更具表现力和实用的随机原始偶发性展开，也是随机原始的进一步加速 - 双曲线，使用素描技术在高维图像空间中近似产品。操作员素描可以与随机展开共同应用，以获得最佳的加速度和压缩性能。我们对X射线CT图像重建的数值实验证明了我们加速展开方案的显着有效性。

在这项工作中，我们提出了一种随机原始偶对预处理的三操作算法，用于解决一类凸的三复合优化问题。我们提出的方案是SPDHG算法的直接三操作员分裂扩展[Chambolle等。2018]。我们提供了理论收敛分析，显示了厄贡O（1/K）收敛率，并证明了我们方法在成像反问题中的有效性。

近年来，深度学习在图像重建方面取得了显着的经验成功。这已经促进了对关键用例中数据驱动方法的正确性和可靠性的精确表征的持续追求，例如在医学成像中。尽管基于深度学习的方法具有出色的性能和功效，但对其稳定性或缺乏稳定性的关注以及严重的实际含义。近年来，已经取得了重大进展，以揭示数据驱动的图像恢复方法的内部运作，从而挑战了其广泛认为的黑盒本质。在本文中，我们将为数据驱动的图像重建指定相关的融合概念，该概念将构成具有数学上严格重建保证的学习方法调查的基础。强调的一个例子是ICNN的作用，提供了将深度学习的力量与经典凸正则化理论相结合的可能性，用于设计被证明是融合的方法。这篇调查文章旨在通过提供对数据驱动的图像重建方法以及从业人员的理解，旨在通过提供可访问的融合概念的描述，并通过将一些现有的经验实践放在可靠的数学上，来推进我们对数据驱动图像重建方法的理解以及从业人员的了解。基础。

我们提出了一个基于一般学习的框架，用于解决非平滑和非凸图像重建问题。我们将正则函数建模为$ l_ {2,1} $ norm的组成，并将平滑但非convex功能映射参数化为深卷积神经网络。我们通过利用Nesterov的平滑技术和残留学习的概念来开发一种可证明的趋同的下降型算法来解决非平滑非概念最小化问题，并学习网络参数，以使算法的输出与培训数据中的参考匹配。我们的方法用途广泛，因为人们可以将各种现代网络结构用于正规化，而所得网络继承了算法的保证收敛性。我们还表明，所提出的网络是参数有效的，其性能与实践中各种图像重建问题中的最新方法相比有利。

近期在应用于培训深度神经网络和数据分析中的其他优化问题中的非凸优化的优化算法的兴趣增加，我们概述了最近对非凸优化优化算法的全球性能保证的理论结果。我们从古典参数开始，显示一般非凸面问题无法在合理的时间内有效地解决。然后，我们提供了一个问题列表，可以通过利用问题的结构来有效地找到全球最小化器，因为可能的问题。处理非凸性的另一种方法是放宽目标，从找到全局最小，以找到静止点或局部最小值。对于该设置，我们首先为确定性一阶方法的收敛速率提出了已知结果，然后是最佳随机和随机梯度方案的一般理论分析，以及随机第一阶方法的概述。之后，我们讨论了非常一般的非凸面问题，例如最小化$ \ alpha $ -weakly-are-convex功能和满足Polyak-lojasiewicz条件的功能，这仍然允许获得一阶的理论融合保证方法。然后，我们考虑更高阶和零序/衍生物的方法及其收敛速率，以获得非凸优化问题。

最近，由于高性能，深度学习方法已成为生物学图像重建和增强问题的主要研究前沿，以及其超快速推理时间。但是，由于获得监督学习的匹配参考数据的难度，对不需要配对的参考数据的无监督学习方法越来越兴趣。特别是，已成功用于各种生物成像应用的自我监督的学习和生成模型。在本文中，我们概述了在古典逆问题的背景下的连贯性观点，并讨论其对生物成像的应用，包括电子，荧光和去卷积显微镜，光学衍射断层扫描和功能性神经影像。

从早期图像处理到现代计算成像，成功的模型和算法都依赖于自然信号的基本属性：对称性。在这里，对称是指信号集的不变性属性，例如翻译，旋转或缩放等转换。对称性也可以以模棱两可的形式纳入深度神经网络中，从而可以进行更多的数据效率学习。虽然近年来端到端的图像分类网络的设计方面取得了重要进展，但计算成像引入了对等效网络解决方案的独特挑战，因为我们通常只通过一些嘈杂的不良反向操作员观察图像，可能不是均等的。我们回顾了现象成像的新兴领域，并展示它如何提供改进的概括和新成像机会。在此过程中，我们展示了采集物理学与小组动作之间的相互作用，以及与迭代重建，盲目的压缩感应和自我监督学习之间的联系。

Deep neural networks provide unprecedented performance gains in many real world problems in signal and image processing. Despite these gains, future development and practical deployment of deep networks is hindered by their blackbox nature, i.e., lack of interpretability, and by the need for very large training sets. An emerging technique called algorithm unrolling or unfolding offers promise in eliminating these issues by providing a concrete and systematic connection between iterative algorithms that are used widely in signal processing and deep neural networks. Unrolling methods were first proposed to develop fast neural network approximations for sparse coding. More recently, this direction has attracted enormous attention and is rapidly growing both in theoretic investigations and practical applications. The growing popularity of unrolled deep networks is due in part to their potential in developing efficient, high-performance and yet interpretable network architectures from reasonable size training sets. In this article, we review algorithm unrolling for signal and image processing. We extensively cover popular techniques for algorithm unrolling in various domains of signal and image processing including imaging, vision and recognition, and speech processing. By reviewing previous works, we reveal the connections between iterative algorithms and neural networks and present recent theoretical results. Finally, we provide a discussion on current limitations of unrolling and suggest possible future research directions.

光子计数CT（PCCT）通过更好的空间和能量分辨率提供了改进的诊断性能，但是开发可以处理这些大数据集的高质量图像重建方法是具有挑战性的。基于模型的解决方案结合了物理采集的模型，以重建更准确的图像，但取决于准确的前向操作员，并在寻找良好的正则化方面遇到困难。另一种方法是深度学习的重建，这在CT中表现出了巨大的希望。但是，完全数据驱动的解决方案通常需要大量的培训数据，并且缺乏解释性。为了结合两种方法的好处，同时最大程度地降低了各自的缺点，希望开发重建算法，以结合基于模型和数据驱动的方法。在这项工作中，我们基于展开/展开的迭代网络提出了一种新颖的深度学习解决方案，用于PCCT中的材料分解。我们评估了两种情况：一种学识渊博的后处理，隐含地利用了模型知识，以及一种学到的梯度，该梯度在体系结构中具有明确的基于模型的组件。借助我们提出的技术，我们解决了一个具有挑战性的PCCT模拟情况：低剂量，碘对比度和很小的训练样品支持的腹部成像中的三材料分解。在这种情况下，我们的方法的表现优于最大似然估计，一种变异方法以及一个完整的网络。

每次使用新的（但类似）数据的应用程序都必须重复解决优化问题的应用。可以手动设计分析优化算法以迭代方式解决这些问题。一方面，数据驱动的算法可以“学习优化”（L2O），其迭代率较少，而每次迭代的成本与通用优化算法相似。另一方面，不幸的是，许多L2O算法缺乏融合保证。为了融合这些方法的优势，我们提出了一个安全的L2O框架。 Safe-L2O更新结合了保障措施，以保证近端和/或梯度甲状管的凸问题收敛。安全性在实现方面很简单且计算便宜，并且只有在数据驱动的L2O更新性能较差或似乎差异时，它才会被激活。这产生了使用机器学习来创建快速L2O算法的数值好处，同时仍然保证收敛。我们的数值示例表明，即使提供的数据不是来自培训数据的分布，Safe-L2O算法的收敛性也是如此。

我们在大规模设置中研究一类广义的线性程序（GLP），包括可能简单的非光滑凸规律器和简单的凸集合约束。通过将GLP作为等效凸凹入最大问题的重新介绍，我们表明问题中的线性结构可用于设计高效，可扩展的一阶算法，我们给出了名称\ EMPH {坐标线性方差减少}（\ textsc {clvr};发音为``clever''）。 \ textsc {clvr}是一种增量坐标方法，具有隐式方差差异，输出双变量迭代的\ emph {仿射组合}。 \ textsc {clvr}产生改善的复杂性结果（glp），这取决于（glp）中的线性约束矩阵的最大行标准而不是光谱标准。当正常化术语和约束是可分离的，\ textsc {clvr}承认有效的延迟更新策略，使其复杂性界限与（glp）中的线性约束矩阵的非零元素的数量而不是矩阵尺寸。我们表明，通过引入稀疏连接的辅助变量，可以将基于$ F $ -divergence和Wassersein指标的歧义组的分布稳健优化（DRO）问题进行重新重整为（GLP）。我们补充了我们的理论保证，具有验证我们算法的实际效果的数值实验，无论是在壁钟时间和数据次数方面。

在现代诊所中，医学成像至关重要，可以指导疾病的诊断和治疗。医学图像重建是医学成像的最基本和重要组成部分之一，其主要目的是以最低的成本和对患者的风险获取高质量的医学图像来临床使用。医学图像重建中的数学模型或更普遍的计算机视觉中的图像恢复一直在发挥重要作用。较早的数学模型主要是由人类知识或对要重建图像的假设设计的，我们将这些模型称为手工制作的模型。后来，手工制作的以及数据驱动的建模开始出现，这主要基于人类的设计，而从观察到的数据中学到了部分模型。最近，随着更多的数据和计算资源可用，基于深度学习的模型（或深度模型）将数据驱动的建模推向了极端，该模型主要基于以最小的人类设计为基础的学习。手工制作和数据驱动的建模都有自己的优势和缺点。医学成像的主要研究趋势之一是将手工制作的建模与深层建模相结合，以便我们可以从两种方法中享受好处。本文的主要部分是从展开的动态观点对一些有关深层建模的最新作品进行概念回顾。该观点通过优化算法和数值微分方程的灵感来刺激神经网络体系结构的新设计。鉴于深层建模的普及，该领域仍然存在巨大的挑战，以及我们将在本文结尾处讨论的机会。

基于深度学习的图像重建方法在许多成像方式中表现出令人印象深刻的经验表现。这些方法通常需要大量的高质量配对训练数据，这在医学成像中通常不可用。为了解决这个问题，我们为贝叶斯框架内的学习重建提供了一种新颖的无监督知识转移范式。提出的方法分为两个阶段学习重建网络。第一阶段训练一个重建网络，其中包括一组有序对，包括椭圆的地面真相图像和相应的模拟测量数据。第二阶段微调在没有监督的情况下将经过验证的网络用于更现实的测量数据。通过构造，该框架能够通过重建图像传递预测性不确定性信息。我们在低剂量和稀疏视图计算机断层扫描上提出了广泛的实验结果，表明该方法与几种最先进的监督和无监督的重建技术具有竞争力。此外，对于与培训数据不同的测试数据，与仅在合成数据集中训练的学习方法相比，所提出的框架不仅在视觉上可以显着提高重建质量，而且在PSNR和SSIM方面也可以显着提高重建质量。

在计算机断层扫描成像的实际应用中，投影数据可以在有限角度范围内获取，并由于扫描条件的限制而被噪声损坏。嘈杂的不完全投影数据导致反问题的不良性。在这项工作中，我们从理论上验证了低分辨率重建问题的数值稳定性比高分辨率问题更好。在接下来的内容中，提出了一个新型的低分辨率图像先验的CT重建模型，以利用低分辨率图像来提高重建质量。更具体地说，我们在下采样的投影数据上建立了低分辨率重建问题，并将重建的低分辨率图像作为原始限量角CT问题的先验知识。我们通过交替的方向方法与卷积神经网络近似的所有子问题解决了约束最小化问题。数值实验表明，我们的双分辨率网络在嘈杂的有限角度重建问题上的变异方法和流行的基于学习的重建方法都优于变异方法。

这项工作与科学机器学习中的以下基本问题有关：基于深度学习的方法是否可以解决无噪声逆问题到近乎完美的准确性？首次提供了积极的证据，重点是原型计算机断层扫描（CT）设置。我们证明，迭代的端到端网络方案可以实现接近数值精度的重建，与经典的压缩传感策略相当。我们的结果是基于我们对最近的AAPM DL-SPARSE-VIEW CT挑战的获胜提交的基础。它的目标是确定用数据驱动技术解决稀疏视图CT逆问题的最新技术。挑战设置的特定困难是，参与者的精确前进模型仍然未知。因此，我们方法的关键特征是最初在数据驱动的校准步骤中估算未知的粉丝几何形状。除了对我们的方法的深入分析外，我们还证明了其在开放式现实世界数据集Lodopab CT上的最先进性能。

本文解决了利益区域（ROI）计算机断层扫描（CT）的图像重建问题。尽管基于模型的迭代方法可用于此问题，但由于乏味的参数化和缓慢的收敛性，它们的实用性通常受到限制。另外，当保留的先验不完全适合溶液空间时，可以获得不足的溶液。深度学习方法提供了一种快速的替代方法，从大型数据集中利用信息，因此可以达到高重建质量。但是，这些方法通常依赖于不考虑成像系统物理学的黑匣子，而且它们缺乏可解释性通常会感到沮丧。在两种方法的十字路口，最近都提出了展开的深度学习技术。它们将模型的物理和迭代优化算法纳入神经网络设计中，从而在各种应用中均具有出色的性能。本文介绍了一种新颖的，展开的深度学习方法，称为U-RDBFB，为ROI CT重建而设计为有限的数据。由于强大的非凸数据保真功能与稀疏性诱导正则化功能相结合，因此有效地处理了很少的截断数据。然后，嵌入在迭代重新加权方案中的块双重前向（DBFB）算法的迭代将在神经网络体系结构上展开，从而以监督的方式学习各种参数。我们的实验显示了对各种最新方法的改进，包括基于模型的迭代方案，深度学习体系结构和深度展开的方法。

通过结合使用卷积神经网（CNN）指定的物理测量模型和学习的图像验证者，对基于模型的架构（DMBA）的兴趣越来越大。例如，用于系统设计DMBA的著名框架包括插件培训（PNP），深度展开（DU）和深度平衡模型（DEQ）。尽管已广泛研究了DMBA的经验性能和理论特性，但当确切地知道所需的图像之前，该地区的现有工作主要集中在其性能上。这项工作通过在不匹配的CNN先验下向DMBA提供新的理论和数值见解来解决先前工作的差距。当训练和测试数据之间存在分布变化时，自然会出现不匹配的先验，例如，由于测试图像来自与用于训练CNN先验的图像不同的分布。当CNN事先用于推理是一些所需的统计估计器（MAP或MMSE）的近似值时，它们也会出现。我们的理论分析在一组明确指定的假设下，由于不匹配的CNN先验，在解决方案上提供了明显的误差界限。我们的数值结果比较了在现实分布变化和近似统计估计器下DMBA的经验性能。

我们考虑最小化三个凸功能的总和，其中第一个f是光滑的，第二个f是非平滑且可近的，第三个是与线性操作员L的非光滑近似函数的组成。此模板问题具有许多应用程序，有许多应用程序，有许多应用程序，，具有许多应用程序，，具有许多应用程序。例如，在图像处理和机器学习中。首先，我们为这个问题提出了一种新的原始偶算法，我们称之为PDDY。它是通过将davis-yin分裂应用于原始二重式产品空间中的单调包含的，在特定度量下，操作员在特定度量下是单调的。我们显示了三种现有算法（Condat-VU算法的两种形式） PD3O算法）具有相同的结构，因此PDDY是这种自洽的原始偶算法中的第四个丢失链接。这种表示可以简化收敛分析：它使我们能够总体上得出sublinear收敛速率，而线性收敛导致存在强凸度的存在。此外，在我们的广泛而灵活的分析框架内，我们提出了对算法的新随机概括，其中使用了Friancation降低F梯度的随机估计值，而不是真实的梯度。此外，我们作为pddy的特殊情况获得了线性收敛算法，用于在线性约束下最小化强凸功能f。我们讨论了其对分散优化的重要应用。

近年来，在诸如denoing，压缩感应，介入和超分辨率等反问题中使用深度学习方法的使用取得了重大进展。尽管这种作品主要是由实践算法和实验驱动的，但它也引起了各种有趣的理论问题。在本文中，我们调查了这一作品中一些突出的理论发展，尤其是生成先验，未经训练的神经网络先验和展开算法。除了总结这些主题中的现有结果外，我们还强调了一些持续的挑战和开放问题。