仅使用少量数据学习神经网络是一个重要的研究主题，具有巨大的应用潜力。在本文中，我们介绍了基于归一化流量的成像中反问题的变异建模的常规化器。我们的常规器称为PatchNR，涉及在很少的图像的贴片上学习的正常流。特别是，培训独立于考虑的逆问题，因此可以将相同的正规化程序用于在同一类图像上作用的不同前向操作员。通过研究斑块的分布与整个图像类别的分布，我们证明我们的变分模型确实是一种地图方法。如果有其他监督信息，我们的模型可以推广到有条件的补丁。材料图像和低剂量或限量角度计算机断层扫描（CT）的层分辨率的数值示例表明，我们的方法在具有相似假设的方法之间提供了高质量的结果，但仅需要很少的数据。

在本文中，我们在两维图像的超级度之前介绍了Wasserstein补丁。在这里，我们假设我们（另外到了低分辨率观察）的参考图像，其具有与重建的地面真实类似的补丁分布。这种假设是例如使用纹理图像或材料数据时满足。然后，建议的规则器惩罚重建的修补程序分发的$ w_2 $ - 在不同尺度下的一些参考图像的补丁分布。我们通过两维数值示例展示了所提出的规范器的性能。

标准化流动，扩散归一化流量和变形自动置换器是强大的生成模型。在本文中，我们提供了一个统一的框架来通过马尔可夫链处理这些方法。实际上，我们考虑随机标准化流量作为一对马尔可夫链，满足一些属性，并表明许多用于数据生成的最先进模型适合该框架。马尔可夫链的观点使我们能够将确定性层作为可逆的神经网络和随机层作为大都会加速层，Langevin层和变形自身偏移，以数学上的声音方式。除了具有Langevin层的密度的层，扩散层或变形自身形式，也可以处理与确定性层或大都会加热器层没有密度的层。因此，我们的框架建立了一个有用的数学工具来结合各种方法。

近年来，深度学习在图像重建方面取得了显着的经验成功。这已经促进了对关键用例中数据驱动方法的正确性和可靠性的精确表征的持续追求，例如在医学成像中。尽管基于深度学习的方法具有出色的性能和功效，但对其稳定性或缺乏稳定性的关注以及严重的实际含义。近年来，已经取得了重大进展，以揭示数据驱动的图像恢复方法的内部运作，从而挑战了其广泛认为的黑盒本质。在本文中，我们将为数据驱动的图像重建指定相关的融合概念，该概念将构成具有数学上严格重建保证的学习方法调查的基础。强调的一个例子是ICNN的作用，提供了将深度学习的力量与经典凸正则化理论相结合的可能性，用于设计被证明是融合的方法。这篇调查文章旨在通过提供对数据驱动的图像重建方法以及从业人员的理解，旨在通过提供可访问的融合概念的描述，并通过将一些现有的经验实践放在可靠的数学上，来推进我们对数据驱动图像重建方法的理解以及从业人员的了解。基础。

Normalizing flows are a powerful tool for generative modelling, density estimation and posterior reconstruction in Bayesian inverse problems. In this paper, we introduce proximal residual flows, a new architecture of normalizing flows. Based on the fact, that proximal neural networks are by definition averaged operators, we ensure invertibility of certain residual blocks. Moreover, we extend the architecture to conditional proximal residual flows for posterior reconstruction within Bayesian inverse problems. We demonstrate the performance of proximal residual flows on numerical examples.

在实践中，很难收集配对的培训数据，但是不合格的样本广泛存在。当前的方法旨在通过探索损坏的数据和清洁数据之间的关系来从未配对样本中生成合成的培训数据。这项工作提出了Lud-Vae，这是一种从边际分布中采样的数据中学习关节概率密度函数的深层生成方法。我们的方法基于一个经过精心设计的概率图形模型，在该模型中，干净和损坏的数据域在条件上是独立的。使用变异推断，我们最大化证据下限（ELBO）以估计关节概率密度函数。此外，我们表明在推理不变假设下没有配对样品的情况下，ELBO是可以计算的。该属性在未配对的环境中提供了我们方法的数学原理。最后，我们将我们的方法应用于现实世界图像denoising，超分辨率和低光图像增强任务，并使用Lud-vae生成的合成数据训练模型。实验结果验证了我们方法比其他方法的优势。

机器学习模型通常培训端到端和监督设置，使用配对（输入，输出）数据。示例包括最近的超分辨率方法，用于在（低分辨率，高分辨率）图像上培训。然而，这些端到端的方法每当输入中存在分布偏移时需要重新训练（例如，夜间图像VS日光）或相关的潜在变量（例如，相机模糊或手动运动）。在这项工作中，我们利用最先进的（SOTA）生成模型（这里是Stylegan2）来构建强大的图像前提，这使得贝叶斯定理应用于许多下游重建任务。我们的方法是通过生成模型（BRGM）的贝叶斯重建，使用单个预先训练的发生器模型来解决不同的图像恢复任务，即超级分辨率和绘画，通过与不同的前向腐败模型相结合。我们将发电机模型的重量保持固定，并通过估计产生重建图像的输入潜在的跳过载体来重建图像来估计图像。我们进一步使用变分推理来近似潜伏向量的后部分布，我们对多种解决方案进行采样。我们在三个大型和多样化的数据集中展示了BRGM：（i）来自Flick的60,000个图像面向高质量的数据集（II）来自MIMIC III的高质量数据集（II）240,000胸X射线，（III）的组合收集5脑MRI数据集，具有7,329个扫描。在所有三个数据集和没有任何DataSet特定的HyperParameter调整，我们的简单方法会在超级分辨率和绘画上对当前的特定任务最先进的方法产生性能竞争力，同时更加稳定，而不需要任何培训。我们的源代码和预先训练的型号可在线获取：https://razvanmarinescu.github.io/brgm/。

Existing deep-learning based tomographic image reconstruction methods do not provide accurate estimates of reconstruction uncertainty, hindering their real-world deployment. This paper develops a method, termed as the linearised deep image prior (DIP), to estimate the uncertainty associated with reconstructions produced by the DIP with total variation regularisation (TV). Specifically, we endow the DIP with conjugate Gaussian-linear model type error-bars computed from a local linearisation of the neural network around its optimised parameters. To preserve conjugacy, we approximate the TV regulariser with a Gaussian surrogate. This approach provides pixel-wise uncertainty estimates and a marginal likelihood objective for hyperparameter optimisation. We demonstrate the method on synthetic data and real-measured high-resolution 2D $\mu$CT data, and show that it provides superior calibration of uncertainty estimates relative to previous probabilistic formulations of the DIP. Our code is available at https://github.com/educating-dip/bayes_dip.

自Venkatakrishnan等人的开创性工作以来。 2013年，即插即用（PNP）方法在贝叶斯成像中变得普遍存在。这些方法通过将显式似然函数与预定由图像去噪算法隐式定义的明确定义，导出用于成像中的逆问题的最小均方误差（MMSE）或最大后验误差（MAP）估计器。文献中提出的PNP算法主要不同于他们用于优化或采样的迭代方案。在优化方案的情况下，一些最近的作品能够保证收敛到一个定点，尽管不一定是地图估计。在采样方案的情况下，据我们所知，没有已知的收敛证明。关于潜在的贝叶斯模型和估算器是否具有明确定义，良好的良好，并且具有支持这些数值方案所需的基本规律性属性，还存在重要的开放性问题。为了解决这些限制，本文开发了用于对PNP前锋进行贝叶斯推断的理论，方法和可忽略的会聚算法。我们介绍了两个算法：1）PNP-ULA（未调整的Langevin算法），用于蒙特卡罗采样和MMSE推断; 2）PNP-SGD（随机梯度下降）用于MAP推理。利用Markov链的定量融合的最新结果，我们为这两种算法建立了详细的收敛保证，在现实假设下，在去噪运营商使用的现实假设下，特别注意基于深神经网络的遣散者。我们还表明这些算法大致瞄准了良好的决策理论上最佳的贝叶斯模型。所提出的算法在几种规范问题上证明了诸如图像去纹，染色和去噪，其中它们用于点估计以及不确定的可视化和量化。

基于深度学习的图像重建方法在许多成像方式中表现出令人印象深刻的经验表现。这些方法通常需要大量的高质量配对训练数据，这在医学成像中通常不可用。为了解决这个问题，我们为贝叶斯框架内的学习重建提供了一种新颖的无监督知识转移范式。提出的方法分为两个阶段学习重建网络。第一阶段训练一个重建网络，其中包括一组有序对，包括椭圆的地面真相图像和相应的模拟测量数据。第二阶段微调在没有监督的情况下将经过验证的网络用于更现实的测量数据。通过构造，该框架能够通过重建图像传递预测性不确定性信息。我们在低剂量和稀疏视图计算机断层扫描上提出了广泛的实验结果，表明该方法与几种最先进的监督和无监督的重建技术具有竞争力。此外，对于与培训数据不同的测试数据，与仅在合成数据集中训练的学习方法相比，所提出的框架不仅在视觉上可以显着提高重建质量，而且在PSNR和SSIM方面也可以显着提高重建质量。

最近，由于高性能，深度学习方法已成为生物学图像重建和增强问题的主要研究前沿，以及其超快速推理时间。但是，由于获得监督学习的匹配参考数据的难度，对不需要配对的参考数据的无监督学习方法越来越兴趣。特别是，已成功用于各种生物成像应用的自我监督的学习和生成模型。在本文中，我们概述了在古典逆问题的背景下的连贯性观点，并讨论其对生物成像的应用，包括电子，荧光和去卷积显微镜，光学衍射断层扫描和功能性神经影像。

我们提出了一个基于一般学习的框架，用于解决非平滑和非凸图像重建问题。我们将正则函数建模为$ l_ {2,1} $ norm的组成，并将平滑但非convex功能映射参数化为深卷积神经网络。我们通过利用Nesterov的平滑技术和残留学习的概念来开发一种可证明的趋同的下降型算法来解决非平滑非概念最小化问题，并学习网络参数，以使算法的输出与培训数据中的参考匹配。我们的方法用途广泛，因为人们可以将各种现代网络结构用于正规化，而所得网络继承了算法的保证收敛性。我们还表明，所提出的网络是参数有效的，其性能与实践中各种图像重建问题中的最新方法相比有利。

在计算机断层扫描成像的实际应用中，投影数据可以在有限角度范围内获取，并由于扫描条件的限制而被噪声损坏。嘈杂的不完全投影数据导致反问题的不良性。在这项工作中，我们从理论上验证了低分辨率重建问题的数值稳定性比高分辨率问题更好。在接下来的内容中，提出了一个新型的低分辨率图像先验的CT重建模型，以利用低分辨率图像来提高重建质量。更具体地说，我们在下采样的投影数据上建立了低分辨率重建问题，并将重建的低分辨率图像作为原始限量角CT问题的先验知识。我们通过交替的方向方法与卷积神经网络近似的所有子问题解决了约束最小化问题。数值实验表明，我们的双分辨率网络在嘈杂的有限角度重建问题上的变异方法和流行的基于学习的重建方法都优于变异方法。

与CNN的分类，分割或对象检测相比，生成网络的目标和方法根本不同。最初，它们不是作为图像分析工具，而是生成自然看起来的图像。已经提出了对抗性训练范式来稳定生成方法，并已被证明是非常成功的 - 尽管绝不是第一次尝试。本章对生成对抗网络（GAN）的动机进行了基本介绍，并通​​过抽象基本任务和工作机制并得出了早期实用方法的困难来追溯其成功的道路。将显示进行更稳定的训练方法，也将显示出不良收敛及其原因的典型迹象。尽管本章侧重于用于图像生成和图像分析的gan，但对抗性训练范式本身并非特定于图像，并且在图像分析中也概括了任务。在将GAN与最近进入场景的进一步生成建模方法进行对比之前，将闻名图像语义分割和异常检测的架构示例。这将允许对限制的上下文化观点，但也可以对gans有好处。

在概率密度范围内相对于Wassersein度量的空间的梯度流程通常具有很好的特性，并且已在几种机器学习应用中使用。计算Wasserstein梯度流量的标准方法是有限差异，使网格上的基础空间离散，并且不可扩展。在这项工作中，我们提出了一种可扩展的近端梯度型算法，用于Wassersein梯度流。我们的方法的关键是目标函数的变分形式，这使得可以通过引流 - 双重优化实现JKO近端地图。可以通过替代地更新内部和外环中的参数来有效地解决该原始问题。我们的框架涵盖了包括热方程和多孔介质方程的所有经典Wasserstein梯度流。我们展示了若干数值示例的算法的性能和可扩展性。

Deep convolutional networks have become a popular tool for image generation and restoration. Generally, their excellent performance is imputed to their ability to learn realistic image priors from a large number of example images. In this paper, we show that, on the contrary, the structure of a generator network is sufficient to capture a great deal of low-level image statistics prior to any learning. In order to do so, we show that a randomly-initialized neural network can be used as a handcrafted prior with excellent results in standard inverse problems such as denoising, superresolution, and inpainting. Furthermore, the same prior can be used to invert deep neural representations to diagnose them, and to restore images based on flash-no flash input pairs.

Neural networks have recently allowed solving many ill-posed inverse problems with unprecedented performance. Physics informed approaches already progressively replace carefully hand-crafted reconstruction algorithms in real applications. However, these networks suffer from a major defect: when trained on a given forward operator, they do not generalize well to a different one. The aim of this paper is twofold. First, we show through various applications that training the network with a family of forward operators allows solving the adaptivity problem without compromising the reconstruction quality significantly. Second, we illustrate that this training procedure allows tackling challenging blind inverse problems. Our experiments include partial Fourier sampling problems arising in magnetic resonance imaging (MRI), computerized tomography (CT) and image deblurring.

图像恢复仍然是图像处理中有挑战性的任务。许多方法解决这个问题，通常通过最小化非平滑惩罚的共轨似然函数来解决。虽然解决方案很容易以理论保证来解释，但其估计依赖于可能需要时间的优化过程。考虑到图像分类和分割深度学习的研究努力，这类方法提供了一个严重的替代方案来执行图像恢复，但要挑战解决逆问题。在这项工作中，我们设计了一个名为Deeppdnet的深网络，从原始双近迭代构建，与之前的分析有关的标准惩罚可能性，允许我们利用两个世界。我们用固定图层为深度网络进行重构Condat-Vu原始 - 双混梯度（PDHG）算法的特定实例。学习的参数均为PDHG算法阶梯大小和惩罚中涉及的分析线性运算符（包括正则化参数）。允许这些参数从层变为另一个参数。提出了两种不同的学习策略：提出了“全学习”和“部分学习”，第一个是数值最有效的，而第二个是依赖于标准约束确保标准PDHG迭代中的收敛。此外，研究了全局和局部稀疏分析，以寻求更好的特征表示。我们将所提出的方法应用于MNIST和BSD68数据集上的图像恢复以及BSD100和SET14数据集的单个图像超分辨率。广泛的结果表明，建议的DeepPDNET在MNIST和更复杂的BSD68，BSD100和SET14数据集中展示了卓越的性能，用于图像恢复和单图像超分辨率任务。

插件播放（PNP）框架使得将高级图像deno的先验集成到优化算法中成为可能，以有效地解决通常以最大后验（MAP）估计问题为例的各种图像恢复任务。乘法乘数的交替方向方法（ADMM）和通过denoing（红色）算法的正则化是这类方法的两个示例，这些示例在图像恢复方面取得了突破。但是，尽管前一种方法仅适用于近端算法，但最近已经证明，当DeOisers缺乏Jacobian对称性时，没有任何正规化解释红色算法，这恰恰是最实际的DINOISERS的情况。据我们所知，没有任何方法来训练直接代表正规器梯度的网络，该网络可以直接用于基于插入梯度的算法中。我们表明，可以在共同训练相应的地图Denoiser的同时训练直接建模MAP正常化程序梯度的网络。我们在基于梯度的优化方法中使用该网络，并获得与其他通用插件方法相比，获得更好的结果。我们还表明，正规器可以用作展开梯度下降的预训练网络。最后，我们证明了由此产生的Denoiser允许更好地收敛插件ADMM。

在过去的几年中，深层神经网络方法的反向成像问题产生了令人印象深刻的结果。在本文中，我们考虑在跨问题方法中使用生成模型。所考虑的正规派对图像进行了惩罚，这些图像远非生成模型的范围，该模型学会了产生类似于训练数据集的图像。我们命名这个家庭\ textit {生成正规派}。生成常规人的成功取决于生成模型的质量，因此我们提出了一组所需的标准来评估生成模型并指导未来的研究。在我们的数值实验中，我们根据我们所需的标准评估了三种常见的生成模型，自动编码器，变异自动编码器和生成对抗网络。我们还测试了三个不同的生成正规疗法仪，关于脱毛，反卷积和断层扫描的逆问题。我们表明，逆问题的限制解决方案完全位于生成模型的范围内可以给出良好的结果，但是允许与发电机范围的小偏差产生更一致的结果。