Light is a complex-valued field. The intensity and phase of the field are affected by imaged objects. However, imaging sensors measure only real-valued non-negative intensities. This results in a nonlinear relation between the measurements and the unknown imaged objects. Moreover, the sensor readouts are corrupted by Poissonian-distributed photon noise. In this work, we seek the most probable object (or clear image), given noisy measurements, that is, maximizing the a-posteriori probability of the sought variables. Hence, we generalize annealed Langevin dynamics, tackling fundamental challenges in optical imaging, including phase recovery and Poisson (photon) denoising. We leverage deep neural networks, not for explicit recovery of the imaged object, but as an approximate gradient for a prior term. We show results on empirical data, acquired by a real experiment. We further show results of simulations.

在这项工作中，我们引入了一种新的随机算法被称为剪辑，其从任何线性逆问题的后部分布绘制样品，其中假设观察被添加的白色高斯噪声污染。我们的解决方案包含Langevin Dynamics和Newton的方法的想法，并利用预训练的最小均方误差（MMSE）高斯丹麦置位。所提出的方法依赖于包括劣化运算符的奇异值分解（SVD）的后续函数的复杂衍生，以获得所需采样的易迭代算法。由于其瞬极性，算法可以为同样嘈杂的观察产生多个高感性质量样本。我们展示了拟议的图像去掩饰，超分辨率和压缩感测的范例的能力。我们表明所产生的样品是尖锐的，详细且与给定的测量结果一致，它们的多样性暴露了解决的逆问题中的固有不确定性。

由于其高质量的重建以及将现有迭代求解器结合起来的易于性，因此最近将扩散模型作为强大的生成反问题解决器研究。但是，大多数工作都专注于在无噪声设置中解决简单的线性逆问题，这显着不足以使实际问题的复杂性不足。在这项工作中，我们将扩散求解器扩展求解器，以通过后采样的拉普拉斯近似有效地处理一般噪声（非）线性反问题。有趣的是，所得的后验采样方案是扩散采样的混合版本，具有歧管约束梯度，而没有严格的测量一致性投影步骤，与先前的研究相比，在嘈杂的设置中产生了更可取的生成路径。我们的方法表明，扩散模型可以结合各种测量噪声统计量，例如高斯和泊松，并且还有效处理嘈杂的非线性反问题，例如傅立叶相检索和不均匀的脱毛。

为了解决逆问题，已经开发了插件（PNP）方法，可以用呼叫特定于应用程序的DeNoiser在凸优化算法中替换近端步骤，该算法通常使用深神经网络（DNN）实现。尽管这种方法已经成功，但可以改进它们。例如，Denoiser通常经过设计/训练以消除白色高斯噪声，但是PNP算法中的DINOISER输入误差通常远非白色或高斯。近似消息传递（AMP）方法提供了白色和高斯DEOISER输入误差，但仅当正向操作员是一个大的随机矩阵时。在这项工作中，对于基于傅立叶的远期运营商，我们提出了一种基于普遍期望一致性（GEC）近似的PNP算法 - AMP的紧密表弟 - 在每次迭代时提供可预测的错误统计信息，以及新的DNN利用这些统计数据的Denoiser。我们将方法应用于磁共振成像（MRI）图像恢复，并证明其优于现有的PNP和AMP方法。

通过最近基于深度学习的方法显示出令人鼓舞的结果，可以消除图像中的噪音，在有监督的学习设置中报道了最佳的降级性能，该设置需要大量的配对嘈杂图像和训练的基础真相。强大的数据需求可以通过无监督的学习技术来减轻，但是，对于高质量的解决方案，图像或噪声方差的准确建模仍然至关重要。对于未知的噪声分布而言，学习问题不足。本文研究了单个联合学习框架中图像降解和噪声方差估计的任务。为了解决问题的不良性，我们提出了深度差异先验（DVP），该差异指出，适当学到的DeNoiser在噪声变化方面的变化满足了一些平滑度的特性，这是良好DeNoiser的关键标准。建立在DVP的基础上，这是一个无监督的深度学习框架，同时学习了Denoiser并估算了噪声差异。我们的方法不需要任何干净的训练图像或噪声估计的外部步骤，而是仅使用一组嘈杂的图像近似于最小平方误差Denoisiser。在一个框架中考虑了两个基本任务，我们允许它们相互优化。实验结果表明，具有与监督的学习和准确的噪声方差估计值相当的质量。

在本文中，我们考虑使用Palentir在两个和三个维度中对分段常数对象的恢复和重建，这是相对于当前最新ART的显着增强的参数级别集（PALS）模型。本文的主要贡献是一种新的PALS公式，它仅需要一个单个级别的函数来恢复具有具有多个未知对比度的分段常数对象的场景。我们的模型比当前的多对抗性，多对象问题提供了明显的优势，所有这些问题都需要多个级别集并明确估计对比度大小。给定对比度上的上限和下限，我们的方法能够以任何对比度分布恢复对象，并消除需要知道给定场景中的对比度或其值的需求。我们提供了一个迭代过程，以找到这些空间变化的对比度限制。相对于使用径向基函数（RBF）的大多数PAL方法，我们的模型利用了非异型基函数，从而扩展了给定复杂性的PAL模型可以近似的形状类别。最后，Palentir改善了作为参数识别过程一部分所需的Jacobian矩阵的条件，因此通过控制PALS扩展系数的幅度来加速优化方法，固定基本函数的中心，以及参数映射到图像映射的唯一性，由新参数化提供。我们使用X射线计算机断层扫描，弥漫性光学断层扫描（DOT），Denoising，DeonConvolution问题的2D和3D变体证明了新方法的性能。应用于实验性稀疏CT数据和具有不同类型噪声的模拟数据，以进一步验证所提出的方法。

最近，由于高性能，深度学习方法已成为生物学图像重建和增强问题的主要研究前沿，以及其超快速推理时间。但是，由于获得监督学习的匹配参考数据的难度，对不需要配对的参考数据的无监督学习方法越来越兴趣。特别是，已成功用于各种生物成像应用的自我监督的学习和生成模型。在本文中，我们概述了在古典逆问题的背景下的连贯性观点，并讨论其对生物成像的应用，包括电子，荧光和去卷积显微镜，光学衍射断层扫描和功能性神经影像。

这项正在进行的工作旨在为统计学习提供统一的介绍，从诸如GMM和HMM等经典模型到现代神经网络（如VAE和扩散模型）缓慢地构建。如今，有许多互联网资源可以孤立地解释这一点或新的机器学习算法，但是它们并没有（也不能在如此简短的空间中）将这些算法彼此连接起来，或者与统计模型的经典文献相连现代算法出现了。同样明显缺乏的是一个单一的符号系统，尽管对那些已经熟悉材料的人（如这些帖子的作者）不满意，但对新手的入境造成了重大障碍。同样，我的目的是将各种模型（尽可能）吸收到一个用于推理和学习的框架上，表明（以及为什么）如何以最小的变化将一个模型更改为另一个模型（其中一些是新颖的，另一些是文献中的）。某些背景当然是必要的。我以为读者熟悉基本的多变量计算，概率和统计以及线性代数。这本书的目标当然不是​​完整性，而是从基本知识到过去十年中极强大的新模型的直线路径或多或少。然后，目标是补充而不是替换，诸如Bishop的\ emph {模式识别和机器学习}之类的综合文本，该文本现在已经15岁了。

2D断层摄影重建的目标是恢复从各种视图中投影的图像。通常推测，与突起相关联的投影角度预先已知。然而，在某些情况下，这些角度仅仅是近似或完全未知的。从一系列随机投影重建图像变得更具挑战性。我们提出了一种基于对侵犯学习的方法来恢复图像和投影角度分布，通过将测量的经验分布与所生成的数据匹配。通过在发电机和基于Wassersein生成的对抗网络结构之间解决一个MIN-MAX游戏来实现分布。为了通过梯度反向传播容纳投影角度分布的更新，我们使用来自离散分布的样本的Gumbel-Softmax Reparameterization估计损失。我们的理论分析验证了图像的独特恢复和投影分布到收敛时的旋转和反射。我们广泛的数值实验展示了我们在噪声污染下准确恢复图像和投影角度分布的方法的潜力。

自Venkatakrishnan等人的开创性工作以来。 2013年，即插即用（PNP）方法在贝叶斯成像中变得普遍存在。这些方法通过将显式似然函数与预定由图像去噪算法隐式定义的明确定义，导出用于成像中的逆问题的最小均方误差（MMSE）或最大后验误差（MAP）估计器。文献中提出的PNP算法主要不同于他们用于优化或采样的迭代方案。在优化方案的情况下，一些最近的作品能够保证收敛到一个定点，尽管不一定是地图估计。在采样方案的情况下，据我们所知，没有已知的收敛证明。关于潜在的贝叶斯模型和估算器是否具有明确定义，良好的良好，并且具有支持这些数值方案所需的基本规律性属性，还存在重要的开放性问题。为了解决这些限制，本文开发了用于对PNP前锋进行贝叶斯推断的理论，方法和可忽略的会聚算法。我们介绍了两个算法：1）PNP-ULA（未调整的Langevin算法），用于蒙特卡罗采样和MMSE推断; 2）PNP-SGD（随机梯度下降）用于MAP推理。利用Markov链的定量融合的最新结果，我们为这两种算法建立了详细的收敛保证，在现实假设下，在去噪运营商使用的现实假设下，特别注意基于深神经网络的遣散者。我们还表明这些算法大致瞄准了良好的决策理论上最佳的贝叶斯模型。所提出的算法在几种规范问题上证明了诸如图像去纹，染色和去噪，其中它们用于点估计以及不确定的可视化和量化。

Existing deep-learning based tomographic image reconstruction methods do not provide accurate estimates of reconstruction uncertainty, hindering their real-world deployment. This paper develops a method, termed as the linearised deep image prior (DIP), to estimate the uncertainty associated with reconstructions produced by the DIP with total variation regularisation (TV). Specifically, we endow the DIP with conjugate Gaussian-linear model type error-bars computed from a local linearisation of the neural network around its optimised parameters. To preserve conjugacy, we approximate the TV regulariser with a Gaussian surrogate. This approach provides pixel-wise uncertainty estimates and a marginal likelihood objective for hyperparameter optimisation. We demonstrate the method on synthetic data and real-measured high-resolution 2D $\mu$CT data, and show that it provides superior calibration of uncertainty estimates relative to previous probabilistic formulations of the DIP. Our code is available at https://github.com/educating-dip/bayes_dip.

斑点波动严重限制了合成孔径雷达（SAR）图像的可解释性。因此，散斑减少是跨越至少四十年的众多作品的主题。基于深度神经网络的技术最近在SAR图像恢复质量方面实现了一种新的性能。超出了合适的网络架构的设计或选择足够的损失功能，培训集的构建是最重要的。到目前为止，大多数方法都考虑了监督培训策略：培训网络以产生尽可能靠近斑点的参考图像的输出。无斑点图像通常不可用，这需要采用自然或光学图像或在长时间序列中选择稳定区域，以规避缺乏地面真理。另一方面，自我监督避免使用无斑点图像。我们介绍了一个自我监督的战略，基于单眼复杂的SAR图像的真实和虚构部分的分离，称为Merlin（复杂的自我监督的机除），并表明它提供了一种培训各种深度掠夺的直接途径网络。由于特定于给定传感器和成像模式的SAR传输功能，使用Merlin培训的网络考虑了空间相关性。通过只需要一个图像，并且可能利用大型档案，Merlin将门打开了无忧无虑的机器，以及对机器网络的大规模培训。培训型号的代码是在https://gitlab.telecom-paris.fr/ring/mollin的。

Lensless cameras are a class of imaging devices that shrink the physical dimensions to the very close vicinity of the image sensor by replacing conventional compound lenses with integrated flat optics and computational algorithms. Here we report a diffractive lensless camera with spatially-coded Voronoi-Fresnel phase to achieve superior image quality. We propose a design principle of maximizing the acquired information in optics to facilitate the computational reconstruction. By introducing an easy-to-optimize Fourier domain metric, Modulation Transfer Function volume (MTFv), which is related to the Strehl ratio, we devise an optimization framework to guide the optimization of the diffractive optical element. The resulting Voronoi-Fresnel phase features an irregular array of quasi-Centroidal Voronoi cells containing a base first-order Fresnel phase function. We demonstrate and verify the imaging performance for photography applications with a prototype Voronoi-Fresnel lensless camera on a 1.6-megapixel image sensor in various illumination conditions. Results show that the proposed design outperforms existing lensless cameras, and could benefit the development of compact imaging systems that work in extreme physical conditions.

我们考虑了使用显微镜或X射线散射技术产生的图像数据自组装的模型的贝叶斯校准。为了说明BCP平衡结构中的随机远程疾病，我们引入了辅助变量以表示这种不确定性。然而，这些变量导致了高维图像数据的综合可能性，通常可以评估。我们使用基于测量运输的可能性方法以及图像数据的摘要统计数据来解决这一具有挑战性的贝叶斯推理问题。我们还表明，可以计算出有关模型参数的数据中的预期信息收益（EIG），而无需额外的成本。最后，我们介绍了基于二嵌段共聚物薄膜自组装和自上而下显微镜表征的ohta-kawasaki模型的数值案例研究。为了进行校准，我们介绍了一些基于域的能量和傅立叶的摘要统计数据，并使用EIG量化了它们的信息性。我们证明了拟议方法研究数据损坏和实验设计对校准结果的影响的力量。

本文介绍了使用基于补丁的先前分布的图像恢复的新期望传播（EP）框架。虽然Monte Carlo技术典型地用于从难以处理的后分布中进行采样，但它们可以在诸如图像恢复之类的高维推论问题中遭受可扩展性问题。为了解决这个问题，这里使用EP来使用多元高斯密度的产品近似后分布。此外，对这些密度的协方差矩阵施加结构约束允许更大的可扩展性和分布式计算。虽然该方法自然适于处理添加剂高斯观察噪声，但它也可以扩展到非高斯噪声。用于高斯和泊松噪声的去噪，染色和去卷积问题进行的实验说明了这种柔性近似贝叶斯方法的潜在益处，以实现与采样技术相比降低的计算成本。

深网络提供从医学成像到计算摄影的多重成像逆问题的最先进的性能。但是，大多数现有网络都是用清洁信号训练，这些信号通常很难或无法获得。近来的成像（EI）是最近的自我监督的学习框架，其利用信号分布中存在的组不变性，以仅从部分测量数据中学习重建功能。虽然EI结果令人印象深刻，但其性能随着噪音的增加而劣化。在本文中，我们提出了一种强大的成像（REI）框架，其可以学习从嘈杂的部分测量单独学习图像。该方法采用Stein的无偏见风险估算器（肯定）获得完全无偏见的训练损失，这是对噪声强大的。我们表明REI导致线性和非线性逆问题导致相当大的性能收益，从而为具有深网络的稳健无监督成像铺平了道路。代码可在：https://github.com/edongdongchen/rei。

传统上，信号处理，通信和控制一直依赖经典的统计建模技术。这种基于模型的方法利用代表基本物理，先验信息和其他领域知识的数学公式。简单的经典模型有用，但对不准确性敏感，当真实系统显示复杂或动态行为时，可能会导致性能差。另一方面，随着数据集变得丰富，现代深度学习管道的力量增加，纯粹的数据驱动的方法越来越流行。深度神经网络（DNNS）使用通用体系结构，这些架构学会从数据中运行，并表现出出色的性能，尤其是针对受监督的问题。但是，DNN通常需要大量的数据和巨大的计算资源，从而限制了它们对某些信号处理方案的适用性。我们对将原则数学模型与数据驱动系统相结合的混合技术感兴趣，以从两种方法的优势中受益。这种基于模型的深度学习方法通​​过为特定问题设计的数学结构以及从有限的数据中学习来利用这两个部分领域知识。在本文中，我们调查了研究和设计基于模型的深度学习系统的领先方法。我们根据其推理机制将基于混合模型/数据驱动的系统分为类别。我们对以系统的方式将基于模型的算法与深度学习以及具体指南和详细的信号处理示例相结合的领先方法进行了全面综述。我们的目的是促进对未来系统的设计和研究信号处理和机器学习的交集，这些系统结合了两个领域的优势。

Experimental sciences have come to depend heavily on our ability to organize, interpret and analyze high-dimensional datasets produced from observations of a large number of variables governed by natural processes. Natural laws, conservation principles, and dynamical structure introduce intricate inter-dependencies among these observed variables, which in turn yield geometric structure, with fewer degrees of freedom, on the dataset. We show how fine-scale features of this structure in data can be extracted from \emph{discrete} approximations to quantum mechanical processes given by data-driven graph Laplacians and localized wavepackets. This data-driven quantization procedure leads to a novel, yet natural uncertainty principle for data analysis induced by limited data. We illustrate the new approach with algorithms and several applications to real-world data, including the learning of patterns and anomalies in social distancing and mobility behavior during the COVID-19 pandemic.

Most existing Image Restoration (IR) models are task-specific, which can not be generalized to different degradation operators. In this work, we propose the Denoising Diffusion Null-Space Model (DDNM), a novel zero-shot framework for arbitrary linear IR problems, including but not limited to image super-resolution, colorization, inpainting, compressed sensing, and deblurring. DDNM only needs a pre-trained off-the-shelf diffusion model as the generative prior, without any extra training or network modifications. By refining only the null-space contents during the reverse diffusion process, we can yield diverse results satisfying both data consistency and realness. We further propose an enhanced and robust version, dubbed DDNM+, to support noisy restoration and improve restoration quality for hard tasks. Our experiments on several IR tasks reveal that DDNM outperforms other state-of-the-art zero-shot IR methods. We also demonstrate that DDNM+ can solve complex real-world applications, e.g., old photo restoration.

Digital sensors can lead to noisy results under many circumstances. To be able to remove the undesired noise from images, proper noise modeling and an accurate noise parameter estimation is crucial. In this project, we use a Poisson-Gaussian noise model for the raw-images captured by the sensor, as it fits the physical characteristics of the sensor closely. Moreover, we limit ourselves to the case where observed (noisy), and ground-truth (noise-free) image pairs are available. Using such pairs is beneficial for the noise estimation and is not widely studied in literature. Based on this model, we derive the theoretical maximum likelihood solution, discuss its practical implementation and optimization. Further, we propose two algorithms based on variance and cumulant statistics. Finally, we compare the results of our methods with two different approaches, a CNN we trained ourselves, and another one taken from literature. The comparison between all these methods shows that our algorithms outperform the others in terms of MSE and have good additional properties.