Image noise can often be accurately fitted to a Poisson-Gaussian distribution. However, estimating the distribution parameters from a noisy image only is a challenging task. Here, we study the case when paired noisy and noise-free samples are accessible. No method is currently available to exploit the noise-free information, which may help to achieve more accurate estimations. To fill this gap, we derive a novel, cumulant-based, approach for Poisson-Gaussian noise modeling from paired image samples. We show its improved performance over different baselines, with special emphasis on MSE, effect of outliers, image dependence, and bias. We additionally derive the log-likelihood function for further insights and discuss real-world applicability.

Digital sensors can lead to noisy results under many circumstances. To be able to remove the undesired noise from images, proper noise modeling and an accurate noise parameter estimation is crucial. In this project, we use a Poisson-Gaussian noise model for the raw-images captured by the sensor, as it fits the physical characteristics of the sensor closely. Moreover, we limit ourselves to the case where observed (noisy), and ground-truth (noise-free) image pairs are available. Using such pairs is beneficial for the noise estimation and is not widely studied in literature. Based on this model, we derive the theoretical maximum likelihood solution, discuss its practical implementation and optimization. Further, we propose two algorithms based on variance and cumulant statistics. Finally, we compare the results of our methods with two different approaches, a CNN we trained ourselves, and another one taken from literature. The comparison between all these methods shows that our algorithms outperform the others in terms of MSE and have good additional properties.

通过最近基于深度学习的方法显示出令人鼓舞的结果，可以消除图像中的噪音，在有监督的学习设置中报道了最佳的降级性能，该设置需要大量的配对嘈杂图像和训练的基础真相。强大的数据需求可以通过无监督的学习技术来减轻，但是，对于高质量的解决方案，图像或噪声方差的准确建模仍然至关重要。对于未知的噪声分布而言，学习问题不足。本文研究了单个联合学习框架中图像降解和噪声方差估计的任务。为了解决问题的不良性，我们提出了深度差异先验（DVP），该差异指出，适当学到的DeNoiser在噪声变化方面的变化满足了一些平滑度的特性，这是良好DeNoiser的关键标准。建立在DVP的基础上，这是一个无监督的深度学习框架，同时学习了Denoiser并估算了噪声差异。我们的方法不需要任何干净的训练图像或噪声估计的外部步骤，而是仅使用一组嘈杂的图像近似于最小平方误差Denoisiser。在一个框架中考虑了两个基本任务，我们允许它们相互优化。实验结果表明，具有与监督的学习和准确的噪声方差估计值相当的质量。

The last decade has seen an astronomical shift from imaging with DSLR and point-and-shoot cameras to imaging with smartphone cameras. Due to the small aperture and sensor size, smartphone images have notably more noise than their DSLR counterparts. While denoising for smartphone images is an active research area, the research community currently lacks a denoising image dataset representative of real noisy images from smartphone cameras with high-quality ground truth. We address this issue in this paper with the following contributions. We propose a systematic procedure for estimating ground truth for noisy images that can be used to benchmark denoising performance for smartphone cameras. Using this procedure, we have captured a dataset -the Smartphone Image Denoising Dataset (SIDD) -of ~30,000 noisy images from 10 scenes under different lighting conditions using five representative smartphone cameras and generated their ground truth images. We used this dataset to benchmark a number of denoising algorithms. We show that CNN-based methods perform better when trained on our high-quality dataset than when trained using alternative strategies, such as low-ISO images used as a proxy for ground truth data.

Tweedie分布是指数色散模型的特殊情况，它通常用于古典统计作为广义线性模型的分布。在这里，我们揭示了Tweedie发行版也在现代深度学习时代发挥关键作用，导致分布独立的自我监督图像去噪公式，没有清洁参考图像。具体地，通过与最近的噪声2Score自我监督的图像去噪方法和旋转点分布的鞍点近似来组合，我们可以提供一种可以用于大类噪声分布的一般封闭式去噪公式，而不知道底层噪声分布。与原始噪声2Score类似，新方法由两个连续的步骤组成：使用扰动噪声图像的分数匹配，然后是通过分布无关的Tweedie公式的闭合形式图像去噪公式。这还提出了一种系统算法来估计给定嘈杂的图像数据集的噪声模型和噪声参数。通过广泛的实验，我们证明了所提出的方法可以准确地估计噪声模型和参数，并在基准数据集和现实世界数据集中提供最先进的自我监督图像去噪表现。

While deep convolutional neural networks (CNNs) have achieved impressive success in image denoising with additive white Gaussian noise (AWGN), their performance remains limited on real-world noisy photographs. The main reason is that their learned models are easy to overfit on the simplified AWGN model which deviates severely from the complicated real-world noise model. In order to improve the generalization ability of deep CNN denoisers, we suggest training a convolutional blind denoising network (CBDNet) with more realistic noise model and real-world noisy-clean image pairs. On the one hand, both signaldependent noise and in-camera signal processing pipeline is considered to synthesize realistic noisy images. On the other hand, real-world noisy photographs and their nearly noise-free counterparts are also included to train our CBD-Net. To further provide an interactive strategy to rectify denoising result conveniently, a noise estimation subnetwork with asymmetric learning to suppress under-estimation of noise level is embedded into CBDNet. Extensive experimental results on three datasets of real-world noisy photographs clearly demonstrate the superior performance of CBDNet over state-of-the-arts in terms of quantitative metrics and visual quality. The code has been made available at https://github.com/GuoShi28/CBDNet.

我们为图像去噪提供了一个名为自我验证的新正规化。使用网络以前的深度图像而不是传统的预定义先决义的阵列制定了这种正则化。具体而言，我们将网络的输出视为“先前”，我们在“重新注册”之后再次欺骗。再次去噪图像与其之前的比较可以解释为网络的去噪能力的自我验证。我们证明自我验证鼓励网络捕获恢复图像所需的低级图像统计数据。基于这种自我验证正规化，我们进一步表明，即使它没有看到任何清洁图像，网络也可以学习去代标。这种学习策略是自我监督的，我们将其称为自我验证图像去噪（SVID）。 SVID可以被视为基于学习的方法和传统的基于模型的去噪方法的混合，其中使用网络的输出自适应地配制正则化。我们仅使用观察到损坏的数据显示SVID对各种去噪任务的应用。它可以实现接近监督CNN的去噪性能。

图像增强方法通常假定噪声是无关的，并且将降解模型近似为零均值的加性高斯。但是，这种假设不适合生物医学成像系统，在生物医学成像系统中，基于传感器的噪声源与信号强度成正比，并且噪声更好地表示为泊松过程。在这项工作中，我们探讨了一种基于词典学习的方法，并提出了一种新颖的自我监督学习方法，用于单像denoising，其中噪声近似为泊松过程，不需要干净的地面真实数据。具体而言，我们近似于通过反复的神经网络进行图像降级的传统迭代优化算法，该神经网络可实现相对于网络的权重的稀疏性。由于稀疏表示形式基于基础图像，因此它能够抑制图像贴片中的虚假组件（噪声），从而引入隐式正则化，以通过网络结构来降级任务。在两个生物成像数据集上的实验表明，我们的方法在PSNR和SSIM方面优于最先进的方法。我们的定性结果表明，除了在标准定量指标上进行更高的性能外，我们还能够比其他比较方法恢复更多的细节。我们的代码可在https://github.com/tacalvin/poisson2sparse上公开提供。

We introduce a parametric view of non-local two-step denoisers, for which BM3D is a major representative, where quadratic risk minimization is leveraged for unsupervised optimization. Within this paradigm, we propose to extend the underlying mathematical parametric formulation by iteration. This generalization can be expected to further improve the denoising performance, somehow curbed by the impracticality of repeating the second stage for all two-step denoisers. The resulting formulation involves estimating an even larger amount of parameters in a unsupervised manner which is all the more challenging. Focusing on the parameterized form of NL-Ridge, the simplest but also most efficient non-local two-step denoiser, we propose a progressive scheme to approximate the parameters minimizing the risk. In the end, the denoised images are made up of iterative linear combinations of patches. Experiments on artificially noisy images but also on real-world noisy images demonstrate that our method compares favorably with the very best unsupervised denoisers such as WNNM, outperforming the recent deep-learning-based approaches, while being much faster.

在弱光环境下，手持式摄影在长时间的曝光设置下遭受了严重的相机震动。尽管现有的Deblurry算法在暴露良好的模糊图像上表现出了令人鼓舞的性能，但它们仍然无法应对低光快照。在实用的低光脱毛中，复杂的噪声和饱和区是两个主导挑战。在这项工作中，我们提出了一种称为图像的新型非盲脱毛方法，并具有特征空间Wiener Deonervolution网络（Infwide），以系统地解决这些问题。在算法设计方面，Infwide提出了一个两分支的架构，该体系结构明确消除了噪声并幻觉，使图像空间中的饱和区域抑制了特征空间中的响起文物，并将两个互补输出与一个微妙的多尺度融合网络集成在一起高质量的夜间照片浮雕。为了进行有效的网络培训，我们设计了一组损失功能，集成了前向成像模型和向后重建，以形成近环的正则化，以确保深神经网络的良好收敛性。此外，为了优化Infwide在实际弱光条件下的适用性，采用基于物理过程的低光噪声模型来合成现实的嘈杂夜间照片进行模型训练。利用传统的Wiener Deonervolution算法的身体驱动的特征并引起了深层神经网络的表示能力，Infwide可以恢复细节，同时抑制在脱毛期间的不愉快的人工制品。关于合成数据和实际数据的广泛实验证明了所提出的方法的出色性能。

经典图像恢复算法使用各种前瞻性，无论是明确的还是明确的。他们的前沿是手工设计的，它们的相应权重是启发式分配的。因此，深度学习方法通​​常会产生优异的图像恢复质量。然而，深度网络是能够诱导强烈且难以预测的幻觉。在学习图像时，网络隐含地学会联合忠于观察到的数据;然后是不可能的原始数据和下游的幻觉数据的分离。这限制了它们在图像恢复中的广泛采用。此外，通常是降解模型过度装备的受害者的幻觉部分。我们提出了一种具有解耦的网络先前的幻觉和数据保真度的方法。我们将我们的框架称为贝叶斯队的生成先前（BigPrior）的集成。我们的方法植根于贝叶斯框架中，并将其紧密连接到经典恢复方法。实际上，它可以被视为大型经典恢复算法的概括。我们使用网络反转来从生成网络中提取图像先前信息。我们表明，在图像着色，染色和去噪，我们的框架始终如一地提高了反演结果。我们的方法虽然部分依赖于生成网络反演的质量，具有竞争性的监督和任务特定的恢复方法。它还提供了一种额外的公制，其阐述了每像素的先前依赖程度相对于数据保真度。

高光谱成像为各种应用提供了新的视角，包括使用空降或卫星遥感，精密养殖，食品安全，行星勘探或天体物理学的环境监测。遗憾的是，信息的频谱分集以各种劣化来源的牺牲品，并且目前获取的缺乏准确的地面“清洁”高光谱信号使得恢复任务具有挑战性。特别是，与传统的RGB成像问题相比，培训深度神经网络用于恢复难以深入展现的传统RGB成像问题。在本文中，我们提倡基于稀疏编码原理的混合方法，其保留与手工图像前导者编码域知识的经典技术的可解释性，同时允许在没有大量数据的情况下训练模型参数。我们在各种去噪基准上展示了我们的方法是计算上高效并且显着优于现有技术。

Quantum-enhanced data science, also known as quantum machine learning (QML), is of growing interest as an application of near-term quantum computers. Variational QML algorithms have the potential to solve practical problems on real hardware, particularly when involving quantum data. However, training these algorithms can be challenging and calls for tailored optimization procedures. Specifically, QML applications can require a large shot-count overhead due to the large datasets involved. In this work, we advocate for simultaneous random sampling over both the dataset as well as the measurement operators that define the loss function. We consider a highly general loss function that encompasses many QML applications, and we show how to construct an unbiased estimator of its gradient. This allows us to propose a shot-frugal gradient descent optimizer called Refoqus (REsource Frugal Optimizer for QUantum Stochastic gradient descent). Our numerics indicate that Refoqus can save several orders of magnitude in shot cost, even relative to optimizers that sample over measurement operators alone.

3D点云通常由一个或多个观点处由传感器获取的深度测量构成。测量值遭受量化和噪声损坏。为了提高质量，以前的作品在将不完美深度数据投射到3D空间之后，将点云\ Textit {a postiriori}代名。相反，在合成3D点云之前，我们在感测图像\ Texit {a先验}上直接增强深度测量。通过增强物理传感过程附近，在后续处理步骤模糊测量误差之前，我们将我们的优化定制到我们的深度形成模型。具体而言，我们将深度形成为信号相关噪声添加和非均匀日志量化的组合过程。使用来自实际深度传感器的收集的经验数据验证设计的模型（配有参数）。为了在深度图像中增强每个像素行，我们首先通过特征图学习将可用行像素之间的视图帧内相似性编码为边缘权重。接下来我们通过观点映射和稀疏线性插值建立与另一个整流的深度图像的视图间相似性。这导致最大的后验（MAP）图滤波物镜，其凸显和可微分。我们使用加速梯度下降（AGD）有效地优化目标，其中最佳步长通过Gershgorin圆定理（GCT）近似。实验表明，我们的方法在两个既定点云质量指标中显着优于最近的近期云去噪方案和最先进的图像去噪方案。

荧光显微镜是促进生物医学研究发现的关键驱动力。但是，随着显微镜硬件的局限性和观察到的样品的特征，荧光显微镜图像易受噪声。最近，已经提出了一些自我监督的深度学习（DL）denoising方法。但是，现有方法的训练效率和降解性能在实际场景噪声中相对较低。为了解决这个问题，本文提出了自我监督的图像denoising方法噪声2SR（N2SR），以训练基于单个嘈杂观察的简单有效的图像Denoising模型。我们的noings2SR Denoising模型设计用于使用不同维度的配对嘈杂图像进行训练。从这种训练策略中受益，Noige2SR更有效地自我监督，能够从单个嘈杂的观察结果中恢复更多图像细节。模拟噪声和真实显微镜噪声的实验结果表明，噪声2SR优于两个基于盲点的自我监督深度学习图像Denoising方法。我们设想噪声2SR有可能提高更多其他类型的科学成像质量。

自治车辆和机器人需要越来越多的鲁棒性和可靠性，以满足现代任务的需求。这些要求特别适用于相机，因为它们是获取环境和支持行动的信息的主要传感器。相机必须保持适当的功能，并在必要时采取自动对策。但是，几乎没有作品，审查了相机的一般情况监测方法的实际应用，并在设想的高级别应用程序中设计对策。我们为基于数据和物理接地模型的相机提出了一种通用和可解释的自我保健框架。为此，我们通过比较传统和血液的机器学习的方法，确定一种可靠的两种可靠，实时的估计，用于诸如难以释放的情况（Defocus Blur，运动模糊，不同噪声现象和最常见的噪声现象和最常见的组合）的典型图像效果广泛的实验。此外，我们展示了如何根据实验（非线性和非单调）输入 - 输出性能曲线来调整相机参数（例如，曝光时间和ISO增益）以实现最佳的全系统能力，使用对象检测，运动模糊和传感器噪声作为示例。我们的框架不仅提供了一种实用的即用的解决方案，可以评估和维护摄像机的健康，但也可以作为扩展来解决更复杂的问题的基础，以凭经验组合附加的数据源（例如，传感器或环境参数或环境参数）为了获得完全可靠和强大的机器。

估计给定样品的吉布斯密度函数是计算统计和统计学习中的重要问题。尽管普遍使用了良好的最大似然法，但它需要计算分区函数（即密度的归一化）。可以轻松地针对简单的低维问题计算此功能，但是对于一般密度和高维问题，其计算很困难甚至是棘手的。在本文中，我们提出了一种基于最大a-posteriori（MAP）估计器的替代方法，我们命名了最大恢复地图（MR-MAP），以得出不需要计算分区功能的估计器，并将问题重新制定为优化问题。我们进一步提出了一种最小动作类型的潜力，使我们能够快速解决优化问题作为馈送屈曲神经网络。我们证明了我们的方法对某些标准数据集的有效性。

斑点波动严重限制了合成孔径雷达（SAR）图像的可解释性。因此，散斑减少是跨越至少四十年的众多作品的主题。基于深度神经网络的技术最近在SAR图像恢复质量方面实现了一种新的性能。超出了合适的网络架构的设计或选择足够的损失功能，培训集的构建是最重要的。到目前为止，大多数方法都考虑了监督培训策略：培训网络以产生尽可能靠近斑点的参考图像的输出。无斑点图像通常不可用，这需要采用自然或光学图像或在长时间序列中选择稳定区域，以规避缺乏地面真理。另一方面，自我监督避免使用无斑点图像。我们介绍了一个自我监督的战略，基于单眼复杂的SAR图像的真实和虚构部分的分离，称为Merlin（复杂的自我监督的机除），并表明它提供了一种培训各种深度掠夺的直接途径网络。由于特定于给定传感器和成像模式的SAR传输功能，使用Merlin培训的网络考虑了空间相关性。通过只需要一个图像，并且可能利用大型档案，Merlin将门打开了无忧无虑的机器，以及对机器网络的大规模培训。培训型号的代码是在https://gitlab.telecom-paris.fr/ring/mollin的。

实际图像的稀疏表示是成像应用的非常有效的方法，例如去噪。近年来，随着计算能力的增长，利用一个或多个图像提取的补丁内冗余的数据驱动策略，以增加稀疏性变得更加突出。本文提出了一种新颖的图像去噪算法，利用了由量子多体理论的图像依赖性的基础。基于补丁分析，通过类似于量子力学的术语来形式化局部图像邻域中的相似度测量，可以有效地保留真实图像的局部结构的量子力学中的相互作用。这种自适应基础的多功能性质将其应用范围扩展到图像无关或图像相关的噪声场景，而无需任何调整。我们对当代方法进行严格的比较，以证明所提出的算法的去噪能力，无论图像特征，噪声统计和强度如何。我们说明了超参数的特性及其对去噪性能的各自影响，以及自动化规则，可以在实验设置中选择其值的自动化规则，其实际设置不可用。最后，我们展示了我们对诸如医用超声图像检测应用等实际图像的方法处理实际图像的能力。

Light is a complex-valued field. The intensity and phase of the field are affected by imaged objects. However, imaging sensors measure only real-valued non-negative intensities. This results in a nonlinear relation between the measurements and the unknown imaged objects. Moreover, the sensor readouts are corrupted by Poissonian-distributed photon noise. In this work, we seek the most probable object (or clear image), given noisy measurements, that is, maximizing the a-posteriori probability of the sought variables. Hence, we generalize annealed Langevin dynamics, tackling fundamental challenges in optical imaging, including phase recovery and Poisson (photon) denoising. We leverage deep neural networks, not for explicit recovery of the imaged object, but as an approximate gradient for a prior term. We show results on empirical data, acquired by a real experiment. We further show results of simulations.