Because noise can interfere with downstream analysis, image denoising has come to occupy an important place in the image processing toolbox. The most accurate state-of-the-art denoisers typically train on a representative dataset. But gathering a training set is not always feasible, so interest has grown in blind zero-shot denoisers that train only on the image they are denoising. The most accurate blind-zero shot methods are blind-spot networks, which mask pixels and attempt to infer them from their surroundings. Other methods exist where all neurons participate in forward inference, however they are not as accurate and are susceptible to overfitting. Here we present a hybrid approach. We first introduce a semi blind-spot network where the network can see only a small percentage of inputs during gradient update. We then resolve overfitting by introducing a validation scheme where we split pixels into two groups and fill in pixel gaps using domino tilings. Our method achieves an average PSNR increase of $0.28$ and a three fold increase in speed over the current gold standard blind zero-shot denoiser Self2Self on synthetic Gaussian noise. We demonstrate the broader applicability of Pixel Domino Tiling by inserting it into a preciously published method.

图像去噪是许多领域下游任务的先决条件。低剂量和光子计数计算断层扫描（CT）去噪可以在最小化辐射剂量下优化诊断性能。监督深层去噪方法是流行的，但需要成对的清洁或嘈杂的样本通常在实践中不可用。受独立噪声假设的限制，电流无监督的去噪方法不能处理与CT图像中的相关噪声。在这里，我们提出了一种基于类似的类似性的无人监督的无监督的深度去噪方法，称为Coxing2Sim，以非局部和非线性方式起作用，不仅抑制独立而且还具有相关的噪音。从理论上讲，噪声2SIM在温和条件下渐近相当于监督学习方法。通过实验，Nosie2SIM从嘈杂的低剂量CT和光子计数CT图像中的内在特征，从视觉上，定量和统计上有效地或甚至优于实际数据集的监督学习方法。 Coke2Sim是一般无监督的去噪方法，在不同的应用中具有很大的潜力。

通过最近基于深度学习的方法显示出令人鼓舞的结果，可以消除图像中的噪音，在有监督的学习设置中报道了最佳的降级性能，该设置需要大量的配对嘈杂图像和训练的基础真相。强大的数据需求可以通过无监督的学习技术来减轻，但是，对于高质量的解决方案，图像或噪声方差的准确建模仍然至关重要。对于未知的噪声分布而言，学习问题不足。本文研究了单个联合学习框架中图像降解和噪声方差估计的任务。为了解决问题的不良性，我们提出了深度差异先验（DVP），该差异指出，适当学到的DeNoiser在噪声变化方面的变化满足了一些平滑度的特性，这是良好DeNoiser的关键标准。建立在DVP的基础上，这是一个无监督的深度学习框架，同时学习了Denoiser并估算了噪声差异。我们的方法不需要任何干净的训练图像或噪声估计的外部步骤，而是仅使用一组嘈杂的图像近似于最小平方误差Denoisiser。在一个框架中考虑了两个基本任务，我们允许它们相互优化。实验结果表明，具有与监督的学习和准确的噪声方差估计值相当的质量。

我们在并行计算机架构上的图像的自适应粒子表示（APR）上的离散卷积运算符的本机实现数据结构和算法。 APR是一个内容 - 自适应图像表示，其本地地将采样分辨率局部调整到图像信号。已经开发为大，稀疏图像的像素表示的替代方案，因为它们通常在荧光显微镜中发生。已经显示出降低存储，可视化和处理此类图像的存储器和运行时成本。然而，这要求图像处理本身在APRS上运行，而无需中间恢复为像素。然而，设计高效和可扩展的APR-Native图像处理原语是APR的不规则内存结构的复杂性。这里，我们提供了使用可以在离散卷积方面配制的各种算法有效和本地地处理APR图像所需的算法建筑块。我们表明APR卷积自然地导致缩放 - 自适应算法，可在多核CPU和GPU架构上有效地平行化。与基于像素的算法和概念性数据的卷积相比，我们量化了加速度。我们在单个NVIDIA GeForce RTX 2080 Gaming GPU上实现了最多1 TB / s的像素等效吞吐量，而不是基于像素的实现的存储器最多两个数量级。

图像增强方法通常假定噪声是无关的，并且将降解模型近似为零均值的加性高斯。但是，这种假设不适合生物医学成像系统，在生物医学成像系统中，基于传感器的噪声源与信号强度成正比，并且噪声更好地表示为泊松过程。在这项工作中，我们探讨了一种基于词典学习的方法，并提出了一种新颖的自我监督学习方法，用于单像denoising，其中噪声近似为泊松过程，不需要干净的地面真实数据。具体而言，我们近似于通过反复的神经网络进行图像降级的传统迭代优化算法，该神经网络可实现相对于网络的权重的稀疏性。由于稀疏表示形式基于基础图像，因此它能够抑制图像贴片中的虚假组件（噪声），从而引入隐式正则化，以通过网络结构来降级任务。在两个生物成像数据集上的实验表明，我们的方法在PSNR和SSIM方面优于最先进的方法。我们的定性结果表明，除了在标准定量指标上进行更高的性能外，我们还能够比其他比较方法恢复更多的细节。我们的代码可在https://github.com/tacalvin/poisson2sparse上公开提供。

缺乏大规模嘈杂的图像对限制了监督的去噪方法在实际应用中部署。虽然现有无监督的方法能够在没有地面真理清洁图像的情况下学习图像去噪，但它们要么在不切实际的设置下表现出差或工作不佳（例如，配对嘈杂的图像）。在本文中，我们提出了一种实用的无监督图像去噪方法，以实现最先进的去噪性能。我们的方法只需要单一嘈杂的图像和噪声模型，可以在实际的原始图像去噪中轻松访问。它迭代地执行两个步骤：（1）构造具有来自噪声模型的随机噪声的噪声噪声数据集; （2）在噪声 - 嘈杂数据集上培训模型，并使用经过培训的模型来优化嘈杂的图像以获得下一轮中使用的目标。我们进一步近似我们的全迭代方法，具有快速算法，以实现更高效的培训，同时保持其原始高性能。实验对现实世界，合成和相关噪声的实验表明，我们提出的无监督的去噪方法具有卓越的现有无监督方法和具有监督方法的竞争性能。此外，我们认为现有的去噪数据集质量低，只包含少数场景。为了评估现实世界应用中的原始图像去噪表现，我们建立了一个高质量的原始图像数据集Sensenoise-500，包含500个现实生活场景。数据集可以作为更好地评估原始图像去噪的强基准。代码和数据集将在https://github.com/zhangyi-3/idr发布

荧光显微镜是促进生物医学研究发现的关键驱动力。但是，随着显微镜硬件的局限性和观察到的样品的特征，荧光显微镜图像易受噪声。最近，已经提出了一些自我监督的深度学习（DL）denoising方法。但是，现有方法的训练效率和降解性能在实际场景噪声中相对较低。为了解决这个问题，本文提出了自我监督的图像denoising方法噪声2SR（N2SR），以训练基于单个嘈杂观察的简单有效的图像Denoising模型。我们的noings2SR Denoising模型设计用于使用不同维度的配对嘈杂图像进行训练。从这种训练策略中受益，Noige2SR更有效地自我监督，能够从单个嘈杂的观察结果中恢复更多图像细节。模拟噪声和真实显微镜噪声的实验结果表明，噪声2SR优于两个基于盲点的自我监督深度学习图像Denoising方法。我们设想噪声2SR有可能提高更多其他类型的科学成像质量。

在弱光环境下，手持式摄影在长时间的曝光设置下遭受了严重的相机震动。尽管现有的Deblurry算法在暴露良好的模糊图像上表现出了令人鼓舞的性能，但它们仍然无法应对低光快照。在实用的低光脱毛中，复杂的噪声和饱和区是两个主导挑战。在这项工作中，我们提出了一种称为图像的新型非盲脱毛方法，并具有特征空间Wiener Deonervolution网络（Infwide），以系统地解决这些问题。在算法设计方面，Infwide提出了一个两分支的架构，该体系结构明确消除了噪声并幻觉，使图像空间中的饱和区域抑制了特征空间中的响起文物，并将两个互补输出与一个微妙的多尺度融合网络集成在一起高质量的夜间照片浮雕。为了进行有效的网络培训，我们设计了一组损失功能，集成了前向成像模型和向后重建，以形成近环的正则化，以确保深神经网络的良好收敛性。此外，为了优化Infwide在实际弱光条件下的适用性，采用基于物理过程的低光噪声模型来合成现实的嘈杂夜间照片进行模型训练。利用传统的Wiener Deonervolution算法的身体驱动的特征并引起了深层神经网络的表示能力，Infwide可以恢复细节，同时抑制在脱毛期间的不愉快的人工制品。关于合成数据和实际数据的广泛实验证明了所提出的方法的出色性能。

Deconvolution is a widely used strategy to mitigate the blurring and noisy degradation of hyperspectral images~(HSI) generated by the acquisition devices. This issue is usually addressed by solving an ill-posed inverse problem. While investigating proper image priors can enhance the deconvolution performance, it is not trivial to handcraft a powerful regularizer and to set the regularization parameters. To address these issues, in this paper we introduce a tuning-free Plug-and-Play (PnP) algorithm for HSI deconvolution. Specifically, we use the alternating direction method of multipliers (ADMM) to decompose the optimization problem into two iterative sub-problems. A flexible blind 3D denoising network (B3DDN) is designed to learn deep priors and to solve the denoising sub-problem with different noise levels. A measure of 3D residual whiteness is then investigated to adjust the penalty parameters when solving the quadratic sub-problems, as well as a stopping criterion. Experimental results on both simulated and real-world data with ground-truth demonstrate the superiority of the proposed method.

在这项工作中，我们研究了非盲目图像解卷积的问题，并提出了一种新的经常性网络架构，其导致高图像质量的竞争性恢复结果。通过现有大规模线性求解器的计算效率和稳健性的推动，我们设法将该问题的解决方案表达为一系列自适应非负数最小二乘问题的解决方案。这引发了我们提出的复发性最小二乘因解网络（RLSDN）架构，其包括在其输入和输出之间施加线性约束的隐式层。通过设计，我们的网络管理以同时服务两个重要的目的。首先，它隐含地模拟了可以充分表征这组自然图像的有效图像，而第二种是它恢复相应的最大后验（MAP）估计。近期最先进的方法的公开数据集的实验表明，我们提出的RLSDN方法可以实现所有测试方案的灰度和彩色图像的最佳报告性能。此外，我们介绍了一种新颖的培训策略，可以通过任何网络架构采用，这些架构涉及线性系统作为其管道的一部分的解决方案。我们的策略完全消除了线性求解器所需迭代的需要，因此，它在训练期间显着降低了内存占用。因此，这使得能够培训更深的网络架构，这可以进一步提高重建结果。

We introduce a parametric view of non-local two-step denoisers, for which BM3D is a major representative, where quadratic risk minimization is leveraged for unsupervised optimization. Within this paradigm, we propose to extend the underlying mathematical parametric formulation by iteration. This generalization can be expected to further improve the denoising performance, somehow curbed by the impracticality of repeating the second stage for all two-step denoisers. The resulting formulation involves estimating an even larger amount of parameters in a unsupervised manner which is all the more challenging. Focusing on the parameterized form of NL-Ridge, the simplest but also most efficient non-local two-step denoiser, we propose a progressive scheme to approximate the parameters minimizing the risk. In the end, the denoised images are made up of iterative linear combinations of patches. Experiments on artificially noisy images but also on real-world noisy images demonstrate that our method compares favorably with the very best unsupervised denoisers such as WNNM, outperforming the recent deep-learning-based approaches, while being much faster.

在没有任何额外的训练数据的情况下，对计算机视觉中的逆问题显示出显着的潜力，展示了显着的潜力。实用的DIP型号通常很大程度上过分分开。在拟合过程中，这些模型首先学习所需的视觉内容，然后拾取潜在的建模和观察噪声，即过度装箱。因此，DIP的实用性通常在恢复过渡期的良好早期停止（ES）上批判密地取决于统治性。在这方面，愿景任务的大多数DIP工程只展示了模型的潜力 - 向地面真理报告峰值性能，但没有关于如何在没有访问地面的情况下可操作地获得近峰值性能的线索。在本文中，我们设定了破坏了这种倾向的实用屏障，并提出了一种有效的ES策略，该策略一致地检测多个视觉任务和DIP变体的近峰值性能。基于连续DIP重建的分散的简单测量，我们的es方法不仅会在现有的域中突破 - 这仅在非常窄的域中工作，而且在与许多尝试减轻过度装备的方法时也保持有效。该代码可在https://github.com/sun-umn/early_stopping_for_dip中找到。

在过去的几年中，未配对的图像DeNoising取得了有希望的发展。无论表现如何，方法都倾向于严重依赖潜在的噪声属性或任何并不总是实用的假设。另外，如果我们可以从结构的角度而不是噪声统计数据解决问题，那么我们可以实现更强大的解决方案。通过这种动机，我们提出了一个自制的剥夺计划，该计划是不成功的，依赖于空间降解，然后进行正规化的精炼。我们的方法比以前的方法显示出显着改善，并且在不同的数据域上表现出一致的性能。

在计算机视觉和邻近字段中，已广泛研究了盲图片脱毛（BID）。投标的现代方法可以分为两类：使用统计推断和数值优化处理单个实例的单个实体方法，以及数据驱动的方法，这些方法可以直接训练深度学习模型来直接删除未来实例。数据驱动的方法可以摆脱得出准确的模型模型的困难，但从根本上受到培训数据的多样性和质量的限制 - 收集足够表达和现实的培训数据是一个坚定的挑战。在本文中，我们专注于保持竞争力和必不可少的单一稳定方法。但是，大多数此类方法没有规定如何处理未知内核大小和实质性噪音，从而排除了实际部署。实际上，我们表明，当核大小被明确指定时，几种最新的（SOTA）单位方法是不稳定的，并且/或噪声水平很高。从积极的一面来看，我们提出了一种实用的出价方法，该方法对这两者都是稳定的，这是同类的。我们的方法建立在最新的思想，即通过整合物理模型和结构深度神经网络而没有额外的培训数据来解决反问题。我们引入了几种关键修改以实现所需的稳定性。与SOTA单位结构以及数据驱动的方法相比，对标准合成数据集以及现实世界中的NTIRE2020和REALBLUR数据集进行了广泛的经验测试。我们方法的代码可在：\ url {https://github.com/sun-unm/blind-image-deblurring}中获得。

由智能手机和中端相机捕获的照片的空间分辨率和动态范围有限，在饱和区域中未充满刺激的区域和颜色人工制品中的嘈杂响应。本文介绍了第一种方法（据我们所知），以重建高分辨率，高动态范围的颜色图像，这些颜色来自带有曝光括号的手持相机捕获的原始照相爆发。该方法使用图像形成的物理精确模型来结合迭代优化算法，用于求解相应的逆问题和学习的图像表示，以进行健壮的比对，并以前的自然图像。所提出的算法很快，与基于最新的学习图像恢复方法相比，内存需求较低，并且从合成但逼真的数据终止学习的特征。广泛的实验证明了其出色的性能，具有最多$ \ times 4 $的超分辨率因子在野外拍摄的带有手持相机的真实照片，以及对低光条件，噪音，摄像机摇动和中等物体运动的高度鲁棒性。

地震数据中的噪声来自许多来源，并且正在不断发展。使用监督的深度学习程序来降级地震数据集通常会导致性能差：这是由于缺乏无噪声的现场数据来充当训练目标以及合成数据集和现场数据集之间特性的巨大差异。自我监督，盲点网络通常通过直接在原始嘈杂的数据上训练来克服这些限制。但是，这样的网络通常依赖于随机噪声假设，并且在存在最小相关的噪声的情况下，它们的降解能力迅速降低。从盲点延伸到盲面可以有效地沿特定方向抑制连贯的噪声，但不能适应噪声的不断变化的特性。为了抢占网络预测信号并减少其学习噪声属性的机会的能力，我们在以自欺欺人的方式进行微调的方式，在节俭生成的合成数据集上对网络进行初始监督的培训。感兴趣的数据集。考虑到峰值信噪比的变化以及观察到的噪声量减少和信号泄漏的体积，我们说明了从监督的基础训练中的权重来初始化自我监督网络的明显好处。通过在字段数据集上进行的测试进一步支持，在该数据集中进行了微调网络在信号保存和降低噪声之间达到最佳平衡。最后，使用不切实际的，节俭生成的合成数据集用于监督的基础培训包括许多好处：需要最少的先验地质知识，大大降低了数据集生成的计算成本，并减少了重新训练的要求。网络应记录条件更改，仅举几例。

Neural networks have recently allowed solving many ill-posed inverse problems with unprecedented performance. Physics informed approaches already progressively replace carefully hand-crafted reconstruction algorithms in real applications. However, these networks suffer from a major defect: when trained on a given forward operator, they do not generalize well to a different one. The aim of this paper is twofold. First, we show through various applications that training the network with a family of forward operators allows solving the adaptivity problem without compromising the reconstruction quality significantly. Second, we illustrate that this training procedure allows tackling challenging blind inverse problems. Our experiments include partial Fourier sampling problems arising in magnetic resonance imaging (MRI), computerized tomography (CT) and image deblurring.

仅使用少量数据学习神经网络是一个重要的研究主题，具有巨大的应用潜力。在本文中，我们介绍了基于归一化流量的成像中反问题的变异建模的常规化器。我们的常规器称为PatchNR，涉及在很少的图像的贴片上学习的正常流。特别是，培训独立于考虑的逆问题，因此可以将相同的正规化程序用于在同一类图像上作用的不同前向操作员。通过研究斑块的分布与整个图像类别的分布，我们证明我们的变分模型确实是一种地图方法。如果有其他监督信息，我们的模型可以推广到有条件的补丁。材料图像和低剂量或限量角度计算机断层扫描（CT）的层分辨率的数值示例表明，我们的方法在具有相似假设的方法之间提供了高质量的结果，但仅需要很少的数据。

Discriminative model learning for image denoising has been recently attracting considerable attentions due to its favorable denoising performance. In this paper, we take one step forward by investigating the construction of feed-forward denoising convolutional neural networks (DnCNNs) to embrace the progress in very deep architecture, learning algorithm, and regularization method into image denoising. Specifically, residual learning and batch normalization are utilized to speed up the training process as well as boost the denoising performance. Different from the existing discriminative denoising models which usually train a specific model for additive white Gaussian noise (AWGN) at a certain noise level, our DnCNN model is able to handle Gaussian denoising with unknown noise level (i.e., blind Gaussian denoising). With the residual learning strategy, DnCNN implicitly removes the latent clean image in the hidden layers. This property motivates us to train a single DnCNN model to tackle with several general image denoising tasks such as Gaussian denoising, single image super-resolution and JPEG image deblocking. Our extensive experiments demonstrate that our DnCNN model can not only exhibit high effectiveness in several general image denoising tasks, but also be efficiently implemented by benefiting from GPU computing.

近年来，基于神经网络的深度恢复方法已实现了最先进的方法，从而导致了各种图像过度的任务。但是，基于深度学习的Deblurring网络的一个主要缺点是，训练需要大量模糊清洁图像对才能实现良好的性能。此外，当测试过程中的模糊图像和模糊内核与训练过程中使用的图像和模糊内核时，深层网络通常无法表现良好。这主要是因为网络参数在培训数据上过度拟合。在这项工作中，我们提出了一种解决这些问题的方法。我们将非盲图像脱毛问题视为一个脱氧问题。为此，我们在一对模糊图像上使用相应的模糊内核进行Wiener过滤。这导致一对具有彩色噪声的图像。因此，造成造成的问题被转化为一个降解问题。然后，我们在不使用明确的清洁目标图像的情况下解决了降解问题。进行了广泛的实验，以表明我们的方法取得了与最先进的非盲人脱毛作品相提并论的结果。