近年来,基于神经网络的深度恢复方法已实现了最先进的方法,从而导致了各种图像过度的任务。但是,基于深度学习的Deblurring网络的一个主要缺点是,训练需要大量模糊清洁图像对才能实现良好的性能。此外,当测试过程中的模糊图像和模糊内核与训练过程中使用的图像和模糊内核时,深层网络通常无法表现良好。这主要是因为网络参数在培训数据上过度拟合。在这项工作中,我们提出了一种解决这些问题的方法。我们将非盲图像脱毛问题视为一个脱氧问题。为此,我们在一对模糊图像上使用相应的模糊内核进行Wiener过滤。这导致一对具有彩色噪声的图像。因此,造成造成的问题被转化为一个降解问题。然后,我们在不使用明确的清洁目标图像的情况下解决了降解问题。进行了广泛的实验,以表明我们的方法取得了与最先进的非盲人脱毛作品相提并论的结果。
translated by 谷歌翻译
盲目解构是一种在各种田地中产生的不良问题,从显微镜到天文学。问题的不良性质需要足够的前沿到达理想的解决方案。最近,已经表明,深度学习架构可以用作在无监督盲卷积优化期间的图像生成,然而甚至在单个图像上也呈现性能波动。我们建议使用Wiener-Deconvolulation在优化期间通过从高斯开始使用辅助内核估计来指导图像发生器在优化期间。我们观察到与低频特征相比,通过延迟再现去卷积的高频伪影。另外,图像发生器从模糊图像的速度再现解码图像的低频特征。我们在约束的优化框架中嵌入计算过程,并表明该方法在多个数据集中产生更高的稳定性和性能。此外,我们提供代码。
translated by 谷歌翻译
在弱光环境下,手持式摄影在长时间的曝光设置下遭受了严重的相机震动。尽管现有的Deblurry算法在暴露良好的模糊图像上表现出了令人鼓舞的性能,但它们仍然无法应对低光快照。在实用的低光脱毛中,复杂的噪声和饱和区是两个主导挑战。在这项工作中,我们提出了一种称为图像的新型非盲脱毛方法,并具有特征空间Wiener Deonervolution网络(Infwide),以系统地解决这些问题。在算法设计方面,Infwide提出了一个两分支的架构,该体系结构明确消除了噪声并幻觉,使图像空间中的饱和区域抑制了特征空间中的响起文物,并将两个互补输出与一个微妙的多尺度融合网络集成在一起高质量的夜间照片浮雕。为了进行有效的网络培训,我们设计了一组损失功能,集成了前向成像模型和向后重建,以形成近环的正则化,以确保深神经网络的良好收敛性。此外,为了优化Infwide在实际弱光条件下的适用性,采用基于物理过程的低光噪声模型来合成现实的嘈杂夜间照片进行模型训练。利用传统的Wiener Deonervolution算法的身体驱动的特征并引起了深层神经网络的表示能力,Infwide可以恢复细节,同时抑制在脱毛期间的不愉快的人工制品。关于合成数据和实际数据的广泛实验证明了所提出的方法的出色性能。
translated by 谷歌翻译
Defocus Blur是大多数相机中使用的光学传感器的物理后果。尽管它可以用作摄影风格,但通常被视为图像降解,以形成模型的尖锐图像,并具有空间变化的模糊内核。在过去几年的模糊估计方法的推动下,我们提出了一种非盲方法来处理图像脱毛的方法,可以处理空间变化的核。我们介绍了两个编码器子网络网络,它们分别用模糊图像和估计的模糊图,并作为输出作为输出(Deconvolved)图像的输出。每个子网络都会呈现几个跳过连接,这些连接允许分开分开的数据传播,还可以通过划线跳过连接,以简化模块之间的通信。该网络经过合成的模糊内核训练,这些核被增强以模拟现有模糊估计方法产生的模糊图,我们的实验结果表明,当与多种模糊估计方法结合使用时,我们的方法很好地工作。
translated by 谷歌翻译
盲图修复(IR)是计算机视觉中常见但充满挑战的问题。基于经典模型的方法和最新的深度学习(DL)方法代表了有关此问题的两种不同方法,每种方法都有自己的优点和缺点。在本文中,我们提出了一种新颖的盲图恢复方法,旨在整合它们的两种优势。具体而言,我们为盲IR构建了一个普通的贝叶斯生成模型,该模型明确描绘了降解过程。在此提出的模型中,PICEL的非I.I.D。高斯分布用于适合图像噪声。它的灵活性比简单的I.I.D。在大多数常规方法中采用的高斯或拉普拉斯分布,以处理图像降解中包含的更复杂的噪声类型。为了解决该模型,我们设计了一个变异推理算法,其中所有预期的后验分布都被参数化为深神经网络,以提高其模型能力。值得注意的是,这种推论算法诱导统一的框架共同处理退化估计和图像恢复的任务。此外,利用了前一种任务中估计的降解信息来指导后一种红外过程。对两项典型的盲型IR任务进行实验,即图像降解和超分辨率,表明所提出的方法比当前最新的方法实现了卓越的性能。
translated by 谷歌翻译
图像恢复中的一个根本挑战是去噪,目标是从其嘈杂的测量中估计清洁图像。为了解决这种不良反对问题,现有的去噪方法通常专注于利用有效的自然图像前提。噪声模型的利用和分析通常被忽略,尽管噪声模型可以向去噪算法提供互补信息。在本文中,我们提出了一种新的流基的联合图像和噪声模型(Fino),其明显地与潜在空间中的图像和噪声分离,并且无损地通过一系列可逆的转换来重建它们。我们进一步提出了一种可变交换策略,以对准图像的结构信息和噪声相关矩阵,以基于空间最小化相关信息来限制噪声。实验结果表明,Fino去除合成添加剂白高斯噪声(AWGN)和真实噪音的能力。此外,铜的概括到除去空间变体噪声和具有不准确估计的噪声的噪声超越了大幅边缘的流行和最先进的方法。
translated by 谷歌翻译
非盲折叠是一个不良问题。大多数现有方法通常将该问题与最大-A-Bouthiori框架制定,并通过设计潜在清晰图像的类型的正则化术语和数据项来解决它。在本文中,我们通过学习鉴别性收缩函数来提出有效的非盲折叠方法来隐含地模拟这些术语。与使用深度卷积神经网络(CNNS)或径向基函数的大多数现有方法来说,我们简单地学习正则化术语,我们制定数据项和正则化术语,并将解构模型分成与数据相关和正则化相关的子 - 根据乘法器的交替方向方法问题。我们探讨了Maxout函数的属性,并使用颤扬层开发一个深入的CNN模型,以学习直接近似对这两个子问题的解决方案的判别缩小功能。此外,考虑到基于快速的傅里叶变换的图像恢复通常导致振铃伪像,而基于共轭梯度的图像恢复是耗时的,我们开发共轭梯度网络以有效且有效地恢复潜在的清晰图像。实验结果表明,该方法在效率和准确性方面对最先进的方法有利地执行。
translated by 谷歌翻译
在本文中,我们考虑了Defocus图像去缩合中的问题。以前的经典方法遵循两步方法,即首次散焦映射估计,然后是非盲目脱毛。在深度学习时代,一些研究人员试图解决CNN的这两个问题。但是,代表模糊级别的Defocus图的简单串联导致了次优性能。考虑到Defocus Blur的空间变体特性和Defocus Map中指示的模糊级别,我们采用Defocus Map作为条件指导来调整输入模糊图像而不是简单串联的特征。然后,我们提出了一个基于Defocus图的空间调制的简单但有效的网络。为了实现这一目标,我们设计了一个由三个子网络组成的网络,包括DeFocus Map估计网络,该网络将DeFocus Map编码为条件特征的条件网络以及根据条件功能执行空间动态调制的DeFocus Deblurring网络。此外,空间动态调制基于仿射变换函数,以调整输入模糊图像的特征。实验结果表明,与常用的公共测试数据集中的现有最新方法相比,我们的方法可以实现更好的定量和定性评估性能。
translated by 谷歌翻译
大多数现有的基于深度学习的单图像动态场景盲目脱毛(SIDSBD)方法通常设计深网络,以直接从一个输入的运动模糊图像中直接删除空间变化的运动模糊,而无需模糊的内核估计。在本文中,受投射运动路径模糊(PMPB)模型和可变形卷积的启发,我们提出了一个新颖的约束可变形的卷积网络(CDCN),以进行有效的单图像动态场景,同时实现了准确的空间变化,以及仅观察到的运动模糊图像的高质量图像恢复。在我们提出的CDCN中,我们首先构建了一种新型的多尺度多级多输入多输出(MSML-MIMO)编码器架构,以提高功能提取能力。其次,与使用多个连续帧的DLVBD方法不同,提出了一种新颖的约束可变形卷积重塑(CDCR)策略,其中首先将可变形的卷积应用于输入的单运动模糊图像的模糊特征,用于学习学习的抽样点,以学习学习的采样点每个像素的运动模糊内核类似于PMPB模型中摄像机震动的运动密度函数的估计,然后提出了一种基于PMPB的新型重塑损耗函数来限制学习的采样点收敛,这可以使得可以使得可以使其产生。学习的采样点与每个像素的相对运动轨迹匹配,并促进空间变化的运动模糊内核估计的准确性。
translated by 谷歌翻译
派生是一个重要而基本的计算机视觉任务,旨在消除在下雨天捕获的图像或视频中的雨条纹和累积。现有的派威方法通常会使雨水模型的启发式假设,这迫使它们采用复杂的优化或迭代细化以获得高回收质量。然而,这导致耗时的方法,并影响解决从假设偏离的雨水模式的有效性。在本文中,我们通过在没有复杂的雨水模型假设的情况下,通过在没有复杂的雨水模型假设的情况下制定污染作为预测滤波问题的简单而有效的污染方法。具体地,我们识别通过深网络自适应地预测适当的核的空间变型预测滤波(SPFILT以过滤不同的各个像素。由于滤波可以通过加速卷积来实现,因此我们的方法可以显着效率。我们进一步提出了eFderain +,其中包含三个主要贡献来解决残留的雨迹,多尺度和多样化的雨水模式而不会损害效率。首先,我们提出了不确定感知的级联预测滤波(UC-PFILT),其可以通过预测的内核来识别重建清洁像素的困难,并有效地移除残留的雨水迹线。其次,我们设计重量共享多尺度扩张过滤(WS-MS-DFILT),以处理多尺度雨条纹,而不会损害效率。第三,消除各种雨水模式的差距,我们提出了一种新颖的数据增强方法(即Rainmix)来培养我们的深层模型。通过对不同变体的复杂分析的所有贡献相结合,我们的最终方法在恢复质量和速度方面优于四个单像辐照数据集和一个视频派威数据集的基线方法。
translated by 谷歌翻译
大气湍流可以通过在大气折射索引中引起空间和时间随机的波动,从而显着降低远程成像系统获得的图像质量。折射率的变化导致捕获的图像几何扭曲和模糊。因此,重要的是要补偿由大气湍流引起的图像中的视觉降解。在本文中,我们提出了一种基于深度学习的方法,用于限制大气湍流降解的单个图像。我们利用基于蒙特卡洛辍学的认知不确定性来捕获网络很难恢复的图像中的区域。然后,使用估计的不确定性图来指导网络以获得还原图像。对合成图像和真实图像进行了广泛的实验,以显示拟议工作的重要性。代码可在以下网址找到:https://github.com/rajeevyasarla/at-net
translated by 谷歌翻译
Deconvolution is a widely used strategy to mitigate the blurring and noisy degradation of hyperspectral images~(HSI) generated by the acquisition devices. This issue is usually addressed by solving an ill-posed inverse problem. While investigating proper image priors can enhance the deconvolution performance, it is not trivial to handcraft a powerful regularizer and to set the regularization parameters. To address these issues, in this paper we introduce a tuning-free Plug-and-Play (PnP) algorithm for HSI deconvolution. Specifically, we use the alternating direction method of multipliers (ADMM) to decompose the optimization problem into two iterative sub-problems. A flexible blind 3D denoising network (B3DDN) is designed to learn deep priors and to solve the denoising sub-problem with different noise levels. A measure of 3D residual whiteness is then investigated to adjust the penalty parameters when solving the quadratic sub-problems, as well as a stopping criterion. Experimental results on both simulated and real-world data with ground-truth demonstrate the superiority of the proposed method.
translated by 谷歌翻译
Non-uniform blind deblurring for general dynamic scenes is a challenging computer vision problem as blurs arise not only from multiple object motions but also from camera shake, scene depth variation. To remove these complicated motion blurs, conventional energy optimization based methods rely on simple assumptions such that blur kernel is partially uniform or locally linear. Moreover, recent machine learning based methods also depend on synthetic blur datasets generated under these assumptions. This makes conventional deblurring methods fail to remove blurs where blur kernel is difficult to approximate or parameterize (e.g. object motion boundaries). In this work, we propose a multi-scale convolutional neural network that restores sharp images in an end-to-end manner where blur is caused by various sources. Together, we present multiscale loss function that mimics conventional coarse-to-fine approaches. Furthermore, we propose a new large-scale dataset that provides pairs of realistic blurry image and the corresponding ground truth sharp image that are obtained by a high-speed camera. With the proposed model trained on this dataset, we demonstrate empirically that our method achieves the state-of-the-art performance in dynamic scene deblurring not only qualitatively, but also quantitatively.
translated by 谷歌翻译
缺乏大规模嘈杂的图像对限制了监督的去噪方法在实际应用中部署。虽然现有无监督的方法能够在没有地面真理清洁图像的情况下学习图像去噪,但它们要么在不切实际的设置下表现出差或工作不佳(例如,配对嘈杂的图像)。在本文中,我们提出了一种实用的无监督图像去噪方法,以实现最先进的去噪性能。我们的方法只需要单一嘈杂的图像和噪声模型,可以在实际的原始图像去噪中轻松访问。它迭代地执行两个步骤:(1)构造具有来自噪声模型的随机噪声的噪声噪声数据集; (2)在噪声 - 嘈杂数据集上培训模型,并使用经过培训的模型来优化嘈杂的图像以获得下一轮中使用的目标。我们进一步近似我们的全迭代方法,具有快速算法,以实现更高效的培训,同时保持其原始高性能。实验对现实世界,合成和相关噪声的实验表明,我们提出的无监督的去噪方法具有卓越的现有无监督方法和具有监督方法的竞争性能。此外,我们认为现有的去噪数据集质量低,只包含少数场景。为了评估现实世界应用中的原始图像去噪表现,我们建立了一个高质量的原始图像数据集Sensenoise-500,包含500个现实生活场景。数据集可以作为更好地评估原始图像去噪的强基准。代码和数据集将在https://github.com/zhangyi-3/idr发布
translated by 谷歌翻译
荧光显微镜是促进生物医学研究发现的关键驱动力。但是,随着显微镜硬件的局限性和观察到的样品的特征,荧光显微镜图像易受噪声。最近,已经提出了一些自我监督的深度学习(DL)denoising方法。但是,现有方法的训练效率和降解性能在实际场景噪声中相对较低。为了解决这个问题,本文提出了自我监督的图像denoising方法噪声2SR(N2SR),以训练基于单个嘈杂观察的简单有效的图像Denoising模型。我们的noings2SR Denoising模型设计用于使用不同维度的配对嘈杂图像进行训练。从这种训练策略中受益,Noige2SR更有效地自我监督,能够从单个嘈杂的观察结果中恢复更多图像细节。模拟噪声和真实显微镜噪声的实验结果表明,噪声2SR优于两个基于盲点的自我监督深度学习图像Denoising方法。我们设想噪声2SR有可能提高更多其他类型的科学成像质量。
translated by 谷歌翻译
现有的视频denoising方法通常假设嘈杂的视频通过添加高斯噪声从干净的视频中降低。但是,经过这种降解假设训练的深层模型将不可避免地导致由于退化不匹配而导致的真实视频的性能差。尽管一些研究试图在摄像机捕获的嘈杂和无噪声视频对上训练深层模型,但此类模型只能对特定的相机很好地工作,并且对其他视频的推广不佳。在本文中,我们建议提高此限制,并专注于一般真实视频的问题,目的是在看不见的现实世界视频上概括。我们首先调查视频噪音的共同行为来解决这个问题,并观察两个重要特征:1)缩减有助于降低空间空间中的噪声水平; 2)来自相邻框架的信息有助于消除时间上的当前框架的噪声空间。在这两个观察结果的推动下,我们通过充分利用上述两个特征提出了多尺度的复发架构。其次,我们通过随机调整不同的噪声类型来训练Denoising模型来提出合成真实的噪声降解模型。借助合成和丰富的降解空间,我们的退化模型可以帮助弥合训练数据和现实世界数据之间的分布差距。广泛的实验表明,与现有方法相比,我们所提出的方法实现了最先进的性能和更好的概括能力,而在合成高斯denoising和实用的真实视频denoisising方面都具有现有方法。
translated by 谷歌翻译
基于预训练的深层模型的图像恢复方案由于解决各种反问题的独特灵活性,因此受到了极大的关注。尤其是,插件播放(PNP)框架是一种流行而强大的工具,可以将现成的深层Denoiser集成,以与已知的观察模型一起,以用于不同的图像恢复任务。但是,在实践中,获得与实际情况完全匹配的观察模型可能具有挑战性。因此,带有常规深地位者的PNP方案可能无法在某些现实世界图像恢复任务中产生令人满意的结果。我们认为,通过使用经过确定性优化训练的现成的深层DENOISER,PNP框架的鲁棒性在很大程度上受到限制。为此,我们提出了一种新颖的深钢筋学习(DRL),以称为Repnp的PNP框架,通过利用基于轻巧的DRL的DENOISER来制定可靠的图像恢复任务。实验结果表明,所提出的REPNP对与实际情况的PNP方案中使用的观察模型具有鲁棒性。因此,RepNP可以为图像脱张和超级分辨率任务生成更可靠的恢复结果。与几个最先进的深层图像恢复基线相比,RepNP可以通过更少的模型参数实现更好的模型偏差的结果。
translated by 谷歌翻译
Discriminative model learning for image denoising has been recently attracting considerable attentions due to its favorable denoising performance. In this paper, we take one step forward by investigating the construction of feed-forward denoising convolutional neural networks (DnCNNs) to embrace the progress in very deep architecture, learning algorithm, and regularization method into image denoising. Specifically, residual learning and batch normalization are utilized to speed up the training process as well as boost the denoising performance. Different from the existing discriminative denoising models which usually train a specific model for additive white Gaussian noise (AWGN) at a certain noise level, our DnCNN model is able to handle Gaussian denoising with unknown noise level (i.e., blind Gaussian denoising). With the residual learning strategy, DnCNN implicitly removes the latent clean image in the hidden layers. This property motivates us to train a single DnCNN model to tackle with several general image denoising tasks such as Gaussian denoising, single image super-resolution and JPEG image deblocking. Our extensive experiments demonstrate that our DnCNN model can not only exhibit high effectiveness in several general image denoising tasks, but also be efficiently implemented by benefiting from GPU computing.
translated by 谷歌翻译
Recent years have witnessed the unprecedented success of deep convolutional neural networks (CNNs) in single image super-resolution (SISR). However, existing CNN-based SISR methods mostly assume that a low-resolution (LR) image is bicubicly downsampled from a high-resolution (HR) image, thus inevitably giving rise to poor performance when the true degradation does not follow this assumption. Moreover, they lack scalability in learning a single model to nonblindly deal with multiple degradations. To address these issues, we propose a general framework with dimensionality stretching strategy that enables a single convolutional super-resolution network to take two key factors of the SISR degradation process, i.e., blur kernel and noise level, as input. Consequently, the super-resolver can handle multiple and even spatially variant degradations, which significantly improves the practicability. Extensive experimental results on synthetic and real LR images show that the proposed convolutional super-resolution network not only can produce favorable results on multiple degradations but also is computationally efficient, providing a highly effective and scalable solution to practical SISR applications.
translated by 谷歌翻译
受监管的基于学习的方法屈服于强大的去噪结果,但它们本质上受到大规模清洁/嘈杂配对数据集的需要。另一方面,使用无监督的脱言机需要更详细地了解潜在的图像统计数据。特别是,众所周知,在高频频带上,清洁和嘈杂的图像之间的表观差异是最突出的,证明使用低通滤波器作为传统图像预处理步骤的一部分。然而,基于大多数基于学习的去噪方法在不考虑频域信息的情况下仅利用来自空间域的片面信息。为了解决这一限制,在本研究中,我们提出了一种频率敏感的无监督去噪方法。为此,使用生成的对抗性网络(GaN)作为基础结构。随后,我们包括光谱鉴别器和频率重建损失,以将频率知识传输到发电机中。使用自然和合成数据集的结果表明,我们无监督的学习方法增强了频率信息,实现了最先进的去噪能力,表明频域信息可能是提高无监督基于学习的方法的整体性能的可行因素。
translated by 谷歌翻译