大气湍流可以通过在大气折射索引中引起空间和时间随机的波动,从而显着降低远程成像系统获得的图像质量。折射率的变化导致捕获的图像几何扭曲和模糊。因此,重要的是要补偿由大气湍流引起的图像中的视觉降解。在本文中,我们提出了一种基于深度学习的方法,用于限制大气湍流降解的单个图像。我们利用基于蒙特卡洛辍学的认知不确定性来捕获网络很难恢复的图像中的区域。然后,使用估计的不确定性图来指导网络以获得还原图像。对合成图像和真实图像进行了广泛的实验,以显示拟议工作的重要性。代码可在以下网址找到:https://github.com/rajeevyasarla/at-net
translated by 谷歌翻译
尽管许多远程成像系统旨在支持扩展视力应用,但由于大气湍流,其操作的自然障碍是退化。大气湍流通过引入模糊和几何变形而导致图像质量的显着降解。近年来,在文献中提出了各种基于深度学习的单图像缓解方法,包括基于CNN的基于CNN和基于GAN的反转方法,这些方法试图消除图像中的失真。但是,其中一些方法很难训练,并且通常无法重建面部特征并产生不切实际的结果,尤其是在高湍流的情况下。降级扩散概率模型(DDPM)最近由于其稳定的训练过程和产生高质量图像的能力而获得了一些吸引力。在本文中,我们提出了第一个基于DDPM的解决方案,用于缓解大气湍流问题。我们还提出了一种快速采样技术,用于减少条件DDPM的推理时间。对合成和现实世界数据进行了广泛的实验,以显示我们模型的重要性。为了促进进一步的研究,在审查过程之后,所有代码和验证的模型都将公开。
translated by 谷歌翻译
已知大气湍流的图像恢复算法对设计比模糊或噪声等传统湍流更具挑战性,因为湍流引起的失真是空间变化的模糊,几何变形,传感器噪声的纠缠。现有的基于CNN的恢复方法建立在具有静态重量的卷积内核上,不足以处理空间动态的大气湍流效果。为了解决这个问题,在本文中,我们提出了一个以物理启发的变压器模型,用于通过大气湍流进行成像。提出的网络利用变压器块的功率共同提取动态湍流失真图并恢复无湍流图像。此外,我们认识到缺乏全面的数据集,我们收集并介绍了两个新的现实世界湍流数据集,这些数据集允许使用经典目标指标(例如PSNR和SSIM)进行评估,并使用文本识别精度进行了新的任务驱动指标。实际测试集和所有相关代码都将公开可用。
translated by 谷歌翻译
由于大气湍流的扭曲而恢复图像是一个长期存在的问题,这是由于变形的空间变化,图像形成过程的非线性以及训练和测试数据的稀缺性。现有方法通常在失真模型上具有强大的统计假设,在许多情况下,由于没有概括,因此在现实世界中的性能有限。为了克服挑战,本文提出了一种端到端物理驱动的方法,该方法有效,可以推广到现实世界的湍流。在数据合成方面,我们通过通过宽sense式的平稳性近似随机场来显着增加SOTA湍流模拟器可以处理的图像分辨率。新的数据合成过程使大规模的多级湍流和训练的地面真相对产生。在网络设计方面,我们提出了湍流缓解变压器(TMT),这是一个两级U-NET形状的多帧恢复网络,该网络具有Noval有效的自发机制,称为暂时通道关节关注(TCJA)。我们还引入了一种新的培训方案,该方案由新的模拟器启用,并设计新的变压器单元以减少内存消耗。在静态场景和动态场景上的实验结果是有希望的,包括各种真实的湍流场景。
translated by 谷歌翻译
最近,基于深度学习的图像降级方法在测试数据上具有与训练集相同的测试数据的有希望的性能,在该数据中,已经学习了基于合成或收集的现实世界训练数据的各种denoising模型。但是,在处理真实世界的嘈杂图像时,Denoising的性能仍然受到限制。在本文中,我们提出了一种简单而有效的贝叶斯深集合(BDE)方法,用于真实世界图像denoising,其中可以融合使用各种训练数据设置进行预训练的几位代表性的深层Denoiser,以提高稳健性。 BDE的基础是,现实世界的图像噪声高度取决于信号依赖性,并且在现实世界中的嘈杂图像中的异质噪声可以由不同的Deoisiser分别处理。特别是,我们将受过良好训练的CBDNET,NBNET,HINET,UFORFORMER和GMSNET进入Denoiser池,并采用U-NET来预测Pixel的加权图以融合这些DeOisiser。引入了贝叶斯深度学习策略,而不是仅仅学习像素的加权地图,而是为了预测加权不确定性和加权图,可以通过该策略来建模预测差异,以改善现实世界中的嘈杂图像的鲁棒性。广泛的实验表明,可以通过融合现有的DINOISER而不是训练一个以昂贵的成本来训练一个大的Denoiser来更好地消除现实世界的噪音。在DND数据集上,我们的BDE实现了 +0.28〜dB PSNR的增益,而不是最先进的denoising方法。此外,我们注意到,在应用于现实世界嘈杂的图像时,基于不同高斯噪声水平的BDE Denoiser优于最先进的CBDNET。此外,我们的BDE可以扩展到其他图像恢复任务,并在基准数据集上获得 +0.30dB, +0.18dB和 +0.12dB PSNR的收益,以分别用于图像去除图像,图像降低和单个图像超级分辨率。
translated by 谷歌翻译
在许多远程成像的应用中,我们面临的情景,其中出现在捕获的图像中的人通常被大气湍流降级。然而,由于劣化使图像成为几何扭曲和模糊,因此恢复用于面部验证的这种降级的图像是困难的。为了减轻湍流效果,本文提出了第一种湍流缓解方法,该方法利用培训的GaN封装的视觉前沿。基于视觉前沿,我们建议学习在空间周期性上下文距离上保留恢复图像的身份。在考虑网络学习中的身份差异时,这种距离可以保持来自GaN的恢复图像的现实主义。另外,提出了通过在没有身份变化的情况下引入更多外观方差来促进身份保留学习的分层伪连接。广泛的实验表明,我们的方法在恢复结果的视觉质量和面部验证准确性中显着优于现有技术。
translated by 谷歌翻译
Defocus Blur是大多数相机中使用的光学传感器的物理后果。尽管它可以用作摄影风格,但通常被视为图像降解,以形成模型的尖锐图像,并具有空间变化的模糊内核。在过去几年的模糊估计方法的推动下,我们提出了一种非盲方法来处理图像脱毛的方法,可以处理空间变化的核。我们介绍了两个编码器子网络网络,它们分别用模糊图像和估计的模糊图,并作为输出作为输出(Deconvolved)图像的输出。每个子网络都会呈现几个跳过连接,这些连接允许分开分开的数据传播,还可以通过划线跳过连接,以简化模块之间的通信。该网络经过合成的模糊内核训练,这些核被增强以模拟现有模糊估计方法产生的模糊图,我们的实验结果表明,当与多种模糊估计方法结合使用时,我们的方法很好地工作。
translated by 谷歌翻译
近年来,基于神经网络的深度恢复方法已实现了最先进的方法,从而导致了各种图像过度的任务。但是,基于深度学习的Deblurring网络的一个主要缺点是,训练需要大量模糊清洁图像对才能实现良好的性能。此外,当测试过程中的模糊图像和模糊内核与训练过程中使用的图像和模糊内核时,深层网络通常无法表现良好。这主要是因为网络参数在培训数据上过度拟合。在这项工作中,我们提出了一种解决这些问题的方法。我们将非盲图像脱毛问题视为一个脱氧问题。为此,我们在一对模糊图像上使用相应的模糊内核进行Wiener过滤。这导致一对具有彩色噪声的图像。因此,造成造成的问题被转化为一个降解问题。然后,我们在不使用明确的清洁目标图像的情况下解决了降解问题。进行了广泛的实验,以表明我们的方法取得了与最先进的非盲人脱毛作品相提并论的结果。
translated by 谷歌翻译
使用注意机制的深度卷积神经网络(CNN)在动态场景中取得了巨大的成功。在大多数这些网络中,只能通过注意图精炼的功能传递到下一层,并且不同层的注意力图彼此分开,这并不能充分利用来自CNN中不同层的注意信息。为了解决这个问题,我们引入了一种新的连续跨层注意传播(CCLAT)机制,该机制可以利用所有卷积层的分层注意信息。基于CCLAT机制,我们使用非常简单的注意模块来构建一个新型残留的密集注意融合块(RDAFB)。在RDAFB中,从上述RDAFB的输出中推断出的注意图和每一层直接连接到后续的映射,从而导致CRLAT机制。以RDAFB为基础,我们为动态场景Deblurring设计了一个名为RDAFNET的有效体系结构。基准数据集上的实验表明,所提出的模型的表现优于最先进的脱毛方法,并证明了CCLAT机制的有效性。源代码可在以下网址提供:https://github.com/xjmz6/rdafnet。
translated by 谷歌翻译
非盲折叠是一个不良问题。大多数现有方法通常将该问题与最大-A-Bouthiori框架制定,并通过设计潜在清晰图像的类型的正则化术语和数据项来解决它。在本文中,我们通过学习鉴别性收缩函数来提出有效的非盲折叠方法来隐含地模拟这些术语。与使用深度卷积神经网络(CNNS)或径向基函数的大多数现有方法来说,我们简单地学习正则化术语,我们制定数据项和正则化术语,并将解构模型分成与数据相关和正则化相关的子 - 根据乘法器的交替方向方法问题。我们探讨了Maxout函数的属性,并使用颤扬层开发一个深入的CNN模型,以学习直接近似对这两个子问题的解决方案的判别缩小功能。此外,考虑到基于快速的傅里叶变换的图像恢复通常导致振铃伪像,而基于共轭梯度的图像恢复是耗时的,我们开发共轭梯度网络以有效且有效地恢复潜在的清晰图像。实验结果表明,该方法在效率和准确性方面对最先进的方法有利地执行。
translated by 谷歌翻译
在本文中,我们研究了现实世界图像脱毛的问题,并考虑了改善深度图像脱布模型的性能的两个关键因素,即培训数据综合和网络体系结构设计。经过现有合成数据集训练的脱毛模型在由于域移位引起的真实模糊图像上的表现较差。为了减少合成和真实域之间的域间隙,我们提出了一种新颖的现实模糊合成管道来模拟摄像机成像过程。由于我们提出的合成方法,可以使现有的Deblurring模型更强大,以处理现实世界的模糊。此外,我们开发了一个有效的脱蓝色模型,该模型同时捕获特征域中的非本地依赖性和局部上下文。具体而言,我们将多路径变压器模块介绍给UNET架构,以进行丰富的多尺度功能学习。在三个现实世界数据集上进行的全面实验表明,所提出的Deblurring模型的性能优于最新方法。
translated by 谷歌翻译
在文献中,粗细或缩放 - 重复性方法是从其低分辨率版本逐步恢复清洁图像,已成功用于单图像去孔。然而,现有方法的主要缺点是需要配对数据;即夏普尔图像对同一场景,这是一种复杂和繁琐的采集程序。此外,由于对损耗功能的强烈监督,此类网络的预先训练模型对训练期间的模糊强烈偏向,并且在推理时间内的新模糊内核面对时倾向于提供子最佳性能。为了解决上述问题,我们使用秤 - 自适应注意模块(Saam)提出了无监督的域特定的去孔。我们的网络不需要监督对进行训练,并且防夹机制主要由逆势丢失引导,从而使我们的网络适用于模糊功能的分布。给定模糊的输入图像,在训练期间我们的模型中使用相同图像的不同分辨率,Saam允许在整个分辨率上有效的信息流。对于特定规模的网络培训,Saam作为当前规模的函数参加较低的尺度功能。不同的消融研究表明,我们的粗细机制优于端到端无监督的模型,而Saam能够与文学中使用的注意力相比更好地参加。定性和定量比较(在无参考度量标准)表明我们的方法优于现有无监督的方法。
translated by 谷歌翻译
Image restoration under hazy weather condition, which is called single image dehazing, has been of significant interest for various computer vision applications. In recent years, deep learning-based methods have achieved success. However, existing image dehazing methods typically neglect the hierarchy of features in the neural network and fail to exploit their relationships fully. To this end, we propose an effective image dehazing method named Hierarchical Contrastive Dehazing (HCD), which is based on feature fusion and contrastive learning strategies. HCD consists of a hierarchical dehazing network (HDN) and a novel hierarchical contrastive loss (HCL). Specifically, the core design in the HDN is a Hierarchical Interaction Module, which utilizes multi-scale activation to revise the feature responses hierarchically. To cooperate with the training of HDN, we propose HCL which performs contrastive learning on hierarchically paired exemplars, facilitating haze removal. Extensive experiments on public datasets, RESIDE, HazeRD, and DENSE-HAZE, demonstrate that HCD quantitatively outperforms the state-of-the-art methods in terms of PSNR, SSIM and achieves better visual quality.
translated by 谷歌翻译
Face Restoration (FR) aims to restore High-Quality (HQ) faces from Low-Quality (LQ) input images, which is a domain-specific image restoration problem in the low-level computer vision area. The early face restoration methods mainly use statistic priors and degradation models, which are difficult to meet the requirements of real-world applications in practice. In recent years, face restoration has witnessed great progress after stepping into the deep learning era. However, there are few works to study deep learning-based face restoration methods systematically. Thus, this paper comprehensively surveys recent advances in deep learning techniques for face restoration. Specifically, we first summarize different problem formulations and analyze the characteristic of the face image. Second, we discuss the challenges of face restoration. Concerning these challenges, we present a comprehensive review of existing FR methods, including prior based methods and deep learning-based methods. Then, we explore developed techniques in the task of FR covering network architectures, loss functions, and benchmark datasets. We also conduct a systematic benchmark evaluation on representative methods. Finally, we discuss future directions, including network designs, metrics, benchmark datasets, applications,etc. We also provide an open-source repository for all the discussed methods, which is available at https://github.com/TaoWangzj/Awesome-Face-Restoration.
translated by 谷歌翻译
在遥感,图像或视频检索中捕获的图像在现实世界中捕获,室外监视受到天气不良的质量降低质量。雨水和薄雾等条件引入文物,使视觉分析具有挑战性并限制高级计算机视觉方法的性能。对于需要快速响应的时间临界应用,开发自动去除降​​雨的算法至关重要,而不会降低图像内容的质量。本文旨在开发一种新型的四个季节多阶段多尺度神经网络,该神经网络具有一个称为QSAM-NET的自我发场模块,以消除雨条。该算法的新颖性在于,在先前的方法上,它需要更少的参数为3.98,同时提高视觉质量。这是通过对合成和现实世界图像的广泛评估和基准测试来证明的。 QSAM-NET的此功能使网络适合在边缘设备和需要接近实时性能的应用程序上实现。实验表明,通过提高图像的视觉质量来表明。此外,对象检测准确性和训练速度也得到提高。
translated by 谷歌翻译
盲面修复(BFR)旨在从相应的低质量(LQ)输入中构建高质量(HQ)面部图像。最近,已经提出了许多BFR方法,并取得了杰出的成功。但是,这些方法经过私人合成的数据集进行了培训或评估,这使得与后续方法相比的方法是不可行的。为了解决这个问题,我们首先合成两个称为EDFEACE-CELEB-1M(BFR128)和EDFACE-CELEB-150K(BFR512)的盲面恢复基准数据集。在五个设置下,将最先进的方法在它们的五个设置下进行了基准测试,包括模糊,噪声,低分辨率,JPEG压缩伪像及其组合(完全退化)。为了使比较更全面,应用了五个广泛使用的定量指标和两个任务驱动的指标,包括平均面部标志距离(AFLD)和平均面部ID余弦相似性(AFICS)。此外,我们开发了一个有效的基线模型,称为Swin Transformer U-NET(昏迷)。带有U-NET体系结构的昏迷器应用了注意机制和移动的窗口方案,以捕获远程像素相互作用,并更多地关注重要功能,同时仍受到有效训练。实验结果表明,所提出的基线方法对各种BFR任务的SOTA方法表现出色。
translated by 谷歌翻译
大多数现有的基于深度学习的单图像动态场景盲目脱毛(SIDSBD)方法通常设计深网络,以直接从一个输入的运动模糊图像中直接删除空间变化的运动模糊,而无需模糊的内核估计。在本文中,受投射运动路径模糊(PMPB)模型和可变形卷积的启发,我们提出了一个新颖的约束可变形的卷积网络(CDCN),以进行有效的单图像动态场景,同时实现了准确的空间变化,以及仅观察到的运动模糊图像的高质量图像恢复。在我们提出的CDCN中,我们首先构建了一种新型的多尺度多级多输入多输出(MSML-MIMO)编码器架构,以提高功能提取能力。其次,与使用多个连续帧的DLVBD方法不同,提出了一种新颖的约束可变形卷积重塑(CDCR)策略,其中首先将可变形的卷积应用于输入的单运动模糊图像的模糊特征,用于学习学习的抽样点,以学习学习的采样点每个像素的运动模糊内核类似于PMPB模型中摄像机震动的运动密度函数的估计,然后提出了一种基于PMPB的新型重塑损耗函数来限制学习的采样点收敛,这可以使得可以使得可以使其产生。学习的采样点与每个像素的相对运动轨迹匹配,并促进空间变化的运动模糊内核估计的准确性。
translated by 谷歌翻译
使用现代智能手机摄像机的夜成像由于光子计数低和成像系统中不可避免的噪声而变得麻烦。直接调整曝光时间和ISO等级在弱光条件下无法同时获得锋利和无噪声图像。尽管已经提出了许多方法来增强嘈杂或模糊的夜晚图像,但由于两个主要原因,它们在现实世界中的照片仍然不令人满意:1)单个图像中的信息有限和2)合成训练图像和真实图像之间的域间隙 - 世界照片(例如,模糊区域和分辨率的差异)。为了利用连续的长期和短曝光图像中的信息,我们提出了一条基于学习的管道来融合它们。开发了D2HNET框架,以通过在短期曝光图像的指导下脱毛和增强长期暴露图像来恢复高质量的图像。为了缩小域间隙,我们利用了两相deblernet-enhancenet架构,该体系结构在固定的低分辨率上执行准确的模糊去除,以便能够在不同的分辨率输入中处理大范围模糊。此外,我们从HD视频中合成了D2数据,并在其上进行了实验。验证集和真实照片的结果表明,我们的方法获得了更好的视觉质量和最先进的定量分数。可以在https://github.com/zhaoyuzhi/d2hnet上找到D2HNET代码,模型和D2-DATASET。
translated by 谷歌翻译
我们提出了一个大规模的真实世界和干净的图像对数据集,以及一种从图像中降低降解的方法,从图像中降低了降解。由于没有用于降低的现实世界数据集,因此当前的最新方法依赖于合成数据,因此受SIM2REAL域间隙的限制。此外,由于没有真实的配对数据集,严格的评估仍然是一个挑战。我们通过通过对非鼻子变化的细致控制收集第一个真实的配对数据集来填补这一空白。我们的数据集对各种现实世界的雨水现象(例如雨条和雨水积累)进行了配对的培训和定量评估。为了学习对雨现象不变的代表,我们提出了一个深层神经网络,该网络通过最大程度地减少雨水和干净图像之间的雨水不变损失来重建基础场景。广泛的实验表明,所提出的数据集使现有的DERAINER受益,我们的模型可以在各种条件下对真实雨水图像的最先进方法优于最先进的方法。
translated by 谷歌翻译
盲人面部修复(BFR)旨在从低品质的图像中恢复高质量的面部图像,并通常求助于面部先验,以改善恢复性能。但是,当前的方法仍然遇到两个主要困难:1)如何在不进行大规模调整的情况下得出强大的网络体系结构; 2)如何从一个网络中的多个面部先验捕获互补信息以提高恢复性能。为此,我们提出了一个面部修复搜索网络(FRSNET),以适应我们指定的搜索空间内的合适特征提取体系结构,这可以直接有助于恢复质量。在FRSNET的基础上,我们通过多个学习方案进一步设计了多个面部先验搜索网络(MFPSNET)。 MFPSNET最佳地从不同的面部先验中提取信息,并将信息融合到图像特征中,以确保保留外部指导和内部特征。通过这种方式,MFPSNet充分利用了语义级别(解析图),几何级别(面部热图),参考级别(面部词典)和像素级(降级图像)信息,从而产生忠实且逼真的图像。定量和定性实验表明,MFPSNET在合成和现实世界数据集上对最先进的BFR方法表现出色。这些代码可公开可用:https://github.com/yyj1ang/mfpsnet。
translated by 谷歌翻译