多曝光融合(MEF)是一种与将不同曝光设置获取的相同场景的不同图像组合成单个图像。所有提议的MEF算法都组合了一组图像,以某种方式从每个曝光的零件中选择。我们提出了一种新的多曝光图像融合链,考虑到噪音。该新方法利用了DCT处理和MEF问题的多像性质。我们提出了一种联合融合和去噪战略,利用时空贴片选择和协作3D阈值化。整体策略允许在不需要恢复每个去噪的曝光图像的情况下抵销和熔断图像集,导致非常有效的过程。
translated by 谷歌翻译
We propose a novel image denoising strategy based on an enhanced sparse representation in transform domain. The enhancement of the sparsity is achieved by grouping similar 2-D image fragments (e.g., blocks) into 3-D data arrays which we call "groups." Collaborative filtering is a special procedure developed to deal with these 3-D groups. We realize it using the three successive steps: 3-D transformation of a group, shrinkage of the transform spectrum, and inverse 3-D transformation. The result is a 3-D estimate that consists of the jointly filtered grouped image blocks. By attenuating the noise, the collaborative filtering reveals even the finest details shared by grouped blocks and, at the same time, it preserves the essential unique features of each individual block. The filtered blocks are then returned to their original positions. Because these blocks are overlapping, for each pixel, we obtain many different estimates which need to be combined. Aggregation is a particular averaging procedure which is exploited to take advantage of this redundancy. A significant improvement is obtained by a specially developed collaborative Wiener filtering. An algorithm based on this novel denoising strategy and its efficient implementation are presented in full detail; an extension to color-image denoising is also developed. The experimental results demonstrate that this computationally scalable algorithm achieves state-of-the-art denoising performance in terms of both peak signal-to-noise ratio and subjective visual quality.
translated by 谷歌翻译
移动设备上的低光成像通常是由于不足的孔径穿过相对较小的孔径而挑战,导致信噪比较低。以前的大多数关于低光图像处理的作品仅关注单个任务,例如照明调整,颜色增强或删除噪声;或在密切依赖于从特定的摄像机模型中收集的长时间曝光图像对的关节照明调整和降解任务上,因此,这些方法在需要摄像机特定的关节增强和恢复的现实环境中不太实用且可推广。为了解决这个问题,在本文中,我们提出了一个低光图像处理框架,该框架可以执行关节照明调整,增强色彩和降解性。考虑到模型特异性数据收集的难度和捕获图像的超高定义,我们设计了两个分支:系数估计分支以及关节增强和denoising分支。系数估计分支在低分辨率空间中起作用,并预测通过双边学习增强的系数,而关节增强和去核分支在全分辨率空间中工作,并逐步执行关节增强和脱氧。与现有方法相反,我们的框架在适应另一个摄像机模型时不需要回忆大量数据,这大大减少了微调我们用于实际使用方法所需的努力。通过广泛的实验,与当前的最新方法相比,我们在现实世界中的低光成像应用中证明了它的巨大潜力。
translated by 谷歌翻译
我们提出了一种运动分割引导的卷积神经网络(CNN)方法,以进行高动态范围(HDR)图像磁化。首先,我们使用CNN分段输入序列中的移动区域。然后,我们将静态区域和移动区域分别与不同的融合网络合并,并结合融合功能以生成最终的无幽灵HDR图像。我们的运动分割引导的HDR融合方法比现有的HDR脱胶方法具有显着优势。首先,通过将输入序列分割为静态和移动区域,我们提出的方法可以为各种具有挑战性的饱和度和运动类型学习有效的融合规则。其次,我们引入了一个新颖的存储网络,该网络积累了在饱和区域中生成合理细节所需的必要功能。所提出的方法在两个公开可用的数据集上优于九种现有的最新方法,并生成视觉上令人愉悦的无幽灵HDR结果。我们还提供了3683个不同暴露图像的大规模运动细分数据集,以使研究社区受益。
translated by 谷歌翻译
由智能手机和中端相机捕获的照片的空间分辨率和动态范围有限,在饱和区域中未充满刺激的区域和颜色人工制品中的嘈杂响应。本文介绍了第一种方法(据我们所知),以重建高分辨率,高动态范围的颜色图像,这些颜色来自带有曝光括号的手持相机捕获的原始照相爆发。该方法使用图像形成的物理精确模型来结合迭代优化算法,用于求解相应的逆问题和学习的图像表示,以进行健壮的比对,并以前的自然图像。所提出的算法很快,与基于最新的学习图像恢复方法相比,内存需求较低,并且从合成但逼真的数据终止学习的特征。广泛的实验证明了其出色的性能,具有最多$ \ times 4 $的超分辨率因子在野外拍摄的带有手持相机的真实照片,以及对低光条件,噪音,摄像机摇动和中等物体运动的高度鲁棒性。
translated by 谷歌翻译
我们提出了一种新型的基于网络的基于网络的HDR Duthosting方法,用于融合任意长度的动态序列。所提出的方法使用卷积和经常性架构来产生视觉上令人愉悦的重影的HDR图像。我们介绍了一个新的反复间谍架构,即自动门控内存(SGM)单元格,这胜过标准LSTM单元格,同时包含更少的参数并具有更快的运行时间。在SGM小区中,通过将门的输出乘以自身的函数来控制通过门的信息流。此外,我们在双向设置中使用两个SGM单元来提高输出质量。该方法的方法与现有的HDR Deghosting方法定量跨三个公共数据集相比,实现了最先进的性能,同时同时实现熔断器可变长度输入顺序的可扩展性而不需要重新训练。通过广泛的消融,我们证明了各个组件以拟议方法的重要性。该代码可在https://val.cds.iisc.ac.in.in/hdr/hdrrn/index.html中获得。
translated by 谷歌翻译
在极低光线条件下捕获图像会对标准相机管道带来重大挑战。图像变得太黑了,太吵了,这使得传统的增强技术几乎不可能申请。最近,基于学习的方法已经为此任务显示了非常有希望的结果,因为它们具有更大的表现力能力来允许提高质量。这些研究中的激励,在本文中,我们的目标是利用爆破摄影来提高性能,并从极端暗的原始图像获得更加锐利和更准确的RGB图像。我们提出的框架的骨干是一种新颖的粗良好网络架构,逐步产生高质量的输出。粗略网络预测了低分辨率,去噪的原始图像,然后将其馈送到精细网络以恢复微尺的细节和逼真的纹理。为了进一步降低噪声水平并提高颜色精度,我们将该网络扩展到置换不变结构,使得它作为输入突发为低光图像,并在特征级别地合并来自多个图像的信息。我们的实验表明,我们的方法通过生产更详细和相当更高的质量的图像来引起比最先进的方法更令人愉悦的结果。
translated by 谷歌翻译
本文提出了一种有效融合多暴露输入并使用未配对数据集生成高质量的高动态范围(HDR)图像的方法。基于深度学习的HDR图像生成方法在很大程度上依赖于配对的数据集。地面真相图像在生成合理的HDR图像中起着领导作用。没有地面真理的数据集很难应用于训练深层神经网络。最近,在没有配对示例的情况下,生成对抗网络(GAN)证明了它们将图像从源域X转换为目标域y的潜力。在本文中,我们提出了一个基于GAN的网络,用于解决此类问题,同时产生愉快的HDR结果,名为Uphdr-Gan。提出的方法放松了配对数据集的约束,并了解了从LDR域到HDR域的映射。尽管丢失了这些对数据,但UPHDR-GAN可以借助修改后的GAN丢失,改进的歧视器网络和有用的初始化阶段正确处理由移动对象或未对准引起的幽灵伪像。所提出的方法保留了重要区域的细节并提高了总图像感知质量。与代表性方法的定性和定量比较证明了拟议的UPHDR-GAN的优越性。
translated by 谷歌翻译
高动态范围(HDR)成像是一种允许广泛的动态曝光范围的技术,这在图像处理,计算机图形和计算机视觉中很重要。近年来,使用深度学习(DL),HDR成像有重大进展。本研究对深层HDR成像方法的最新发展进行了综合和富有洞察力的调查和分析。在分层和结构上,将现有的深层HDR成像方法基于(1)输入曝光的数量/域,(2)学习任务数,(3)新传感器数据,(4)新的学习策略,(5)应用程序。重要的是,我们对关于其潜在和挑战的每个类别提供建设性的讨论。此外,我们审查了深度HDR成像的一些关键方面,例如数据集和评估指标。最后,我们突出了一些打开的问题,并指出了未来的研究方向。
translated by 谷歌翻译
深度信息在许多图像处理应用程序中是有用的。然而,由于拍摄图像是在2D成像传感器上投射3D场景的过程,因此深度信息嵌入图像中。从图像中提取深度信息是一个具有挑战性的任务。引导原理是由于散焦引起的蓝色水平与物体和焦平面之间的距离有关。基于该原理和广泛使用的假设,即高斯模糊是散焦模糊的良好模型,我们制定了作为高斯模糊分类问题的空间变化散焦模糊的问题。我们通过培训深度神经网络来解决图像补丁中的20级蓝色蓝色之一来解决问题。我们创建了一个超过500000美元的尺寸为32 \ times32 $的数据集,用于培训和测试几种知名网络模型。我们发现MobileNetv2由于其较低的内存要求和高精度而适用于此应用。训练模型用于确定通过施加迭代加权引导滤波器来改进的贴剂模糊。结果是散焦图,其携带每个像素的模糊度的信息。我们将提出的方法与最先进的技术进行比较,我们展示了其在自适应图像增强,散焦倍率和多聚焦图像融合中的成功应用。
translated by 谷歌翻译
Motion blur from camera shake is a major problem in videos captured by hand-held devices. Unlike single-image deblurring, video-based approaches can take advantage of the abundant information that exists across neighboring frames. As a result the best performing methods rely on the alignment of nearby frames. However, aligning images is a computationally expensive and fragile procedure, and methods that aggregate information must therefore be able to identify which regions have been accurately aligned and which have not, a task that requires high level scene understanding. In this work, we introduce a deep learning solution to video deblurring, where a CNN is trained end-toend to learn how to accumulate information across frames. To train this network, we collected a dataset of real videos recorded with a high frame rate camera, which we use to generate synthetic motion blur for supervision. We show that the features learned from this dataset extend to deblurring motion blur that arises due to camera shake in a wide range of videos, and compare the quality of results to a number of other baselines 1 .
translated by 谷歌翻译
着色是一个计算机辅助过程,旨在为灰色图像或视频赋予色彩。它可用于增强黑白图像,包括黑白照片,老式电影和科学成像结果。相反,不着色是将颜色图像或视频转换为灰度。灰度图像或视频是指没有颜色信息的亮度信息的图像或视频。它是一些下游图像处理应用程序的基础,例如模式识别,图像分割和图像增强。与图像脱色不同,视频脱色不仅应考虑每个视频框架中的图像对比度保存,而且还应尊重视频框架之间的时间和空间一致性。研究人员致力于通过平衡时空的一致性和算法效率来开发脱色方法。随着数码相机和手机的流行,研究人员越来越关注图像和视频着色和脱色。本文概述了过去二十年来图像和视频着色和脱色方法的进度。
translated by 谷歌翻译
最近的创新表明,通过单个低动态范围(LDR)传感器捕获的细节的混合克服了标准数码相机的局限性,以捕获高动态范围场景的细节。我们提出了一种生成曝光良好的融合图像的方法,该图像可以直接显示在常规显示器上。野心是为了保存细节较差且鲜明照明的地区。提出的方法不需要真正的辐射重建和音调操纵步骤。通过考虑到跨输入暴露的地方信息衡量的本地信息度量,可以实现上述目标。此外,引入了对比度有限的自适应直方图均衡(CLAHE),以提高融合之前输入多曝光图像的均匀性。
translated by 谷歌翻译
任何相机的光学元件都会降低照片的清晰度,这是关键的视觉质量标准。该降解的特征是点传播函数(PSF),该函数取决于光的波长,并且在整个成像场中都是可变的。在本文中,我们提出了一个两步方案,以纠正单个RAW或JPEG图像中的光学畸变,即没有相机或镜头上任何事先信息。首先,我们估计当地的高斯模糊内核,以重叠斑块,并通过非盲脱毛技术锐化它们。基于数十个透镜的PSF的测量值,这些模糊内核被建模为由七个参数定义的RGB高斯人。其次,我们使用卷积神经网络去除其余的侧向色差(第一步中未考虑),该网络被训练,可将红色/绿色和蓝色/绿色残留图像最小化。关于合成图像和真实图像的实验表明,这两个阶段的组合产生了一种快速的最新盲目畸变补偿技术,该技术与商业非盲算法竞争。
translated by 谷歌翻译
在本文中,我们提出了一种使用自我监督的多任务学习的基于变换器的多曝光图像融合框架的传输。该框架基于编码器解码器网络,可以在大型自然图像数据集上培训,并且不需要地面真理融合图像。我们根据多曝光图像的特点设计三个自我监督的重建任务,并使用多任务学习同时进行这些任务;通过该过程,网络可以学习多曝光图像的特征并提取更多的广义特征。此外,为了补偿在基于CNN的架构中建立远程依赖性的缺陷,我们设计了一个与变压器模块相结合的编码器。这种组合使网络能够专注于本地和全局信息。我们评估了我们的方法,并将其与最新释放的多曝光图像融合基准数据集进行了11个基于竞争的传统和深入学习的方法,我们的方法在主观和客观评估中实现了最佳性能。
translated by 谷歌翻译
高动态范围(HDR)成像是图像处理中的一个基本问题,即使在场景中存在不同的照明的情况下,它旨在产生暴露良好的图像。近年来,多曝光融合方法已取得了显着的结果,该方法合并了多个具有不同暴露的动态范围(LDR)图像,以生成相应的HDR图像。但是,在动态场景中综合HDR图像仍然具有挑战性,并且需求量很高。生产HDR图像有两个挑战:1)。 LDR图像之间的对象运动很容易在生成的结果中引起不良的幽灵伪像。 2)。由于在合并阶段对这些区域的补偿不足,因此下区域和过度曝光的区域通常包含扭曲的图像含量。在本文中,我们提出了一个多尺度采样和聚合网络,用于在动态场景中进行HDR成像。为了有效地减轻小动作和大型动作引起的问题,我们的方法通过以粗到精细的方式对LDR图像进行了暗中对齐LDR图像。此外,我们提出了一个基于离散小波转换的密集连接的网络,以改善性能,该网络将输入分解为几个非重叠频率子带,并在小波域中自适应地执行补偿。实验表明,与其他有希望的HDR成像方法相比,我们提出的方法可以在不同场景下实现最新的性能。此外,由我们的方法生成的HDR图像包含清洁剂和更详细的内容,扭曲较少,从而带来更好的视觉质量。
translated by 谷歌翻译
In this paper we present TreEnhance, an automatic method for low-light image enhancement capable of improving the quality of digital images. The method combines tree search theory, and in particular the Monte Carlo Tree Search (MCTS) algorithm, with deep reinforcement learning. Given as input a low-light image, TreEnhance produces as output its enhanced version together with the sequence of image editing operations used to obtain it. During the training phase, the method repeatedly alternates two main phases: a generation phase, where a modified version of MCTS explores the space of image editing operations and selects the most promising sequence, and an optimization phase, where the parameters of a neural network, implementing the enhancement policy, are updated. Two different inference solutions are proposed for the enhancement of new images: one is based on MCTS and is more accurate but more time and memory consuming; the other directly applies the learned policy and is faster but slightly less precise. As a further contribution, we propose a guided search strategy that "reverses" the enhancement procedure that a photo editor applied to a given input image. Unlike other methods from the state of the art, TreEnhance does not pose any constraint on the image resolution and can be used in a variety of scenarios with minimal tuning. We tested the method on two datasets: the Low-Light dataset and the Adobe Five-K dataset obtaining good results from both a qualitative and a quantitative point of view.
translated by 谷歌翻译
图像分解是图像处理领域的关键主题。它可以从源图像中提取显着特征。我们提出了一种基于卷积神经网络的新图像分解方法。该方法可以应用于许多图像处理任务。在本文中,我们将图像分解网络应用于图像融合任务。我们输入红外图像和可见光图像,并将它们分解为三个高频特征图像和低频特征图像。使用特定的融合策略融合了两组特征图像,以获得融合特征图像。最后,重建功能图像以获得融合图像。与最先进的融合方法相比,该方法在主观和客观评估中都取得了更好的性能。
translated by 谷歌翻译
随着高动态范围(HDR)摄影的日益普及和可访问性,用于动态范围压缩和中等呈现的音调映射操作员(TMO)实际上是要求的。在本文中,我们开发了一种基于生物学的,计算效率和感知优化的两阶段神经网络图像TMO。在第一阶段,由人类视觉系统(HVS)早期阶段的生理学动机,我们首先将HDR图像分解为标准化的Laplacian金字塔。然后,我们使用两个轻巧的深神经网络(DNN),将这种归一化表示作为输入并估计相应LDR图像的拉普拉斯金字塔。我们通过最小化标准化的拉普拉斯金字塔距离(NLPD)来优化音调映射网络,这是一种对人类对音调映射图像质量判断的校准的感知度量。在第二阶段中,我们通过输入HDR图像``校准'',生成具有不同颜色饱和度和细节可见性的伪型曝光图像堆栈。然后,我们通过最大化MEF-SSIM的变体,这是另一个具有感知校准的度量以进行图像融合,将另一个轻巧的DNN训练将LDR图像堆叠融合到所需的LDR图像中。通过这样做,提出的TMO是完全自动的,以映射未校准的HDR图像。在一组独立的HDR图像中,我们发现我们的方法生成具有更好的视觉质量的图像,并且是本地最快的TMO之一。
translated by 谷歌翻译
高动态范围(HDR)视频提供比标准低动态范围(LDR)视频更具视觉上的体验。尽管HDR成像具有重要进展,但仍有一个具有挑战性的任务,可以使用传统的现成摄像头捕获高质量的HDR视频。现有方法完全依赖于在相邻的LDR序列之间使用致密光流来重建HDR帧。然而,当用嘈杂的框架应用于交替的曝光时,它们会导致颜色和暴露的曝光不一致。在本文中,我们提出了一种从LDR序列与交替曝光的LDR序列的HDR视频重建的端到端GAN框架。我们首先从Noisy LDR视频中提取清洁LDR帧,并具有在自我监督设置中培训的去噪网络的交替曝光。然后,我们将相邻的交流帧与参考帧对齐,然后在完全的对手设置中重建高质量的HDR帧。为了进一步提高所产生帧的鲁棒性和质量,我们在培训过程中将时间稳定性的正则化术语与成本函数的内容和风格的损耗一起融合。实验结果表明,我们的框架实现了最先进的性能,并通过现有方法生成视频的优质HDR帧。
translated by 谷歌翻译