A self-supervised adaptive low-light video enhancement (SALVE) method is proposed in this work. SALVE first conducts an effective Retinex-based low-light image enhancement on a few key frames of an input low-light video. Next, it learns mappings from the low- to enhanced-light frames via Ridge regression. Finally, it uses these mappings to enhance the remaining frames in the input video. SALVE is a hybrid method that combines components from a traditional Retinex-based image enhancement method and a learning-based method. The former component leads to a robust solution which is easily adaptive to new real-world environments. The latter component offers a fast, computationally inexpensive and temporally consistent solution. We conduct extensive experiments to show the superior performance of SALVE. Our user study shows that 87% of participants prefer SALVE over prior work.
translated by 谷歌翻译
基于深度学习的低光图像增强方法通常需要巨大的配对训练数据,这对于在现实世界的场景中捕获是不切实际的。最近,已经探索了无监督的方法来消除对成对训练数据的依赖。然而,由于没有前衣,它们在不同的现实情景中表现得不稳定。为了解决这个问题,我们提出了一种基于先前(HEP)的有效预期直方图均衡的无监督的低光图像增强方法。我们的作品受到了有趣的观察,即直方图均衡增强图像的特征图和地面真理是相似的。具体而言,我们制定了HEP,提供了丰富的纹理和亮度信息。嵌入一​​个亮度模块(LUM),它有助于将低光图像分解为照明和反射率图,并且反射率图可以被视为恢复的图像。然而,基于Retinex理论的推导揭示了反射率图被噪声污染。我们介绍了一个噪声解剖学模块(NDM),以解除反射率图中的噪声和内容,具有不配对清洁图像的可靠帮助。通过直方图均衡的先前和噪声解剖,我们的方法可以恢复更精细的细节,更有能力抑制现实世界低光场景中的噪声。广泛的实验表明,我们的方法对最先进的无监督的低光增强算法有利地表现出甚至与最先进的监督算法匹配。
translated by 谷歌翻译
在低灯条件下捕获的图像遭受低可视性和各种成像伪影,例如真实噪音。现有的监督启示算法需要大量的像素对齐的训练图像对,这很难在实践中准备。虽然弱监督或无人监督的方法可以缓解这些挑战,但不使用配对的训练图像,由于缺乏相应的监督,一些现实世界的文物不可避免地被错误地放大。在本文中,而不是使用完美的对齐图像进行培训,我们创造性地使用未对准的现实世界图像作为指导,这很容易收集。具体地,我们提出了一个交叉图像解剖线程(CIDN),以分别提取来自低/常光图像的交叉图像亮度和图像特定内容特征。基于此,CIDN可以同时校正特征域中的亮度和抑制图像伪像,其在很大程度上将鲁棒性增加到像素偏移。此外,我们收集了一个新的低光图像增强数据集,包括具有现实世界腐败的未对准培训图像。实验结果表明,我们的模型在新建议的数据集和其他流行的低光数据集中实现了最先进的表演。
translated by 谷歌翻译
内窥镜检查是空心器官内最广泛使用的癌症和息肉检测的医疗技术。但是,由于启蒙源方向,内窥镜获得的图像经常受到照明人工制品的影响。当内窥镜的光源姿势突然变化时,存在两个主要问题:产生过度曝光和不受欢迎的组织区域。这两种情况可能导致因影响区域缺乏信息而导致误诊,或者在非侵入性检查过程中使用了各种计算机视觉方法的性能(例如,大满贯,运动结构,光流,光流)。这项工作的目的是两倍:i)引入一种由生成对抗技术生成的新合成生成的数据集和ii),并探索在过度暴露和未渗透的照明中探索基于浅层和深度学习的基于浅的基于学习的图像增强方法条件。除了在7.6 fps左右的运行时间外,还通过基于深网的LMSPEC方法获得了最佳定量结果(即基于公制的结果)
translated by 谷歌翻译
低光图像增强(LLIE)旨在提高在环境中捕获的图像的感知或解释性,较差的照明。该领域的最新进展由基于深度学习的解决方案为主,其中许多学习策略,网络结构,丢失功能,培训数据等已被采用。在本文中,我们提供了全面的调查,以涵盖从算法分类到开放问题的各个方面。为了检查现有方法的概括,我们提出了一个低光图像和视频数据集,其中图像和视频是在不同的照明条件下的不同移动电话的相机拍摄的。除此之外,我们首次提供统一的在线平台,涵盖许多流行的LLIE方法,其中结果可以通过用户友好的Web界面生产。除了在公开和我们拟议的数据集上对现有方法的定性和定量评估外,我们还验证了他们在黑暗中的脸部检测中的表现。这项调查与拟议的数据集和在线平台一起作为未来研究的参考来源和促进该研究领域的发展。拟议的平台和数据集以及收集的方法,数据集和评估指标是公开可用的,并将经常更新。
translated by 谷歌翻译
在极低光线条件下捕获图像会对标准相机管道带来重大挑战。图像变得太黑了,太吵了,这使得传统的增强技术几乎不可能申请。最近,基于学习的方法已经为此任务显示了非常有希望的结果,因为它们具有更大的表现力能力来允许提高质量。这些研究中的激励,在本文中,我们的目标是利用爆破摄影来提高性能,并从极端暗的原始图像获得更加锐利和更准确的RGB图像。我们提出的框架的骨干是一种新颖的粗良好网络架构,逐步产生高质量的输出。粗略网络预测了低分辨率,去噪的原始图像,然后将其馈送到精细网络以恢复微尺的细节和逼真的纹理。为了进一步降低噪声水平并提高颜色精度,我们将该网络扩展到置换不变结构,使得它作为输入突发为低光图像,并在特征级别地合并来自多个图像的信息。我们的实验表明,我们的方法通过生产更详细和相当更高的质量的图像来引起比最先进的方法更令人愉悦的结果。
translated by 谷歌翻译
在弱照明条件下捕获的图像可能会严重降低图像质量。求解一系列低光图像的降解可以有效地提高图像的视觉质量和高级视觉任务的性能。在本研究中,提出了一种新的基于RETINEX的实际网络(R2RNET),用于低光图像增强,其包括三个子网:DECOM-NET,DENOISE-NET和RELIGHT-NET。这三个子网分别用于分解,去噪,对比增强和细节保存。我们的R2RNET不仅使用图像的空间信息来提高对比度,还使用频率信息来保留细节。因此,我们的模型对所有退化的图像进行了更强大的结果。与在合成图像上培训的最先前的方法不同,我们收集了第一个大型现实世界配对的低/普通灯图像数据集(LSRW数据集),以满足培训要求,使我们的模型具有更好的现实世界中的泛化性能场景。对公共数据集的广泛实验表明,我们的方法在定量和视觉上以现有的最先进方法优于现有的现有方法。此外,我们的结果表明,通过使用我们在低光条件下的方法获得的增强的结果,可以有效地改善高级视觉任务(即面部检测)的性能。我们的代码和LSRW数据集可用于:https://github.com/abcdef2000/r2rnet。
translated by 谷歌翻译
在弱光条件下获得的图像将严重影响图像的质量。解决较差的弱光图像质量的问题可以有效地提高图像的视觉质量,并更好地改善计算机视觉的可用性。此外,它在许多领域都具有非常重要的应用。本文提出了基于视网膜的Deanet,以增强弱光图像。它将图像的频率信息和内容信息结合到三个子网络中:分解网络,增强网络和调整网络。这三个子网络分别用于分解,变形,对比度增强和细节保存,调整和图像产生。我们的模型对于所有低光图像都具有良好的良好结果。该模型对公共数据集进行了培训,实验结果表明,就视力和质量而言,我们的方法比现有的最新方法更好。
translated by 谷歌翻译
移动设备上的低光成像通常是由于不足的孔径穿过相对较小的孔径而挑战,导致信噪比较低。以前的大多数关于低光图像处理的作品仅关注单个任务,例如照明调整,颜色增强或删除噪声;或在密切依赖于从特定的摄像机模型中收集的长时间曝光图像对的关节照明调整和降解任务上,因此,这些方法在需要摄像机特定的关节增强和恢复的现实环境中不太实用且可推广。为了解决这个问题,在本文中,我们提出了一个低光图像处理框架,该框架可以执行关节照明调整,增强色彩和降解性。考虑到模型特异性数据收集的难度和捕获图像的超高定义,我们设计了两个分支:系数估计分支以及关节增强和denoising分支。系数估计分支在低分辨率空间中起作用,并预测通过双边学习增强的系数,而关节增强和去核分支在全分辨率空间中工作,并逐步执行关节增强和脱氧。与现有方法相反,我们的框架在适应另一个摄像机模型时不需要回忆大量数据,这大大减少了微调我们用于实际使用方法所需的努力。通过广泛的实验,与当前的最新方法相比,我们在现实世界中的低光成像应用中证明了它的巨大潜力。
translated by 谷歌翻译
在不完美亮度条件下采取的照片的视觉质量可以通过多种因素来退化,例如,低亮度,成像噪声,颜色失真等。目前的低灯图像增强型号仅关注较低亮度的改善,或者简单地处理整体的所有退化因子,导致次优性能。在本文中,我们建议将增强模型分成两个顺序阶段。第一阶段侧重于基于像素明智的非线性映射来提高场景可见性。第二阶段专注于通过抑制其余变性因素来改善外观保真度。解耦模型有助于两个方面的增强。一方面,整个低光增强可以分为两个更容易的子组织。第一个只旨在增强可见性。它还有助于弥合低光和常光图像之间的大强度间隙。以这种方式,第二个子摊可以成形为局部外观调整。另一方面,由于从第一阶段学习的参数矩阵意识到亮度分布和场景结构,因此可以作为互补信息结合到第二阶段。在实验中,与其他低光图像增强模型相比,我们的模型在定性和定量比较方面表现出最先进的性能。此外,消融研究还验证了我们模型在多个方面的有效性,例如模型结构和损失功能。训练有素的模型可在https://github.com/hanxuhfut/decoupled-low-light-image-enhancement获得。
translated by 谷歌翻译
低光图像增强是一个固有的主观过程,其目标随用户的美学而变化。在此激励的情况下,已经研究了几种个性化的增强方法。但是,基于这些技术中用户偏好的增强过程是不可见的,即“黑匣子”。在这项工作中,我们为低光图像提出了一个可理解的无监督个性化增强器(Iupenhancer),该图像建立了与三个用户友好型属性(亮度,色彩和噪音)有关的低光与未配对的参考图像之间的相关性。 。拟议的IUP增强剂接受了这些相关性的指导和相应的无监督损失函数的培训。我们的IUP-Enhancer不是“黑匣子”过程,而是带有上述属性的可理解增强过程。广泛的实验表明,所提出的算法会产生竞争性的定性和定量结果,同时保持出色的灵活性和可伸缩性。可以通过单个/多个参考,交叉归因引用或仅调整参数的个性化来验证。
translated by 谷歌翻译
在低光环境中捕获的图像经常遭受复杂的降级。简单地调整光不可避免地导致隐藏噪声和颜色失真的突发。从退化投入寻求满足的照明,清洁和现实主义的结果​​,这篇论文提出了一种灵感来自分界和规则原则的新颖框架,大大减轻了退化纠缠。假设图像可以被分解成纹理(具有可能的噪声)和颜色分量,可以具体地执行噪声去除和颜色校正以及光调节。为此目的,我们建议将来自RGB空间的图像转换为亮度色度。可调节的噪声抑制网络设计用于消除亮度亮度的噪声,其具有估计的照明图以指示噪声升高水平。增强型亮度进一步用于色度映射器的指导,以产生现实颜色。进行了广泛的实验,揭示了我们设计的有效性,并在几个基准数据集上展示了定量和定性的最先进的替代方案的优势。我们的代码在HTTPS://github.com/mingcv/bread下公开提供。
translated by 谷歌翻译
低灯图像挑战人类的感知和计算机视觉算法。使算法强大地为计算摄影和计算机视觉应用(如实时检测和分割)开明低光图像至关重要。本文提出了一种语义引导的零射低亮增强网络,其在没有配对图像,未配对数据集和分段注释的情况下培训。首先,我们使用深度可分离卷积设计增强因子提取网络,以便有效估计低光图像的像素方向缺点。其次,我们提出了一种经常性图像增强网络,以具有价格实惠的模型尺寸来逐渐增强低光图像。最后,我们介绍了一个无监督的语义分割网络,用于保留密集增强期间的语义信息。基准数据集和低光视频的广泛实验表明,我们的模型优于先前的最先进的定性和定量。我们进一步探讨了所提出的低光检测和分割方法的好处。
translated by 谷歌翻译
高动态范围(HDR)视频提供比标准低动态范围(LDR)视频更具视觉上的体验。尽管HDR成像具有重要进展,但仍有一个具有挑战性的任务,可以使用传统的现成摄像头捕获高质量的HDR视频。现有方法完全依赖于在相邻的LDR序列之间使用致密光流来重建HDR帧。然而,当用嘈杂的框架应用于交替的曝光时,它们会导致颜色和暴露的曝光不一致。在本文中,我们提出了一种从LDR序列与交替曝光的LDR序列的HDR视频重建的端到端GAN框架。我们首先从Noisy LDR视频中提取清洁LDR帧,并具有在自我监督设置中培训的去噪网络的交替曝光。然后,我们将相邻的交流帧与参考帧对齐,然后在完全的对手设置中重建高质量的HDR帧。为了进一步提高所产生帧的鲁棒性和质量,我们在培训过程中将时间稳定性的正则化术语与成本函数的内容和风格的损耗一起融合。实验结果表明,我们的框架实现了最先进的性能,并通过现有方法生成视频的优质HDR帧。
translated by 谷歌翻译
This paper presents a comprehensive survey of low-light image and video enhancement. We begin with the challenging mixed over-/under-exposed images, which are under-performed by existing methods. To this end, we propose two variants of the SICE dataset named SICE_Grad and SICE_Mix. Next, we introduce Night Wenzhou, a large-scale, high-resolution video dataset, to address the issue of the lack of a low-light video dataset that discount the use of low-light image enhancement (LLIE) to videos. The Night Wenzhou dataset is challenging since it consists of fast-moving aerial scenes and streetscapes with varying illuminations and degradation. We conduct extensive key technique analysis and experimental comparisons for representative LLIE approaches using these newly proposed datasets and the current benchmark datasets. Finally, we address unresolved issues and propose future research topics for the LLIE community.
translated by 谷歌翻译
黑暗视频中的动作识别任务在各种情况下很有用,例如夜间夜间监视和自动驾驶。尽管在正常照明的视频的动作识别任务中取得了进展,但在黑暗中很少有人研究动作识别。这部分是由于缺乏足够的数据集来完成此类任务。在本文中,我们探讨了黑暗视频中动作识别的任务。我们通过收集一个新数据集:黑暗(ARID)数据集中的动作识别来弥合此任务缺乏数据的差距。它由3,780多个具有11个动作类别的视频剪辑组成。据我们所知,这是第一个针对黑暗视频中人类行为的数据集。为了进一步了解我们的干旱数据集,我们详细分析了干旱数据集,并在合成黑暗视频中表现出了必要性。此外,我们在数据集上基准了几种当前动作识别模型的性能,并探索了提高其性能的潜在方法。我们的结果表明,当前的动作识别模型和框架增强方法可能不是黑暗视频中动作识别任务的有效解决方案。
translated by 谷歌翻译
尽管最近的方法带来了质量的提高,但视频超分辨率(SR)仍然非常具有挑战性,尤其是对于低光和嘈杂的视频而言。当前的最佳解决方案是随后采用最佳的视频SR模型,Denoising和Illumination Enerancions,但由于模型之间的不一致,因此通常会降低图像质量。本文提出了一种称为“深参数3D过滤器”(DP3DF)的新参数表示,该代表包含局部时空信息,以在单个编码器和编码器网络中有效地启用同时denosing,Inlumination Enlumination Enlumination Enlumination和SR。此外,通过共享主链共同学习了一个动态残留框架,以进一步提高SR质量。我们进行了广泛的实验,包括大规模的用户研究,以表明我们的方法的有效性。我们的方法一致地超过了所有具有顶级PSNR和用户评分的挑战性的真实数据集上最好的最新方法,但运行时间很快。
translated by 谷歌翻译
When one captures images in low-light conditions, the images often suffer from low visibility. Besides degrading the visual aesthetics of images, this poor quality may also significantly degenerate the performance of many computer vision and multimedia algorithms that are primarily designed for highquality inputs. In this paper, we propose a simple yet effective low-light image enhancement (LIME) method. More concretely, the illumination of each pixel is first estimated individually by finding the maximum value in R, G and B channels. Further, we refine the initial illumination map by imposing a structure prior on it, as the final illumination map. Having the wellconstructed illumination map, the enhancement can be achieved accordingly. Experiments on a number of challenging low-light images are present to reveal the efficacy of our LIME and show its superiority over several state-of-the-arts in terms of enhancement quality and efficiency.
translated by 谷歌翻译
The paper presents a novel method, Zero-Reference Deep Curve Estimation (Zero-DCE), which formulates light enhancement as a task of image-specific curve estimation with a deep network. Our method trains a lightweight deep network, DCE-Net, to estimate pixel-wise and high-order curves for dynamic range adjustment of a given image. The curve estimation is specially designed, considering pixel value range, monotonicity, and differentiability. Zero-DCE is appealing in its relaxed assumption on reference images, i.e., it does not require any paired or unpaired data during training. This is achieved through a set of carefully formulated non-reference loss functions, which implicitly measure the enhancement quality and drive the learning of the network. Our method is efficient as image enhancement can be achieved by an intuitive and simple nonlinear curve mapping. Despite its simplicity, we show that it generalizes well to diverse lighting conditions. Extensive experiments on various benchmarks demonstrate the advantages of our method over state-of-the-art methods qualitatively and quantitatively. Furthermore, the potential benefits of our Zero-DCE to face detection in the dark are discussed.
translated by 谷歌翻译
高动态范围(HDR)成像是一种允许广泛的动态曝光范围的技术,这在图像处理,计算机图形和计算机视觉中很重要。近年来,使用深度学习(DL),HDR成像有重大进展。本研究对深层HDR成像方法的最新发展进行了综合和富有洞察力的调查和分析。在分层和结构上,将现有的深层HDR成像方法基于(1)输入曝光的数量/域,(2)学习任务数,(3)新传感器数据,(4)新的学习策略,(5)应用程序。重要的是,我们对关于其潜在和挑战的每个类别提供建设性的讨论。此外,我们审查了深度HDR成像的一些关键方面,例如数据集和评估指标。最后,我们突出了一些打开的问题,并指出了未来的研究方向。
translated by 谷歌翻译