The paper presents a novel method, Zero-Reference Deep Curve Estimation (Zero-DCE), which formulates light enhancement as a task of image-specific curve estimation with a deep network. Our method trains a lightweight deep network, DCE-Net, to estimate pixel-wise and high-order curves for dynamic range adjustment of a given image. The curve estimation is specially designed, considering pixel value range, monotonicity, and differentiability. Zero-DCE is appealing in its relaxed assumption on reference images, i.e., it does not require any paired or unpaired data during training. This is achieved through a set of carefully formulated non-reference loss functions, which implicitly measure the enhancement quality and drive the learning of the network. Our method is efficient as image enhancement can be achieved by an intuitive and simple nonlinear curve mapping. Despite its simplicity, we show that it generalizes well to diverse lighting conditions. Extensive experiments on various benchmarks demonstrate the advantages of our method over state-of-the-art methods qualitatively and quantitatively. Furthermore, the potential benefits of our Zero-DCE to face detection in the dark are discussed.
translated by 谷歌翻译
低光图像增强(LLIE)旨在提高在环境中捕获的图像的感知或解释性,较差的照明。该领域的最新进展由基于深度学习的解决方案为主,其中许多学习策略,网络结构,丢失功能,培训数据等已被采用。在本文中,我们提供了全面的调查,以涵盖从算法分类到开放问题的各个方面。为了检查现有方法的概括,我们提出了一个低光图像和视频数据集,其中图像和视频是在不同的照明条件下的不同移动电话的相机拍摄的。除此之外,我们首次提供统一的在线平台,涵盖许多流行的LLIE方法,其中结果可以通过用户友好的Web界面生产。除了在公开和我们拟议的数据集上对现有方法的定性和定量评估外,我们还验证了他们在黑暗中的脸部检测中的表现。这项调查与拟议的数据集和在线平台一起作为未来研究的参考来源和促进该研究领域的发展。拟议的平台和数据集以及收集的方法,数据集和评估指标是公开可用的,并将经常更新。
translated by 谷歌翻译
我们提出曲线蒸馏,CUDI,以进行有效且可控的暴露调整,而无需在训练过程中配对或未配对的数据。我们的方法从有效的低光图像增强方法零DCE继承了零引用学习和基于曲线的框架,并以其推理速度进一步提高了其推理速度,减少其模型大小以及扩展到可控的暴露调整。通过新颖的曲线蒸馏实现了改进的推理速度和轻量级模型,该曲线蒸馏通过高阶曲线的切线线近似于常规曲线框架中耗时的迭代操作。通过新的自我监督的空间暴露控制损失,可控制的暴露调整成为可能,该损失限制了输出的不同空间区域的暴露水平,即接近接触映射的亮度分布,以作为输入条件。与大多数只能纠正不渗透或过度曝光的照片的方法不同,我们的方法可以使用单个模型纠正未充分曝光和过度曝光的照片。值得注意的是,我们的方法还可以在输入条件曝光图的指导下在全球或本地调整照片的曝光水平,该图可以在推理阶段进行预定或手动设置。通过广泛的实验,我们表明我们的方法在真实场景中的快速,稳健性和灵活的性能吸引了最先进的方法。项目页面:https://li-chongyi.github.io/cudi_files/。
translated by 谷歌翻译
低灯图像挑战人类的感知和计算机视觉算法。使算法强大地为计算摄影和计算机视觉应用(如实时检测和分割)开明低光图像至关重要。本文提出了一种语义引导的零射低亮增强网络,其在没有配对图像,未配对数据集和分段注释的情况下培训。首先,我们使用深度可分离卷积设计增强因子提取网络,以便有效估计低光图像的像素方向缺点。其次,我们提出了一种经常性图像增强网络,以具有价格实惠的模型尺寸来逐渐增强低光图像。最后,我们介绍了一个无监督的语义分割网络,用于保留密集增强期间的语义信息。基准数据集和低光视频的广泛实验表明,我们的模型优于先前的最先进的定性和定量。我们进一步探讨了所提出的低光检测和分割方法的好处。
translated by 谷歌翻译
基于深度学习的低光图像增强方法通常需要巨大的配对训练数据,这对于在现实世界的场景中捕获是不切实际的。最近,已经探索了无监督的方法来消除对成对训练数据的依赖。然而,由于没有前衣,它们在不同的现实情景中表现得不稳定。为了解决这个问题,我们提出了一种基于先前(HEP)的有效预期直方图均衡的无监督的低光图像增强方法。我们的作品受到了有趣的观察,即直方图均衡增强图像的特征图和地面真理是相似的。具体而言,我们制定了HEP,提供了丰富的纹理和亮度信息。嵌入一​​个亮度模块(LUM),它有助于将低光图像分解为照明和反射率图,并且反射率图可以被视为恢复的图像。然而,基于Retinex理论的推导揭示了反射率图被噪声污染。我们介绍了一个噪声解剖学模块(NDM),以解除反射率图中的噪声和内容,具有不配对清洁图像的可靠帮助。通过直方图均衡的先前和噪声解剖,我们的方法可以恢复更精细的细节,更有能力抑制现实世界低光场景中的噪声。广泛的实验表明,我们的方法对最先进的无监督的低光增强算法有利地表现出甚至与最先进的监督算法匹配。
translated by 谷歌翻译
低光图像增强是一个固有的主观过程,其目标随用户的美学而变化。在此激励的情况下,已经研究了几种个性化的增强方法。但是,基于这些技术中用户偏好的增强过程是不可见的,即“黑匣子”。在这项工作中,我们为低光图像提出了一个可理解的无监督个性化增强器(Iupenhancer),该图像建立了与三个用户友好型属性(亮度,色彩和噪音)有关的低光与未配对的参考图像之间的相关性。 。拟议的IUP增强剂接受了这些相关性的指导和相应的无监督损失函数的培训。我们的IUP-Enhancer不是“黑匣子”过程,而是带有上述属性的可理解增强过程。广泛的实验表明,所提出的算法会产生竞争性的定性和定量结果,同时保持出色的灵活性和可伸缩性。可以通过单个/多个参考,交叉归因引用或仅调整参数的个性化来验证。
translated by 谷歌翻译
在弱光条件下获得的图像将严重影响图像的质量。解决较差的弱光图像质量的问题可以有效地提高图像的视觉质量,并更好地改善计算机视觉的可用性。此外,它在许多领域都具有非常重要的应用。本文提出了基于视网膜的Deanet,以增强弱光图像。它将图像的频率信息和内容信息结合到三个子网络中:分解网络,增强网络和调整网络。这三个子网络分别用于分解,变形,对比度增强和细节保存,调整和图像产生。我们的模型对于所有低光图像都具有良好的良好结果。该模型对公共数据集进行了培训,实验结果表明,就视力和质量而言,我们的方法比现有的最新方法更好。
translated by 谷歌翻译
This paper presents a new neural network for enhancing underexposed photos. Instead of directly learning an image-to-image mapping as previous work, we introduce intermediate illumination in our network to associate the input with expected enhancement result, which augments the network's capability to learn complex photographic adjustment from expert-retouched input/output image pairs. Based on this model, we formulate a loss function that adopts constraints and priors on the illumination, prepare a new dataset of 3,000 underexposed image pairs, and train the network to effectively learn a rich variety of adjustment for diverse lighting conditions. By these means, our network is able to recover clear details, distinct contrast, and natural color in the enhancement results. We perform extensive experiments on the benchmark MIT-Adobe FiveK dataset and our new dataset, and show that our network is effective to deal with previously challenging images.
translated by 谷歌翻译
由于单个RGB图像的不利低对比度和弱可见性问题,低光图像增强(LLE)仍然具有挑战性。在本文中,我们回应了有趣的学习相关问题 - 如果利用可访问的既可接近的过分配对/曝光过度的图像和高级别的语义指导,可以提高尖端LLE模型的性能?在这里,我们提出了一种有效的语义对比的学习范例(即SCL-LLE)。除了现有的LLE智慧之外,它将图像增强任务施放为多任务联合学习,其中LLE被转换为对比学习,语义亮度一致性的三个约束,同时确保曝光,纹理和颜色一致性。 SCL-LLE允许LLE模型从未配对的阳性(常灯)/否定(过度/曝光),并使其与场景语义进行互动以正规化图像增强网络,但高级语义知识的相互作用并且在以前的方法中很少地研究了低级信号。培训易于获得的开放数据,广泛的实验表明,我们的方法超越了六个独立的交叉场景数据集的最先进的LLE模型。此外,讨论了SCL-LLE在极暗条件下有益于下游语义分割的潜力。源代码:https://github.com/linglix/sclle。
translated by 谷歌翻译
在该工作中提出了一种基于CNN的交互式对比增强算法,称为ICENET,其使用户能够根据他或她的偏好来调整图像对比度。具体地,用户提供了用于控制全局亮度和两种类型的涂鸦的参数,以使图像中的变暗或亮亮局部区域。然后,考虑到这些注释,ICENET估计用于像素 - 明智的伽马校正的伽马图。最后,通过颜色恢复,获得增强的图像。用户可以迭代地提供注释以获得令人满意的图像。ICENET还能够自动生产个性化增强型图像,这可以作为进一步调整的基础,如果需要。此外,为了有效且可靠地培训ICENET,我们提出了三种可分子化的损失。广泛的实验表明,ICENET可以为用户提供令人满意的增强图像。
translated by 谷歌翻译
Deep learning-based methods have achieved remarkable success in image restoration and enhancement, but are they still competitive when there is a lack of paired training data? As one such example, this paper explores the low-light image enhancement problem, where in practice it is extremely challenging to simultaneously take a low-light and a normal-light photo of the same visual scene. We propose a highly effective unsupervised generative adversarial network, dubbed Enlight-enGAN, that can be trained without low/normal-light image pairs, yet proves to generalize very well on various real-world test images. Instead of supervising the learning using ground truth data, we propose to regularize the unpaired training using the information extracted from the input itself, and benchmark a series of innovations for the low-light image enhancement problem, including a global-local discriminator structure, a selfregularized perceptual loss fusion, and the attention mechanism. Through extensive experiments, our proposed approach outperforms recent methods under a variety of metrics in terms of visual quality and subjective user study. Thanks to the great flexibility brought by unpaired training, EnlightenGAN is demonstrated to be easily adaptable to enhancing real-world images from various domains. Our codes and pre-trained models are available at: https://github.com/VITA-Group/EnlightenGAN.
translated by 谷歌翻译
夜间摄影通常由于昏暗的环境和长期使用而遭受弱光和模糊问题。尽管现有的光增强和脱毛方法可以单独解决每个问题,但一系列此类方法不能和谐地适应可见性和纹理的共同降解。训练端到端网络也是不可行的,因为没有配对数据可以表征低光和模糊的共存。我们通过引入新的数据合成管道来解决该问题,该管道对现实的低光模糊降解进行建模。使用管道,我们介绍了第一个用于关节低光增强和去皮的大型数据集。数据集,LOL-BLUR,包含12,000个低Blur/正常出现的对,在不同的情况下具有不同的黑暗和运动模糊。我们进一步提出了一个名为LEDNET的有效网络,以执行关节弱光增强和脱毛。我们的网络是独一无二的,因为它是专门设计的,目的是考虑两个相互连接的任务之间的协同作用。拟议的数据集和网络都为这项具有挑战性的联合任务奠定了基础。广泛的实验证明了我们方法对合成和现实数据集的有效性。
translated by 谷歌翻译
在不完美亮度条件下采取的照片的视觉质量可以通过多种因素来退化,例如,低亮度,成像噪声,颜色失真等。目前的低灯图像增强型号仅关注较低亮度的改善,或者简单地处理整体的所有退化因子,导致次优性能。在本文中,我们建议将增强模型分成两个顺序阶段。第一阶段侧重于基于像素明智的非线性映射来提高场景可见性。第二阶段专注于通过抑制其余变性因素来改善外观保真度。解耦模型有助于两个方面的增强。一方面,整个低光增强可以分为两个更容易的子组织。第一个只旨在增强可见性。它还有助于弥合低光和常光图像之间的大强度间隙。以这种方式,第二个子摊可以成形为局部外观调整。另一方面,由于从第一阶段学习的参数矩阵意识到亮度分布和场景结构,因此可以作为互补信息结合到第二阶段。在实验中,与其他低光图像增强模型相比,我们的模型在定性和定量比较方面表现出最先进的性能。此外,消融研究还验证了我们模型在多个方面的有效性,例如模型结构和损失功能。训练有素的模型可在https://github.com/hanxuhfut/decoupled-low-light-image-enhancement获得。
translated by 谷歌翻译
移动设备上的低光成像通常是由于不足的孔径穿过相对较小的孔径而挑战,导致信噪比较低。以前的大多数关于低光图像处理的作品仅关注单个任务,例如照明调整,颜色增强或删除噪声;或在密切依赖于从特定的摄像机模型中收集的长时间曝光图像对的关节照明调整和降解任务上,因此,这些方法在需要摄像机特定的关节增强和恢复的现实环境中不太实用且可推广。为了解决这个问题,在本文中,我们提出了一个低光图像处理框架,该框架可以执行关节照明调整,增强色彩和降解性。考虑到模型特异性数据收集的难度和捕获图像的超高定义,我们设计了两个分支:系数估计分支以及关节增强和denoising分支。系数估计分支在低分辨率空间中起作用,并预测通过双边学习增强的系数,而关节增强和去核分支在全分辨率空间中工作,并逐步执行关节增强和脱氧。与现有方法相反,我们的框架在适应另一个摄像机模型时不需要回忆大量数据,这大大减少了微调我们用于实际使用方法所需的努力。通过广泛的实验,与当前的最新方法相比,我们在现实世界中的低光成像应用中证明了它的巨大潜力。
translated by 谷歌翻译
在弱照明条件下捕获的图像可能会严重降低图像质量。求解一系列低光图像的降解可以有效地提高图像的视觉质量和高级视觉任务的性能。在本研究中,提出了一种新的基于RETINEX的实际网络(R2RNET),用于低光图像增强,其包括三个子网:DECOM-NET,DENOISE-NET和RELIGHT-NET。这三个子网分别用于分解,去噪,对比增强和细节保存。我们的R2RNET不仅使用图像的空间信息来提高对比度,还使用频率信息来保留细节。因此,我们的模型对所有退化的图像进行了更强大的结果。与在合成图像上培训的最先前的方法不同,我们收集了第一个大型现实世界配对的低/普通灯图像数据集(LSRW数据集),以满足培训要求,使我们的模型具有更好的现实世界中的泛化性能场景。对公共数据集的广泛实验表明,我们的方法在定量和视觉上以现有的最先进方法优于现有的现有方法。此外,我们的结果表明,通过使用我们在低光条件下的方法获得的增强的结果,可以有效地改善高级视觉任务(即面部检测)的性能。我们的代码和LSRW数据集可用于:https://github.com/abcdef2000/r2rnet。
translated by 谷歌翻译
在现实世界中,具有挑战性的照明条件(低光,不渗透和过度暴露)不仅具有令人不愉快的视觉外观,而且还要污染计算机视觉任务。现有的光自适应方法通常分别处理每种条件。而且,其中大多数经常在原始图像上运行或过度简化相机图像信号处理(ISP)管道。通过将光转换管道分解为局部和全局ISP组件,我们提出了一个轻巧的快速照明自适应变压器(IAT),其中包括两个变压器式分支:本地估计分支和全球ISP分支。尽管本地分支估算与照明有关的像素的本地组件,但全局分支定义了可学习的Quires,可以参加整个图像以解码参数。我们的IAT还可以在各种光条件下同时进行对象检测和语义分割。我们已经在2个低级任务和3个高级任务上对多个现实世界数据集进行了广泛评估。我们的IAT只有90K参数和0.004S处理速度(不包括高级模块),其IAT始终达到了卓越的性能。代码可从https://github.com/cuiziteng/illumination-aptive-transformer获得
translated by 谷歌翻译
在极低光线条件下捕获图像会对标准相机管道带来重大挑战。图像变得太黑了,太吵了,这使得传统的增强技术几乎不可能申请。最近,基于学习的方法已经为此任务显示了非常有希望的结果,因为它们具有更大的表现力能力来允许提高质量。这些研究中的激励,在本文中,我们的目标是利用爆破摄影来提高性能,并从极端暗的原始图像获得更加锐利和更准确的RGB图像。我们提出的框架的骨干是一种新颖的粗良好网络架构,逐步产生高质量的输出。粗略网络预测了低分辨率,去噪的原始图像,然后将其馈送到精细网络以恢复微尺的细节和逼真的纹理。为了进一步降低噪声水平并提高颜色精度,我们将该网络扩展到置换不变结构,使得它作为输入突发为低光图像,并在特征级别地合并来自多个图像的信息。我们的实验表明,我们的方法通过生产更详细和相当更高的质量的图像来引起比最先进的方法更令人愉悦的结果。
translated by 谷歌翻译
增强低光图像的质量在许多图像处理和多媒体应用中起着非常重要的作用。近年来,已经开发出各种深入的学习技术来解决这一具有挑战性的任务。典型的框架是同时估计照明和反射率,但它们忽略了在特征空间中封装的场景级上下文信息,从而导致许多不利的结果,例如,细节损失,颜色不饱和,工件等。为了解决这些问题,我们开发了一个新的上下文敏感的分解网络架构,用于利用空间尺度上的场景级上下文依赖项。更具体地说,我们构建了一种双流估计机制,包括反射率和照明估计网络。我们设计一种新的上下文敏感的分解连接来通过结合物理原理来桥接双流机制。进一步构建了空间改变的照明引导,用于实现照明组件的边缘感知平滑性特性。根据不同的培训模式,我们构建CSDNet(配对监督)和CSDGAN(UNS满分监督),以充分评估我们设计的架构。我们在七个测试基准测试中测试我们的方法,以进行大量的分析和评估的实验。由于我们设计的上下文敏感的分解连接,我们成功实现了出色的增强结果,这完全表明我们对现有最先进的方法的优势。最后,考虑到高效的实际需求,我们通过减少通道数来开发轻量级CSDNet(命名为LiteCsdnet)。此外,通过为这两个组件共享编码器,我们获得更轻量级的版本(短路SLITECSDNET)。 SLITECSDNET只包含0.0301M参数,但达到与CSDNET几乎相同的性能。
translated by 谷歌翻译
One of the main challenges in deep learning-based underwater image enhancement is the limited availability of high-quality training data. Underwater images are difficult to capture and are often of poor quality due to the distortion and loss of colour and contrast in water. This makes it difficult to train supervised deep learning models on large and diverse datasets, which can limit the model's performance. In this paper, we explore an alternative approach to supervised underwater image enhancement. Specifically, we propose a novel unsupervised underwater image enhancement framework that employs a conditional variational autoencoder (cVAE) to train a deep learning model with probabilistic adaptive instance normalization (PAdaIN) and statistically guided multi-colour space stretch that produces realistic underwater images. The resulting framework is composed of a U-Net as a feature extractor and a PAdaIN to encode the uncertainty, which we call UDnet. To improve the visual quality of the images generated by UDnet, we use a statistically guided multi-colour space stretch module that ensures visual consistency with the input image and provides an alternative to training using a ground truth image. The proposed model does not need manual human annotation and can learn with a limited amount of data and achieves state-of-the-art results on underwater images. We evaluated our proposed framework on eight publicly-available datasets. The results show that our proposed framework yields competitive performance compared to other state-of-the-art approaches in quantitative as well as qualitative metrics. Code available at https://github.com/alzayats/UDnet .
translated by 谷歌翻译
现有的未配对的低光图像增强方法更喜欢采用双向GAN框架,其中部署了两个CNN发生器以分别进行增强和降级。然而,这种数据驱动的模型忽略了低和正常光图像之间的变换的固有特性,导致不稳定的训练和伪像。在这里,我们建议利用可逆网络来增强前进过程中的低光图像,并与未配对的学习相反地降低正常光。然后将产生的和实际图像送入对抗性学习的鉴别器中。除了对抗性损失外,我们还设计各种损失功能,以确保培训的稳定性并保持更多图像细节。特别是,引入了可逆性损失以减轻过度暴露问题。此外,我们为低光图像提供了一种逐步的自我指导增强过程,对SOTA实现了良好的性能。
translated by 谷歌翻译