将外观的图像编辑成令人惊叹的照片需要技巧和时间。自动图像增强算法通过在没有用户交互的情况下生成高质量的图像来引起人们的兴趣。但是,照片的质量评估是主观的。即使在音调和颜色调整中,自动增强的一张照片对于适合用户偏好的挑战也很具有挑战性。为了解决此问题,我们提出了一种半自动图像增强算法,该算法可以通过控制一些参数来生成具有多种样式的高质量图像。我们首先将照片修饰的技能从高质量的图像中解脱出来,并为每种技能建立有效的增强系统。具体而言,编码器框架框架将修饰技能编码为潜在代码,并将它们解码为图像信号处理(ISP)函数的参数。 ISP函数在计算上是有效的,仅由19个参数组成。尽管我们需要多次推断才能获得所需的结果,但实验结果表明,所提出的方法在基准数据集上实现了最先进的性能,以提高图像质量和模型效率。
translated by 谷歌翻译
在现实世界中,具有挑战性的照明条件(低光,不渗透和过度暴露)不仅具有令人不愉快的视觉外观,而且还要污染计算机视觉任务。现有的光自适应方法通常分别处理每种条件。而且,其中大多数经常在原始图像上运行或过度简化相机图像信号处理(ISP)管道。通过将光转换管道分解为局部和全局ISP组件,我们提出了一个轻巧的快速照明自适应变压器(IAT),其中包括两个变压器式分支:本地估计分支和全球ISP分支。尽管本地分支估算与照明有关的像素的本地组件,但全局分支定义了可学习的Quires,可以参加整个图像以解码参数。我们的IAT还可以在各种光条件下同时进行对象检测和语义分割。我们已经在2个低级任务和3个高级任务上对多个现实世界数据集进行了广泛评估。我们的IAT只有90K参数和0.004S处理速度(不包括高级模块),其IAT始终达到了卓越的性能。代码可从https://github.com/cuiziteng/illumination-aptive-transformer获得
translated by 谷歌翻译
This paper presents a new neural network for enhancing underexposed photos. Instead of directly learning an image-to-image mapping as previous work, we introduce intermediate illumination in our network to associate the input with expected enhancement result, which augments the network's capability to learn complex photographic adjustment from expert-retouched input/output image pairs. Based on this model, we formulate a loss function that adopts constraints and priors on the illumination, prepare a new dataset of 3,000 underexposed image pairs, and train the network to effectively learn a rich variety of adjustment for diverse lighting conditions. By these means, our network is able to recover clear details, distinct contrast, and natural color in the enhancement results. We perform extensive experiments on the benchmark MIT-Adobe FiveK dataset and our new dataset, and show that our network is effective to deal with previously challenging images.
translated by 谷歌翻译
图像增强旨在通过修饰颜色和音调来提高照片的美学视觉质量,并且是专业数字摄影的必不可少的技术。近年来,基于学习的图像增强算法已达到有希望的表现,并吸引了日益普及。但是,典型的努力试图为所有像素的颜色转换构建一个均匀的增强子。它忽略了对照片重要的不同内容(例如,天空,海洋等)之间的像素差异,从而导致结果不令人满意。在本文中,我们提出了一个新颖的可学习背景知觉的4维查找表(4D LUT),该表通过适应性地学习照片上下文来实现每个图像中不同内容的增强。特别是,我们首先引入一个轻量级上下文编码器和一个参数编码器,以分别学习像素级类别的上下文图和一组图像自适应系数。然后,通过通过系数集成多个基础4D LUT来生成上下文感知的4D LUT。最后,可以通过将源图像和上下文图馈入融合的上下文感知的4D〜LUT来获得增强的图像。与传统的3D LUT(即RGB映射到RGB)相比,通常用于摄像机成像管道系统或工具,4D LUT,即RGBC(RGB+上下文)映射到RGB,可实现具有不同像素的颜色转换的最佳控制每个图像中的内容,即使它们具有相同的RGB值。实验结果表明,我们的方法在广泛使用的基准中优于其他最先进的方法。
translated by 谷歌翻译
图像修饰,旨在再生给定图像的视觉令人愉悦的演绎,是用户具有不同美学感觉的主观任务。大多数现有的方法都部署了确定性模型,以从特定的专家那里学习修饰样式,从而使其不太灵活地满足各种主观偏好。此外,由于对不同图像的有针对性处理,专家的内在多样性也被缺乏描述。为了避免此类问题,我们建议通过基于流动的架构来学习各种图像修饰。与直接生成输出图像的当前基于流的方法不同,我们认为在样式域中学习可以(i)将修饰样式从图像内容中解开,(ii)导致稳定的样式表现形式,并且(iii)避免空间不和谐效果。为了获得有意义的图像音调样式表示,设计了联合培训管道,设计由样式编码器,条件修饰网和图像音调样式正常化流量(TSFLOW)模块组成。特别是,样式编码器预测了输入图像的目标样式表示,该图像是用于修饰的修饰网中的条件信息,而TSFlow将样式表示向量映射到前向通行中的高斯分布。训练后,TSFlow可以通过从高斯分布中取样来生成多样的图像音调矢量。关于MIT-Adobe Fivk和PPR10K数据集的广泛实验表明,我们提出的方法对最新方法有利,并且有效地产生了不同的结果以满足不同的人类美学偏好。源代码和预培训模型可在https://github.com/ssrheart/tsflow上公开获得。
translated by 谷歌翻译
In this paper we present TreEnhance, an automatic method for low-light image enhancement capable of improving the quality of digital images. The method combines tree search theory, and in particular the Monte Carlo Tree Search (MCTS) algorithm, with deep reinforcement learning. Given as input a low-light image, TreEnhance produces as output its enhanced version together with the sequence of image editing operations used to obtain it. During the training phase, the method repeatedly alternates two main phases: a generation phase, where a modified version of MCTS explores the space of image editing operations and selects the most promising sequence, and an optimization phase, where the parameters of a neural network, implementing the enhancement policy, are updated. Two different inference solutions are proposed for the enhancement of new images: one is based on MCTS and is more accurate but more time and memory consuming; the other directly applies the learned policy and is faster but slightly less precise. As a further contribution, we propose a guided search strategy that "reverses" the enhancement procedure that a photo editor applied to a given input image. Unlike other methods from the state of the art, TreEnhance does not pose any constraint on the image resolution and can be used in a variety of scenarios with minimal tuning. We tested the method on two datasets: the Low-Light dataset and the Adobe Five-K dataset obtaining good results from both a qualitative and a quantitative point of view.
translated by 谷歌翻译
我们通过对修饰过程进行建模,以执行一系列新引入的可训练的神经色运算符来提出一种新型的图像修饰方法。神经颜色操作员模仿了传统颜色运算符的行为,并学习了Pixelwise Color Transformation,而其强度则由标量控制。为了反映颜色运算符的同构属性,我们采用了模棱两可的映射,并采用编码器编码器结构,该结构将非线性颜色转换映射到更简单的转换(即翻译),在高维空间中。通过分析全球图像统计数据,使用基于CNN的强度预测指标预测每个神经颜色操作员的标量强度。总体而言,我们的方法相当轻巧,并提供灵活的控件。实验和公共数据集的用户研究表明,与SOTA方法相比,我们的方法始终取得了最佳的结果。代码和数据将公开可用。
translated by 谷歌翻译
在本文中,我们使第一个基准测试精力阐述在低光增强中使用原始图像的优越性,并开发一种以更灵活和实用的方式利用原始图像的新颖替代路线。通过对典型图像处理管道进行充分考虑的启发,我们受到启发,开发了一种新的评估框架,分解增强模型(FEM),它将原始图像的属性分解成可测量的因素,并提供了探索原始图像属性的工具凭经验影响增强性能。经验基金基准结果表明,在元数据中记录的数据和曝光时间的线性起作用最关键的作用,这在将SRGB图像作为输入中的方法采取各种措施中提出了不同的性能增益。通过从基准测试结果中获得的洞察力,开发了一种原始曝光增强网络(REENET),这在实际应用中的实际应用中的优缺点与仅在原始图像中的原始应用中的优点和可接近之间的权衡培训阶段。 Reenet将SRGB图像投影到线性原域中,以应用相应的原始图像的约束,以减少建模培训的难度。之后,在测试阶段,我们的reenet不依赖于原始图像。实验结果不仅展示了Reenet到最先进的SRGB的方法以及原始指导和所有组件的有效性。
translated by 谷歌翻译
低光图像增强(LLIE)旨在提高在环境中捕获的图像的感知或解释性,较差的照明。该领域的最新进展由基于深度学习的解决方案为主,其中许多学习策略,网络结构,丢失功能,培训数据等已被采用。在本文中,我们提供了全面的调查,以涵盖从算法分类到开放问题的各个方面。为了检查现有方法的概括,我们提出了一个低光图像和视频数据集,其中图像和视频是在不同的照明条件下的不同移动电话的相机拍摄的。除此之外,我们首次提供统一的在线平台,涵盖许多流行的LLIE方法,其中结果可以通过用户友好的Web界面生产。除了在公开和我们拟议的数据集上对现有方法的定性和定量评估外,我们还验证了他们在黑暗中的脸部检测中的表现。这项调查与拟议的数据集和在线平台一起作为未来研究的参考来源和促进该研究领域的发展。拟议的平台和数据集以及收集的方法,数据集和评估指标是公开可用的,并将经常更新。
translated by 谷歌翻译
成像传感器在10-12位的动态范围内将传入场景光数字化(即1024--4096色调值)。然后将传感器图像加工在相机上,最后量化为仅8位(即256个音调值),以符合普遍的编码标准。有许多重要的应用程序,例如高位深度显示和照片编辑,有利于恢复丢失的位深度。深度神经网络在该位深度重建任务中是有效的。给定量化的低位深度图像作为输入,现有的深度学习方法采用单次方法,该方法尝试直接估计高位深度图像,或(2)直接估计高的剩余物 - 和低位深度图像。相比之下,我们提出了一种培训和推理策略,可以恢复剩余图像位平平面。我们的BitPlane-Wise学习框架具有允许在训练期间进行多级监督的优势,并且能够使用简单的网络架构获得最先进的结果。我们在多个图像数据集上广泛地测试了我们提出的方法,并在以前的方法上证明了0.5db至2.3db psnr的改进,这取决于量化水平。
translated by 谷歌翻译
低光图像增强是一个固有的主观过程,其目标随用户的美学而变化。在此激励的情况下,已经研究了几种个性化的增强方法。但是,基于这些技术中用户偏好的增强过程是不可见的,即“黑匣子”。在这项工作中,我们为低光图像提出了一个可理解的无监督个性化增强器(Iupenhancer),该图像建立了与三个用户友好型属性(亮度,色彩和噪音)有关的低光与未配对的参考图像之间的相关性。 。拟议的IUP增强剂接受了这些相关性的指导和相应的无监督损失函数的培训。我们的IUP-Enhancer不是“黑匣子”过程,而是带有上述属性的可理解增强过程。广泛的实验表明,所提出的算法会产生竞争性的定性和定量结果,同时保持出色的灵活性和可伸缩性。可以通过单个/多个参考,交叉归因引用或仅调整参数的个性化来验证。
translated by 谷歌翻译
One of the main challenges in deep learning-based underwater image enhancement is the limited availability of high-quality training data. Underwater images are difficult to capture and are often of poor quality due to the distortion and loss of colour and contrast in water. This makes it difficult to train supervised deep learning models on large and diverse datasets, which can limit the model's performance. In this paper, we explore an alternative approach to supervised underwater image enhancement. Specifically, we propose a novel unsupervised underwater image enhancement framework that employs a conditional variational autoencoder (cVAE) to train a deep learning model with probabilistic adaptive instance normalization (PAdaIN) and statistically guided multi-colour space stretch that produces realistic underwater images. The resulting framework is composed of a U-Net as a feature extractor and a PAdaIN to encode the uncertainty, which we call UDnet. To improve the visual quality of the images generated by UDnet, we use a statistically guided multi-colour space stretch module that ensures visual consistency with the input image and provides an alternative to training using a ground truth image. The proposed model does not need manual human annotation and can learn with a limited amount of data and achieves state-of-the-art results on underwater images. We evaluated our proposed framework on eight publicly-available datasets. The results show that our proposed framework yields competitive performance compared to other state-of-the-art approaches in quantitative as well as qualitative metrics. Code available at https://github.com/alzayats/UDnet .
translated by 谷歌翻译
图像自适应查找表(LUTS)由于对颜色变换进行建模的高效率,在实时图像增强任务中取得了巨大的成功。但是,他们以耦合方式将完整的转换嵌入了仅颜色组件独立于颜色的部分和与组件相关的部分,仅以1D或3D的形式嵌入到单一类型的LUT中。该方案提高了由于两个因素而提高模型表现力或效率的困境。一方面,一维LUTS提供了较高的计算效率,但缺乏颜色组件相互作用的关键能力。另一方面,3D LUTS具有增强的组件与转换功能增强,但具有重记忆足迹,高训练难度和有限的细胞利用率。受图像信号处理器中常规的划分和互动实践的启发,我们提出了塞普鲁特(可分开的图像自适应查找表),以应对上述限制。具体而言,我们分别将单个颜色转换为与组件无关和组件相关的子转换的级联反应,分别将其实例化为1D和3D LUTS。这样,两个子转换的功能可以互相促进,其中3D LUT可以补充混合颜色组件的能力,而1D LUT重新分配了输入颜色以增加3D LUT的单元格使用,从而启用了启用的单元格。使用更轻巧的3D LUT。实验表明,所提出的方法比当前的最新方法提高了图片修饰数据集的性能,并在GPU和CPU上实现实时处理。
translated by 谷歌翻译
我们考虑了在无法检测到细节的非常低光的环境中增强未忽视的深色图像的问题。现有方法学会将输入图像的暴露调整为预定值。但是,实际上,最佳增强曝光量从一个输入图像到另一个输入图像不等,因此,增强的图像可能包含视觉伪像,例如低对比度或黑暗区域。我们通过引入一个深度学习模型来解决此限制,该模型允许用户在运行时不断调整增强的曝光水平,以便根据其偏好优化输出。我们提供一个在极端弱光条件下在室外和室内场景中捕获的1500张原始图像的数据集,具有五个不同的曝光水平和各种相机参数,作为关键贡献。我们证明,与以前的方法相比,我们的方法可以显着提高在各种条件下在极度低光条件下捕获的图像的增强质量。
translated by 谷歌翻译
在该工作中提出了一种基于CNN的交互式对比增强算法,称为ICENET,其使用户能够根据他或她的偏好来调整图像对比度。具体地,用户提供了用于控制全局亮度和两种类型的涂鸦的参数,以使图像中的变暗或亮亮局部区域。然后,考虑到这些注释,ICENET估计用于像素 - 明智的伽马校正的伽马图。最后,通过颜色恢复,获得增强的图像。用户可以迭代地提供注释以获得令人满意的图像。ICENET还能够自动生产个性化增强型图像,这可以作为进一步调整的基础,如果需要。此外,为了有效且可靠地培训ICENET,我们提出了三种可分子化的损失。广泛的实验表明,ICENET可以为用户提供令人满意的增强图像。
translated by 谷歌翻译
如今,图像到图像翻译方法是增强自然图像的最新技术。即使它们通常在准确性方面表现出高度的表现,他们也经常受到一些限制,例如产生伪像以及对高分辨率的可扩展性。此外,他们的主要缺点是完全黑框的方法,它不允许为最终用户提供有关应用的增强过程的任何见解。在本文中,我们介绍了一种路径计划算法,该算法对通过最先进的增强方法产生的输出进行了分步说明,并克服了黑框的限制。该算法(称为Exie)使用A*算法的变体通过应用等效的增强运算符序列来模拟另一种方法的增强过程。我们应用了Exie来解释在五千数据集中训练的几种最先进模型的输出,从而获得了增强运算符的序列,能够在性能方面产生非常相似的结果,并克服了对差的巨大限制的巨大限制。最佳性能算法。
translated by 谷歌翻译
移动设备上的低光成像通常是由于不足的孔径穿过相对较小的孔径而挑战,导致信噪比较低。以前的大多数关于低光图像处理的作品仅关注单个任务,例如照明调整,颜色增强或删除噪声;或在密切依赖于从特定的摄像机模型中收集的长时间曝光图像对的关节照明调整和降解任务上,因此,这些方法在需要摄像机特定的关节增强和恢复的现实环境中不太实用且可推广。为了解决这个问题,在本文中,我们提出了一个低光图像处理框架,该框架可以执行关节照明调整,增强色彩和降解性。考虑到模型特异性数据收集的难度和捕获图像的超高定义,我们设计了两个分支:系数估计分支以及关节增强和denoising分支。系数估计分支在低分辨率空间中起作用,并预测通过双边学习增强的系数,而关节增强和去核分支在全分辨率空间中工作,并逐步执行关节增强和脱氧。与现有方法相反,我们的框架在适应另一个摄像机模型时不需要回忆大量数据,这大大减少了微调我们用于实际使用方法所需的努力。通过广泛的实验,与当前的最新方法相比,我们在现实世界中的低光成像应用中证明了它的巨大潜力。
translated by 谷歌翻译
基于深度学习的水下图像增强(UIE)面临的主要挑战是地面真相高质量的图像是不可用的。大多数现有方法首先生成近似参考图,然后可以确定地训练增强网络。这种方法无法处理参考图的歧义。在本文中,我们将UIE解决为分布估计和共识过程。我们提出了一个新颖的概率网络,以了解退化的水下图像的增强分布。具体而言,我们将条件变异自动编码器与自适应实例归一化结合在一起,以构建增强分布。之后,我们采用共识过程来根据分布中的一组样本来预测确定性结果。通过学习增强分布,我们的方法可以在某种程度上应对参考图标记中引入的偏差。此外,共识过程对于捕获强大而稳定的结果很有用。我们在两个广泛使用的现实水下图像增强数据集上检查了提出的方法。实验结果表明,我们的方法可以对可能的增强预测进行抽样。同时,与最先进的UIE方法相比,共识估计会产生竞争性能。代码可在https://github.com/zhenqifu/puie-net上找到。
translated by 谷歌翻译
我们提出曲线蒸馏,CUDI,以进行有效且可控的暴露调整,而无需在训练过程中配对或未配对的数据。我们的方法从有效的低光图像增强方法零DCE继承了零引用学习和基于曲线的框架,并以其推理速度进一步提高了其推理速度,减少其模型大小以及扩展到可控的暴露调整。通过新颖的曲线蒸馏实现了改进的推理速度和轻量级模型,该曲线蒸馏通过高阶曲线的切线线近似于常规曲线框架中耗时的迭代操作。通过新的自我监督的空间暴露控制损失,可控制的暴露调整成为可能,该损失限制了输出的不同空间区域的暴露水平,即接近接触映射的亮度分布,以作为输入条件。与大多数只能纠正不渗透或过度曝光的照片的方法不同,我们的方法可以使用单个模型纠正未充分曝光和过度曝光的照片。值得注意的是,我们的方法还可以在输入条件曝光图的指导下在全球或本地调整照片的曝光水平,该图可以在推理阶段进行预定或手动设置。通过广泛的实验,我们表明我们的方法在真实场景中的快速,稳健性和灵活的性能吸引了最先进的方法。项目页面:https://li-chongyi.github.io/cudi_files/。
translated by 谷歌翻译
The paper presents a novel method, Zero-Reference Deep Curve Estimation (Zero-DCE), which formulates light enhancement as a task of image-specific curve estimation with a deep network. Our method trains a lightweight deep network, DCE-Net, to estimate pixel-wise and high-order curves for dynamic range adjustment of a given image. The curve estimation is specially designed, considering pixel value range, monotonicity, and differentiability. Zero-DCE is appealing in its relaxed assumption on reference images, i.e., it does not require any paired or unpaired data during training. This is achieved through a set of carefully formulated non-reference loss functions, which implicitly measure the enhancement quality and drive the learning of the network. Our method is efficient as image enhancement can be achieved by an intuitive and simple nonlinear curve mapping. Despite its simplicity, we show that it generalizes well to diverse lighting conditions. Extensive experiments on various benchmarks demonstrate the advantages of our method over state-of-the-art methods qualitatively and quantitatively. Furthermore, the potential benefits of our Zero-DCE to face detection in the dark are discussed.
translated by 谷歌翻译