随着高动态范围（HDR）摄影的日益普及和可访问性，用于动态范围压缩和中等呈现的音调映射操作员（TMO）实际上是要求的。在本文中，我们开发了一种基于生物学的，计算效率和感知优化的两阶段神经网络图像TMO。在第一阶段，由人类视觉系统（HVS）早期阶段的生理学动机，我们首先将HDR图像分解为标准化的Laplacian金字塔。然后，我们使用两个轻巧的深神经网络（DNN），将这种归一化表示作为输入并估计相应LDR图像的拉普拉斯金字塔。我们通过最小化标准化的拉普拉斯金字塔距离（NLPD）来优化音调映射网络，这是一种对人类对音调映射图像质量判断的校准的感知度量。在第二阶段中，我们通过输入HDR图像``校准''，生成具有不同颜色饱和度和细节可见性的伪型曝光图像堆栈。然后，我们通过最大化MEF-SSIM的变体，这是另一个具有感知校准的度量以进行图像融合，将另一个轻巧的DNN训练将LDR图像堆叠融合到所需的LDR图像中。通过这样做，提出的TMO是完全自动的，以映射未校准的HDR图像。在一组独立的HDR图像中，我们发现我们的方法生成具有更好的视觉质量的图像，并且是本地最快的TMO之一。

在过去的几十年中，盲目的图像质量评估（BIQA）旨在准确地预测图像质量而无需任何原始参考信息，但一直在广泛关注。特别是，在深层神经网络的帮助下，取得了巨大进展。但是，对于夜间图像（NTI）的BIQA的研究仍然较少，通常患有复杂的真实扭曲，例如可见性降低，低对比度，添加噪声和颜色失真。这些多样化的真实降解特别挑战了有效的深神网络的设计，用于盲目NTI质量评估（NTIQE）。在本文中，我们提出了一个新颖的深层分解和双线性池网络（DDB-NET），以更好地解决此问题。 DDB-NET包含三个模块，即图像分解模块，一个特征编码模块和双线性池模块。图像分解模块的灵感来自Itinex理论，并涉及将输入NTI解耦到负责照明信息的照明层组件和负责内容信息的反射层组件。然后，编码模块的功能涉及分别植根于两个解耦组件的降解的特征表示。最后，通过将照明相关和与内容相关的降解作为两因素变化进行建模，将两个特征集组合在一起，将双线汇总在一起以形成统一的表示，以进行质量预测。在几个基准数据集上进行了广泛的实验，已对所提出的DDB-NET的优势得到了很好的验证。源代码将很快提供。

在不完美亮度条件下采取的照片的视觉质量可以通过多种因素来退化，例如，低亮度，成像噪声，颜色失真等。目前的低灯图像增强型号仅关注较低亮度的改善，或者简单地处理整体的所有退化因子，导致次优性能。在本文中，我们建议将增强模型分成两个顺序阶段。第一阶段侧重于基于像素明智的非线性映射来提高场景可见性。第二阶段专注于通过抑制其余变性因素来改善外观保真度。解耦模型有助于两个方面的增强。一方面，整个低光增强可以分为两个更容易的子组织。第一个只旨在增强可见性。它还有助于弥合低光和常光图像之间的大强度间隙。以这种方式，第二个子摊可以成形为局部外观调整。另一方面，由于从第一阶段学习的参数矩阵意识到亮度分布和场景结构，因此可以作为互补信息结合到第二阶段。在实验中，与其他低光图像增强模型相比，我们的模型在定性和定量比较方面表现出最先进的性能。此外，消融研究还验证了我们模型在多个方面的有效性，例如模型结构和损失功能。训练有素的模型可在https://github.com/hanxuhfut/decoupled-low-light-image-enhancement获得。

在极低光线条件下捕获图像会对标准相机管道带来重大挑战。图像变得太黑了，太吵了，这使得传统的增强技术几乎不可能申请。最近，基于学习的方法已经为此任务显示了非常有希望的结果，因为它们具有更大的表现力能力来允许提高质量。这些研究中的激励，在本文中，我们的目标是利用爆破摄影来提高性能，并从极端暗的原始图像获得更加锐利和更准确的RGB图像。我们提出的框架的骨干是一种新颖的粗良好网络架构，逐步产生高质量的输出。粗略网络预测了低分辨率，去噪的原始图像，然后将其馈送到精细网络以恢复微尺的细节和逼真的纹理。为了进一步降低噪声水平并提高颜色精度，我们将该网络扩展到置换不变结构，使得它作为输入突发为低光图像，并在特征级别地合并来自多个图像的信息。我们的实验表明，我们的方法通过生产更详细和相当更高的质量的图像来引起比最先进的方法更令人愉悦的结果。

移动设备上的低光成像通常是由于不足的孔径穿过相对较小的孔径而挑战，导致信噪比较低。以前的大多数关于低光图像处理的作品仅关注单个任务，例如照明调整，颜色增强或删除噪声；或在密切依赖于从特定的摄像机模型中收集的长时间曝光图像对的关节照明调整和降解任务上，因此，这些方法在需要摄像机特定的关节增强和恢复的现实环境中不太实用且可推广。为了解决这个问题，在本文中，我们提出了一个低光图像处理框架，该框架可以执行关节照明调整，增强色彩和降解性。考虑到模型特异性数据收集的难度和捕获图像的超高定义，我们设计了两个分支：系数估计分支以及关节增强和denoising分支。系数估计分支在低分辨率空间中起作用，并预测通过双边学习增强的系数，而关节增强和去核分支在全分辨率空间中工作，并逐步执行关节增强和脱氧。与现有方法相反，我们的框架在适应另一个摄像机模型时不需要回忆大量数据，这大大减少了微调我们用于实际使用方法所需的努力。通过广泛的实验，与当前的最新方法相比，我们在现实世界中的低光成像应用中证明了它的巨大潜力。

Objective methods for assessing perceptual image quality have traditionally attempted to quantify the visibility of errors between a distorted image and a reference image using a variety of known properties of the human visual system. Under the assumption that human visual perception is highly adapted for extracting structural information from a scene, we introduce an alternative framework for quality assessment based on the degradation of structural information. As a specific example of this concept, we develop a Structural Similarity Index and demonstrate its promise through a set of intuitive examples, as well as comparison to both subjective ratings and state-of-the-art objective methods on a database of images compressed with JPEG and JPEG2000. 1

高动态范围（HDR）成像是一种允许广泛的动态曝光范围的技术，这在图像处理，计算机图形和计算机视觉中很重要。近年来，使用深度学习（DL），HDR成像有重大进展。本研究对深层HDR成像方法的最新发展进行了综合和富有洞察力的调查和分析。在分层和结构上，将现有的深层HDR成像方法基于（1）输入曝光的数量/域，（2）学习任务数，（3）新传感器数据，（4）新的学习策略，（5）应用程序。重要的是，我们对关于其潜在和挑战的每个类别提供建设性的讨论。此外，我们审查了深度HDR成像的一些关键方面，例如数据集和评估指标。最后，我们突出了一些打开的问题，并指出了未来的研究方向。

低光图像增强（LLIE）旨在提高在环境中捕获的图像的感知或解释性，较差的照明。该领域的最新进展由基于深度学习的解决方案为主，其中许多学习策略，网络结构，丢失功能，培训数据等已被采用。在本文中，我们提供了全面的调查，以涵盖从算法分类到开放问题的各个方面。为了检查现有方法的概括，我们提出了一个低光图像和视频数据集，其中图像和视频是在不同的照明条件下的不同移动电话的相机拍摄的。除此之外，我们首次提供统一的在线平台，涵盖许多流行的LLIE方法，其中结果可以通过用户友好的Web界面生产。除了在公开和我们拟议的数据集上对现有方法的定性和定量评估外，我们还验证了他们在黑暗中的脸部检测中的表现。这项调查与拟议的数据集和在线平台一起作为未来研究的参考来源和促进该研究领域的发展。拟议的平台和数据集以及收集的方法，数据集和评估指标是公开可用的，并将经常更新。

Deep learning-based methods have achieved remarkable success in image restoration and enhancement, but are they still competitive when there is a lack of paired training data? As one such example, this paper explores the low-light image enhancement problem, where in practice it is extremely challenging to simultaneously take a low-light and a normal-light photo of the same visual scene. We propose a highly effective unsupervised generative adversarial network, dubbed Enlight-enGAN, that can be trained without low/normal-light image pairs, yet proves to generalize very well on various real-world test images. Instead of supervising the learning using ground truth data, we propose to regularize the unpaired training using the information extracted from the input itself, and benchmark a series of innovations for the low-light image enhancement problem, including a global-local discriminator structure, a selfregularized perceptual loss fusion, and the attention mechanism. Through extensive experiments, our proposed approach outperforms recent methods under a variety of metrics in terms of visual quality and subjective user study. Thanks to the great flexibility brought by unpaired training, EnlightenGAN is demonstrated to be easily adaptable to enhancing real-world images from various domains. Our codes and pre-trained models are available at: https://github.com/VITA-Group/EnlightenGAN.

最近的创新表明，通过单个低动态范围（LDR）传感器捕获的细节的混合克服了标准数码相机的局限性，以捕获高动态范围场景的细节。我们提出了一种生成曝光良好的融合图像的方法，该图像可以直接显示在常规显示器上。野心是为了保存细节较差且鲜明照明的地区。提出的方法不需要真正的辐射重建和音调操纵步骤。通过考虑到跨输入暴露的地方信息衡量的本地信息度量，可以实现上述目标。此外，引入了对比度有限的自适应直方图均衡（CLAHE），以提高融合之前输入多曝光图像的均匀性。

With the development of convolutional neural networks, hundreds of deep learning based dehazing methods have been proposed. In this paper, we provide a comprehensive survey on supervised, semi-supervised, and unsupervised single image dehazing. We first discuss the physical model, datasets, network modules, loss functions, and evaluation metrics that are commonly used. Then, the main contributions of various dehazing algorithms are categorized and summarized. Further, quantitative and qualitative experiments of various baseline methods are carried out. Finally, the unsolved issues and challenges that can inspire the future research are pointed out. A collection of useful dehazing materials is available at \url{https://github.com/Xiaofeng-life/AwesomeDehazing}.

The paper presents a novel method, Zero-Reference Deep Curve Estimation (Zero-DCE), which formulates light enhancement as a task of image-specific curve estimation with a deep network. Our method trains a lightweight deep network, DCE-Net, to estimate pixel-wise and high-order curves for dynamic range adjustment of a given image. The curve estimation is specially designed, considering pixel value range, monotonicity, and differentiability. Zero-DCE is appealing in its relaxed assumption on reference images, i.e., it does not require any paired or unpaired data during training. This is achieved through a set of carefully formulated non-reference loss functions, which implicitly measure the enhancement quality and drive the learning of the network. Our method is efficient as image enhancement can be achieved by an intuitive and simple nonlinear curve mapping. Despite its simplicity, we show that it generalizes well to diverse lighting conditions. Extensive experiments on various benchmarks demonstrate the advantages of our method over state-of-the-art methods qualitatively and quantitatively. Furthermore, the potential benefits of our Zero-DCE to face detection in the dark are discussed.

在本文中，我们使第一个基准测试精力阐述在低光增强中使用原始图像的优越性，并开发一种以更灵活和实用的方式利用原始图像的新颖替代路线。通过对典型图像处理管道进行充分考虑的启发，我们受到启发，开发了一种新的评估框架，分解增强模型（FEM），它将原始图像的属性分解成可测量的因素，并提供了探索原始图像属性的工具凭经验影响增强性能。经验基金基准结果表明，在元数据中记录的数据和曝光时间的线性起作用最关键的作用，这在将SRGB图像作为输入中的方法采取各种措施中提出了不同的性能增益。通过从基准测试结果中获得的洞察力，开发了一种原始曝光增强网络（REENET），这在实际应用中的实际应用中的优缺点与仅在原始图像中的原始应用中的优点和可接近之间的权衡培训阶段。 Reenet将SRGB图像投影到线性原域中，以应用相应的原始图像的约束，以减少建模培训的难度。之后，在测试阶段，我们的reenet不依赖于原始图像。实验结果不仅展示了Reenet到最先进的SRGB的方法以及原始指导和所有组件的有效性。

This paper presents a novel intrinsic image transfer (IIT) algorithm for illumination manipulation, which creates a local image translation between two illumination surfaces. This model is built on an optimization-based framework consisting of three photo-realistic losses defined on the sub-layers factorized by an intrinsic image decomposition. We illustrate that all losses can be reduced without the necessity of taking an intrinsic image decomposition under the well-known spatial-varying illumination illumination-invariant reflectance prior knowledge. Moreover, with a series of relaxations, all of them can be directly defined on images, giving a closed-form solution for image illumination manipulation. This new paradigm differs from the prevailing Retinex-based algorithms, as it provides an implicit way to deal with the per-pixel image illumination. We finally demonstrate its versatility and benefits to the illumination-related tasks such as illumination compensation, image enhancement, and high dynamic range (HDR) image compression, and show the high-quality results on natural image datasets.

本文提出了一种有效融合多暴露输入并使用未配对数据集生成高质量的高动态范围（HDR）图像的方法。基于深度学习的HDR图像生成方法在很大程度上依赖于配对的数据集。地面真相图像在生成合理的HDR图像中起着领导作用。没有地面真理的数据集很难应用于训练深层神经网络。最近，在没有配对示例的情况下，生成对抗网络（GAN）证明了它们将图像从源域X转换为目标域y的潜力。在本文中，我们提出了一个基于GAN的网络，用于解决此类问题，同时产生愉快的HDR结果，名为Uphdr-Gan。提出的方法放松了配对数据集的约束，并了解了从LDR域到HDR域的映射。尽管丢失了这些对数据，但UPHDR-GAN可以借助修改后的GAN丢失，改进的歧视器网络和有用的初始化阶段正确处理由移动对象或未对准引起的幽灵伪像。所提出的方法保留了重要区域的细节并提高了总图像感知质量。与代表性方法的定性和定量比较证明了拟议的UPHDR-GAN的优越性。

基于对抗性学习的图像抑制方法，由于其出色的性能，已经在计算机视觉中进行了广泛的研究。但是，大多数现有方法对实际情况的质量功能有限，因为它们在相同场景的透明和合成的雾化图像上进行了培训。此外，它们在保留鲜艳的色彩和丰富的文本细节方面存在局限性。为了解决这些问题，我们开发了一个新颖的生成对抗网络，称为整体注意力融合对抗网络（HAAN），用于单个图像。 Haan由Fog2FogFogre块和FogFree2Fog块组成。在每个块中，有三个基于学习的模块，即雾除雾，颜色纹理恢复和雾合成，它们相互限制以生成高质量的图像。 Haan旨在通过学习雾图图像之间的整体通道空间特征相关性及其几个派生图像之间的整体通道空间特征相关性来利用纹理和结构信息的自相似性。此外，在雾合成模块中，我们利用大气散射模型来指导它，以通过新颖的天空分割网络专注于大气光优化来提高生成质量。关于合成和现实世界数据集的广泛实验表明，就定量准确性和主观的视觉质量而言，Haan的表现优于最先进的脱落方法。

虽然昼夜投影（ERP）是存储全向图像（也称为360度图像）的方便形式，但它既不是等区别也不是共形的，因此与随后的视觉通信不友好。在图像压缩的背景下，ERP将过度采样和变形和靠近杆子的东西，使得感知上最佳的比特分配难以实现。在传统的360度图像压缩中，引入了诸如区域明智的包装和平铺表示的技术以减轻过采样问题，实现有限的成功。在本文中，我们首次尝试学习用于全向图像压缩的深度神经网络之一。我们首先描述参数伪压花表示作为常见的伪变性地图突起的概括。提出了一种计算上易贪婪的方法，以确定关于速率失真性能的新型代理目标的假阴压表示的（子） - 优化配置。然后，我们提出了假阴压卷曲的360度图像压缩。在参数表示的合理约束下，可以通过标准卷积与所谓的假阴压填充有效地实现假阴压卷积。为了展示我们想法的可行性，我们实现了一个端到端的360度图像压缩系统，由学习的假阴短表示，分析变换，非均匀量化器，合成变换和熵模型组成。实验结果为19,790美元$ 9,790 $全向图像表明，我们的方法始终如一的比竞争方法达到更好的速率失真性能。此外，对于所有比特率的所有图像，我们的方法的视觉质量显着提高。

在过去的十年中，基于学习的图像质量评估（IQA）取得了显着的进步，但几乎所有人都考虑了两个关键组成部分 - 模型和数据 - 相对隔离。具体而言，以模型为中心的IQA着重于在固定和广泛重复使用的数据集上开发“更好”的客观质量方法，并具有过度拟合的危险。以数据为中心的IQA涉及进行心理物理实验来构建“更好”的人类通知数据集，不幸的是，在数据集创建期间，它忽略了当前的IQA模型。在本文中，我们首先设计了一系列实验，以计算探测模型和数据的这种隔离会阻碍IQA的进一步进展。然后，我们描述一个集成了以模型为中心和数据的IQA的计算框架。作为一个具体示例，我们设计了计算模块，以量化基于盲人IQA（BIQA）模型预测和深度内容感知特征的候选图像的值得采样性。实验结果表明，所提出的值得采样的模块成功地发现了所检查的BIQA模型的各种故障，这些模型确实值得包括在下一代数据集中。

随着深度学习（DL）的出现，超分辨率（SR）也已成为一个蓬勃发展的研究领域。然而，尽管结果有希望，但该领域仍然面临需要进一步研究的挑战，例如，允许灵活地采样，更有效的损失功能和更好的评估指标。我们根据最近的进步来回顾SR的域，并检查最新模型，例如扩散（DDPM）和基于变压器的SR模型。我们对SR中使用的当代策略进行了批判性讨论，并确定了有前途但未开发的研究方向。我们通过纳入该领域的最新发展，例如不确定性驱动的损失，小波网络，神经体系结构搜索，新颖的归一化方法和最新评估技术来补充先前的调查。我们还为整章中的模型和方法提供了几种可视化，以促进对该领域趋势的全球理解。最终，这篇综述旨在帮助研究人员推动DL应用于SR的界限。

在本文中，我们提出了一种使用自我监督的多任务学习的基于变换器的多曝光图像融合框架的传输。该框架基于编码器解码器网络，可以在大型自然图像数据集上培训，并且不需要地面真理融合图像。我们根据多曝光图像的特点设计三个自我监督的重建任务，并使用多任务学习同时进行这些任务;通过该过程，网络可以学习多曝光图像的特征并提取更多的广义特征。此外，为了补偿在基于CNN的架构中建立远程依赖性的缺陷，我们设计了一个与变压器模块相结合的编码器。这种组合使网络能够专注于本地和全局信息。我们评估了我们的方法，并将其与最新释放的多曝光图像融合基准数据集进行了11个基于竞争的传统和深入学习的方法，我们的方法在主观和客观评估中实现了最佳性能。