在本文中，我们提出了一种添加在生成的对抗网络（GaN）中不可替代的约束的方法（GaN）的任意大小原始拜耳图像生成。理论上，通过使用GaN培训中的转换数据来说，它能够改善原始数据分布的学习，由于在可逆性和可微分的变换下的两个分布之间的Jensen-Shannon（JS）发散。受益于所提出的方法，可以通过将变换配置为Demosaicing来生成原始拜耳图案图像。结果表明，通过添加另一个变换，所提出的方法能够合成具有任意尺寸的高质量未加工拜耳图像。实验结果表明，所提出的方法生成的图像优于FR \'Echet Inception距离（FID）得分中的现有方法，峰值信号到噪声比（PSNR），以及平均结构相似度（MSSIM），训练过程更多稳定的。为了提出作者的最佳知识，未加工拜耳域中没有开源，大型图像数据集，这对于研究工程至关重要，旨在探索计算机视觉任务的图像信号处理（ISP）管道设计。将现有的常用彩色图像数据集转换为相应的博客版本，所提出的方法可以是对原始图像数据集问题的有希望的解决方案。我们还在实验中显示，通过使用合成的原始拜耳图像训练对象检测框架，可以以端到端的方式（从原始图像到视觉任务）使用，具有可忽略的性能下降。

Conventional cameras capture image irradiance on a sensor and convert it to RGB images using an image signal processor (ISP). The images can then be used for photography or visual computing tasks in a variety of applications, such as public safety surveillance and autonomous driving. One can argue that since RAW images contain all the captured information, the conversion of RAW to RGB using an ISP is not necessary for visual computing. In this paper, we propose a novel $\rho$-Vision framework to perform high-level semantic understanding and low-level compression using RAW images without the ISP subsystem used for decades. Considering the scarcity of available RAW image datasets, we first develop an unpaired CycleR2R network based on unsupervised CycleGAN to train modular unrolled ISP and inverse ISP (invISP) models using unpaired RAW and RGB images. We can then flexibly generate simulated RAW images (simRAW) using any existing RGB image dataset and finetune different models originally trained for the RGB domain to process real-world camera RAW images. We demonstrate object detection and image compression capabilities in RAW-domain using RAW-domain YOLOv3 and RAW image compressor (RIC) on snapshots from various cameras. Quantitative results reveal that RAW-domain task inference provides better detection accuracy and compression compared to RGB-domain processing. Furthermore, the proposed \r{ho}-Vision generalizes across various camera sensors and different task-specific models. Additional advantages of the proposed $\rho$-Vision that eliminates the ISP are the potential reductions in computations and processing times.

With the development of convolutional neural networks, hundreds of deep learning based dehazing methods have been proposed. In this paper, we provide a comprehensive survey on supervised, semi-supervised, and unsupervised single image dehazing. We first discuss the physical model, datasets, network modules, loss functions, and evaluation metrics that are commonly used. Then, the main contributions of various dehazing algorithms are categorized and summarized. Further, quantitative and qualitative experiments of various baseline methods are carried out. Finally, the unsolved issues and challenges that can inspire the future research are pointed out. A collection of useful dehazing materials is available at \url{https://github.com/Xiaofeng-life/AwesomeDehazing}.

近年来已经提出了显示屏下的显示器，作为减少移动设备的形状因子的方式，同时最大化屏幕区域。不幸的是，将相机放在屏幕后面导致显着的图像扭曲，包括对比度，模糊，噪音，色移，散射伪像和降低光敏性的损失。在本文中，我们提出了一种图像恢复管道，其是ISP-Annostic，即它可以与任何传统ISP组合，以产生使用相同的ISP与常规相机外观匹配的最终图像。这是通过执行Raw-Raw Image Restoration的深度学习方法来实现的。为了获得具有足够对比度和场景多样性的大量实际展示摄像机培训数据，我们还开发利用HDR监视器的数据捕获方法，以及数据增强方法以产生合适的HDR内容。监视器数据补充有现实世界的数据，该数据具有较少的场景分集，但允许我们实现细节恢复而不受监视器分辨率的限制。在一起，这种方法成功地恢复了颜色和对比度以及图像细节。

在本文中，我们使第一个基准测试精力阐述在低光增强中使用原始图像的优越性，并开发一种以更灵活和实用的方式利用原始图像的新颖替代路线。通过对典型图像处理管道进行充分考虑的启发，我们受到启发，开发了一种新的评估框架，分解增强模型（FEM），它将原始图像的属性分解成可测量的因素，并提供了探索原始图像属性的工具凭经验影响增强性能。经验基金基准结果表明，在元数据中记录的数据和曝光时间的线性起作用最关键的作用，这在将SRGB图像作为输入中的方法采取各种措施中提出了不同的性能增益。通过从基准测试结果中获得的洞察力，开发了一种原始曝光增强网络（REENET），这在实际应用中的实际应用中的优缺点与仅在原始图像中的原始应用中的优点和可接近之间的权衡培训阶段。 Reenet将SRGB图像投影到线性原域中，以应用相应的原始图像的约束，以减少建模培训的难度。之后，在测试阶段，我们的reenet不依赖于原始图像。实验结果不仅展示了Reenet到最先进的SRGB的方法以及原始指导和所有组件的有效性。

One of the main challenges in deep learning-based underwater image enhancement is the limited availability of high-quality training data. Underwater images are difficult to capture and are often of poor quality due to the distortion and loss of colour and contrast in water. This makes it difficult to train supervised deep learning models on large and diverse datasets, which can limit the model's performance. In this paper, we explore an alternative approach to supervised underwater image enhancement. Specifically, we propose a novel unsupervised underwater image enhancement framework that employs a conditional variational autoencoder (cVAE) to train a deep learning model with probabilistic adaptive instance normalization (PAdaIN) and statistically guided multi-colour space stretch that produces realistic underwater images. The resulting framework is composed of a U-Net as a feature extractor and a PAdaIN to encode the uncertainty, which we call UDnet. To improve the visual quality of the images generated by UDnet, we use a statistically guided multi-colour space stretch module that ensures visual consistency with the input image and provides an alternative to training using a ground truth image. The proposed model does not need manual human annotation and can learn with a limited amount of data and achieves state-of-the-art results on underwater images. We evaluated our proposed framework on eight publicly-available datasets. The results show that our proposed framework yields competitive performance compared to other state-of-the-art approaches in quantitative as well as qualitative metrics. Code available at https://github.com/alzayats/UDnet .

由少量镜头组成的全景环形镜头（PAL）在全景周围具有巨大潜力，该镜头围绕着移动和可穿戴设备的传感任务，因为其尺寸很小，并且视野很大（FOV）。然而，由于缺乏畸变校正的镜头，小体积PAL的图像质量仅限于光学极限。在本文中，我们提出了一个环形计算成像（ACI）框架，以打破轻质PAL设计的光学限制。为了促进基于学习的图像恢复，我们引入了基于波浪的模拟管道，用于全景成像，并通过多个数据分布来应对合成间隙。提出的管道可以轻松地适应具有设计参数的任何PAL，并且适用于宽松的设计。此外，我们考虑了全景成像和物理知识学习的物理先验，我们设计了物理知情的图像恢复网络（PI2RNET）。在数据集级别，我们创建了Divpano数据集，其广泛的实验表明，我们提出的网络在空间变化的降级下在全景图像恢复中设置了新的最新技术。此外，对只有3个球形镜头的简单PAL上提议的ACI的评估揭示了高质量全景成像与紧凑设计之间的微妙平衡。据我们所知，我们是第一个探索PAL中计算成像（CI）的人。代码和数据集将在https://github.com/zju-jiangqi/aci-pi2rnet上公开提供。

本文介绍了用于合成近红外（NIR）图像生成和边界盒水平检测系统的数据集。不可否认的是，诸如Tensorflow或Pytorch之类的高质量机器学习框架以及大规模的Imagenet或可可数据集借助于加速GPU硬件，已将机器学习技术的极限推向了数十多年。在这些突破中，高质量的数据集是可以在模型概括和数据驱动的深神经网络的部署方面取得成功的基本构件之一。特别是，综合数据生成任务通常比其他监督方法需要更多的培训样本。因此，在本文中，我们共享从两个公共数据集（即Nirscene和Sen12ms）和我们的新颖NIR+RGB甜椒（辣椒（辣椒）数据集）重新处理的NIR+RGB数据集。我们定量和定性地证明了这些NIR+RGB数据集足以用于合成NIR图像生成。对于NIRSCENE1，SEN12MS和SEWT PEPPER数据集，我们实现了第11.36、26.53、26.53、26.53和40.15的距离（FID）。此外，我们发布了11个水果边界盒的手动注释，可以使用云服务将其作为各种格式导出。四个新添加的水果[蓝莓，樱桃，猕猴桃和小麦]化合物11新颖的边界盒数据集，在我们先前的DeepFruits项目中提出的作品[Apple，Appsicum，Capsicum，Capsicum，Mango，Orange，Rockmelon，Strawberry]。数据集的边界框实例总数为162K，可以从云服务中使用。为了评估数据集，YOLOV5单阶段检测器被利用并报告了令人印象深刻的平均水平前期，MAP [0.5：0.95]的结果为[min：0.49，最大：0.812]。我们希望这些数据集有用，并作为未来研究的基准。

区分计算机生成（CG）和自然摄影图像（PG）图像对于验证数字图像的真实性和独创性至关重要。但是，最近的尖端生成方法使CG图像中的合成质量很高，这使得这项具有挑战性的任务变得更加棘手。为了解决这个问题，提出了具有深层质地和高频特征的联合学习策略，以进行CG图像检测。我们首先制定并深入分析CG和PG图像的不同采集过程。基于这样的发现，即图像采集中的多个不同模块将导致对图像中基于卷积神经网络（CNN）渲染的不同敏感性不一致，我们提出了一个深层纹理渲染模块，以增强纹理差异和歧视性纹理表示。具体而言，生成语义分割图来指导仿射转换操作，该操作用于恢复输入图像不同区域中的纹理。然后，原始图像和原始图像和渲染图像的高频组件的组合被馈入配备了注意机制的多支球神经网络，该神经网络分别优化了中间特征，并分别促进了空间和通道维度的痕量探索。在两个公共数据集和一个具有更现实和多样化图像的新构建的数据集上进行的广泛实验表明，所提出的方法的表现优于现有方法，从而明确的余量。此外，结果还证明了拟议方法后处理操作和生成对抗网络（GAN）生成的图像的检测鲁棒性和泛化能力。

用于计算机视觉任务的现有神经网络容易受到对抗攻击的影响：向输入图像添加不可察觉的扰动可以欺骗这些方法，在没有扰动的情况下正确预测的图像对错误预测。各种防御方法已经提出了图像到图像映射方法，其中包括训练过程中的这些扰动或在预处理的去噪步骤中除去它们。在这样做时，现有方法通常忽略当今数据集中的自然RGB图像未被捕获，而实际上，从捕获中的各种劣化的原始滤色器阵列捕获中恢复。在这项工作中，我们利用此原始数据分布作为对抗防御之前的经验。具体而言，我们提出了一种模型 - 不可原谅的对抗性防御方法，其将输入的RGB图像映射到拜耳原始空间，并使用学习的摄像机图像信号处理（ISP）管道回输出RGB以消除潜在的对抗模式。所提出的方法充当了货架上的预处理模块，与模型特异性的对抗性培训方法不同，不需要培训对抗性图像。因此，该方法推广到未经额外再培训的未经看不见的任务。不同视觉任务的大型数据集（例如，Imagenet，CoCo）的实验（例如，分类，语义分割，对象检测）验证该方法显着优于跨任务域的现有方法。

图像超分辨率（SR）是重要的图像处理方法之一，可改善计算机视野领域的图像分辨率。在过去的二十年中，在超级分辨率领域取得了重大进展，尤其是通过使用深度学习方法。这项调查是为了在深度学习的角度进行详细的调查，对单像超分辨率的最新进展进行详细的调查，同时还将告知图像超分辨率的初始经典方法。该调查将图像SR方法分类为四个类别，即经典方法，基于学习的方法，无监督学习的方法和特定领域的SR方法。我们还介绍了SR的问题，以提供有关图像质量指标，可用参考数据集和SR挑战的直觉。使用参考数据集评估基于深度学习的方法。一些审查的最先进的图像SR方法包括增强的深SR网络（EDSR），周期循环gan（Cincgan），多尺度残留网络（MSRN），Meta残留密度网络（META-RDN） ，反复反射网络（RBPN），二阶注意网络（SAN），SR反馈网络（SRFBN）和基于小波的残留注意网络（WRAN）。最后，这项调查以研究人员将解决SR的未来方向和趋势和开放问题的未来方向和趋势。

本文提出了一种有效融合多暴露输入并使用未配对数据集生成高质量的高动态范围（HDR）图像的方法。基于深度学习的HDR图像生成方法在很大程度上依赖于配对的数据集。地面真相图像在生成合理的HDR图像中起着领导作用。没有地面真理的数据集很难应用于训练深层神经网络。最近，在没有配对示例的情况下，生成对抗网络（GAN）证明了它们将图像从源域X转换为目标域y的潜力。在本文中，我们提出了一个基于GAN的网络，用于解决此类问题，同时产生愉快的HDR结果，名为Uphdr-Gan。提出的方法放松了配对数据集的约束，并了解了从LDR域到HDR域的映射。尽管丢失了这些对数据，但UPHDR-GAN可以借助修改后的GAN丢失，改进的歧视器网络和有用的初始化阶段正确处理由移动对象或未对准引起的幽灵伪像。所提出的方法保留了重要区域的细节并提高了总图像感知质量。与代表性方法的定性和定量比较证明了拟议的UPHDR-GAN的优越性。

Deep learning-based methods have achieved significant performance for image defogging. However, existing methods are mainly developed for land scenes and perform poorly when dealing with overwater foggy images, since overwater scenes typically contain large expanses of sky and water. In this work, we propose a Prior map Guided CycleGAN (PG-CycleGAN) for defogging of images with overwater scenes. To promote the recovery of the objects on water in the image, two loss functions are exploited for the network where a prior map is designed to invert the dark channel and the min-max normalization is used to suppress the sky and emphasize objects. However, due to the unpaired training set, the network may learn an under-constrained domain mapping from foggy to fog-free image, leading to artifacts and loss of details. Thus, we propose an intuitive Upscaling Inception Module (UIM) and a Long-range Residual Coarse-to-fine framework (LRC) to mitigate this issue. Extensive experiments on qualitative and quantitative comparisons demonstrate that the proposed method outperforms the state-of-the-art supervised, semi-supervised, and unsupervised defogging approaches.

移动设备上的低光成像通常是由于不足的孔径穿过相对较小的孔径而挑战，导致信噪比较低。以前的大多数关于低光图像处理的作品仅关注单个任务，例如照明调整，颜色增强或删除噪声；或在密切依赖于从特定的摄像机模型中收集的长时间曝光图像对的关节照明调整和降解任务上，因此，这些方法在需要摄像机特定的关节增强和恢复的现实环境中不太实用且可推广。为了解决这个问题，在本文中，我们提出了一个低光图像处理框架，该框架可以执行关节照明调整，增强色彩和降解性。考虑到模型特异性数据收集的难度和捕获图像的超高定义，我们设计了两个分支：系数估计分支以及关节增强和denoising分支。系数估计分支在低分辨率空间中起作用，并预测通过双边学习增强的系数，而关节增强和去核分支在全分辨率空间中工作，并逐步执行关节增强和脱氧。与现有方法相反，我们的框架在适应另一个摄像机模型时不需要回忆大量数据，这大大减少了微调我们用于实际使用方法所需的努力。通过广泛的实验，与当前的最新方法相比，我们在现实世界中的低光成像应用中证明了它的巨大潜力。

数码相机通过图像信号处理器（ISP）将传感器原始读数转换为RGB图像。诸如图像去噪和颜色恒定的计算摄影任务通常在原始域中进行，部分原因是由于固有的硬件设计，而且由于引起了由直接传感器读数导致的噪声统计的吸引力的吸引力。尽管如此，与可用RGB数据的丰富和多样性相比，原始图像的可用性有限。最近的方法已经尝试通过估计RGB对原始映射来弥合这个差距：可手工制作的基于模型的方法，这些方法通常需要手动参数微调，而端到端的学习神经网络需要大量的培训数据，有时与复杂的训练程序，并且通常缺乏解释性和参数控制。为了解决这些现有的限制，我们提出了一种基于混合模型的基于混合模型和数据驱动的ISP，其构建在规范ISP运营中，并且是学习和可解释的。我们所提出的可逆模型，能够在原始和RGB域之间双向映射，采用丰富的参数表示的端到端学习，即词典，即没有直接参数监督，另外启用简单且合理的数据增强。我们证明我们的数据生成过程的价值在原始图像重建和原始图像去噪任务下，在两者中获得最先进的性能。此外，我们表明我们的ISP可以从少数数据样本中学习有意义的映射，并且尽管只有少数或零地面标签，但基于大字典的数据增强训练的那种培训的培训模型是有竞争力的。

在极低光线条件下捕获图像会对标准相机管道带来重大挑战。图像变得太黑了，太吵了，这使得传统的增强技术几乎不可能申请。最近，基于学习的方法已经为此任务显示了非常有希望的结果，因为它们具有更大的表现力能力来允许提高质量。这些研究中的激励，在本文中，我们的目标是利用爆破摄影来提高性能，并从极端暗的原始图像获得更加锐利和更准确的RGB图像。我们提出的框架的骨干是一种新颖的粗良好网络架构，逐步产生高质量的输出。粗略网络预测了低分辨率，去噪的原始图像，然后将其馈送到精细网络以恢复微尺的细节和逼真的纹理。为了进一步降低噪声水平并提高颜色精度，我们将该网络扩展到置换不变结构，使得它作为输入突发为低光图像，并在特征级别地合并来自多个图像的信息。我们的实验表明，我们的方法通过生产更详细和相当更高的质量的图像来引起比最先进的方法更令人愉悦的结果。

组织病理学分析是对癌前病变诊断的本金标准。从数字图像自动组织病理学分类的目标需要监督培训，这需要大量的专家注释，这可能是昂贵且耗时的收集。同时，精确分类从全幻灯片裁剪的图像斑块对于基于标准滑动窗口的组织病理学幻灯片分类方法是必不可少的。为了减轻这些问题，我们提出了一个精心设计的条件GaN模型，即hostogan，用于在类标签上合成现实组织病理学图像补丁。我们还研究了一种新颖的合成增强框架，可选择地添加由我们提出的HADOGAN生成的新的合成图像补丁，而不是直接扩展与合成图像的训练集。通过基于其指定标签的置信度和实际标记图像的特征相似性选择合成图像，我们的框架为合成增强提供了质量保证。我们的模型在两个数据集上进行评估：具有有限注释的宫颈组织病理学图像数据集，以及具有转移性癌症的淋巴结组织病理学图像的另一个数据集。在这里，我们表明利用具有选择性增强的组织产生的图像导致对宫颈组织病理学和转移性癌症数据集分别的分类性能（分别为6.7％和2.8％）的显着和一致性。

高动态范围（HDR）成像是一种允许广泛的动态曝光范围的技术，这在图像处理，计算机图形和计算机视觉中很重要。近年来，使用深度学习（DL），HDR成像有重大进展。本研究对深层HDR成像方法的最新发展进行了综合和富有洞察力的调查和分析。在分层和结构上，将现有的深层HDR成像方法基于（1）输入曝光的数量/域，（2）学习任务数，（3）新传感器数据，（4）新的学习策略，（5）应用程序。重要的是，我们对关于其潜在和挑战的每个类别提供建设性的讨论。此外，我们审查了深度HDR成像的一些关键方面，例如数据集和评估指标。最后，我们突出了一些打开的问题，并指出了未来的研究方向。

Deep learning-based methods have achieved remarkable success in image restoration and enhancement, but are they still competitive when there is a lack of paired training data? As one such example, this paper explores the low-light image enhancement problem, where in practice it is extremely challenging to simultaneously take a low-light and a normal-light photo of the same visual scene. We propose a highly effective unsupervised generative adversarial network, dubbed Enlight-enGAN, that can be trained without low/normal-light image pairs, yet proves to generalize very well on various real-world test images. Instead of supervising the learning using ground truth data, we propose to regularize the unpaired training using the information extracted from the input itself, and benchmark a series of innovations for the low-light image enhancement problem, including a global-local discriminator structure, a selfregularized perceptual loss fusion, and the attention mechanism. Through extensive experiments, our proposed approach outperforms recent methods under a variety of metrics in terms of visual quality and subjective user study. Thanks to the great flexibility brought by unpaired training, EnlightenGAN is demonstrated to be easily adaptable to enhancing real-world images from various domains. Our codes and pre-trained models are available at: https://github.com/VITA-Group/EnlightenGAN.

灰度图像着色是AI在信息恢复中的引人入胜的应用。该问题的天生性质不良的性质使其更具挑战性，因为输出可能是多模式的。目前正在使用的基于学习的方法为直接情况产生可接受的结果，但在没有明确的图形分离的情况下通常无法恢复上下文信息。同样，由于在完整图像特征上训练的单个模型不足以学习各种数据模式，因此图像遭受了颜色出血和饱和背景。为了解决这些问题，我们提出了一个基于GAN的配色框架。在我们的方法中，每个量身定制的GAN管道都会使前景（使用对象级特征）或背景（使用全图像功能）着色。前景管道采用了一个具有自我注意事项的残留无UNET作为其发电机，使用了全图像功能和可可数据集中的相应对象级特征训练。背景管道依赖于该位置数据集的全图像功能和其他培训示例。我们设计了一个基于密集的融合网络，以通过基于特征的融合来获得最终的有色图像。我们显示了通常用于评估多模式问题（例如图像着色）并使用多个感知指标对我们的框架进行广泛的绩效评估的非感知评估指标的缺点。我们的方法的表现优于大多数基于学习的方法，并且产生的结果与最新的方法相当。此外，我们进行了运行时分析，并获得了每个图像的平均推理时间24ms。