随着移动平台上对计算摄影和成像的需求不断增长，在相机系统中开发和集成了高级图像传感器与新型算法的发展。但是，缺乏用于研究的高质量数据以及从行业和学术界进行深入交流的难得的机会限制了移动智能摄影和成像（MIPI）的发展。为了弥合差距，我们介绍了第一个MIPI挑战，包括五个曲目，这些曲目着重于新型图像传感器和成像算法。在本文中，引入了RGBW关节Remosaic和Denoise，这是五个曲目之一，在全面分辨率上进行了RGBW CFA插值的插值。为参与者提供了一个新的数据集，其中包括70（培训）和15个（验证）高质量RGBW和拜耳对的场景。此外，对于每个场景，在0dB，24dB和42dB上提供了不同噪声水平的RGBW。所有数据均在室外和室内条件下使用RGBW传感器捕获。最终结果是使用PSNR，SSIM，LPIPS和KLD在内的客观指标评估的。本文提供了此挑战中所有模型的详细描述。有关此挑战的更多详细信息以及数据集的链接，请访问https://github.com/mipi-challenge/mipi2022。

随着移动平台上对计算摄影和成像的需求不断增长，在相机系统中开发和集成了高级图像传感器与新型算法的发展。但是，缺乏用于研究的高质量数据以及从行业和学术界进行深入交流的难得的机会限制了移动智能摄影和成像（MIPI）的发展。为了弥合差距，我们引入了第一个MIPI挑战，其中包括五个专注于新型图像传感器和成像算法的曲目。在本文中，引入了RGBW关节融合和Denoise，这是五个曲目之一，其中一条致力于将Binning模式RGBW融合到拜耳。为参与者提供了一个新的数据集，其中包括70（培训）和15个（验证）高质量RGBW和拜耳对的场景。此外，对于每个场景，在24dB和42dB处提供不同噪声水平的RGBW。所有数据均在室外和室内条件下使用RGBW传感器捕获。最终结果使用客观指标，包括PSNR，SSIM}，LPIPS和KLD评估。本文提供了此挑战中所有模型的详细描述。有关此挑战的更多详细信息以及数据集的链接，请访问https://github.com/mipi-challenge/mipi2022。

随着移动平台上对计算摄影和成像的需求不断增长，在相机系统中开发和集成了高级图像传感器与新型算法的发展。但是，缺乏用于研究的高质量数据以及从行业和学术界进行深入交流的难得的机会限制了移动智能摄影和成像（MIPI）的发展。为了弥合差距，我们引入了第一个MIPI挑战，其中包括五个专注于新型图像传感器和成像算法的曲目。在本文中，引入了QUAD Remosaic和Denoise，这是五个曲目之一，在完全分辨率上进行了四QFA插值向拜耳进行插值。为参与者提供了一个新的数据集，包括70（培训）和15个（验证）高品质四边形和拜耳对的场景。此外，对于每个场景，在0dB，24dB和42dB上提供了不同噪声水平的四边形。所有数据均在室外和室内条件下使用四边形传感器捕获。最终结果使用客观指标，包括PSNR，SSIM，LPIPS和KLD。本文提供了此挑战中所有模型的详细描述。有关此挑战的更多详细信息以及数据集的链接，请访问https://github.com/mipi-challenge/mipi2022。

The role of mobile cameras increased dramatically over the past few years, leading to more and more research in automatic image quality enhancement and RAW photo processing. In this Mobile AI challenge, the target was to develop an efficient end-to-end AI-based image signal processing (ISP) pipeline replacing the standard mobile ISPs that can run on modern smartphone GPUs using TensorFlow Lite. The participants were provided with a large-scale Fujifilm UltraISP dataset consisting of thousands of paired photos captured with a normal mobile camera sensor and a professional 102MP medium-format FujiFilm GFX100 camera. The runtime of the resulting models was evaluated on the Snapdragon's 8 Gen 1 GPU that provides excellent acceleration results for the majority of common deep learning ops. The proposed solutions are compatible with all recent mobile GPUs, being able to process Full HD photos in less than 20-50 milliseconds while achieving high fidelity results. A detailed description of all models developed in this challenge is provided in this paper.

随着对移动平台上对计算摄影和成像的需求不断增长，在相机系统中开发和集成了高级图像传感器与相机系统中新型算法。但是，缺乏用于研究的高质量数据以及从行业和学术界进行深入交流的难得的机会限制了移动智能摄影和成像（MIPI）的发展。为了弥合差距，我们介绍了第一个MIPI挑战，包括五个曲目，这些曲目着重于新型图像传感器和成像算法。在本文中，引入了RGB+TOF深度完成，这是五个曲目之一，其中一条介绍了RGB传感器和TOF传感器（带有点照明）的融合。为参与者提供了一个名为TetrasRGBD的新数据集，其中包含18k对高质量合成RGB+DEPTH训练数据和2.3k对来自混合源的测试数据。所有数据均在室内场景中收集。我们要求所有方法的运行时间都应在桌面GPU上实时。最终结果是使用客观指标和平均意见评分（MOS）主观评估的。本文提供了此挑战中所有模型的详细描述。有关此挑战的更多详细信息以及数据集的链接，请访问https://github.com/mipi-challenge/mipi2022。

随着移动平台上对计算摄影和成像的需求不断增长，在相机系统中开发和集成了高级图像传感器与新型算法的发展。但是，缺乏用于研究的高质量数据以及从行业和学术界进行深入交流的难得的机会限制了移动智能摄影和成像（MIPI）的发展。为了弥合差距，我们介绍了第一个MIPI挑战，包括五个曲目，这些曲目着重于新型图像传感器和成像算法。在本文中，我们总结并审查了MIPI 2022上的分配摄像头（UDC）图像恢复轨道。总共，成功注册了167名参与者，并在最终测试阶段提交了19个团队。在这项挑战中开发的解决方案在播放摄像头映像修复局上实现了最新的性能。本文提供了此挑战中所有模型的详细描述。有关此挑战的更多详细信息以及数据集的链接，请访问https://github.com/mipi-challenge/mipi2022。

在极低光线条件下捕获图像会对标准相机管道带来重大挑战。图像变得太黑了，太吵了，这使得传统的增强技术几乎不可能申请。最近，基于学习的方法已经为此任务显示了非常有希望的结果，因为它们具有更大的表现力能力来允许提高质量。这些研究中的激励，在本文中，我们的目标是利用爆破摄影来提高性能，并从极端暗的原始图像获得更加锐利和更准确的RGB图像。我们提出的框架的骨干是一种新颖的粗良好网络架构，逐步产生高质量的输出。粗略网络预测了低分辨率，去噪的原始图像，然后将其馈送到精细网络以恢复微尺的细节和逼真的纹理。为了进一步降低噪声水平并提高颜色精度，我们将该网络扩展到置换不变结构，使得它作为输入突发为低光图像，并在特征级别地合并来自多个图像的信息。我们的实验表明，我们的方法通过生产更详细和相当更高的质量的图像来引起比最先进的方法更令人愉悦的结果。

Video super-resolution is one of the most popular tasks on mobile devices, being widely used for an automatic improvement of low-bitrate and low-resolution video streams. While numerous solutions have been proposed for this problem, they are usually quite computationally demanding, demonstrating low FPS rates and power efficiency on mobile devices. In this Mobile AI challenge, we address this problem and propose the participants to design an end-to-end real-time video super-resolution solution for mobile NPUs optimized for low energy consumption. The participants were provided with the REDS training dataset containing video sequences for a 4X video upscaling task. The runtime and power efficiency of all models was evaluated on the powerful MediaTek Dimensity 9000 platform with a dedicated AI processing unit capable of accelerating floating-point and quantized neural networks. All proposed solutions are fully compatible with the above NPU, demonstrating an up to 500 FPS rate and 0.2 [Watt / 30 FPS] power consumption. A detailed description of all models developed in the challenge is provided in this paper.

Image super-resolution is a common task on mobile and IoT devices, where one often needs to upscale and enhance low-resolution images and video frames. While numerous solutions have been proposed for this problem in the past, they are usually not compatible with low-power mobile NPUs having many computational and memory constraints. In this Mobile AI challenge, we address this problem and propose the participants to design an efficient quantized image super-resolution solution that can demonstrate a real-time performance on mobile NPUs. The participants were provided with the DIV2K dataset and trained INT8 models to do a high-quality 3X image upscaling. The runtime of all models was evaluated on the Synaptics VS680 Smart Home board with a dedicated edge NPU capable of accelerating quantized neural networks. All proposed solutions are fully compatible with the above NPU, demonstrating an up to 60 FPS rate when reconstructing Full HD resolution images. A detailed description of all models developed in the challenge is provided in this paper.

在本文中，我们使第一个基准测试精力阐述在低光增强中使用原始图像的优越性，并开发一种以更灵活和实用的方式利用原始图像的新颖替代路线。通过对典型图像处理管道进行充分考虑的启发，我们受到启发，开发了一种新的评估框架，分解增强模型（FEM），它将原始图像的属性分解成可测量的因素，并提供了探索原始图像属性的工具凭经验影响增强性能。经验基金基准结果表明，在元数据中记录的数据和曝光时间的线性起作用最关键的作用，这在将SRGB图像作为输入中的方法采取各种措施中提出了不同的性能增益。通过从基准测试结果中获得的洞察力，开发了一种原始曝光增强网络（REENET），这在实际应用中的实际应用中的优缺点与仅在原始图像中的原始应用中的优点和可接近之间的权衡培训阶段。 Reenet将SRGB图像投影到线性原域中，以应用相应的原始图像的约束，以减少建模培训的难度。之后，在测试阶段，我们的reenet不依赖于原始图像。实验结果不仅展示了Reenet到最先进的SRGB的方法以及原始指导和所有组件的有效性。

近年来已经提出了显示屏下的显示器，作为减少移动设备的形状因子的方式，同时最大化屏幕区域。不幸的是，将相机放在屏幕后面导致显着的图像扭曲，包括对比度，模糊，噪音，色移，散射伪像和降低光敏性的损失。在本文中，我们提出了一种图像恢复管道，其是ISP-Annostic，即它可以与任何传统ISP组合，以产生使用相同的ISP与常规相机外观匹配的最终图像。这是通过执行Raw-Raw Image Restoration的深度学习方法来实现的。为了获得具有足够对比度和场景多样性的大量实际展示摄像机培训数据，我们还开发利用HDR监视器的数据捕获方法，以及数据增强方法以产生合适的HDR内容。监视器数据补充有现实世界的数据，该数据具有较少的场景分集，但允许我们实现细节恢复而不受监视器分辨率的限制。在一起，这种方法成功地恢复了颜色和对比度以及图像细节。

低光图像增强（LLIE）旨在提高在环境中捕获的图像的感知或解释性，较差的照明。该领域的最新进展由基于深度学习的解决方案为主，其中许多学习策略，网络结构，丢失功能，培训数据等已被采用。在本文中，我们提供了全面的调查，以涵盖从算法分类到开放问题的各个方面。为了检查现有方法的概括，我们提出了一个低光图像和视频数据集，其中图像和视频是在不同的照明条件下的不同移动电话的相机拍摄的。除此之外，我们首次提供统一的在线平台，涵盖许多流行的LLIE方法，其中结果可以通过用户友好的Web界面生产。除了在公开和我们拟议的数据集上对现有方法的定性和定量评估外，我们还验证了他们在黑暗中的脸部检测中的表现。这项调查与拟议的数据集和在线平台一起作为未来研究的参考来源和促进该研究领域的发展。拟议的平台和数据集以及收集的方法，数据集和评估指标是公开可用的，并将经常更新。

The increased importance of mobile photography created a need for fast and performant RAW image processing pipelines capable of producing good visual results in spite of the mobile camera sensor limitations. While deep learning-based approaches can efficiently solve this problem, their computational requirements usually remain too large for high-resolution on-device image processing. To address this limitation, we propose a novel PyNET-V2 Mobile CNN architecture designed specifically for edge devices, being able to process RAW 12MP photos directly on mobile phones under 1.5 second and producing high perceptual photo quality. To train and to evaluate the performance of the proposed solution, we use the real-world Fujifilm UltraISP dataset consisting on thousands of RAW-RGB image pairs captured with a professional medium-format 102MP Fujifilm camera and a popular Sony mobile camera sensor. The results demonstrate that the PyNET-V2 Mobile model can substantially surpass the quality of tradition ISP pipelines, while outperforming the previously introduced neural network-based solutions designed for fast image processing. Furthermore, we show that the proposed architecture is also compatible with the latest mobile AI accelerators such as NPUs or APUs that can be used to further reduce the latency of the model to as little as 0.5 second. The dataset, code and pre-trained models used in this paper are available on the project website: https://github.com/gmalivenko/PyNET-v2

本文提出了一种新型的极化传感器结构和网络结构，以获得高质量的RGB图像和极化信息。常规的极化传感器可以同时获取RGB图像和极化信息，但是传感器上的极化器会降低RGB图像的质量。 RGB图像的质量与极化信息之间存在权衡，因为较少的极化像素减少了RGB图像的降解，但减少了极化信息的分辨率。因此，我们提出了一种方法，该方法通过在传感器上稀疏排列极化像素来解决权衡，并使用RGB图像作为指导来补偿以更高分辨率的低分辨率极化信息。我们提出的网络体系结构由RGB图像改进网络和两极分化信息补偿网络组成。我们通过将其性能与最先进的方法进行比较，确认了我们提出的网络在补偿极化强度的差异成分方面的优势：深度完成。此外，我们确认我们的方法可以同时获得更高质量的RGB图像和极化信息，而不是传统的极化传感器，从而解决了RGB图像质量和极化信息之间的权衡。基线代码以及新生成的真实和合成的大规模极化图像数据集可用于进一步的研究和开发。

在这项工作中，我们介绍了梯度暹罗网络（GSN）进行图像质量评估。所提出的方法熟练地捕获了全参考图像质量评估（IQA）任务中扭曲的图像和参考图像之间的梯度特征。我们利用中央微分卷积获得图像对中隐藏的语义特征和细节差异。此外，空间注意力指导网络专注于与图像细节相关的区域。对于网络提取的低级，中级和高级功能，我们创新设计了一种多级融合方法，以提高功能利用率的效率。除了常见的均方根错误监督外，我们还进一步考虑了批处理样本之间的相对距离，并成功地将KL差异丢失应用于图像质量评估任务。我们在几个公开可用的数据集上试验了提出的算法GSN，并证明了其出色的性能。我们的网络赢得了NTIRE 2022感知图像质量评估挑战赛1的第二名。

在光子 - 稀缺情况下的成像引入了许多应用的挑战，因为捕获的图像具有低信噪比和较差的亮度。在本文中，我们通过模拟量子图像传感器（QIS）的成像来研究低光子计数条件下的原始图像恢复。我们开发了一个轻量级框架，由多级金字塔去噪网络（MPDNET）和亮度调整（LA）模块组成，以实现单独的去噪和亮度增强。我们框架的主要组成部分是多跳过的剩余块（MARB），其集成了多尺度特征融合和注意机制，以实现更好的特征表示。我们的MPDNET采用拉普拉斯金字塔的想法，以了解不同级别的小规模噪声图和大规模的高频细节，在多尺度输入图像上进行特征提取，以编码更丰富的上下文信息。我们的LA模块通过估计其照明来增强去噪图像的亮度，这可以更好地避免颜色变形。广泛的实验结果表明，通过抑制噪声并有效地恢复亮度和颜色，我们的图像恢复器可以在具有各种光子水平的具有各种光子水平的降解图像上实现优异的性能。

Image super-resolution (SR) serves as a fundamental tool for the processing and transmission of multimedia data. Recently, Transformer-based models have achieved competitive performances in image SR. They divide images into fixed-size patches and apply self-attention on these patches to model long-range dependencies among pixels. However, this architecture design is originated for high-level vision tasks, which lacks design guideline from SR knowledge. In this paper, we aim to design a new attention block whose insights are from the interpretation of Local Attribution Map (LAM) for SR networks. Specifically, LAM presents a hierarchical importance map where the most important pixels are located in a fine area of a patch and some less important pixels are spread in a coarse area of the whole image. To access pixels in the coarse area, instead of using a very large patch size, we propose a lightweight Global Pixel Access (GPA) module that applies cross-attention with the most similar patch in an image. In the fine area, we use an Intra-Patch Self-Attention (IPSA) module to model long-range pixel dependencies in a local patch, and then a $3\times3$ convolution is applied to process the finest details. In addition, a Cascaded Patch Division (CPD) strategy is proposed to enhance perceptual quality of recovered images. Extensive experiments suggest that our method outperforms state-of-the-art lightweight SR methods by a large margin. Code is available at https://github.com/passerer/HPINet.

在现实世界中，具有挑战性的照明条件（低光，不渗透和过度暴露）不仅具有令人不愉快的视觉外观，而且还要污染计算机视觉任务。现有的光自适应方法通常分别处理每种条件。而且，其中大多数经常在原始图像上运行或过度简化相机图像信号处理（ISP）管道。通过将光转换管道分解为局部和全局ISP组件，我们提出了一个轻巧的快速照明自适应变压器（IAT），其中包括两个变压器式分支：本地估计分支和全球ISP分支。尽管本地分支估算与照明有关的像素的本地组件，但全局分支定义了可学习的Quires，可以参加整个图像以解码参数。我们的IAT还可以在各种光条件下同时进行对象检测和语义分割。我们已经在2个低级任务和3个高级任务上对多个现实世界数据集进行了广泛评估。我们的IAT只有90K参数和0.004S处理速度（不包括高级模块），其IAT始终达到了卓越的性能。代码可从https://github.com/cuiziteng/illumination-aptive-transformer获得

This paper introduces a novel large dataset for examplebased single image super-resolution and studies the stateof-the-art as emerged from the NTIRE 2017 challenge. The challenge is the first challenge of its kind, with 6 competitions, hundreds of participants and tens of proposed solutions. Our newly collected DIVerse 2K resolution image dataset (DIV2K) was employed by the challenge. In our study we compare the solutions from the challenge to a set of representative methods from the literature and evaluate them using diverse measures on our proposed DIV2K dataset. Moreover, we conduct a number of experiments and draw conclusions on several topics of interest. We conclude that the NTIRE 2017 challenge pushes the state-ofthe-art in single-image super-resolution, reaching the best results to date on the popular Set5, Set14, B100, Urban100 datasets and on our newly proposed DIV2K.

随着移动设备的快速开发，现代使用的手机通常允许用户捕获4K分辨率（即超高定义）图像。然而，对于图像进行示范，在低级视觉中，一项艰巨的任务，现有作品通常是在低分辨率或合成图像上进行的。因此，这些方法对4K分辨率图像的有效性仍然未知。在本文中，我们探索了Moire模式的删除，以进行超高定义图像。为此，我们提出了第一个超高定义的演示数据集（UHDM），其中包含5,000个现实世界4K分辨率图像对，并对当前最新方法进行基准研究。此外，我们提出了一个有效的基线模型ESDNET来解决4K Moire图像，其中我们构建了一个语义对准的比例感知模块来解决Moire模式的尺度变化。广泛的实验表明了我们的方法的有效性，这可以超过最轻巧的优于最先进的方法。代码和数据集可在https://xinyu-andy.github.io/uhdm-page上找到。