本文提出了一种新型的极化传感器结构和网络结构，以获得高质量的RGB图像和极化信息。常规的极化传感器可以同时获取RGB图像和极化信息，但是传感器上的极化器会降低RGB图像的质量。 RGB图像的质量与极化信息之间存在权衡，因为较少的极化像素减少了RGB图像的降解，但减少了极化信息的分辨率。因此，我们提出了一种方法，该方法通过在传感器上稀疏排列极化像素来解决权衡，并使用RGB图像作为指导来补偿以更高分辨率的低分辨率极化信息。我们提出的网络体系结构由RGB图像改进网络和两极分化信息补偿网络组成。我们通过将其性能与最先进的方法进行比较，确认了我们提出的网络在补偿极化强度的差异成分方面的优势：深度完成。此外，我们确认我们的方法可以同时获得更高质量的RGB图像和极化信息，而不是传统的极化传感器，从而解决了RGB图像质量和极化信息之间的权衡。基线代码以及新生成的真实和合成的大规模极化图像数据集可用于进一步的研究和开发。

间接飞行时间（I-TOF）成像是由于其小尺寸和价格合理的价格导致移动设备的深度估计方式。以前的作品主要专注于I-TOF成像的质量改进，特别是固化多路径干扰（MPI）的效果。这些调查通常在特定约束的场景中进行，在近距离，室内和小环境光下。令人惊讶的一点工作已经调查了现实生活场景的I-TOF质量改善，其中强烈的环境光线和远距离由于具有限制传感器功率和光散射而导致的诱导射击噪声和信号稀疏引起的困难。在这项工作中，我们提出了一种基于新的学习的端到端深度预测网络，其噪声原始I-TOF信号以及RGB图像基于涉及隐式和显式对齐的多步方法来解决它们的潜在表示。预测与RGB视点对齐的高质量远程深度图。与基线方法相比，我们在挑战真实世界场景中测试了挑战性质场景的方法，并在最终深度地图上显示了超过40％的RMSE改进。

提供全向深度以及RGB信息对于许多应用来说是重要的，例如VR / AR。然而，由于全向RGB-D数据并不总是可用的，从场景的有限信息中合成RGB-D全景数据可能是有用的。因此，一些先前的作品试图从透视RGB图像综合RGB全景图像;然而，它们遭受了有限的图像质量，不能直接扩展RGB-D全景合成。在本文中，我们研究了一个新的问题：RGB-D全景在摄像机和深度传感器的任意配置下合成。因此，我们提出了一种新型双模（RGB-D）全景合成（BIPS）框架。特别是，我们专注于RGB-D全景可以为许多应用提供完整的3D模型的室内环境。我们设计一个融合双模信息的发电机，并用残留的辅助对手学习训练（RDAL）。 RDAL允许通过共同推断RGB全景，布局深度和剩余深度来合成现实室内布局结构和内饰。此外，由于RGB-D全景合成没有定制评估度量，我们提出了一种新颖的指标，以有效地评估其感知质量。广泛的实验表明，我们的方法合成了高质量的室内RGB-D全景，并提供了比现有方法的现实3D室内型号。代码将在接受时发布。

随着移动平台上对计算摄影和成像的需求不断增长，在相机系统中开发和集成了高级图像传感器与新型算法的发展。但是，缺乏用于研究的高质量数据以及从行业和学术界进行深入交流的难得的机会限制了移动智能摄影和成像（MIPI）的发展。为了弥合差距，我们引入了第一个MIPI挑战，其中包括五个专注于新型图像传感器和成像算法的曲目。在本文中，引入了QUAD Remosaic和Denoise，这是五个曲目之一，在完全分辨率上进行了四QFA插值向拜耳进行插值。为参与者提供了一个新的数据集，包括70（培训）和15个（验证）高品质四边形和拜耳对的场景。此外，对于每个场景，在0dB，24dB和42dB上提供了不同噪声水平的四边形。所有数据均在室外和室内条件下使用四边形传感器捕获。最终结果使用客观指标，包括PSNR，SSIM，LPIPS和KLD。本文提供了此挑战中所有模型的详细描述。有关此挑战的更多详细信息以及数据集的链接，请访问https://github.com/mipi-challenge/mipi2022。

这项工作提出了一种新的循环架构，可以从图像中提取高频模式并将其重新插入几何特征。此过程允许我们增强一方面捕获精细细节的低成本深度传感器的分辨率，并忠于另一方面的扫描地面真相。我们为深度超分辨率任务以及视觉上有吸引力，增强的3D模型提供了最先进的结果。

随着移动平台上对计算摄影和成像的需求不断增长，在相机系统中开发和集成了高级图像传感器与新型算法的发展。但是，缺乏用于研究的高质量数据以及从行业和学术界进行深入交流的难得的机会限制了移动智能摄影和成像（MIPI）的发展。为了弥合差距，我们引入了第一个MIPI挑战，其中包括五个专注于新型图像传感器和成像算法的曲目。在本文中，引入了RGBW关节融合和Denoise，这是五个曲目之一，其中一条致力于将Binning模式RGBW融合到拜耳。为参与者提供了一个新的数据集，其中包括70（培训）和15个（验证）高质量RGBW和拜耳对的场景。此外，对于每个场景，在24dB和42dB处提供不同噪声水平的RGBW。所有数据均在室外和室内条件下使用RGBW传感器捕获。最终结果使用客观指标，包括PSNR，SSIM}，LPIPS和KLD评估。本文提供了此挑战中所有模型的详细描述。有关此挑战的更多详细信息以及数据集的链接，请访问https://github.com/mipi-challenge/mipi2022。

Time-resolved image sensors that capture light at pico-to-nanosecond timescales were once limited to niche applications but are now rapidly becoming mainstream in consumer devices. We propose low-cost and low-power imaging modalities that capture scene information from minimal time-resolved image sensors with as few as one pixel. The key idea is to flood illuminate large scene patches (or the entire scene) with a pulsed light source and measure the time-resolved reflected light by integrating over the entire illuminated area. The one-dimensional measured temporal waveform, called \emph{transient}, encodes both distances and albedoes at all visible scene points and as such is an aggregate proxy for the scene's 3D geometry. We explore the viability and limitations of the transient waveforms by themselves for recovering scene information, and also when combined with traditional RGB cameras. We show that plane estimation can be performed from a single transient and that using only a few more it is possible to recover a depth map of the whole scene. We also show two proof-of-concept hardware prototypes that demonstrate the feasibility of our approach for compact, mobile, and budget-limited applications.

轻巧的飞行时间（TOF）深度传感器很小，便宜，低能量，并且已在移动设备上大量部署在移动设备上，以进行自动对焦，障碍物检测等。但是，由于其特定的测量值（深度分布）在某个像素时的区域而不是深度值，并且分辨率极低，它们不足以用于需要高保真深度（例如3D重建）的应用。在本文中，我们提出了Deltar，这是一种新颖的方法，可以通过与颜色图像合作来赋予高分辨率和准确深度的能力。作为Deltar的核心，提出了一种用于深度分布的特征提取器，并提出了基于注意力的神经体系结构，以有效地从颜色和TOF域中融合信息。为了在现实世界中评估我们的系统，我们设计了一个数据收集设备，并提出了一种校准RGB摄像头和TOF传感器的新方法。实验表明，我们的方法比旨在使用商品级RGB-D传感器的PAR性能实现的现有框架比现有的框架产生更准确的深度。代码和数据可在https://zju3dv.github.io/deltar/上获得。

近年来已经提出了显示屏下的显示器，作为减少移动设备的形状因子的方式，同时最大化屏幕区域。不幸的是，将相机放在屏幕后面导致显着的图像扭曲，包括对比度，模糊，噪音，色移，散射伪像和降低光敏性的损失。在本文中，我们提出了一种图像恢复管道，其是ISP-Annostic，即它可以与任何传统ISP组合，以产生使用相同的ISP与常规相机外观匹配的最终图像。这是通过执行Raw-Raw Image Restoration的深度学习方法来实现的。为了获得具有足够对比度和场景多样性的大量实际展示摄像机培训数据，我们还开发利用HDR监视器的数据捕获方法，以及数据增强方法以产生合适的HDR内容。监视器数据补充有现实世界的数据，该数据具有较少的场景分集，但允许我们实现细节恢复而不受监视器分辨率的限制。在一起，这种方法成功地恢复了颜色和对比度以及图像细节。

深度完成旨在预测从深度传感器（例如Lidars）中捕获的极稀疏图的密集像素深度。它在各种应用中起着至关重要的作用，例如自动驾驶，3D重建，增强现实和机器人导航。基于深度学习的解决方案已经证明了这项任务的最新成功。在本文中，我们首次提供了全面的文献综述，可帮助读者更好地掌握研究趋势并清楚地了解当前的进步。我们通过通过对现有方法进行分类的新型分类法提出建议，研究网络体系结构，损失功能，基准数据集和学习策略的设计方面的相关研究。此外，我们在包括室内和室外数据集（包括室内和室外数据集）上进行了三个广泛使用基准测试的模型性能进行定量比较。最后，我们讨论了先前作品的挑战，并为读者提供一些有关未来研究方向的见解。

数码相机通过图像信号处理器（ISP）将传感器原始读数转换为RGB图像。诸如图像去噪和颜色恒定的计算摄影任务通常在原始域中进行，部分原因是由于固有的硬件设计，而且由于引起了由直接传感器读数导致的噪声统计的吸引力的吸引力。尽管如此，与可用RGB数据的丰富和多样性相比，原始图像的可用性有限。最近的方法已经尝试通过估计RGB对原始映射来弥合这个差距：可手工制作的基于模型的方法，这些方法通常需要手动参数微调，而端到端的学习神经网络需要大量的培训数据，有时与复杂的训练程序，并且通常缺乏解释性和参数控制。为了解决这些现有的限制，我们提出了一种基于混合模型的基于混合模型和数据驱动的ISP，其构建在规范ISP运营中，并且是学习和可解释的。我们所提出的可逆模型，能够在原始和RGB域之间双向映射，采用丰富的参数表示的端到端学习，即词典，即没有直接参数监督，另外启用简单且合理的数据增强。我们证明我们的数据生成过程的价值在原始图像重建和原始图像去噪任务下，在两者中获得最先进的性能。此外，我们表明我们的ISP可以从少数数据样本中学习有意义的映射，并且尽管只有少数或零地面标签，但基于大字典的数据增强训练的那种培训的培训模型是有竞争力的。

高光谱图像（HSI）没有额外辅助图像的超分辨率仍然是由于其高维光谱图案的恒定挑战，其中学习有效的空间和光谱表示是基本问题。最近，隐式的神经表示（INR）正在进行进步，作为新颖且有效的代表，特别是在重建任务中。因此，在这项工作中，我们提出了一种基于INR的新颖的HSI重建模型，其通过将空间坐标映射到其对应的光谱辐射值值的连续函数来表示HSI。特别地，作为INR的特定实现，参数模型的参数是通过使用卷积网络在特征提取的超通知来预测的。它使连续功能以内容感知方式将空间坐标映射到像素值。此外，周期性空间编码与重建过程深度集成，这使得我们的模型能够恢复更高的频率细节。为了验证我们模型的功效，我们在三个HSI数据集（洞穴，NUS和NTIRE2018）上进行实验。实验结果表明，与最先进的方法相比，该建议的模型可以实现竞争重建性能。此外，我们提供了对我们模型各个组件的效果的消融研究。我们希望本文可以服务器作为未来研究的效率参考。

用商品传感器捕获的深度图通常具有低质量和分辨率；这些地图需要增强以在许多应用中使用。深度图超分辨率的最新数据驱动方法依赖于同一场景的低分辨率和高分辨率深度图的注册对。采集现实世界配对数据需要专门的设置。另一个替代方法是通过亚采样，添加噪声和其他人工降解方法从高分辨率地图中生成低分辨率地图，并不能完全捕获现实世界中低分辨率图像的特征。结果，对这种人造配对数据训练的监督学习方法可能在现实世界中的低分辨率输入上表现不佳。我们考虑了一种基于从未配对数据学习的深度超分辨率的方法。尽管已经提出了许多用于未配对图像到图像翻译的技术，但大多数技术无法使用深度图提供有效的孔填充或重建精确表面。我们提出了一种未配对的学习方法，用于深度超分辨率，该方法基于可学习的降解模型，增强成分和表面正常估计作为特征，以产生更准确的深度图。我们为未配对的深度SR提出了一个基准测试，并证明我们的方法的表现优于现有的未配对方法，并与配对相当。

Conventional cameras capture image irradiance on a sensor and convert it to RGB images using an image signal processor (ISP). The images can then be used for photography or visual computing tasks in a variety of applications, such as public safety surveillance and autonomous driving. One can argue that since RAW images contain all the captured information, the conversion of RAW to RGB using an ISP is not necessary for visual computing. In this paper, we propose a novel $\rho$-Vision framework to perform high-level semantic understanding and low-level compression using RAW images without the ISP subsystem used for decades. Considering the scarcity of available RAW image datasets, we first develop an unpaired CycleR2R network based on unsupervised CycleGAN to train modular unrolled ISP and inverse ISP (invISP) models using unpaired RAW and RGB images. We can then flexibly generate simulated RAW images (simRAW) using any existing RGB image dataset and finetune different models originally trained for the RGB domain to process real-world camera RAW images. We demonstrate object detection and image compression capabilities in RAW-domain using RAW-domain YOLOv3 and RAW image compressor (RIC) on snapshots from various cameras. Quantitative results reveal that RAW-domain task inference provides better detection accuracy and compression compared to RGB-domain processing. Furthermore, the proposed \r{ho}-Vision generalizes across various camera sensors and different task-specific models. Additional advantages of the proposed $\rho$-Vision that eliminates the ISP are the potential reductions in computations and processing times.

高动态范围（HDR）成像是一种允许广泛的动态曝光范围的技术，这在图像处理，计算机图形和计算机视觉中很重要。近年来，使用深度学习（DL），HDR成像有重大进展。本研究对深层HDR成像方法的最新发展进行了综合和富有洞察力的调查和分析。在分层和结构上，将现有的深层HDR成像方法基于（1）输入曝光的数量/域，（2）学习任务数，（3）新传感器数据，（4）新的学习策略，（5）应用程序。重要的是，我们对关于其潜在和挑战的每个类别提供建设性的讨论。此外，我们审查了深度HDR成像的一些关键方面，例如数据集和评估指标。最后，我们突出了一些打开的问题，并指出了未来的研究方向。

引导深度超分辨率（GDSR）是多模态图像处理中的必要主题，其在同一场景的HR RGB图像的帮助下重建与次优条件的低分辨率的高分辨率（HR）深度映射。为了解决解释工作机制的挑战，提取过度转移的跨模型特征和RGB纹理，我们提出了一种新颖的离散余弦变换网络（DCTNet）来缓解三个方面的问题。首先，离散余弦变换（DCT）模块通过使用DCT来解决来自GDSR的图像域的频道明智的优化问题来重建多通道HR深度特征。其次，我们介绍了一个半耦合特征提取模块，使用共享卷积核，以提取公共功能和私有内核，以提取特定的模态特征。第三，我们采用了边缘注意机制，以突出导致导游的轮廓。广泛的定量和定性评估表明了我们的DCTNET的有效性，这优于以前的最先进方法，具有相对较少的参数。代码将公开。

图像超分辨率（SR）是重要的图像处理方法之一，可改善计算机视野领域的图像分辨率。在过去的二十年中，在超级分辨率领域取得了重大进展，尤其是通过使用深度学习方法。这项调查是为了在深度学习的角度进行详细的调查，对单像超分辨率的最新进展进行详细的调查，同时还将告知图像超分辨率的初始经典方法。该调查将图像SR方法分类为四个类别，即经典方法，基于学习的方法，无监督学习的方法和特定领域的SR方法。我们还介绍了SR的问题，以提供有关图像质量指标，可用参考数据集和SR挑战的直觉。使用参考数据集评估基于深度学习的方法。一些审查的最先进的图像SR方法包括增强的深SR网络（EDSR），周期循环gan（Cincgan），多尺度残留网络（MSRN），Meta残留密度网络（META-RDN） ，反复反射网络（RBPN），二阶注意网络（SAN），SR反馈网络（SRFBN）和基于小波的残留注意网络（WRAN）。最后，这项调查以研究人员将解决SR的未来方向和趋势和开放问题的未来方向和趋势。

我们提出了Neuricam，这是一种基于钥匙帧的视频超分辨率和着色系统，可从双模式IoT摄像机获得低功耗视频捕获。我们的想法是设计一个双模式摄像机系统，其中第一个模式是低功率（1.1〜MW），但仅输出灰度，低分辨率和嘈杂的视频，第二种模式会消耗更高的功率（100〜MW），但输出会输出。颜色和更高分辨率的图像。为了减少总能源消耗，我们在高功率模式下高功率模式仅输出图像每秒一次。然后将来自该相机系统的数据无线流传输到附近的插入网关，在那里我们运行实时神经网络解码器，以重建更高的分辨率颜色视频。为了实现这一目标，我们基于每个空间位置的特征映射和输入框架的内容之间的相关性，引入了一种注意力特征滤波器机制，该机制将不同的权重分配给不同的特征。我们使用现成的摄像机设计无线硬件原型，并解决包括数据包丢失和透视不匹配在内的实用问题。我们的评估表明，我们的双摄像机硬件可减少相机的能耗，同时在先前的视频超级分辨率方法中获得平均的灰度PSNR增益为3.7〜db，而在现有的颜色传播方法上，我们的灰度尺度PSNR增益为3.7 〜db。开源代码：https：//github.com/vb000/neuricam。

随着移动设备的快速开发，现代使用的手机通常允许用户捕获4K分辨率（即超高定义）图像。然而，对于图像进行示范，在低级视觉中，一项艰巨的任务，现有作品通常是在低分辨率或合成图像上进行的。因此，这些方法对4K分辨率图像的有效性仍然未知。在本文中，我们探索了Moire模式的删除，以进行超高定义图像。为此，我们提出了第一个超高定义的演示数据集（UHDM），其中包含5,000个现实世界4K分辨率图像对，并对当前最新方法进行基准研究。此外，我们提出了一个有效的基线模型ESDNET来解决4K Moire图像，其中我们构建了一个语义对准的比例感知模块来解决Moire模式的尺度变化。广泛的实验表明了我们的方法的有效性，这可以超过最轻巧的优于最先进的方法。代码和数据集可在https://xinyu-andy.github.io/uhdm-page上找到。

偏光颜色摄影在一个快照中提供视觉纹理和对象表面信息。但是，与常规颜色成像相比，定向偏振阵列的使用会导致极低的光子计数和SNR。因此，该特征实质上导致令人不愉快的嘈杂图像并破坏极化分析性能。对于传统的图像处理管道来说，这是一个挑战，因为事实是，隐式施加在渠道中的物理约束过于复杂。为了解决这个问题，我们提出了一种基于学习的方法，以同时恢复清洁信号和精确的极化信息。捕获了配对的原始短期嘈杂和长期暴露参考图像的真实世界两极化的颜色图像数据集，以支持基于学习的管道。此外，我们采用视觉变压器的开发，并提出了一个混合变压器模型，用于偏光颜色图像denoising，即PocoFormer，以更好地恢复性能。大量的实验证明了所提出的方法的有效性和影响结果的关键因素。