Benefiting from its single-photon sensitivity, single-photon avalanche diode (SPAD) array has been widely applied in various fields such as fluorescence lifetime imaging and quantum computing. However, large-scale high-fidelity single-photon imaging remains a big challenge, due to the complex hardware manufacture craft and heavy noise disturbance of SPAD arrays. In this work, we introduce deep learning into SPAD, enabling super-resolution single-photon imaging over an order of magnitude, with significant enhancement of bit depth and imaging quality. We first studied the complex photon flow model of SPAD electronics to accurately characterize multiple physical noise sources, and collected a real SPAD image dataset (64 $\times$ 32 pixels, 90 scenes, 10 different bit depth, 3 different illumination flux, 2790 images in total) to calibrate noise model parameters. With this real-world physical noise model, we for the first time synthesized a large-scale realistic single-photon image dataset (image pairs of 5 different resolutions with maximum megapixels, 17250 scenes, 10 different bit depth, 3 different illumination flux, 2.6 million images in total) for subsequent network training. To tackle the severe super-resolution challenge of SPAD inputs with low bit depth, low resolution, and heavy noise, we further built a deep transformer network with a content-adaptive self-attention mechanism and gated fusion modules, which can dig global contextual features to remove multi-source noise and extract full-frequency details. We applied the technique on a series of experiments including macroscopic and microscopic imaging, microfluidic inspection, and Fourier ptychography. The experiments validate the technique's state-of-the-art super-resolution SPAD imaging performance, with more than 5 dB superiority on PSNR compared to the existing methods.
translated by 谷歌翻译
在光子 - 稀缺情况下的成像引入了许多应用的挑战,因为捕获的图像具有低信噪比和较差的亮度。在本文中,我们通过模拟量子图像传感器(QIS)的成像来研究低光子计数条件下的原始图像恢复。我们开发了一个轻量级框架,由多级金字塔去噪网络(MPDNET)和亮度调整(LA)模块组成,以实现单独的去噪和亮度增强。我们框架的主要组成部分是多跳过的剩余块(MARB),其集成了多尺度特征融合和注意机制,以实现更好的特征表示。我们的MPDNET采用拉普拉斯金字塔的想法,以了解不同级别的小规模噪声图和大规模的高频细节,在多尺度输入图像上进行特征提取,以编码更丰富的上下文信息。我们的LA模块通过估计其照明来增强去噪图像的亮度,这可以更好地避免颜色变形。广泛的实验结果表明,通过抑制噪声并有效地恢复亮度和颜色,我们的图像恢复器可以在具有各种光子水平的具有各种光子水平的降解图像上实现优异的性能。
translated by 谷歌翻译
在弱光环境下,手持式摄影在长时间的曝光设置下遭受了严重的相机震动。尽管现有的Deblurry算法在暴露良好的模糊图像上表现出了令人鼓舞的性能,但它们仍然无法应对低光快照。在实用的低光脱毛中,复杂的噪声和饱和区是两个主导挑战。在这项工作中,我们提出了一种称为图像的新型非盲脱毛方法,并具有特征空间Wiener Deonervolution网络(Infwide),以系统地解决这些问题。在算法设计方面,Infwide提出了一个两分支的架构,该体系结构明确消除了噪声并幻觉,使图像空间中的饱和区域抑制了特征空间中的响起文物,并将两个互补输出与一个微妙的多尺度融合网络集成在一起高质量的夜间照片浮雕。为了进行有效的网络培训,我们设计了一组损失功能,集成了前向成像模型和向后重建,以形成近环的正则化,以确保深神经网络的良好收敛性。此外,为了优化Infwide在实际弱光条件下的适用性,采用基于物理过程的低光噪声模型来合成现实的嘈杂夜间照片进行模型训练。利用传统的Wiener Deonervolution算法的身体驱动的特征并引起了深层神经网络的表示能力,Infwide可以恢复细节,同时抑制在脱毛期间的不愉快的人工制品。关于合成数据和实际数据的广泛实验证明了所提出的方法的出色性能。
translated by 谷歌翻译
移动设备上的低光成像通常是由于不足的孔径穿过相对较小的孔径而挑战,导致信噪比较低。以前的大多数关于低光图像处理的作品仅关注单个任务,例如照明调整,颜色增强或删除噪声;或在密切依赖于从特定的摄像机模型中收集的长时间曝光图像对的关节照明调整和降解任务上,因此,这些方法在需要摄像机特定的关节增强和恢复的现实环境中不太实用且可推广。为了解决这个问题,在本文中,我们提出了一个低光图像处理框架,该框架可以执行关节照明调整,增强色彩和降解性。考虑到模型特异性数据收集的难度和捕获图像的超高定义,我们设计了两个分支:系数估计分支以及关节增强和denoising分支。系数估计分支在低分辨率空间中起作用,并预测通过双边学习增强的系数,而关节增强和去核分支在全分辨率空间中工作,并逐步执行关节增强和脱氧。与现有方法相反,我们的框架在适应另一个摄像机模型时不需要回忆大量数据,这大大减少了微调我们用于实际使用方法所需的努力。通过广泛的实验,与当前的最新方法相比,我们在现实世界中的低光成像应用中证明了它的巨大潜力。
translated by 谷歌翻译
高动态范围(HDR)成像是一种允许广泛的动态曝光范围的技术,这在图像处理,计算机图形和计算机视觉中很重要。近年来,使用深度学习(DL),HDR成像有重大进展。本研究对深层HDR成像方法的最新发展进行了综合和富有洞察力的调查和分析。在分层和结构上,将现有的深层HDR成像方法基于(1)输入曝光的数量/域,(2)学习任务数,(3)新传感器数据,(4)新的学习策略,(5)应用程序。重要的是,我们对关于其潜在和挑战的每个类别提供建设性的讨论。此外,我们审查了深度HDR成像的一些关键方面,例如数据集和评估指标。最后,我们突出了一些打开的问题,并指出了未来的研究方向。
translated by 谷歌翻译
Image Super-Resolution (SR) is essential for a wide range of computer vision and image processing tasks. Investigating infrared (IR) image (or thermal images) super-resolution is a continuing concern within the development of deep learning. This survey aims to provide a comprehensive perspective of IR image super-resolution, including its applications, hardware imaging system dilemmas, and taxonomy of image processing methodologies. In addition, the datasets and evaluation metrics in IR image super-resolution tasks are also discussed. Furthermore, the deficiencies in current technologies and possible promising directions for the community to explore are highlighted. To cope with the rapid development in this field, we intend to regularly update the relevant excellent work at \url{https://github.com/yongsongH/Infrared_Image_SR_Survey
translated by 谷歌翻译
捕获场景的空间和角度信息的光场(LF)成像无疑是有利于许多应用。尽管已经提出了用于LF采集的各种技术,但是在角度和空间上实现的既仍然是技术挑战。本文,提出了一种基于学习的方法,其应用于3D末面图像(EPI)以重建高分辨率LF。通过2级超分辨率框架,所提出的方法有效地解决了各种LF超分辨率(SR)问题,即空间SR,Angular SR和角空间SR。虽然第一阶段向Up-Sample EPI体积提供灵活的选择,但是由新型EPI体积的细化网络(EVRN)组成的第二阶段,基本上提高了高分辨率EPI体积的质量。从7个发布的数据集的90个挑战合成和实际灯田场景的广泛评估表明,所提出的方法优于空间和角度超分辨率问题的大型延伸的最先进的方法,即平均值峰值信号到噪声比为2.0 dB,1.4 dB和3.14 dB的空间SR $ \ Times 2 $,Spatial SR $ \ Times 4 $和Angular SR。重建的4D光场展示了所有透视图像的平衡性能分布,与先前的作品相比,卓越的视觉质量。
translated by 谷歌翻译
由智能手机和中端相机捕获的照片的空间分辨率和动态范围有限,在饱和区域中未充满刺激的区域和颜色人工制品中的嘈杂响应。本文介绍了第一种方法(据我们所知),以重建高分辨率,高动态范围的颜色图像,这些颜色来自带有曝光括号的手持相机捕获的原始照相爆发。该方法使用图像形成的物理精确模型来结合迭代优化算法,用于求解相应的逆问题和学习的图像表示,以进行健壮的比对,并以前的自然图像。所提出的算法很快,与基于最新的学习图像恢复方法相比,内存需求较低,并且从合成但逼真的数据终止学习的特征。广泛的实验证明了其出色的性能,具有最多$ \ times 4 $的超分辨率因子在野外拍摄的带有手持相机的真实照片,以及对低光条件,噪音,摄像机摇动和中等物体运动的高度鲁棒性。
translated by 谷歌翻译
具有高分辨率的视网膜光学相干断层扫描术(八八)对于视网膜脉管系统的定量和分析很重要。然而,八颗图像的分辨率与相同采样频率的视野成反比,这不利于临床医生分析较大的血管区域。在本文中,我们提出了一个新型的基于稀疏的域适应超分辨率网络(SASR),以重建现实的6x6 mm2/低分辨率/低分辨率(LR)八八粒图像,以重建高分辨率(HR)表示。更具体地说,我们首先对3x3 mm2/高分辨率(HR)图像进行简单降解,以获得合成的LR图像。然后,采用一种有效的注册方法在6x6 mm2图像中以其相应的3x3 mm2图像区域注册合成LR,以获得裁切的逼真的LR图像。然后,我们提出了一个多级超分辨率模型,用于对合成数据进行全面监督的重建,从而通过生成的对流策略指导现实的LR图像重建现实的LR图像,该策略允许合成和现实的LR图像可以在特征中统一。领域。最后,新型的稀疏边缘感知损失旨在动态优化容器边缘结构。在两个八八集中进行的广泛实验表明,我们的方法的性能优于最先进的超分辨率重建方法。此外,我们还研究了重建结果对视网膜结构分割的性能,这进一步验证了我们方法的有效性。
translated by 谷歌翻译
由于高光谱摄像机传感器在较差的照明条件下捕获的能量不足,因此低光谱图像(HSIS)通常会遭受视野较低,光谱失真和各种噪音的遭受的影响。已经开发了一系列HSI恢复方法,但它们在增强低光HSIS方面的有效性受到限制。这项工作着重于低光HSI增强任务,该任务旨在揭示隐藏在黑暗区域中的空间光谱信息。为了促进低光HSI处理的开发,我们收集了室内和室外场景的低光HSI(LHSI)数据集。基于Laplacian金字塔分解和重建,我们开发了在LHSI数据集中训练的端到端数据驱动的低光HSI增强(HSIE)方法。通过观察到照明与HSI的低频组件有关,而纹理细节与高频组件密切相关,因此建议的HSIE设计为具有两个分支。采用照明增强分支以减少分辨率来启发低频组件。高频改进分支用于通过预测的掩码来完善高频组件。此外,为了提高信息流量和提高性能,我们引入了具有残留致密连接的有效通道注意块(CAB),该连接是照明增强分支的基本块。 LHSI数据集的实验结果证明了HSIE在定量评估措施和视觉效果中的有效性和效率。根据遥感印度松树数据集的分类性能,下游任务受益于增强的HSI。可用数据集和代码:\ href {https://github.com/guanguanboy/hsie} {https://github.com/guanguanboy/hsie}。
translated by 谷歌翻译
具有多视图属性的光场(LF)图像具有许多应用程序,可以严重受到低光成像的影响。低光增强的最新基于学习的方法具有自己的缺点,例如在极低的光线条件下没有噪声抑制,复杂的训练过程和差的性能。针对解决这些缺陷的目标,同时充分利用了多视图信息,我们为LF图像提出了有效的低光修复变压器(LRT),并具有多个头部以执行特定的中间任务,包括DeNosising,亮度调整,完善和细节增强,增强和细节,增强,并增强细节,在单个网络中,实现从小规模到全尺度的渐进式恢复。我们设计了一个具有视角方案的角变压器块,以有效地对全局角关系进行建模,并设计一个基于窗口的多尺度变压器块来编码多规模的本地和全局空间信息。为了解决训练数据不足的问题,我们通过使用LF摄像机的估计噪声参数模拟主要噪声来制定合成管道。实验结果表明,我们的方法可以在恢复具有高效率的极低光线和嘈杂的LF图像上实现卓越的性能。
translated by 谷歌翻译
傅立叶Ptychographic显微镜(FPM)是一种成像过程,它通过计算平均值克服了传统的传统显微镜空间带宽产品(SBP)的限制。它利用使用低数值孔径(NA)物镜捕获的多个图像,并通过频域缝线实现高分辨率相成像。现有的FPM重建方法可以广泛地分为两种方法:基于迭代优化的方法,这些方法基于正向成像模型的物理学以及通常采用馈送深度学习框架的数据驱动方法。我们提出了一个混合模型驱动的残留网络,该网络将远期成像系统的知识与深度数据驱动的网络相结合。我们提出的架构LWGNET将传统的电线流优化算法展开为一种新型的神经网络设计,该设计通过复杂的卷积块增强了梯度图像。与其他传统的展开技术不同,LWGNET在PAR上执行时使用的阶段较少,甚至比现有的传统和深度学习技术更好,尤其是对于低成本和低动态范围CMOS传感器。低位深度和低成本传感器的性能提高有可能显着降低FPM成像设置的成本。最后,我们在收集到的实际数据上显示出始终提高的性能。
translated by 谷歌翻译
With the development of convolutional neural networks, hundreds of deep learning based dehazing methods have been proposed. In this paper, we provide a comprehensive survey on supervised, semi-supervised, and unsupervised single image dehazing. We first discuss the physical model, datasets, network modules, loss functions, and evaluation metrics that are commonly used. Then, the main contributions of various dehazing algorithms are categorized and summarized. Further, quantitative and qualitative experiments of various baseline methods are carried out. Finally, the unsolved issues and challenges that can inspire the future research are pointed out. A collection of useful dehazing materials is available at \url{https://github.com/Xiaofeng-life/AwesomeDehazing}.
translated by 谷歌翻译
在许多图像处理任务中,深度学习方法的成功,最近还将深度学习方法引入了阶段检索问题。这些方法与传统的迭代优化方法不同,因为它们通常只需要一个强度测量,并且可以实时重建相位图像。但是,由于巨大的领域差异,这些方法给出的重建图像的质量仍然有很大的改进空间来满足一般应用要求。在本文中,我们设计了一种新型的深神经网络结构,名为Sisprnet,以基于单个傅立叶强度测量值进行相检索。为了有效利用测量的光谱信息,我们建议使用多层感知器(MLP)作为前端提出一个新的特征提取单元。它允许将输入强度图像的所有像素一起考虑,以探索其全局表示。 MLP的大小经过精心设计,以促进代表性特征的提取,同时减少噪音和异常值。辍学层还可以减轻训练MLP的过度拟合问题。为了促进重建图像中的全局相关性,将自我注意力的机制引入了提议的Sisprnet的上采样和重建(UR)块。这些UR块被插入残留的学习结构中,以防止由于其复杂的层结构而导致的较弱的信息流和消失的梯度问题。使用线性相关幅度和相位的仅相位图像和图像的不同测试数据集对所提出的模型进行了广泛的评估。在光学实验平台上进行了实验,以了解在实用环境中工作时不同深度学习方法的性能。
translated by 谷歌翻译
在极低光线条件下捕获图像会对标准相机管道带来重大挑战。图像变得太黑了,太吵了,这使得传统的增强技术几乎不可能申请。最近,基于学习的方法已经为此任务显示了非常有希望的结果,因为它们具有更大的表现力能力来允许提高质量。这些研究中的激励,在本文中,我们的目标是利用爆破摄影来提高性能,并从极端暗的原始图像获得更加锐利和更准确的RGB图像。我们提出的框架的骨干是一种新颖的粗良好网络架构,逐步产生高质量的输出。粗略网络预测了低分辨率,去噪的原始图像,然后将其馈送到精细网络以恢复微尺的细节和逼真的纹理。为了进一步降低噪声水平并提高颜色精度,我们将该网络扩展到置换不变结构,使得它作为输入突发为低光图像,并在特征级别地合并来自多个图像的信息。我们的实验表明,我们的方法通过生产更详细和相当更高的质量的图像来引起比最先进的方法更令人愉悦的结果。
translated by 谷歌翻译
波前调节器的限制空间散宽产品(SBP)阻碍了大型视野(FOV)上图像的高分辨率合成/投影。我们报告了一种深度学习的衍射显示设计,该设计基于一对训练的电子编码器和衍射光学解码器,用于合成/项目超级分辨图像,使用低分辨率波形调节器。由训练有素的卷积神经网络(CNN)组成的数字编码器迅速预处理了感兴趣的高分辨率图像,因此它们的空间信息被编码为低分辨率(LR)调制模式,该模式通过低SBP Wavefront调制器投影。衍射解码器使用薄的传播层处理该LR编码的信息,这些层是使用深度学习构成的,以在其输出FOV处进行全面合成和项目超级分辨图像。我们的结果表明,这种衍射图像显示可以达到〜4的超分辨率因子,表明SBP增加了约16倍。我们还使用3D打印的衍射解码器在THZ光谱上进行实验验证了这种衍射超分辨率显示器的成功。该衍射图像解码器可以缩放以在可见的波长下运行,并激发紧凑,低功率和计算效率的大型FOV和高分辨率显示器的设计。
translated by 谷歌翻译
由于大气湍流的扭曲而恢复图像是一个长期存在的问题,这是由于变形的空间变化,图像形成过程的非线性以及训练和测试数据的稀缺性。现有方法通常在失真模型上具有强大的统计假设,在许多情况下,由于没有概括,因此在现实世界中的性能有限。为了克服挑战,本文提出了一种端到端物理驱动的方法,该方法有效,可以推广到现实世界的湍流。在数据合成方面,我们通过通过宽sense式的平稳性近似随机场来显着增加SOTA湍流模拟器可以处理的图像分辨率。新的数据合成过程使大规模的多级湍流和训练的地面真相对产生。在网络设计方面,我们提出了湍流缓解变压器(TMT),这是一个两级U-NET形状的多帧恢复网络,该网络具有Noval有效的自发机制,称为暂时通道关节关注(TCJA)。我们还引入了一种新的培训方案,该方案由新的模拟器启用,并设计新的变压器单元以减少内存消耗。在静态场景和动态场景上的实验结果是有希望的,包括各种真实的湍流场景。
translated by 谷歌翻译
来自单个运动模糊图像的视频重建是一个具有挑战性的问题,可以增强现有的相机的能力。最近,几种作品使用传统的成像和深度学习解决了这项任务。然而,由于方向模糊和噪声灵敏度,这种纯粹 - 数字方法本质上是有限的。一些作品提出使用非传统图像传感器解决这些限制,然而,这种传感器非常罕见和昂贵。为了使这些限制具有更简单的方法,我们提出了一种用于视频重建的混合光学 - 数字方法,其仅需要对现有光学系统的简单修改。在图像采集期间,在镜头孔径中使用学习的动态相位编码以对运动轨迹进行编码,该运动轨迹用作视频重建过程的先前信息。使用图像到视频卷积神经网络,所提出的计算相机以各种编码运动模糊图像的各种帧速率产生锐帧帧突发。与现有方法相比,我们使用模拟和现实世界的相机原型表现了优势和改进的性能。
translated by 谷歌翻译
目前基于学习的单图像超分辨率(SISR)算法由于假定的Daradada-Tion过程中的偏差而导致的实际数据up到实际数据。常规的劣化过程考虑在高分辨率(HR)图像上应用模糊,噪声和下采样(通常是较大的采样)以合成低分辨率(LR)对应物。然而,很少有用于退化建模的作品已经采取了光学成像系统的物理方面。在本文中,我们光学分析了成像系统,并探索了空间频域的实际LR-HR对的特征。通过考虑optiopticsandsordegration,我们制定真实的物理启发的退化模型;成像系统的物理劣化被建模为低通滤波器,其截止频率由物体距离,焦距的更焦距和图像传感器的像素尺寸。特别是,我们建议使用卷积神经网络(CNN)来学习现实世界劣化过程的截止频率。然后应用学习的网络从未配对的HR图像合成LR图像。稍后使用合成的HR-LR图像对培训SISR网络。我们评估所提出的不同成像系统捕获的现实世界图像中提出的退化模型的有效性和泛化能力。实验结果展示了通过使用传统的退化模型使用我们的合成数据训练的SISR网络通过传统的降级模型对网络进行了有利的。此外,我们的结果与通过使用现实世界LR-HR对训练的相同网络获得的结果相当,这是在真实场景中获得的具有挑战性。
translated by 谷歌翻译
低光图像增强功能是一个经典的计算机视觉问题,旨在从低光图像中恢复正常暴露图像。但是,该领域常用的卷积神经网络擅长对空间结构域中的低频局部结构特征进行取样,从而导致重建图像的纹理细节不清楚。为了减轻这个问题,我们建议使用傅立叶系数进行新的模块,该模块可以在频率阶段的语义约束下恢复高质量的纹理细节并补充空间域。此外,我们使用带有不同接收场的扩张卷积为图像空间域设计了一个简单有效的模块,以减轻频繁下采样引起的细节损失。我们将上述部分集成到端到端的双分支网络中,并设计一个新颖的损失委员会和一个自适应融合模块,以指导网络灵活地结合空间和频域特征,以产生更令人愉悦的视觉效果。最后,我们在公共基准上评估了拟议的网络。广泛的实验结果表明,我们的方法的表现优于许多现有的最先进的结果,表现出出色的性能和潜力。
translated by 谷歌翻译