非视线(NLOS)成像是一种用于检测障碍物或角落周围物体的物体的新兴技术。关于被动NLOS的最新研究主要集中在稳态测量和重建方法上,这些方法显示出识别移动目标的局限性。据我们所知,我们提出了一种新颖的基于事件的无源NLOS成像方法。我们获得了基于事件的异步数据,其中包含NLOS目标的详细动态信息,并有效缓解由运动引起的斑点降解。此外,我们创建了第一个基于事件的NLOS成像数据集NLOS-ES,并且由时间表面表示提取基于事件的功能。我们通过基于事件的数据与基于框架的数据比较重建。基于事件的方法在PSNR和LPIP上表现良好,该方法比基于框架的方法好20%和10%,而数据量仅占传统方法的2%。
translated by 谷歌翻译
Although synthetic aperture imaging (SAI) can achieve the seeing-through effect by blurring out off-focus foreground occlusions while recovering in-focus occluded scenes from multi-view images, its performance is often deteriorated by dense occlusions and extreme lighting conditions. To address the problem, this paper presents an Event-based SAI (E-SAI) method by relying on the asynchronous events with extremely low latency and high dynamic range acquired by an event camera. Specifically, the collected events are first refocused by a Refocus-Net module to align in-focus events while scattering out off-focus ones. Following that, a hybrid network composed of spiking neural networks (SNNs) and convolutional neural networks (CNNs) is proposed to encode the spatio-temporal information from the refocused events and reconstruct a visual image of the occluded targets. Extensive experiments demonstrate that our proposed E-SAI method can achieve remarkable performance in dealing with very dense occlusions and extreme lighting conditions and produce high-quality images from pure events. Codes and datasets are available at https://dvs-whu.cn/projects/esai/.
translated by 谷歌翻译
作为一种引起巨大关注的新兴技术,通过分析继电器表面上的漫反射来重建隐藏物体的非视线(NLOS)成像,具有广泛的应用前景,在自主驾驶,医学成像和医学成像领域防御。尽管信噪比低(SNR)和高不良效率的挑战,但近年来,NLOS成像已迅速发展。大多数当前的NLOS成像技术使用传统的物理模型,通过主动或被动照明构建成像模型,并使用重建算法来恢复隐藏场景。此外,NLOS成像的深度学习算法最近也得到了很多关注。本文介绍了常规和深度学习的NLOS成像技术的全面概述。此外,我们还调查了新的拟议的NLOS场景,并讨论了现有技术的挑战和前景。这样的调查可以帮助读者概述不同类型的NLOS成像,从而加速了在角落周围看到的发展。
translated by 谷歌翻译
通过动态散射介质进行非侵入性光学成像具有许多重要的生物医学应用,但仍然是一项艰巨的任务。尽管标准弥漫成像方法测量光吸收或荧光发射,但也良好的是,散射的相干光的时间相关性通过组织像光强度一样扩散。然而,迄今为止,很少有作品旨在通过实验测量和处理这种时间相关数据,以证明去相关动力学的深度组织视频重建。在这项工作中,我们利用单光子雪崩二极管(SPAD)阵列摄像机同时监视单photon水平的斑点波动的时间动力学,从12种不同的幻影组织通过定制的纤维束阵列传递的位置。然后,我们应用深度神经网络将所获得的单光子测量值转换为迅速去摩擦组织幻像下散射动力学的视频。我们证明了重建瞬态(0.1-0.4s)动态事件的图像的能力,该动态事件发生在非相关的组织幻影下,并以毫米级分辨率进行重构,并突出显示我们的模型如何灵活地扩展到埋藏的phantom船只内的流速。
translated by 谷歌翻译
来自单个运动模糊图像的视频重建是一个具有挑战性的问题,可以增强现有的相机的能力。最近,几种作品使用传统的成像和深度学习解决了这项任务。然而,由于方向模糊和噪声灵敏度,这种纯粹 - 数字方法本质上是有限的。一些作品提出使用非传统图像传感器解决这些限制,然而,这种传感器非常罕见和昂贵。为了使这些限制具有更简单的方法,我们提出了一种用于视频重建的混合光学 - 数字方法,其仅需要对现有光学系统的简单修改。在图像采集期间,在镜头孔径中使用学习的动态相位编码以对运动轨迹进行编码,该运动轨迹用作视频重建过程的先前信息。使用图像到视频卷积神经网络,所提出的计算相机以各种编码运动模糊图像的各种帧速率产生锐帧帧突发。与现有方法相比,我们使用模拟和现实世界的相机原型表现了优势和改进的性能。
translated by 谷歌翻译
由于长时间曝光时间,传统的基于帧的相机不可避免地遭受运动模糊。作为一种生物启发相机,事件摄像机以具有高时间分辨率的异步方式记录强度变化,在曝光时间内提供有效的图像劣化信息。在本文中,我们重新思考基于事件的图像去掩盖问题并将其展开成为端到端的两级图像恢复网络。为了有效地利用事件信息,我们设计(i)专门用于图像去纹理的新型对称累积事件表示,以及(ii)在我们网络的多个级别应用的仿射事件图像融合模块。我们还提出了网络的两个阶段之间的事件掩码所连接的连接,以避免信息丢失。在数据集级别,为了促进基于事件的运动解训,并促进挑战真实世界图像的评估,我们介绍了在照明控制的光学实验室中使用活动摄像机捕获的高质量模糊(HQBLUR)数据集。我们的多尺度事件融合网络(MEFNET)设置了用于运动解训的新技术,超越了先前最佳的基于图像的方法和GoPro上的公共实现的所有基于事件的方法(高达2.38dB即使在极端模糊条件下,也是HQBLUR Datasets。源代码和数据集将公开可用。
translated by 谷歌翻译
快速移动对象的检测和跟踪在许多领域都具有广泛的实用性。但是,由于复杂的计算和有限的数据处理能力,使用基于图像的技术满足快速有效检测和跟踪的这种需求是有问题的。为了解决这个问题,我们提出了一种无图像的方法,以实现快速移动对象的实时检测和跟踪。它采用Hadamard模式通过空间光调节器来照亮快速移动对象,其中单像素检测器收集所得的光信号。单像素测量值直接用于无需图像重建而无需重建位置信息。此外,一种新的采样方法用于优化实现超低采样率的模式投影方法。与最先进的方法相比,我们的方法不仅能够处理实时检测和跟踪,而且还具有少量计算和高效率。我们在实验上证明,使用22kHz数字微型摩尔设备的提出方法可以在跟踪时以1.28%的采样速率实现105FPS帧速率。我们的方法突破了传统的跟踪方式,可以在无图像重建的情况下实现对象实时跟踪。
translated by 谷歌翻译
在低动态范围(LDR)图像中存在阴影和突出显示区域,其从高动态范围(HDR)场景捕获。恢复LDR图像的饱和区域是一个不成不良的问题。在本文中,通过融合模型和数据驱动的方法来恢复LDR图像的饱和区域。利用这种神经增强,首先通过基于模型的方法从底层LDR图像生成两个合成的LDR图像。一个比输入图像更亮,以恢复阴影区域,另一个比输入图像更暗,以恢复高光区域。然后通过新颖的曝光感知饱和度恢复网络(EASRN)改进了两个合成图像。最后,两个合成图像和输入图像通过HDR合成算法或多尺度曝光融合算法组合在一起。所提出的算法可以嵌入任何智能手机或数码相机,以产生信息丰富的LDR图像。
translated by 谷歌翻译
从理想图像中估算神经辐射场(NERF)已在计算机视觉社区中进行了广泛的研究。大多数方法都采用最佳照明和缓慢的相机运动。这些假设通常在机器人应用中违反,其中图像包含运动模糊,场景可能没有合适的照明。这可能会给下游任务(例如导航,检查或可视化场景)带来重大问题。为了减轻我们提出的E-NERF的这些问题,这是第一种方法,该方法以快速移动的事件摄像机的形式估算了以NERF的形式进行体积的场景表示形式。我们的方法可以在非常快速的运动和高动态范围条件下恢复NERF,而基于框架的方法失败。我们证明,仅提供事件流作为输入,可以渲染高质量的帧。此外,通过结合事件和框架,我们可以在严重的运动模糊下估计比最先进的方法更高的质量。我们还表明,将事件和帧组合可以克服在只有很少的输入视图的情况下,无需额外正则化的方案中的NERF估计案例。
translated by 谷歌翻译
基于快速的神经形态的视觉传感器(动态视觉传感器,DVS)可以与基于较慢的帧的传感器组合,以实现比使用例如固定运动近似的传统方法更高质量的帧间内插。光流。在这项工作中,我们展示了一个新的高级事件模拟器,可以产生由相机钻机录制的现实场景,该仪器具有位于固定偏移的任意数量的传感器。它包括具有现实图像质量降低效果的新型可配置帧的图像传感器模型,以及具有更精确的特性的扩展DVS模型。我们使用我们的模拟器培训一个新的重建模型,专为高FPS视频的端到端重建而设计。与以前发表的方法不同,我们的方法不需要帧和DVS相机具有相同的光学,位置或相机分辨率。它还不限于物体与传感器的固定距离。我们表明我们的模拟器生成的数据可用于训练我们的新模型,导致在与最先进的公共数据集上的公共数据集中的重建图像。我们还向传感器展示了真实传感器记录的数据。
translated by 谷歌翻译
视频去抑制是一种高度均不存在的问题,因为模糊劣化过程中的运动信息丢失。由于事件相机可以通过高时分辨率捕获表观运动,因此多次尝试探索了引导视频去纹的事件的潜力。这些方法通常认为曝光时间与视频帧速率的倒数相同。然而,在实际情况下,这不是真的,并且曝光时间可能是未知的并且根据视频拍摄环境(例如,照明条件)动态地变化。在本文中,假设基于帧的相机的动态可变未知的曝光时间来解决事件引导视频去纹。为此,我们首先通过考虑视频帧采集过程中的曝光和读出时间来推导出事件引导视频去掩模的新配方。然后,我们提出了一种用于事件引导视频去纹的新的结束终端学习框架。特别地,我们设计了一种新的基于曝光时间的事件选择(ETES)模块,以通过估计来自模糊帧和事件的特征之间的跨模型相关来选择性地使用事件特征。此外,我们提出了一种特征融合模块,以有效地熔断来自事件和模糊帧的所选功能。我们对各种数据集进行广泛的实验,并证明我们的方法实现了最先进的性能。我们的项目代码和预付费型号将可用。
translated by 谷歌翻译
光学系统的可区分模拟可以与基于深度学习的重建网络结合使用,以通过端到端(E2E)优化光学编码器和深度解码器来实现高性能计算成像。这使成像应用程序(例如3D定位显微镜,深度估计和无透镜摄影)通过优化局部光学编码器。更具挑战性的计算成像应用,例如将3D卷压入单个2D图像的3D快照显微镜,需要高度非本地光学编码器。我们表明,现有的深网解码器具有局部性偏差,可防止这种高度非本地光学编码器的优化。我们使用全球内核傅里叶卷积神经网络(Fouriernets)基于浅神经网络体系结构的解码器来解决此问题。我们表明,在高度非本地分散镜头光学编码器捕获的照片中,傅立叶网络超过了现有的基于网络的解码器。此外,我们表明傅里叶可以对3D快照显微镜的高度非本地光学编码器进行E2E优化。通过将傅立叶网和大规模多GPU可区分的光学模拟相结合,我们能够优化非本地光学编码器170 $ \ times $ \ times $ tos 7372 $ \ times $ \ times $ \ times $比以前的最新状态,并证明了ROI的潜力-type特定的光学编码使用可编程显微镜。
translated by 谷歌翻译
活动相机是一种与传统摄像机不同的新型传感器。每个像素通过事件异步触发。触发事件是在像素上照射的亮度的变化。如果亮度的增量或衰减高于某个阈值,则输出事件。与传统相机相比,活动相机具有高动态范围和运动模糊的优点。将事件累积到帧和使用传统的SLAM算法是一种基于事件的SLAM的直接和有效的方法。不同的事件累加器设置,例如事件流的切片方法,没有动作的处理方法,使用极性,衰减功能和事件贡献,可能导致相当不同的累积结果。我们对如何累积事件帧进行研究以实现更好的基于事件的SLAM性能。对于实验验证,累积的事件帧被馈送到传统的SLAM系统以构建基于事件的SLAM系统。我们的设置事件累加器的策略已在公共数据集上进行评估。实验结果表明,与基于最先进的事件帧的SLAM算法相比,我们的方法可以在大多数序列中实现更好的性能。此外,所提出的方法已经在四轮车UAV上进行了测试,以显示实际方案中的应用程序。代码和结果是开放的,以使事件摄像机的研究界受益
translated by 谷歌翻译
近年来,事件摄像机(DVS - 动态视觉传感器)已在视觉系统中用作传统摄像机的替代或补充。它们的特征是高动态范围,高时间分辨率,低潜伏期和在有限的照明条件下可靠的性能 - 在高级驾驶员辅助系统(ADAS)和自动驾驶汽车的背景下,参数尤为重要。在这项工作中,我们测试这些相当新颖的传感器是否可以应用于流行的交通标志检测任务。为此,我们分析事件数据的不同表示:事件框架,事件频率和指数衰减的时间表面,并使用称为FireNet的深神经网络应用视频框架重建。我们将深度卷积神经网络Yolov4用作检测器。对于特定表示,我们获得了86.9-88.9%map@0.5的检测准确性。使用融合所考虑的表示形式的使用使我们能够获得更高准确性的检测器89.9%map@0.5。相比之下,用Firenet重建的框架的检测器的特征是52.67%map@0.5。获得的结果说明了汽车应用中事件摄像机的潜力,无论是独立传感器还是与典型的基于框架的摄像机密切合作。
translated by 谷歌翻译
高动态范围(HDR)成像是一种允许广泛的动态曝光范围的技术,这在图像处理,计算机图形和计算机视觉中很重要。近年来,使用深度学习(DL),HDR成像有重大进展。本研究对深层HDR成像方法的最新发展进行了综合和富有洞察力的调查和分析。在分层和结构上,将现有的深层HDR成像方法基于(1)输入曝光的数量/域,(2)学习任务数,(3)新传感器数据,(4)新的学习策略,(5)应用程序。重要的是,我们对关于其潜在和挑战的每个类别提供建设性的讨论。此外,我们审查了深度HDR成像的一些关键方面,例如数据集和评估指标。最后,我们突出了一些打开的问题,并指出了未来的研究方向。
translated by 谷歌翻译
近年来已经提出了显示屏下的显示器,作为减少移动设备的形状因子的方式,同时最大化屏幕区域。不幸的是,将相机放在屏幕后面导致显着的图像扭曲,包括对比度,模糊,噪音,色移,散射伪像和降低光敏性的损失。在本文中,我们提出了一种图像恢复管道,其是ISP-Annostic,即它可以与任何传统ISP组合,以产生使用相同的ISP与常规相机外观匹配的最终图像。这是通过执行Raw-Raw Image Restoration的深度学习方法来实现的。为了获得具有足够对比度和场景多样性的大量实际展示摄像机培训数据,我们还开发利用HDR监视器的数据捕获方法,以及数据增强方法以产生合适的HDR内容。监视器数据补充有现实世界的数据,该数据具有较少的场景分集,但允许我们实现细节恢复而不受监视器分辨率的限制。在一起,这种方法成功地恢复了颜色和对比度以及图像细节。
translated by 谷歌翻译
相位检索(PR)是从其仅限强度测量中恢复复杂值信号的长期挑战,由于其在数字成像中的广泛应用,引起了很大的关注。最近,开发了基于深度学习的方法,这些方法在单发PR中取得了成功。这些方法需要单个傅立叶强度测量,而无需对测量数据施加任何其他约束。然而,由于PR问题的输入和输出域之间存在很大的差异,香草深神经网络(DNN)并没有提供良好的性能。物理信息的方法试图将傅立叶强度测量结果纳入提高重建精度的迭代方法。但是,它需要一个冗长的计算过程,并且仍然无法保证准确性。此外,其中许多方法都在模拟数据上工作,这些数据忽略了一些常见问题,例如实用光学PR系统中的饱和度和量化错误。在本文中,提出了一种新型的物理驱动的多尺度DNN结构,称为PPRNET。与其他基于深度学习的PR方法类似,PPRNET仅需要一个傅立叶强度测量。物理驱动的是,网络被指导遵循不同尺度的傅立叶强度测量,以提高重建精度。 PPRNET具有前馈结构,可以端到端训练。因此,它比传统物理驱动的PR方法更快,更准确。进行了实用光学平台上的大量模拟和实验。结果证明了拟议的PPRNET比传统的基于基于学习的PR方法的优势和实用性。
translated by 谷歌翻译
到目前为止,已经研究了基于学习坐标的体积3D场景表示,例如神经辐射场(NERF),假设RGB或RGB-D图像是输入。同时,从神经科学文献中知道,人类视觉系统(HVS)的定制是为了处理异步亮度而不是同步的RGB图像,以构建和不断更新周围环境的心理3D表示,以进行导航和生存。受HVS原理启发的视觉传感器是事件摄像机。因此,事件是稀疏和异步的每个像素亮度(或颜色通道)更改信号。与神经3D场景表示学习的现有作品相反,本文从新的角度解决了问题。我们证明,可以从异步事件流中学习适用于RGB空间中新型视图合成的NERF。我们的模型在RGB空间中具有挑战性场景的新颖的视野具有很高的视觉准确性,即使它们的数据训练得多(即,来自单个事件摄像机的事件流围绕对象移动)并更有效(由于其效率更高(由于其培训)(由于事件流的固有稀疏性)比现有的NERF模型接受了RGB图像。我们将发布我们的数据集和源代码,请参见https://4dqv.mpi-inf.mpg.de/eventnerf/。
translated by 谷歌翻译
由于成像硬件和重建算法的重大进展,计算成像拐角处或非视线(NLOS)成像的方法正在成为现实。 NAM等人的最新发展NLOS成像。展示了一个高速非焦距成像系统,其运行速度为5Hz,比以前的ART快100倍。然而,这种巨大的采集率增长需要在光传输中进行大量近似,打破了许多现有的NLOS重建方法,这些方法采用了理想化的图像形成模型。为了弥合差距,我们提出了一个新颖的深层模型,该模型结合了波传播和体积渲染的互补物理学先验,以进行高质量和强大的NLOS重建。该精心策划的设计通过放松图像形成模型来规范解决方案空间,从而产生了一个深层模型,尽管在合成数据上只接受了专门的培训,但在真实捕获上却很好地概括了。此外,我们设计了一个统一的学习框架,使我们的模型能够使用各种监督信号(包括目标强度图像甚至RAW NLOS瞬态测量)灵活训练我们的模型。一旦受过训练,我们的模型就会在一次前传球中的推理时间呈现强度和深度图像,能够在高端GPU上处理超过5个以上的捕获。通过广泛的定性和定量实验,我们表明我们的方法的表现优于先前的物理和基于学习的方法,同时基于合成和实际测量。我们预计,我们的方法以及快速捕获系统将加速NLOS成像的未来开发,用于需要高速成像的现实世界应用。
translated by 谷歌翻译
传统摄像机测量图像强度。相比之下,事件相机以异步测量每像素的时间强度变化。恢复事件的强度是一个流行的研究主题,因为重建的图像继承了高动态范围(HDR)和事件的高速属性;因此,它们可以在许多机器人视觉应用中使用并生成慢动作HDR视频。然而,最先进的方法通过训练映射到图像经常性神经网络(RNN)来解决这个问题,这缺乏可解释性并且难以调整。在这项工作中,我们首次展示运动和强度估计的联合问题导致我们以模拟基于事件的图像重建作为可以解决的线性逆问题,而无需训练图像重建RNN。相反,基于古典和学习的图像前导者可以用于解决问题并从重建的图像中删除伪影。实验表明,尽管仅使用来自短时间间隔(即,没有复发连接),但是,尽管只使用来自短时间间隔的数据,所提出的方法会产生视觉质量的图像。我们的方法还可用于提高首先估计图像Laplacian的方法重建的图像的质量;在这里,我们的方法可以被解释为由图像前提引导的泊松重建。
translated by 谷歌翻译