有源深度传感器,如结构化光,激光雷达和飞行时间系统以固定扫描速率均匀地样本整个场景的深度。这导致了有限的时空分辨率,其中冗余静态信息是过度采样的,并且可能会被采样珍贵运动信息。在本文中,我们提出了一种有效的生物启发事件 - 摄像机驱动深度估计算法。在我们的方法中,我们密集地动态地照亮感兴趣的领域,这取决于事件摄像机检测到的场景活动,并在没有动作的视野中稀疏地照亮区域。深度估计是通过基于事件的结构化光系统来实现,该光点投影仪组成,该激光点投影仪与调谐的第二事件的传感器耦合,以检测来自场景的激光器的反射。我们在模拟自主驾驶场景和真实室内序列中展示了我们方法的可行性,使用我们的原型。我们表明,在自动驾驶和室内环境的自然场景中,移动边缘平均对应于场景的不到10%。因此,我们的设置要求传感器仅扫描10%的场景,这可能会导致照明源的功耗较低的差价较低。虽然我们为基于事件的结构光系统提供了评估和验证,但这里提出的思想适用于Lidar,飞行时间和标准立体声等广泛的深度感测模式。视频可用于\ url {https://youtu.be/rvv9iqlyjcq}。
translated by 谷歌翻译
事件摄像机是生物启发传感器,可通过标准摄像机提供显着优势,例如低延迟,高延迟,高度的时间分辨率和高动态范围。我们提出了一种使用事件摄像机的新型结构化光系统来解决准确和高速深度感测的问题。我们的设置包括一个事件摄像机和一个激光点投影仪,在16毫秒期间,在光栅扫描模式中均匀地照亮场景。以前的方法匹配相互独立的事件,因此它们在信号延迟和抖动的存在下以高扫描速度提供噪声深度估计。相比之下,我们优化了旨在利用事件相关性的能量函数,称为时空稠度。所得到的方法对事件抖动鲁棒,因此以更高的扫描速度执行更好。实验表明,我们的方法可以根据事件摄像机处理高速运动和优于最先进的3D重建方法,对于相同的采集时间,平均地将RMSE降低了83%。
translated by 谷歌翻译
事件摄像机是由生物启发的传感器,比传统摄像机具有优势。它们不同步,用微秒的分辨率对场景进行采样,并产生亮度变化。这种非常规的输出引发了新型的计算机视觉方法,以释放相机的潜力。我们解决了SLAM的基于事件的立体3D重建问题。大多数基于事件的立体声方法都试图利用相机跨相机的高时间分辨率和事件同时性,以建立匹配和估计深度。相比之下,我们研究了如何通过融合有效的单眼方法来融合差异空间图像(DSIS)来估计深度。我们开发融合理论,并将其应用于设计产生最先进结果的多相机3D重建算法,正如我们通过与四种基线方法进行比较并在各种可用数据集上进行测试的确认。
translated by 谷歌翻译
基于事件的相机(ECS)是受生物启发的传感器,它们异步报告每个像素的亮度变化。由于它们的高动态范围,像素带宽,时间分辨率,低功耗和计算简单性,它们对在挑战性照明条件下基于视觉的项目有益,并且可以通过微秒响应时间检测快速运动。第一代EC是单色的,但是颜色数据非常有用,有时对于某些基于视觉的应用程序至关重要。最新的技术使制造商能够建造颜色EC,交易传感器的大小,并与单色模型相比,尽管具有相同的带宽,但与单色模型相比大大降低了分辨率。此外,ECS仅检测光的变化,不会显示静态或缓慢移动的物体。我们介绍了一种使用结构化照明投影仪帮助的单色EC检测完整RGB事件的方法。投影仪在场景上迅速发出了光束的RGB图案,其反射是由EC捕获的。我们结合了ECS和基于投影的技术的好处,并允许将静态或移动物体与商用Ti LightCrafter 4500投影仪和单眼单色EC进行深度和颜色检测,为无框RGB-D传感应用铺平了道路。
translated by 谷歌翻译
Time-resolved image sensors that capture light at pico-to-nanosecond timescales were once limited to niche applications but are now rapidly becoming mainstream in consumer devices. We propose low-cost and low-power imaging modalities that capture scene information from minimal time-resolved image sensors with as few as one pixel. The key idea is to flood illuminate large scene patches (or the entire scene) with a pulsed light source and measure the time-resolved reflected light by integrating over the entire illuminated area. The one-dimensional measured temporal waveform, called \emph{transient}, encodes both distances and albedoes at all visible scene points and as such is an aggregate proxy for the scene's 3D geometry. We explore the viability and limitations of the transient waveforms by themselves for recovering scene information, and also when combined with traditional RGB cameras. We show that plane estimation can be performed from a single transient and that using only a few more it is possible to recover a depth map of the whole scene. We also show two proof-of-concept hardware prototypes that demonstrate the feasibility of our approach for compact, mobile, and budget-limited applications.
translated by 谷歌翻译
Event-based vision has been rapidly growing in recent years justified by the unique characteristics it presents such as its high temporal resolutions (~1us), high dynamic range (>120dB), and output latency of only a few microseconds. This work further explores a hybrid, multi-modal, approach for object detection and tracking that leverages state-of-the-art frame-based detectors complemented by hand-crafted event-based methods to improve the overall tracking performance with minimal computational overhead. The methods presented include event-based bounding box (BB) refinement that improves the precision of the resulting BBs, as well as a continuous event-based object detection method, to recover missed detections and generate inter-frame detections that enable a high-temporal-resolution tracking output. The advantages of these methods are quantitatively verified by an ablation study using the higher order tracking accuracy (HOTA) metric. Results show significant performance gains resembled by an improvement in the HOTA from 56.6%, using only frames, to 64.1% and 64.9%, for the event and edge-based mask configurations combined with the two methods proposed, at the baseline framerate of 24Hz. Likewise, incorporating these methods with the same configurations has improved HOTA from 52.5% to 63.1%, and from 51.3% to 60.2% at the high-temporal-resolution tracking rate of 384Hz. Finally, a validation experiment is conducted to analyze the real-world single-object tracking performance using high-speed LiDAR. Empirical evidence shows that our approaches provide significant advantages compared to using frame-based object detectors at the baseline framerate of 24Hz and higher tracking rates of up to 500Hz.
translated by 谷歌翻译
事件摄像机最近在高动力或具有挑战性的照明情况下具有强大的常规摄像头的潜力,因此摄影机最近变得越来越受欢迎。通过同时定位和映射(SLAM)给出了可能受益于事件摄像机的重要问题。但是,为了确保在包含事件的多传感器大满贯上进展,需要新颖的基准序列。我们的贡献是使用包含基于事件的立体声摄像机,常规立体声摄像机,多个深度传感器和惯性测量单元的多传感器设置捕获的第一组基准数据集。该设置是完全硬件同步的,并且经过了准确的外部校准。所有序列都均均均均由高度准确的外部参考设备(例如运动捕获系统)捕获的地面真相数据。各个序列都包括小型和大型环境,并涵盖动态视觉传感器针对的特定挑战。
translated by 谷歌翻译
避免障碍的广泛范围导致了许多基于计算机视觉的方法。尽管受欢迎,但这不是一个解决问题。使用相机和深度传感器的传统计算机视觉技术通常专注于静态场景,或依赖于障碍物的前沿。生物启发传感器的最新发展将事件相机作为动态场景的引人注目的选择。尽管这些传感器的基于帧的对应物具有许多优点,但是高动态范围和时间分辨率,因此基于事件的感知在很大程度上存在于2D中。这通常导致解决方案依赖于启发式和特定于特定任务。我们表明,在执行障碍物避免时,事件和深度的融合克服了每个单独的模型的故障情况。我们所提出的方法统一事件摄像机和LIDAR流,以估计未经现场几何或障碍物的先验知识的度量对抗。此外,我们还发布了一个基于事件的基于事件的数据集,具有超过700个扫描场景的六个可视流。
translated by 谷歌翻译
门控相机作为扫描LIDAR传感器的替代方案,具有高分辨率的3D深度,在雾,雪和雨中稳健。不是通过光子飞行时间顺序地扫描场景并直接记录深度,如在脉冲激光雷达传感器中,所设定的成像器编码在百万像素分辨率的少量门控切片中的相对强度的深度。尽管现有方法表明,可以从这些测量中解码高分辨率深度,但这些方法需要同步和校准的LIDAR来监督门控深度解码器 - 禁止在地理位置上快速采用,在大型未配对数据集上培训,以及探索替代应用程序外面的汽车用例。在这项工作中,我们填补了这个差距并提出了一种完全自我监督的深度估计方法,它使用门控强度配置文件和时间一致性作为训练信号。所提出的模型从门控视频序列培训结束到结束,不需要LIDAR或RGB数据,并学会估计绝对深度值。我们将门控切片作为输入和解散估计场景,深度和环境光,然后用于学习通过循环损耗来重建输入切片。我们依赖于给定帧和相邻门控切片之间的时间一致性,以在具有阴影和反射的区域中估计深度。我们通过实验验证,所提出的方法优于基于单眼RGB和立体图像的现有监督和自我监督的深度估计方法,以及基于门控图像的监督方法。
translated by 谷歌翻译
活动相机是一种新型的生物启发的视觉传感器。当亮度变化超过预设阈值时,传感器会异步生成事件。有效事件的数量直接影响基于事件的任务的性能,例如重建,检测和识别。但是,当在低亮度或缓慢的场景中,事件通常稀疏且伴随着噪声,这对基于事件的任务构成了挑战。为了解决这些挑战,我们提出了一个事件的时间上取样算法,以产生更有效和可靠的事件。我们算法的主要思想是在事件运动轨迹上生成上采样事件。首先,我们通过对比度最大化算法来估计事件运动轨迹,然后通过时间点过程对事件进行更采样。实验结果表明,上采样事件可以提供更有效的信息并改善下游任务的性能,例如提高重建图像的质量并提高对象检测的准确性。
translated by 谷歌翻译
传感器是将物理参数或环境特征(例如温度,距离,速度等)转换为可以通过数字测量和处理以执行特定任务的信号的设备。移动机器人需要传感器来测量其环境的属性,从而允许安全导航,复杂的感知和相应的动作以及与填充环境的其他代理的有效相互作用。移动机器人使用的传感器范围从简单的触觉传感器(例如保险杠)到复杂的基于视觉的传感器,例如结构化灯相机。所有这些都提供了可以由机器人计算机处理的数字输出(例如,字符串,一组值,矩阵等)。通常通过使用传感器中包含的数字转换器(ADC)的类似物来离散一个或多个模拟电信号来获得此类输出。在本章中,我们介绍了移动机器人技术中最常见的传感器,并提供了其分类法,基本特征和规格的介绍。对功能和应用程序类型的描述遵循一种自下而上的方法:在描述现实世界传感器之前,介绍了传感器所基于的基本原理和组件,这些传感器通常基于多种技术和基本设备。
translated by 谷歌翻译
高保真大满贯系统的开发过程取决于它们对可靠数据集的验证。为了实现这一目标,我们提出了IBiscape,这是一种模拟基准,其中包括来自异质传感器的数据同步和获取API:立体声 - RGB/DVS,深度,IMU和GPS,以及地面真相场景场景细分和车辆自我摄入量。我们的基准是建立在卡拉模拟器上的,后端是虚幻的引擎,呈现出模拟现实世界的高动态风景。此外,我们提供34个适用于自动驾驶汽车导航的多模式数据集,包括用于场景理解等情况,例如事故等,以及基于与API集成的动态天气模拟类别的广泛框架质量。我们还将第一个校准目标引入了Carla图,以解决CARLA模拟DVS和RGB摄像机的未知失真参数问题。最后,使用IBISCAPE序列,我们评估了四个ORB-SLAM 3系统(单眼RGB,立体RGB,立体声视觉惯性(SVI)和RGB-D)的性能和玄武岩视觉惯性轴测计(VIO)系统,这些系统在模拟的大型大型序列上收集的各种序列 - 规模动态环境。关键字:基准,多模式,数据集,探针,校准,DVS,SLAM
translated by 谷歌翻译
从理想图像中估算神经辐射场(NERF)已在计算机视觉社区中进行了广泛的研究。大多数方法都采用最佳照明和缓慢的相机运动。这些假设通常在机器人应用中违反,其中图像包含运动模糊,场景可能没有合适的照明。这可能会给下游任务(例如导航,检查或可视化场景)带来重大问题。为了减轻我们提出的E-NERF的这些问题,这是第一种方法,该方法以快速移动的事件摄像机的形式估算了以NERF的形式进行体积的场景表示形式。我们的方法可以在非常快速的运动和高动态范围条件下恢复NERF,而基于框架的方法失败。我们证明,仅提供事件流作为输入,可以渲染高质量的帧。此外,通过结合事件和框架,我们可以在严重的运动模糊下估计比最先进的方法更高的质量。我们还表明,将事件和帧组合可以克服在只有很少的输入视图的情况下,无需额外正则化的方案中的NERF估计案例。
translated by 谷歌翻译
这项工作介绍了使用常规摄像头和事件摄像机的多动画视觉数据获取的共同捕获系统。事件摄像机比基于框架的相机具有多个优势,例如高时间分辨率和时间冗余抑制,这使我们能够有效捕获鱼类的快速和不稳定的运动。此外,我们提出了一种基于事件的多动物跟踪算法,该算法证明了该方法的可行性,并为进一步探索事件摄像机和传统摄像机的多动物跟踪的优势提供了基础。
translated by 谷歌翻译
许多施工机器人任务(例如自动水泥抛光或机器人石膏喷涂)需要高精度3D表面信息。但是,目前在市场上发现的消费级深度摄像头还不够准确,对于需要毫米(mm)级别准确性的这些任务。本文介绍了SL传感器,SL传感器是一种结构化的光传感溶液,能够通过利用相移初量法(PSP)编码技术来生产5 Hz的高保真点云。将SL传感器与两个商用深度摄像机进行了比较 - Azure Kinect和Realsense L515。实验表明,SL传感器以室内表面重建应用的精度和精度超过了两个设备。此外,为了证明SL传感器成为机器人应用的结构化光传感研究平台的能力,开发了运动补偿策略,该策略允许SL传感器在传统PSP方法仅在传感器静态时工作时在线性运动过程中运行。现场实验表明,SL传感器能够生成喷雾灰泥表面的高度详细的重建。机器人操作系统(ROS)的软件和SL传感器的示例硬件构建是开源的,其目的是使结构化的光传感更容易被施工机器人社区访问。所有文档和代码均可在https://github.com/ethz-asl/sl_sensor/上获得。
translated by 谷歌翻译
气孔(螳螂虾)视觉系统最近提供了一种用于设计范式转换极化和多光谱成像传感器的蓝图,使解决方案能够挑战医疗和遥感问题。然而,这些生物透视传感器缺乏气孔视觉系统的高动态范围(HDR)和异步偏振视觉功能,将时间分辨率限制为\〜12 ms和动态范围到\〜72 dB。在这里,我们提出了一种新的Stomatopod-Inspireation相机,其模仿持续和瞬态的生物视觉途径,以节省超出最大奈奎斯特帧速率的功率和样本数据。该生物启发传感器同时捕获同步强度帧和异步偏振亮度改变信息与百万倍的照明范围内的子毫秒延迟。我们的PDAVIS摄像机由346x260像素组成,组织在2×2宏像素中,该型滤光器有4个线性偏振滤波器偏移45度。使用基于低成本和延迟事件的算法和更准确但深度神经网络的更准确而是重建极化信息。我们的传感器用于图像在快速循环载荷下观察牛筋膜中单胶原纤维的单胶原纤维的动态性能
translated by 谷歌翻译
自动化驾驶系统(广告)开辟了汽车行业的新领域,为未来的运输提供了更高的效率和舒适体验的新可能性。然而,在恶劣天气条件下的自主驾驶已经存在,使自动车辆(AVS)长时间保持自主车辆(AVS)或更高的自主权。本文评估了天气在分析和统计方式中为广告传感器带来的影响和挑战,并对恶劣天气条件进行了解决方案。彻底报道了关于对每种天气的感知增强的最先进技术。外部辅助解决方案如V2X技术,当前可用的数据集,模拟器和天气腔室的实验设施中的天气条件覆盖范围明显。通过指出各种主要天气问题,自主驾驶场目前正在面临,近年来审查硬件和计算机科学解决方案,这项调查概述了在不利的天气驾驶条件方面的障碍和方向的障碍和方向。
translated by 谷歌翻译
仿真有可能改变在安全关键方案中部署的移动代理的强大算法的开发。然而,对现有模拟发动机的差的光敏性和缺乏不同的传感器方式保持关键障碍朝来实现这种潜力。在这里,我们呈现Vista,一个开源,数据驱动模拟器,用于为自动车辆集成多种类型的传感器。使用高保真度,实际数据集,Vista表示和模拟RGB摄像机,3D LIDAR和基于事件的相机,可以快速生成模拟中的新颖观点,从而富集可用于与难以实现的拐角案例的政策学习的数据在物理世界中捕获。使用Vista,我们展示了在每个传感器类型上培训和测试对控制策略的能力,并通过在全尺度自主车辆上进行展示这种方法的功率。在Vista中学到的政策展示了SIM-TEAR-REAL转移,而不是改进和更高的鲁棒性,而不是完全在现实世界数据上培训的鲁棒性。
translated by 谷歌翻译
尽管学术和公司的努力很大,但在不利视觉条件下的自动驾驶仍然证明具有挑战性。随着神经形态技术的成熟,其应用于机器人技术,自动驾驶汽车系统已成为积极研究的领域。低光和潜伏期的情况可以受益。为了使事件摄像机能够在感知任务中与LiDAR这样的主食传感器一起操作,我们提出了事件摄像机和激光镜头之间的直接,时间耦合的校准方法。利用事件摄像机的高动态范围和低光操作直接注册LIDAR激光返回,从而允许基于信息的相关方法优化两个传感器之间的6DOF外部校准。本文介绍了事件摄像机和激光镜头之间的第一种直接校准方法,从而消除了对基于框架的相机中介机构和/或高度准确的手部测量的依赖性。代码将公开可用。
translated by 谷歌翻译
Modern mobile burst photography pipelines capture and merge a short sequence of frames to recover an enhanced image, but often disregard the 3D nature of the scene they capture, treating pixel motion between images as a 2D aggregation problem. We show that in a "long-burst", forty-two 12-megapixel RAW frames captured in a two-second sequence, there is enough parallax information from natural hand tremor alone to recover high-quality scene depth. To this end, we devise a test-time optimization approach that fits a neural RGB-D representation to long-burst data and simultaneously estimates scene depth and camera motion. Our plane plus depth model is trained end-to-end, and performs coarse-to-fine refinement by controlling which multi-resolution volume features the network has access to at what time during training. We validate the method experimentally, and demonstrate geometrically accurate depth reconstructions with no additional hardware or separate data pre-processing and pose-estimation steps.
translated by 谷歌翻译