模仿Retina Fovea的尖峰相机可以通过点燃尖峰报告每个像素亮度强度累积。作为具有高颞分辨率的生物启发视觉传感器，它具有巨大的计算机视觉潜力。然而，当前尖峰相机中的采样模型非常容易受到量化和噪声的影响，即它无法有效地捕获物体的纹理细节。在这项工作中，提出了一种由接收场（RVSM）启发的强大的视觉采样模型，其中使用高斯（狗）和高斯滤波器的差异产生的小波滤波器来模拟接收领域。使用类似于逆小波变换的相应方法，来自RVSM的尖峰数据可以转换为图像。为了测试性能，我们还提出了一个高速运动尖峰数据集（HMD），包括各种运动场景。通过比较HMD中的重建图像，我们发现RVSM可以提高大大捕获钉相机信息的能力。更重要的是，由于模仿接受现场机制来收集区域信息，RVSM可以有效地过滤高强度噪声并提高尖峰相机在很大程度上对噪声敏感的问题。此外，由于采样结构的强概率，RVSM也适用于其他神经形态视觉传感器。上面的实验在钉相机模拟器中完成。
translated by 谷歌翻译
作为具有高时间分辨率的生物启发传感器，尖峰摄像机在真实应用中具有巨大的潜力，特别是在高速场景中的运动估计。然而，由于数据模式不同，基于帧的基于事件的方法并不适合从尖峰相机的尖峰流。为此，我们展示，Scflow，一种量身定制的深度学习管道，以估计来自尖峰流的高速场景中的光学流量。重要的是，引入了一种新的输入表示，其可以根据先前运动自适应地从尖峰流中自适应地移除运动模糊。此外，对于训练Scflow，我们为Spiking Camera的两组光学流量数据合成了两组光学流量数据，尖锐的东西和光处理的高速运动，分别表示为乘坐和PHM，对应于随机的高速和精心设计的场景。实验结果表明，SC流程可以预测不同高速场景中的尖峰流的光流。此外，Scflow显示了\真正的尖峰流的有希望的泛化。发布后，所有代码和构造数据集将发布。
translated by 谷歌翻译
The term ``neuromorphic'' refers to systems that are closely resembling the architecture and/or the dynamics of biological neural networks. Typical examples are novel computer chips designed to mimic the architecture of a biological brain, or sensors that get inspiration from, e.g., the visual or olfactory systems in insects and mammals to acquire information about the environment. This approach is not without ambition as it promises to enable engineered devices able to reproduce the level of performance observed in biological organisms -- the main immediate advantage being the efficient use of scarce resources, which translates into low power requirements. The emphasis on low power and energy efficiency of neuromorphic devices is a perfect match for space applications. Spacecraft -- especially miniaturized ones -- have strict energy constraints as they need to operate in an environment which is scarce with resources and extremely hostile. In this work we present an overview of early attempts made to study a neuromorphic approach in a space context at the European Space Agency's (ESA) Advanced Concepts Team (ACT).
translated by 谷歌翻译
基于快速的神经形态的视觉传感器（动态视觉传感器，DVS）可以与基于较慢的帧的传感器组合，以实现比使用例如固定运动近似的传统方法更高质量的帧间内插。光流。在这项工作中，我们展示了一个新的高级事件模拟器，可以产生由相机钻机录制的现实场景，该仪器具有位于固定偏移的任意数量的传感器。它包括具有现实图像质量降低效果的新型可配置帧的图像传感器模型，以及具有更精确的特性的扩展DVS模型。我们使用我们的模拟器培训一个新的重建模型，专为高FPS视频的端到端重建而设计。与以前发表的方法不同，我们的方法不需要帧和DVS相机具有相同的光学，位置或相机分辨率。它还不限于物体与传感器的固定距离。我们表明我们的模拟器生成的数据可用于训练我们的新模型，导致在与最先进的公共数据集上的公共数据集中的重建图像。我们还向传感器展示了真实传感器记录的数据。
translated by 谷歌翻译
深度估计对于各种重要的现实世界应用至关重要，例如自动驾驶。但是，在高速场景中，它遭受了严重的性能退化，因为传统相机只能捕获模糊的图像。为了解决这个问题，Spike摄像头旨在以高框架速率捕获像素的亮度强度。但是，使用传统的单眼或立体声深度估计算法，使用尖峰摄像机的深度估计仍然非常具有挑战性，这些算法基于光度一致性。在本文中，我们提出了一种新型的不确定性引导深度融合（UGDF）框架，以融合Spike摄像机的单眼和立体声深度估计网络的预测。我们的框架是由于立体声尖峰深度估计在近距离取得更好的结果，而单眼尖峰深度估计获得了更好的结果。因此，我们引入了具有联合培训策略的双任务深度估计结构，并估算了分布式不确定性以融合单眼和立体声结果。为了证明尖峰深度估计比传统的摄像头深度估计的优势，我们为一个名为CitySpike20k的尖峰深度数据集，其中包含20k配对的样品，以进行尖峰深度估计。 UGDF在CitySpike20k上取得了最新的结果，超过了所有单眼或立体声尖峰深度估计基线。我们进行了广泛的实验，以评估我们方法对CitySpike20k的有效性和概括。据我们所知，我们的框架是第一个用于尖峰摄像头深度估算的双任务融合框架。代码和数据集将发布。
translated by 谷歌翻译
从大脑活动中解码图像一直是一个挑战。由于深度学习的发展，有可用的工具可以解决此问题。解码图像旨在将神经尖峰列车映射到低级视觉特征和高级语义信息空间。最近，有一些关于从尖峰列车解码的研究，但是，这些研究更少关注神经科学的基础，很少有研究将接受场合并为视觉图像重建。在本文中，我们提出了一种具有生物学特性的深度学习神经网络体系结构，以从尖峰火车中重建视觉图像。据我们所知，我们实施了一种将接收场属性矩阵集成到损失函数中的方法。我们的模型是从神经尖峰火车到图像的端到端解码器。我们不仅将Gabor过滤器合并到自动编码器中，该自动编码器用于生成图像，还提出了具有接收场特性的损失函数。我们在两个数据集上评估了我们的解码器，这些数据集包含猕猴的一级视觉皮层神经尖峰和sal虫视网膜神经节细胞（RGC）峰值。我们的结果表明，我们的方法可以有效地结合感受的特征以重建图像，从而根据神经信息提供一种新的视觉重建方法。
translated by 谷歌翻译
活动相机是一种新型的生物启发的视觉传感器。当亮度变化超过预设阈值时，传感器会异步生成事件。有效事件的数量直接影响基于事件的任务的性能，例如重建，检测和识别。但是，当在低亮度或缓慢的场景中，事件通常稀疏且伴随着噪声，这对基于事件的任务构成了挑战。为了解决这些挑战，我们提出了一个事件的时间上取样算法，以产生更有效和可靠的事件。我们算法的主要思想是在事件运动轨迹上生成上采样事件。首先，我们通过对比度最大化算法来估计事件运动轨迹，然后通过时间点过程对事件进行更采样。实验结果表明，上采样事件可以提供更有效的信息并改善下游任务的性能，例如提高重建图像的质量并提高对象检测的准确性。
translated by 谷歌翻译
从理想图像中估算神经辐射场（NERF）已在计算机视觉社区中进行了广泛的研究。大多数方法都采用最佳照明和缓慢的相机运动。这些假设通常在机器人应用中违反，其中图像包含运动模糊，场景可能没有合适的照明。这可能会给下游任务（例如导航，检查或可视化场景）带来重大问题。为了减轻我们提出的E-NERF的这些问题，这是第一种方法，该方法以快速移动的事件摄像机的形式估算了以NERF的形式进行体积的场景表示形式。我们的方法可以在非常快速的运动和高动态范围条件下恢复NERF，而基于框架的方法失败。我们证明，仅提供事件流作为输入，可以渲染高质量的帧。此外，通过结合事件和框架，我们可以在严重的运动模糊下估计比最先进的方法更高的质量。我们还表明，将事件和帧组合可以克服在只有很少的输入视图的情况下，无需额外正则化的方案中的NERF估计案例。
translated by 谷歌翻译
Although synthetic aperture imaging (SAI) can achieve the seeing-through effect by blurring out off-focus foreground occlusions while recovering in-focus occluded scenes from multi-view images, its performance is often deteriorated by dense occlusions and extreme lighting conditions. To address the problem, this paper presents an Event-based SAI (E-SAI) method by relying on the asynchronous events with extremely low latency and high dynamic range acquired by an event camera. Specifically, the collected events are first refocused by a Refocus-Net module to align in-focus events while scattering out off-focus ones. Following that, a hybrid network composed of spiking neural networks (SNNs) and convolutional neural networks (CNNs) is proposed to encode the spatio-temporal information from the refocused events and reconstruct a visual image of the occluded targets. Extensive experiments demonstrate that our proposed E-SAI method can achieve remarkable performance in dealing with very dense occlusions and extreme lighting conditions and produce high-quality images from pure events. Codes and datasets are available at https://dvs-whu.cn/projects/esai/.
translated by 谷歌翻译
在这个时代，智能和低功率视网膜假体的需求高度要求，在这个时代，可穿戴和可植入的设备用于众多医疗保健应用。在本文中，我们提出了一个节能动态场景处理框架（Spikesee），该框架结合了尖峰代表编码技术和生物启发的尖峰复发性神经网络（SRNN）模型，以实现智能处理和极端的低功耗计算。尖峰表示编码技术可以用稀疏的尖峰火车来解释动态场景，从而减少数据量。采用受人视网膜特殊结构和尖峰加工方法的启发的SRNN模型，以预测神经节细胞对动态场景的响应。实验结果表明，所提出的SRNN模型的Pearson相关系数达到0.93，这表现优于视网膜假体的最先进的处理框架。得益于尖峰表示和SRNN处理，该模型可以以无倍数的方式提取视觉特征。与基于卷积的复发神经网络（CRNN）处理框架相比，该框架可实现12倍的功率。我们提出的Spikesee可以通过较低的能源消耗来更准确地预测神经节细胞的响应，从而减轻了视网膜假体的精度和功率问题，并为可穿戴或可植入的假体提供了潜在的解决方案。
translated by 谷歌翻译
在许多计算机视觉应用程序中，对高动态范围（HDR）场景的能力至关重要。然而，传统传感器的动态范围基本上受其井容量的限制，导致明亮场景部件的饱和度。为了克服这种限制，新兴传感器提供了用于编码入射辐照度的像素处理能力。在最有前途的编码方案中，模数包装，其导致计算机拍摄场景由来自包裹的低动态（LDR）传感器图像的辐照法展开算法计算的计算摄影问题。在这里，我们设计了一种基于神经网络的算法，优于先前的辐照度展示方法，更重要的是，我们设计了一种感知的激发灵感的“螳螂”编码方案，从而更有效地将HDR场景包装到LDR传感器中。结合我们的重建框架，Mantissacam在模型快照HDR成像方法中实现了最先进的结果。我们展示了我们在模拟中的效果，并显示了用可编程传感器实现的原型尾涂的初步结果。
translated by 谷歌翻译
传统摄像机测量图像强度。相比之下，事件相机以异步测量每像素的时间强度变化。恢复事件的强度是一个流行的研究主题，因为重建的图像继承了高动态范围（HDR）和事件的高速属性;因此，它们可以在许多机器人视觉应用中使用并生成慢动作HDR视频。然而，最先进的方法通过训练映射到图像经常性神经网络（RNN）来解决这个问题，这缺乏可解释性并且难以调整。在这项工作中，我们首次展示运动和强度估计的联合问题导致我们以模拟基于事件的图像重建作为可以解决的线性逆问题，而无需训练图像重建RNN。相反，基于古典和学习的图像前导者可以用于解决问题并从重建的图像中删除伪影。实验表明，尽管仅使用来自短时间间隔（即，没有复发连接），但是，尽管只使用来自短时间间隔的数据，所提出的方法会产生视觉质量的图像。我们的方法还可用于提高首先估计图像Laplacian的方法重建的图像的质量;在这里，我们的方法可以被解释为由图像前提引导的泊松重建。
translated by 谷歌翻译
气孔（螳螂虾）视觉系统最近提供了一种用于设计范式转换极化和多光谱成像传感器的蓝图，使解决方案能够挑战医疗和遥感问题。然而，这些生物透视传感器缺乏气孔视觉系统的高动态范围（HDR）和异步偏振视觉功能，将时间分辨率限制为\〜12 ms和动态范围到\〜72 dB。在这里，我们提出了一种新的Stomatopod-Inspireation相机，其模仿持续和瞬态的生物视觉途径，以节省超出最大奈奎斯特帧速率的功率和样本数据。该生物启发传感器同时捕获同步强度帧和异步偏振亮度改变信息与百万倍的照明范围内的子毫秒延迟。我们的PDAVIS摄像机由346x260像素组成，组织在2×2宏像素中，该型滤光器有4个线性偏振滤波器偏移45度。使用基于低成本和延迟事件的算法和更准确但深度神经网络的更准确而是重建极化信息。我们的传感器用于图像在快速循环载荷下观察牛筋膜中单胶原纤维的单胶原纤维的动态性能
translated by 谷歌翻译
活动相机是一种与传统摄像机不同的新型传感器。每个像素通过事件异步触发。触发事件是在像素上照射的亮度的变化。如果亮度的增量或衰减高于某个阈值，则输出事件。与传统相机相比，活动相机具有高动态范围和运动模糊的优点。将事件累积到帧和使用传统的SLAM算法是一种基于事件的SLAM的直接和有效的方法。不同的事件累加器设置，例如事件流的切片方法，没有动作的处理方法，使用极性，衰减功能和事件贡献，可能导致相当不同的累积结果。我们对如何累积事件帧进行研究以实现更好的基于事件的SLAM性能。对于实验验证，累积的事件帧被馈送到传统的SLAM系统以构建基于事件的SLAM系统。我们的设置事件累加器的策略已在公共数据集上进行评估。实验结果表明，与基于最先进的事件帧的SLAM算法相比，我们的方法可以在大多数序列中实现更好的性能。此外，所提出的方法已经在四轮车UAV上进行了测试，以显示实际方案中的应用程序。代码和结果是开放的，以使事件摄像机的研究界受益
translated by 谷歌翻译
有源深度传感器，如结构化光，激光雷达和飞行时间系统以固定扫描速率均匀地样本整个场景的深度。这导致了有限的时空分辨率，其中冗余静态信息是过度采样的，并且可能会被采样珍贵运动信息。在本文中，我们提出了一种有效的生物启发事件 - 摄像机驱动深度估计算法。在我们的方法中，我们密集地动态地照亮感兴趣的领域，这取决于事件摄像机检测到的场景活动，并在没有动作的视野中稀疏地照亮区域。深度估计是通过基于事件的结构化光系统来实现，该光点投影仪组成，该激光点投影仪与调谐的第二事件的传感器耦合，以检测来自场景的激光器的反射。我们在模拟自主驾驶场景和真实室内序列中展示了我们方法的可行性，使用我们的原型。我们表明，在自动驾驶和室内环境的自然场景中，移动边缘平均对应于场景的不到10％。因此，我们的设置要求传感器仅扫描10％的场景，这可能会导致照明源的功耗较低的差价较低。虽然我们为基于事件的结构光系统提供了评估和验证，但这里提出的思想适用于Lidar，飞行时间和标准立体声等广泛的深度感测模式。视频可用于\ url {https://youtu.be/rvv9iqlyjcq}。
translated by 谷歌翻译
我们提出EV-NERF，这是一个从事件数据得出的神经辐射场。虽然事件摄像机可以测量高框架速率的细微亮度变化，但低照明或极端运动的测量却遭受了显着的域差异，并具有复杂的噪声。结果，基于事件的视觉任务的性能不会转移到具有挑战性的环境中，在这种环境中，事件摄像机预计会在普通摄像机上蓬勃发展。我们发现，NERF的多视图一致性提供了强大的自我实施信号，以消除虚假测量结果并提取一致的基础结构，尽管输入高度嘈杂。 EV-NERF的输入不是原始NERF的图像，而是事件测量值，并伴随着传感器的运动。使用反映传感器测量模型的损耗函数，EV-NERF创建了一个集成的神经体积，该量总结了捕获约2-4秒的非结构化和稀疏数据点。生成的神经体积还可以从具有合理深度估计的新型视图中产生强度图像，这可以作为各种基于视觉任务的高质量输入。我们的结果表明，EV-NERF在极端噪声条件和高动力范围成像下实现了强度图像重建的竞争性能。
translated by 谷歌翻译
Sparse representation has attracted great attention because it can greatly save storage re- sources and find representative features of data in a low-dimensional space. As a result, it may be widely applied in engineering domains including feature extraction, compressed sensing, signal denoising, picture clustering, and dictionary learning, just to name a few. In this paper, we propose a spiking sampling network. This network is composed of spiking neurons, and it can dynamically decide which pixel points should be retained and which ones need to be masked according to the input. Our experiments demonstrate that this approach enables better sparse representation of the original image and facilitates image reconstruction compared to random sampling. We thus use this approach for compressing massive data from the dynamic vision sensor, which greatly reduces the storage requirements for event data.
translated by 谷歌翻译
随着基于事件的感应增长，需要理论理解来利用这项技术的潜力。基于事件的摄像机没有通过捕获帧来录制视频，而是在输入变化时会发出事件，从而在事件时间安排信息时会发出事件。这在建立重建保证和算法方面构成了新的挑战，但也提供了比基于框架的视频的优势。我们使用时间编码计算机来建模基于事件的传感器：TEMS还通过发射以其时间和重建为特征的事件来编码其输入，从时间编码中得到充分了解。我们考虑了编码带限制视频的时间案例，并证明了空间传感器密度与整体空间和时间分辨率之间的依赖性。这种依赖性在基于框架的视频中不会发生，在基于帧的视频中，时间分辨率仅取决于视频的帧速率和空间分辨率仅取决于像素网格。但是，这种依赖性自然会在基于事件的视频中产生，并允许在太空中进行过度采样以提供更好的时间分辨率。因此，基于事件的愿景鼓励使用更多的传感器随着时间的推移发出更少的事件。
translated by 谷歌翻译
由于长时间曝光时间，传统的基于帧的相机不可避免地遭受运动模糊。作为一种生物启发相机，事件摄像机以具有高时间分辨率的异步方式记录强度变化，在曝光时间内提供有效的图像劣化信息。在本文中，我们重新思考基于事件的图像去掩盖问题并将其展开成为端到端的两级图像恢复网络。为了有效地利用事件信息，我们设计（i）专门用于图像去纹理的新型对称累积事件表示，以及（ii）在我们网络的多个级别应用的仿射事件图像融合模块。我们还提出了网络的两个阶段之间的事件掩码所连接的连接，以避免信息丢失。在数据集级别，为了促进基于事件的运动解训，并促进挑战真实世界图像的评估，我们介绍了在照明控制的光学实验室中使用活动摄像机捕获的高质量模糊（HQBLUR）数据集。我们的多尺度事件融合网络（MEFNET）设置了用于运动解训的新技术，超越了先前最佳的基于图像的方法和GoPro上的公共实现的所有基于事件的方法（高达2.38dB即使在极端模糊条件下，也是HQBLUR Datasets。源代码和数据集将公开可用。
translated by 谷歌翻译
2022-09-09
尽管神经网络在计算机视觉任务中取得了成功，但数字“神经元”还是生物神经元的非常松散的近似。当今的学习方法旨在在具有数字数据表示（例如图像帧）的数字设备上运行。相比之下，生物视觉系统通常比最先进的数字计算机视觉算法更有能力和高效。事件摄像机是一种新兴的传感器技术，它以异步射击像素模仿生物学视觉，避免了图像框架的概念。为了利用现代学习技术，许多基于事件的算法被迫将事件累积回图像帧，在某种程度上浪费了事件摄像机的优势。我们遵循相反的范式，并开发一种新型的神经网络，该网络更接近原始事件数据流。我们证明了角速度回归和竞争性光流估计中的最新性能，同时避免了与训练SNN相关的困难。此外，我们所提出的方法的处理延迟小于1/10，而连续推断将这种改进增加了另一个数量级。
translated by 谷歌翻译