具有基于框架的相机的光流计算具有很高的精度，但速度受算法的模型大小或相机帧速率的限制。这使得它不适用于高速应用程序。事件摄像机提供连续的异步事件流，以克服帧速率限制。但是，用于处理数据借用框架之类的算法，例如设置限制速度，或者遭受较低的精度。我们融合了框架和基于事件的管道的互补准确性和速度优势，以提供高速光流，同时保持较低的错误率。我们的生物模仿网络通过MVSEC数据集进行了验证，该数据集以4倍速度上升显示了19％的误差降解。然后，我们通过高速无人机飞行方案演示了系统，该方案甚至在光学摄像头看到无人机使其适用于跟踪和分割等应用程序之前，高速事件摄像头也能计算流程。这项工作表明，可以通过融合来自其他方式的数据来克服基于框架的处理中的基本权衡。

Event cameras are novel bio-inspired sensors that offer advantages over traditional cameras (low latency, high dynamic range, low power, etc.). Optical flow estimation methods that work on packets of events trade off speed for accuracy, while event-by-event (incremental) methods have strong assumptions and have not been tested on common benchmarks that quantify progress in the field. Towards applications on resource-constrained devices, it is important to develop optical flow algorithms that are fast, light-weight and accurate. This work leverages insights from neuroscience, and proposes a novel optical flow estimation scheme based on triplet matching. The experiments on publicly available benchmarks demonstrate its capability to handle complex scenes with comparable results as prior packet-based algorithms. In addition, the proposed method achieves the fastest execution time (> 10 kHz) on standard CPUs as it requires only three events in estimation. We hope that our research opens the door to real-time, incremental motion estimation methods and applications in real-world scenarios.

基于事件的摄像机最近由于其不同步捕获时间丰富的信息的能力而显示出高速运动估计的巨大潜力。具有神经启发的事件驱动的处理的尖峰神经网络（SNN）可以有效地处理异步数据，而神经元模型（例如泄漏的综合和火灾（LIF））可以跟踪输入中包含的典型时序信息。 SNN通过在神经元内存中保持动态状态，保留重要信息，同时忘记冗余数据随着时间的推移而实现这一目标。因此，我们认为，与类似大小的模拟神经网络（ANN）相比，SNN将允许在顺序回归任务上更好地性能。但是，由于以后的层消失了，很难训练深SNN。为此，我们提出了一个具有可学习的神经元动力学的自适应完全刺激框架，以减轻尖峰消失的问题。我们在时间（BPTT）中利用基于替代梯度的反向传播来从头开始训练我们的深SNN。我们验证了在多车立体化事件相机（MVSEC）数据集和DSEC-FLOW数据集中的光流估计任务的方法。我们在这些数据集上的实验显示，与最新的ANN相比，平均终点误差（AEE）平均降低了13％。我们还探索了几个缩小的模型，并观察到我们的SNN模型始终超过大小的ANN，提供10％-16％的AEE。这些结果证明了SNN对较小模型的重要性及其在边缘的适用性。在效率方面，与最先进的ANN实施相比，我们的SNN可节省大量的网络参数（48倍）和计算能（51倍），同时获得了〜10％的EPE。

基于事件的视觉传感器基于视觉场景的变化产生具有高时间分辨率的异步事件流。随着事件的生成，这些传感器的特性允许精确快速地计算光学流量。对于从事件数据计算光学流的现有解决方案未能由于孔径问题而无法捕获真正的运动方向，请勿使用传感器的高时间分辨率，或者在嵌入式平台上实时运行太昂贵。在这项研究中，我们首先提供了我们之前的算法，武器（光圈稳健的多尺度流）的更快版本。新的优化软件版本（农场）显着提高了传统CPU的吞吐量。此外，我们呈现危害，一种农场算法的硬件实现，允许实时计算低功耗，嵌入式平台上的真实流量。建议的危害架构针对混合系统的片上器件，旨在最大限度地提高可配置性和吞吐量。硬件架构和农场算法是用异步的神经形态处理而开发的，放弃了事件帧的常用使用，而是仅使用不同事件的小历史运行，允许独立于传感器分辨率进行缩放。与现有方法相比，处理范例的这种变化将流量方向的估计变为高达73％，并在选择的基准配置上显示出危害最高为1.21 Mevent / s的危害。此吞吐量使实时性能能够实现迄今为止迄今为止最快速的基于活动的事件的光流的实现。

The term ``neuromorphic'' refers to systems that are closely resembling the architecture and/or the dynamics of biological neural networks. Typical examples are novel computer chips designed to mimic the architecture of a biological brain, or sensors that get inspiration from, e.g., the visual or olfactory systems in insects and mammals to acquire information about the environment. This approach is not without ambition as it promises to enable engineered devices able to reproduce the level of performance observed in biological organisms -- the main immediate advantage being the efficient use of scarce resources, which translates into low power requirements. The emphasis on low power and energy efficiency of neuromorphic devices is a perfect match for space applications. Spacecraft -- especially miniaturized ones -- have strict energy constraints as they need to operate in an environment which is scarce with resources and extremely hostile. In this work we present an overview of early attempts made to study a neuromorphic approach in a space context at the European Space Agency's (ESA) Advanced Concepts Team (ACT).

避免障碍的广泛范围导致了许多基于计算机视觉的方法。尽管受欢迎，但这不是一个解决问题。使用相机和深度传感器的传统计算机视觉技术通常专注于静态场景，或依赖于障碍物的前沿。生物启发传感器的最新发展将事件相机作为动态场景的引人注目的选择。尽管这些传感器的基于帧的对应物具有许多优点，但是高动态范围和时间分辨率，因此基于事件的感知在很大程度上存在于2D中。这通常导致解决方案依赖于启发式和特定于特定任务。我们表明，在执行障碍物避免时，事件和深度的融合克服了每个单独的模型的故障情况。我们所提出的方法统一事件摄像机和LIDAR流，以估计未经现场几何或障碍物的先验知识的度量对抗。此外，我们还发布了一个基于事件的基于事件的数据集，具有超过700个扫描场景的六个可视流。

事件摄像机由于其有益的特性，例如高时间分辨率，高带宽，几乎没有运动模糊和低功耗，因此在机器人技术和计算机视觉中变得越来越流行。但是，这些相机在市场上仍然昂贵且稀缺，使它们无法获得大多数。使用事件模拟器最大程度地减少了对真实事件摄像机开发新算法的需求。但是，由于模拟的计算复杂性，无法实时生成现有仿真器的事件流，而是必须从现有视频序列或预渲染中预先计算，然后从虚拟3D场景中进行模拟。尽管这些离线生成的事件流可以用作学习任务的培训数据，但所有响应时间的应用程序都无法从这些模拟器中受益，因为它们仍然需要实际的事件摄像头。这项工作提出了仿真方法，将事件模拟的性能提高了两个数量级（使其实时能够），同时在质量评估中保持竞争力。

尽管神经网络在计算机视觉任务中取得了成功，但数字“神经元”还是生物神经元的非常松散的近似。当今的学习方法旨在在具有数字数据表示（例如图像帧）的数字设备上运行。相比之下，生物视觉系统通常比最先进的数字计算机视觉算法更有能力和高效。事件摄像机是一种新兴的传感器技术，它以异步射击像素模仿生物学视觉，避免了图像框架的概念。为了利用现代学习技术，许多基于事件的算法被迫将事件累积回图像帧，在某种程度上浪费了事件摄像机的优势。我们遵循相反的范式，并开发一种新型的神经网络，该网络更接近原始事件数据流。我们证明了角速度回归和竞争性光流估计中的最新性能，同时避免了与训练SNN相关的困难。此外，我们所提出的方法的处理延迟小于1/10，而连续推断将这种改进增加了另一个数量级。

纳米四轮驱动器是小的，敏捷且廉价的平台，非常适合在狭窄，混乱的环境中部署。由于其有效载荷有限，这些车辆在处理能力方面受到了高度限制，从而使基于常规视觉的方法具有安全性和自主导航不兼容。最近的机器学习发展有望在低潜伏期处高性能感知，而专用的边缘计算硬件有可能增强这些有限设备的处理能力。在这项工作中，我们提出了Nanoflownet，这是一个轻巧的卷积神经网络，用于实时密集的光流估计，对边缘计算硬件。我们从最新的语义细分方面汲取灵感来设计该网络。此外，我们使用运动边界地面真实数据指导学习光流的学习，从而改善了性能而不会影响延迟。 MPI-SINTEL数据集的验证结果显示，鉴于其受限的体系结构，该网络的高性能。此外，我们通过将其部署在超低功率GAP8微处理器上，并将其应用于BitCraze Crazyflie，这是34 G纳米四轮摩托车的BitCraze Crazyflie，并将其应用于34 G Nano Quadcopter的BitCraze Crazyflie，从而成功地证明了纳米滚子的功能。

事件摄像机捕获观察到的场景中的照明的变化，而不是累积光以创建图像。因此，它们允许在高速运动和复杂的照明条件下的应用，其中传统的框架传感器显示它们的模糊和过度或未出现的像素的限制。由于这些独特的属性，它们表示现在是与其相关的应用的高度有吸引力的传感器。在这些神经形式相机的普及升高之后，已经研究了基于事件的光流（EBOF）。然而，最近的高清神经晶体传感器的到来挑战现有方法，因为事件像素阵列的分辨率增加和更高的吞吐量。作为这些点的答案，我们提出了一种用于实时计算光流的优化框架，以及低分辨率的事件摄像机。我们以“逆指数距离表面”的形式为稀疏事件流制定了一种新的密集表示。它用作临时框架，专为使用证明，最先进的基于框架的光流量计算方法而设计。我们评估我们在低分辨率和高分辨率驾驶序列上的方法，并表明它通常比当前现有技术更好地实现更好的结果，同时也达到更高的帧速率，250Hz在346 x 260像素和77Hz在1280 x 720像素。

事件摄像机是新型生物启发传感器，其异步捕获“事件”形式的像素级强度变化。由于它们的传感机制，事件相机几乎没有运动模糊，这是一个非常高的时间分辨率，并且需要比传统的基于帧的相机更小的电力和存储器。这些特性使它们成为一个完美的拟合若干现实世界应用，如在可穿戴设备上的专门动作识别，其中快速相机运动和有限的电力挑战传统视觉传感器。然而，迄今为止，基于事件的愿景的不断增长的愿景领域已经忽略了在此类应用中的活动摄像机的潜力。在本文中，我们表明事件数据是自我监测行动识别的非常有价值的模态。为此，我们介绍了N-EPIC-Kitchens，这是大型史诗厨房数据集的第一个基于事件的相机扩展。在此背景下，我们提出了两种策略：（i）使用传统的视频处理架构（E $ ^ 2 $（GO））和（ii）使用事件数据直接处理事件相机数据（E $ ^ 2 $（GO））和蒸馏光流信息（E $ ^ 2 $（go）mo）。在我们提出的基准测试中，我们表明事件数据为RGB和光流提供了可比性的性能，但在部署时没有任何额外的流量计算，以及相对于RGB的信息高达4％的性能。

这项工作介绍了使用常规摄像头和事件摄像机的多动画视觉数据获取的共同捕获系统。事件摄像机比基于框架的相机具有多个优势，例如高时间分辨率和时间冗余抑制，这使我们能够有效捕获鱼类的快速和不稳定的运动。此外，我们提出了一种基于事件的多动物跟踪算法，该算法证明了该方法的可行性，并为进一步探索事件摄像机和传统摄像机的多动物跟踪的优势提供了基础。

基于快速的神经形态的视觉传感器（动态视觉传感器，DVS）可以与基于较慢的帧的传感器组合，以实现比使用例如固定运动近似的传统方法更高质量的帧间内插。光流。在这项工作中，我们展示了一个新的高级事件模拟器，可以产生由相机钻机录制的现实场景，该仪器具有位于固定偏移的任意数量的传感器。它包括具有现实图像质量降低效果的新型可配置帧的图像传感器模型，以及具有更精确的特性的扩展DVS模型。我们使用我们的模拟器培训一个新的重建模型，专为高FPS视频的端到端重建而设计。与以前发表的方法不同，我们的方法不需要帧和DVS相机具有相同的光学，位置或相机分辨率。它还不限于物体与传感器的固定距离。我们表明我们的模拟器生成的数据可用于训练我们的新模型，导致在与最先进的公共数据集上的公共数据集中的重建图像。我们还向传感器展示了真实传感器记录的数据。

作为具有高时间分辨率的生物启发传感器，尖峰摄像机在真实应用中具有巨大的潜力，特别是在高速场景中的运动估计。然而，由于数据模式不同，基于帧的基于事件的方法并不适合从尖峰相机的尖峰流。为此，我们展示，Scflow，一种量身定制的深度学习管道，以估计来自尖峰流的高速场景中的光学流量。重要的是，引入了一种新的输入表示，其可以根据先前运动自适应地从尖峰流中自适应地移除运动模糊。此外，对于训练Scflow，我们为Spiking Camera的两组光学流量数据合成了两组光学流量数据，尖锐的东西和光处理的高速运动，分别表示为乘坐和PHM，对应于随机的高速和精心设计的场景。实验结果表明，SC流程可以预测不同高速场景中的尖峰流的光流。此外，Scflow显示了\真正的尖峰流的有希望的泛化。发布后，所有代码和构造数据集将发布。

脊椎动物视网膜在加工琐碎的视觉任务中是高效的，例如检测移动物体，但是现代计算机的复杂任务。对象运动的检测由名为对象 - 运动敏感神经节细胞（OMS-GC）的专用视网膜神经节细胞完成。 OMS-GC处理连续信号并生成由Visual Cortex后处理的尖峰模式。本工作中提出的神经晶杂交尖峰运动检测器（NeurohSMD）使用现场可编程门阵列（FPGA）加速了HSMD算法。混合尖峰运动检测器（HSMD）算法是增强动态背景减法（DBS）算法的混合算法，其具有定制的3层尖峰神经网络（SNN），该扫描神经网络（SNN）产生OMS-GC Spiking的响应。将NeurokSmd算法与HSMD算法进行比较，使用相同的2012年改变检测（CDNET2012）和2014更改检测（CDNET2014）基准数据集。结果表明，NeurohSMD在实时生产与HSMD算法相同的结果，而不会降低质量。此外，本文提出的NeurokSMD以开放的计算机语言（OpenCL）完全实现，因此在其他设备中容易复制，例如图形处理器单元（GPU）和中央处理器单元（CPU）的集群。

Although synthetic aperture imaging (SAI) can achieve the seeing-through effect by blurring out off-focus foreground occlusions while recovering in-focus occluded scenes from multi-view images, its performance is often deteriorated by dense occlusions and extreme lighting conditions. To address the problem, this paper presents an Event-based SAI (E-SAI) method by relying on the asynchronous events with extremely low latency and high dynamic range acquired by an event camera. Specifically, the collected events are first refocused by a Refocus-Net module to align in-focus events while scattering out off-focus ones. Following that, a hybrid network composed of spiking neural networks (SNNs) and convolutional neural networks (CNNs) is proposed to encode the spatio-temporal information from the refocused events and reconstruct a visual image of the occluded targets. Extensive experiments demonstrate that our proposed E-SAI method can achieve remarkable performance in dealing with very dense occlusions and extreme lighting conditions and produce high-quality images from pure events. Codes and datasets are available at https://dvs-whu.cn/projects/esai/.

视频框架插值是一项艰巨的任务，这是由于不断变化的现实场景。先前的方法通常计算双向光流，然后在线性运动假设下预测中间光流，从而导致各向同性中间流量产生。随访研究通过估计的高阶运动信息和额外的帧获得各向异性调整。基于运动假设，它们的方法很难在真实场景中对复杂的运动进行建模。在本文中，我们提出了一种端到端训练方法A^2OF，用于视频框架插值，并通过事件驱动的各向异性调整光学流量调节。具体而言，我们使用事件为中间光流生成光流分布掩码，这可以对两个帧之间的复杂运动进行建模。我们提出的方法在视频框架插值中优于先前的方法，将基于事件的视频插值带到了更高的阶段。

视频数据通常是重复的;例如，相邻帧的内容通常强烈相关。这种重复发生在多级复杂性，从低级像素值到纹理和高级语义。我们提出了事件神经网络（EVNETS），这是一种新颖的网络，利用这种重复来实现视频推理任务的相当大的计算节省。 evnets的定义特征是每个神经元具有状态变量，其提供具有长期存储器的状态变量，即使在存在显着的相机运动中，即使在存在显着的相机运动也允许低成本推断。我们表明，几乎可以将任何传统的神经转换为EVNET。我们展示了我们对若干最先进的神经网络的方法的有效性，包括高电平和低电平的视觉处理，包括姿势识别，对象检测，光学流量和图像增强。与传统网络相比，我们观察到计算成本（2-20倍）的数量级减少，模型精度最小降低。

Visual object tracking under challenging conditions of motion and light can be hindered by the capabilities of conventional cameras, prone to producing images with motion blur. Event cameras are novel sensors suited to robustly perform vision tasks under these conditions. However, due to the nature of their output, applying them to object detection and tracking is non-trivial. In this work, we propose a framework to take advantage of both event cameras and off-the-shelf deep learning for object tracking. We show that reconstructing event data into intensity frames improves the tracking performance in conditions under which conventional cameras fail to provide acceptable results.

Spiking Neural Networks (SNNs) are bio-plausible models that hold great potential for realizing energy-efficient implementations of sequential tasks on resource-constrained edge devices. However, commercial edge platforms based on standard GPUs are not optimized to deploy SNNs, resulting in high energy and latency. While analog In-Memory Computing (IMC) platforms can serve as energy-efficient inference engines, they are accursed by the immense energy, latency, and area requirements of high-precision ADCs (HP-ADC), overshadowing the benefits of in-memory computations. We propose a hardware/software co-design methodology to deploy SNNs into an ADC-Less IMC architecture using sense-amplifiers as 1-bit ADCs replacing conventional HP-ADCs and alleviating the above issues. Our proposed framework incurs minimal accuracy degradation by performing hardware-aware training and is able to scale beyond simple image classification tasks to more complex sequential regression tasks. Experiments on complex tasks of optical flow estimation and gesture recognition show that progressively increasing the hardware awareness during SNN training allows the model to adapt and learn the errors due to the non-idealities associated with ADC-Less IMC. Also, the proposed ADC-Less IMC offers significant energy and latency improvements, $2-7\times$ and $8.9-24.6\times$, respectively, depending on the SNN model and the workload, compared to HP-ADC IMC.