移动物体检测在计算机视觉中很重要。基于事件的相机是通过模仿人眼的工作来工作的生物启发相机。这些摄像机与传统的基于帧的相机具有多种优点，例如在高运动期间的降低的延迟，HDR，降低运动模糊等，尽管存在这些优点，但基于事件的相机是噪声敏感的并且具有低分辨率。此外，由于基于事件的传感器缺乏纹理和颜色，因此难以困难地难以移动对象检测的任务。在本文中，我们调查K-Means聚类技术在基于事件数据中检测移动对象的应用。

移动对象检测是计算机愿景中的讨论的核心主题，适用于自动驾驶汽车，视频监控，安全和执法中的广泛应用。神经形态视觉传感器（NVS）是生物启发传感器，用于模仿人眼的工作。与传统的基于帧的相机不同，这些传感器捕获异步'事件'流，其在前者上呈现多个优点，如高动态范围，低延迟，低功耗和减少的运动模糊。然而，这些优点成本高，因为事件相机数据通常包含更多噪声并具有低分辨率。此外，由于基于事件的相机只能捕获场景的亮度的相对变化，事件数据不包含来自普通摄像机的视频数据中的通常可视信息（如纹理和颜色）。因此，在基于事件的相机中移动对象检测成为一个极具挑战性的任务。在本文中，我们介绍了一种无监督的曲线谱聚类技术，用于在基于事件的数据中移动对象检测（GSceVentMod）。我们还展示了如何自动确定最佳的移动物体数量。公开数据集上的实验比较表明，所提出的GSceventMod算法优于最大限度的最新技术，最大余量为30％。

与其他标准摄像机相反，事件摄像机以完全不同的方式来解释世界。作为异步事件的集合。尽管事件摄像头的独特数据输出，但许多事件功能检测和跟踪算法通过绕开基于框架的数据表示表现出了重大进展。本文质疑这样做的需求，并提出了一种新颖的事件数据友好方法，该方法可以实现同时的特征检测和跟踪，称为基于事件聚类的检测和跟踪（ECDT）。我们的方法采用一种新颖的聚类方法，称为基于K-NN分类器的空间聚类和噪声应用程序（KCSCAN）的应用，用于聚类相邻的极性事件以检索事件轨迹。借助头部和尾部描述符匹配过程，事件群集，在不同的极性中重新出现，不断跟踪，从而拉长了功能轨道。由于我们在时空空间中的聚类方法，我们的方法可以自动求解功能检测和特征跟踪。此外，ECDT可以使用可调的时间窗口以任何频率提取功能轨道，这不会破坏原始事件数据的高时间分辨率。与最先进的方法相比，我们的方法可以达到30％的特征跟踪年龄，同时也具有与其大约等于其的低误差。

我们提出了一种基于事件的降雪算法，称为EBSNOR。我们开发了一种技术，可以使用基于事件的相机数据来测量像素上雪花的停留时间，该数据用于进行Neyman-Pearson假设测试，以将事件流分为雪花和背景事件。在一个名为udayton22ebsnow的新数据集上验证了拟议的EBSNOR的有效性，该数据集由前面事件的摄像机组成，该相机在汽车中驾驶雪中，并在周围车辆周围手动注释的边界盒。在定性上，Ebsnor正确地标识了与雪花相对应的事件；并且在定量上，EBSNOR预处理的事件数据改善了基于事件的CAR检测算法的性能。

这项工作介绍了使用常规摄像头和事件摄像机的多动画视觉数据获取的共同捕获系统。事件摄像机比基于框架的相机具有多个优势，例如高时间分辨率和时间冗余抑制，这使我们能够有效捕获鱼类的快速和不稳定的运动。此外，我们提出了一种基于事件的多动物跟踪算法，该算法证明了该方法的可行性，并为进一步探索事件摄像机和传统摄像机的多动物跟踪的优势提供了基础。

在合成代理与动态场景交互的先决条件中，识别独立移动对象的能力是特别重要的。然而，从应用角度来看，标准相机可能在积极的运动和挑战性的照明条件下显着恶化。相比之下，基于事件的相机作为一类新型的生物启发传感器，提供了应对这些挑战的优势。其快速响应和异步性质使其能够以完全相同的场景动态速率捕获视觉刺激。在本文中，我们呈现了一种级联的两级多模型拟合方法，用于用单眼事件相机识别独立移动的物体（即运动分段问题）。第一级利用了对事件特征的跟踪，并在渐进式多模型拟合方案下解决了特征聚类问题。用生成的运动模型实例初始化，第二级进一步通过时空图形切割方法解决了事件聚类问题。这种组合导致有效和准确的事件明智运动分段，不能单独使用任何一个。实验证明了我们在具有不同运动模式的现实场景中的方法的有效性和多功能性以及未知数量的独立移动物体。

Visual object tracking under challenging conditions of motion and light can be hindered by the capabilities of conventional cameras, prone to producing images with motion blur. Event cameras are novel sensors suited to robustly perform vision tasks under these conditions. However, due to the nature of their output, applying them to object detection and tracking is non-trivial. In this work, we propose a framework to take advantage of both event cameras and off-the-shelf deep learning for object tracking. We show that reconstructing event data into intensity frames improves the tracking performance in conditions under which conventional cameras fail to provide acceptable results.

Neuromorphic vision or event vision is an advanced vision technology, where in contrast to the visible camera that outputs pixels, the event vision generates neuromorphic events every time there is a brightness change which exceeds a specific threshold in the field of view (FOV). This study focuses on leveraging neuromorphic event data for roadside object detection. This is a proof of concept towards building artificial intelligence (AI) based pipelines which can be used for forward perception systems for advanced vehicular applications. The focus is on building efficient state-of-the-art object detection networks with better inference results for fast-moving forward perception using an event camera. In this article, the event-simulated A2D2 dataset is manually annotated and trained on two different YOLOv5 networks (small and large variants). To further assess its robustness, single model testing and ensemble model testing are carried out.

Event-based vision has been rapidly growing in recent years justified by the unique characteristics it presents such as its high temporal resolutions (~1us), high dynamic range (>120dB), and output latency of only a few microseconds. This work further explores a hybrid, multi-modal, approach for object detection and tracking that leverages state-of-the-art frame-based detectors complemented by hand-crafted event-based methods to improve the overall tracking performance with minimal computational overhead. The methods presented include event-based bounding box (BB) refinement that improves the precision of the resulting BBs, as well as a continuous event-based object detection method, to recover missed detections and generate inter-frame detections that enable a high-temporal-resolution tracking output. The advantages of these methods are quantitatively verified by an ablation study using the higher order tracking accuracy (HOTA) metric. Results show significant performance gains resembled by an improvement in the HOTA from 56.6%, using only frames, to 64.1% and 64.9%, for the event and edge-based mask configurations combined with the two methods proposed, at the baseline framerate of 24Hz. Likewise, incorporating these methods with the same configurations has improved HOTA from 52.5% to 63.1%, and from 51.3% to 60.2% at the high-temporal-resolution tracking rate of 384Hz. Finally, a validation experiment is conducted to analyze the real-world single-object tracking performance using high-speed LiDAR. Empirical evidence shows that our approaches provide significant advantages compared to using frame-based object detectors at the baseline framerate of 24Hz and higher tracking rates of up to 500Hz.

神经形态的愿景是一种生物启发技术，它已经引发了计算机视觉界的范式转变，并作为众多应用的关键推动器。该技术提供了显着的优势，包括降低功耗，降低处理需求和通信加速。然而，神经形态摄像机患有大量的测量噪声。这种噪声恶化了基于神经形态事件的感知和导航算法的性能。在本文中，我们提出了一种新的噪声过滤算法来消除不代表观察场景中的实际记录强度变化的事件。我们采用图形神经网络（GNN） - 驱动的变压器算法，称为GNN变换器，将原始流中的每个活动事件像素分类为实木强度变化或噪声。在GNN中，传递一个名为EventConv的消息传递框架，以反映事件之间的时空相关性，同时保留它们的异步性质。我们还介绍了在各种照明条件下生成事件流的近似地面真理标签（KogT1）方法。 Kogtl用于生成标记的数据集，从记录在充满挑战的照明条件下进行的实验。这些数据集用于培训和广泛测试我们所提出的算法。在取消检测的数据集上测试时，所提出的算法在过滤精度方面优于现有方法12％。还对公共数据集进行了额外的测试，以展示在存在照明变化和不同运动动态的情况下所提出的算法的泛化能力。与现有解决方案相比，定性结果验证了所提出的算法的卓越能力，以消除噪音，同时保留有意义的场景事件。

事件摄像机由于其有益的特性，例如高时间分辨率，高带宽，几乎没有运动模糊和低功耗，因此在机器人技术和计算机视觉中变得越来越流行。但是，这些相机在市场上仍然昂贵且稀缺，使它们无法获得大多数。使用事件模拟器最大程度地减少了对真实事件摄像机开发新算法的需求。但是，由于模拟的计算复杂性，无法实时生成现有仿真器的事件流，而是必须从现有视频序列或预渲染中预先计算，然后从虚拟3D场景中进行模拟。尽管这些离线生成的事件流可以用作学习任务的培训数据，但所有响应时间的应用程序都无法从这些模拟器中受益，因为它们仍然需要实际的事件摄像头。这项工作提出了仿真方法，将事件模拟的性能提高了两个数量级（使其实时能够），同时在质量评估中保持竞争力。

This paper proposes the use of an event camera as a component of a vision system that enables counting of fast-moving objects - in this case, falling corn grains. These type of cameras transmit information about the change in brightness of individual pixels and are characterised by low latency, no motion blur, correct operation in different lighting conditions, as well as very low power consumption. The proposed counting algorithm processes events in real time. The operation of the solution was demonstrated on a stand consisting of a chute with a vibrating feeder, which allowed the number of grains falling to be adjusted. The objective of the control system with a PID controller was to maintain a constant average number of falling objects. The proposed solution was subjected to a series of tests to determine the correctness of the developed method operation. On their basis, the validity of using an event camera to count small, fast-moving objects and the associated wide range of potential industrial applications can be confirmed.

有源深度传感器，如结构化光，激光雷达和飞行时间系统以固定扫描速率均匀地样本整个场景的深度。这导致了有限的时空分辨率，其中冗余静态信息是过度采样的，并且可能会被采样珍贵运动信息。在本文中，我们提出了一种有效的生物启发事件 - 摄像机驱动深度估计算法。在我们的方法中，我们密集地动态地照亮感兴趣的领域，这取决于事件摄像机检测到的场景活动，并在没有动作的视野中稀疏地照亮区域。深度估计是通过基于事件的结构化光系统来实现，该光点投影仪组成，该激光点投影仪与调谐的第二事件的传感器耦合，以检测来自场景的激光器的反射。我们在模拟自主驾驶场景和真实室内序列中展示了我们方法的可行性，使用我们的原型。我们表明，在自动驾驶和室内环境的自然场景中，移动边缘平均对应于场景的不到10％。因此，我们的设置要求传感器仅扫描10％的场景，这可能会导致照明源的功耗较低的差价较低。虽然我们为基于事件的结构光系统提供了评估和验证，但这里提出的思想适用于Lidar，飞行时间和标准立体声等广泛的深度感测模式。视频可用于\ url {https://youtu.be/rvv9iqlyjcq}。

近年来，事件摄像机（DVS - 动态视觉传感器）已在视觉系统中用作传统摄像机的替代或补充。它们的特征是高动态范围，高时间分辨率，低潜伏期和在有限的照明条件下可靠的性能 - 在高级驾驶员辅助系统（ADAS）和自动驾驶汽车的背景下，参数尤为重要。在这项工作中，我们测试这些相当新颖的传感器是否可以应用于流行的交通标志检测任务。为此，我们分析事件数据的不同表示：事件框架，事件频率和指数衰减的时间表面，并使用称为FireNet的深神经网络应用视频框架重建。我们将深度卷积神经网络Yolov4用作检测器。对于特定表示，我们获得了86.9-88.9％map@0.5的检测准确性。使用融合所考虑的表示形式的使用使我们能够获得更高准确性的检测器89.9％map@0.5。相比之下，用Firenet重建的框架的检测器的特征是52.67％map@0.5。获得的结果说明了汽车应用中事件摄像机的潜力，无论是独立传感器还是与典型的基于框架的摄像机密切合作。

卫星摄像机可以为大型区域提供连续观察，这对于许多遥感应用很重要。然而，由于对象的外观信息不足和缺乏高质量数据集，在卫星视频中实现移动对象检测和跟踪仍然具有挑战性。在本文中，我们首先构建一个具有丰富注释的大型卫星视频数据集，用于移动对象检测和跟踪的任务。该数据集由Jilin-1卫星星座收集，并由47个高质量视频组成，对象检测有1,646,038兴趣的情况和用于对象跟踪的3,711个轨迹。然后，我们引入运动建模基线，以提高检测速率并基于累积多帧差异和鲁棒矩阵完成来减少误报。最后，我们建立了第一个用于在卫星视频中移动对象检测和跟踪的公共基准，并广泛地评估在我们数据集上几种代表方法的性能。还提供了综合实验分析和富有魅力的结论。数据集可在https://github.com/qingyonghu/viso提供。

事件摄像机可产生大型动态范围事件流，并具有很高的时间分辨率，可丢弃冗余视觉信息，从而为对象检测任务带来新的可能性。但是，将事件摄像机应用于使用深度学习方法对象检测任务的现有方法仍然存在许多问题。首先，由于全局同步时间窗口和时间分辨率，现有方法无法考虑具有不同速度的对象。其次，大多数现有方法都依赖于大型参数神经网络，这意味着较大的计算负担和低推理速度，因此与事件流的高时间分辨率相反。在我们的工作中，我们设计了一种使用简单但有效的数据增强方法的高速轻质检测器，称为敏捷事件检测器（AED）。此外，我们提出了一个称为“时间主动焦点（TAF）”的事件流表示张量，该量子充分利用了事件流数据的异步生成，并且对移动对象的运动非常强大。它也可以在不耗时的情况下构造。我们进一步提出了一个称为分叉折叠模块（BFM）的模块，以在AED检测器的输入层的TAF张量中提取丰富的时间信息。我们对两个典型的实体事件摄像机对象检测数据集进行了实验：完整的预言GEN1汽车检测数据集和预言1 Megapixel Automotive检测数据集，带有部分注释。实验表明，我们的方法在准确性，速度和参数数量方面具有竞争力。同样，通过基于光流密度度量的对象将对象分类为多个运动级别，我们说明了相对于摄像机具有不同速度的对象的方法的鲁棒性。

事件摄像机捕获观察到的场景中的照明的变化，而不是累积光以创建图像。因此，它们允许在高速运动和复杂的照明条件下的应用，其中传统的框架传感器显示它们的模糊和过度或未出现的像素的限制。由于这些独特的属性，它们表示现在是与其相关的应用的高度有吸引力的传感器。在这些神经形式相机的普及升高之后，已经研究了基于事件的光流（EBOF）。然而，最近的高清神经晶体传感器的到来挑战现有方法，因为事件像素阵列的分辨率增加和更高的吞吐量。作为这些点的答案，我们提出了一种用于实时计算光流的优化框架，以及低分辨率的事件摄像机。我们以“逆指数距离表面”的形式为稀疏事件流制定了一种新的密集表示。它用作临时框架，专为使用证明，最先进的基于框架的光流量计算方法而设计。我们评估我们在低分辨率和高分辨率驾驶序列上的方法，并表明它通常比当前现有技术更好地实现更好的结果，同时也达到更高的帧速率，250Hz在346 x 260像素和77Hz在1280 x 720像素。

随着已安装的摄像机的数量，需要处理和分析这些摄像机捕获的所有图像所需的计算资源。视频分析使新用例（例如智能城市）或自动驾驶等开放。与此同时，它敦促服务提供商安装额外的计算资源以应对需求，而严格的延迟要求推动到网络末尾的计算，形成了地理分布式和异构的计算位置集，共享和资源受限。这种景观（共享和分布式位置）迫使我们设计可以在所有可用位置之间优化和分发工作的新技术，并且理想情况下，使得计算要求在安装的相机的数量方面增长。在本文中，我们展示了FOMO（专注于移动物体）。该方法通过预处理场景，过滤空区输出并将来自多个摄像机的感兴趣区域组成为用于预先训练的对象检测模型的输入的单个图像来有效地优化多摄像机部署。结果表明，整体系统性能可以提高8倍，而精度可提高40％作为方法的副产物，所有这些都是使用储物预训练模型，没有额外的训练或微调。

活动相机是一种新型的生物启发的视觉传感器。当亮度变化超过预设阈值时，传感器会异步生成事件。有效事件的数量直接影响基于事件的任务的性能，例如重建，检测和识别。但是，当在低亮度或缓慢的场景中，事件通常稀疏且伴随着噪声，这对基于事件的任务构成了挑战。为了解决这些挑战，我们提出了一个事件的时间上取样算法，以产生更有效和可靠的事件。我们算法的主要思想是在事件运动轨迹上生成上采样事件。首先，我们通过对比度最大化算法来估计事件运动轨迹，然后通过时间点过程对事件进行更采样。实验结果表明，上采样事件可以提供更有效的信息并改善下游任务的性能，例如提高重建图像的质量并提高对象检测的准确性。

事件摄像机是由生物启发的传感器，比传统摄像机具有优势。它们不同步，用微秒的分辨率对场景进行采样，并产生亮度变化。这种非常规的输出引发了新型的计算机视觉方法，以释放相机的潜力。我们解决了SLAM的基于事件的立体3D重建问题。大多数基于事件的立体声方法都试图利用相机跨相机的高时间分辨率和事件同时性，以建立匹配和估计深度。相比之下，我们研究了如何通过融合有效的单眼方法来融合差异空间图像（DSIS）来估计深度。我们开发融合理论，并将其应用于设计产生最先进结果的多相机3D重建算法，正如我们通过与四种基线方法进行比较并在各种可用数据集上进行测试的确认。