与其他标准摄像机相反，事件摄像机以完全不同的方式来解释世界。作为异步事件的集合。尽管事件摄像头的独特数据输出，但许多事件功能检测和跟踪算法通过绕开基于框架的数据表示表现出了重大进展。本文质疑这样做的需求，并提出了一种新颖的事件数据友好方法，该方法可以实现同时的特征检测和跟踪，称为基于事件聚类的检测和跟踪（ECDT）。我们的方法采用一种新颖的聚类方法，称为基于K-NN分类器的空间聚类和噪声应用程序（KCSCAN）的应用，用于聚类相邻的极性事件以检索事件轨迹。借助头部和尾部描述符匹配过程，事件群集，在不同的极性中重新出现，不断跟踪，从而拉长了功能轨道。由于我们在时空空间中的聚类方法，我们的方法可以自动求解功能检测和特征跟踪。此外，ECDT可以使用可调的时间窗口以任何频率提取功能轨道，这不会破坏原始事件数据的高时间分辨率。与最先进的方法相比，我们的方法可以达到30％的特征跟踪年龄，同时也具有与其大约等于其的低误差。

移动物体检测在计算机视觉中很重要。基于事件的相机是通过模仿人眼的工作来工作的生物启发相机。这些摄像机与传统的基于帧的相机具有多种优点，例如在高运动期间的降低的延迟，HDR，降低运动模糊等，尽管存在这些优点，但基于事件的相机是噪声敏感的并且具有低分辨率。此外，由于基于事件的传感器缺乏纹理和颜色，因此难以困难地难以移动对象检测的任务。在本文中，我们调查K-Means聚类技术在基于事件数据中检测移动对象的应用。

在合成代理与动态场景交互的先决条件中，识别独立移动对象的能力是特别重要的。然而，从应用角度来看，标准相机可能在积极的运动和挑战性的照明条件下显着恶化。相比之下，基于事件的相机作为一类新型的生物启发传感器，提供了应对这些挑战的优势。其快速响应和异步性质使其能够以完全相同的场景动态速率捕获视觉刺激。在本文中，我们呈现了一种级联的两级多模型拟合方法，用于用单眼事件相机识别独立移动的物体（即运动分段问题）。第一级利用了对事件特征的跟踪，并在渐进式多模型拟合方案下解决了特征聚类问题。用生成的运动模型实例初始化，第二级进一步通过时空图形切割方法解决了事件聚类问题。这种组合导致有效和准确的事件明智运动分段，不能单独使用任何一个。实验证明了我们在具有不同运动模式的现实场景中的方法的有效性和多功能性以及未知数量的独立移动物体。

事件摄像机是运动激活的传感器，可捕获像素级照明的变化，而不是具有固定帧速率的强度图像。与标准摄像机相比，它可以在高速运动和高动态范围场景中提供可靠的视觉感知。但是，当相机和场景之间的相对运动受到限制时，例如在静态状态下，事件摄像机仅输出一点信息甚至噪音。尽管标准相机可以在大多数情况下，尤其是在良好的照明条件下提供丰富的感知信息。这两个相机完全是互补的。在本文中，我们提出了一种具有鲁棒性，高智能和实时优化的基于事件的视觉惯性镜（VIO）方法，具有事件角度，基于线的事件功能和基于点的图像功能。提出的方法旨在利用人为场景中的自然场景和基于线路的功能中的基于点的功能，以通过设计良好设计的功能管理提供更多其他结构或约束信息。公共基准数据集中的实验表明，与基于图像或基于事件的VIO相比，我们的方法可以实现卓越的性能。最后，我们使用我们的方法演示了机上闭环自动驾驶四极管飞行和大规模室外实验。评估的视频在我们的项目网站上介绍：https：//b23.tv/oe3qm6j

移动对象检测是计算机愿景中的讨论的核心主题，适用于自动驾驶汽车，视频监控，安全和执法中的广泛应用。神经形态视觉传感器（NVS）是生物启发传感器，用于模仿人眼的工作。与传统的基于帧的相机不同，这些传感器捕获异步'事件'流，其在前者上呈现多个优点，如高动态范围，低延迟，低功耗和减少的运动模糊。然而，这些优点成本高，因为事件相机数据通常包含更多噪声并具有低分辨率。此外，由于基于事件的相机只能捕获场景的亮度的相对变化，事件数据不包含来自普通摄像机的视频数据中的通常可视信息（如纹理和颜色）。因此，在基于事件的相机中移动对象检测成为一个极具挑战性的任务。在本文中，我们介绍了一种无监督的曲线谱聚类技术，用于在基于事件的数据中移动对象检测（GSceVentMod）。我们还展示了如何自动确定最佳的移动物体数量。公开数据集上的实验比较表明，所提出的GSceventMod算法优于最大限度的最新技术，最大余量为30％。

事件摄像机捕获观察到的场景中的照明的变化，而不是累积光以创建图像。因此，它们允许在高速运动和复杂的照明条件下的应用，其中传统的框架传感器显示它们的模糊和过度或未出现的像素的限制。由于这些独特的属性，它们表示现在是与其相关的应用的高度有吸引力的传感器。在这些神经形式相机的普及升高之后，已经研究了基于事件的光流（EBOF）。然而，最近的高清神经晶体传感器的到来挑战现有方法，因为事件像素阵列的分辨率增加和更高的吞吐量。作为这些点的答案，我们提出了一种用于实时计算光流的优化框架，以及低分辨率的事件摄像机。我们以“逆指数距离表面”的形式为稀疏事件流制定了一种新的密集表示。它用作临时框架，专为使用证明，最先进的基于框架的光流量计算方法而设计。我们评估我们在低分辨率和高分辨率驾驶序列上的方法，并表明它通常比当前现有技术更好地实现更好的结果，同时也达到更高的帧速率，250Hz在346 x 260像素和77Hz在1280 x 720像素。

面部特征跟踪是成像跳芭式（BCG）的关键组成部分，其中需要精确定量面部关键点的位移，以获得良好的心率估计。皮肤特征跟踪能够在帕金森病中基于视频的电机降解量化。传统的计算机视觉算法包括刻度不变特征变换（SIFT），加速强大的功能（冲浪）和LUCAS-KANADE方法（LK）。这些长期代表了最先进的效率和准确性，但是当存在常见的变形时，如图所示，如图所示，如此。在过去的五年中，深度卷积神经网络对大多数计算机视觉任务的传统方法表现优于传统的传统方法。我们提出了一种用于特征跟踪的管道，其应用卷积堆积的AutoEncoder，以将图像中最相似的裁剪标识到包含感兴趣的特征的参考裁剪。 AutoEncoder学会将图像作物代表到特定于对象类别的深度特征编码。我们在面部图像上培训AutoEncoder，并验证其在手动标记的脸部和手视频中通常验证其跟踪皮肤功能的能力。独特的皮肤特征（痣）的跟踪误差是如此之小，因为我们不能排除他们基于$ \ chi ^ 2 $ -test的手动标签。对于0.6-4.2像素的平均误差，我们的方法在所有情况下都表现出了其他方法。更重要的是，我们的方法是唯一一个不分歧的方法。我们得出的结论是，我们的方法为特征跟踪，特征匹配和图像配准比传统算法创建更好的特征描述符。

现代目光跟踪系统中的相机具有基本的带宽和功率限制，实际上将数据采集速度限制为300 Hz。这会阻碍使用移动眼镜手术器的使用，例如低潜伏期预测性渲染，或者在野外使用头部安装的设备来快速而微妙的眼动运动，例如微扫视。在这里，我们提出了一个基于混合框架的近眼凝视跟踪系统，可提供超过10,000 Hz的更新速率，其准确性与在相同条件下评估时相匹配的高端台式机商业跟踪器。我们的系统建立在新兴事件摄像机的基础上，该摄像头同时获得定期采样框架和自适应采样事件。我们开发了一种在线2D学生拟合方法，该方法每一个或几个事件都会更新参数模型。此外，我们提出了一个多项式回归器，用于实时估算参数学生模型的凝视点。使用第一个基于事件的凝视数据集，可在https://github.com/aangelopoulos/event_based_gaze_tracking上获得，我们证明我们的系统可实现0.45度 - 1.75度的准确度，用于从45度到98度的视野。借助这项技术，我们希望能够为虚拟和增强现实提供新一代的超低延迟凝视呈现和展示技术。

Event-based vision has been rapidly growing in recent years justified by the unique characteristics it presents such as its high temporal resolutions (~1us), high dynamic range (>120dB), and output latency of only a few microseconds. This work further explores a hybrid, multi-modal, approach for object detection and tracking that leverages state-of-the-art frame-based detectors complemented by hand-crafted event-based methods to improve the overall tracking performance with minimal computational overhead. The methods presented include event-based bounding box (BB) refinement that improves the precision of the resulting BBs, as well as a continuous event-based object detection method, to recover missed detections and generate inter-frame detections that enable a high-temporal-resolution tracking output. The advantages of these methods are quantitatively verified by an ablation study using the higher order tracking accuracy (HOTA) metric. Results show significant performance gains resembled by an improvement in the HOTA from 56.6%, using only frames, to 64.1% and 64.9%, for the event and edge-based mask configurations combined with the two methods proposed, at the baseline framerate of 24Hz. Likewise, incorporating these methods with the same configurations has improved HOTA from 52.5% to 63.1%, and from 51.3% to 60.2% at the high-temporal-resolution tracking rate of 384Hz. Finally, a validation experiment is conducted to analyze the real-world single-object tracking performance using high-speed LiDAR. Empirical evidence shows that our approaches provide significant advantages compared to using frame-based object detectors at the baseline framerate of 24Hz and higher tracking rates of up to 500Hz.

事件摄像机是由生物启发的传感器，比传统摄像机具有优势。它们不同步，用微秒的分辨率对场景进行采样，并产生亮度变化。这种非常规的输出引发了新型的计算机视觉方法，以释放相机的潜力。我们解决了SLAM的基于事件的立体3D重建问题。大多数基于事件的立体声方法都试图利用相机跨相机的高时间分辨率和事件同时性，以建立匹配和估计深度。相比之下，我们研究了如何通过融合有效的单眼方法来融合差异空间图像（DSIS）来估计深度。我们开发融合理论，并将其应用于设计产生最先进结果的多相机3D重建算法，正如我们通过与四种基线方法进行比较并在各种可用数据集上进行测试的确认。

我们提出了一种基于事件的降雪算法，称为EBSNOR。我们开发了一种技术，可以使用基于事件的相机数据来测量像素上雪花的停留时间，该数据用于进行Neyman-Pearson假设测试，以将事件流分为雪花和背景事件。在一个名为udayton22ebsnow的新数据集上验证了拟议的EBSNOR的有效性，该数据集由前面事件的摄像机组成，该相机在汽车中驾驶雪中，并在周围车辆周围手动注释的边界盒。在定性上，Ebsnor正确地标识了与雪花相对应的事件；并且在定量上，EBSNOR预处理的事件数据改善了基于事件的CAR检测算法的性能。

结合同时定位和映射（SLAM）估计和动态场景建模可以高效地在动态环境中获得机器人自主权。机器人路径规划和障碍避免任务依赖于场景中动态对象运动的准确估计。本文介绍了VDO-SLAM，这是一种强大的视觉动态对象感知SLAM系统，用于利用语义信息，使得能够在场景中进行准确的运动估计和跟踪动态刚性物体，而无需任何先前的物体形状或几何模型的知识。所提出的方法识别和跟踪环境中的动态对象和静态结构，并将这些信息集成到统一的SLAM框架中。这导致机器人轨迹的高度准确估计和对象的全部SE（3）运动以及环境的时空地图。该系统能够从对象的SE（3）运动中提取线性速度估计，为复杂的动态环境中的导航提供重要功能。我们展示了所提出的系统对许多真实室内和室外数据集的性能，结果表明了对最先进的算法的一致和实质性的改进。可以使用源代码的开源版本。

Compared to regular cameras, Dynamic Vision Sensors or Event Cameras can output compact visual data based on a change in the intensity in each pixel location asynchronously. In this paper, we study the application of current image-based SLAM techniques to these novel sensors. To this end, the information in adaptively selected event windows is processed to form motion-compensated images. These images are then used to reconstruct the scene and estimate the 6-DOF pose of the camera. We also propose an inertial version of the event-only pipeline to assess its capabilities. We compare the results of different configurations of the proposed algorithm against the ground truth for sequences of two publicly available event datasets. We also compare the results of the proposed event-inertial pipeline with the state-of-the-art and show it can produce comparable or more accurate results provided the map estimate is reliable.

Visual object tracking under challenging conditions of motion and light can be hindered by the capabilities of conventional cameras, prone to producing images with motion blur. Event cameras are novel sensors suited to robustly perform vision tasks under these conditions. However, due to the nature of their output, applying them to object detection and tracking is non-trivial. In this work, we propose a framework to take advantage of both event cameras and off-the-shelf deep learning for object tracking. We show that reconstructing event data into intensity frames improves the tracking performance in conditions under which conventional cameras fail to provide acceptable results.

这项工作介绍了使用常规摄像头和事件摄像机的多动画视觉数据获取的共同捕获系统。事件摄像机比基于框架的相机具有多个优势，例如高时间分辨率和时间冗余抑制，这使我们能够有效捕获鱼类的快速和不稳定的运动。此外，我们提出了一种基于事件的多动物跟踪算法，该算法证明了该方法的可行性，并为进一步探索事件摄像机和传统摄像机的多动物跟踪的优势提供了基础。

计算机视觉在智能运输系统（ITS）和交通监视中发挥了重要作用。除了快速增长的自动化车辆和拥挤的城市外，通过实施深层神经网络的实施，可以使用视频监视基础架构进行自动和高级交通管理系统（ATM）。在这项研究中，我们为实时交通监控提供了一个实用的平台，包括3D车辆/行人检测，速度检测，轨迹估算，拥塞检测以及监视车辆和行人的相互作用，都使用单个CCTV交通摄像头。我们适应了定制的Yolov5深神经网络模型，用于车辆/行人检测和增强的排序跟踪算法。还开发了基于混合卫星的基于混合卫星的逆透视图（SG-IPM）方法，用于摄像机自动校准，从而导致准确的3D对象检测和可视化。我们还根据短期和长期的时间视频数据流开发了层次结构的交通建模解决方案，以了解脆弱道路使用者的交通流量，瓶颈和危险景点。关于现实世界情景和与最先进的比较的几项实验是使用各种交通监控数据集进行的，包括从高速公路，交叉路口和城市地区收集的MIO-TCD，UA-DETRAC和GRAM-RTM，在不同的照明和城市地区天气状况。

Event cameras that asynchronously output low-latency event streams provide great opportunities for state estimation under challenging situations. Despite event-based visual odometry having been extensively studied in recent years, most of them are based on monocular and few research on stereo event vision. In this paper, we present ESVIO, the first event-based stereo visual-inertial odometry, which leverages the complementary advantages of event streams, standard images and inertial measurements. Our proposed pipeline achieves temporal tracking and instantaneous matching between consecutive stereo event streams, thereby obtaining robust state estimation. In addition, the motion compensation method is designed to emphasize the edge of scenes by warping each event to reference moments with IMU and ESVIO back-end. We validate that both ESIO (purely event-based) and ESVIO (event with image-aided) have superior performance compared with other image-based and event-based baseline methods on public and self-collected datasets. Furthermore, we use our pipeline to perform onboard quadrotor flights under low-light environments. A real-world large-scale experiment is also conducted to demonstrate long-term effectiveness. We highlight that this work is a real-time, accurate system that is aimed at robust state estimation under challenging environments.

事件摄像机由于理想的特征，例如高动态范围，低延迟，几乎没有运动模糊和高能量效率而继续引起兴趣。事件摄像机研究的潜在应用之一是在机器人本地化的视觉场所识别中，必须将查询观测值与数据库中的相应参考位置匹配。在这封信中，我们探讨了一小部分像素（在数十个或数百个）中的事件流的独特性。我们证明，当使用在参考集中显示大变化的像素时，积累到事件框架的那些像素位置的事件数量的绝对差异就足以足以进行位置识别任务。使用如此稀疏（图像坐标），但是（对于每个像素位置的事件数量）有变化，可以使位置估计值的频繁和计算廉价更新。此外，当事件帧包含恒定事件的数量时，我们的方法充分利用了感官流的事件驱动性质，并显示出对速度变化的有希望的鲁棒性。我们在户外驾驶场景中评估了布里斯班 - 事件-VPR数据集的建议方法，以及新贡献的室内QCR-Event-VPR数据集，该数据集用安装在移动机器人平台上的Davis346相机捕获。我们的结果表明，与这些数据集上的几种基线方法相比，我们的方法可实现竞争性能，并且特别适合于计算和能源约束的平台，例如星际漫游者。

事件摄像机是受生物启发的传感器，在具有挑战性的照明条件下表现良好，并且具有高时间分辨率。但是，他们的概念与传统的基于框架的相机根本不同。事件摄像机的像素独立和不同步。他们测量对数亮度的变化，并以高度离散的时间stamp事件形式返回它们，表明自上次事件以来一定数量的相对变化。需要新的模型和算法来处理这种测量。目前的工作着眼于事件摄像机的几个运动估计问题。事件的流以时空量的一般均应翘曲为模型，并且该目标被提出为扭曲事件图像中对比度的最大化。我们的核心贡献包括针对这些通常非凸的问题得出全球最佳解决方案，从而消除了对困扰现有方法的良好初始猜测的依赖。我们的方法依赖于分支和结合的优化，并采用了针对六个不同的对比度估计函数得出的新颖和高效的递归上限和下限。通过成功应用于三个不同的事件摄像机运动估计问题，我们的方法的实际有效性证明了这一点。

由于它们对运动模糊和在弱光和高动态范围条件下的高度鲁棒性的韧性，事件摄像机有望成为对未来火星直升机任务的基于视觉探索的传感器。但是，现有的基于事件的视觉惯性进程（VIO）算法要么患有高跟踪误差，要么是脆弱的，因为它们无法应对由于无法预料的跟踪损失或其他效果而导致的显着深度不确定性。在这项工作中，我们介绍了EKLT-VIO，该工作通过将基于事件的最新前端与基于过滤器的后端相结合来解决这两种限制。这使得不确定性的准确和强大，超过了基于事件和基于框架的VIO算法在挑战性基准上的算法32％。此外，我们在悬停的条件（胜过现有事件的方法）以及新近收集的类似火星和高动态范围的新序列中表现出准确的性能，而现有的基于框架的方法失败了。在此过程中，我们表明基于事件的VIO是基于视觉的火星探索的前进道路。