我们使用隐式表达式从事件数据提出了一部新颖的运动跟踪框架。我们的框架使用预先训练的事件生成MLP命名为隐式事件生成器（IEG），并且通过基于从当前状态估计的所观察到的事件和生成的事件之间的差异来更新其状态（位置和速度）来进行运动跟踪。差异由IEG隐式计算。与传统的显式方法不同，需要密集的计算来评估差异，我们的隐式方法直接从稀疏事件数据实现有效状态更新。我们的稀疏算法特别适用于计算资源和电池寿命有限的移动机器人应用。为了验证我们对现实数据的方法的有效性，我们将其应用于AR标记跟踪应用程序。我们已经证实，我们的框架在噪音和背景混乱存在下的现实环境中运作良好。

Visual object tracking under challenging conditions of motion and light can be hindered by the capabilities of conventional cameras, prone to producing images with motion blur. Event cameras are novel sensors suited to robustly perform vision tasks under these conditions. However, due to the nature of their output, applying them to object detection and tracking is non-trivial. In this work, we propose a framework to take advantage of both event cameras and off-the-shelf deep learning for object tracking. We show that reconstructing event data into intensity frames improves the tracking performance in conditions under which conventional cameras fail to provide acceptable results.

自主代理需要自定位才能在未知环境中导航。他们可以使用视觉进程（VO）来估计自我运动并使用视觉传感器定位自己。作为惯性传感器或滑板作为轮编码器，这种运动估算策略不会因漂移而受到损害。但是，带有常规摄像机的VO在计算上是要求的，它限制了其在严格的低延迟， - 内存和 - 能量要求的系统中的应用。使用基于事件的相机和神经形态计算硬件为VO问题提供了有希望的低功率解决方案。但是，VO的常规算法不容易转换为神经形态硬件。在这项工作中，我们提出了一种完全由适合神经形态实现的神经元构件构建的VO算法。构建块是代表向量符号体系结构（VSA）计算框架中向量的神经元组，该框架是作为编程神经形态硬件的抽象层提出的。我们提出的VO网络生成并存储了对展示的视觉环境的工作记忆。它更新了此工作内存，同时估计相机的位置和方向的变化。我们证明了如何将VSA作为神经形态机器人技术的计算范式借用。此外，我们的结果代表了使用神经形态计算硬件进行快速和效率的VO以及同时定位和映射（SLAM）的相关任务的重要步骤。我们通过机器人任务和基于事件的数据集对实验进行了实验验证这种方法，并证明了最先进的性能。

事件摄像机是运动激活的传感器，可捕获像素级照明的变化，而不是具有固定帧速率的强度图像。与标准摄像机相比，它可以在高速运动和高动态范围场景中提供可靠的视觉感知。但是，当相机和场景之间的相对运动受到限制时，例如在静态状态下，事件摄像机仅输出一点信息甚至噪音。尽管标准相机可以在大多数情况下，尤其是在良好的照明条件下提供丰富的感知信息。这两个相机完全是互补的。在本文中，我们提出了一种具有鲁棒性，高智能和实时优化的基于事件的视觉惯性镜（VIO）方法，具有事件角度，基于线的事件功能和基于点的图像功能。提出的方法旨在利用人为场景中的自然场景和基于线路的功能中的基于点的功能，以通过设计良好设计的功能管理提供更多其他结构或约束信息。公共基准数据集中的实验表明，与基于图像或基于事件的VIO相比，我们的方法可以实现卓越的性能。最后，我们使用我们的方法演示了机上闭环自动驾驶四极管飞行和大规模室外实验。评估的视频在我们的项目网站上介绍：https：//b23.tv/oe3qm6j

事件摄像机是受生物启发的传感器，在具有挑战性的照明条件下表现良好，并且具有高时间分辨率。但是，他们的概念与传统的基于框架的相机根本不同。事件摄像机的像素独立和不同步。他们测量对数亮度的变化，并以高度离散的时间stamp事件形式返回它们，表明自上次事件以来一定数量的相对变化。需要新的模型和算法来处理这种测量。目前的工作着眼于事件摄像机的几个运动估计问题。事件的流以时空量的一般均应翘曲为模型，并且该目标被提出为扭曲事件图像中对比度的最大化。我们的核心贡献包括针对这些通常非凸的问题得出全球最佳解决方案，从而消除了对困扰现有方法的良好初始猜测的依赖。我们的方法依赖于分支和结合的优化，并采用了针对六个不同的对比度估计函数得出的新颖和高效的递归上限和下限。通过成功应用于三个不同的事件摄像机运动估计问题，我们的方法的实际有效性证明了这一点。

该制造业目前目前目睹了与工业机器人前所未有的采用的范式转变，机器愿景是一种关键的感知技术，使这些机器人能够在非结构化环境中进行精确的操作。然而，传统视觉传感器对照明条件和高速运动的灵敏度为生产线的可靠性和工作速率设定了限制。神经形态视觉是最近的技术，有可能解决传统视觉的挑战，其具有高颞率，低延迟和宽动态范围。在本文中，我们首次提出了一种新型神经形态视觉的基于峰值的控制器，用于更快，更可靠的加工操作，并具有能够进行具有亚毫米精度的钻井任务的完整机器人系统。我们所提出的系统使用我们专为神经形态摄像机的异步输出开发的两种感知阶段为3D定位了目标工件。第一阶段执行用于初始估计工件的姿势的多视图重建，并且第二阶段使用圆孔检测对工件的局部区域进行这种估计。然后，机器人精确地定位钻孔末端执行器并使用基于组合的位置和基于图像的视觉伺服方法钻取工件上的目标孔。所提出的解决方案是通过实验验证的用于在具有不受控制的照明的非结构环境中任意地放置的工件上的工件上钻出螺母孔。实验结果证明了我们的溶液的有效性小于0.1mm的平均位置误差，并证明了神经形态视觉的使用克服了传统相机的照明和速度限制。

Compared to regular cameras, Dynamic Vision Sensors or Event Cameras can output compact visual data based on a change in the intensity in each pixel location asynchronously. In this paper, we study the application of current image-based SLAM techniques to these novel sensors. To this end, the information in adaptively selected event windows is processed to form motion-compensated images. These images are then used to reconstruct the scene and estimate the 6-DOF pose of the camera. We also propose an inertial version of the event-only pipeline to assess its capabilities. We compare the results of different configurations of the proposed algorithm against the ground truth for sequences of two publicly available event datasets. We also compare the results of the proposed event-inertial pipeline with the state-of-the-art and show it can produce comparable or more accurate results provided the map estimate is reliable.

这项工作介绍了使用常规摄像头和事件摄像机的多动画视觉数据获取的共同捕获系统。事件摄像机比基于框架的相机具有多个优势，例如高时间分辨率和时间冗余抑制，这使我们能够有效捕获鱼类的快速和不稳定的运动。此外，我们提出了一种基于事件的多动物跟踪算法，该算法证明了该方法的可行性，并为进一步探索事件摄像机和传统摄像机的多动物跟踪的优势提供了基础。

结合同时定位和映射（SLAM）估计和动态场景建模可以高效地在动态环境中获得机器人自主权。机器人路径规划和障碍避免任务依赖于场景中动态对象运动的准确估计。本文介绍了VDO-SLAM，这是一种强大的视觉动态对象感知SLAM系统，用于利用语义信息，使得能够在场景中进行准确的运动估计和跟踪动态刚性物体，而无需任何先前的物体形状或几何模型的知识。所提出的方法识别和跟踪环境中的动态对象和静态结构，并将这些信息集成到统一的SLAM框架中。这导致机器人轨迹的高度准确估计和对象的全部SE（3）运动以及环境的时空地图。该系统能够从对象的SE（3）运动中提取线性速度估计，为复杂的动态环境中的导航提供重要功能。我们展示了所提出的系统对许多真实室内和室外数据集的性能，结果表明了对最先进的算法的一致和实质性的改进。可以使用源代码的开源版本。

事件摄像机可产生大型动态范围事件流，并具有很高的时间分辨率，可丢弃冗余视觉信息，从而为对象检测任务带来新的可能性。但是，将事件摄像机应用于使用深度学习方法对象检测任务的现有方法仍然存在许多问题。首先，由于全局同步时间窗口和时间分辨率，现有方法无法考虑具有不同速度的对象。其次，大多数现有方法都依赖于大型参数神经网络，这意味着较大的计算负担和低推理速度，因此与事件流的高时间分辨率相反。在我们的工作中，我们设计了一种使用简单但有效的数据增强方法的高速轻质检测器，称为敏捷事件检测器（AED）。此外，我们提出了一个称为“时间主动焦点（TAF）”的事件流表示张量，该量子充分利用了事件流数据的异步生成，并且对移动对象的运动非常强大。它也可以在不耗时的情况下构造。我们进一步提出了一个称为分叉折叠模块（BFM）的模块，以在AED检测器的输入层的TAF张量中提取丰富的时间信息。我们对两个典型的实体事件摄像机对象检测数据集进行了实验：完整的预言GEN1汽车检测数据集和预言1 Megapixel Automotive检测数据集，带有部分注释。实验表明，我们的方法在准确性，速度和参数数量方面具有竞争力。同样，通过基于光流密度度量的对象将对象分类为多个运动级别，我们说明了相对于摄像机具有不同速度的对象的方法的鲁棒性。

由于它们对运动模糊和在弱光和高动态范围条件下的高度鲁棒性的韧性，事件摄像机有望成为对未来火星直升机任务的基于视觉探索的传感器。但是，现有的基于事件的视觉惯性进程（VIO）算法要么患有高跟踪误差，要么是脆弱的，因为它们无法应对由于无法预料的跟踪损失或其他效果而导致的显着深度不确定性。在这项工作中，我们介绍了EKLT-VIO，该工作通过将基于事件的最新前端与基于过滤器的后端相结合来解决这两种限制。这使得不确定性的准确和强大，超过了基于事件和基于框架的VIO算法在挑战性基准上的算法32％。此外，我们在悬停的条件（胜过现有事件的方法）以及新近收集的类似火星和高动态范围的新序列中表现出准确的性能，而现有的基于框架的方法失败了。在此过程中，我们表明基于事件的VIO是基于视觉的火星探索的前进道路。

Event-based vision has been rapidly growing in recent years justified by the unique characteristics it presents such as its high temporal resolutions (~1us), high dynamic range (>120dB), and output latency of only a few microseconds. This work further explores a hybrid, multi-modal, approach for object detection and tracking that leverages state-of-the-art frame-based detectors complemented by hand-crafted event-based methods to improve the overall tracking performance with minimal computational overhead. The methods presented include event-based bounding box (BB) refinement that improves the precision of the resulting BBs, as well as a continuous event-based object detection method, to recover missed detections and generate inter-frame detections that enable a high-temporal-resolution tracking output. The advantages of these methods are quantitatively verified by an ablation study using the higher order tracking accuracy (HOTA) metric. Results show significant performance gains resembled by an improvement in the HOTA from 56.6%, using only frames, to 64.1% and 64.9%, for the event and edge-based mask configurations combined with the two methods proposed, at the baseline framerate of 24Hz. Likewise, incorporating these methods with the same configurations has improved HOTA from 52.5% to 63.1%, and from 51.3% to 60.2% at the high-temporal-resolution tracking rate of 384Hz. Finally, a validation experiment is conducted to analyze the real-world single-object tracking performance using high-speed LiDAR. Empirical evidence shows that our approaches provide significant advantages compared to using frame-based object detectors at the baseline framerate of 24Hz and higher tracking rates of up to 500Hz.

现代目光跟踪系统中的相机具有基本的带宽和功率限制，实际上将数据采集速度限制为300 Hz。这会阻碍使用移动眼镜手术器的使用，例如低潜伏期预测性渲染，或者在野外使用头部安装的设备来快速而微妙的眼动运动，例如微扫视。在这里，我们提出了一个基于混合框架的近眼凝视跟踪系统，可提供超过10,000 Hz的更新速率，其准确性与在相同条件下评估时相匹配的高端台式机商业跟踪器。我们的系统建立在新兴事件摄像机的基础上，该摄像头同时获得定期采样框架和自适应采样事件。我们开发了一种在线2D学生拟合方法，该方法每一个或几个事件都会更新参数模型。此外，我们提出了一个多项式回归器，用于实时估算参数学生模型的凝视点。使用第一个基于事件的凝视数据集，可在https://github.com/aangelopoulos/event_based_gaze_tracking上获得，我们证明我们的系统可实现0.45度 - 1.75度的准确度，用于从45度到98度的视野。借助这项技术，我们希望能够为虚拟和增强现实提供新一代的超低延迟凝视呈现和展示技术。

侧扫声纳强度编码有关海床表面正常变化的信息。但是，其他因素（例如海底几何形状及其材料组成）也会影响回流强度。可以建模这些强度从向前方向上的变化从从测深图和物理特性到测量强度的表面正常的变化，或者可以使用逆模型，该模型从强度开始并模拟表面正常。在这里，我们使用一个逆模型，该模型利用深度学习能够从数据中学习的能力；卷积神经网络用于估计侧扫的正常表面。因此，海床的内部特性仅是隐式学习的。一旦估算了此信息，就可以通过优化框架重建测深图，该框架还包括高度计读数，以提供稀疏的深度轮廓作为约束。最近提出了隐式神经表示学习，以代表这种优化框架中的测深图。在本文中，我们使用神经网络来表示地图并在高度计点的约束和侧can的估计表面正常状态下进行优化。通过从几个侧扫线的不同角度融合多个观测值，通过优化改善了估计的结果。我们通过使用大型侧扫调查的侧扫数据重建高质量的测深，通过重建高质量的测深，证明了该方法的效率和可伸缩性。我们比较了提出的数据驱动的逆模型方法，该方法将侧扫形成前向兰伯特模型。我们通过将每个重建的质量与由多光束传感器构建的数据进行比较来评估它的质量。因此，我们能够讨论每种方法的优点和缺点。

由于其对环境变化的鲁棒性，视觉猛感的间接方法是受欢迎的。 ORB-SLAM2 \ CITE {ORBSLM2}是该域中的基准方法，但是，除非选择帧作为关键帧，否则它会消耗从未被重用的描述符。轻量级和高效，因为它跟踪相邻帧之间的关键点而不计算描述符。为此，基于稀疏光流提出了一种两个级粗到微小描述符独立的Keypoint匹配方法。在第一阶段，我们通过简单但有效的运动模型预测初始关键点对应，然后通过基于金字塔的稀疏光流跟踪鲁棒地建立了对应关系。在第二阶段，我们利用运动平滑度和末端几何形状的约束来改进对应关系。特别是，我们的方法仅计算关键帧的描述符。我们在\ texit {tum}和\ texit {icl-nuim} RGB-D数据集上测试Fastorb-Slam，并将其准确性和效率与九种现有的RGB-D SLAM方法进行比较。定性和定量结果表明，我们的方法实现了最先进的准确性，并且大约是ORB-SLAM2的两倍。

Event cameras that asynchronously output low-latency event streams provide great opportunities for state estimation under challenging situations. Despite event-based visual odometry having been extensively studied in recent years, most of them are based on monocular and few research on stereo event vision. In this paper, we present ESVIO, the first event-based stereo visual-inertial odometry, which leverages the complementary advantages of event streams, standard images and inertial measurements. Our proposed pipeline achieves temporal tracking and instantaneous matching between consecutive stereo event streams, thereby obtaining robust state estimation. In addition, the motion compensation method is designed to emphasize the edge of scenes by warping each event to reference moments with IMU and ESVIO back-end. We validate that both ESIO (purely event-based) and ESVIO (event with image-aided) have superior performance compared with other image-based and event-based baseline methods on public and self-collected datasets. Furthermore, we use our pipeline to perform onboard quadrotor flights under low-light environments. A real-world large-scale experiment is also conducted to demonstrate long-term effectiveness. We highlight that this work is a real-time, accurate system that is aimed at robust state estimation under challenging environments.

活动相机是一种与传统摄像机不同的新型传感器。每个像素通过事件异步触发。触发事件是在像素上照射的亮度的变化。如果亮度的增量或衰减高于某个阈值，则输出事件。与传统相机相比，活动相机具有高动态范围和运动模糊的优点。将事件累积到帧和使用传统的SLAM算法是一种基于事件的SLAM的直接和有效的方法。不同的事件累加器设置，例如事件流的切片方法，没有动作的处理方法，使用极性，衰减功能和事件贡献，可能导致相当不同的累积结果。我们对如何累积事件帧进行研究以实现更好的基于事件的SLAM性能。对于实验验证，累积的事件帧被馈送到传统的SLAM系统以构建基于事件的SLAM系统。我们的设置事件累加器的策略已在公共数据集上进行评估。实验结果表明，与基于最先进的事件帧的SLAM算法相比，我们的方法可以在大多数序列中实现更好的性能。此外，所提出的方法已经在四轮车UAV上进行了测试，以显示实际方案中的应用程序。代码和结果是开放的，以使事件摄像机的研究界受益

与可见的摄像机不同的是逐帧记录强度图像的可见摄像机，生物学启发的事件摄像头会产生一系列的异步和稀疏事件，并且延迟较低。在实践中，可见的摄像机可以更好地感知纹理细节和慢动作，而事件摄像机可以没有运动模糊并具有更大的动态范围，从而使它们能够在快速运动和低照明下良好地工作。因此，两个传感器可以相互合作以实现更可靠的对象跟踪。在这项工作中，我们提出了一个大规模可见事件基准（称为Visevent），因为缺乏针对此任务的现实和缩放数据集。我们的数据集由在低照明，高速和背景混乱场景下捕获的820个视频对组成，并将其分为训练和测试子集，每个培训和测试子集分别包含500和320个视频。基于Visevent，我们通过将当前的单模式跟踪器扩展到双模式版本，将事件流转换为事件图像，并构建30多种基线方法。更重要的是，我们通过提出跨模式变压器来进一步构建一种简单但有效的跟踪算法，以在可见光和事件数据之间实现更有效的功能融合。对拟议的Visevent数据集（FE108）和两个模拟数据集（即OTB-DVS和fot-DVS）进行了广泛的实验，验证了我们模型的有效性。数据集和源代码已在我们的项目页面上发布：\ url {https://sites.google.com/view/viseventtrack/}。

到目前为止，已经研究了基于学习坐标的体积3D场景表示，例如神经辐射场（NERF），假设RGB或RGB-D图像是输入。同时，从神经科学文献中知道，人类视觉系统（HVS）的定制是为了处理异步亮度而不是同步的RGB图像，以构建和不断更新周围环境的心理3D表示，以进行导航和生存。受HVS原理启发的视觉传感器是事件摄像机。因此，事件是稀疏和异步的每个像素亮度（或颜色通道）更改信号。与神经3D场景表示学习的现有作品相反，本文从新的角度解决了问题。我们证明，可以从异步事件流中学习适用于RGB空间中新型视图合成的NERF。我们的模型在RGB空间中具有挑战性场景的新颖的视野具有很高的视觉准确性，即使它们的数据训练得多（即，来自单个事件摄像机的事件流围绕对象移动）并更有效（由于其效率更高（由于其培训）（由于事件流的固有稀疏性）比现有的NERF模型接受了RGB图像。我们将发布我们的数据集和源代码，请参见https://4dqv.mpi-inf.mpg.de/eventnerf/。

从理想图像中估算神经辐射场（NERF）已在计算机视觉社区中进行了广泛的研究。大多数方法都采用最佳照明和缓慢的相机运动。这些假设通常在机器人应用中违反，其中图像包含运动模糊，场景可能没有合适的照明。这可能会给下游任务（例如导航，检查或可视化场景）带来重大问题。为了减轻我们提出的E-NERF的这些问题，这是第一种方法，该方法以快速移动的事件摄像机的形式估算了以NERF的形式进行体积的场景表示形式。我们的方法可以在非常快速的运动和高动态范围条件下恢复NERF，而基于框架的方法失败。我们证明，仅提供事件流作为输入，可以渲染高质量的帧。此外，通过结合事件和框架，我们可以在严重的运动模糊下估计比最先进的方法更高的质量。我们还表明，将事件和帧组合可以克服在只有很少的输入视图的情况下，无需额外正则化的方案中的NERF估计案例。