事件摄像机对场景动态做出响应，并提供了估计运动的优势。遵循最近基于图像的深度学习成就，事件摄像机的光流估计方法急于将基于图像的方法与事件数据相结合。但是，由于它们具有截然不同的属性，因此需要几个改编（数据转换，损失功能等）。我们开发了一种原则性的方法来扩展对比度最大化框架以估算仅事件的光流。我们研究关键要素：如何设计目标函数以防止过度拟合，如何扭曲事件以更好地处理遮挡，以及如何改善与多规模原始事件的收敛性。有了这些关键要素，我们的方法在MVSEC基准的无监督方法中排名第一，并且在DSEC基准上具有竞争力。此外，我们的方法使我们能够在这些基准测试中揭露地面真相流的问题，并在将其转移到无监督的学习环境中时会产生出色的结果。我们的代码可在https://github.com/tub-rip/event_based_optility_flow上找到

Event cameras are novel bio-inspired sensors that offer advantages over traditional cameras (low latency, high dynamic range, low power, etc.). Optical flow estimation methods that work on packets of events trade off speed for accuracy, while event-by-event (incremental) methods have strong assumptions and have not been tested on common benchmarks that quantify progress in the field. Towards applications on resource-constrained devices, it is important to develop optical flow algorithms that are fast, light-weight and accurate. This work leverages insights from neuroscience, and proposes a novel optical flow estimation scheme based on triplet matching. The experiments on publicly available benchmarks demonstrate its capability to handle complex scenes with comparable results as prior packet-based algorithms. In addition, the proposed method achieves the fastest execution time (> 10 kHz) on standard CPUs as it requires only three events in estimation. We hope that our research opens the door to real-time, incremental motion estimation methods and applications in real-world scenarios.

Event cameras are emerging vision sensors and their advantages are suitable for various applications such as autonomous robots. Contrast maximization (CMax), which provides state-of-the-art accuracy on motion estimation using events, may suffer from an overfitting problem called event collapse. Prior works are computationally expensive or cannot alleviate the overfitting, which undermines the benefits of the CMax framework. We propose a novel, computationally efficient regularizer based on geometric principles to mitigate event collapse. The experiments show that the proposed regularizer achieves state-of-the-art accuracy results, while its reduced computational complexity makes it two to four times faster than previous approaches. To the best of our knowledge, our regularizer is the only effective solution for event collapse without trading off runtime. We hope our work opens the door for future applications that unlocks the advantages of event cameras.

传统摄像机测量图像强度。相比之下，事件相机以异步测量每像素的时间强度变化。恢复事件的强度是一个流行的研究主题，因为重建的图像继承了高动态范围（HDR）和事件的高速属性;因此，它们可以在许多机器人视觉应用中使用并生成慢动作HDR视频。然而，最先进的方法通过训练映射到图像经常性神经网络（RNN）来解决这个问题，这缺乏可解释性并且难以调整。在这项工作中，我们首次展示运动和强度估计的联合问题导致我们以模拟基于事件的图像重建作为可以解决的线性逆问题，而无需训练图像重建RNN。相反，基于古典和学习的图像前导者可以用于解决问题并从重建的图像中删除伪影。实验表明，尽管仅使用来自短时间间隔（即，没有复发连接），但是，尽管只使用来自短时间间隔的数据，所提出的方法会产生视觉质量的图像。我们的方法还可用于提高首先估计图像Laplacian的方法重建的图像的质量;在这里，我们的方法可以被解释为由图像前提引导的泊松重建。

上下文最大化（CMAX）是一个框架，可在几个基于事件的计算机视觉任务（例如自我移动或光流估计）上提供最新结果。但是，它可能会遇到一个称为事件崩溃的问题，这是一种不希望的解决方案，其中事件被扭曲成太少的像素。由于先前的工作在很大程度上忽略了这个问题或提议的解决方法，因此必须详细分析这种现象。我们的工作证明了事件以最简单的形式崩溃，并通过使用基于差异几何和物理学的时空变形的第一原理提出了崩溃指标。我们通过实验表明，公开可用的数据集表明，拟议的指标减轻了事件崩溃，并且不会损害良好的扭曲。据我们所知，与其他方法相比，基于提议的指标的正规化器是唯一有效的解决方案，可以防止在考虑的实验环境中发生事件崩溃。我们希望这项工作激发了进一步的研究，以应对更复杂的翘曲模型。

事件摄像机是由生物启发的传感器，比传统摄像机具有优势。它们不同步，用微秒的分辨率对场景进行采样，并产生亮度变化。这种非常规的输出引发了新型的计算机视觉方法，以释放相机的潜力。我们解决了SLAM的基于事件的立体3D重建问题。大多数基于事件的立体声方法都试图利用相机跨相机的高时间分辨率和事件同时性，以建立匹配和估计深度。相比之下，我们研究了如何通过融合有效的单眼方法来融合差异空间图像（DSIS）来估计深度。我们开发融合理论，并将其应用于设计产生最先进结果的多相机3D重建算法，正如我们通过与四种基线方法进行比较并在各种可用数据集上进行测试的确认。

事件摄像机捕获观察到的场景中的照明的变化，而不是累积光以创建图像。因此，它们允许在高速运动和复杂的照明条件下的应用，其中传统的框架传感器显示它们的模糊和过度或未出现的像素的限制。由于这些独特的属性，它们表示现在是与其相关的应用的高度有吸引力的传感器。在这些神经形式相机的普及升高之后，已经研究了基于事件的光流（EBOF）。然而，最近的高清神经晶体传感器的到来挑战现有方法，因为事件像素阵列的分辨率增加和更高的吞吐量。作为这些点的答案，我们提出了一种用于实时计算光流的优化框架，以及低分辨率的事件摄像机。我们以“逆指数距离表面”的形式为稀疏事件流制定了一种新的密集表示。它用作临时框架，专为使用证明，最先进的基于框架的光流量计算方法而设计。我们评估我们在低分辨率和高分辨率驾驶序列上的方法，并表明它通常比当前现有技术更好地实现更好的结果，同时也达到更高的帧速率，250Hz在346 x 260像素和77Hz在1280 x 720像素。

作为具有高时间分辨率的生物启发传感器，尖峰摄像机在真实应用中具有巨大的潜力，特别是在高速场景中的运动估计。然而，由于数据模式不同，基于帧的基于事件的方法并不适合从尖峰相机的尖峰流。为此，我们展示，Scflow，一种量身定制的深度学习管道，以估计来自尖峰流的高速场景中的光学流量。重要的是，引入了一种新的输入表示，其可以根据先前运动自适应地从尖峰流中自适应地移除运动模糊。此外，对于训练Scflow，我们为Spiking Camera的两组光学流量数据合成了两组光学流量数据，尖锐的东西和光处理的高速运动，分别表示为乘坐和PHM，对应于随机的高速和精心设计的场景。实验结果表明，SC流程可以预测不同高速场景中的尖峰流的光流。此外，Scflow显示了\真正的尖峰流的有希望的泛化。发布后，所有代码和构造数据集将发布。

事件摄像机是受生物启发的传感器，在具有挑战性的照明条件下表现良好，并且具有高时间分辨率。但是，他们的概念与传统的基于框架的相机根本不同。事件摄像机的像素独立和不同步。他们测量对数亮度的变化，并以高度离散的时间stamp事件形式返回它们，表明自上次事件以来一定数量的相对变化。需要新的模型和算法来处理这种测量。目前的工作着眼于事件摄像机的几个运动估计问题。事件的流以时空量的一般均应翘曲为模型，并且该目标被提出为扭曲事件图像中对比度的最大化。我们的核心贡献包括针对这些通常非凸的问题得出全球最佳解决方案，从而消除了对困扰现有方法的良好初始猜测的依赖。我们的方法依赖于分支和结合的优化，并采用了针对六个不同的对比度估计函数得出的新颖和高效的递归上限和下限。通过成功应用于三个不同的事件摄像机运动估计问题，我们的方法的实际有效性证明了这一点。

光流估计是自动驾驶和机器人系统系统中的一项基本任务，它可以在时间上解释流量场景。自动驾驶汽车显然受益于360 {\ deg}全景传感器提供的超宽视野（FOV）。但是，由于全景相机的独特成像过程，专为针孔图像设计的模型不会令人满意地概括为360 {\ deg}全景图像。在本文中，我们提出了一个新颖的网络框架 - panoflow，以学习全景图像的光流。为了克服全景转化中等应角投影引起的扭曲，我们设计了一种流动失真增强（FDA）方法，其中包含径向流量失真（FDA-R）或等骨流量失真（FDA-E）。我们进一步研究了全景视频的环状光流的定义和特性，并通过利用球形图像的环状来推断360 {\ deg}光流并将大型位移转换为相对小的位移，从而提出了环状流量估计（CFE）方法移位。 Panoflow适用于任何现有的流量估计方法，并从狭窄的FOL流量估计的进度中受益。此外，我们创建并释放基于CARLA的合成全景数据集Flow360，以促进训练和定量分析。 Panoflow在公共Omniflownet和已建立的Flow360基准中实现了最先进的表现。我们提出的方法将Flow360上的端点误差（EPE）降低了27.3％。在Omniflownet上，Panoflow获得了3.17像素的EPE，从最佳发布的结果中降低了55.5％的误差。我们还通过收集工具和公共现实世界中的全球数据集对我们的方法进行定性验证我们的方法，这表明对现实世界导航应用程序的强大潜力和稳健性。代码和数据集可在https://github.com/masterhow/panoflow上公开获取。

避免障碍的广泛范围导致了许多基于计算机视觉的方法。尽管受欢迎，但这不是一个解决问题。使用相机和深度传感器的传统计算机视觉技术通常专注于静态场景，或依赖于障碍物的前沿。生物启发传感器的最新发展将事件相机作为动态场景的引人注目的选择。尽管这些传感器的基于帧的对应物具有许多优点，但是高动态范围和时间分辨率，因此基于事件的感知在很大程度上存在于2D中。这通常导致解决方案依赖于启发式和特定于特定任务。我们表明，在执行障碍物避免时，事件和深度的融合克服了每个单独的模型的故障情况。我们所提出的方法统一事件摄像机和LIDAR流，以估计未经现场几何或障碍物的先验知识的度量对抗。此外，我们还发布了一个基于事件的基于事件的数据集，具有超过700个扫描场景的六个可视流。

Although synthetic aperture imaging (SAI) can achieve the seeing-through effect by blurring out off-focus foreground occlusions while recovering in-focus occluded scenes from multi-view images, its performance is often deteriorated by dense occlusions and extreme lighting conditions. To address the problem, this paper presents an Event-based SAI (E-SAI) method by relying on the asynchronous events with extremely low latency and high dynamic range acquired by an event camera. Specifically, the collected events are first refocused by a Refocus-Net module to align in-focus events while scattering out off-focus ones. Following that, a hybrid network composed of spiking neural networks (SNNs) and convolutional neural networks (CNNs) is proposed to encode the spatio-temporal information from the refocused events and reconstruct a visual image of the occluded targets. Extensive experiments demonstrate that our proposed E-SAI method can achieve remarkable performance in dealing with very dense occlusions and extreme lighting conditions and produce high-quality images from pure events. Codes and datasets are available at https://dvs-whu.cn/projects/esai/.

基于事件的摄像机最近由于其不同步捕获时间丰富的信息的能力而显示出高速运动估计的巨大潜力。具有神经启发的事件驱动的处理的尖峰神经网络（SNN）可以有效地处理异步数据，而神经元模型（例如泄漏的综合和火灾（LIF））可以跟踪输入中包含的典型时序信息。 SNN通过在神经元内存中保持动态状态，保留重要信息，同时忘记冗余数据随着时间的推移而实现这一目标。因此，我们认为，与类似大小的模拟神经网络（ANN）相比，SNN将允许在顺序回归任务上更好地性能。但是，由于以后的层消失了，很难训练深SNN。为此，我们提出了一个具有可学习的神经元动力学的自适应完全刺激框架，以减轻尖峰消失的问题。我们在时间（BPTT）中利用基于替代梯度的反向传播来从头开始训练我们的深SNN。我们验证了在多车立体化事件相机（MVSEC）数据集和DSEC-FLOW数据集中的光流估计任务的方法。我们在这些数据集上的实验显示，与最新的ANN相比，平均终点误差（AEE）平均降低了13％。我们还探索了几个缩小的模型，并观察到我们的SNN模型始终超过大小的ANN，提供10％-16％的AEE。这些结果证明了SNN对较小模型的重要性及其在边缘的适用性。在效率方面，与最先进的ANN实施相比，我们的SNN可节省大量的网络参数（48倍）和计算能（51倍），同时获得了〜10％的EPE。

The quantitative evaluation of optical flow algorithms by Barron et al. (1994) led to significant advances in performance. The challenges for optical flow algorithms today go beyond the datasets and evaluation methods proposed in that paper. Instead, they center on problems associated with complex natural scenes, including nonrigid motion, real sensor noise, and motion discontinuities. We propose a new set of benchmarks and evaluation methods for the next generation of optical flow algorithms. To that end, we contribute four types of data to test different aspects of optical flow algorithms: (1) sequences with nonrigid motion where the ground-truth flow is determined by A preliminary version of this paper appeared in the IEEE International Conference on Computer Vision (Baker et al. 2007).

无监督的对光流计算的深度学习取得了令人鼓舞的结果。大多数现有的基于深网的方法都依赖图像亮度一致性和局部平滑度约束来训练网络。他们的性能在发生重复纹理或遮挡的区域降低。在本文中，我们提出了深层的外两极流，这是一种无监督的光流方法，将全局几何约束结合到网络学习中。特别是，我们研究了多种方式在流量估计中强制执行外两极约束。为了减轻在可能存在多个动作的动态场景中遇到的“鸡肉和蛋”类型的问题，我们提出了一个低级别的约束以及对培训的订婚结合的约束。各种基准测试数据集的实验结果表明，与监督方法相比，我们的方法实现了竞争性能，并且优于最先进的无监督深度学习方法。

Photometric differences are widely used as supervision signals to train neural networks for estimating depth and camera pose from unlabeled monocular videos. However, this approach is detrimental for model optimization because occlusions and moving objects in a scene violate the underlying static scenario assumption. In addition, pixels in textureless regions or less discriminative pixels hinder model training. To solve these problems, in this paper, we deal with moving objects and occlusions utilizing the difference of the flow fields and depth structure generated by affine transformation and view synthesis, respectively. Secondly, we mitigate the effect of textureless regions on model optimization by measuring differences between features with more semantic and contextual information without adding networks. In addition, although the bidirectionality component is used in each sub-objective function, a pair of images are reasoned about only once, which helps reduce overhead. Extensive experiments and visual analysis demonstrate the effectiveness of the proposed method, which outperform existing state-of-the-art self-supervised methods under the same conditions and without introducing additional auxiliary information.

事件摄像机对场景的亮度变化异步，独立于每个像素。由于属性，这些相机具有不同的特征：高动态范围（HDR），高时间分辨率和低功耗。但是，应将事件摄像机的结果处理为计算机视觉任务的替代表示。另外，它们通常很嘈杂，并且在几乎没有事件的地区导致性能不佳。近年来，许多研究人员试图重建事件中的视频。但是，由于缺乏不规则和不连续数据的时间信息，它们没有提供高质量的视频。为了克服这些困难，我们引入了一个E2V-SDE，该E2V-SDE由随机微分方程（SDE）控制在潜在空间中。因此，E2V-SDE可以在任意时间步骤中快速重建图像，并对看不见的数据做出现实的预测。此外，我们成功采用了各种图像组成技术来提高图像清晰度和时间一致性。通过对模拟和实际场景数据集进行广泛的实验，我们验证了我们的模型在各种视频重建设置下的表现优于最先进的方法。就图像质量而言，LPIPS得分提高了12％，重建速度比ET-NET高87％。

在接受高质量的地面真相（如LiDAR数据）培训时，监督的学习深度估计方法可以实现良好的性能。但是，LIDAR只能生成稀疏的3D地图，从而导致信息丢失。每个像素获得高质量的地面深度数据很难获取。为了克服这一限制，我们提出了一种新颖的方法，将有前途的平面和视差几何管道与深度信息与U-NET监督学习网络相结合的结构信息结合在一起，与现有的基于流行的学习方法相比，这会导致定量和定性的改进。特别是，该模型在两个大规模且具有挑战性的数据集上进行了评估：Kitti Vision Benchmark和CityScapes数据集，并在相对错误方面取得了最佳性能。与纯深度监督模型相比，我们的模型在薄物体和边缘的深度预测上具有令人印象深刻的性能，并且与结构预测基线相比，我们的模型的性能更加强大。

作为许多自主驾驶和机器人活动的基本组成部分，如自我运动估计，障碍避免和场景理解，单眼深度估计（MDE）引起了计算机视觉和机器人社区的极大关注。在过去的几十年中，已经开发了大量方法。然而，据我们所知，对MDE没有全面调查。本文旨在通过审查1970年至2021年之间发布的197个相关条款来弥补这一差距。特别是，我们为涵盖各种方法的MDE提供了全面的调查，介绍了流行的绩效评估指标并汇总公开的数据集。我们还总结了一些代表方法的可用开源实现，并比较了他们的表演。此外，我们在一些重要的机器人任务中审查了MDE的应用。最后，我们通过展示一些有希望的未来研究方向来结束本文。预计本调查有助于读者浏览该研究领域。

事件摄像机是生物启发传感器，可通过标准摄像机提供显着优势，例如低延迟，高延迟，高度的时间分辨率和高动态范围。我们提出了一种使用事件摄像机的新型结构化光系统来解决准确和高速深度感测的问题。我们的设置包括一个事件摄像机和一个激光点投影仪，在16毫秒期间，在光栅扫描模式中均匀地照亮场景。以前的方法匹配相互独立的事件，因此它们在信号延迟和抖动的存在下以高扫描速度提供噪声深度估计。相比之下，我们优化了旨在利用事件相关性的能量函数，称为时空稠度。所得到的方法对事件抖动鲁棒，因此以更高的扫描速度执行更好。实验表明，我们的方法可以根据事件摄像机处理高速运动和优于最先进的3D重建方法，对于相同的采集时间，平均地将RMSE降低了83％。