事件摄像机捕获观察到的场景中的照明的变化，而不是累积光以创建图像。因此，它们允许在高速运动和复杂的照明条件下的应用，其中传统的框架传感器显示它们的模糊和过度或未出现的像素的限制。由于这些独特的属性，它们表示现在是与其相关的应用的高度有吸引力的传感器。在这些神经形式相机的普及升高之后，已经研究了基于事件的光流（EBOF）。然而，最近的高清神经晶体传感器的到来挑战现有方法，因为事件像素阵列的分辨率增加和更高的吞吐量。作为这些点的答案，我们提出了一种用于实时计算光流的优化框架，以及低分辨率的事件摄像机。我们以“逆指数距离表面”的形式为稀疏事件流制定了一种新的密集表示。它用作临时框架，专为使用证明，最先进的基于框架的光流量计算方法而设计。我们评估我们在低分辨率和高分辨率驾驶序列上的方法，并表明它通常比当前现有技术更好地实现更好的结果，同时也达到更高的帧速率，250Hz在346 x 260像素和77Hz在1280 x 720像素。
translated by 谷歌翻译
事件摄像机由于其有益的特性，例如高时间分辨率，高带宽，几乎没有运动模糊和低功耗，因此在机器人技术和计算机视觉中变得越来越流行。但是，这些相机在市场上仍然昂贵且稀缺，使它们无法获得大多数。使用事件模拟器最大程度地减少了对真实事件摄像机开发新算法的需求。但是，由于模拟的计算复杂性，无法实时生成现有仿真器的事件流，而是必须从现有视频序列或预渲染中预先计算，然后从虚拟3D场景中进行模拟。尽管这些离线生成的事件流可以用作学习任务的培训数据，但所有响应时间的应用程序都无法从这些模拟器中受益，因为它们仍然需要实际的事件摄像头。这项工作提出了仿真方法，将事件模拟的性能提高了两个数量级（使其实时能够），同时在质量评估中保持竞争力。
translated by 谷歌翻译
基于事件的视觉传感器基于视觉场景的变化产生具有高时间分辨率的异步事件流。随着事件的生成，这些传感器的特性允许精确快速地计算光学流量。对于从事件数据计算光学流的现有解决方案未能由于孔径问题而无法捕获真正的运动方向，请勿使用传感器的高时间分辨率，或者在嵌入式平台上实时运行太昂贵。在这项研究中，我们首先提供了我们之前的算法，武器（光圈稳健的多尺度流）的更快版本。新的优化软件版本（农场）显着提高了传统CPU的吞吐量。此外，我们呈现危害，一种农场算法的硬件实现，允许实时计算低功耗，嵌入式平台上的真实流量。建议的危害架构针对混合系统的片上器件，旨在最大限度地提高可配置性和吞吐量。硬件架构和农场算法是用异步的神经形态处理而开发的，放弃了事件帧的常用使用，而是仅使用不同事件的小历史运行，允许独立于传感器分辨率进行缩放。与现有方法相比，处理范例的这种变化将流量方向的估计变为高达73％，并在选择的基准配置上显示出危害最高为1.21 Mevent / s的危害。此吞吐量使实时性能能够实现迄今为止迄今为止最快速的基于活动的事件的光流的实现。
translated by 谷歌翻译
避免障碍的广泛范围导致了许多基于计算机视觉的方法。尽管受欢迎，但这不是一个解决问题。使用相机和深度传感器的传统计算机视觉技术通常专注于静态场景，或依赖于障碍物的前沿。生物启发传感器的最新发展将事件相机作为动态场景的引人注目的选择。尽管这些传感器的基于帧的对应物具有许多优点，但是高动态范围和时间分辨率，因此基于事件的感知在很大程度上存在于2D中。这通常导致解决方案依赖于启发式和特定于特定任务。我们表明，在执行障碍物避免时，事件和深度的融合克服了每个单独的模型的故障情况。我们所提出的方法统一事件摄像机和LIDAR流，以估计未经现场几何或障碍物的先验知识的度量对抗。此外，我们还发布了一个基于事件的基于事件的数据集，具有超过700个扫描场景的六个可视流。
translated by 谷歌翻译
事件摄像机对场景动态做出响应，并提供了估计运动的优势。遵循最近基于图像的深度学习成就，事件摄像机的光流估计方法急于将基于图像的方法与事件数据相结合。但是，由于它们具有截然不同的属性，因此需要几个改编（数据转换，损失功能等）。我们开发了一种原则性的方法来扩展对比度最大化框架以估算仅事件的光流。我们研究关键要素：如何设计目标函数以防止过度拟合，如何扭曲事件以更好地处理遮挡，以及如何改善与多规模原始事件的收敛性。有了这些关键要素，我们的方法在MVSEC基准的无监督方法中排名第一，并且在DSEC基准上具有竞争力。此外，我们的方法使我们能够在这些基准测试中揭露地面真相流的问题，并在将其转移到无监督的学习环境中时会产生出色的结果。我们的代码可在https://github.com/tub-rip/event_based_optility_flow上找到
translated by 谷歌翻译
结合同时定位和映射（SLAM）估计和动态场景建模可以高效地在动态环境中获得机器人自主权。机器人路径规划和障碍避免任务依赖于场景中动态对象运动的准确估计。本文介绍了VDO-SLAM，这是一种强大的视觉动态对象感知SLAM系统，用于利用语义信息，使得能够在场景中进行准确的运动估计和跟踪动态刚性物体，而无需任何先前的物体形状或几何模型的知识。所提出的方法识别和跟踪环境中的动态对象和静态结构，并将这些信息集成到统一的SLAM框架中。这导致机器人轨迹的高度准确估计和对象的全部SE（3）运动以及环境的时空地图。该系统能够从对象的SE（3）运动中提取线性速度估计，为复杂的动态环境中的导航提供重要功能。我们展示了所提出的系统对许多真实室内和室外数据集的性能，结果表明了对最先进的算法的一致和实质性的改进。可以使用源代码的开源版本。
translated by 谷歌翻译
事件摄像机是由生物启发的传感器，比传统摄像机具有优势。它们不同步，用微秒的分辨率对场景进行采样，并产生亮度变化。这种非常规的输出引发了新型的计算机视觉方法，以释放相机的潜力。我们解决了SLAM的基于事件的立体3D重建问题。大多数基于事件的立体声方法都试图利用相机跨相机的高时间分辨率和事件同时性，以建立匹配和估计深度。相比之下，我们研究了如何通过融合有效的单眼方法来融合差异空间图像（DSIS）来估计深度。我们开发融合理论，并将其应用于设计产生最先进结果的多相机3D重建算法，正如我们通过与四种基线方法进行比较并在各种可用数据集上进行测试的确认。
translated by 谷歌翻译
The quantitative evaluation of optical flow algorithms by Barron et al. (1994) led to significant advances in performance. The challenges for optical flow algorithms today go beyond the datasets and evaluation methods proposed in that paper. Instead, they center on problems associated with complex natural scenes, including nonrigid motion, real sensor noise, and motion discontinuities. We propose a new set of benchmarks and evaluation methods for the next generation of optical flow algorithms. To that end, we contribute four types of data to test different aspects of optical flow algorithms: (1) sequences with nonrigid motion where the ground-truth flow is determined by A preliminary version of this paper appeared in the IEEE International Conference on Computer Vision (Baker et al. 2007).
translated by 谷歌翻译
Event cameras are novel bio-inspired sensors that offer advantages over traditional cameras (low latency, high dynamic range, low power, etc.). Optical flow estimation methods that work on packets of events trade off speed for accuracy, while event-by-event (incremental) methods have strong assumptions and have not been tested on common benchmarks that quantify progress in the field. Towards applications on resource-constrained devices, it is important to develop optical flow algorithms that are fast, light-weight and accurate. This work leverages insights from neuroscience, and proposes a novel optical flow estimation scheme based on triplet matching. The experiments on publicly available benchmarks demonstrate its capability to handle complex scenes with comparable results as prior packet-based algorithms. In addition, the proposed method achieves the fastest execution time (> 10 kHz) on standard CPUs as it requires only three events in estimation. We hope that our research opens the door to real-time, incremental motion estimation methods and applications in real-world scenarios.
translated by 谷歌翻译
传统摄像机测量图像强度。相比之下，事件相机以异步测量每像素的时间强度变化。恢复事件的强度是一个流行的研究主题，因为重建的图像继承了高动态范围（HDR）和事件的高速属性;因此，它们可以在许多机器人视觉应用中使用并生成慢动作HDR视频。然而，最先进的方法通过训练映射到图像经常性神经网络（RNN）来解决这个问题，这缺乏可解释性并且难以调整。在这项工作中，我们首次展示运动和强度估计的联合问题导致我们以模拟基于事件的图像重建作为可以解决的线性逆问题，而无需训练图像重建RNN。相反，基于古典和学习的图像前导者可以用于解决问题并从重建的图像中删除伪影。实验表明，尽管仅使用来自短时间间隔（即，没有复发连接），但是，尽管只使用来自短时间间隔的数据，所提出的方法会产生视觉质量的图像。我们的方法还可用于提高首先估计图像Laplacian的方法重建的图像的质量;在这里，我们的方法可以被解释为由图像前提引导的泊松重建。
translated by 谷歌翻译
事件摄像机是受生物启发的传感器，在具有挑战性的照明条件下表现良好，并且具有高时间分辨率。但是，他们的概念与传统的基于框架的相机根本不同。事件摄像机的像素独立和不同步。他们测量对数亮度的变化，并以高度离散的时间stamp事件形式返回它们，表明自上次事件以来一定数量的相对变化。需要新的模型和算法来处理这种测量。目前的工作着眼于事件摄像机的几个运动估计问题。事件的流以时空量的一般均应翘曲为模型，并且该目标被提出为扭曲事件图像中对比度的最大化。我们的核心贡献包括针对这些通常非凸的问题得出全球最佳解决方案，从而消除了对困扰现有方法的良好初始猜测的依赖。我们的方法依赖于分支和结合的优化，并采用了针对六个不同的对比度估计函数得出的新颖和高效的递归上限和下限。通过成功应用于三个不同的事件摄像机运动估计问题，我们的方法的实际有效性证明了这一点。
translated by 谷歌翻译
近年来，Imbersive显示器（例如VR耳机，AR眼镜，多视图显示器，自由点电视）已成为一种新的展示技术，与传统显示相比，提供了更好的视觉体验和观众的参与度。随着3D视频和展示技术的发展，高动态范围（HDR）摄像机和显示器的消费市场迅速增长。缺乏适当的实验数据是3D HDR视频技术领域的主要研究工作的关键障碍。同样，足够的现实世界多曝光实验数据集的不可用是用于HDR成像研究的主要瓶颈，从而限制了观众的体验质量（QOE）。在本文中，我们介绍了在印度理工学院马德拉斯校园内捕获的多元化立体曝光数据集，该数据集是多元化的动植物的所在地。该数据集使用ZED立体相机捕获，并提供户外位置的复杂场景，例如花园，路边景观，节日场地，建筑物和室内地区，例如学术和居住区。提出的数据集可容纳宽深度范围，复杂的深度结构，使物体运动复杂化，照明变化，丰富的色彩动态，纹理差异，除了通过移动摄像机和背景运动引入的显着随机性。拟议的数据集可公开向研究界公开使用。此外，详细描述了捕获，对齐和校准多曝光立体视频和图像的过程。最后，我们讨论了有关HDR成像，深度估计，一致的音调映射和3D HDR编码的进度，挑战，潜在用例和未来研究机会。
translated by 谷歌翻译
事件摄像机可产生大型动态范围事件流，并具有很高的时间分辨率，可丢弃冗余视觉信息，从而为对象检测任务带来新的可能性。但是，将事件摄像机应用于使用深度学习方法对象检测任务的现有方法仍然存在许多问题。首先，由于全局同步时间窗口和时间分辨率，现有方法无法考虑具有不同速度的对象。其次，大多数现有方法都依赖于大型参数神经网络，这意味着较大的计算负担和低推理速度，因此与事件流的高时间分辨率相反。在我们的工作中，我们设计了一种使用简单但有效的数据增强方法的高速轻质检测器，称为敏捷事件检测器（AED）。此外，我们提出了一个称为“时间主动焦点（TAF）”的事件流表示张量，该量子充分利用了事件流数据的异步生成，并且对移动对象的运动非常强大。它也可以在不耗时的情况下构造。我们进一步提出了一个称为分叉折叠模块（BFM）的模块，以在AED检测器的输入层的TAF张量中提取丰富的时间信息。我们对两个典型的实体事件摄像机对象检测数据集进行了实验：完整的预言GEN1汽车检测数据集和预言1 Megapixel Automotive检测数据集，带有部分注释。实验表明，我们的方法在准确性，速度和参数数量方面具有竞争力。同样，通过基于光流密度度量的对象将对象分类为多个运动级别，我们说明了相对于摄像机具有不同速度的对象的方法的鲁棒性。
translated by 谷歌翻译
光流估计是自动驾驶和机器人系统系统中的一项基本任务，它可以在时间上解释流量场景。自动驾驶汽车显然受益于360 {\ deg}全景传感器提供的超宽视野（FOV）。但是，由于全景相机的独特成像过程，专为针孔图像设计的模型不会令人满意地概括为360 {\ deg}全景图像。在本文中，我们提出了一个新颖的网络框架 - panoflow，以学习全景图像的光流。为了克服全景转化中等应角投影引起的扭曲，我们设计了一种流动失真增强（FDA）方法，其中包含径向流量失真（FDA-R）或等骨流量失真（FDA-E）。我们进一步研究了全景视频的环状光流的定义和特性，并通过利用球形图像的环状来推断360 {\ deg}光流并将大型位移转换为相对小的位移，从而提出了环状流量估计（CFE）方法移位。 Panoflow适用于任何现有的流量估计方法，并从狭窄的FOL流量估计的进度中受益。此外，我们创建并释放基于CARLA的合成全景数据集Flow360，以促进训练和定量分析。 Panoflow在公共Omniflownet和已建立的Flow360基准中实现了最先进的表现。我们提出的方法将Flow360上的端点误差（EPE）降低了27.3％。在Omniflownet上，Panoflow获得了3.17像素的EPE，从最佳发布的结果中降低了55.5％的误差。我们还通过收集工具和公共现实世界中的全球数据集对我们的方法进行定性验证我们的方法，这表明对现实世界导航应用程序的强大潜力和稳健性。代码和数据集可在https://github.com/masterhow/panoflow上公开获取。
translated by 谷歌翻译
事件摄像机是运动激活的传感器，可捕获像素级照明的变化，而不是具有固定帧速率的强度图像。与标准摄像机相比，它可以在高速运动和高动态范围场景中提供可靠的视觉感知。但是，当相机和场景之间的相对运动受到限制时，例如在静态状态下，事件摄像机仅输出一点信息甚至噪音。尽管标准相机可以在大多数情况下，尤其是在良好的照明条件下提供丰富的感知信息。这两个相机完全是互补的。在本文中，我们提出了一种具有鲁棒性，高智能和实时优化的基于事件的视觉惯性镜（VIO）方法，具有事件角度，基于线的事件功能和基于点的图像功能。提出的方法旨在利用人为场景中的自然场景和基于线路的功能中的基于点的功能，以通过设计良好设计的功能管理提供更多其他结构或约束信息。公共基准数据集中的实验表明，与基于图像或基于事件的VIO相比，我们的方法可以实现卓越的性能。最后，我们使用我们的方法演示了机上闭环自动驾驶四极管飞行和大规模室外实验。评估的视频在我们的项目网站上介绍：https：//b23.tv/oe3qm6j
translated by 谷歌翻译
The term ``neuromorphic'' refers to systems that are closely resembling the architecture and/or the dynamics of biological neural networks. Typical examples are novel computer chips designed to mimic the architecture of a biological brain, or sensors that get inspiration from, e.g., the visual or olfactory systems in insects and mammals to acquire information about the environment. This approach is not without ambition as it promises to enable engineered devices able to reproduce the level of performance observed in biological organisms -- the main immediate advantage being the efficient use of scarce resources, which translates into low power requirements. The emphasis on low power and energy efficiency of neuromorphic devices is a perfect match for space applications. Spacecraft -- especially miniaturized ones -- have strict energy constraints as they need to operate in an environment which is scarce with resources and extremely hostile. In this work we present an overview of early attempts made to study a neuromorphic approach in a space context at the European Space Agency's (ESA) Advanced Concepts Team (ACT).
translated by 谷歌翻译
Compared to regular cameras, Dynamic Vision Sensors or Event Cameras can output compact visual data based on a change in the intensity in each pixel location asynchronously. In this paper, we study the application of current image-based SLAM techniques to these novel sensors. To this end, the information in adaptively selected event windows is processed to form motion-compensated images. These images are then used to reconstruct the scene and estimate the 6-DOF pose of the camera. We also propose an inertial version of the event-only pipeline to assess its capabilities. We compare the results of different configurations of the proposed algorithm against the ground truth for sequences of two publicly available event datasets. We also compare the results of the proposed event-inertial pipeline with the state-of-the-art and show it can produce comparable or more accurate results provided the map estimate is reliable.
translated by 谷歌翻译
Recent work has shown that optical flow estimation can be formulated as a supervised learning task and can be successfully solved with convolutional networks. Training of the so-called FlowNet was enabled by a large synthetically generated dataset. The present paper extends the concept of optical flow estimation via convolutional networks to disparity and scene flow estimation. To this end, we propose three synthetic stereo video datasets with sufficient realism, variation, and size to successfully train large networks. Our datasets are the first large-scale datasets to enable training and evaluating scene flow methods. Besides the datasets, we present a convolutional network for real-time disparity estimation that provides state-of-the-art results. By combining a flow and disparity estimation network and training it jointly, we demonstrate the first scene flow estimation with a convolutional network.
translated by 谷歌翻译
2022-09-09
尽管神经网络在计算机视觉任务中取得了成功，但数字“神经元”还是生物神经元的非常松散的近似。当今的学习方法旨在在具有数字数据表示（例如图像帧）的数字设备上运行。相比之下，生物视觉系统通常比最先进的数字计算机视觉算法更有能力和高效。事件摄像机是一种新兴的传感器技术，它以异步射击像素模仿生物学视觉，避免了图像框架的概念。为了利用现代学习技术，许多基于事件的算法被迫将事件累积回图像帧，在某种程度上浪费了事件摄像机的优势。我们遵循相反的范式，并开发一种新型的神经网络，该网络更接近原始事件数据流。我们证明了角速度回归和竞争性光流估计中的最新性能，同时避免了与训练SNN相关的困难。此外，我们所提出的方法的处理延迟小于1/10，而连续推断将这种改进增加了另一个数量级。
translated by 谷歌翻译
基于学习的视觉自我运动估计是有希望的，但尚未准备好在现实世界中浏览敏捷的移动机器人。在本文中，我们提出了Cuahn-Vio，这是一款适用于配备了向下式摄像头的微型航空车（MAVS）的强大而有效的单眼视觉惯性镜（VIO）。视觉前端是一个内容和不确定性的同型同构网络（CUAHN），它对非主体摄影图像内容和网络预测的故障案例非常有力。它不仅可以预测截然变换，还可以估计其不确定性。培训是自学的，因此它不需要通常难以获得的地面真理。该网络具有良好的概括，可以在不进行微调的情况下在新环境中部署“插件”。轻巧的扩展卡尔曼过滤器（EKF）用作VIO后端，并利用网络中的平均预测和方差估计进行视觉测量更新。 Cuahn-Vio在高速公共数据集上进行了评估，并显示出与最先进（SOTA）VIO方法的竞争精度。由于运动模糊，低网络推理时间（〜23ms）和稳定的处理延迟（〜26ms），Cuahn-Vio成功运行了NVIDIA JETSON TX2嵌入式处理器，以导航快速自动驾驶MAV。
translated by 谷歌翻译