作为具有高时间分辨率的生物启发传感器，尖峰摄像机在真实应用中具有巨大的潜力，特别是在高速场景中的运动估计。然而，由于数据模式不同，基于帧的基于事件的方法并不适合从尖峰相机的尖峰流。为此，我们展示，Scflow，一种量身定制的深度学习管道，以估计来自尖峰流的高速场景中的光学流量。重要的是，引入了一种新的输入表示，其可以根据先前运动自适应地从尖峰流中自适应地移除运动模糊。此外，对于训练Scflow，我们为Spiking Camera的两组光学流量数据合成了两组光学流量数据，尖锐的东西和光处理的高速运动，分别表示为乘坐和PHM，对应于随机的高速和精心设计的场景。实验结果表明，SC流程可以预测不同高速场景中的尖峰流的光流。此外，Scflow显示了\真正的尖峰流的有希望的泛化。发布后，所有代码和构造数据集将发布。
translated by 谷歌翻译
Although synthetic aperture imaging (SAI) can achieve the seeing-through effect by blurring out off-focus foreground occlusions while recovering in-focus occluded scenes from multi-view images, its performance is often deteriorated by dense occlusions and extreme lighting conditions. To address the problem, this paper presents an Event-based SAI (E-SAI) method by relying on the asynchronous events with extremely low latency and high dynamic range acquired by an event camera. Specifically, the collected events are first refocused by a Refocus-Net module to align in-focus events while scattering out off-focus ones. Following that, a hybrid network composed of spiking neural networks (SNNs) and convolutional neural networks (CNNs) is proposed to encode the spatio-temporal information from the refocused events and reconstruct a visual image of the occluded targets. Extensive experiments demonstrate that our proposed E-SAI method can achieve remarkable performance in dealing with very dense occlusions and extreme lighting conditions and produce high-quality images from pure events. Codes and datasets are available at https://dvs-whu.cn/projects/esai/.
translated by 谷歌翻译
视频框架插值是一项艰巨的任务，这是由于不断变化的现实场景。先前的方法通常计算双向光流，然后在线性运动假设下预测中间光流，从而导致各向同性中间流量产生。随访研究通过估计的高阶运动信息和额外的帧获得各向异性调整。基于运动假设，它们的方法很难在真实场景中对复杂的运动进行建模。在本文中，我们提出了一种端到端训练方法A^2OF，用于视频框架插值，并通过事件驱动的各向异性调整光学流量调节。具体而言，我们使用事件为中间光流生成光流分布掩码，这可以对两个帧之间的复杂运动进行建模。我们提出的方法在视频框架插值中优于先前的方法，将基于事件的视频插值带到了更高的阶段。
translated by 谷歌翻译
避免障碍的广泛范围导致了许多基于计算机视觉的方法。尽管受欢迎，但这不是一个解决问题。使用相机和深度传感器的传统计算机视觉技术通常专注于静态场景，或依赖于障碍物的前沿。生物启发传感器的最新发展将事件相机作为动态场景的引人注目的选择。尽管这些传感器的基于帧的对应物具有许多优点，但是高动态范围和时间分辨率，因此基于事件的感知在很大程度上存在于2D中。这通常导致解决方案依赖于启发式和特定于特定任务。我们表明，在执行障碍物避免时，事件和深度的融合克服了每个单独的模型的故障情况。我们所提出的方法统一事件摄像机和LIDAR流，以估计未经现场几何或障碍物的先验知识的度量对抗。此外，我们还发布了一个基于事件的基于事件的数据集，具有超过700个扫描场景的六个可视流。
translated by 谷歌翻译
深度估计对于各种重要的现实世界应用至关重要，例如自动驾驶。但是，在高速场景中，它遭受了严重的性能退化，因为传统相机只能捕获模糊的图像。为了解决这个问题，Spike摄像头旨在以高框架速率捕获像素的亮度强度。但是，使用传统的单眼或立体声深度估计算法，使用尖峰摄像机的深度估计仍然非常具有挑战性，这些算法基于光度一致性。在本文中，我们提出了一种新型的不确定性引导深度融合（UGDF）框架，以融合Spike摄像机的单眼和立体声深度估计网络的预测。我们的框架是由于立体声尖峰深度估计在近距离取得更好的结果，而单眼尖峰深度估计获得了更好的结果。因此，我们引入了具有联合培训策略的双任务深度估计结构，并估算了分布式不确定性以融合单眼和立体声结果。为了证明尖峰深度估计比传统的摄像头深度估计的优势，我们为一个名为CitySpike20k的尖峰深度数据集，其中包含20k配对的样品，以进行尖峰深度估计。 UGDF在CitySpike20k上取得了最新的结果，超过了所有单眼或立体声尖峰深度估计基线。我们进行了广泛的实验，以评估我们方法对CitySpike20k的有效性和概括。据我们所知，我们的框架是第一个用于尖峰摄像头深度估算的双任务融合框架。代码和数据集将发布。
translated by 谷歌翻译
基于事件的摄像机最近由于其不同步捕获时间丰富的信息的能力而显示出高速运动估计的巨大潜力。具有神经启发的事件驱动的处理的尖峰神经网络（SNN）可以有效地处理异步数据，而神经元模型（例如泄漏的综合和火灾（LIF））可以跟踪输入中包含的典型时序信息。 SNN通过在神经元内存中保持动态状态，保留重要信息，同时忘记冗余数据随着时间的推移而实现这一目标。因此，我们认为，与类似大小的模拟神经网络（ANN）相比，SNN将允许在顺序回归任务上更好地性能。但是，由于以后的层消失了，很难训练深SNN。为此，我们提出了一个具有可学习的神经元动力学的自适应完全刺激框架，以减轻尖峰消失的问题。我们在时间（BPTT）中利用基于替代梯度的反向传播来从头开始训练我们的深SNN。我们验证了在多车立体化事件相机（MVSEC）数据集和DSEC-FLOW数据集中的光流估计任务的方法。我们在这些数据集上的实验显示，与最新的ANN相比，平均终点误差（AEE）平均降低了13％。我们还探索了几个缩小的模型，并观察到我们的SNN模型始终超过大小的ANN，提供10％-16％的AEE。这些结果证明了SNN对较小模型的重要性及其在边缘的适用性。在效率方面，与最先进的ANN实施相比，我们的SNN可节省大量的网络参数（48倍）和计算能（51倍），同时获得了〜10％的EPE。
translated by 谷歌翻译
模仿Retina Fovea的尖峰相机可以通过点燃尖峰报告每个像素亮度强度累积。作为具有高颞分辨率的生物启发视觉传感器，它具有巨大的计算机视觉潜力。然而，当前尖峰相机中的采样模型非常容易受到量化和噪声的影响，即它无法有效地捕获物体的纹理细节。在这项工作中，提出了一种由接收场（RVSM）启发的强大的视觉采样模型，其中使用高斯（狗）和高斯滤波器的差异产生的小波滤波器来模拟接收领域。使用类似于逆小波变换的相应方法，来自RVSM的尖峰数据可以转换为图像。为了测试性能，我们还提出了一个高速运动尖峰数据集（HMD），包括各种运动场景。通过比较HMD中的重建图像，我们发现RVSM可以提高大大捕获钉相机信息的能力。更重要的是，由于模仿接受现场机制来收集区域信息，RVSM可以有效地过滤高强度噪声并提高尖峰相机在很大程度上对噪声敏感的问题。此外，由于采样结构的强概率，RVSM也适用于其他神经形态视觉传感器。上面的实验在钉相机模拟器中完成。
translated by 谷歌翻译
在本文中，我们提出了一种算法，以在动态场景的两对图像之间插值。尽管在过去的几年中，在框架插值方面取得了重大进展，但当前的方法无法处理具有亮度和照明变化的图像，即使很快将图像捕获也很常见。我们建议通过利用现有的光流方法来解决这个问题，这些方法对照明的变化非常健壮。具体而言，使用使用现有预训练的流动网络估算的双向流，我们预测了从中间帧到两个输入图像的流。为此，我们建议将双向流编码为由超网络提供动力的基于坐标的网络，以获得跨时间的连续表示流。一旦获得了估计的流，我们就会在现有的混合网络中使用它们来获得最终的中间帧。通过广泛的实验，我们证明我们的方法能够比最新的框架插值算法产生明显更好的结果。
translated by 谷歌翻译
事件摄像机对场景动态做出响应，并提供了估计运动的优势。遵循最近基于图像的深度学习成就，事件摄像机的光流估计方法急于将基于图像的方法与事件数据相结合。但是，由于它们具有截然不同的属性，因此需要几个改编（数据转换，损失功能等）。我们开发了一种原则性的方法来扩展对比度最大化框架以估算仅事件的光流。我们研究关键要素：如何设计目标函数以防止过度拟合，如何扭曲事件以更好地处理遮挡，以及如何改善与多规模原始事件的收敛性。有了这些关键要素，我们的方法在MVSEC基准的无监督方法中排名第一，并且在DSEC基准上具有竞争力。此外，我们的方法使我们能够在这些基准测试中揭露地面真相流的问题，并在将其转移到无监督的学习环境中时会产生出色的结果。我们的代码可在https://github.com/tub-rip/event_based_optility_flow上找到
translated by 谷歌翻译
事件摄像机可产生大型动态范围事件流，并具有很高的时间分辨率，可丢弃冗余视觉信息，从而为对象检测任务带来新的可能性。但是，将事件摄像机应用于使用深度学习方法对象检测任务的现有方法仍然存在许多问题。首先，由于全局同步时间窗口和时间分辨率，现有方法无法考虑具有不同速度的对象。其次，大多数现有方法都依赖于大型参数神经网络，这意味着较大的计算负担和低推理速度，因此与事件流的高时间分辨率相反。在我们的工作中，我们设计了一种使用简单但有效的数据增强方法的高速轻质检测器，称为敏捷事件检测器（AED）。此外，我们提出了一个称为“时间主动焦点（TAF）”的事件流表示张量，该量子充分利用了事件流数据的异步生成，并且对移动对象的运动非常强大。它也可以在不耗时的情况下构造。我们进一步提出了一个称为分叉折叠模块（BFM）的模块，以在AED检测器的输入层的TAF张量中提取丰富的时间信息。我们对两个典型的实体事件摄像机对象检测数据集进行了实验：完整的预言GEN1汽车检测数据集和预言1 Megapixel Automotive检测数据集，带有部分注释。实验表明，我们的方法在准确性，速度和参数数量方面具有竞争力。同样，通过基于光流密度度量的对象将对象分类为多个运动级别，我们说明了相对于摄像机具有不同速度的对象的方法的鲁棒性。
translated by 谷歌翻译
2022-09-09
尽管神经网络在计算机视觉任务中取得了成功，但数字“神经元”还是生物神经元的非常松散的近似。当今的学习方法旨在在具有数字数据表示（例如图像帧）的数字设备上运行。相比之下，生物视觉系统通常比最先进的数字计算机视觉算法更有能力和高效。事件摄像机是一种新兴的传感器技术，它以异步射击像素模仿生物学视觉，避免了图像框架的概念。为了利用现代学习技术，许多基于事件的算法被迫将事件累积回图像帧，在某种程度上浪费了事件摄像机的优势。我们遵循相反的范式，并开发一种新型的神经网络，该网络更接近原始事件数据流。我们证明了角速度回归和竞争性光流估计中的最新性能，同时避免了与训练SNN相关的困难。此外，我们所提出的方法的处理延迟小于1/10，而连续推断将这种改进增加了另一个数量级。
translated by 谷歌翻译
传统摄像机测量图像强度。相比之下，事件相机以异步测量每像素的时间强度变化。恢复事件的强度是一个流行的研究主题，因为重建的图像继承了高动态范围（HDR）和事件的高速属性;因此，它们可以在许多机器人视觉应用中使用并生成慢动作HDR视频。然而，最先进的方法通过训练映射到图像经常性神经网络（RNN）来解决这个问题，这缺乏可解释性并且难以调整。在这项工作中，我们首次展示运动和强度估计的联合问题导致我们以模拟基于事件的图像重建作为可以解决的线性逆问题，而无需训练图像重建RNN。相反，基于古典和学习的图像前导者可以用于解决问题并从重建的图像中删除伪影。实验表明，尽管仅使用来自短时间间隔（即，没有复发连接），但是，尽管只使用来自短时间间隔的数据，所提出的方法会产生视觉质量的图像。我们的方法还可用于提高首先估计图像Laplacian的方法重建的图像的质量;在这里，我们的方法可以被解释为由图像前提引导的泊松重建。
translated by 谷歌翻译
滚动快门（RS）失真可以解释为在RS摄像机曝光期间，随着时间的推移从瞬时全局快门（GS）框架中挑选一排像素。这意味着每个即时GS帧的信息部分，依次是嵌入到行依赖性失真中。受到这一事实的启发，我们解决了扭转这一过程的挑战性任务，即从rs失真中的图像中提取未变形的GS框架。但是，由于RS失真与其他因素相结合，例如读数设置以及场景元素与相机的相对速度，因此仅利用临时相邻图像之间的几何相关性的型号，在处理数据中，具有不同的读数设置和动态场景的数据中遭受了不良的通用性。带有相机运动和物体运动。在本文中，我们建议使用双重RS摄像机捕获的一对图像，而不是连续的框架，而RS摄像机则具有相反的RS方向，以完成这项极具挑战性的任务。基于双重反转失真的对称和互补性，我们开发了一种新型的端到端模型，即IFED，以通过卢比时间对速度场的迭代学习来生成双重光流序列。广泛的实验结果表明，IFED优于天真的级联方案，以及利用相邻RS图像的最新艺术品。最重要的是，尽管它在合成数据集上进行了训练，但显示出在从现实世界中的RS扭曲的动态场景图像中检索GS框架序列有效。代码可在https://github.com/zzh-tech/dual-versed-rs上找到。
translated by 谷歌翻译
基于快速的神经形态的视觉传感器（动态视觉传感器，DVS）可以与基于较慢的帧的传感器组合，以实现比使用例如固定运动近似的传统方法更高质量的帧间内插。光流。在这项工作中，我们展示了一个新的高级事件模拟器，可以产生由相机钻机录制的现实场景，该仪器具有位于固定偏移的任意数量的传感器。它包括具有现实图像质量降低效果的新型可配置帧的图像传感器模型，以及具有更精确的特性的扩展DVS模型。我们使用我们的模拟器培训一个新的重建模型，专为高FPS视频的端到端重建而设计。与以前发表的方法不同，我们的方法不需要帧和DVS相机具有相同的光学，位置或相机分辨率。它还不限于物体与传感器的固定距离。我们表明我们的模拟器生成的数据可用于训练我们的新模型，导致在与最先进的公共数据集上的公共数据集中的重建图像。我们还向传感器展示了真实传感器记录的数据。
translated by 谷歌翻译
高动态范围（HDR）成像在现代数字摄影管道中具有根本重要性，并且尽管在图像上变化照明，但仍用于生产具有良好暴露区域的高质量照片。这通常通过在不同曝光时拍摄多个低动态范围（LDR）图像来实现。然而，由于补偿不良的运动导致人工制品如重影，过度暴露的地区和未对准误差。在本文中，我们提出了一种新的HDR成像技术，可以专门模拟对准和曝光不确定性以产生高质量的HDR结果。我们介绍了一种使用HDR感知的HDR感知的不确定性驱动的注意力映射来联合对齐和评估对齐和曝光可靠性的策略，该注意力映像鲁棒地将帧合并为单个高质量的HDR图像。此外，我们介绍了一种渐进式多级图像融合方法，可以以置换不变的方式灵活地合并任何数量的LDR图像。实验结果表明，我们的方法可以为最先进的高达0.8dB的PSNR改进，以及更好的细节，颜色和更少人工制品的主观改进。
translated by 谷歌翻译
2021-09-28
深度估计是一个重要的计算机视觉任务，特别是用于自主车辆中的导航，或者在机器人中的对象操纵。在这里，我们使用端到端的神经形态方法解决了它，将两个事件的相机和尖峰神经网络（SNN）与略微修改的U-Net的编码器 - 解码器架构结合起来，我们命名为Sterepike。更具体地说，我们使用了多车辆立体声事件相机数据集（MVSEC）。它提供了深度地面真理，用于使用替代梯度下降以监督方式训练立体摩托车。我们提出了一种新颖的读数范式来获得密集的模拟预测 - 从解码器的尖峰中获得每个像素的深度。我们证明，这种体系结构概括得非常好，甚至比其非尖峰对应物更好，导致最先进的测试精度。据我们所知，这是第一次通过完全尖峰网络解决了这样一个大规模的回归问题。最后，我们表明，可以通过规范化获得低发射速率（<10％），精度最低的成本。这意味着可以在神经芯片上有效地实现Sterepositike，用于为低功率和实时嵌入式系统开门。
translated by 谷歌翻译
光流估计是自动驾驶和机器人系统系统中的一项基本任务，它可以在时间上解释流量场景。自动驾驶汽车显然受益于360 {\ deg}全景传感器提供的超宽视野（FOV）。但是，由于全景相机的独特成像过程，专为针孔图像设计的模型不会令人满意地概括为360 {\ deg}全景图像。在本文中，我们提出了一个新颖的网络框架 - panoflow，以学习全景图像的光流。为了克服全景转化中等应角投影引起的扭曲，我们设计了一种流动失真增强（FDA）方法，其中包含径向流量失真（FDA-R）或等骨流量失真（FDA-E）。我们进一步研究了全景视频的环状光流的定义和特性，并通过利用球形图像的环状来推断360 {\ deg}光流并将大型位移转换为相对小的位移，从而提出了环状流量估计（CFE）方法移位。 Panoflow适用于任何现有的流量估计方法，并从狭窄的FOL流量估计的进度中受益。此外，我们创建并释放基于CARLA的合成全景数据集Flow360，以促进训练和定量分析。 Panoflow在公共Omniflownet和已建立的Flow360基准中实现了最先进的表现。我们提出的方法将Flow360上的端点误差（EPE）降低了27.3％。在Omniflownet上，Panoflow获得了3.17像素的EPE，从最佳发布的结果中降低了55.5％的误差。我们还通过收集工具和公共现实世界中的全球数据集对我们的方法进行定性验证我们的方法，这表明对现实世界导航应用程序的强大潜力和稳健性。代码和数据集可在https://github.com/masterhow/panoflow上公开获取。
translated by 谷歌翻译
事件摄像机捕获观察到的场景中的照明的变化，而不是累积光以创建图像。因此，它们允许在高速运动和复杂的照明条件下的应用，其中传统的框架传感器显示它们的模糊和过度或未出现的像素的限制。由于这些独特的属性，它们表示现在是与其相关的应用的高度有吸引力的传感器。在这些神经形式相机的普及升高之后，已经研究了基于事件的光流（EBOF）。然而，最近的高清神经晶体传感器的到来挑战现有方法，因为事件像素阵列的分辨率增加和更高的吞吐量。作为这些点的答案，我们提出了一种用于实时计算光流的优化框架，以及低分辨率的事件摄像机。我们以“逆指数距离表面”的形式为稀疏事件流制定了一种新的密集表示。它用作临时框架，专为使用证明，最先进的基于框架的光流量计算方法而设计。我们评估我们在低分辨率和高分辨率驾驶序列上的方法，并表明它通常比当前现有技术更好地实现更好的结果，同时也达到更高的帧速率，250Hz在346 x 260像素和77Hz在1280 x 720像素。
translated by 谷歌翻译
We present a compact but effective CNN model for optical flow, called PWC-Net. PWC-Net has been designed according to simple and well-established principles: pyramidal processing, warping, and the use of a cost volume. Cast in a learnable feature pyramid, PWC-Net uses the current optical flow estimate to warp the CNN features of the second image. It then uses the warped features and features of the first image to construct a cost volume, which is processed by a CNN to estimate the optical flow. PWC-Net is 17 times smaller in size and easier to train than the recent FlowNet2 model. Moreover, it outperforms all published optical flow methods on the MPI Sintel final pass and KITTI 2015 benchmarks, running at about 35 fps on Sintel resolution (1024×436) images. Our models are available on https://github.com/NVlabs/PWC-Net.
translated by 谷歌翻译
Recent work has shown that optical flow estimation can be formulated as a supervised learning task and can be successfully solved with convolutional networks. Training of the so-called FlowNet was enabled by a large synthetically generated dataset. The present paper extends the concept of optical flow estimation via convolutional networks to disparity and scene flow estimation. To this end, we propose three synthetic stereo video datasets with sufficient realism, variation, and size to successfully train large networks. Our datasets are the first large-scale datasets to enable training and evaluating scene flow methods. Besides the datasets, we present a convolutional network for real-time disparity estimation that provides state-of-the-art results. By combining a flow and disparity estimation network and training it jointly, we demonstrate the first scene flow estimation with a convolutional network.
translated by 谷歌翻译