深度估计是一个重要的计算机视觉任务,特别是用于自主车辆中的导航,或者在机器人中的对象操纵。在这里,我们使用端到端的神经形态方法解决了它,将两个事件的相机和尖峰神经网络(SNN)与略微修改的U-Net的编码器 - 解码器架构结合起来,我们命名为Sterepike。更具体地说,我们使用了多车辆立体声事件相机数据集(MVSEC)。它提供了深度地面真理,用于使用替代梯度下降以监督方式训练立体摩托车。我们提出了一种新颖的读数范式来获得密集的模拟预测 - 从解码器的尖峰中获得每个像素的深度。我们证明,这种体系结构概括得非常好,甚至比其非尖峰对应物更好,导致最先进的测试精度。据我们所知,这是第一次通过完全尖峰网络解决了这样一个大规模的回归问题。最后,我们表明,可以通过规范化获得低发射速率(<10%),精度最低的成本。这意味着可以在神经芯片上有效地实现Sterepositike,用于为低功率和实时嵌入式系统开门。
translated by 谷歌翻译