视频框架插值(VFI)是一项基本视觉任务,旨在综合两个连续的原始视频图像之间的几个帧。大多数算法旨在通过仅使用密钥帧来完成VFI,这是一个错误的问题,因为密钥帧通常不会对场景中对象的轨迹产生任何准确的精度。另一方面,基于事件的摄像机在视频的关键帧之间提供了更精确的信息。一些最新的基于事件的最新方法通过利用事件数据来更好地解决此问题,以更好地进行光流估计来通过翘曲插值视频框架。尽管如此,这些方法严重遭受了重影效果。另一方面,仅使用框架作为输入的一些基于内核的VFI方法表明,在用变压器备份时,可变形的卷积可能是处理长期依赖关系的可靠方法。我们提出了基于事件的视频框架插值,并作为一种基于轻质核的方法(E-VFIA)。 E-VFIA通过可变形的卷积将事件信息与标准视频帧融合在一起,以生成高质量的插值框架。所提出的方法表示具有高时间分辨率的事件,并使用多头发项机制来更好地编码基于事件的信息,同时不太容易受到模糊和鬼影的影响;因此,产生更脆的框架。仿真结果表明,该提出的技术优于当前最新方法(基于框架和事件),其模型大小明显较小。
translated by 谷歌翻译