我们引入了统一的单一和多视图神经隐式3D重建框架VPFusion。 VPFusion使用-3D功能卷获得高质量的重建,以捕获3D结构感知的上下文和像素对齐的图像特征,以捕获精细的本地细节。现有方法使用RNN,功能池或注意力在每个视图中独立计算以进行多视图融合。 RNN遭受长期记忆丧失和置换差异的困扰,而特征池或独立计算的注意力会导致每种视图中的表示形式在最后的合并步骤之前都不知道其他视图。相比之下,我们通过建立基于变压器的成对视图关联来显示改进的多视图融合。特别是,我们提出了一种新颖的交错3D推理和成对视图的关联结构,以跨不同视图的特征体积融合。使用此结构感知和多视图感知功能量,与现有方法相比,我们显示出改进的3D重建性能。 VPFusion还通过合并与像素一致的本地图像功能来进一步提高重建质量,以捕获细节。我们验证了VPFusion在Shapenet和ModelNet数据集上的有效性,在该数据集中,我们在该数据集中胜过或执行最先进的单个和多视图3D形状重建方法。
translated by 谷歌翻译