我们提出了Diffustereo,这是一种仅使用稀疏相机(在这项工作中8)进行高质量3D人类重建的新型系统。其核心是一种新型基于扩散的立体声模块,该模块将扩散模型(一种强大的生成模型)引入迭代立体声匹配网络中。为此,我们设计了一个新的扩散内核和其他立体限制,以促进网络中的立体声匹配和深度估计。我们进一步提出了一个多级立体声网络体系结构,以处理高分辨率(最多4K)输入,而无需无法负担的内存足迹。考虑到人类的一组稀疏视图颜色图像,提出的基于多级扩散的立体声网络可以产生高准确的深度图,然后通过有效的多视图融合策略将其转换为高质量的3D人类模型。总体而言,我们的方法可以自动重建人类模型,其质量是高端密集摄像头钻机,这是使用更轻巧的硬件设置来实现的。实验表明,我们的方法在定性和定量上都优于最先进的方法。
translated by 谷歌翻译