我们解决了将3D人类模型拟合到穿着人类的3D扫描的问题。古典方法优化数据到模型对应关系和人类模型参数(姿势和形状),但仅在初始化靠近解决方案时可靠。一些方法基于完全监督的对应预测器初始化优化,该预测值不是差异的端到端,并且只能一次处理单个扫描。我们的主要贡献是Loopreg,一个端到端的学习框架,用于向共同的3D人体模型注册扫描语料库。关键的想法是创建一个自我监督的循环。由神经网络参数化的向后地图预测来自每个扫描点到人类模型表面的对应关系。由人类模型参数化的前向地图,基于模型参数(姿势和形状)将相应的点转换回扫描,从而关闭循环。配制该闭环并不简单,因为它不易于迫使NN的输出在人体模型的表面上 - 在这种表面之外,人类模型甚至没有定义。为此,我们提出了两个关键的创新。首先,我们隐含地将规范表面定义为R3中的距离场的零电平集,这与MoreCommon UV参数化相反,不需要切割表面,没有不连续性,并且不会引起失真。其次,我们将人体模型扩散到3D域R3。这允许向前映射NN预测,即使它们略微偏离零电平集。结果表明,我们可以培训LopoPheainly自我监督 - 遵循监督的热门启动,因为处理了额外的未标记的原始扫描,该模型变得越来越准确。我们的代码和预先培训的型号可以下载用于研究。
translated by 谷歌翻译
表示为深度学习近似的隐式功能对于重建3D表面是强大的。然而,它们只能产生不可控制的静态表面,这提供了通过编辑其姿势或形状参数来修改所得模型的有限能力。尽管如此,这些功能对于构建计算机图形和计算机视觉的灵活模型至关重要。在这项工作中,我们呈现了结合丰富的隐式功能和参数表示的方法,以重建即使在衣服的存在下也能够控制和准确的人的3D模型。给定稀疏的3D点云在衣服的人的表面上采样,我们使用隐式零件网络(IP-Net)共同预测穿衣服的人,内部主体表面的外3D表面,以及对参数的语义对应身体模型。我们随后使用对应关系将主体模型适合于我们的内表面,然后在外表面上非刚性地变形(在参数体+位移模型下),以捕获服装,面部和头发细节。在全身数据和手中的定量和定性实验中,我们表明所提出的方法概括,甚至给出了从单视图深度图像收集的不完整点云。我们的模型和代码可以从http://virtualhumans.mpi-inf.mpg.de/ipnet下载。
translated by 谷歌翻译
我们提出了一种从一系列时间演化点云序列中对时间一致的表面序列的无监督重建的方法。它在帧之间产生了密集和语义有意义的对应关系。我们将重建的表面代表由神经网络计算的Atlases,这使我们能够在帧之间建立对应关系。使这些对应关系的关键是语义上有意义的是为了保证在相应点计算的度量张量和尽可能相似。我们设计了一种优化策略,使我们的方法能够强大地对噪声和全局动作,而无需先验的对应关系或预先对准步骤。结果,我们的方法在几个具有挑战性的数据集中占据了最先进的。该代码可在https://github.com/bednarikjan/temporally_coherent_surface_reconstruction附近获得。
translated by 谷歌翻译
学习重建3D服装对于在不同的姿势中穿着不同形状的3D人体来说是重要的。以前的作品通常依赖于2D图像作为输入,但是遭受尺度和构成歧义。为了规避由2D图像引起的问题,我们提出了一个原则的框架,服装4D,它使用穿着人的3D点云序列来服装重建。 Garment4D有三个专用步骤:顺序服装登记,典型服装估算和摆动衣服重建。主要挑战是两倍:1)有效的3D特征学习精细细节,2)捕获由服装和人体之间的相互作用引起的服装动力学,特别是对于像裙子这样的松散服装。为了解开这些问题,我们介绍了一种新的提议引导的分层特征网络和迭代图卷积网络,其集成了高级语义特征和低级几何特征,以进行精细细节重建。此外,我们提出了一种用于平滑服装运动的时间变压器。与非参数方法不同,我们的方法的重建服装网格可与人体分离,并且具有很强的解释性,这对于下游任务是期望的。作为本任务的第一次尝试,通过广泛的实验定性和定量地说明了高质量的重建结果。代码在https://github.com/hongfz16/garment4d提供。
translated by 谷歌翻译
本文从单个RGB图像中解决了人手的3D点云重建和3D姿势估计。为此,我们在学习姿势估计的潜在表示时,我们展示了一个用于本地和全球点云重建的新型管道,同时使用3D手模板。为了展示我们的方法,我们介绍了一个新的多视图手姿势数据集,以获得现实世界中的手的完整3D点云。我们新拟议的数据集和四个公共基准测试的实验展示了模型的优势。我们的方法优于3D姿势估计中的竞争对手,同时重建现实看的完整3D手云。
translated by 谷歌翻译
在计算机愿景中已经过了很长一段时间的3D表示和人体重建。传统方法主要依赖于参数统计线性模型,将可能的身体的空间限制在线性组合。近来,一些方法才试图利用人体建模的神经隐式表示,同时展示令人印象深刻的结果,它们是通过表示能力的限制或没有物理有意义和可控的。在这项工作中,我们提出了一种用于人体的新型神经隐含表示,其具有完全可分辨:无戒开的形状和姿势潜在空间的优化。与事先工作相反,我们的代表是基于运动模型设计的,这使得可以为姿势动画等任务提供可控制的表示,同时允许为3D配件和姿势跟踪等任务进行整形和姿势。我们的模型可以直接培训和精细调整,直接在具有精心设计的损失的非水密原始数据上。实验展示了SOTA方法的改进的3D重建性能,并显示了我们的方法来形状插值,模型拟合,姿势跟踪和运动重新定位的适用性。
translated by 谷歌翻译
人类将他们的手和身体一起移动,沟通和解决任务。捕获和复制此类协调活动对于虚拟字符至关重要,以实际行为行为。令人惊讶的是,大多数方法分别对待身体和手的3D建模和跟踪。在这里,我们制定了一种手和身体的型号,并将其与全身4D序列合理。当扫描或捕获3D中的全身时,手很小,通常是部分闭塞,使其形状和难以恢复。为了应对低分辨率,闭塞和噪音,我们开发了一种名为Mano(具有铰接和非刚性变形的手模型)的新型号。曼诺从大约1000个高分辨率的3D扫描中学到了31个受试者的手中的大约一定的手。该模型是逼真的,低维,捕获非刚性形状的姿势变化,与标准图形封装兼容,可以适合任何人类的手。 Mano提供从手姿势的紧凑型映射,以构成混合形状校正和姿势协同效应的线性歧管。我们将Mano附加到标准参数化3D体形状模型(SMPL),导致完全铰接的身体和手部模型(SMPL + H)。我们通过用4D扫描仪捕获的综合体,自然,自然,自然的受试者的活动来说明SMPL + H.该配件完全自动,并导致全身型号,自然地移动详细的手动运动和在全身性能捕获之前未见的现实主义。模型和数据在我们的网站上自由用于研究目的(http://mano.is.tue.mpg.de)。
translated by 谷歌翻译
我们通过同步在点云上定义的学习函数的地图同步地图来共同寄存多种非刚性形状的新方法。尽管处理非刚性形状的能力在从计算机动画到3D数字化的各种应用中都是至关重要的,但文献仍然缺乏围绕闭塞观察到的真实,嘈杂的扫描的集合的稳健和灵活的框架。给定一组这样的点云,我们的方法首先计算通过功能映射参数化的成对对应关系。我们同时学习潜在的非正交基础函数,以有效地规范变形,同时以优雅的方式处理闭塞。为了最大限度地受益于推断成对变形字段提供的多向信息,我们通过我们的新颖和原则优化配方将成对功能映射与周期一致的整体同步。我们通过广泛的实验证明了我们的方法在注册准确性中实现了最先进的性能,同时可以灵活,高效,因为我们在统一框架中处理非刚性和多体案例并避免昂贵的优化优化通过使用基函数映射的置换。
translated by 谷歌翻译
近年来,由于其表达力和灵活性,神经隐式表示在3D重建中获得了普及。然而,神经隐式表示的隐式性质导致缓慢的推理时间并且需要仔细初始化。在本文中,我们重新审视经典且无处不在的点云表示,并使用泊松表面重建(PSR)的可分辨率配方引入可分化的点对网格层,其允许给予定向的GPU加速的指示灯的快速解决方案点云。可微分的PSR层允许我们通过隐式指示器字段有效地和分散地桥接与3D网格的显式3D点表示,从而实现诸如倒角距离的表面重建度量的端到端优化。因此,点和网格之间的这种二元性允许我们以面向点云表示形状,这是显式,轻量级和富有表现力的。与神经内隐式表示相比,我们的形状 - 点(SAP)模型更具可解释,轻量级,并通过一个级别加速推理时间。与其他显式表示相比,如点,补丁和网格,SA​​P产生拓扑无关的水密歧管表面。我们展示了SAP对无知点云和基于学习的重建的表面重建任务的有效性。
translated by 谷歌翻译
从杂乱场景跟踪和重建3D对象是计算机视觉,机器人和自主驾驶系统的关键组件。虽然最近隐含功能的进展(例如,Deepsdf)已经显示出令人鼓舞的高质量3D形状重建结果,但仍然非常具有挑战性,以概括为杂乱和部分可观察的LIDAR数据。在本文中,我们建议利用视频数据的连续性。我们介绍了一种新颖和统一的框架,它利用DeepsDF模型来同时跟踪和重建野外的3D对象。我们在线调整视频中的DeepsDF模型,迭代改善形状重建,同时在返回改进跟踪时,反之亦然。我们试验Waymo和Kitti数据集,并对跟踪和形状重建的最先进方法显着改进。
translated by 谷歌翻译
通过扫描真实世界对象或场景采集的3D点云人已经发现了广泛的应用,包括融入式远程呈现,自动驾驶,监视等。它们通常是由噪声扰动或由低密度,这妨碍下游的任务,如表面重建遭受和理解。在本文中,我们提出了点集的二次采样恢复,这获知会聚点朝向下方的表面的点云的连续梯度场的新型范例。特别是,我们表示经由其梯度场点云 - 对数概率密度函数的梯度,和执行梯度场是连续的,这样就保证了模型可解优化的连续性。基于经由提出的神经网络估计出的连续梯度场,重新采样点云量对输入噪声或稀疏的点云执行基于梯度的马尔可夫链蒙特卡洛(MCMC)。此外,我们提出了点云恢复,基本上迭代地细化中间重采样点云,并在重采样过程容纳各种先验期间引入正则化到基于梯度的MCMC。大量的实验结果表明,该点集重采样实现了代表恢复工作,包括点云去噪和采样的国家的最先进的性能。
translated by 谷歌翻译
最近对隐含形状表示的兴趣日益增长。与明确的陈述相反,他们没有解决局限性,他们很容易处理各种各样的表面拓扑。为了了解这些隐式表示,电流方法依赖于一定程度的形状监督(例如,内部/外部信息或距离形状知识),或者至少需要密集点云(以近似距离 - 到 - 到 - 形状)。相比之下,我们介绍{\方法},一种用于学习形状表示的自我监督方法,从可能极其稀疏的点云。就像在水牛的针问题一样,我们在点云上“掉落”(样本)针头,认为,静统计地靠近表面,针端点位于表面的相对侧。不需要形状知识,点云可以高稀疏,例如,作为车辆获取的Lidar点云。以前的自我监督形状表示方法未能在这种数据上产生良好的结果。我们获得定量结果与现有的形状重建数据集上现有的监督方法标准,并在Kitti等硬自动驾驶数据集中显示有前途的定性结果。
translated by 谷歌翻译
我们呈现Hipnet,一个在许多姿势的多个科目上培训的神经隐式姿势网络。HIPNET可以从姿势特定的细节中解散特定主题细节,有效地使我们能够从一个受试者到另一个受试者的retrarget运动,或通过潜在空间插值在关键帧之间设置动画。为此,我们采用基于分层的基于骨架的表示,以便在规范的未浮现空间上学习符号距离功能。这种基于联合的分解使我们能够代表本地围绕身体关节周围的空间的细微细节。与以前的神经隐式方法不同,需要基础真实SDF进行培训,我们的模型我们只需要一个构成的骨架和点云进行培训,我们没有对传统的参数模型或传统的剥皮方法的依赖。我们在各种单一主题和多主题基准上实现最先进的结果。
translated by 谷歌翻译
这项工作调查了鲁棒优化运输(OT)的形状匹配。具体而言,我们表明最近的OT溶解器改善了基于优化和深度学习方法的点云登记,以实惠的计算成本提高了准确性。此手稿从现代OT理论的实际概述开始。然后,我们为使用此框架进行形状匹配的主要困难提供解决方案。最后,我们展示了在广泛的具有挑战性任务上的运输增强的注册模型的性能:部分形状的刚性注册;基蒂数据集的场景流程估计;肺血管树的非参数和肺部血管树。我们基于OT的方法在准确性和可扩展性方面实现了基蒂的最先进的结果,并为挑战性的肺登记任务。我们还释放了PVT1010,这是一个新的公共数据集,1,010对肺血管树,具有密集的采样点。此数据集提供了具有高度复杂形状和变形的点云登记算法的具有挑战性用例。我们的工作表明,强大的OT可以为各种注册模型进行快速预订和微调,从而为计算机视觉工具箱提供新的键方法。我们的代码和数据集可在线提供:https://github.com/uncbiag/robot。
translated by 谷歌翻译
基于学习的3D点云注册的任务已经取得了很大的进展,即使在部分到部分匹配方案中,现有方法也在ModelNET40等标准基准上产生未完成的结果。不幸的是,这些方法仍然在实际数据存在下挣扎。在这项工作中,我们确定了这些失败的来源,分析了它们背后的原因,并提出解决它们的解决方案。我们将我们的调查结果总结为一系列准则,并通过将它们应用于不同的基线方法,DCP和IDAM来证明其有效性。简而言之,我们的指导方针改善了它们的培训融合和测试准确性。最终,这转换为最佳实践的3D注册网络(BPNET),构成了一种能够在真实数据中处理先前未经操作的基于学习的方法。尽管仅对合成数据进行培训,但我们的模型将推广到实际数据,而无需任何微调,达到使用商业传感器获得的看不见物体的点云达到高达67%的准确性。
translated by 谷歌翻译
3D手形状和姿势估计从单一深度地图是一种新的和具有挑战性的计算机视觉问题,具有许多应用。现有方法通过2D卷积神经网络直接回归手网,这导致由于图像中的透视失真导致人工制品。为了解决现有方法的局限性,我们开发HandvoxNet ++,即基于体素的深网络,其3D和图形卷轴以完全监督的方式训练。对我们网络的输入是基于截短的符号距离函数(TSDF)的3D Voxelized-Depth-Map。 handvoxnet ++依赖于两只手形状表示。第一个是手工形状的3D体蛋白化网格,它不保留网状拓扑,这是最准确的表示。第二个表示是保留网状拓扑的手表面。我们通过用基于新的神经图卷曲的网格登记(GCN-Meshreg)或典型的段 - 明智的非刚性重力方法(NRGA ++)来将手表面与Voxelized手形状对齐,通过将手表面对准依靠培训数据。在三个公共基准的广泛评估中,即Synhand5M,基于深度的Hands19挑战和HO-3D,所提出的Handvoxnet ++实现了最先进的性能。在本杂志中,我们在CVPR 2020呈现的先前方法的延伸中,我们分别在Synhand5M和17分数据集上获得41.09%和13.7%的形状对准精度。我们的方法在2020年8月将结果提交到门户网站时,首先在Hands19挑战数据集(任务1:基于深度3D手姿势估计)上排名。
translated by 谷歌翻译
为了使3D人的头像广泛可用,我们必须能够在任意姿势中产生各种具有不同身份和形状的多种3D虚拟人。由于衣服的身体形状,复杂的关节和由此产生的丰富,随机几何细节,这项任务是挑战的挑战。因此,目前代表3D人的方法不提供服装中的人的全部生成模型。在本文中,我们提出了一种新的方法,这些方法可以学习在具有相应的剥皮重量的各种衣服中产生详细的3D形状。具体而言,我们设计了一个多主题前进的剥皮模块,这些模块只有几个受试者的未预装扫描。为了捕获服装中高频细节的随机性,我们利用对抗的侵害制定,鼓励模型捕获潜在统计数据。我们提供了经验证据,这导致了皱纹的局部细节的现实生成。我们表明我们的模型能够产生佩戴各种和详细的衣服的自然人头像。此外,我们表明我们的方法可以用于拟合人类模型到原始扫描的任务,优于以前的最先进。
translated by 谷歌翻译
我们建议使用像素对齐的局部图像特征来改进基于人类形状的基于人体形状和姿势估计的方法和姿势估计。给定单个输入彩色图像,现有的图形卷积网络(GCN)用于人类形状和姿势估计的技术使用单个卷积神经网络(CNN)生成的全局图像特征,同样地附加到所有网眼顶点以初始化GCN级,其变换α模板T型网格到目标姿势。相比之下,我们首次提出了每个顶点使用本地图像特征的想法。通过利用用密集产生的像素对应的对应,从CNN图像特征映射中采样这些特征。我们对标准基准的定量和定性结果表明,使用当地特征可以改善全球性,并导致关于最先进的竞争性表演。
translated by 谷歌翻译
通常,非刚性登记的问题是匹配在两个不同点拍摄的动态对象的两个不同扫描。这些扫描可以进行刚性动作和非刚性变形。由于模型的新部分可能进入视图,而其他部件在两个扫描之间堵塞,则重叠区域是两个扫描的子集。在最常规的设置中,没有给出先前的模板形状,并且没有可用的标记或显式特征点对应关系。因此,这种情况是局部匹配问题,其考虑了随后的扫描在具有大量重叠区域的情况下进行的扫描经历的假设[28]。本文在环境中寻址的问题是同时在环境中映射变形对象和本地化摄像机。
translated by 谷歌翻译
神经隐式表面表示作为有希望以连续和独立的方式捕获3D形状的承诺范式。然而,将它们适应铰接形状是非微不足道的。现有方法学习落后的扭曲领域,即地图变形到规范点。然而,这是有问题的,因为后向扭曲字段依赖于姿势,因此需要大量数据来学习。为了解决这个问题,我们通过学习前向变形领域而没有直接监督,将多边形网格与神经隐式表面的线性混合皮肤(LBS)的优势相结合的Snarf。该变形场在规范,姿势独立的空间中定义,允许概括地看不见。学习从姿势网格中的变形字段独立地是具有挑战性,因为变形点的对应关系被隐含地定义,并且在拓扑的变化下可能不是唯一的。我们提出了一种前瞻性的剥皮模型,使用迭代根发现,找到任何变形点的所有规范对应关系。我们通过隐式差分派生分析梯度,从而实现从3D网格与骨骼变换的端到端训练。与最先进的神经隐式表示相比,我们的方法在保持准确性的同时,我们的方法更好地展示了未经造成的姿势。我们展示了我们在多样化和看不见的姿态上挑战(披装)3D人类的具有挑战性的方法。
translated by 谷歌翻译