从\ emph {nocedended}点云中重建3D几何形状可以使许多下游任务受益。最近的方法主要采用神经网络的神经形状表示，以代表签名的距离字段，并通过无签名的监督适应点云。但是，我们观察到，使用未签名的监督可能会导致严重的歧义，并且通常会导致\ emph {意外}故障，例如在重建复杂的结构并与重建准确的表面斗争时，在自由空间中产生不希望的表面。为了重建一个更好的距离距离场，我们提出了半签名的神经拟合（SSN拟合），该神经拟合（SSN拟合）由半签名的监督和基于损失的区域采样策略组成。我们的关键见解是，签名的监督更具信息性，显然可以轻松确定对象之外的区域。同时，提出了一种新颖的重要性抽样，以加速优化并更好地重建细节。具体而言，我们将对象空间弹并分配到\ emph {sign-newand}和\ emph {sign-unawern}区域，其中应用了不同的监督。此外，我们根据跟踪的重建损失自适应地调整每个体素的采样率，以便网络可以更多地关注复杂的拟合不足区域。我们进行了广泛的实验，以证明SSN拟合在多个数据集的不同设置下实现最新性能，包括清洁，密度变化和嘈杂的数据。

从嘈杂，不均匀和无知点云中的表面重建是计算机视觉和图形中的一个令人迷人但具有挑战性的问题。随着3D扫描技术的创新，强烈希望直接转换原始扫描数据，通常具有严重噪声，进入歧管三角网格。现有的基于学习的方法旨在学习零级曲面对底层形状进行的隐式功能。然而，大多数人都无法获得嘈杂和稀疏点云的理想结果，限制在实践中。在本文中，我们介绍了神经IML，一种新的方法，它直接从未引起的原始点云学习抗噪声符号距离功能（SDF）。通过最大限度地减少由隐式移动最小二乘函数获得的损耗，我们的方法通过最小化了自我监督的方式，从原始点云中从原始点云中的底层SDF，而不是明确地学习前提。 （IML）和我们的神经网络另一个，我们的预测器的梯度定义了便于计算IML的切线束。我们证明，当几个SDFS重合时，我们的神经网络可以预测符号隐式功能，其零电平集用作底层表面的良好近似。我们对各种基准进行广泛的实验，包括合成扫描和现实世界扫描，以表现出从各种投入重建忠实形状的能力，特别是对于具有噪音或间隙的点云。

近年来，由于其表达力和灵活性，神经隐式表示在3D重建中获得了普及。然而，神经隐式表示的隐式性质导致缓慢的推理时间并且需要仔细初始化。在本文中，我们重新审视经典且无处不在的点云表示，并使用泊松表面重建（PSR）的可分辨率配方引入可分化的点对网格层，其允许给予定向的GPU加速的指示灯的快速解决方案点云。可微分的PSR层允许我们通过隐式指示器字段有效地和分散地桥接与3D网格的显式3D点表示，从而实现诸如倒角距离的表面重建度量的端到端优化。因此，点和网格之间的这种二元性允许我们以面向点云表示形状，这是显式，轻量级和富有表现力的。与神经内隐式表示相比，我们的形状 - 点（SAP）模型更具可解释，轻量级，并通过一个级别加速推理时间。与其他显式表示相比，如点，补丁和网格，SA​​P产生拓扑无关的水密歧管表面。我们展示了SAP对无知点云和基于学习的重建的表面重建任务的有效性。

神经渲染可用于在没有3D监督的情况下重建形状的隐式表示。然而，当前的神经表面重建方法难以学习形状的高频细节，因此经常过度厚度地呈现重建形状。我们提出了一种新的方法来提高神经渲染中表面重建的质量。我们遵循最近的工作，将表面模型为签名的距离字段。首先，我们提供了一个派生，以分析签名的距离函数，体积密度，透明度函数和体积渲染方程中使用的加权函数之间的关系。其次，我们观察到，试图在单个签名的距离函数中共同编码高频和低频组件会导致不稳定的优化。我们建议在基本函数和位移函数中分解签名的距离函数以及粗到最新的策略，以逐渐增加高频细节。最后，我们建议使用一种自适应策略，使优化能够专注于改善签名距离场具有伪影的表面附近的某些区域。我们的定性和定量结果表明，我们的方法可以重建高频表面细节，并获得比目前的现状更好的表面重建质量。代码将在https://github.com/yiqun-wang/hfs上发布。

The recent neural implicit representation-based methods have greatly advanced the state of the art for solving the long-standing and challenging problem of reconstructing a discrete surface from a sparse point cloud. These methods generally learn either a binary occupancy or signed/unsigned distance field (SDF/UDF) as surface representation. However, all the existing SDF/UDF-based methods use neural networks to implicitly regress the distance in a purely data-driven manner, thus limiting the accuracy and generalizability to some extent. In contrast, we propose the first geometry-guided method for UDF and its gradient estimation that explicitly formulates the unsigned distance of a query point as the learnable affine averaging of its distances to the tangent planes of neighbouring points. Besides, we model the local geometric structure of the input point clouds by explicitly learning a quadratic polynomial for each point. This not only facilitates upsampling the input sparse point cloud but also naturally induces unoriented normal, which further augments UDF estimation. Finally, to extract triangle meshes from the predicted UDF we propose a customized edge-based marching cube module. We conduct extensive experiments and ablation studies to demonstrate the significant advantages of our method over state-of-the-art methods in terms of reconstruction accuracy, efficiency, and generalizability. The source code is publicly available at https://github.com/rsy6318/GeoUDF.

神经隐式功能最近显示了来自多个视图的表面重建的有希望的结果。但是，当重建无限或复杂的场景时，当前的方法仍然遭受过度复杂性和稳健性不佳。在本文中，我们介绍了RegSDF，这表明适当的点云监督和几何正规化足以产生高质量和健壮的重建结果。具体而言，RegSDF将额外的定向点云作为输入，并优化了可区分渲染框架内的签名距离字段和表面灯场。我们还介绍了这两个关键的正规化。第一个是在给定嘈杂和不完整输入的整个距离字段中平稳扩散签名距离值的Hessian正则化。第二个是最小的表面正则化，可紧凑并推断缺失的几何形状。大量实验是在DTU，BlendenDMV以及储罐和寺庙数据集上进行的。与最近的神经表面重建方法相比，RegSDF即使对于具有复杂拓扑和非结构化摄像头轨迹的开放场景，RegSDF也能够重建表面。

最近对隐含形状表示的兴趣日益增长。与明确的陈述相反，他们没有解决局限性，他们很容易处理各种各样的表面拓扑。为了了解这些隐式表示，电流方法依赖于一定程度的形状监督（例如，内部/外部信息或距离形状知识），或者至少需要密集点云（以近似距离 - 到 - 到 - 形状）。相比之下，我们介绍{\方法}，一种用于学习形状表示的自我监督方法，从可能极其稀疏的点云。就像在水牛的针问题一样，我们在点云上“掉落”（样本）针头，认为，静统计地靠近表面，针端点位于表面的相对侧。不需要形状知识，点云可以高稀疏，例如，作为车辆获取的Lidar点云。以前的自我监督形状表示方法未能在这种数据上产生良好的结果。我们获得定量结果与现有的形状重建数据集上现有的监督方法标准，并在Kitti等硬自动驾驶数据集中显示有前途的定性结果。

4D隐式表示中的最新进展集中在全球控制形状和运动的情况下，低维潜在向量，这很容易缺少表面细节和累积跟踪误差。尽管许多深层的本地表示显示了3D形状建模的有希望的结果，但它们的4D对应物尚不存在。在本文中，我们通过提出一个新颖的局部4D隐性代表来填补这一空白，以动态穿衣人，名为Lord，具有4D人类建模和局部代表的优点，并实现具有详细的表面变形的高保真重建，例如衣服皱纹。特别是，我们的主要见解是鼓励网络学习本地零件级表示的潜在代码，能够解释本地几何形状和时间变形。为了在测试时间进行推断，我们首先估计内部骨架运动在每个时间步中跟踪本地零件，然后根据不同类型的观察到的数据通过自动编码来优化每个部分的潜在代码。广泛的实验表明，该提出的方法具有强大的代表4D人类的能力，并且在实际应用上胜过最先进的方法，包括从稀疏点，非刚性深度融合（质量和定量）进行的4D重建。

表面重建是3D图形的基本问题。在本文中，我们提出了一种基于学习的基于云层云层的隐式表面重建的方法，没有正常。我们的方法是在潜在的能源理论中受到高斯引理的启发，这为指标功能提供了明确的整体公式。我们设计一个新颖的深神经网络，以执行表面积分，并从未定向和嘈杂的点云学习修改的指示灯。我们连接具有不同尺度的特征，以便准确地对整数的贡献。此外，我们提出了一种新颖的表面元件特征提取器来学习局部形状特性。实验表明，我们的方法从具有不同噪声尺度的点云的点云产生具有高正常一致性的平滑表面，并与当前的数据驱动和非数据驱动的方法相比，实现了最先进的重建性能。

我们介绍DMTET，深度3D条件生成模型，可以使用诸如粗体素的简单用户指南来合成高分辨率3D形状。它通过利用新型混合3D表示来结婚隐式和显式3D表示的优点。与当前隐含的方法相比，培训涉及符号距离值，DMTET直接针对重建的表面进行了优化，这使我们能够用更少的伪像来合成更精细的几何细节。与直接生成诸如网格之类的显式表示的深度3D生成模型不同，我们的模型可以合成具有任意拓扑的形状。 DMTET的核心包括可变形的四面体网格，其编码离散的符号距离函数和可分行的行进Tetrahedra层，其将隐式符号距离表示转换为显式谱图表示。这种组合允许使用在表面网格上明确定义的重建和对抗性损耗来联合优化表面几何形状和拓扑以及生成细分层次结构。我们的方法显着优于来自粗体素输入的条件形状合成的现有工作，培训在复杂的3D动物形状的数据集上。项目页面：https://nv-tlabs.github.io/dmtet/

最近的工作建模3D开放表面培训深度神经网络以近似无符号距离字段（UDF）并隐含地代表形状。要将此表示转换为显式网格，它们要么使用计算上昂贵的方法来对表面的致密点云采样啮合，或者通过将其膨胀到符号距离字段（SDF）中来扭曲表面。相比之下，我们建议直接将深度UDFS直接以延伸行进立方体的开放表面，通过本地检测表面交叉。我们的方法是幅度的序列，比啮合致密点云，比膨胀开口表面更准确。此外，我们使我们的表面提取可微分，并显示它可以帮助稀疏监控信号。

Figure 1: DeepSDF represents signed distance functions (SDFs) of shapes via latent code-conditioned feed-forward decoder networks. Above images are raycast renderings of DeepSDF interpolating between two shapes in the learned shape latent space. Best viewed digitally.

深层隐式功能在各种3D计算机视觉任务中显示出显着的形状建模能力。一个缺点是，他们很难将3D形状表示为多个部分。当前的解决方案学习了各种原语，并直接在空间空间中融合了原语，这些原始物仍难以准确近似3D形状。为了解决这个问题，我们引入了一种新颖的隐式表示，以将单个3D形状表示为潜在空间中的一组零件，以高度准确和可解释的形状建模。我们在这里的洞察力是，在潜在空间中，零件学习和零件混合都比在空间空间中容易得多。我们将我们的方法命名为潜在分区隐式（LPI），因为它可以将全局形状建模施放到多个局部零件建模中，从而将全局形状统一分开。 LPI使用表面代码表示形状作为签名距离函数（SDF）。每个表面代码都是一个潜在代码，代表中心位于表面上的部分，这使我们能够灵活采用形状的内在属性或其他表面属性。最终，LPI可以重建形状和形状上的部分，它们都是合理的网格。 LPI是一种多级表示，可以在训练后将形状划分为不同数量的零件。可以在没有地面真相签名的距离，点正常或任何部分分区监督的情况下学习LPI。从重建精度和建模可解释性方面，LPI的表现优于广泛使用基准下的最新方法。我们的代码，数据和模型可在https://github.com/chenchao15/lpi上获得。

We propose a differentiable sphere tracing algorithm to bridge the gap between inverse graphics methods and the recently proposed deep learning based implicit signed distance function. Due to the nature of the implicit function, the rendering process requires tremendous function queries, which is particularly problematic when the function is represented as a neural network. We optimize both the forward and backward passes of our rendering layer to make it run efficiently with affordable memory consumption on a commodity graphics card. Our rendering method is fully differentiable such that losses can be directly computed on the rendered 2D observations, and the gradients can be propagated backwards to optimize the 3D geometry. We show that our rendering method can effectively reconstruct accurate 3D shapes from various inputs, such as sparse depth and multi-view images, through inverse optimization. With the geometry based reasoning, our 3D shape prediction methods show excellent generalization capability and robustness against various noises. * Work done while Shaohui Liu was an academic guest at ETH Zurich.

在视觉计算中，3D几何形状以许多不同的形式表示，包括网格，点云，体素电网，水平集和深度图像。每个表示都适用于不同的任务，从而使一个表示形式转换为另一个表示（前向地图）是一个重要且常见的问题。我们提出了全向距离字段（ODF），这是一种新的3D形状表示形式，该表示通过将深度从任何观看方向从任何3D位置存储到对象的表面来编码几何形状。由于射线是ODF的基本单元，因此可以轻松地从通用的3D表示和点云等常见的3D表示。与限制代表封闭表面的水平集方法不同，ODF是未签名的，因此可以对开放表面进行建模（例如服装）。我们证明，尽管在遮挡边界处存在固有的不连续性，但可以通过神经网络（Neururodf）有效地学习ODF。我们还引入了有效的前向映射算法，以转换odf to＆从常见的3D表示。具体而言，我们引入了一种有效的跳跃立方体算法，用于从ODF生成网格。实验表明，神经模型可以通过过度拟合单个对象学会学会捕获高质量的形状，并学会概括对共同的形状类别。

虚拟内容创建和互动在现代3D应用中起着重要作用，例如AR和VR。从真实场景中恢复详细的3D模型可以显着扩大其应用程序的范围，并在计算机视觉和计算机图形社区中进行了数十年的研究。我们提出了基于体素的隐式表面表示Vox-Surf。我们的Vox-Surf将空间分为有限的体素。每个体素将几何形状和外观信息存储在其角顶点。 Vox-Surf得益于从体素表示继承的稀疏性，几乎适用于任何情况，并且可以轻松地从多个视图图像中训练。我们利用渐进式训练程序逐渐提取重要体素，以进一步优化，以便仅保留有效的体素，从而大大减少了采样点的数量并增加了渲染速度。细素还可以视为碰撞检测的边界量。该实验表明，与其他方法相比，Vox-Surf表示可以学习精致的表面细节和准确的颜色，并以更少的记忆力和更快的渲染速度来学习。我们还表明，Vox-Surf在场景编辑和AR应用中可能更实用。

Implicit fields have been very effective to represent and learn 3D shapes accurately. Signed distance fields and occupancy fields are the preferred representations, both with well-studied properties, despite their restriction to closed surfaces. Several other variations and training principles have been proposed with the goal to represent all classes of shapes. In this paper, we develop a novel and yet fundamental representation by considering the unit vector field defined on 3D space: at each point in $\mathbb{R}^3$ the vector points to the closest point on the surface. We theoretically demonstrate that this vector field can be easily transformed to surface density by applying the vector field divergence. Unlike other standard representations, it directly encodes an important physical property of the surface, which is the surface normal. We further show the advantages of our vector field representation, specifically in learning general (open, closed, or multi-layered) surfaces as well as piecewise planar surfaces. We compare our method on several datasets including ShapeNet where the proposed new neural implicit field shows superior accuracy in representing any type of shape, outperforming other standard methods. The code will be released at https://github.com/edomel/ImplicitVF

Neural 3D implicit representations learn priors that are useful for diverse applications, such as single- or multiple-view 3D reconstruction. A major downside of existing approaches while rendering an image is that they require evaluating the network multiple times per camera ray so that the high computational time forms a bottleneck for downstream applications. We address this problem by introducing a novel neural scene representation that we call the directional distance function (DDF). To this end, we learn a signed distance function (SDF) along with our DDF model to represent a class of shapes. Specifically, our DDF is defined on the unit sphere and predicts the distance to the surface along any given direction. Therefore, our DDF allows rendering images with just a single network evaluation per camera ray. Based on our DDF, we present a novel fast algorithm (FIRe) to reconstruct 3D shapes given a posed depth map. We evaluate our proposed method on 3D reconstruction from single-view depth images, where we empirically show that our algorithm reconstructs 3D shapes more accurately and it is more than 15 times faster (per iteration) than competing methods.

神经隐式功能的最新发展已在高质量的3D形状重建方面表现出巨大的成功。但是，大多数作品将空间分为形状的内部和外部，从而将其代表力量限制为单层和水密形状。这种局限性导致乏味的数据处理（将非紧密的原始数据转换为水密度），以及代表现实世界中一般对象形状的无能。在这项工作中，我们提出了一种新颖的方法来表示一般形状，包括具有多层表面的非水平形状和形状。我们介绍了3D形状（GIF）的一般隐式函数，该功能建模了每两个点之间的关系，而不是点和表面之间的关系。 GIF没有将3D空间分为预定义的内部区域，而是编码是否将两个点分开。 Shapenet上的实验表明，在重建质量，渲染效率和视觉保真度方面，GIF的表现优于先前的最先进方法。项目页面可从https://jianglongye.com/gifs获得。