表示为深度学习近似的隐式功能对于重建3D表面是强大的。然而，它们只能产生不可控制的静态表面，这提供了通过编辑其姿势或形状参数来修改所得模型的有限能力。尽管如此，这些功能对于构建计算机图形和计算机视觉的灵活模型至关重要。在这项工作中，我们呈现了结合丰富的隐式功能和参数表示的方法，以重建即使在衣服的存在下也能够控制和准确的人的3D模型。给定稀疏的3D点云在衣服的人的表面上采样，我们使用隐式零件网络（IP-Net）共同预测穿衣服的人，内部主体表面的外3D表面，以及对参数的语义对应身体模型。我们随后使用对应关系将主体模型适合于我们的内表面，然后在外表面上非刚性地变形（在参数体+位移模型下），以捕获服装，面部和头发细节。在全身数据和手中的定量和定性实验中，我们表明所提出的方法概括，甚至给出了从单视图深度图像收集的不完整点云。我们的模型和代码可以从http://virtualhumans.mpi-inf.mpg.de/ipnet下载。

With the advent of deep neural networks, learning-based approaches for 3D reconstruction have gained popularity. However, unlike for images, in 3D there is no canonical representation which is both computationally and memory efficient yet allows for representing high-resolution geometry of arbitrary topology. Many of the state-of-the-art learningbased 3D reconstruction approaches can hence only represent very coarse 3D geometry or are limited to a restricted domain. In this paper, we propose Occupancy Networks, a new representation for learning-based 3D reconstruction methods. Occupancy networks implicitly represent the 3D surface as the continuous decision boundary of a deep neural network classifier. In contrast to existing approaches, our representation encodes a description of the 3D output at infinite resolution without excessive memory footprint. We validate that our representation can efficiently encode 3D structure and can be inferred from various kinds of input. Our experiments demonstrate competitive results, both qualitatively and quantitatively, for the challenging tasks of 3D reconstruction from single images, noisy point clouds and coarse discrete voxel grids. We believe that occupancy networks will become a useful tool in a wide variety of learning-based 3D tasks.

Recently, implicit neural representations have gained popularity for learning-based 3D reconstruction. While demonstrating promising results, most implicit approaches are limited to comparably simple geometry of single objects and do not scale to more complicated or large-scale scenes. The key limiting factor of implicit methods is their simple fullyconnected network architecture which does not allow for integrating local information in the observations or incorporating inductive biases such as translational equivariance. In this paper, we propose Convolutional Occupancy Networks, a more flexible implicit representation for detailed reconstruction of objects and 3D scenes. By combining convolutional encoders with implicit occupancy decoders, our model incorporates inductive biases, enabling structured reasoning in 3D space. We investigate the effectiveness of the proposed representation by reconstructing complex geometry from noisy point clouds and low-resolution voxel representations. We empirically find that our method enables the fine-grained implicit 3D reconstruction of single objects, scales to large indoor scenes, and generalizes well from synthetic to real data.

神经隐式功能的最新发展已在高质量的3D形状重建方面表现出巨大的成功。但是，大多数作品将空间分为形状的内部和外部，从而将其代表力量限制为单层和水密形状。这种局限性导致乏味的数据处理（将非紧密的原始数据转换为水密度），以及代表现实世界中一般对象形状的无能。在这项工作中，我们提出了一种新颖的方法来表示一般形状，包括具有多层表面的非水平形状和形状。我们介绍了3D形状（GIF）的一般隐式函数，该功能建模了每两个点之间的关系，而不是点和表面之间的关系。 GIF没有将3D空间分为预定义的内部区域，而是编码是否将两个点分开。 Shapenet上的实验表明，在重建质量，渲染效率和视觉保真度方面，GIF的表现优于先前的最先进方法。项目页面可从https://jianglongye.com/gifs获得。

Figure 1. This paper introduces Local Deep Implicit Functions, a 3D shape representation that decomposes an input shape (mesh on left in every triplet) into a structured set of shape elements (colored ellipses on right) whose contributions to an implicit surface reconstruction (middle) are represented by latent vectors decoded by a deep network. Project video and website at ldif.cs.princeton.edu.

This work introduces alternating latent topologies (ALTO) for high-fidelity reconstruction of implicit 3D surfaces from noisy point clouds. Previous work identifies that the spatial arrangement of latent encodings is important to recover detail. One school of thought is to encode a latent vector for each point (point latents). Another school of thought is to project point latents into a grid (grid latents) which could be a voxel grid or triplane grid. Each school of thought has tradeoffs. Grid latents are coarse and lose high-frequency detail. In contrast, point latents preserve detail. However, point latents are more difficult to decode into a surface, and quality and runtime suffer. In this paper, we propose ALTO to sequentially alternate between geometric representations, before converging to an easy-to-decode latent. We find that this preserves spatial expressiveness and makes decoding lightweight. We validate ALTO on implicit 3D recovery and observe not only a performance improvement over the state-of-the-art, but a runtime improvement of 3-10$\times$. Project website at https://visual.ee.ucla.edu/alto.htm/.

隐式神经网络已成功用于点云的表面重建。然而，它们中的许多人面临着可扩展性问题，因为它们将整个对象或场景的异构面功能编码为单个潜在载体。为了克服这种限制，一些方法在粗略普通的3D网格或3D补丁上推断潜伏向量，并将它们插入以应对占用查询。在这样做时，它们可以与对象表面上采样的输入点进行直接连接，并且它们在空间中均匀地附加信息，而不是其最重要的信息，即在表面附近。此外，依赖于固定的补丁大小可能需要离散化调整。要解决这些问题，我们建议使用点云卷积并计算每个输入点的潜伏向量。然后，我们使用推断的权重在最近的邻居上执行基于学习的插值。对象和场景数据集的实验表明，我们的方法在大多数古典指标上显着优于其他方法，产生更精细的细节和更好的重建更薄的卷。代码可在https://github.com/valeoai/poco获得。

Our method completes a partial 3D scan using a 3D Encoder-Predictor network that leverages semantic features from a 3D classification network. The predictions are correlated with a shape database, which we use in a multi-resolution 3D shape synthesis step. We obtain completed high-resolution meshes that are inferred from partial, low-resolution input scans.

在视觉计算中，3D几何形状以许多不同的形式表示，包括网格，点云，体素电网，水平集和深度图像。每个表示都适用于不同的任务，从而使一个表示形式转换为另一个表示（前向地图）是一个重要且常见的问题。我们提出了全向距离字段（ODF），这是一种新的3D形状表示形式，该表示通过将深度从任何观看方向从任何3D位置存储到对象的表面来编码几何形状。由于射线是ODF的基本单元，因此可以轻松地从通用的3D表示和点云等常见的3D表示。与限制代表封闭表面的水平集方法不同，ODF是未签名的，因此可以对开放表面进行建模（例如服装）。我们证明，尽管在遮挡边界处存在固有的不连续性，但可以通过神经网络（Neururodf）有效地学习ODF。我们还引入了有效的前向映射算法，以转换odf to＆从常见的3D表示。具体而言，我们引入了一种有效的跳跃立方体算法，用于从ODF生成网格。实验表明，神经模型可以通过过度拟合单个对象学会学会捕获高质量的形状，并学会概括对共同的形状类别。

最近对隐含形状表示的兴趣日益增长。与明确的陈述相反，他们没有解决局限性，他们很容易处理各种各样的表面拓扑。为了了解这些隐式表示，电流方法依赖于一定程度的形状监督（例如，内部/外部信息或距离形状知识），或者至少需要密集点云（以近似距离 - 到 - 到 - 形状）。相比之下，我们介绍{\方法}，一种用于学习形状表示的自我监督方法，从可能极其稀疏的点云。就像在水牛的针问题一样，我们在点云上“掉落”（样本）针头，认为，静统计地靠近表面，针端点位于表面的相对侧。不需要形状知识，点云可以高稀疏，例如，作为车辆获取的Lidar点云。以前的自我监督形状表示方法未能在这种数据上产生良好的结果。我们获得定量结果与现有的形状重建数据集上现有的监督方法标准，并在Kitti等硬自动驾驶数据集中显示有前途的定性结果。

4D隐式表示中的最新进展集中在全球控制形状和运动的情况下，低维潜在向量，这很容易缺少表面细节和累积跟踪误差。尽管许多深层的本地表示显示了3D形状建模的有希望的结果，但它们的4D对应物尚不存在。在本文中，我们通过提出一个新颖的局部4D隐性代表来填补这一空白，以动态穿衣人，名为Lord，具有4D人类建模和局部代表的优点，并实现具有详细的表面变形的高保真重建，例如衣服皱纹。特别是，我们的主要见解是鼓励网络学习本地零件级表示的潜在代码，能够解释本地几何形状和时间变形。为了在测试时间进行推断，我们首先估计内部骨架运动在每个时间步中跟踪本地零件，然后根据不同类型的观察到的数据通过自动编码来优化每个部分的潜在代码。广泛的实验表明，该提出的方法具有强大的代表4D人类的能力，并且在实际应用上胜过最先进的方法，包括从稀疏点，非刚性深度融合（质量和定量）进行的4D重建。

从单视图重建3D形状是一个长期的研究问题。在本文中，我们展示了深度隐式地面网络，其可以通过预测底层符号距离场来从2D图像产生高质量的细节的3D网格。除了利用全局图像特征之外，禁止2D图像上的每个3D点的投影位置，并从图像特征映射中提取本地特征。结合全球和局部特征显着提高了符合距离场预测的准确性，特别是对于富含细节的区域。据我们所知，伪装是一种不断捕获从单视图图像中存在于3D形状中存在的孔和薄结构等细节的方法。 Disn在从合成和真实图像重建的各种形状类别上实现最先进的单视性重建性能。代码可在https://github.com/xharlie/disn提供补充可以在https://xharlie.github.io/images/neUrips_2019_Supp.pdf中找到补充

场景完成是从场景的部分扫描中完成缺失几何形状的任务。大多数以前的方法使用3D网格上的截断签名距离函数（T-SDF）计算出隐式表示，作为神经网络的输入。截断限制，但不会删除由非关闭表面符号引入的模棱两可的案例。作为替代方案，我们提出了一个未签名的距离函数（UDF），称为未签名的加权欧几里得距离（UWED）作为场景完成神经网络的输入表示。 UWED作为几何表示是简单而有效的，并且可以在任何点云上计算，而与通常的签名距离函数（SDF）相比，UWED不需要正常的计算。为了获得明确的几何形状，我们提出了一种从常规网格上离散的UDF值提取点云的方法。我们比较了从RGB-D和LIDAR传感器收集的室内和室外点云上的场景完成任务的不同SDF和UDFS，并使用建议的UWED功能显示了改进的完成。

Recent advances in image-based 3D human shape estimation have been driven by the significant improvement in representation power afforded by deep neural networks. Although current approaches have demonstrated the potential in real world settings, they still fail to produce reconstructions with the level of detail often present in the input images. We argue that this limitation stems primarily form two conflicting requirements; accurate predictions require large context, but precise predictions require high resolution. Due to memory limitations in current hardware, previous approaches tend to take low resolution images as input to cover large spatial context, and produce less precise (or low resolution) 3D estimates as a result. We address this limitation by formulating a multi-level architecture that is end-to-end trainable. A coarse level observes the whole image at lower resolution and focuses on holistic reasoning. This provides context to an fine level which estimates highly detailed geometry by observing higher-resolution images. We demonstrate that our approach significantly outperforms existing state-of-the-art techniques on single image human shape reconstruction by fully leveraging 1k-resolution input images.

Figure 1: DeepSDF represents signed distance functions (SDFs) of shapes via latent code-conditioned feed-forward decoder networks. Above images are raycast renderings of DeepSDF interpolating between two shapes in the learned shape latent space. Best viewed digitally.

我们基于最近普及的隐式神经形状表示，探索了从点云进行基于学习形状重建的新想法。我们将这个问题作为对特征空间中隐式神经签名距离函数的几次学习，我们使用基于梯度的元学习来处理。我们使用卷积编码器在给定输入点云的情况下构建特征空间。隐式解码器学会了预测此特征空间中表示的签名距离值。设置输入点云，即从目标形状函数的零级别设置中的样本，作为支持（即上下文）的少数学习术语的支持（即上下文），我们训练解码器，以便它可以通过使用该上下文的基础形状使其重新调整。几（5）个调整步骤。因此，我们首次同时结合了两种类型的隐式神经网络调节机制，即具有编码和元学习。我们的数值和定性评估表明，在稀疏点云中隐性重建的背景下，我们提出的策略，即在特征空间中的元学习，优于现有的替代方案，即特征空间中的标准监督学习，以及在欧几里得空间中的元学习。 ，同时仍提供快速推理。

Intelligent mesh generation (IMG) refers to a technique to generate mesh by machine learning, which is a relatively new and promising research field. Within its short life span, IMG has greatly expanded the generalizability and practicality of mesh generation techniques and brought many breakthroughs and potential possibilities for mesh generation. However, there is a lack of surveys focusing on IMG methods covering recent works. In this paper, we are committed to a systematic and comprehensive survey describing the contemporary IMG landscape. Focusing on 110 preliminary IMG methods, we conducted an in-depth analysis and evaluation from multiple perspectives, including the core technique and application scope of the algorithm, agent learning goals, data types, targeting challenges, advantages and limitations. With the aim of literature collection and classification based on content extraction, we propose three different taxonomies from three views of key technique, output mesh unit element, and applicable input data types. Finally, we highlight some promising future research directions and challenges in IMG. To maximize the convenience of readers, a project page of IMG is provided at \url{https://github.com/xzb030/IMG_Survey}.

最近，数据驱动的单视图重建方法在建模3D穿着人类中表现出很大的进展。然而，这种方法严重影响了单视图输入所固有的深度模糊和闭塞。在本文中，我们通过考虑一小部分输入视图并调查从这些视图中适当利用信息的最佳策略来解决这个问题。我们提出了一种数据驱动的端到端方法，其从稀疏相机视图重建穿着人的人类的隐式3D表示。具体而言，我们介绍了三个关键组件：首先是使用透视相机模型的空间一致的重建，允许使用人员在输入视图中的任意放置;第二个基于关注的融合层，用于从多个观点来看聚合视觉信息;第三种机制在多视图上下文下编码本地3D模式。在实验中，我们展示了所提出的方法优于定量和定性地在标准数据上表达现有技术。为了展示空间一致的重建，我们将我们的方法应用于动态场景。此外，我们在使用多摄像头平台获取的真实数据上应用我们的方法，并证明我们的方法可以获得与多视图立体声相当的结果，从而迅速更少的视图。