字体遍布文档普遍存在，有各种风格。它们以本机向量格式表示或光栅化以产生固定分辨率图像。在第一种情况下，非标准表示可防止受益于最新网络架构进行神经表示;虽然在后一种情况下，在通过网络编码时，光栅化表示导致数据保真度丢失，作为像边缘和角落的字体特定的不连续性难以使用神经网络代表。基于观察到复杂字体可以通过一组更简单的占用函数的叠加来表示，我们介绍\ texit {multi-inclicicits}以将字体表示为置换不变集的学习隐含功能，而不会丢失特征（例如，棱角）。然而，虽然多种含义本地保护字体特征，但以地面真理多通道信号的形式获得监控是本身的问题。相反，我们提出了如何只用本地监督培训这种表示，而建议的神经架构直接发现字体系列的全球一致的多型多种含义。我们广泛地评估了各种任务的建议代表，包括重建，插值和综合，以证明具有现有替代品的明显优势。另外，表示自然地启用字形完成，其中单个特征字体用于在目标样式中综合整个字体系列。

We propose a differentiable sphere tracing algorithm to bridge the gap between inverse graphics methods and the recently proposed deep learning based implicit signed distance function. Due to the nature of the implicit function, the rendering process requires tremendous function queries, which is particularly problematic when the function is represented as a neural network. We optimize both the forward and backward passes of our rendering layer to make it run efficiently with affordable memory consumption on a commodity graphics card. Our rendering method is fully differentiable such that losses can be directly computed on the rendered 2D observations, and the gradients can be propagated backwards to optimize the 3D geometry. We show that our rendering method can effectively reconstruct accurate 3D shapes from various inputs, such as sparse depth and multi-view images, through inverse optimization. With the geometry based reasoning, our 3D shape prediction methods show excellent generalization capability and robustness against various noises. * Work done while Shaohui Liu was an academic guest at ETH Zurich.

机器学习的最近进步已经创造了利用一类基于坐标的神经网络来解决视觉计算问题的兴趣，该基于坐标的神经网络在空间和时间跨空间和时间的场景或对象的物理属性。我们称之为神经领域的这些方法已经看到在3D形状和图像的合成中成功应用，人体的动画，3D重建和姿势估计。然而，由于在短时间内的快速进展，许多论文存在，但尚未出现全面的审查和制定问题。在本报告中，我们通过提供上下文，数学接地和对神经领域的文学进行广泛综述来解决这一限制。本报告涉及两种维度的研究。在第一部分中，我们通过识别神经字段方法的公共组件，包括不同的表示，架构，前向映射和泛化方法来专注于神经字段的技术。在第二部分中，我们专注于神经领域的应用在视觉计算中的不同问题，超越（例如，机器人，音频）。我们的评论显示了历史上和当前化身的视觉计算中已覆盖的主题的广度，展示了神经字段方法所带来的提高的质量，灵活性和能力。最后，我们展示了一个伴随着贡献本综述的生活版本，可以由社区不断更新。

从单视图重建3D形状是一个长期的研究问题。在本文中，我们展示了深度隐式地面网络，其可以通过预测底层符号距离场来从2D图像产生高质量的细节的3D网格。除了利用全局图像特征之外，禁止2D图像上的每个3D点的投影位置，并从图像特征映射中提取本地特征。结合全球和局部特征显着提高了符合距离场预测的准确性，特别是对于富含细节的区域。据我们所知，伪装是一种不断捕获从单视图图像中存在于3D形状中存在的孔和薄结构等细节的方法。 Disn在从合成和真实图像重建的各种形状类别上实现最先进的单视性重建性能。代码可在https://github.com/xharlie/disn提供补充可以在https://xharlie.github.io/images/neUrips_2019_Supp.pdf中找到补充

本地化隐式功能的最新进展使神经隐式表示能够可扩展到大型场景。然而，这些方法采用的3D空间的定期细分未能考虑到表面占用的稀疏性和几何细节的变化粒度。结果，其内存占地面积与输入体积均别较大，即使在适度密集的分解中也导致禁止的计算成本。在这项工作中，我们为3D表面，编码OCTFIELD提供了一种学习的分层隐式表示，允许具有低内存和计算预算的复杂曲面的高精度编码。我们方法的关键是仅在感兴趣的表面周围分发本地隐式功能的3D场景的自适应分解。我们通过引入分层Octree结构来实现这一目标，以根据表面占用和部件几何形状的丰富度自适应地细分3D空间。随着八十六是离散和不可分辨性的，我们进一步提出了一种新颖的等级网络，其模拟八偏细胞的细分作为概率的过程，并以可差的方式递归地编码和解码八叠结构和表面几何形状。我们展示了Octfield的一系列形状建模和重建任务的价值，显示出在替代方法方面的优越性。

Recent advances in deep learning techniques and applications have revolutionized artistic creation and manipulation in many domains (text, images, music); however, fonts have not yet been integrated with deep learning architectures in a manner that supports their multi-scale nature. In this work we aim to bridge this gap, proposing a network architecture capable of rasterizing glyphs in multiple sizes, potentially paving the way for easy and accessible creation and manipulation of fonts.

Figure 1: DeepSDF represents signed distance functions (SDFs) of shapes via latent code-conditioned feed-forward decoder networks. Above images are raycast renderings of DeepSDF interpolating between two shapes in the learned shape latent space. Best viewed digitally.

我们在2D和3D域中介绍了一个Unist，是通用，未配对的形状转换的第一深度神经隐式模型。我们的模型是在自动编码隐式字段上构建的，而不是表示最先进的点云。此外，我们的翻译网络受过培训，以在潜在的网格表示上执行任务，该任务结合了潜在空间处理和位置意识的优点，不仅能够实现剧烈形状变换，而且很好地保护空间特征和用于自然形状的优质局部细节翻译。使用相同的网络架构和仅由输入域对决定，我们的模型可以了解风格保留的内容改变和内容保留的样式传输。我们展示了翻译结果的一般性和质量，并将它们与众所周知的基线进行比较。

我们为3D形状生成（称为SDF-Stylegan）提供了一种基于stylegan2的深度学习方法，目的是降低生成形状和形状集合之间的视觉和几何差异。我们将stylegan2扩展到3D世代，并利用隐式签名的距离函数（SDF）作为3D形状表示，并引入了两个新颖的全球和局部形状鉴别器，它们区分了真实和假的SDF值和梯度，以显着提高形状的几何形状和视觉质量。我们进一步补充了基于阴影图像的FR \'Echet Inception距离（FID）分数的3D生成模型的评估指标，以更好地评估生成形状的视觉质量和形状分布。对形状生成的实验证明了SDF-Stylegan比最先进的表现出色。我们进一步证明了基于GAN倒置的各种任务中SDF-Stylegan的功效，包括形状重建，部分点云的形状完成，基于单图像的形状形状生成以及形状样式编辑。广泛的消融研究证明了我们框架设计的功效。我们的代码和训练有素的模型可在https://github.com/zhengxinyang/sdf-stylegan上找到。

We present a novel method to provide efficient and highly detailed reconstructions. Inspired by wavelets, our main idea is to learn a neural field that decompose the signal both spatially and frequency-wise. We follow the recent grid-based paradigm for spatial decomposition, but unlike existing work, encourage specific frequencies to be stored in each grid via Fourier features encodings. We then apply a multi-layer perceptron with sine activations, taking these Fourier encoded features in at appropriate layers so that higher-frequency components are accumulated on top of lower-frequency components sequentially, which we sum up to form the final output. We demonstrate that our method outperforms the state of the art regarding model compactness and efficiency on multiple tasks: 2D image fitting, 3D shape reconstruction, and neural radiance fields.

我们提出了一个小说嵌入字段\ emph {pref}作为促进神经信号建模和重建任务的紧凑表示。基于纯的多层感知器（MLP）神经技术偏向低频信号，并依赖于深层或傅立叶编码以避免丢失细节。取而代之的是，基于傅立叶嵌入空间的相拟合公式，PREF采用了紧凑且物理上解释的编码场。我们进行全面的实验，以证明PERF比最新的空间嵌入技术的优势。然后，我们使用近似的逆傅里叶变换方案以及新型的parseval正常器来开发高效的频率学习框架。广泛的实验表明，我们的高效和紧凑的基于频率的神经信号处理技术与2D图像完成，3D SDF表面回归和5D辐射场现场重建相同，甚至比最新的。

神经隐式功能对于数据表示非常有效。但是，如果输入数据具有许多细节或含有低频和高频带宽，则神经网络学到的隐式功能通常包括意外的噪声或失去细节。在保留细尺度内容的同时，删除工件具有挑战性，通常会出现过度平滑或嘈杂的问题。为了解决这一难题，我们提出了一个新框架（FINN），该框架（FINN）将过滤模块集成到MLP中以执行数据重建，同时适应包含不同频率的区域。过滤模块的平滑操作员作用于网络的中间结果，鼓励结果是平滑的，并且恢复的操作员将高频带到区域过于光滑。两个反活性操作员在所有MLP层中连续播放，以适应重建。我们证明了Finn在几个任务上的优势，并与最新方法相比，展示了显着改善。此外，Finn在收敛速度和网络稳定性方面还能产生更好的性能。

Generative models, as an important family of statistical modeling, target learning the observed data distribution via generating new instances. Along with the rise of neural networks, deep generative models, such as variational autoencoders (VAEs) and generative adversarial network (GANs), have made tremendous progress in 2D image synthesis. Recently, researchers switch their attentions from the 2D space to the 3D space considering that 3D data better aligns with our physical world and hence enjoys great potential in practice. However, unlike a 2D image, which owns an efficient representation (i.e., pixel grid) by nature, representing 3D data could face far more challenges. Concretely, we would expect an ideal 3D representation to be capable enough to model shapes and appearances in details, and to be highly efficient so as to model high-resolution data with fast speed and low memory cost. However, existing 3D representations, such as point clouds, meshes, and recent neural fields, usually fail to meet the above requirements simultaneously. In this survey, we make a thorough review of the development of 3D generation, including 3D shape generation and 3D-aware image synthesis, from the perspectives of both algorithms and more importantly representations. We hope that our discussion could help the community track the evolution of this field and further spark some innovative ideas to advance this challenging task.

综合照片 - 现实图像和视频是计算机图形的核心，并且是几十年的研究焦点。传统上，使用渲染算法（如光栅化或射线跟踪）生成场景的合成图像，其将几何形状和材料属性的表示为输入。统称，这些输入定义了实际场景和呈现的内容，并且被称为场景表示（其中场景由一个或多个对象组成）。示例场景表示是具有附带纹理的三角形网格（例如，由艺术家创建），点云（例如，来自深度传感器），体积网格（例如，来自CT扫描）或隐式曲面函数（例如，截短的符号距离）字段）。使用可分辨率渲染损耗的观察结果的这种场景表示的重建被称为逆图形或反向渲染。神经渲染密切相关，并将思想与经典计算机图形和机器学习中的思想相结合，以创建用于合成来自真实观察图像的图像的算法。神经渲染是朝向合成照片现实图像和视频内容的目标的跨越。近年来，我们通过数百个出版物显示了这一领域的巨大进展，这些出版物显示了将被动组件注入渲染管道的不同方式。这种最先进的神经渲染进步的报告侧重于将经典渲染原则与学习的3D场景表示结合的方法，通常现在被称为神经场景表示。这些方法的一个关键优势在于它们是通过设计的3D-一致，使诸如新颖的视点合成捕获场景的应用。除了处理静态场景的方法外，我们还涵盖了用于建模非刚性变形对象的神经场景表示...

神经隐式表示在新的视图合成和来自多视图图像的高质量3D重建方面显示了其有效性。但是，大多数方法都集中在整体场景表示上，但忽略了其中的各个对象，从而限制了潜在的下游应用程序。为了学习对象组合表示形式，一些作品将2D语义图作为训练中的提示，以掌握对象之间的差异。但是他们忽略了对象几何和实例语义信息之间的牢固联系，这导致了单个实例的不准确建模。本文提出了一个新颖的框架ObjectsDF，以在3D重建和对象表示中构建具有高保真度的对象复合神经隐式表示。观察常规音量渲染管道的歧义，我们通过组合单个对象的签名距离函数（SDF）来对场景进行建模，以发挥明确的表面约束。区分不同实例的关键是重新审视单个对象的SDF和语义标签之间的牢固关联。特别是，我们将语义信息转换为对象SDF的函数，并为场景和对象开发统一而紧凑的表示形式。实验结果表明，ObjectSDF框架在表示整体对象组合场景和各个实例方面的优越性。可以在https://qianyiwu.github.io/objectsdf/上找到代码

Neural signed distance functions (SDFs) are emerging as an effective representation for 3D shapes. State-of-theart methods typically encode the SDF with a large, fixedsize neural network to approximate complex shapes with implicit surfaces. Rendering with these large networks is, however, computationally expensive since it requires many forward passes through the network for every pixel, making these representations impractical for real-time graphics. We introduce an efficient neural representation that, for the first time, enables real-time rendering of high-fidelity neural SDFs, while achieving state-of-the-art geometry reconstruction quality. We represent implicit surfaces using an octree-based feature volume which adaptively fits shapes with multiple discrete levels of detail (LODs), and enables continuous LOD with SDF interpolation. We further develop an efficient algorithm to directly render our novel neural SDF representation in real-time by querying only the necessary LODs with sparse octree traversal. We show that our representation is 2-3 orders of magnitude more efficient in terms of rendering speed compared to previous works. Furthermore, it produces state-of-the-art reconstruction quality for complex shapes under both 3D geometric and 2D image-space metrics.

Intelligent mesh generation (IMG) refers to a technique to generate mesh by machine learning, which is a relatively new and promising research field. Within its short life span, IMG has greatly expanded the generalizability and practicality of mesh generation techniques and brought many breakthroughs and potential possibilities for mesh generation. However, there is a lack of surveys focusing on IMG methods covering recent works. In this paper, we are committed to a systematic and comprehensive survey describing the contemporary IMG landscape. Focusing on 110 preliminary IMG methods, we conducted an in-depth analysis and evaluation from multiple perspectives, including the core technique and application scope of the algorithm, agent learning goals, data types, targeting challenges, advantages and limitations. With the aim of literature collection and classification based on content extraction, we propose three different taxonomies from three views of key technique, output mesh unit element, and applicable input data types. Finally, we highlight some promising future research directions and challenges in IMG. To maximize the convenience of readers, a project page of IMG is provided at \url{https://github.com/xzb030/IMG_Survey}.

我们引入了一个新的隐式形状表示，称为基于射线的隐式函数（PRIF）。与基于处理空间位置的签名距离函数（SDF）的大多数现有方法相反，我们的表示形式在定向射线上运行。具体而言，PRIF的配制是直接产生给定输入射线的表面命中点，而无需昂贵的球体跟踪操作，因此可以有效地提取形状提取和可区分的渲染。我们证明，经过编码PRIF的神经网络在各种任务中取得了成功，包括单个形状表示，类别形状的生成，从稀疏或嘈杂的观察到形状完成，相机姿势估计的逆渲染以及带有颜色的神经渲染。

Figure 1. This paper introduces Local Deep Implicit Functions, a 3D shape representation that decomposes an input shape (mesh on left in every triplet) into a structured set of shape elements (colored ellipses on right) whose contributions to an implicit surface reconstruction (middle) are represented by latent vectors decoded by a deep network. Project video and website at ldif.cs.princeton.edu.