侧扫声纳强度编码有关海床表面正常变化的信息。但是，其他因素（例如海底几何形状及其材料组成）也会影响回流强度。可以建模这些强度从向前方向上的变化从从测深图和物理特性到测量强度的表面正常的变化，或者可以使用逆模型，该模型从强度开始并模拟表面正常。在这里，我们使用一个逆模型，该模型利用深度学习能够从数据中学习的能力；卷积神经网络用于估计侧扫的正常表面。因此，海床的内部特性仅是隐式学习的。一旦估算了此信息，就可以通过优化框架重建测深图，该框架还包括高度计读数，以提供稀疏的深度轮廓作为约束。最近提出了隐式神经表示学习，以代表这种优化框架中的测深图。在本文中，我们使用神经网络来表示地图并在高度计点的约束和侧can的估计表面正常状态下进行优化。通过从几个侧扫线的不同角度融合多个观测值，通过优化改善了估计的结果。我们通过使用大型侧扫调查的侧扫数据重建高质量的测深，通过重建高质量的测深，证明了该方法的效率和可伸缩性。我们比较了提出的数据驱动的逆模型方法，该方法将侧扫形成前向兰伯特模型。我们通过将每个重建的质量与由多光束传感器构建的数据进行比较来评估它的质量。因此，我们能够讨论每种方法的优点和缺点。

我们提出了一种新型的数据驱动方法，用于从侧扫而言高分辨率测深的重建。侧面声纳（SSS）强度随范围的函数确实包含有关海底斜率的一些信息。但是，必须推断该信息。此外，导航系统提供了估计的轨迹，通常也可以使用沿该轨迹的高度。通过这些，我们获得了非常粗糙的海床测深，作为输入。然后将其与从侧扫的间接但高分辨率的海床信息结合在一起，以估计完整的测深。这个稀疏的深度可以通过单光束回声声音，多普勒速度日志（DVL），其他底部跟踪传感器或底部跟踪算法从侧can本身获得。在我们的工作中，使用一个完全卷积的网络来估算侧扫图像中的深度轮廓及其不确定性，并以端到端的方式稀疏深度。然后将估计的深度与范围一起使用，以计算海底上点的3D位置。可以在融合深度预测和来自神经网络的相应置信度度量后重建高质量的测深图。我们显示了通过使用侧扫而言，仅与侧扫相比，通过使用侧扫而获得的稀疏深度获得了测得图的改进。当将多个测深估计值融合到单个地图中时，我们还显示了置信度加权的好处。

侧can声纳是一种小型且具有成本效益的传感溶液，可以轻松地安装在大多数船上。从历史上看，它一直用于生产高清图像，专家可能用来识别海底或水柱上的目标。虽然已提出溶液仅从侧扫或与Multibeam结合使用，但影响有限。这部分是由于主要仅限于单侧扫描线的结果。在本文中，我们提出了一种现代可口的解决方案，以从许多侧扫线中创建高质量的测量规模测深。通过合并对同一位置的多个观察结果，可以改善结果，因为估计值相互加强。我们的方法基于正弦表示网络，这是神经表示学习的最新进展。我们通过从大型侧扫调查中产生测深，证明了该方法的可伸缩性。通过与高精度多光束传感器收集的数据进行比较，可以证明所得的质量。

可区分渲染的最新进展，可以将相对于3D对象模型计算2D像素值的梯度，可以通过仅在2D监督下通过基于梯度的优化来估计模型参数。将深度神经网络纳入这样的优化管道很容易，从而可以利用深度学习技术。这也大大减少了收集和注释3D数据的要求，例如，在2D传感器构造几何形状时，这对于应用程序非常困难。在这项工作中，我们为侧can声纳图像提出了一个可区分的渲染器。我们进一步证明了它可以解决仅从2D侧can声纳数据直接重建3D海底网眼的反问题的能力。

机器学习的最近进步已经创造了利用一类基于坐标的神经网络来解决视觉计算问题的兴趣，该基于坐标的神经网络在空间和时间跨空间和时间的场景或对象的物理属性。我们称之为神经领域的这些方法已经看到在3D形状和图像的合成中成功应用，人体的动画，3D重建和姿势估计。然而，由于在短时间内的快速进展，许多论文存在，但尚未出现全面的审查和制定问题。在本报告中，我们通过提供上下文，数学接地和对神经领域的文学进行广泛综述来解决这一限制。本报告涉及两种维度的研究。在第一部分中，我们通过识别神经字段方法的公共组件，包括不同的表示，架构，前向映射和泛化方法来专注于神经字段的技术。在第二部分中，我们专注于神经领域的应用在视觉计算中的不同问题，超越（例如，机器人，音频）。我们的评论显示了历史上和当前化身的视觉计算中已覆盖的主题的广度，展示了神经字段方法所带来的提高的质量，灵活性和能力。最后，我们展示了一个伴随着贡献本综述的生活版本，可以由社区不断更新。

传统上，本征成像或内在图像分解被描述为将图像分解为两层：反射率，材料的反射率;和一个阴影，由光和几何之间的相互作用产生。近年来，深入学习技术已广泛应用，以提高这些分离的准确性。在本调查中，我们概述了那些在知名内在图像数据集和文献中使用的相关度量的结果，讨论了预测所需的内在图像分解的适用性。虽然Lambertian的假设仍然是许多方法的基础，但我们表明，对图像形成过程更复杂的物理原理组件的潜力越来越意识到，这是光学准确的材料模型和几何形状，更完整的逆轻型运输估计。考虑使用的前瞻和模型以及驾驶分解过程的学习架构和方法，我们将这些方法分类为分解的类型。考虑到最近神经，逆和可微分的渲染技术的进步，我们还提供了关于未来研究方向的见解。

综合照片 - 现实图像和视频是计算机图形的核心，并且是几十年的研究焦点。传统上，使用渲染算法（如光栅化或射线跟踪）生成场景的合成图像，其将几何形状和材料属性的表示为输入。统称，这些输入定义了实际场景和呈现的内容，并且被称为场景表示（其中场景由一个或多个对象组成）。示例场景表示是具有附带纹理的三角形网格（例如，由艺术家创建），点云（例如，来自深度传感器），体积网格（例如，来自CT扫描）或隐式曲面函数（例如，截短的符号距离）字段）。使用可分辨率渲染损耗的观察结果的这种场景表示的重建被称为逆图形或反向渲染。神经渲染密切相关，并将思想与经典计算机图形和机器学习中的思想相结合，以创建用于合成来自真实观察图像的图像的算法。神经渲染是朝向合成照片现实图像和视频内容的目标的跨越。近年来，我们通过数百个出版物显示了这一领域的巨大进展，这些出版物显示了将被动组件注入渲染管道的不同方式。这种最先进的神经渲染进步的报告侧重于将经典渲染原则与学习的3D场景表示结合的方法，通常现在被称为神经场景表示。这些方法的一个关键优势在于它们是通过设计的3D-一致，使诸如新颖的视点合成捕获场景的应用。除了处理静态场景的方法外，我们还涵盖了用于建模非刚性变形对象的神经场景表示...

我们提出了一种使用成像声纳（也称为前瞻性声纳（FLS））对物体致密3D重建的技术。与以前的方法相比，将场景几何形状建模为点云或体积网格，我们表示几何形状作为神经隐式函数。此外，鉴于这样的表示，我们使用了可区分的体积渲染器，该渲染器将声波传播建模以合成成像声纳测量值。我们对真实和合成数据集进行了实验，并表明我们的算法从多视图FLS图像中重建高保真表面几何形状，质量要比以前的技术高得多，并且没有其相关的内存在头顶上。

现代计算机视觉已超越了互联网照片集的领域，并进入了物理世界，通过非结构化的环境引导配备摄像头的机器人和自动驾驶汽车。为了使这些体现的代理与现实世界对象相互作用，相机越来越多地用作深度传感器，重建了各种下游推理任务的环境。机器学习辅助的深度感知或深度估计会预测图像中每个像素的距离。尽管已经在深入估算中取得了令人印象深刻的进步，但仍然存在重大挑战：（1）地面真相深度标签很难大规模收集，（2）通常认为相机信息是已知的，但通常是不可靠的，并且（3）限制性摄像机假设很常见，即使在实践中使用了各种各样的相机类型和镜头。在本论文中，我们专注于放松这些假设，并描述将相机变成真正通用深度传感器的最终目标的贡献。

作为许多自主驾驶和机器人活动的基本组成部分，如自我运动估计，障碍避免和场景理解，单眼深度估计（MDE）引起了计算机视觉和机器人社区的极大关注。在过去的几十年中，已经开发了大量方法。然而，据我们所知，对MDE没有全面调查。本文旨在通过审查1970年至2021年之间发布的197个相关条款来弥补这一差距。特别是，我们为涵盖各种方法的MDE提供了全面的调查，介绍了流行的绩效评估指标并汇总公开的数据集。我们还总结了一些代表方法的可用开源实现，并比较了他们的表演。此外，我们在一些重要的机器人任务中审查了MDE的应用。最后，我们通过展示一些有希望的未来研究方向来结束本文。预计本调查有助于读者浏览该研究领域。

Physically based rendering of complex scenes can be prohibitively costly with a potentially unbounded and uneven distribution of complexity across the rendered image. The goal of an ideal level of detail (LoD) method is to make rendering costs independent of the 3D scene complexity, while preserving the appearance of the scene. However, current prefiltering LoD methods are limited in the appearances they can support due to their reliance of approximate models and other heuristics. We propose the first comprehensive multi-scale LoD framework for prefiltering 3D environments with complex geometry and materials (e.g., the Disney BRDF), while maintaining the appearance with respect to the ray-traced reference. Using a multi-scale hierarchy of the scene, we perform a data-driven prefiltering step to obtain an appearance phase function and directional coverage mask at each scale. At the heart of our approach is a novel neural representation that encodes this information into a compact latent form that is easy to decode inside a physically based renderer. Once a scene is baked out, our method requires no original geometry, materials, or textures at render time. We demonstrate that our approach compares favorably to state-of-the-art prefiltering methods and achieves considerable savings in memory for complex scenes.

We present a novel neural surface reconstruction method called NeuralRoom for reconstructing room-sized indoor scenes directly from a set of 2D images. Recently, implicit neural representations have become a promising way to reconstruct surfaces from multiview images due to their high-quality results and simplicity. However, implicit neural representations usually cannot reconstruct indoor scenes well because they suffer severe shape-radiance ambiguity. We assume that the indoor scene consists of texture-rich and flat texture-less regions. In texture-rich regions, the multiview stereo can obtain accurate results. In the flat area, normal estimation networks usually obtain a good normal estimation. Based on the above observations, we reduce the possible spatial variation range of implicit neural surfaces by reliable geometric priors to alleviate shape-radiance ambiguity. Specifically, we use multiview stereo results to limit the NeuralRoom optimization space and then use reliable geometric priors to guide NeuralRoom training. Then the NeuralRoom would produce a neural scene representation that can render an image consistent with the input training images. In addition, we propose a smoothing method called perturbation-residual restrictions to improve the accuracy and completeness of the flat region, which assumes that the sampling points in a local surface should have the same normal and similar distance to the observation center. Experiments on the ScanNet dataset show that our method can reconstruct the texture-less area of indoor scenes while maintaining the accuracy of detail. We also apply NeuralRoom to more advanced multiview reconstruction algorithms and significantly improve their reconstruction quality.

where the highest resolution is required, using facial performance capture as a case in point.

神经辐射场（NERF）最近在新型视图合成中取得了令人印象深刻的结果。但是，以前的NERF作品主要关注以对象为中心的方案。在这项工作中，我们提出了360ROAM，这是一种新颖的场景级NERF系统，可以实时合成大型室内场景的图像并支持VR漫游。我们的系统首先从多个输入$ 360^\ circ $图像构建全向神经辐射场360NERF。然后，我们逐步估算一个3D概率的占用图，该概率占用图代表了空间密度形式的场景几何形状。跳过空的空间和上采样占据的体素本质上可以使我们通过以几何学意识的方式使用360NERF加速量渲染。此外，我们使用自适应划分和扭曲策略来减少和调整辐射场，以进一步改进。从占用地图中提取的场景的平面图可以为射线采样提供指导，并促进现实的漫游体验。为了显示我们系统的功效，我们在各种场景中收集了$ 360^\ Circ $图像数据集并进行广泛的实验。基线之间的定量和定性比较说明了我们在复杂室内场景的新型视图合成中的主要表现。

Intelligent mesh generation (IMG) refers to a technique to generate mesh by machine learning, which is a relatively new and promising research field. Within its short life span, IMG has greatly expanded the generalizability and practicality of mesh generation techniques and brought many breakthroughs and potential possibilities for mesh generation. However, there is a lack of surveys focusing on IMG methods covering recent works. In this paper, we are committed to a systematic and comprehensive survey describing the contemporary IMG landscape. Focusing on 110 preliminary IMG methods, we conducted an in-depth analysis and evaluation from multiple perspectives, including the core technique and application scope of the algorithm, agent learning goals, data types, targeting challenges, advantages and limitations. With the aim of literature collection and classification based on content extraction, we propose three different taxonomies from three views of key technique, output mesh unit element, and applicable input data types. Finally, we highlight some promising future research directions and challenges in IMG. To maximize the convenience of readers, a project page of IMG is provided at \url{https://github.com/xzb030/IMG_Survey}.

我们建议使用以光源方向为条件的神经辐射场（NERF）的扩展来解决多视光度立体声问题。我们神经表示的几何部分预测表面正常方向，使我们能够理解局部表面反射率。我们的神经表示的外观部分被分解为神经双向反射率函数（BRDF），作为拟合过程的一部分学习，阴影预测网络（以光源方向为条件），使我们能够对明显的BRDF进行建模。基于物理图像形成模型的诱导偏差的学到的组件平衡使我们能够远离训练期间观察到的光源和查看器方向。我们证明了我们在多视光学立体基准基准上的方法，并表明可以通过NERF的神经密度表示可以获得竞争性能。

We propose a differentiable sphere tracing algorithm to bridge the gap between inverse graphics methods and the recently proposed deep learning based implicit signed distance function. Due to the nature of the implicit function, the rendering process requires tremendous function queries, which is particularly problematic when the function is represented as a neural network. We optimize both the forward and backward passes of our rendering layer to make it run efficiently with affordable memory consumption on a commodity graphics card. Our rendering method is fully differentiable such that losses can be directly computed on the rendered 2D observations, and the gradients can be propagated backwards to optimize the 3D geometry. We show that our rendering method can effectively reconstruct accurate 3D shapes from various inputs, such as sparse depth and multi-view images, through inverse optimization. With the geometry based reasoning, our 3D shape prediction methods show excellent generalization capability and robustness against various noises. * Work done while Shaohui Liu was an academic guest at ETH Zurich.

球形摄像机以整体方式捕获场景，并已用于房间布局估计。最近，随着适当数据集的可用性，从单个全向图像中的深度估计也取得了进展。尽管这两个任务是互补的，但很少有作品能够并行探索它们以提高室内几何感知，而那些这样做的人则依靠合成数据或使用过的小型数据集，因为很少有选项可供选择，包括两个布局。在真实场景中的注释和密集的深度图。这部分是由于需要对房间布局进行手动注释。在这项工作中，我们超越了此限制，并生成360几何视觉（360V）数据集，该数据集包括多种模式，多视图立体声数据并自动生成弱布局提示。我们还探索了两个任务之间的明确耦合，以将它们集成到经过单打的训练模型中。我们依靠基于深度的布局重建和基于布局的深度注意，这表明了两项任务的性能提高。通过使用单个360摄像机扫描房间，出现了便利和快速建筑规模3D扫描的机会。

获取房间规模场景的高质量3D重建对于即将到来的AR或VR应用是至关重要的。这些范围从混合现实应用程序进行电话会议，虚拟测量，虚拟房间刨，到机器人应用。虽然使用神经辐射场（NERF）的基于卷的视图合成方法显示有希望再现对象或场景的外观，但它们不会重建实际表面。基于密度的表面的体积表示在使用行进立方体提取表面时导致伪影，因为在优化期间，密度沿着射线累积，并且不在单个样本点处于隔离点。我们建议使用隐式函数（截短的签名距离函数）来代表表面来代表表面。我们展示了如何在NERF框架中纳入此表示，并将其扩展为使用来自商品RGB-D传感器的深度测量，例如Kinect。此外，我们提出了一种姿势和相机细化技术，可提高整体重建质量。相反，与集成NERF的深度前瞻性的并发工作，其专注于新型视图合成，我们的方法能够重建高质量的韵律3D重建。

Google Research Basecolor Metallic Roughness Normal Multi-View Images NeRD Volume Decomposed BRDF Relighting & View synthesis Textured MeshFigure 1: Neural Reflectance Decomposition for Relighting. We encode multiple views of an object under varying or fixed illumination into the NeRD volume.We decompose each given image into geometry, spatially-varying BRDF parameters and a rough approximation of the incident illumination in a globally consistent manner. We then extract a relightable textured mesh that can be re-rendered under novel illumination conditions in real-time.