我们介绍了第一个基于学习的可重建性预测指标，以改善使用无人机的大规模3D城市场景获取的视图和路径计划。与以前的启发式方法相反，我们的方法学习了一个模型，该模型明确预测了从一组观点重建3D城市场景的能力。为了使这种模型可训练并同时适用于无人机路径计划，我们在培训期间模拟了基于代理的3D场景重建以设置预测。具体而言，我们设计的神经网络经过训练，可以预测场景的重构性，这是代理几何学的函数，一组观点，以及在飞行中获得的一系列场景图像。为了重建一个新的城市场景，我们首先构建了3D场景代理，然后依靠我们网络的预测重建质量和不确定性度量，基于代理几何形状，以指导无人机路径计划。我们证明，与先前的启发式措施相比，我们的数据驱动的可重建性预测与真实的重建质量更加紧密相关。此外，我们学到的预测变量可以轻松地集成到现有的路径计划中，以产生改进。最后，我们根据学习的可重建性设计了一个新的迭代视图计划框架，并在重建合成场景和真实场景时展示新计划者的卓越性能。

我们提出了Urbanscene3D，这是一个大规模的数据平台，用于研究城市场景感知和重建。 Urbanscene3D包含超过128K的高分辨率图像，其中涵盖了16个场景，包括大规模的真实城市区域和合成城市，总共有136 km^2区域。该数据集还包含具有不同观察模式的高精度激光扫描和数百个图像集，它们为设计和评估空中路径计划和3D重建算法提供了全面的基准。此外，该数据集是基于虚幻引擎和AirSim模拟器构建的数据集以及数据集中每个建筑物的手动注释的唯一实例标签，启用了各种数据的生成，例如2D/3D边界框， ，以及3D点云/网状分段等。具有物理发动机和照明系统的模拟器不仅产生各种数据，而且还使用户能够在拟议的城市环境中模拟汽车或无人机以进行未来的研究。

We present a novel neural surface reconstruction method called NeuralRoom for reconstructing room-sized indoor scenes directly from a set of 2D images. Recently, implicit neural representations have become a promising way to reconstruct surfaces from multiview images due to their high-quality results and simplicity. However, implicit neural representations usually cannot reconstruct indoor scenes well because they suffer severe shape-radiance ambiguity. We assume that the indoor scene consists of texture-rich and flat texture-less regions. In texture-rich regions, the multiview stereo can obtain accurate results. In the flat area, normal estimation networks usually obtain a good normal estimation. Based on the above observations, we reduce the possible spatial variation range of implicit neural surfaces by reliable geometric priors to alleviate shape-radiance ambiguity. Specifically, we use multiview stereo results to limit the NeuralRoom optimization space and then use reliable geometric priors to guide NeuralRoom training. Then the NeuralRoom would produce a neural scene representation that can render an image consistent with the input training images. In addition, we propose a smoothing method called perturbation-residual restrictions to improve the accuracy and completeness of the flat region, which assumes that the sampling points in a local surface should have the same normal and similar distance to the observation center. Experiments on the ScanNet dataset show that our method can reconstruct the texture-less area of indoor scenes while maintaining the accuracy of detail. We also apply NeuralRoom to more advanced multiview reconstruction algorithms and significantly improve their reconstruction quality.

隐式神经表示表现出了令人信服的结果3D重建，并且最近也证明了在线大满贯系统的潜力。但是，将它们应用于自主3D重建，在此尚未研究机器人探索场景并计划重建的视图路径的情况下。在本文中，我们首次通过解决两个关键挑战来首次探索自动3D场景重建的可能性：1）寻求标准以根据新表示形式衡量候选人观点的质量，以及2）从可以推广到不同场景的数据而不是手工制作的数据中学习标准。对于第一个挑战，提出了峰值信噪比（PSNR）的代理来量化观点质量。代理是通过将场景中空间点的颜色视为在高斯分布下而不是确定性分布下的随机变量来获得的；分布的方差量化了重建的不确定性并组成代理。在第二个挑战中，代理与场景隐式神经网络的参数共同优化。通过提出的视图质量标准，我们可以将新表示形式应用于自动3D重建。我们的方法证明了与使用TSDF或重建的变体相比，在没有视图计划的情况下，与使用TSDF或重建的变体相比，对各种指标的各种指标进行了重大改进。

使用FASS-MVS，我们提出了一种具有表面感知半全局匹配的快速多视图立体声的方法，其允许从UAV捕获的单眼航空视频数据中快速深度和正常地图估计。反过来，由FASS-MVS估计的数据促进在线3D映射，这意味着在获取或接收到图像数据时立即和递增地生成场景的3D地图。 FASS-MVS由分层处理方案组成，其中深度和正常数据以及相应的置信度分数以粗略的方式估计，允许有效地处理由倾斜图像所固有的大型场景深度低无人机。实际深度估计采用用于致密多图像匹配的平面扫描算法，以产生深度假设，通过表面感知半全局优化来提取实际深度图，从而减少了SGM的正平行偏压。给定估计的深度图，然后通过将深度图映射到点云中并计算狭窄的本地邻域内的普通向量来计算像素 - 方面正常信息。在彻底的定量和消融研究中，我们表明，由FASS-MV计算的3D信息的精度接近离线多视图立体声的最先进方法，误差甚至没有一个幅度而不是科麦。然而，同时，FASS-MVS的平均运行时间估计单个深度和正常地图的距离小于ColMAP的14％，允许在1-中执行全高清图像的在线和增量处理2 Hz。

现代光学卫星传感器使高分辨率立体声重建。但是在观察地球从空间推动立体声匹配时挑战成像条件。在实践中，由此产生的数字表面模型（DSM）相当嘈杂，并且通常不会达到3D城市建模等高分辨率应用所需的准确性。可以说，基于低电平图像相似性的立体声对应不足，并且应该互补关于超出基本局部平滑度的预期表面几何的先验知识。为此，我们介绍了Resptepth，这是一个卷积神经网络，其在示例数据之前学习如此表达几何。 Restepth在调节图像上的细化时改进初始原始的立体声DSM。即，它充当了一个智能，学习的后处理过滤器，可以无缝地补充任何立体声匹配管道。在一系列实验中，我们发现所提出的方法始终如一地改善了定量和定性的立体声DSM。我们表明，网络权重中的先前编码捕获了城市设计的有意义的几何特征，这也概括了不同地区，甚至从一个城市到另一个城市。此外，我们证明，通过对各种立体对的训练，RESPTH可以在成像条件和采集几何体中获得足够的不变性。

Fast and easy handheld capture with guideline: closest object moves at most D pixels between views Promote sampled views to local light field via layered scene representation Blend neighboring local light fields to render novel views

现代计算机视觉已超越了互联网照片集的领域，并进入了物理世界，通过非结构化的环境引导配备摄像头的机器人和自动驾驶汽车。为了使这些体现的代理与现实世界对象相互作用，相机越来越多地用作深度传感器，重建了各种下游推理任务的环境。机器学习辅助的深度感知或深度估计会预测图像中每个像素的距离。尽管已经在深入估算中取得了令人印象深刻的进步，但仍然存在重大挑战：（1）地面真相深度标签很难大规模收集，（2）通常认为相机信息是已知的，但通常是不可靠的，并且（3）限制性摄像机假设很常见，即使在实践中使用了各种各样的相机类型和镜头。在本论文中，我们专注于放松这些假设，并描述将相机变成真正通用深度传感器的最终目标的贡献。

无人机已成为广泛使用的遥感平台之一，并在智能城市的建设中发挥了关键作用。但是，由于城市场景中的复杂环境，安全，准确的数据获取为3D建模和场景更新带来了巨大挑战。无人机的最佳轨迹计划和机载摄像机的准确数据收集是城市建模中的非平凡问题。这项研究介绍了优化观点的摄影测量原理，并在大规模3D建模中验证其精度和潜力。与倾斜的摄影测量法不同，优化的视图摄影测量法使用粗糙模型来生成和优化无人机轨迹，这是通过考虑模型点可重构性和视图点冗余性来实现的。基于优化视图的原理摄影测量法，本研究首先通过使用优化视图的无人机图像对3D模型进行精确分析潜在的。通过使用GCP进行图像方向精确分析和TLS（陆地激光扫描）点云进行模型质量分析，实验结果表明，优化的视图摄影测量法可以构建稳定的图像连接网络，并可以达到可比的图像方向准确性。从准确的图像采集策略中受益，网格模型的质量显着提高，尤其是对于严重阻塞的城市地区，在这种城市地区实现了3至5倍的精度。此外，青岛城的案例研究验证了优化视图摄影测量法可能是在复杂的城市场景中大规模3D建模的可靠和强大解决方案。

在本文中，我们解决了物体的主动机器人3D重建问题。特别是，我们研究了带有武器摄像机的移动机器人如何选择有利数量的视图来有效地恢复对象的3D形状。与现有的问题解决方案相反，我们利用了流行的神经辐射字段的对象表示，最近对各种计算机视觉任务显示了令人印象深刻的结果。但是，直接推荐使用这种表示形式的对象的显式3D几何细节，这并不是很直接的，这使得对密度3D重建的下一最佳视图选择问题具有挑战性。本文介绍了基于射线的容积不确定性估计器，该估计量沿对象隐式神经表示的每个光线沿每个射线的重量分布计算重量分布的熵。我们表明，考虑到提出的估计量的新观点，可以推断基础3D几何形状的不确定性。然后，我们提出了一个由基于射线的体积不确定性在基于神经辐射字段的表示中的指导下进行的最佳视图选择策略。令人鼓舞的关于合成和现实世界数据的实验结果表明，本文提出的方法可以使新的研究方向在机器人视觉应用中使用隐式的3D对象表示对次要的观察问题，从而将我们的方法与现有方法区分开依赖于显式3D几何建模的方法。

where the highest resolution is required, using facial performance capture as a case in point.

对未知环境的探索是机器人技术中的一个基本问题，也是自治系统应用中的重要组成部分。探索未知环境的一个主要挑战是，机器人必须计划每个时间步骤可用的有限信息。尽管大多数当前的方法都依靠启发式方法和假设来根据这些部分观察来规划路径，但我们提出了一种新颖的方式，通过利用3D场景完成来将深度学习整合到探索中，以获取知情，安全，可解释的探索映射和计划。我们的方法，SC-explorer，使用新型的增量融合机制和新提出的分层多层映射方法结合了场景的完成，以确保机器人的安全性和效率。我们进一步提出了一种信息性的路径计划方法，利用了我们的映射方法的功能和新颖的场景完整感知信息增益。虽然我们的方法通常适用，但我们在微型航空车辆（MAV）的用例中进行了评估。我们仅使用移动硬件彻底研究了高保真仿真实验中的每个组件，并证明我们的方法可以使环境的覆盖范围增加73％，而不是基线，而MAP准确性的降低仅最少。即使最终地图中未包含场景的完成，我们也可以证明它们可以用于指导机器人选择更多信息的路径，从而加快机器人传感器的测量值35％。我们将我们的方法作为开源。

神经辐射场（NERF）最近在新型视图合成中取得了令人印象深刻的结果。但是，以前的NERF作品主要关注以对象为中心的方案。在这项工作中，我们提出了360ROAM，这是一种新颖的场景级NERF系统，可以实时合成大型室内场景的图像并支持VR漫游。我们的系统首先从多个输入$ 360^\ circ $图像构建全向神经辐射场360NERF。然后，我们逐步估算一个3D概率的占用图，该概率占用图代表了空间密度形式的场景几何形状。跳过空的空间和上采样占据的体素本质上可以使我们通过以几何学意识的方式使用360NERF加速量渲染。此外，我们使用自适应划分和扭曲策略来减少和调整辐射场，以进一步改进。从占用地图中提取的场景的平面图可以为射线采样提供指导，并促进现实的漫游体验。为了显示我们系统的功效，我们在各种场景中收集了$ 360^\ Circ $图像数据集并进行广泛的实验。基线之间的定量和定性比较说明了我们在复杂室内场景的新型视图合成中的主要表现。

最近，数据驱动的单视图重建方法在建模3D穿着人类中表现出很大的进展。然而，这种方法严重影响了单视图输入所固有的深度模糊和闭塞。在本文中，我们通过考虑一小部分输入视图并调查从这些视图中适当利用信息的最佳策略来解决这个问题。我们提出了一种数据驱动的端到端方法，其从稀疏相机视图重建穿着人的人类的隐式3D表示。具体而言，我们介绍了三个关键组件：首先是使用透视相机模型的空间一致的重建，允许使用人员在输入视图中的任意放置;第二个基于关注的融合层，用于从多个观点来看聚合视觉信息;第三种机制在多视图上下文下编码本地3D模式。在实验中，我们展示了所提出的方法优于定量和定性地在标准数据上表达现有技术。为了展示空间一致的重建，我们将我们的方法应用于动态场景。此外，我们在使用多摄像头平台获取的真实数据上应用我们的方法，并证明我们的方法可以获得与多视图立体声相当的结果，从而迅速更少的视图。

综合照片 - 现实图像和视频是计算机图形的核心，并且是几十年的研究焦点。传统上，使用渲染算法（如光栅化或射线跟踪）生成场景的合成图像，其将几何形状和材料属性的表示为输入。统称，这些输入定义了实际场景和呈现的内容，并且被称为场景表示（其中场景由一个或多个对象组成）。示例场景表示是具有附带纹理的三角形网格（例如，由艺术家创建），点云（例如，来自深度传感器），体积网格（例如，来自CT扫描）或隐式曲面函数（例如，截短的符号距离）字段）。使用可分辨率渲染损耗的观察结果的这种场景表示的重建被称为逆图形或反向渲染。神经渲染密切相关，并将思想与经典计算机图形和机器学习中的思想相结合，以创建用于合成来自真实观察图像的图像的算法。神经渲染是朝向合成照片现实图像和视频内容的目标的跨越。近年来，我们通过数百个出版物显示了这一领域的巨大进展，这些出版物显示了将被动组件注入渲染管道的不同方式。这种最先进的神经渲染进步的报告侧重于将经典渲染原则与学习的3D场景表示结合的方法，通常现在被称为神经场景表示。这些方法的一个关键优势在于它们是通过设计的3D-一致，使诸如新颖的视点合成捕获场景的应用。除了处理静态场景的方法外，我们还涵盖了用于建模非刚性变形对象的神经场景表示...

在许多计算机视觉和图形应用程序中，从2D图像重建3D室内场景是一项重要任务。这项任务中的一个主要挑战是，典型的室内场景中的无纹理区域使现有方法难以产生令人满意的重建结果。我们提出了一种名为Neuris的新方法，以高质量地重建室内场景。 Neuris的关键思想是将估计的室内场景正常整合为神经渲染框架中的先验，以重建大型无纹理形状，并且重要的是，以适应性的方式进行此操作，以便重建不规则的形状，并具有很好的细节。 。具体而言，我们通过检查优化过程中重建的多视图一致性来评估正常先验的忠诚。只有被接受为忠实的正常先验才能用于3D重建，通常发生在平滑形状的区域中，可能具有弱质地。但是，对于那些具有小物体或薄结构的区域，普通先验通常不可靠，我们只能依靠输入图像的视觉特征，因为此类区域通常包含相对较丰富的视觉特征（例如，阴影变化和边界轮廓）。广泛的实验表明，在重建质量方面，Neuris明显优于最先进的方法。

View-dependent effects such as reflections pose a substantial challenge for image-based and neural rendering algorithms. Above all, curved reflectors are particularly hard, as they lead to highly non-linear reflection flows as the camera moves. We introduce a new point-based representation to compute Neural Point Catacaustics allowing novel-view synthesis of scenes with curved reflectors, from a set of casually-captured input photos. At the core of our method is a neural warp field that models catacaustic trajectories of reflections, so complex specular effects can be rendered using efficient point splatting in conjunction with a neural renderer. One of our key contributions is the explicit representation of reflections with a reflection point cloud which is displaced by the neural warp field, and a primary point cloud which is optimized to represent the rest of the scene. After a short manual annotation step, our approach allows interactive high-quality renderings of novel views with accurate reflection flow. Additionally, the explicit representation of reflection flow supports several forms of scene manipulation in captured scenes, such as reflection editing, cloning of specular objects, reflection tracking across views, and comfortable stereo viewing. We provide the source code and other supplemental material on https://repo-sam.inria.fr/ fungraph/neural_catacaustics/

传统上，本征成像或内在图像分解被描述为将图像分解为两层：反射率，材料的反射率;和一个阴影，由光和几何之间的相互作用产生。近年来，深入学习技术已广泛应用，以提高这些分离的准确性。在本调查中，我们概述了那些在知名内在图像数据集和文献中使用的相关度量的结果，讨论了预测所需的内在图像分解的适用性。虽然Lambertian的假设仍然是许多方法的基础，但我们表明，对图像形成过程更复杂的物理原理组件的潜力越来越意识到，这是光学准确的材料模型和几何形状，更完整的逆轻型运输估计。考虑使用的前瞻和模型以及驾驶分解过程的学习架构和方法，我们将这些方法分类为分解的类型。考虑到最近神经，逆和可微分的渲染技术的进步，我们还提供了关于未来研究方向的见解。

最近的体积三维重建方法可以产生非常精确的结果，即使对于未观察的表面，也可以具有合理的几何形状。然而，当涉及多视图融合时，它们面临着不希望的权衡。它们可以通过全局平均来熔断所有可用视图信息，从而丢失精细的细节，或者他们可以启发式群集对本地融合的群集视图，从而限制他们共同考虑所有视图的能力。我们的关键洞察力是通过在摄像机姿势和图像内容上学习视图融合功能，可以在不限制视图多样性的情况下保留更详细的详细信息。我们建议使用变压器学习此多视图融合。为此，我们使用变压器介绍Vortx，一个端到端的体积3D重建网络，用于宽基线，多视图功能融合。我们的模型是遮挡感知的，利用变压器架构来预测初始投影场景几何估计。该估计用于避免将反射图像特征通过曲面到遮挡区域。我们在Scannet上培训我们的模型，并显示它比最先进的方法产生更好的重建。我们还展示了概括，没有任何微调，优于两个其他数据集，Tum-RGBD和ICL-Nuim的相同最先进的方法。

地理定位的概念是指确定地球上的某些“实体”的位置的过程，通常使用全球定位系统（GPS）坐标。感兴趣的实体可以是图像，图像序列，视频，卫星图像，甚至图像中可见的物体。由于GPS标记媒体的大规模数据集由于智能手机和互联网而迅速变得可用，而深入学习已经上升以提高机器学习模型的性能能力，因此由于其显着影响而出现了视觉和对象地理定位的领域广泛的应用，如增强现实，机器人，自驾驶车辆，道路维护和3D重建。本文提供了对涉及图像的地理定位的全面调查，其涉及从捕获图像（图像地理定位）或图像内的地理定位对象（对象地理定位）的地理定位的综合调查。我们将提供深入的研究，包括流行算法的摘要，对所提出的数据集的描述以及性能结果的分析来说明每个字段的当前状态。