现代智能手机可以在60〜Hz中持续流动多百万像素RGB图像，与高质量的3D姿势信息和低分辨率LIDAR驱动深度估计同步。在快照照片期间，摄影师的手的自然不稳定性提供了相机姿势的毫米级别变化，我们可以在圆形缓冲器中与RGB和深度一起捕获。在这项工作中，我们探索如何从取景期间获得的这些测量束，我们可以将密集的微基线线视差提示与千克激光雷达深度相结合，以蒸馏高保真深度图。我们采取测试时间优化方法并训练坐标MLP，以沿着摄影师的自然抖动跟踪的路径的连续坐标输出光度计和几何一致深度估计。该方法将高分辨率深度估计为“点拍摄”桌面摄影而言，不需要额外的硬件，人造手动运动或超出按钮的按钮的用户交互。

Modern mobile burst photography pipelines capture and merge a short sequence of frames to recover an enhanced image, but often disregard the 3D nature of the scene they capture, treating pixel motion between images as a 2D aggregation problem. We show that in a "long-burst", forty-two 12-megapixel RAW frames captured in a two-second sequence, there is enough parallax information from natural hand tremor alone to recover high-quality scene depth. To this end, we devise a test-time optimization approach that fits a neural RGB-D representation to long-burst data and simultaneously estimates scene depth and camera motion. Our plane plus depth model is trained end-to-end, and performs coarse-to-fine refinement by controlling which multi-resolution volume features the network has access to at what time during training. We validate the method experimentally, and demonstrate geometrically accurate depth reconstructions with no additional hardware or separate data pre-processing and pose-estimation steps.

现代计算机视觉已超越了互联网照片集的领域，并进入了物理世界，通过非结构化的环境引导配备摄像头的机器人和自动驾驶汽车。为了使这些体现的代理与现实世界对象相互作用，相机越来越多地用作深度传感器，重建了各种下游推理任务的环境。机器学习辅助的深度感知或深度估计会预测图像中每个像素的距离。尽管已经在深入估算中取得了令人印象深刻的进步，但仍然存在重大挑战：（1）地面真相深度标签很难大规模收集，（2）通常认为相机信息是已知的，但通常是不可靠的，并且（3）限制性摄像机假设很常见，即使在实践中使用了各种各样的相机类型和镜头。在本论文中，我们专注于放松这些假设，并描述将相机变成真正通用深度传感器的最终目标的贡献。

综合照片 - 现实图像和视频是计算机图形的核心，并且是几十年的研究焦点。传统上，使用渲染算法（如光栅化或射线跟踪）生成场景的合成图像，其将几何形状和材料属性的表示为输入。统称，这些输入定义了实际场景和呈现的内容，并且被称为场景表示（其中场景由一个或多个对象组成）。示例场景表示是具有附带纹理的三角形网格（例如，由艺术家创建），点云（例如，来自深度传感器），体积网格（例如，来自CT扫描）或隐式曲面函数（例如，截短的符号距离）字段）。使用可分辨率渲染损耗的观察结果的这种场景表示的重建被称为逆图形或反向渲染。神经渲染密切相关，并将思想与经典计算机图形和机器学习中的思想相结合，以创建用于合成来自真实观察图像的图像的算法。神经渲染是朝向合成照片现实图像和视频内容的目标的跨越。近年来，我们通过数百个出版物显示了这一领域的巨大进展，这些出版物显示了将被动组件注入渲染管道的不同方式。这种最先进的神经渲染进步的报告侧重于将经典渲染原则与学习的3D场景表示结合的方法，通常现在被称为神经场景表示。这些方法的一个关键优势在于它们是通过设计的3D-一致，使诸如新颖的视点合成捕获场景的应用。除了处理静态场景的方法外，我们还涵盖了用于建模非刚性变形对象的神经场景表示...

间接飞行时间（I-TOF）成像是由于其小尺寸和价格合理的价格导致移动设备的深度估计方式。以前的作品主要专注于I-TOF成像的质量改进，特别是固化多路径干扰（MPI）的效果。这些调查通常在特定约束的场景中进行，在近距离，室内和小环境光下。令人惊讶的一点工作已经调查了现实生活场景的I-TOF质量改善，其中强烈的环境光线和远距离由于具有限制传感器功率和光散射而导致的诱导射击噪声和信号稀疏引起的困难。在这项工作中，我们提出了一种基于新的学习的端到端深度预测网络，其噪声原始I-TOF信号以及RGB图像基于涉及隐式和显式对齐的多步方法来解决它们的潜在表示。预测与RGB视点对齐的高质量远程深度图。与基线方法相比，我们在挑战真实世界场景中测试了挑战性质场景的方法，并在最终深度地图上显示了超过40％的RMSE改进。

Fast and easy handheld capture with guideline: closest object moves at most D pixels between views Promote sampled views to local light field via layered scene representation Blend neighboring local light fields to render novel views

作为许多自主驾驶和机器人活动的基本组成部分，如自我运动估计，障碍避免和场景理解，单眼深度估计（MDE）引起了计算机视觉和机器人社区的极大关注。在过去的几十年中，已经开发了大量方法。然而，据我们所知，对MDE没有全面调查。本文旨在通过审查1970年至2021年之间发布的197个相关条款来弥补这一差距。特别是，我们为涵盖各种方法的MDE提供了全面的调查，介绍了流行的绩效评估指标并汇总公开的数据集。我们还总结了一些代表方法的可用开源实现，并比较了他们的表演。此外，我们在一些重要的机器人任务中审查了MDE的应用。最后，我们通过展示一些有希望的未来研究方向来结束本文。预计本调查有助于读者浏览该研究领域。

We present a novel neural surface reconstruction method called NeuralRoom for reconstructing room-sized indoor scenes directly from a set of 2D images. Recently, implicit neural representations have become a promising way to reconstruct surfaces from multiview images due to their high-quality results and simplicity. However, implicit neural representations usually cannot reconstruct indoor scenes well because they suffer severe shape-radiance ambiguity. We assume that the indoor scene consists of texture-rich and flat texture-less regions. In texture-rich regions, the multiview stereo can obtain accurate results. In the flat area, normal estimation networks usually obtain a good normal estimation. Based on the above observations, we reduce the possible spatial variation range of implicit neural surfaces by reliable geometric priors to alleviate shape-radiance ambiguity. Specifically, we use multiview stereo results to limit the NeuralRoom optimization space and then use reliable geometric priors to guide NeuralRoom training. Then the NeuralRoom would produce a neural scene representation that can render an image consistent with the input training images. In addition, we propose a smoothing method called perturbation-residual restrictions to improve the accuracy and completeness of the flat region, which assumes that the sampling points in a local surface should have the same normal and similar distance to the observation center. Experiments on the ScanNet dataset show that our method can reconstruct the texture-less area of indoor scenes while maintaining the accuracy of detail. We also apply NeuralRoom to more advanced multiview reconstruction algorithms and significantly improve their reconstruction quality.

门控相机作为扫描LIDAR传感器的替代方案，具有高分辨率的3D深度，在雾，雪和雨中稳健。不是通过光子飞行时间顺序地扫描场景并直接记录深度，如在脉冲激光雷达传感器中，所设定的成像器编码在百万像素分辨率的少量门控切片中的相对强度的深度。尽管现有方法表明，可以从这些测量中解码高分辨率深度，但这些方法需要同步和校准的LIDAR来监督门控深度解码器 - 禁止在地理位置上快速采用，在大型未配对数据集上培训，以及探索替代应用程序外面的汽车用例。在这项工作中，我们填补了这个差距并提出了一种完全自我监督的深度估计方法，它使用门控强度配置文件和时间一致性作为训练信号。所提出的模型从门控视频序列培训结束到结束，不需要LIDAR或RGB数据，并学会估计绝对深度值。我们将门控切片作为输入和解散估计场景，深度和环境光，然后用于学习通过循环损耗来重建输入切片。我们依赖于给定帧和相邻门控切片之间的时间一致性，以在具有阴影和反射的区域中估计深度。我们通过实验验证，所提出的方法优于基于单眼RGB和立体图像的现有监督和自我监督的深度估计方法，以及基于门控图像的监督方法。

虚拟现实（VR）耳机提供了一种身临其境的立体视觉体验，但以阻止用户直接观察其物理环境的代价。传递技术旨在通过利用向外的摄像头来重建否则没有耳机的用户可以看到的图像来解决此限制。这本质上是一个实时视图综合挑战，因为传递摄像机不能与眼睛进行物理共同。现有的通行技术会遭受分散重建工件的注意力，这主要是由于缺乏准确的深度信息（尤其是对于近场和分离的物体），并且表现出有限的图像质量（例如，低分辨率和单色）。在本文中，我们提出了第一种学习的传递方法，并使用包含立体声对RGB摄像机的自定义VR耳机评估其性能。通过模拟和实验，我们证明了我们所学的传递方法与最先进的方法相比提供了卓越的图像质量，同时满足了实时的，透视透视的立体视图综合的严格VR要求，从而在广泛的视野上综合用于桌面连接的耳机。

神经网络可以表示和准确地重建静态3D场景的辐射场（例如，NERF）。有几种作品将这些功能扩展到用单眼视频捕获的动态场景，具有很有希望的性能。然而，已知单眼设置是一个受限制的问题，因此方法依赖于数据驱动的前导者来重建动态内容。我们用飞行时间（TOF）相机的测量来替换这些前沿，并根据连续波TOF相机的图像形成模型引入神经表示。我们而不是使用加工的深度映射，我们模拟了原始的TOF传感器测量，以改善重建质量，避免低反射区域，多路径干扰和传感器的明确深度范围的问题。我们表明，这种方法改善了动态场景重建对错误校准和大型运动的鲁棒性，并讨论了现在可在现代智能手机上提供的RGB + TOF传感器的好处和限制。

事件摄像机是由生物启发的传感器，比传统摄像机具有优势。它们不同步，用微秒的分辨率对场景进行采样，并产生亮度变化。这种非常规的输出引发了新型的计算机视觉方法，以释放相机的潜力。我们解决了SLAM的基于事件的立体3D重建问题。大多数基于事件的立体声方法都试图利用相机跨相机的高时间分辨率和事件同时性，以建立匹配和估计深度。相比之下，我们研究了如何通过融合有效的单眼方法来融合差异空间图像（DSIS）来估计深度。我们开发融合理论，并将其应用于设计产生最先进结果的多相机3D重建算法，正如我们通过与四种基线方法进行比较并在各种可用数据集上进行测试的确认。

Time-resolved image sensors that capture light at pico-to-nanosecond timescales were once limited to niche applications but are now rapidly becoming mainstream in consumer devices. We propose low-cost and low-power imaging modalities that capture scene information from minimal time-resolved image sensors with as few as one pixel. The key idea is to flood illuminate large scene patches (or the entire scene) with a pulsed light source and measure the time-resolved reflected light by integrating over the entire illuminated area. The one-dimensional measured temporal waveform, called \emph{transient}, encodes both distances and albedoes at all visible scene points and as such is an aggregate proxy for the scene's 3D geometry. We explore the viability and limitations of the transient waveforms by themselves for recovering scene information, and also when combined with traditional RGB cameras. We show that plane estimation can be performed from a single transient and that using only a few more it is possible to recover a depth map of the whole scene. We also show two proof-of-concept hardware prototypes that demonstrate the feasibility of our approach for compact, mobile, and budget-limited applications.

在本文中，我们串联串联一个实时单手抄语和密集的测绘框架。对于姿势估计，串联基于关键帧的滑动窗口执行光度束调整。为了增加稳健性，我们提出了一种新颖的跟踪前端，使用从全局模型中呈现的深度图来执行密集的直接图像对齐，该模型从密集的深度预测逐渐构建。为了预测密集的深度映射，我们提出了通过分层构造具有自适应视图聚合的3D成本卷来平衡关键帧之间的不同立体声基线的3D成本卷来使用整个活动密钥帧窗口的级联视图 - 聚合MVSNet（CVA-MVSNET）。最后，将预测的深度映射融合到表示为截短的符号距离函数（TSDF）体素网格的一致的全局映射中。我们的实验结果表明，在相机跟踪方面，串联优于其他最先进的传统和学习的单眼视觉径管（VO）方法。此外，串联示出了最先进的实时3D重建性能。

https://video-nerf.github.io Figure 1. Our method takes a single casually captured video as input and learns a space-time neural irradiance field. (Top) Sample frames from the input video. (Middle) Novel view images rendered from textured meshes constructed from depth maps. (Bottom) Our results rendered from the proposed space-time neural irradiance field.

Learning based methods have shown very promising results for the task of depth estimation in single images. However, most existing approaches treat depth prediction as a supervised regression problem and as a result, require vast quantities of corresponding ground truth depth data for training. Just recording quality depth data in a range of environments is a challenging problem. In this paper, we innovate beyond existing approaches, replacing the use of explicit depth data during training with easier-to-obtain binocular stereo footage.We propose a novel training objective that enables our convolutional neural network to learn to perform single image depth estimation, despite the absence of ground truth depth data. Exploiting epipolar geometry constraints, we generate disparity images by training our network with an image reconstruction loss. We show that solving for image reconstruction alone results in poor quality depth images. To overcome this problem, we propose a novel training loss that enforces consistency between the disparities produced relative to both the left and right images, leading to improved performance and robustness compared to existing approaches. Our method produces state of the art results for monocular depth estimation on the KITTI driving dataset, even outperforming supervised methods that have been trained with ground truth depth.

使用FASS-MVS，我们提出了一种具有表面感知半全局匹配的快速多视图立体声的方法，其允许从UAV捕获的单眼航空视频数据中快速深度和正常地图估计。反过来，由FASS-MVS估计的数据促进在线3D映射，这意味着在获取或接收到图像数据时立即和递增地生成场景的3D地图。 FASS-MVS由分层处理方案组成，其中深度和正常数据以及相应的置信度分数以粗略的方式估计，允许有效地处理由倾斜图像所固有的大型场景深度低无人机。实际深度估计采用用于致密多图像匹配的平面扫描算法，以产生深度假设，通过表面感知半全局优化来提取实际深度图，从而减少了SGM的正平行偏压。给定估计的深度图，然后通过将深度图映射到点云中并计算狭窄的本地邻域内的普通向量来计算像素 - 方面正常信息。在彻底的定量和消融研究中，我们表明，由FASS-MV计算的3D信息的精度接近离线多视图立体声的最先进方法，误差甚至没有一个幅度而不是科麦。然而，同时，FASS-MVS的平均运行时间估计单个深度和正常地图的距离小于ColMAP的14％，允许在1-中执行全高清图像的在线和增量处理2 Hz。

尽管在过去几年中取得了重大进展，但使用单眼图像进行深度估计仍然存在挑战。首先，训练度量深度预测模型的训练是不算气的，该预测模型可以很好地推广到主要由于训练数据有限的不同场景。因此，研究人员建立了大规模的相对深度数据集，这些数据集更容易收集。但是，由于使用相对深度数据训练引起的深度转移，现有的相对深度估计模型通常无法恢复准确的3D场景形状。我们在此处解决此问题，并尝试通过对大规模相对深度数据进行训练并估算深度转移来估计现场形状。为此，我们提出了一个两阶段的框架，该框架首先将深度预测到未知量表并从单眼图像转移，然后利用3D点云数据来预测深度​​移位和相机的焦距，使我们能够恢复恢复3D场景形状。由于两个模块是单独训练的，因此我们不需要严格配对的培训数据。此外，我们提出了图像级的归一化回归损失和基于正常的几何损失，以通过相对深度注释来改善训练。我们在九个看不见的数据集上测试我们的深度模型，并在零拍摄评估上实现最先进的性能。代码可用：https：//git.io/depth

轻巧的飞行时间（TOF）深度传感器很小，便宜，低能量，并且已在移动设备上大量部署在移动设备上，以进行自动对焦，障碍物检测等。但是，由于其特定的测量值（深度分布）在某个像素时的区域而不是深度值，并且分辨率极低，它们不足以用于需要高保真深度（例如3D重建）的应用。在本文中，我们提出了Deltar，这是一种新颖的方法，可以通过与颜色图像合作来赋予高分辨率和准确深度的能力。作为Deltar的核心，提出了一种用于深度分布的特征提取器，并提出了基于注意力的神经体系结构，以有效地从颜色和TOF域中融合信息。为了在现实世界中评估我们的系统，我们设计了一个数据收集设备，并提出了一种校准RGB摄像头和TOF传感器的新方法。实验表明，我们的方法比旨在使用商品级RGB-D传感器的PAR性能实现的现有框架比现有的框架产生更准确的深度。代码和数据可在https://zju3dv.github.io/deltar/上获得。