相机校准与机器人和计算机视觉算法是一体的，用于从可视输入流中推断场景的几何属性。在实践中，校准是一种艰苦的程序，需要专门的数据收集和仔细调整。每当相机变化的参数时，必须重复该过程，这可能是移动机器人和自主车辆的频繁发生。相反，自我监督的深度和自我运动估计方法可以通过推断优化视图综合目标的每个帧投影模型来绕过明确的校准。在本文中，我们扩展了这种方法，以明确校准野外Raw视频的各种相机。我们提出了一种学习算法，使用高效的一般相机模型来回归每序列校准参数。我们的程序通过子像素再分注意误差实现自校准结果，优于基于其他学习的方法。我们在各种相机几何形状上验证了我们的方法，包括透视，鱼眼和昏迷。最后，我们表明我们的方法导致深度估计下游任务的改进，在EUROC数据集中实现了最先进的计算效率，而不是当代方法。

现代计算机视觉已超越了互联网照片集的领域，并进入了物理世界，通过非结构化的环境引导配备摄像头的机器人和自动驾驶汽车。为了使这些体现的代理与现实世界对象相互作用，相机越来越多地用作深度传感器，重建了各种下游推理任务的环境。机器学习辅助的深度感知或深度估计会预测图像中每个像素的距离。尽管已经在深入估算中取得了令人印象深刻的进步，但仍然存在重大挑战：（1）地面真相深度标签很难大规模收集，（2）通常认为相机信息是已知的，但通常是不可靠的，并且（3）限制性摄像机假设很常见，即使在实践中使用了各种各样的相机类型和镜头。在本论文中，我们专注于放松这些假设，并描述将相机变成真正通用深度传感器的最终目标的贡献。

Although cameras are ubiquitous, robotic platforms typically rely on active sensors like LiDAR for direct 3D perception. In this work, we propose a novel self-supervised monocular depth estimation method combining geometry with a new deep network, PackNet, learned only from unlabeled monocular videos. Our architecture leverages novel symmetrical packing and unpacking blocks to jointly learn to compress and decompress detail-preserving representations using 3D convolutions. Although self-supervised, our method outperforms other self, semi, and fully supervised methods on the KITTI benchmark. The 3D inductive bias in PackNet enables it to scale with input resolution and number of parameters without overfitting, generalizing better on out-of-domain data such as the NuScenes dataset. Furthermore, it does not require large-scale supervised pretraining on ImageNet and can run in real-time. Finally, we release DDAD (Dense Depth for Automated Driving), a new urban driving dataset with more challenging and accurate depth evaluation, thanks to longer-range and denser ground-truth depth generated from high-density LiDARs mounted on a fleet of self-driving cars operating world-wide. †

We present an unsupervised learning framework for the task of monocular depth and camera motion estimation from unstructured video sequences. In common with recent work [10,14,16], we use an end-to-end learning approach with view synthesis as the supervisory signal. In contrast to the previous work, our method is completely unsupervised, requiring only monocular video sequences for training. Our method uses single-view depth and multiview pose networks, with a loss based on warping nearby views to the target using the computed depth and pose. The networks are thus coupled by the loss during training, but can be applied independently at test time. Empirical evaluation on the KITTI dataset demonstrates the effectiveness of our approach: 1) monocular depth performs comparably with supervised methods that use either ground-truth pose or depth for training, and 2) pose estimation performs favorably compared to established SLAM systems under comparable input settings.

Per-pixel ground-truth depth data is challenging to acquire at scale. To overcome this limitation, self-supervised learning has emerged as a promising alternative for training models to perform monocular depth estimation. In this paper, we propose a set of improvements, which together result in both quantitatively and qualitatively improved depth maps compared to competing self-supervised methods.Research on self-supervised monocular training usually explores increasingly complex architectures, loss functions, and image formation models, all of which have recently helped to close the gap with fully-supervised methods. We show that a surprisingly simple model, and associated design choices, lead to superior predictions. In particular, we propose (i) a minimum reprojection loss, designed to robustly handle occlusions, (ii) a full-resolution multi-scale sampling method that reduces visual artifacts, and (iii) an auto-masking loss to ignore training pixels that violate camera motion assumptions. We demonstrate the effectiveness of each component in isolation, and show high quality, state-of-the-art results on the KITTI benchmark.

近年来，尤其是在户外环境中，自我监督的单眼深度估计已取得了重大进展。但是，在大多数现有数据被手持设备捕获的室内场景中，深度预测结果无法满足。与室外环境相比，使用自我监督的方法估算室内环境的单眼视频深度，导致了两个额外的挑战：（i）室内视频序列的深度范围在不同的框架上有很大变化，使深度很难进行。网络以促进培训的一致深度线索； （ii）用手持设备记录的室内序列通常包含更多的旋转运动，这使姿势网络难以预测准确的相对摄像头姿势。在这项工作中，我们通过对这些挑战进行特殊考虑并巩固了一系列良好实践，以提高自我监督的单眼深度估计室内环境的表现，从而提出了一种新颖的框架单声道++。首先，提出了具有基于变压器的比例回归网络的深度分解模块，以明确估算全局深度尺度因子，预测的比例因子可以指示最大深度值。其次，我们不像以前的方法那样使用单阶段的姿势估计策略，而是建议利用残留姿势估计模块来估计相对摄像机在连续迭代的跨帧中构成。第三，为了为我们的残留姿势估计模块纳入广泛的坐标指南，我们建议直接在输入上执行坐标卷积编码，以实现姿势网络。提出的方法在各种基准室内数据集（即Euroc Mav，Nyuv2，扫描仪和7片）上进行了验证，证明了最先进的性能。

自我监督的单眼深度估计使机器人能够从原始视频流中学习3D感知。假设世界主要是静态的，这种可扩展的方法利用了投射的几何形状和自我运动来通过视图综合学习。在自主驾驶和人类机器人相互作用中常见的动态场景违反了这一假设。因此，它们需要明确建模动态对象，例如通过估计像素3D运动，即场景流。但是，同时对深度和场景流的自我监督学习是不适合的，因为有许多无限的组合导致相同的3D点。在本文中，我们提出了一种草稿，这是一种通过将合成数据与几何自学意识相结合的新方法，能够共同学习深度，光流和场景流。在木筏架构的基础上，我们将光流作为中间任务，以通过三角剖分来引导深度和场景流量学习。我们的算法还利用任务之间的时间和几何一致性损失来改善多任务学习。我们的草案在标准Kitti基准的自我监督的单眼环境中，同时在所有三个任务中建立了新的最新技术状态。项目页面：https：//sites.google.com/tri.global/draft。

除了学习基于外观的特征外，多框架深度估计还通过特征匹配利用图像之间的几何关系来改善单帧方法。在本文中，我们重新访问了与自我监督的单眼深度估计的匹配，并提出了一种新颖的变压器体系结构，以生成成本量。我们使用深度污染的表现采样来选择匹配的候选者，并通过一系列自我和跨注意层来完善预测。这些层增强了像素特征之间的匹配概率，改善了容易歧义和局部最小值的标准相似性指标。精制的成本量被解码为深度估计，整个管道仅使用光度目标从视频端到端训练。 Kitti和DDAD数据集的实验表明，我们的深度构建体在自我监督的单眼估计中建立了新的最新技术，甚至具有高度专业的监督单帧体系结构竞争。我们还表明，我们学到的跨意义网络产生可以在数据集中转移的表示形式，从而提高了训练策略的有效性。项目页面：https：//sites.google.com/tri.global/depthformer

使用从未标识的视频培训的CNNS的单视深度估计显示了重要的承诺。然而，街头场景驾驶场景中主要获得了优异的结果，并且此类方法通常在其他设置中失败，特别是手持设备采取的室内视频。在这项工作中，我们建立了手持式环境中展出的复杂自我动作是学习深度的关键障碍。我们的基本分析表明，旋转在训练期间的噪声表现在训练期间，而不是提供监督信号的翻译（基线）。为了解决挑战，我们提出了一种数据预处理方法，可以通过去除其有效学习的相对旋转来整流训练图像。显着提高的性能验证了我们的动机。在不需要预处理的情况下，我们向端到端学习，我们提出了一种具有新型损失功能的自动整流网络，可以自动学习在训练期间纠正图像。因此，我们的结果在挑战NYUV2数据集中的大幅度上以较大的余量优于先前的无监督的SOTA方法。我们还展示了我们在Scannet和Make3D中培训模型的概括，以及我们提出的7场景和基蒂数据集的建议学习方法的普遍性。

We present a novel approach for unsupervised learning of depth and ego-motion from monocular video. Unsupervised learning removes the need for separate supervisory signals (depth or ego-motion ground truth, or multi-view video). Prior work in unsupervised depth learning uses pixel-wise or gradient-based losses, which only consider pixels in small local neighborhoods. Our main contribution is to explicitly consider the inferred 3D geometry of the whole scene, and enforce consistency of the estimated 3D point clouds and ego-motion across consecutive frames. This is a challenging task and is solved by a novel (approximate) backpropagation algorithm for aligning 3D structures.We combine this novel 3D-based loss with 2D losses based on photometric quality of frame reconstructions using estimated depth and ego-motion from adjacent frames. We also incorporate validity masks to avoid penalizing areas in which no useful information exists.We test our algorithm on the KITTI dataset and on a video dataset captured on an uncalibrated mobile phone camera. Our proposed approach consistently improves depth estimates on both datasets, and outperforms the stateof-the-art for both depth and ego-motion. Because we only require a simple video, learning depth and ego-motion on large and varied datasets becomes possible. We demonstrate this by training on the low quality uncalibrated video dataset and evaluating on KITTI, ranking among top performing prior methods which are trained on KITTI itself. 1

通过探索跨视图一致性，例如，光度计一致性和3D点云的一致性，在自我监督的单眼深度估计（SS-MDE）中取得了显着进步。但是，它们非常容易受到照明差异，遮挡，无纹理区域以及移动对象的影响，使它们不够强大，无法处理各种场景。为了应对这一挑战，我们在本文中研究了两种强大的跨视图一致性。首先，相邻帧之间的空间偏移场是通过通过可变形对齐来从其邻居重建参考框架来获得的，该比对通过深度特征对齐（DFA）损失来对齐时间深度特征。其次，计算每个参考框架及其附近框架的3D点云并转换为体素空间，在其中计算每个体素中的点密度并通过体素密度比对（VDA）损耗对齐。通过这种方式，我们利用了SS-MDE的深度特征空间和3D体素空间的时间连贯性，将“点对点”对齐范式转移到“区域到区域”。与光度一致性损失以及刚性点云对齐损失相比，由于深度特征的强大代表能力以及对上述挑战的素密度的高公差，提出的DFA和VDA损失更加强大。几个户外基准的实验结果表明，我们的方法的表现优于当前最新技术。广泛的消融研究和分析验证了拟议损失的有效性，尤其是在具有挑战性的场景中。代码和型号可在https://github.com/sunnyhelen/rcvc-depth上找到。

作为许多自主驾驶和机器人活动的基本组成部分，如自我运动估计，障碍避免和场景理解，单眼深度估计（MDE）引起了计算机视觉和机器人社区的极大关注。在过去的几十年中，已经开发了大量方法。然而，据我们所知，对MDE没有全面调查。本文旨在通过审查1970年至2021年之间发布的197个相关条款来弥补这一差距。特别是，我们为涵盖各种方法的MDE提供了全面的调查，介绍了流行的绩效评估指标并汇总公开的数据集。我们还总结了一些代表方法的可用开源实现，并比较了他们的表演。此外，我们在一些重要的机器人任务中审查了MDE的应用。最后，我们通过展示一些有希望的未来研究方向来结束本文。预计本调查有助于读者浏览该研究领域。

We address the problem of depth and ego-motion estimation from image sequences. Recent advances in the domain propose to train a deep learning model for both tasks using image reconstruction in a self-supervised manner. We revise the assumptions and the limitations of the current approaches and propose two improvements to boost the performance of the depth and ego-motion estimation. We first use Lie group properties to enforce the geometric consistency between images in the sequence and their reconstructions. We then propose a mechanism to pay an attention to image regions where the image reconstruction get corrupted. We show how to integrate the attention mechanism in the form of attention gates in the pipeline and use attention coefficients as a mask. We evaluate the new architecture on the KITTI datasets and compare it to the previous techniques. We show that our approach improves the state-of-the-art results for ego-motion estimation and achieve comparable results for depth estimation.

Learning based methods have shown very promising results for the task of depth estimation in single images. However, most existing approaches treat depth prediction as a supervised regression problem and as a result, require vast quantities of corresponding ground truth depth data for training. Just recording quality depth data in a range of environments is a challenging problem. In this paper, we innovate beyond existing approaches, replacing the use of explicit depth data during training with easier-to-obtain binocular stereo footage.We propose a novel training objective that enables our convolutional neural network to learn to perform single image depth estimation, despite the absence of ground truth depth data. Exploiting epipolar geometry constraints, we generate disparity images by training our network with an image reconstruction loss. We show that solving for image reconstruction alone results in poor quality depth images. To overcome this problem, we propose a novel training loss that enforces consistency between the disparities produced relative to both the left and right images, leading to improved performance and robustness compared to existing approaches. Our method produces state of the art results for monocular depth estimation on the KITTI driving dataset, even outperforming supervised methods that have been trained with ground truth depth.

在接受高质量的地面真相（如LiDAR数据）培训时，监督的学习深度估计方法可以实现良好的性能。但是，LIDAR只能生成稀疏的3D地图，从而导致信息丢失。每个像素获得高质量的地面深度数据很难获取。为了克服这一限制，我们提出了一种新颖的方法，将有前途的平面和视差几何管道与深度信息与U-NET监督学习网络相结合的结构信息结合在一起，与现有的基于流行的学习方法相比，这会导致定量和定性的改进。特别是，该模型在两个大规模且具有挑战性的数据集上进行了评估：Kitti Vision Benchmark和CityScapes数据集，并在相对错误方面取得了最佳性能。与纯深度监督模型相比，我们的模型在薄物体和边缘的深度预测上具有令人印象深刻的性能，并且与结构预测基线相比，我们的模型的性能更加强大。

Monocular depth estimation has been actively studied in fields such as robot vision, autonomous driving, and 3D scene understanding. Given a sequence of color images, unsupervised learning methods based on the framework of Structure-From-Motion (SfM) simultaneously predict depth and camera relative pose. However, dynamically moving objects in the scene violate the static world assumption, resulting in inaccurate depths of dynamic objects. In this work, we propose a new method to address such dynamic object movements through monocular 3D object detection. Specifically, we first detect 3D objects in the images and build the per-pixel correspondence of the dynamic pixels with the detected object pose while leaving the static pixels corresponding to the rigid background to be modeled with camera motion. In this way, the depth of every pixel can be learned via a meaningful geometry model. Besides, objects are detected as cuboids with absolute scale, which is used to eliminate the scale ambiguity problem inherent in monocular vision. Experiments on the KITTI depth dataset show that our method achieves State-of-The-Art performance for depth estimation. Furthermore, joint training of depth, camera motion and object pose also improves monocular 3D object detection performance. To the best of our knowledge, this is the first work that allows a monocular 3D object detection network to be fine-tuned in a self-supervised manner.

来自运动（SFM）的结构和地面相同估计对自动驾驶和其他机器人应用至关重要。最近，使用深神经网络分别用于SFM和同住估计的深度神经网络。然而，直接应用用于地面平面的现有方法可能会失败，因为道路通常是场景的一小部分。此外，深度SFM方法的性能仍然不如传统方法。在本文中，我们提出了一种方法，了解到以端到端的方式解决这两种问题，提高两者的性能。所提出的网络由深度CNN，姿势CNN和地面CNN组成。分别深度CNN和姿势 - CNN估计致密深度图和自我运动，求解SFM，而姿势 - CNN和地下CNN，接着是相同的相同层求解地面估计问题。通过强制SFM和同情侣估计结果之间的一致性，可以使用除了由搁板分段器提供的道路分割之外的光度损耗和单独的损耗来训练整个网络以结束到结束。综合实验是在基蒂基准上进行的，与各种最先进的方法相比，展示了有希望的结果。

建立新型观点综合的最近进展后，我们提出了改善单眼深度估计的应用。特别是，我们提出了一种在三个主要步骤中分开的新颖训练方法。首先，单眼深度网络的预测结果被扭转到额外的视点。其次，我们应用一个额外的图像综合网络，其纠正并提高了翘曲的RGB图像的质量。通过最小化像素-WISE RGB重建误差，该网络的输出需要尽可能类似地查看地面真实性视图。第三，我们将相同的单眼深度估计重新应用于合成的第二视图点，并确保深度预测与相关的地面真理深度一致。实验结果证明，我们的方法在Kitti和Nyu-Deaft-V2数据集上实现了最先进的或可比性，具有轻量级和简单的香草U-Net架构。

图像的深度估计是自动驾驶3D感知的基本步骤，并且是LIDAR等昂贵深度传感器的经济替代方案。时间光度限制可实现无标签的自制深度估计，从而进一步促进其应用。但是，大多数现有方法仅根据每个单眼图像来预测深度​​，并忽略多个周围相机之间的相关性，这些相机通常可用于现代自动驾驶车辆。在本文中，我们提出了一种环绕方法，以合并来自多个周围视图的信息，以预测跨相机的深度图。具体来说，我们采用联合网络来处理所有周围的观点，并提出跨视图变压器，从多个视图中有效融合信息。我们应用跨视图自我注意力，有效地实现多相机特征图之间的全局相互作用。与自我监督的单眼深度估计不同，我们能够预测给定多相机外部矩阵的现实世界量表。为了实现这一目标，我们采用了两框结构，从而提取尺度感知的伪深度以预处理模型。此外，我们没有预测每个摄像机的自我运动，而是估计车辆的普遍自我运动并将其传输到每种视图中以实现多视图的自我运动一致性。在实验中，我们的方法在具有挑战性的多相机深度估计数据集DDAD和NUSCENES上实现了最新的性能。

在本文中，根据PatchMatch Multi-View Stereo（MVS），提出了针对城市场景的基于图像的3D重建的完整管道。首先，输入图像被馈入现成的视觉大满贯系统中，以提取相机姿势和稀疏关键点，这些镜头用于初始化PatchMatch优化。然后，在具有新颖的深度正常一致性损耗项和全局修复算法的多尺度框架中，对Pixelwise的深度和正态进行了迭代计算，以平衡PatchMatch固有的局部性质。最后，通过在3D中以反向项目的多视图一致估计来生成大规模点云。针对Kitti数据集上的经典MVS算法和单眼深度网络仔细评估了所提出的方法，显示了最先进的性能。