门控相机作为扫描LIDAR传感器的替代方案，具有高分辨率的3D深度，在雾，雪和雨中稳健。不是通过光子飞行时间顺序地扫描场景并直接记录深度，如在脉冲激光雷达传感器中，所设定的成像器编码在百万像素分辨率的少量门控切片中的相对强度的深度。尽管现有方法表明，可以从这些测量中解码高分辨率深度，但这些方法需要同步和校准的LIDAR来监督门控深度解码器 - 禁止在地理位置上快速采用，在大型未配对数据集上培训，以及探索替代应用程序外面的汽车用例。在这项工作中，我们填补了这个差距并提出了一种完全自我监督的深度估计方法，它使用门控强度配置文件和时间一致性作为训练信号。所提出的模型从门控视频序列培训结束到结束，不需要LIDAR或RGB数据，并学会估计绝对深度值。我们将门控切片作为输入和解散估计场景，深度和环境光，然后用于学习通过循环损耗来重建输入切片。我们依赖于给定帧和相邻门控切片之间的时间一致性，以在具有阴影和反射的区域中估计深度。我们通过实验验证，所提出的方法优于基于单眼RGB和立体图像的现有监督和自我监督的深度估计方法，以及基于门控图像的监督方法。

共同监督的深度学习方法的关节深度和自我运动估计可以产生准确的轨迹，而无需地面真相训练数据。但是，由于通常会使用光度损失，因此当这些损失所产生的假设（例如时间照明一致性，静态场景以及缺少噪声和遮挡）时，它们的性能会显着降解。这限制了它们用于例如夜间序列倾向于包含许多点光源（包括在动态对象上）和较暗图像区域中的低信噪比（SNR）。在本文中，我们展示了如何使用三种技术的组合来允许现有的光度损失在白天和夜间图像中起作用。首先，我们引入了每个像素神经强度转化，以补偿连续帧之间发生的光变化。其次，我们预测了每个像素的残差流图，我们用来纠正由网络估计的自我运动和深度引起的重新注入对应关系。第三，我们将训练图像降低，以提高方法的鲁棒性和准确性。这些更改使我们可以在白天和夜间图像中训练单个模型，而无需单独的编码器或诸如现有方法（例如现有方法）的额外功能网络。我们对具有挑战性的牛津机器人数据集进行了广泛的实验和消融研究，以证明我们方法对白天和夜间序列的疗效。

现代计算机视觉已超越了互联网照片集的领域，并进入了物理世界，通过非结构化的环境引导配备摄像头的机器人和自动驾驶汽车。为了使这些体现的代理与现实世界对象相互作用，相机越来越多地用作深度传感器，重建了各种下游推理任务的环境。机器学习辅助的深度感知或深度估计会预测图像中每个像素的距离。尽管已经在深入估算中取得了令人印象深刻的进步，但仍然存在重大挑战：（1）地面真相深度标签很难大规模收集，（2）通常认为相机信息是已知的，但通常是不可靠的，并且（3）限制性摄像机假设很常见，即使在实践中使用了各种各样的相机类型和镜头。在本论文中，我们专注于放松这些假设，并描述将相机变成真正通用深度传感器的最终目标的贡献。

Although cameras are ubiquitous, robotic platforms typically rely on active sensors like LiDAR for direct 3D perception. In this work, we propose a novel self-supervised monocular depth estimation method combining geometry with a new deep network, PackNet, learned only from unlabeled monocular videos. Our architecture leverages novel symmetrical packing and unpacking blocks to jointly learn to compress and decompress detail-preserving representations using 3D convolutions. Although self-supervised, our method outperforms other self, semi, and fully supervised methods on the KITTI benchmark. The 3D inductive bias in PackNet enables it to scale with input resolution and number of parameters without overfitting, generalizing better on out-of-domain data such as the NuScenes dataset. Furthermore, it does not require large-scale supervised pretraining on ImageNet and can run in real-time. Finally, we release DDAD (Dense Depth for Automated Driving), a new urban driving dataset with more challenging and accurate depth evaluation, thanks to longer-range and denser ground-truth depth generated from high-density LiDARs mounted on a fleet of self-driving cars operating world-wide. †

Per-pixel ground-truth depth data is challenging to acquire at scale. To overcome this limitation, self-supervised learning has emerged as a promising alternative for training models to perform monocular depth estimation. In this paper, we propose a set of improvements, which together result in both quantitatively and qualitatively improved depth maps compared to competing self-supervised methods.Research on self-supervised monocular training usually explores increasingly complex architectures, loss functions, and image formation models, all of which have recently helped to close the gap with fully-supervised methods. We show that a surprisingly simple model, and associated design choices, lead to superior predictions. In particular, we propose (i) a minimum reprojection loss, designed to robustly handle occlusions, (ii) a full-resolution multi-scale sampling method that reduces visual artifacts, and (iii) an auto-masking loss to ignore training pixels that violate camera motion assumptions. We demonstrate the effectiveness of each component in isolation, and show high quality, state-of-the-art results on the KITTI benchmark.

Photometric differences are widely used as supervision signals to train neural networks for estimating depth and camera pose from unlabeled monocular videos. However, this approach is detrimental for model optimization because occlusions and moving objects in a scene violate the underlying static scenario assumption. In addition, pixels in textureless regions or less discriminative pixels hinder model training. To solve these problems, in this paper, we deal with moving objects and occlusions utilizing the difference of the flow fields and depth structure generated by affine transformation and view synthesis, respectively. Secondly, we mitigate the effect of textureless regions on model optimization by measuring differences between features with more semantic and contextual information without adding networks. In addition, although the bidirectionality component is used in each sub-objective function, a pair of images are reasoned about only once, which helps reduce overhead. Extensive experiments and visual analysis demonstrate the effectiveness of the proposed method, which outperform existing state-of-the-art self-supervised methods under the same conditions and without introducing additional auxiliary information.

热摄像机可以在恶劣的光线条件下（例如夜面场景，隧道和灾难场景）强烈捕获热辐射图像。但是，尽管有这一优势，但迄今为止，尚未对热摄像机的深度和自我运动估计研究进行积极探索。在本文中，我们提出了一种从热图像中进行深度和自我运动估计的自制学习方法。所提出的方法利用了由温度和光度一致性损失组成的多光谱一致性。温度一致性损失通过重建剪辑和有色人种的热图像来提供基本的自我预见信号。此外，我们设计了一个可区分的前向翘曲模块，该模块可以将估计深度图的坐标系和从热摄像机转换为可见摄像头的坐标系。基于提出的模块，光度一致性损失可以为网络提供互补的自学。经过提议的方法训练的网络可鲁棒地估计在弱光甚至零灯条件下单眼热视频的深度和姿势。据我们所知，这是第一项以自我监督的方式同时估算单眼热视频的深度和自我感动的作品。

现代智能手机可以在60〜Hz中持续流动多百万像素RGB图像，与高质量的3D姿势信息和低分辨率LIDAR驱动深度估计同步。在快照照片期间，摄影师的手的自然不稳定性提供了相机姿势的毫米级别变化，我们可以在圆形缓冲器中与RGB和深度一起捕获。在这项工作中，我们探索如何从取景期间获得的这些测量束，我们可以将密集的微基线线视差提示与千克激光雷达深度相结合，以蒸馏高保真深度图。我们采取测试时间优化方法并训练坐标MLP，以沿着摄影师的自然抖动跟踪的路径的连续坐标输出光度计和几何一致深度估计。该方法将高分辨率深度估计为“点拍摄”桌面摄影而言，不需要额外的硬件，人造手动运动或超出按钮的按钮的用户交互。

在接受高质量的地面真相（如LiDAR数据）培训时，监督的学习深度估计方法可以实现良好的性能。但是，LIDAR只能生成稀疏的3D地图，从而导致信息丢失。每个像素获得高质量的地面深度数据很难获取。为了克服这一限制，我们提出了一种新颖的方法，将有前途的平面和视差几何管道与深度信息与U-NET监督学习网络相结合的结构信息结合在一起，与现有的基于流行的学习方法相比，这会导致定量和定性的改进。特别是，该模型在两个大规模且具有挑战性的数据集上进行了评估：Kitti Vision Benchmark和CityScapes数据集，并在相对错误方面取得了最佳性能。与纯深度监督模型相比，我们的模型在薄物体和边缘的深度预测上具有令人印象深刻的性能，并且与结构预测基线相比，我们的模型的性能更加强大。

虽然在驾驶场景中自我监督的单眼深度估计已经取得了可比性的性能，但违反了静态世界假设的行为仍然可以导致交通参与者的错误深度预测，造成潜在的安全问题。在本文中，我们呈现R4DYN，这是一种新颖的技术，用于在自我监督深度估计框架之上使用成本高效的雷达数据。特别是，我们展示如何在培训期间使用雷达，以及额外的输入，以增强推理时间的估计稳健性。由于汽车雷达很容易获得，这允许从各种现有车辆中收集培训数据。此外，通过过滤和扩展信号以使其与基于学习的方法兼容，我们地满地雷达固有问题，例如噪声和稀疏性。通过R4DYN，我们能够克服自我监督深度估计的一个主要限制，即交通参与者的预测。我们大大提高了动态物体的估计，例如汽车在挑战的NUSCENES数据集中达到37％，因此证明雷达是用于自主车辆中单眼深度估计的有价值的额外传感器。

作为许多自主驾驶和机器人活动的基本组成部分，如自我运动估计，障碍避免和场景理解，单眼深度估计（MDE）引起了计算机视觉和机器人社区的极大关注。在过去的几十年中，已经开发了大量方法。然而，据我们所知，对MDE没有全面调查。本文旨在通过审查1970年至2021年之间发布的197个相关条款来弥补这一差距。特别是，我们为涵盖各种方法的MDE提供了全面的调查，介绍了流行的绩效评估指标并汇总公开的数据集。我们还总结了一些代表方法的可用开源实现，并比较了他们的表演。此外，我们在一些重要的机器人任务中审查了MDE的应用。最后，我们通过展示一些有希望的未来研究方向来结束本文。预计本调查有助于读者浏览该研究领域。

尽管在过去几年中取得了重大进展，但使用单眼图像进行深度估计仍然存在挑战。首先，训练度量深度预测模型的训练是不算气的，该预测模型可以很好地推广到主要由于训练数据有限的不同场景。因此，研究人员建立了大规模的相对深度数据集，这些数据集更容易收集。但是，由于使用相对深度数据训练引起的深度转移，现有的相对深度估计模型通常无法恢复准确的3D场景形状。我们在此处解决此问题，并尝试通过对大规模相对深度数据进行训练并估算深度转移来估计现场形状。为此，我们提出了一个两阶段的框架，该框架首先将深度预测到未知量表并从单眼图像转移，然后利用3D点云数据来预测深度​​移位和相机的焦距，使我们能够恢复恢复3D场景形状。由于两个模块是单独训练的，因此我们不需要严格配对的培训数据。此外，我们提出了图像级的归一化回归损失和基于正常的几何损失，以通过相对深度注释来改善训练。我们在九个看不见的数据集上测试我们的深度模型，并在零拍摄评估上实现最先进的性能。代码可用：https：//git.io/depth

We present a novel approach for unsupervised learning of depth and ego-motion from monocular video. Unsupervised learning removes the need for separate supervisory signals (depth or ego-motion ground truth, or multi-view video). Prior work in unsupervised depth learning uses pixel-wise or gradient-based losses, which only consider pixels in small local neighborhoods. Our main contribution is to explicitly consider the inferred 3D geometry of the whole scene, and enforce consistency of the estimated 3D point clouds and ego-motion across consecutive frames. This is a challenging task and is solved by a novel (approximate) backpropagation algorithm for aligning 3D structures.We combine this novel 3D-based loss with 2D losses based on photometric quality of frame reconstructions using estimated depth and ego-motion from adjacent frames. We also incorporate validity masks to avoid penalizing areas in which no useful information exists.We test our algorithm on the KITTI dataset and on a video dataset captured on an uncalibrated mobile phone camera. Our proposed approach consistently improves depth estimates on both datasets, and outperforms the stateof-the-art for both depth and ego-motion. Because we only require a simple video, learning depth and ego-motion on large and varied datasets becomes possible. We demonstrate this by training on the low quality uncalibrated video dataset and evaluating on KITTI, ranking among top performing prior methods which are trained on KITTI itself. 1

尽管现有的单眼深度估计方法取得了长足的进步，但由于网络的建模能力有限和规模歧义问题，预测单个图像的准确绝对深度图仍然具有挑战性。在本文中，我们介绍了一个完全视觉上的基于注意力的深度（Vadepth）网络，在该网络中，将空间注意力和通道注意都应用于所有阶段。通过在远距离沿空间和通道维度沿空间和通道维度的特征的依赖关系连续提取，Vadepth网络可以有效地保留重要的细节并抑制干扰特征，以更好地感知场景结构，以获得更准确的深度估计。此外，我们利用几何先验来形成规模约束，以进行比例感知模型培训。具体而言，我们使用摄像机和由地面点拟合的平面之间的距离构建了一种新颖的规模感知损失，该平面与图像底部中间的矩形区域的像素相对应。 Kitti数据集的实验结果表明，该体系结构达到了最新性能，我们的方法可以直接输出绝对深度而无需后处理。此外，我们在Seasondepth数据集上的实验还证明了我们模型对多个看不见的环境的鲁棒性。

由于球形摄像机的兴起，单眼360深度估计成为许多应用（例如自主系统）的重要技术。因此，提出了针对单眼360深度估计的最新框架，例如Bifuse中的双预测融合。为了训练这样的框架，需要大量全景以及激光传感器捕获的相应深度地面真相，这极大地增加了数据收集成本。此外，由于这样的数据收集过程是耗时的，因此将这些方法扩展到不同场景的可扩展性成为一个挑战。为此，从360个视频中进行单眼深度估计网络的自我培训是减轻此问题的一种方法。但是，没有现有的框架将双投射融合融合到自我训练方案中，这极大地限制了自我监督的性能，因为Bi-Prodoction Fusion可以利用来自不同投影类型的信息。在本文中，我们建议Bifuse ++探索双投影融合和自我训练场景的组合。具体来说，我们提出了一个新的融合模块和对比度感知的光度损失，以提高Bifuse的性能并提高对现实世界视频的自我训练的稳定性。我们在基准数据集上进行了监督和自我监督的实验，并实现最先进的性能。

间接飞行时间（I-TOF）成像是由于其小尺寸和价格合理的价格导致移动设备的深度估计方式。以前的作品主要专注于I-TOF成像的质量改进，特别是固化多路径干扰（MPI）的效果。这些调查通常在特定约束的场景中进行，在近距离，室内和小环境光下。令人惊讶的一点工作已经调查了现实生活场景的I-TOF质量改善，其中强烈的环境光线和远距离由于具有限制传感器功率和光散射而导致的诱导射击噪声和信号稀疏引起的困难。在这项工作中，我们提出了一种基于新的学习的端到端深度预测网络，其噪声原始I-TOF信号以及RGB图像基于涉及隐式和显式对齐的多步方法来解决它们的潜在表示。预测与RGB视点对齐的高质量远程深度图。与基线方法相比，我们在挑战真实世界场景中测试了挑战性质场景的方法，并在最终深度地图上显示了超过40％的RMSE改进。

深度估计是3D重建的具有挑战性的任务，以提高环境意识的准确性感测。这项工作带来了一系列改进的新解决方案，与现有方法相比，增加了一系列改进，这增加了对深度图的定量和定性理解。最近，卷积神经网络（CNN）展示了估计单眼图象的深度图的非凡能力。然而，传统的CNN不支持拓扑结构，它们只能在具有确定尺寸和重量的常规图像区域上工作。另一方面，图形卷积网络（GCN）可以处理非欧几里德数据的卷积，并且它可以应用于拓扑结构内的不规则图像区域。因此，在这项工作中为了保护对象几何外观和分布，我们的目的是利用GCN进行自我监督的深度估计模型。我们的模型包括两个并行自动编码器网络：第一个是一个自动编码器，它取决于Reset-50，并从输入图像和多尺度GCN上提取功能以估计深度图。反过来，第二网络将用于基于Reset-18的两个连续帧之间估计自我运动矢量（即3D姿势）。估计的3D姿势和深度图都将用于构建目标图像。使用与光度，投影和平滑度相关的损耗函数的组合用于应对不良深度预测，并保持对象的不连续性。特别是，我们的方法提供了可比性和有前途的结果，在公共基准和Make3D数据集中的高预测精度为89％，与最先进的解决方案相比，培训参数的数量减少了40％。源代码在https://github.com/arminmasoumian/gcndepth.git上公开可用

准确估计深度信息的能力对于许多自主应用来识别包围环境并预测重要对象的深度至关重要。最近使用的技术之一是单眼深度估计，其中深度图从单个图像推断出深度图。本文提高了自我监督的深度学习技术，以进行准确的广义单眼深度估计。主要思想是训练深层模型要考虑不同帧的序列，每个帧都是地理标记的位置信息。这使得模型能够增强给定区域语义的深度估计。我们展示了我们模型改善深度估计结果的有效性。该模型在现实环境中受过培训，结果显示在将位置数据添加到模型训练阶段之后的深度图中的改进。

从单眼图像中学习的自我监督深度学习通常依赖于暂时相邻图像帧之间的2D像素光度关系。但是，他们既没有完全利用3D点的几何对应关系，也没有有效地应对闭塞或照明不一致引起的光度扭曲中的歧义。为了解决这些问题，这项工作提出了密度量构建网络（DEVNET），这是一种新型的自我监管的单眼深度学习框架，可以考虑3D空间信息，并利用相邻的相机flustums中的更强的几何约束。我们的DEVNET不是直接从单个图像中回归像素值，而是将摄像头划分为多个平行的平面，并预测每个平面上的点闭塞概率密度。最终的深度图是通过沿相应射线集成密度来生成的。在训练过程中，引入了新颖的正则化策略和损失功能，以减轻光度歧义和过度拟合。如果没有明显放大的模型参数的大小或运行时间，DEVNET在Kitti-2015室外数据集和NYU-V2室内数据集上均优于几个代表性基准。特别是，在深度估计的任务中，在Kitti-2015和NYU-V2上，DEVNET均减少了4％的根平方。代码可在https://github.com/gitkaichenzhou/devnet上找到。

自我监督的学习已经为单眼深度估计显示出非常有希望的结果。场景结构和本地细节都是高质量深度估计的重要线索。最近的作品遭受了场景结构的明确建模，并正确处理细节信息，这导致了预测结果中的性能瓶颈和模糊人工制品。在本文中，我们提出了具有两个有效贡献的通道 - 明智的深度估计网络（Cadepth-Net）：1）结构感知模块采用自我关注机制来捕获远程依赖性并聚合在信道中的识别特征尺寸，明确增强了场景结构的感知，获得了更好的场景理解和丰富的特征表示。 2）细节强调模块重新校准通道 - 方向特征映射，并选择性地强调信息性功能，旨在更有效地突出至关重要的本地细节信息和熔断器不同的级别功能，从而更精确，更锐化深度预测。此外，广泛的实验验证了我们方法的有效性，并表明我们的模型在基蒂基准和Make3D数据集中实现了最先进的结果。