依靠深度​​监督或自我监督的学习，近年来，成对的单图像和稀疏深度数据的深度完成方法的先前方法令人印象深刻。但是，面对一个新的环境，该环境在网上发生测试数据，并且与RGB图像内容和深度稀疏性中的训练数据不同，受过训练的模型可能会遭受严重的性能下降。为了鼓励训练有素的模型在这种情况下运行良好，我们希望它能够连续有效地适应新的环境。为了实现这一目标，我们提出了Metacomp。它利用元学习技术在训练阶段模拟适应策略，然后以自我监督的方式将模型适应新环境。考虑到输入是多模式数据，由于两个模态数据的结构和形式存在显着差异，因此将模型同时改编到两个模态的变化将是一项挑战。因此，我们进一步建议将基本元学习训练中的适应程序分为两个步骤，第一个小时重点放在深度稀疏性上，而第二次参与图像含量。在测试过程中，我们采取相同的策略将模型在线调整为新的多模式数据。实验结果和全面的消融表明，我们的元素能够有效地适应新环境中的深度完成，并适应不同方式的变化。

深度完成旨在预测从深度传感器（例如Lidars）中捕获的极稀疏图的密集像素深度。它在各种应用中起着至关重要的作用，例如自动驾驶，3D重建，增强现实和机器人导航。基于深度学习的解决方案已经证明了这项任务的最新成功。在本文中，我们首次提供了全面的文献综述，可帮助读者更好地掌握研究趋势并清楚地了解当前的进步。我们通过通过对现有方法进行分类的新型分类法提出建议，研究网络体系结构，损失功能，基准数据集和学习策略的设计方面的相关研究。此外，我们在包括室内和室外数据集（包括室内和室外数据集）上进行了三个广泛使用基准测试的模型性能进行定量比较。最后，我们讨论了先前作品的挑战，并为读者提供一些有关未来研究方向的见解。

作为许多自主驾驶和机器人活动的基本组成部分，如自我运动估计，障碍避免和场景理解，单眼深度估计（MDE）引起了计算机视觉和机器人社区的极大关注。在过去的几十年中，已经开发了大量方法。然而，据我们所知，对MDE没有全面调查。本文旨在通过审查1970年至2021年之间发布的197个相关条款来弥补这一差距。特别是，我们为涵盖各种方法的MDE提供了全面的调查，介绍了流行的绩效评估指标并汇总公开的数据集。我们还总结了一些代表方法的可用开源实现，并比较了他们的表演。此外，我们在一些重要的机器人任务中审查了MDE的应用。最后，我们通过展示一些有希望的未来研究方向来结束本文。预计本调查有助于读者浏览该研究领域。

在线立体声适应解决了由合成（训练）和真实（测试）数据集之间的不同环境引起的域移位问题，以迅速适应动态现实世界应用程序（例如自动驾驶）中的立体声模型。但是，以前的方法通常无法抵消与动态物体有关的特定区域，并具有更严重的环境变化。为了减轻此问题，我们建议将辅助点选择性网络纳入称为PointFix的元学习框架中，以提供对在线立体声适应的立体声模型的强大初始化。简而言之，我们的辅助网络学会通过通过元级别有效地反向传播局部信息来固定局部变体，从而实现基线模型的稳健初始化。该网络是模型 - 不合时宜的，因此可以以任何插件的方式以任何形式的架构使用。我们进行了广泛的实验，以在三个适应设置（例如短期，中和长期序列）下验证我们的方法的有效性。实验结果表明，辅助网络对基本立体声模型的适当初始化使我们的学习范式在推理时达到了最新的性能。

尽管现有的单眼深度估计方法取得了长足的进步，但由于网络的建模能力有限和规模歧义问题，预测单个图像的准确绝对深度图仍然具有挑战性。在本文中，我们介绍了一个完全视觉上的基于注意力的深度（Vadepth）网络，在该网络中，将空间注意力和通道注意都应用于所有阶段。通过在远距离沿空间和通道维度沿空间和通道维度的特征的依赖关系连续提取，Vadepth网络可以有效地保留重要的细节并抑制干扰特征，以更好地感知场景结构，以获得更准确的深度估计。此外，我们利用几何先验来形成规模约束，以进行比例感知模型培训。具体而言，我们使用摄像机和由地面点拟合的平面之间的距离构建了一种新颖的规模感知损失，该平面与图像底部中间的矩形区域的像素相对应。 Kitti数据集的实验结果表明，该体系结构达到了最新性能，我们的方法可以直接输出绝对深度而无需后处理。此外，我们在Seasondepth数据集上的实验还证明了我们模型对多个看不见的环境的鲁棒性。

对于单眼深度估计，获取真实数据的地面真相并不容易，因此通常使用监督的合成数据采用域适应方法。但是，由于缺乏实际数据的监督，这仍然可能会导致较大的域间隙。在本文中，我们通过从真实数据中生成可靠的伪基础真理来开发一个域适应框架，以提供直接的监督。具体而言，我们提出了两种用于伪标记的机制：1）通过测量图像具有相同内容但不同样式的深度预测的一致性，通过测量深度预测的一致性； 2）通过点云完成网络的3D感知伪标记，该网络学会完成3D空间中的深度值，从而在场景中提供更多的结构信息，以完善并生成更可靠的伪标签。在实验中，我们表明我们的伪标记方法改善了各种环境中的深度估计，包括在训练过程中使用立体声对。此外，该提出的方法对现实世界数据集中的几种最新无监督域的适应方法表现出色。

近年来，尤其是在户外环境中，自我监督的单眼深度估计已取得了重大进展。但是，在大多数现有数据被手持设备捕获的室内场景中，深度预测结果无法满足。与室外环境相比，使用自我监督的方法估算室内环境的单眼视频深度，导致了两个额外的挑战：（i）室内视频序列的深度范围在不同的框架上有很大变化，使深度很难进行。网络以促进培训的一致深度线索； （ii）用手持设备记录的室内序列通常包含更多的旋转运动，这使姿势网络难以预测准确的相对摄像头姿势。在这项工作中，我们通过对这些挑战进行特殊考虑并巩固了一系列良好实践，以提高自我监督的单眼深度估计室内环境的表现，从而提出了一种新颖的框架单声道++。首先，提出了具有基于变压器的比例回归网络的深度分解模块，以明确估算全局深度尺度因子，预测的比例因子可以指示最大深度值。其次，我们不像以前的方法那样使用单阶段的姿势估计策略，而是建议利用残留姿势估计模块来估计相对摄像机在连续迭代的跨帧中构成。第三，为了为我们的残留姿势估计模块纳入广泛的坐标指南，我们建议直接在输入上执行坐标卷积编码，以实现姿势网络。提出的方法在各种基准室内数据集（即Euroc Mav，Nyuv2，扫描仪和7片）上进行了验证，证明了最先进的性能。

Photometric differences are widely used as supervision signals to train neural networks for estimating depth and camera pose from unlabeled monocular videos. However, this approach is detrimental for model optimization because occlusions and moving objects in a scene violate the underlying static scenario assumption. In addition, pixels in textureless regions or less discriminative pixels hinder model training. To solve these problems, in this paper, we deal with moving objects and occlusions utilizing the difference of the flow fields and depth structure generated by affine transformation and view synthesis, respectively. Secondly, we mitigate the effect of textureless regions on model optimization by measuring differences between features with more semantic and contextual information without adding networks. In addition, although the bidirectionality component is used in each sub-objective function, a pair of images are reasoned about only once, which helps reduce overhead. Extensive experiments and visual analysis demonstrate the effectiveness of the proposed method, which outperform existing state-of-the-art self-supervised methods under the same conditions and without introducing additional auxiliary information.

从单眼图像中学习的自我监督深度学习通常依赖于暂时相邻图像帧之间的2D像素光度关系。但是，他们既没有完全利用3D点的几何对应关系，也没有有效地应对闭塞或照明不一致引起的光度扭曲中的歧义。为了解决这些问题，这项工作提出了密度量构建网络（DEVNET），这是一种新型的自我监管的单眼深度学习框架，可以考虑3D空间信息，并利用相邻的相机flustums中的更强的几何约束。我们的DEVNET不是直接从单个图像中回归像素值，而是将摄像头划分为多个平行的平面，并预测每个平面上的点闭塞概率密度。最终的深度图是通过沿相应射线集成密度来生成的。在训练过程中，引入了新颖的正则化策略和损失功能，以减轻光度歧义和过度拟合。如果没有明显放大的模型参数的大小或运行时间，DEVNET在Kitti-2015室外数据集和NYU-V2室内数据集上均优于几个代表性基准。特别是，在深度估计的任务中，在Kitti-2015和NYU-V2上，DEVNET均减少了4％的根平方。代码可在https://github.com/gitkaichenzhou/devnet上找到。

在本文中，我们制定了一个潜在的有价值的全景深度完成（PDC）任务，因为全景3D摄像机通常会产生360 {\ deg}深度，而在复杂场景中缺少数据。它的目标是从原始的稀疏图像和全景RGB图像中恢复密集的全景深度。为了处理PDC任务，我们训练一个深度网络，该网络将深度和图像作为密集的全景深度恢复的输入。但是，由于其非凸目标函数，它需要面对网络参数的具有挑战性的优化问题。为了解决这个问题，我们提出了一种简单而有效的方法，称为m {^3} pt：多模式掩盖的预训练。具体而言，在预训练期间，我们同时覆盖了全景RGB图像和通过共享随机掩码的稀疏深度的斑块，然后重建掩盖区域中的稀疏深度。据我们所知，这是我们第一次在多模式视觉任务中展示蒙版预训练的有效性，而不是蒙版自动编码器（MAE）解决的单模式任务。与MAE进行微调完全丢弃了预训练的解码器部分，在我们的M $^{3} $ pt中的预训练和微调阶段之间没有建筑差异，因为它们在预测密度方面只有不同，这有可能使转移学习更加方便和有效。广泛的实验验证了三个全景数据集上M {^3} PT的有效性。值得注意的是，我们在RMSE中平均将最先进的基线提高了26.2％，MRE的51.7％，MAE为49.7％，在三个基准数据集中将RMSelog的RMSelog在37.5％中提高了37.5％。

现有的深度完成方法通常以特定的稀疏深度类型为目标，并且在任务域之间概括较差。我们提出了一种方法，可以通过各种范围传感器（包括现代手机中的范围传感器或多视图重建算法）获得稀疏/半密度，嘈杂和潜在的低分辨率深度图。我们的方法利用了在大规模数据集中训练的单个图像深度预测网络的形式的数据驱动的先验，其输出被用作我们模型的输入。我们提出了一个有效的培训计划，我们在典型的任务域中模拟各种稀疏模式。此外，我们设计了两个新的基准测试，以评估深度完成方法的普遍性和鲁棒性。我们的简单方法显示了针对最先进的深度完成方法的优越的跨域泛化能力，从而引入了一种实用的解决方案，以在移动设备上捕获高质量的深度捕获。代码可在以下网址获得：https：//github.com/yvanyin/filldepth。

通过探索跨视图一致性，例如，光度计一致性和3D点云的一致性，在自我监督的单眼深度估计（SS-MDE）中取得了显着进步。但是，它们非常容易受到照明差异，遮挡，无纹理区域以及移动对象的影响，使它们不够强大，无法处理各种场景。为了应对这一挑战，我们在本文中研究了两种强大的跨视图一致性。首先，相邻帧之间的空间偏移场是通过通过可变形对齐来从其邻居重建参考框架来获得的，该比对通过深度特征对齐（DFA）损失来对齐时间深度特征。其次，计算每个参考框架及其附近框架的3D点云并转换为体素空间，在其中计算每个体素中的点密度并通过体素密度比对（VDA）损耗对齐。通过这种方式，我们利用了SS-MDE的深度特征空间和3D体素空间的时间连贯性，将“点对点”对齐范式转移到“区域到区域”。与光度一致性损失以及刚性点云对齐损失相比，由于深度特征的强大代表能力以及对上述挑战的素密度的高公差，提出的DFA和VDA损失更加强大。几个户外基准的实验结果表明，我们的方法的表现优于当前最新技术。广泛的消融研究和分析验证了拟议损失的有效性，尤其是在具有挑战性的场景中。代码和型号可在https://github.com/sunnyhelen/rcvc-depth上找到。

自我监督的单眼深度估计使机器人能够从原始视频流中学习3D感知。假设世界主要是静态的，这种可扩展的方法利用了投射的几何形状和自我运动来通过视图综合学习。在自主驾驶和人类机器人相互作用中常见的动态场景违反了这一假设。因此，它们需要明确建模动态对象，例如通过估计像素3D运动，即场景流。但是，同时对深度和场景流的自我监督学习是不适合的，因为有许多无限的组合导致相同的3D点。在本文中，我们提出了一种草稿，这是一种通过将合成数据与几何自学意识相结合的新方法，能够共同学习深度，光流和场景流。在木筏架构的基础上，我们将光流作为中间任务，以通过三角剖分来引导深度和场景流量学习。我们的算法还利用任务之间的时间和几何一致性损失来改善多任务学习。我们的草案在标准Kitti基准的自我监督的单眼环境中，同时在所有三个任务中建立了新的最新技术状态。项目页面：https：//sites.google.com/tri.global/draft。

自我监督的单眼深度预测提供了一种经济有效的解决方案，以获得每个像素的3D位置。然而，现有方法通常会导致不满意的准确性，这对于自治机器人至关重要。在本文中，我们提出了一种新的两级网络，通过利用低成本稀疏（例如4梁）LIDAR来推进自我监督单眼密集深度学习。与使用稀疏激光雷达的现有方法不同，主要以耗时的迭代后处理，我们的模型保留单眼图像特征和稀疏的LIDAR功能，以预测初始深度图。然后，有效的前馈细化网络进一步设计为校正伪3D空间中这些初始深度图中的错误，其具有实时性能。广泛的实验表明，我们所提出的模型显着优于所有最先进的自我监控方法，以及基于稀疏的激光器的方法，以及对自我监督单眼深度预测和完成任务。通过精确的密集深度预测，我们的模型优于基于最先进的稀疏激光雷达的方法（伪LIDAR ++）在Kitti排行榜上下游任务单眼3D对象检测超过68％。代码可在https://github.com/autoailab/fusiondepth获得

不同的环境对长期自主驾驶的户外强大的视觉感知构成了巨大挑战，以及对不同环境影响的学习算法的概括仍然是一个公开问题。虽然最近单眼深度预测得到了很好的研究，但很少有很多工作，专注于不同环境的强大的基于学习的深度预测，例如，由于缺乏如此多环境的现实世界数据集和基准测试，不断变化照明和季节。为此，基于CMU Visual Location DataSet建立了第一个跨赛季单眼深度预测数据集和基准赛季。为了基准不同环境下的深度估计性能，我们使用几个新配制的指标调查来自Kitti基准的代表性和最近的最先进的开源监督，自我监督和域适应深度预测方法。通过对所提出的数据集进行广泛的实验评估，定性和定量分析了多种环境对性能和鲁棒性的影响，表明即使微调，长期单眼深度预测也仍然具有挑战性。我们进一步提供了承诺的途径，即自我监督的培训和立体声几何约束有助于提高改变环境的鲁棒性。数据集可在https://seasondepth.github.io上找到，并且在https://github.com/seasondepth/seasondepth上提供基准工具包。

尽管在过去几年中取得了重大进展，但使用单眼图像进行深度估计仍然存在挑战。首先，训练度量深度预测模型的训练是不算气的，该预测模型可以很好地推广到主要由于训练数据有限的不同场景。因此，研究人员建立了大规模的相对深度数据集，这些数据集更容易收集。但是，由于使用相对深度数据训练引起的深度转移，现有的相对深度估计模型通常无法恢复准确的3D场景形状。我们在此处解决此问题，并尝试通过对大规模相对深度数据进行训练并估算深度转移来估计现场形状。为此，我们提出了一个两阶段的框架，该框架首先将深度预测到未知量表并从单眼图像转移，然后利用3D点云数据来预测深度​​移位和相机的焦距，使我们能够恢复恢复3D场景形状。由于两个模块是单独训练的，因此我们不需要严格配对的培训数据。此外，我们提出了图像级的归一化回归损失和基于正常的几何损失，以通过相对深度注释来改善训练。我们在九个看不见的数据集上测试我们的深度模型，并在零拍摄评估上实现最先进的性能。代码可用：https：//git.io/depth

从单目视频重建3D网格的关键元素之一是生成每个帧的深度图。然而，在结肠镜检查视频重建的应用中，产生良好质量的深度估计是具有挑战性的。神经网络可以容易地被光度分散注意力欺骗，或者不能捕获结肠表面的复杂形状，预测导致破碎网格的缺陷形状。旨在从根本上提高结肠镜检查3D重建的深度估计质量，在这项工作中，我们设计了一系列培训损失来应对结肠镜检查数据的特殊挑战。为了更好的培训，使用深度和表面正常信息开发了一组几何一致性目标。而且，经典的光度损耗延伸，具有特征匹配以补偿照明噪声。随着足够强大的培训损失，我们的自我监督框架命名为COLLE，与利用先前的深度知识相比，我们的自我监督框架能够产生更好的结肠镜检查数据地图。用于重建，我们的网络能够实时重建高质量的结肠网格，而无需任何后处理，使其成为第一个在临床上适用。

在接受高质量的地面真相（如LiDAR数据）培训时，监督的学习深度估计方法可以实现良好的性能。但是，LIDAR只能生成稀疏的3D地图，从而导致信息丢失。每个像素获得高质量的地面深度数据很难获取。为了克服这一限制，我们提出了一种新颖的方法，将有前途的平面和视差几何管道与深度信息与U-NET监督学习网络相结合的结构信息结合在一起，与现有的基于流行的学习方法相比，这会导致定量和定性的改进。特别是，该模型在两个大规模且具有挑战性的数据集上进行了评估：Kitti Vision Benchmark和CityScapes数据集，并在相对错误方面取得了最佳性能。与纯深度监督模型相比，我们的模型在薄物体和边缘的深度预测上具有令人印象深刻的性能，并且与结构预测基线相比，我们的模型的性能更加强大。

现有的单眼深度估计方法在不同的场景中实现了出色的鲁棒性，但它们只能检索仿射不变的深度，最多可达到未知的规模和变化。但是，在一些基于视频的场景中，例如视频中的视频深度估计和3D场景重建，驻留在人均预测中的未知量表和偏移可能会导致深度不一致。为了解决这个问题，我们提出了一种局部加权的线性回归方法，以恢复比例并以非常稀疏的锚点的转移，从而确保沿连续帧的比例一致性。广泛的实验表明，我们的方法可以在几个零击基准测试中最多将现有最新方法的性能提高50％。此外，我们合并了超过630万个RGBD图像，以训练强大而健壮的深度模型。我们产生的Resnet50-Backbone模型甚至胜过最先进的DPT VIT-LALGE模型。结合基于几何的重建方法，我们制定了一种新的密集3D场景重建管道，该管道受益于稀疏点的比例一致性和单眼方法的鲁棒性。通过对视频进行简单的人均预测，可以恢复准确的3D场景形状。

在本文中，我们提出了一种新颖的自我监督方法，可以预测未来，未观察到的现实世界中的深度估计。这项工作是第一个探索自我监督的学习，以估计视频未来未观察到的框架的单眼深度。现有作品依靠大量带注释的样本来生成对看不见框架深度的概率预测。但是，由于需要大量注释的视频样本，因此这使它变得不现实。此外，案件的概率性质，其中一个过去可能会有多个未来结果通常会导致深度估计不正确。与以前的方法不同，我们将未观察到的框架的深度估计作为视图合成问题进行建模，该问题将看不见的视频框架的深度估计视为辅助任务，同时使用学识渊博的姿势将视图恢复回去。这种方法不仅具有成本效益 - 我们不使用任何基础真相深度进行培训（因此实用），而且不使用确定性（过去的框架映射到不久的将来）。为了解决此任务，我们首先开发了一个新颖的深度预测网络DEFNET，该深度通过预测潜在特征来估计未观察到的未来的深度。其次，我们开发了基于渠道注意的姿势估计网络，该网络估计未观察到的框架的姿势。使用这个学到的姿势，将估计的深度图重建回图像域，从而形成一个自我监督的解决方案。我们提出的方法在短期和中期预测环境中与最先进的替代方案相比，ABS REL度量的重大改善，在Kitti和CityScapes上标有标准。代码可从https://github.com/sauradip/depthforecasting获得