共同监督的深度学习方法的关节深度和自我运动估计可以产生准确的轨迹，而无需地面真相训练数据。但是，由于通常会使用光度损失，因此当这些损失所产生的假设（例如时间照明一致性，静态场景以及缺少噪声和遮挡）时，它们的性能会显着降解。这限制了它们用于例如夜间序列倾向于包含许多点光源（包括在动态对象上）和较暗图像区域中的低信噪比（SNR）。在本文中，我们展示了如何使用三种技术的组合来允许现有的光度损失在白天和夜间图像中起作用。首先，我们引入了每个像素神经强度转化，以补偿连续帧之间发生的光变化。其次，我们预测了每个像素的残差流图，我们用来纠正由网络估计的自我运动和深度引起的重新注入对应关系。第三，我们将训练图像降低，以提高方法的鲁棒性和准确性。这些更改使我们可以在白天和夜间图像中训练单个模型，而无需单独的编码器或诸如现有方法（例如现有方法）的额外功能网络。我们对具有挑战性的牛津机器人数据集进行了广泛的实验和消融研究，以证明我们方法对白天和夜间序列的疗效。

Per-pixel ground-truth depth data is challenging to acquire at scale. To overcome this limitation, self-supervised learning has emerged as a promising alternative for training models to perform monocular depth estimation. In this paper, we propose a set of improvements, which together result in both quantitatively and qualitatively improved depth maps compared to competing self-supervised methods.Research on self-supervised monocular training usually explores increasingly complex architectures, loss functions, and image formation models, all of which have recently helped to close the gap with fully-supervised methods. We show that a surprisingly simple model, and associated design choices, lead to superior predictions. In particular, we propose (i) a minimum reprojection loss, designed to robustly handle occlusions, (ii) a full-resolution multi-scale sampling method that reduces visual artifacts, and (iii) an auto-masking loss to ignore training pixels that violate camera motion assumptions. We demonstrate the effectiveness of each component in isolation, and show high quality, state-of-the-art results on the KITTI benchmark.

门控相机作为扫描LIDAR传感器的替代方案，具有高分辨率的3D深度，在雾，雪和雨中稳健。不是通过光子飞行时间顺序地扫描场景并直接记录深度，如在脉冲激光雷达传感器中，所设定的成像器编码在百万像素分辨率的少量门控切片中的相对强度的深度。尽管现有方法表明，可以从这些测量中解码高分辨率深度，但这些方法需要同步和校准的LIDAR来监督门控深度解码器 - 禁止在地理位置上快速采用，在大型未配对数据集上培训，以及探索替代应用程序外面的汽车用例。在这项工作中，我们填补了这个差距并提出了一种完全自我监督的深度估计方法，它使用门控强度配置文件和时间一致性作为训练信号。所提出的模型从门控视频序列培训结束到结束，不需要LIDAR或RGB数据，并学会估计绝对深度值。我们将门控切片作为输入和解散估计场景，深度和环境光，然后用于学习通过循环损耗来重建输入切片。我们依赖于给定帧和相邻门控切片之间的时间一致性，以在具有阴影和反射的区域中估计深度。我们通过实验验证，所提出的方法优于基于单眼RGB和立体图像的现有监督和自我监督的深度估计方法，以及基于门控图像的监督方法。

在接受高质量的地面真相（如LiDAR数据）培训时，监督的学习深度估计方法可以实现良好的性能。但是，LIDAR只能生成稀疏的3D地图，从而导致信息丢失。每个像素获得高质量的地面深度数据很难获取。为了克服这一限制，我们提出了一种新颖的方法，将有前途的平面和视差几何管道与深度信息与U-NET监督学习网络相结合的结构信息结合在一起，与现有的基于流行的学习方法相比，这会导致定量和定性的改进。特别是，该模型在两个大规模且具有挑战性的数据集上进行了评估：Kitti Vision Benchmark和CityScapes数据集，并在相对错误方面取得了最佳性能。与纯深度监督模型相比，我们的模型在薄物体和边缘的深度预测上具有令人印象深刻的性能，并且与结构预测基线相比，我们的模型的性能更加强大。

最近，自我监督的学习技术已经应用于计算单眼视频的深度和自我运动，实现了自动驾驶场景中的显着性能。一种广泛采用的深度和自我运动自我监督学习的假设是图像亮度在附近框架内保持恒定。遗憾的是，内窥镜场景不符合这种假设，因为在数据收集期间的照明变化，非灯泡反射和孤立性引起的严重亮度波动，并且这些亮度波动不可避免地恶化深度和自我运动估计精度。在这项工作中，我们介绍了一个新颖的概念，称为外观流动，以解决亮度不一致问题。外观流程考虑了亮度图案中的任何变型，使我们能够开发广义动态图像约束。此外，我们建立一个统一的自我监督框架，以在内窥镜场景中同时估计单眼深度和自我运动，该内窥镜场景包括结构模块，运动模块，外观模块和对应模块，以准确地重建外观并校准图像亮度。广泛的实验是在害怕的数据集和内酷数据集上进行的，拟议的统一框架超过了大幅度的其他自我监控方法。为了验证我们在不同患者和相机上的框架的泛化能力，我们训练我们的模型害怕，但在没有任何微调的情况下测试它在Serv-CT和Hamlyn数据集上，并且卓越的结果揭示了其强大的泛化能力。代码将可用：\ url {https：//github.com/shuweishao/af-sfmlearner}。

通过探索跨视图一致性，例如，光度计一致性和3D点云的一致性，在自我监督的单眼深度估计（SS-MDE）中取得了显着进步。但是，它们非常容易受到照明差异，遮挡，无纹理区域以及移动对象的影响，使它们不够强大，无法处理各种场景。为了应对这一挑战，我们在本文中研究了两种强大的跨视图一致性。首先，相邻帧之间的空间偏移场是通过通过可变形对齐来从其邻居重建参考框架来获得的，该比对通过深度特征对齐（DFA）损失来对齐时间深度特征。其次，计算每个参考框架及其附近框架的3D点云并转换为体素空间，在其中计算每个体素中的点密度并通过体素密度比对（VDA）损耗对齐。通过这种方式，我们利用了SS-MDE的深度特征空间和3D体素空间的时间连贯性，将“点对点”对齐范式转移到“区域到区域”。与光度一致性损失以及刚性点云对齐损失相比，由于深度特征的强大代表能力以及对上述挑战的素密度的高公差，提出的DFA和VDA损失更加强大。几个户外基准的实验结果表明，我们的方法的表现优于当前最新技术。广泛的消融研究和分析验证了拟议损失的有效性，尤其是在具有挑战性的场景中。代码和型号可在https://github.com/sunnyhelen/rcvc-depth上找到。

现代计算机视觉已超越了互联网照片集的领域，并进入了物理世界，通过非结构化的环境引导配备摄像头的机器人和自动驾驶汽车。为了使这些体现的代理与现实世界对象相互作用，相机越来越多地用作深度传感器，重建了各种下游推理任务的环境。机器学习辅助的深度感知或深度估计会预测图像中每个像素的距离。尽管已经在深入估算中取得了令人印象深刻的进步，但仍然存在重大挑战：（1）地面真相深度标签很难大规模收集，（2）通常认为相机信息是已知的，但通常是不可靠的，并且（3）限制性摄像机假设很常见，即使在实践中使用了各种各样的相机类型和镜头。在本论文中，我们专注于放松这些假设，并描述将相机变成真正通用深度传感器的最终目标的贡献。

Although cameras are ubiquitous, robotic platforms typically rely on active sensors like LiDAR for direct 3D perception. In this work, we propose a novel self-supervised monocular depth estimation method combining geometry with a new deep network, PackNet, learned only from unlabeled monocular videos. Our architecture leverages novel symmetrical packing and unpacking blocks to jointly learn to compress and decompress detail-preserving representations using 3D convolutions. Although self-supervised, our method outperforms other self, semi, and fully supervised methods on the KITTI benchmark. The 3D inductive bias in PackNet enables it to scale with input resolution and number of parameters without overfitting, generalizing better on out-of-domain data such as the NuScenes dataset. Furthermore, it does not require large-scale supervised pretraining on ImageNet and can run in real-time. Finally, we release DDAD (Dense Depth for Automated Driving), a new urban driving dataset with more challenging and accurate depth evaluation, thanks to longer-range and denser ground-truth depth generated from high-density LiDARs mounted on a fleet of self-driving cars operating world-wide. †

Learning based methods have shown very promising results for the task of depth estimation in single images. However, most existing approaches treat depth prediction as a supervised regression problem and as a result, require vast quantities of corresponding ground truth depth data for training. Just recording quality depth data in a range of environments is a challenging problem. In this paper, we innovate beyond existing approaches, replacing the use of explicit depth data during training with easier-to-obtain binocular stereo footage.We propose a novel training objective that enables our convolutional neural network to learn to perform single image depth estimation, despite the absence of ground truth depth data. Exploiting epipolar geometry constraints, we generate disparity images by training our network with an image reconstruction loss. We show that solving for image reconstruction alone results in poor quality depth images. To overcome this problem, we propose a novel training loss that enforces consistency between the disparities produced relative to both the left and right images, leading to improved performance and robustness compared to existing approaches. Our method produces state of the art results for monocular depth estimation on the KITTI driving dataset, even outperforming supervised methods that have been trained with ground truth depth.

尽管现有的单眼深度估计方法取得了长足的进步，但由于网络的建模能力有限和规模歧义问题，预测单个图像的准确绝对深度图仍然具有挑战性。在本文中，我们介绍了一个完全视觉上的基于注意力的深度（Vadepth）网络，在该网络中，将空间注意力和通道注意都应用于所有阶段。通过在远距离沿空间和通道维度沿空间和通道维度的特征的依赖关系连续提取，Vadepth网络可以有效地保留重要的细节并抑制干扰特征，以更好地感知场景结构，以获得更准确的深度估计。此外，我们利用几何先验来形成规模约束，以进行比例感知模型培训。具体而言，我们使用摄像机和由地面点拟合的平面之间的距离构建了一种新颖的规模感知损失，该平面与图像底部中间的矩形区域的像素相对应。 Kitti数据集的实验结果表明，该体系结构达到了最新性能，我们的方法可以直接输出绝对深度而无需后处理。此外，我们在Seasondepth数据集上的实验还证明了我们模型对多个看不见的环境的鲁棒性。

作为许多自主驾驶和机器人活动的基本组成部分，如自我运动估计，障碍避免和场景理解，单眼深度估计（MDE）引起了计算机视觉和机器人社区的极大关注。在过去的几十年中，已经开发了大量方法。然而，据我们所知，对MDE没有全面调查。本文旨在通过审查1970年至2021年之间发布的197个相关条款来弥补这一差距。特别是，我们为涵盖各种方法的MDE提供了全面的调查，介绍了流行的绩效评估指标并汇总公开的数据集。我们还总结了一些代表方法的可用开源实现，并比较了他们的表演。此外，我们在一些重要的机器人任务中审查了MDE的应用。最后，我们通过展示一些有希望的未来研究方向来结束本文。预计本调查有助于读者浏览该研究领域。

We present a novel approach for unsupervised learning of depth and ego-motion from monocular video. Unsupervised learning removes the need for separate supervisory signals (depth or ego-motion ground truth, or multi-view video). Prior work in unsupervised depth learning uses pixel-wise or gradient-based losses, which only consider pixels in small local neighborhoods. Our main contribution is to explicitly consider the inferred 3D geometry of the whole scene, and enforce consistency of the estimated 3D point clouds and ego-motion across consecutive frames. This is a challenging task and is solved by a novel (approximate) backpropagation algorithm for aligning 3D structures.We combine this novel 3D-based loss with 2D losses based on photometric quality of frame reconstructions using estimated depth and ego-motion from adjacent frames. We also incorporate validity masks to avoid penalizing areas in which no useful information exists.We test our algorithm on the KITTI dataset and on a video dataset captured on an uncalibrated mobile phone camera. Our proposed approach consistently improves depth estimates on both datasets, and outperforms the stateof-the-art for both depth and ego-motion. Because we only require a simple video, learning depth and ego-motion on large and varied datasets becomes possible. We demonstrate this by training on the low quality uncalibrated video dataset and evaluating on KITTI, ranking among top performing prior methods which are trained on KITTI itself. 1

建立新型观点综合的最近进展后，我们提出了改善单眼深度估计的应用。特别是，我们提出了一种在三个主要步骤中分开的新颖训练方法。首先，单眼深度网络的预测结果被扭转到额外的视点。其次，我们应用一个额外的图像综合网络，其纠正并提高了翘曲的RGB图像的质量。通过最小化像素-WISE RGB重建误差，该网络的输出需要尽可能类似地查看地面真实性视图。第三，我们将相同的单眼深度估计重新应用于合成的第二视图点，并确保深度预测与相关的地面真理深度一致。实验结果证明，我们的方法在Kitti和Nyu-Deaft-V2数据集上实现了最先进的或可比性，具有轻量级和简单的香草U-Net架构。

这些年来，展示技术已经发展。开发实用的HDR捕获，处理和显示解决方案以将3D技术提升到一个新的水平至关重要。多曝光立体声图像序列的深度估计是开发成本效益3D HDR视频内容的重要任务。在本文中，我们开发了一种新颖的深度体系结构，以进行多曝光立体声深度估计。拟议的建筑有两个新颖的组成部分。首先，对传统立体声深度估计中使用的立体声匹配技术进行了修改。对于我们体系结构的立体深度估计部分，部署了单一到stereo转移学习方法。拟议的配方规避了成本量构造的要求，该要求由基于重新编码的单码编码器CNN取代，具有不同的重量以进行功能融合。基于有效网络的块用于学习差异。其次，我们使用强大的视差特征融合方法组合了从不同暴露水平上从立体声图像获得的差异图。使用针对不同质量度量计算的重量图合并在不同暴露下获得的差异图。获得的最终预测差异图更强大，并保留保留深度不连续性的最佳功能。提出的CNN具有使用标准动态范围立体声数据或具有多曝光低动态范围立体序列的训练的灵活性。在性能方面，所提出的模型超过了最新的单眼和立体声深度估计方法，无论是定量还是质量地，在具有挑战性的场景流以及暴露的Middlebury立体声数据集上。该体系结构在复杂的自然场景中表现出色，证明了其对不同3D HDR应用的有用性。

自我监督的学习已经为单眼深度估计显示出非常有希望的结果。场景结构和本地细节都是高质量深度估计的重要线索。最近的作品遭受了场景结构的明确建模，并正确处理细节信息，这导致了预测结果中的性能瓶颈和模糊人工制品。在本文中，我们提出了具有两个有效贡献的通道 - 明智的深度估计网络（Cadepth-Net）：1）结构感知模块采用自我关注机制来捕获远程依赖性并聚合在信道中的识别特征尺寸，明确增强了场景结构的感知，获得了更好的场景理解和丰富的特征表示。 2）细节强调模块重新校准通道 - 方向特征映射，并选择性地强调信息性功能，旨在更有效地突出至关重要的本地细节信息和熔断器不同的级别功能，从而更精确，更锐化深度预测。此外，广泛的实验验证了我们方法的有效性，并表明我们的模型在基蒂基准和Make3D数据集中实现了最先进的结果。

图像的深度估计是自动驾驶3D感知的基本步骤，并且是LIDAR等昂贵深度传感器的经济替代方案。时间光度限制可实现无标签的自制深度估计，从而进一步促进其应用。但是，大多数现有方法仅根据每个单眼图像来预测深度​​，并忽略多个周围相机之间的相关性，这些相机通常可用于现代自动驾驶车辆。在本文中，我们提出了一种环绕方法，以合并来自多个周围视图的信息，以预测跨相机的深度图。具体来说，我们采用联合网络来处理所有周围的观点，并提出跨视图变压器，从多个视图中有效融合信息。我们应用跨视图自我注意力，有效地实现多相机特征图之间的全局相互作用。与自我监督的单眼深度估计不同，我们能够预测给定多相机外部矩阵的现实世界量表。为了实现这一目标，我们采用了两框结构，从而提取尺度感知的伪深度以预处理模型。此外，我们没有预测每个摄像机的自我运动，而是估计车辆的普遍自我运动并将其传输到每种视图中以实现多视图的自我运动一致性。在实验中，我们的方法在具有挑战性的多相机深度估计数据集DDAD和NUSCENES上实现了最新的性能。

从单目视频重建3D网格的关键元素之一是生成每个帧的深度图。然而，在结肠镜检查视频重建的应用中，产生良好质量的深度估计是具有挑战性的。神经网络可以容易地被光度分散注意力欺骗，或者不能捕获结肠表面的复杂形状，预测导致破碎网格的缺陷形状。旨在从根本上提高结肠镜检查3D重建的深度估计质量，在这项工作中，我们设计了一系列培训损失来应对结肠镜检查数据的特殊挑战。为了更好的培训，使用深度和表面正常信息开发了一组几何一致性目标。而且，经典的光度损耗延伸，具有特征匹配以补偿照明噪声。随着足够强大的培训损失，我们的自我监督框架命名为COLLE，与利用先前的深度知识相比，我们的自我监督框架能够产生更好的结肠镜检查数据地图。用于重建，我们的网络能够实时重建高质量的结肠网格，而无需任何后处理，使其成为第一个在临床上适用。

近年来，由于它在机器人技术和自主驾驶中的应用，因此自我监督的单眼深度估计已成为一项激烈研究的主题。最近的许多工作都集中在通过提高体系结构复杂性来改善深度估计。本文表明，也可以通过改善学习过程而不是提高模型复杂性来实现最先进的绩效。更具体地说，我们建议（i）仅在训练期间对前几个时期使用不变姿势损失，（ii）训练时忽略小的潜在动态物体，（iii）采用基于外观的方法分别估算物体姿势，以实现真正动态的姿势对象。我们证明这些简化将GPU的内存使用量减少了29％，并导致定性和定量改进的深度图

除了学习基于外观的特征外，多框架深度估计还通过特征匹配利用图像之间的几何关系来改善单帧方法。在本文中，我们重新访问了与自我监督的单眼深度估计的匹配，并提出了一种新颖的变压器体系结构，以生成成本量。我们使用深度污染的表现采样来选择匹配的候选者，并通过一系列自我和跨注意层来完善预测。这些层增强了像素特征之间的匹配概率，改善了容易歧义和局部最小值的标准相似性指标。精制的成本量被解码为深度估计，整个管道仅使用光度目标从视频端到端训练。 Kitti和DDAD数据集的实验表明，我们的深度构建体在自我监督的单眼估计中建立了新的最新技术，甚至具有高度专业的监督单帧体系结构竞争。我们还表明，我们学到的跨意义网络产生可以在数据集中转移的表示形式，从而提高了训练策略的有效性。项目页面：https：//sites.google.com/tri.global/depthformer

Photometric differences are widely used as supervision signals to train neural networks for estimating depth and camera pose from unlabeled monocular videos. However, this approach is detrimental for model optimization because occlusions and moving objects in a scene violate the underlying static scenario assumption. In addition, pixels in textureless regions or less discriminative pixels hinder model training. To solve these problems, in this paper, we deal with moving objects and occlusions utilizing the difference of the flow fields and depth structure generated by affine transformation and view synthesis, respectively. Secondly, we mitigate the effect of textureless regions on model optimization by measuring differences between features with more semantic and contextual information without adding networks. In addition, although the bidirectionality component is used in each sub-objective function, a pair of images are reasoned about only once, which helps reduce overhead. Extensive experiments and visual analysis demonstrate the effectiveness of the proposed method, which outperform existing state-of-the-art self-supervised methods under the same conditions and without introducing additional auxiliary information.