随着深度学习的出现，估计来自单个RGB图像的深度最近受到了很多关注，能够赋予许多不同的应用，从用于计算电影的机器人的路径规划范围。尽管如此，虽然深度地图完全可靠，但对象不连续的估计仍然远非令人满意。这可以有助于卷积运营商自然地聚集在对象不连续性的特征的事实中，导致平滑的过渡而不是明确的边界。因此，为了规避这个问题，我们提出了一种新颖的卷积运营商，明确地定制，以避免不同对象部件的特征聚合。特别地，我们的方法基于借助于超像素估计每个部分深度值。所提出的卷积运算符，我们将“实例卷积”，然后仅在估计的超像素的基础上单独考虑每个对象部分。我们对NYUV2以及IBIMS数据集的评估清楚地展示了在估计遮挡边界周围估算深度的经典卷积上的实例卷积的优越性，同时在其他地方产生了可比结果。代码将在接受时公开提供。

深度完成旨在预测从深度传感器（例如Lidars）中捕获的极稀疏图的密集像素深度。它在各种应用中起着至关重要的作用，例如自动驾驶，3D重建，增强现实和机器人导航。基于深度学习的解决方案已经证明了这项任务的最新成功。在本文中，我们首次提供了全面的文献综述，可帮助读者更好地掌握研究趋势并清楚地了解当前的进步。我们通过通过对现有方法进行分类的新型分类法提出建议，研究网络体系结构，损失功能，基准数据集和学习策略的设计方面的相关研究。此外，我们在包括室内和室外数据集（包括室内和室外数据集）上进行了三个广泛使用基准测试的模型性能进行定量比较。最后，我们讨论了先前作品的挑战，并为读者提供一些有关未来研究方向的见解。

深度是自治车辆以感知障碍的重要信息。由于价格相对较低，单目一体相机的小尺寸，从单个RGB图像的深度估计引起了对研究界的兴趣。近年来，深神经网络（DNN）的应用已经显着提高了单眼深度估计（MDE）的准确性。最先进的方法通常设计在复杂和极其深的网络架构之上，需要更多的计算资源，而不使用高端GPU实时运行。虽然一些研究人员试图加速运行速度，但深度估计的准确性降低，因为压缩模型不代表图像。另外，现有方法使用的特征提取器的固有特性导致产生的特征图中的严重空间信息丢失，这也损害了小型图像的深度估计的精度。在本研究中，我们有动力设计一种新颖且有效的卷积神经网络（CNN），其连续地组装两个浅编码器解码器样式子网，以解决这些问题。特别是，我们强调MDE准确性和速度之间的权衡。已经在NYU深度V2，Kitti，Make3D和虚幻数据集上进行了广泛的实验。与拥有极其深层和复杂的架构的最先进的方法相比，所提出的网络不仅可以实现可比性的性能，而且在单个不那么强大的GPU上以更快的速度运行。

This paper addresses the problem of estimating the depth map of a scene given a single RGB image. We propose a fully convolutional architecture, encompassing residual learning, to model the ambiguous mapping between monocular images and depth maps. In order to improve the output resolution, we present a novel way to efficiently learn feature map up-sampling within the network. For optimization, we introduce the reverse Huber loss that is particularly suited for the task at hand and driven by the value distributions commonly present in depth maps. Our model is composed of a single architecture that is trained end-to-end and does not rely on post-processing techniques, such as CRFs or other additional refinement steps. As a result, it runs in real-time on images or videos. In the evaluation, we show that the proposed model contains fewer parameters and requires fewer training data than the current state of the art, while outperforming all approaches on depth estimation. Code and models are publicly available 5 .

单眼深度估计和语义分割是场景理解的两个基本目标。由于任务交互的优点，许多作品研究了联合任务学习算法。但是，大多数现有方法都无法充分利用语义标签，忽略提供的上下文结构，并且仅使用它们来监督分段拆分的预测，这限制了两个任务的性能。在本文中，我们提出了一个网络注入了上下文信息（CI-Net）来解决问题。具体而言，我们在编码器中引入自我关注块以产生注意图。通过由语义标签创建的理想注意图的监督，网络嵌入了上下文信息，使得它可以更好地理解场景并利用相关特征来进行准确的预测。此外，构造了一个特征共享模块，以使任务特征深入融合，并且设计了一致性损耗，以使特征相互引导。我们在NYU-Deaft-V2和Sun-RGBD数据集上评估所提出的CI-Net。实验结果验证了我们所提出的CI-Net可以有效提高语义分割和深度估计的准确性。

透明的物体广泛用于工业自动化和日常生活中。但是，强大的视觉识别和对透明物体的感知一直是一个主要挑战。目前，由于光的折射和反射，大多数商用级深度摄像机仍然不擅长感知透明物体的表面。在这项工作中，我们从单个RGB-D输入中提出了一种基于变压器的透明对象深度估计方法。我们观察到，变压器的全球特征使得更容易提取上下文信息以执行透明区域的深度估计。此外，为了更好地增强细粒度的特征，功能融合模块（FFM）旨在帮助连贯的预测。我们的经验证据表明，与以前的最新基于卷积的数据集相比，我们的模型在最近的流行数据集中有了重大改进，例如RMSE增长25％，RER增长21％。广泛的结果表明，我们的基于变压器的模型可以更好地汇总对象的RGB和不准确的深度信息，以获得更好的深度表示。我们的代码和预培训模型将在https://github.com/yuchendoudou/tode上找到。

作为许多自主驾驶和机器人活动的基本组成部分，如自我运动估计，障碍避免和场景理解，单眼深度估计（MDE）引起了计算机视觉和机器人社区的极大关注。在过去的几十年中，已经开发了大量方法。然而，据我们所知，对MDE没有全面调查。本文旨在通过审查1970年至2021年之间发布的197个相关条款来弥补这一差距。特别是，我们为涵盖各种方法的MDE提供了全面的调查，介绍了流行的绩效评估指标并汇总公开的数据集。我们还总结了一些代表方法的可用开源实现，并比较了他们的表演。此外，我们在一些重要的机器人任务中审查了MDE的应用。最后，我们通过展示一些有希望的未来研究方向来结束本文。预计本调查有助于读者浏览该研究领域。

对于单眼360图像，深度估计是一个具有挑战性的，因为失真沿纬度增加。为了感知失真，现有方法致力于设计深层且复杂的网络体系结构。在本文中，我们提供了一种新的观点，该视角为360图像构建了可解释且稀疏的表示形式。考虑到几何结构在深度估计中的重要性，我们利用Contourlet变换来捕获光谱域中的显式几何提示，并将其与空间域中的隐含提示集成在一起。具体而言，我们提出了一个由卷积神经网络和Contourlet变换分支组成的神经轮廓网络。在编码器阶段，我们设计了一个空间光谱融合模块，以有效融合两种类型的提示。与编码器相反，我们采用了逆向方形变换，并通过学习的低通子带和带通道的定向子带来构成解码器中的深度。在三个流行的全景图像数据集上进行的实验表明，所提出的方法的表现优于最先进的方案，其收敛速度更快。代码可在https://github.com/zhijieshen-bjtu/neural-contourlet-network-for-mode上找到。

在本文中，我们的目标是在各种照明条件下解决复杂场景中一致的深度预测问题。现有的基于RGB-D传感器或虚拟渲染的室内数据集具有两个关键限制 - 稀疏深度映射（NYU深度V2）和非现实照明（Sun CG，SceneNet RGB-D）。我们建议使用Internet 3D室内场景并手动调整其照明，以呈现照片逼真的RGB照片及其相应的深度和BRDF地图，获取名为Vari DataSet的新室内深度数据集。通过在编码特征上应用深度可分离扩张的卷积来处理全局信息并减少参数，提出了一个名为DCA的简单卷积块。我们对这些扩张的特征进行横向关注，以保留不同照明下深度预测的一致性。通过将其与Vari数据集上的当前最先进的方法进行比较来评估我们的方法，并且在我们的实验中观察到显着改善。我们还开展了融合研究，Finetune我们的NYU深度V2模型，并评估了真实数据，以进一步验证我们的DCA块的有效性。代码，预先训练的权重和vari数据集是开放的。

尽管在过去几年中取得了重大进展，但使用单眼图像进行深度估计仍然存在挑战。首先，训练度量深度预测模型的训练是不算气的，该预测模型可以很好地推广到主要由于训练数据有限的不同场景。因此，研究人员建立了大规模的相对深度数据集，这些数据集更容易收集。但是，由于使用相对深度数据训练引起的深度转移，现有的相对深度估计模型通常无法恢复准确的3D场景形状。我们在此处解决此问题，并尝试通过对大规模相对深度数据进行训练并估算深度转移来估计现场形状。为此，我们提出了一个两阶段的框架，该框架首先将深度预测到未知量表并从单眼图像转移，然后利用3D点云数据来预测深度​​移位和相机的焦距，使我们能够恢复恢复3D场景形状。由于两个模块是单独训练的，因此我们不需要严格配对的培训数据。此外，我们提出了图像级的归一化回归损失和基于正常的几何损失，以通过相对深度注释来改善训练。我们在九个看不见的数据集上测试我们的深度模型，并在零拍摄评估上实现最先进的性能。代码可用：https：//git.io/depth

深度图用于从3D渲染到2D图像效应（例如散景）的广泛应用。但是，单个图像深度估计（侧）模型预测的人通常无法捕获对象中的孤立孔和/或具有不准确的边界区域。同时，使用商业自动掩蔽工具或现成的分割和垫子的方法，甚至是通过手动编辑，使用商业自动掩盖工具或现成的方法更容易获得。因此，在本文中，我们提出了一个新的掩盖引导深度细化的问题，该问题利用通用掩模来完善侧面模型的深度预测。我们的框架执行了分层的细化和介入/架设，将深度图分解为两个由掩码和倒置面罩表示的单独的层。由于具有深度和掩码注释的数据集很少，因此我们提出了一种使用任意掩码和RGB-D数据集的自我监督学习方案。我们从经验上表明，我们的方法对不同类型的掩模和初始深度预测具有鲁棒性，可以准确地完善内部和外掩模边界区域的深度值。我们通过消融研究进一步分析了我们的模型，并证明了实际应用的结果。可以在https://sooyekim.github.io/maskdepth/上找到更多信息。

自我监督的学习已经为单眼深度估计显示出非常有希望的结果。场景结构和本地细节都是高质量深度估计的重要线索。最近的作品遭受了场景结构的明确建模，并正确处理细节信息，这导致了预测结果中的性能瓶颈和模糊人工制品。在本文中，我们提出了具有两个有效贡献的通道 - 明智的深度估计网络（Cadepth-Net）：1）结构感知模块采用自我关注机制来捕获远程依赖性并聚合在信道中的识别特征尺寸，明确增强了场景结构的感知，获得了更好的场景理解和丰富的特征表示。 2）细节强调模块重新校准通道 - 方向特征映射，并选择性地强调信息性功能，旨在更有效地突出至关重要的本地细节信息和熔断器不同的级别功能，从而更精确，更锐化深度预测。此外，广泛的实验验证了我们方法的有效性，并表明我们的模型在基蒂基准和Make3D数据集中实现了最先进的结果。

Self-supervised monocular depth estimation has shown impressive results in static scenes. It relies on the multi-view consistency assumption for training networks, however, that is violated in dynamic object regions and occlusions. Consequently, existing methods show poor accuracy in dynamic scenes, and the estimated depth map is blurred at object boundaries because they are usually occluded in other training views. In this paper, we propose SC-DepthV3 for addressing the challenges. Specifically, we introduce an external pretrained monocular depth estimation model for generating single-image depth prior, namely pseudo-depth, based on which we propose novel losses to boost self-supervised training. As a result, our model can predict sharp and accurate depth maps, even when training from monocular videos of highly-dynamic scenes. We demonstrate the significantly superior performance of our method over previous methods on six challenging datasets, and we provide detailed ablation studies for the proposed terms. Source code and data will be released at https://github.com/JiawangBian/sc_depth_pl

本文提出了一个开放而全面的框架，以系统地评估对自我监督单眼估计的最新贡献。这包括训练，骨干，建筑设计选择和损失功能。该领域的许多论文在建筑设计或损失配方中宣称新颖性。但是，简单地更新历史系统的骨干会导致25％的相对改善，从而使其胜过大多数现有系统。对该领域论文的系统评估并不直接。在以前的论文中比较类似于类似的需要，这意味着评估协议中的长期错误在现场无处不在。许多论文可能不仅针对特定数据集进行了优化，而且还针对数据和评估标准的错误。为了帮助该领域的未来研究，我们发布了模块化代码库，可以轻松评估针对校正的数据和评估标准的替代设计决策。我们重新实施，验证和重新评估16个最先进的贡献，并引入一个新的数据集（SYNS-Patches），其中包含各种自然和城市场景中的密集室外深度地图。这允许计算复杂区域（例如深度边界）的信息指标。

深度估计功能有助于3D识别。商品级深度摄像机能够实时捕获深度和颜色图像。但是，传感器不能正确扫描光泽，透明或远处的表面。结果，感应深度的增强和恢复是一项重要任务。深度完成旨在填补传感器无法检测到的孔，这对于机器学习仍然是一项复杂的任务。传统的手工调整方法已达到其极限，而基于神经网络的方法倾向于从周围的深度值中复制和插入输出。这导致边界模糊，深度图的结构丢失了。因此，我们的主要工作是设计一个端到端网络，以改善完成深度图，同时保持边缘清晰度。我们利用以前在图像介入字段中使用的自我发项机制在每层卷积层中提取更多有用的信息，从而增强了完整的深度图。此外，我们提出了边界一致性概念，以增强深度图质量和结构。实验结果验证了我们的自我注意力和边界一致性模式的有效性，这表现优于先前在Matterport3D数据集上的最新深度完成工作。我们的代码可在https://github.com/tsunghan-wu/depth-completion上公开获取。

深度估计是3D重建的具有挑战性的任务，以提高环境意识的准确性感测。这项工作带来了一系列改进的新解决方案，与现有方法相比，增加了一系列改进，这增加了对深度图的定量和定性理解。最近，卷积神经网络（CNN）展示了估计单眼图象的深度图的非凡能力。然而，传统的CNN不支持拓扑结构，它们只能在具有确定尺寸和重量的常规图像区域上工作。另一方面，图形卷积网络（GCN）可以处理非欧几里德数据的卷积，并且它可以应用于拓扑结构内的不规则图像区域。因此，在这项工作中为了保护对象几何外观和分布，我们的目的是利用GCN进行自我监督的深度估计模型。我们的模型包括两个并行自动编码器网络：第一个是一个自动编码器，它取决于Reset-50，并从输入图像和多尺度GCN上提取功能以估计深度图。反过来，第二网络将用于基于Reset-18的两个连续帧之间估计自我运动矢量（即3D姿势）。估计的3D姿势和深度图都将用于构建目标图像。使用与光度，投影和平滑度相关的损耗函数的组合用于应对不良深度预测，并保持对象的不连续性。特别是，我们的方法提供了可比性和有前途的结果，在公共基准和Make3D数据集中的高预测精度为89％，与最先进的解决方案相比，培训参数的数量减少了40％。源代码在https://github.com/arminmasoumian/gcndepth.git上公开可用

稀疏深度测量在许多应用中广泛可用，例如增强现实，视觉惯性机器人和机器人，配备低成本深度传感器。虽然这种稀疏的深度样本适用于运动跟踪等某些应用，但是完整的深度图通常优选用于更广泛的应用，例如3D对象识别，三维重建和自主驾驶。尽管近期从具有更深的神经网络的单个RGB图像深度预测的进步，但现有方法不会产生可靠的实际使用结果。在这项工作中，我们提出了一种具有后优化后的神经网络，它将RGB图像和稀疏深度样本作为输入，并预测完整的深度图。我们提出了三项主要贡献来推进最先进的：一个名为EDNET的改进的骨干网络架构，一个语义边缘加权损失功能和语义网格变形优化方法。我们的评估结果优于在室内和室外数据集中一致地表达现有的工作，并且在NYU-Deaft-V2数据集上的200个稀疏样本的相同设置下，显着降低平均平均误差高达19.5％。

尽管现有的单眼深度估计方法取得了长足的进步，但由于网络的建模能力有限和规模歧义问题，预测单个图像的准确绝对深度图仍然具有挑战性。在本文中，我们介绍了一个完全视觉上的基于注意力的深度（Vadepth）网络，在该网络中，将空间注意力和通道注意都应用于所有阶段。通过在远距离沿空间和通道维度沿空间和通道维度的特征的依赖关系连续提取，Vadepth网络可以有效地保留重要的细节并抑制干扰特征，以更好地感知场景结构，以获得更准确的深度估计。此外，我们利用几何先验来形成规模约束，以进行比例感知模型培训。具体而言，我们使用摄像机和由地面点拟合的平面之间的距离构建了一种新颖的规模感知损失，该平面与图像底部中间的矩形区域的像素相对应。 Kitti数据集的实验结果表明，该体系结构达到了最新性能，我们的方法可以直接输出绝对深度而无需后处理。此外，我们在Seasondepth数据集上的实验还证明了我们模型对多个看不见的环境的鲁棒性。

建立新型观点综合的最近进展后，我们提出了改善单眼深度估计的应用。特别是，我们提出了一种在三个主要步骤中分开的新颖训练方法。首先，单眼深度网络的预测结果被扭转到额外的视点。其次，我们应用一个额外的图像综合网络，其纠正并提高了翘曲的RGB图像的质量。通过最小化像素-WISE RGB重建误差，该网络的输出需要尽可能类似地查看地面真实性视图。第三，我们将相同的单眼深度估计重新应用于合成的第二视图点，并确保深度预测与相关的地面真理深度一致。实验结果证明，我们的方法在Kitti和Nyu-Deaft-V2数据集上实现了最先进的或可比性，具有轻量级和简单的香草U-Net架构。

Monocular depth estimation is a challenging problem on which deep neural networks have demonstrated great potential. However, depth maps predicted by existing deep models usually lack fine-grained details due to the convolution operations and the down-samplings in networks. We find that increasing input resolution is helpful to preserve more local details while the estimation at low resolution is more accurate globally. Therefore, we propose a novel depth map fusion module to combine the advantages of estimations with multi-resolution inputs. Instead of merging the low- and high-resolution estimations equally, we adopt the core idea of Poisson fusion, trying to implant the gradient domain of high-resolution depth into the low-resolution depth. While classic Poisson fusion requires a fusion mask as supervision, we propose a self-supervised framework based on guided image filtering. We demonstrate that this gradient-based composition performs much better at noisy immunity, compared with the state-of-the-art depth map fusion method. Our lightweight depth fusion is one-shot and runs in real-time, making our method 80X faster than a state-of-the-art depth fusion method. Quantitative evaluations demonstrate that the proposed method can be integrated into many fully convolutional monocular depth estimation backbones with a significant performance boost, leading to state-of-the-art results of detail enhancement on depth maps.