诸如深度感知和语义分割的密集预测任务是计算机视觉中具有具体拓扑描述的重要应用，其在将图像划分到连接的组件或估计与图像中的对象相对应的少量局部极值的函数来估计函数。我们基于持续同源性的拓扑正常化形式，可用于具有这些拓扑描述的密集预测任务。实验结果表明，输出拓扑也可以出现在培训的神经网络的内部激活中，允许在训练期间新颖的拓扑正则化对神经网络的内部状态，降低正规化的计算成本。我们证明，内部激活的这种拓扑正规化导致了几个问题和架构的收敛性和测试基准。

Monocular depth estimation can play an important role in addressing the issue of deriving scene geometry from 2D images. It has been used in a variety of industries, including robots, self-driving cars, scene comprehension, 3D reconstructions, and others. The goal of our method is to create a lightweight machine-learning model in order to predict the depth value of each pixel given only a single RGB image as input with the Unet structure of the image segmentation network. We use the NYU Depth V2 dataset to test the structure and compare the result with other methods. The proposed method achieves relatively high accuracy and low rootmean-square error.

建立新型观点综合的最近进展后，我们提出了改善单眼深度估计的应用。特别是，我们提出了一种在三个主要步骤中分开的新颖训练方法。首先，单眼深度网络的预测结果被扭转到额外的视点。其次，我们应用一个额外的图像综合网络，其纠正并提高了翘曲的RGB图像的质量。通过最小化像素-WISE RGB重建误差，该网络的输出需要尽可能类似地查看地面真实性视图。第三，我们将相同的单眼深度估计重新应用于合成的第二视图点，并确保深度预测与相关的地面真理深度一致。实验结果证明，我们的方法在Kitti和Nyu-Deaft-V2数据集上实现了最先进的或可比性，具有轻量级和简单的香草U-Net架构。

深度完成旨在预测从深度传感器（例如Lidars）中捕获的极稀疏图的密集像素深度。它在各种应用中起着至关重要的作用，例如自动驾驶，3D重建，增强现实和机器人导航。基于深度学习的解决方案已经证明了这项任务的最新成功。在本文中，我们首次提供了全面的文献综述，可帮助读者更好地掌握研究趋势并清楚地了解当前的进步。我们通过通过对现有方法进行分类的新型分类法提出建议，研究网络体系结构，损失功能，基准数据集和学习策略的设计方面的相关研究。此外，我们在包括室内和室外数据集（包括室内和室外数据集）上进行了三个广泛使用基准测试的模型性能进行定量比较。最后，我们讨论了先前作品的挑战，并为读者提供一些有关未来研究方向的见解。

本文提出了一个开放而全面的框架，以系统地评估对自我监督单眼估计的最新贡献。这包括训练，骨干，建筑设计选择和损失功能。该领域的许多论文在建筑设计或损失配方中宣称新颖性。但是，简单地更新历史系统的骨干会导致25％的相对改善，从而使其胜过大多数现有系统。对该领域论文的系统评估并不直接。在以前的论文中比较类似于类似的需要，这意味着评估协议中的长期错误在现场无处不在。许多论文可能不仅针对特定数据集进行了优化，而且还针对数据和评估标准的错误。为了帮助该领域的未来研究，我们发布了模块化代码库，可以轻松评估针对校正的数据和评估标准的替代设计决策。我们重新实施，验证和重新评估16个最先进的贡献，并引入一个新的数据集（SYNS-Patches），其中包含各种自然和城市场景中的密集室外深度地图。这允许计算复杂区域（例如深度边界）的信息指标。

这些年来，展示技术已经发展。开发实用的HDR捕获，处理和显示解决方案以将3D技术提升到一个新的水平至关重要。多曝光立体声图像序列的深度估计是开发成本效益3D HDR视频内容的重要任务。在本文中，我们开发了一种新颖的深度体系结构，以进行多曝光立体声深度估计。拟议的建筑有两个新颖的组成部分。首先，对传统立体声深度估计中使用的立体声匹配技术进行了修改。对于我们体系结构的立体深度估计部分，部署了单一到stereo转移学习方法。拟议的配方规避了成本量构造的要求，该要求由基于重新编码的单码编码器CNN取代，具有不同的重量以进行功能融合。基于有效网络的块用于学习差异。其次，我们使用强大的视差特征融合方法组合了从不同暴露水平上从立体声图像获得的差异图。使用针对不同质量度量计算的重量图合并在不同暴露下获得的差异图。获得的最终预测差异图更强大，并保留保留深度不连续性的最佳功能。提出的CNN具有使用标准动态范围立体声数据或具有多曝光低动态范围立体序列的训练的灵活性。在性能方面，所提出的模型超过了最新的单眼和立体声深度估计方法，无论是定量还是质量地，在具有挑战性的场景流以及暴露的Middlebury立体声数据集上。该体系结构在复杂的自然场景中表现出色，证明了其对不同3D HDR应用的有用性。

现代计算机视觉已超越了互联网照片集的领域，并进入了物理世界，通过非结构化的环境引导配备摄像头的机器人和自动驾驶汽车。为了使这些体现的代理与现实世界对象相互作用，相机越来越多地用作深度传感器，重建了各种下游推理任务的环境。机器学习辅助的深度感知或深度估计会预测图像中每个像素的距离。尽管已经在深入估算中取得了令人印象深刻的进步，但仍然存在重大挑战：（1）地面真相深度标签很难大规模收集，（2）通常认为相机信息是已知的，但通常是不可靠的，并且（3）限制性摄像机假设很常见，即使在实践中使用了各种各样的相机类型和镜头。在本论文中，我们专注于放松这些假设，并描述将相机变成真正通用深度传感器的最终目标的贡献。

单眼深度估计和语义分割是场景理解的两个基本目标。由于任务交互的优点，许多作品研究了联合任务学习算法。但是，大多数现有方法都无法充分利用语义标签，忽略提供的上下文结构，并且仅使用它们来监督分段拆分的预测，这限制了两个任务的性能。在本文中，我们提出了一个网络注入了上下文信息（CI-Net）来解决问题。具体而言，我们在编码器中引入自我关注块以产生注意图。通过由语义标签创建的理想注意图的监督，网络嵌入了上下文信息，使得它可以更好地理解场景并利用相关特征来进行准确的预测。此外，构造了一个特征共享模块，以使任务特征深入融合，并且设计了一致性损耗，以使特征相互引导。我们在NYU-Deaft-V2和Sun-RGBD数据集上评估所提出的CI-Net。实验结果验证了我们所提出的CI-Net可以有效提高语义分割和深度估计的准确性。

Although cameras are ubiquitous, robotic platforms typically rely on active sensors like LiDAR for direct 3D perception. In this work, we propose a novel self-supervised monocular depth estimation method combining geometry with a new deep network, PackNet, learned only from unlabeled monocular videos. Our architecture leverages novel symmetrical packing and unpacking blocks to jointly learn to compress and decompress detail-preserving representations using 3D convolutions. Although self-supervised, our method outperforms other self, semi, and fully supervised methods on the KITTI benchmark. The 3D inductive bias in PackNet enables it to scale with input resolution and number of parameters without overfitting, generalizing better on out-of-domain data such as the NuScenes dataset. Furthermore, it does not require large-scale supervised pretraining on ImageNet and can run in real-time. Finally, we release DDAD (Dense Depth for Automated Driving), a new urban driving dataset with more challenging and accurate depth evaluation, thanks to longer-range and denser ground-truth depth generated from high-density LiDARs mounted on a fleet of self-driving cars operating world-wide. †

深度估计的自我监督学习在图像序列中使用几何体进行监督，并显示有前途的结果。与许多计算机视觉任务一样，深度网络性能是通过从图像中学习准确的空间和语义表示的能力来确定。因此，利用用于深度估计的语义分割网络是自然的。在这项工作中，基于一个发达的语义分割网络HRNET，我们提出了一种新颖的深度估计网络差异，可以利用下式采样过程和上采样过程。通过应用特征融合和注意机制，我们所提出的方法优于基准基准测试的最先进的单眼深度估计方法。我们的方法还展示了更高分辨率培训数据的潜力。我们通过建立一个挑战性案件的测试集，提出了一个额外的扩展评估策略，经验从标准基准源于标准基准。

深度估计是3D重建的具有挑战性的任务，以提高环境意识的准确性感测。这项工作带来了一系列改进的新解决方案，与现有方法相比，增加了一系列改进，这增加了对深度图的定量和定性理解。最近，卷积神经网络（CNN）展示了估计单眼图象的深度图的非凡能力。然而，传统的CNN不支持拓扑结构，它们只能在具有确定尺寸和重量的常规图像区域上工作。另一方面，图形卷积网络（GCN）可以处理非欧几里德数据的卷积，并且它可以应用于拓扑结构内的不规则图像区域。因此，在这项工作中为了保护对象几何外观和分布，我们的目的是利用GCN进行自我监督的深度估计模型。我们的模型包括两个并行自动编码器网络：第一个是一个自动编码器，它取决于Reset-50，并从输入图像和多尺度GCN上提取功能以估计深度图。反过来，第二网络将用于基于Reset-18的两个连续帧之间估计自我运动矢量（即3D姿势）。估计的3D姿势和深度图都将用于构建目标图像。使用与光度，投影和平滑度相关的损耗函数的组合用于应对不良深度预测，并保持对象的不连续性。特别是，我们的方法提供了可比性和有前途的结果，在公共基准和Make3D数据集中的高预测精度为89％，与最先进的解决方案相比，培训参数的数量减少了40％。源代码在https://github.com/arminmasoumian/gcndepth.git上公开可用

作为许多自主驾驶和机器人活动的基本组成部分，如自我运动估计，障碍避免和场景理解，单眼深度估计（MDE）引起了计算机视觉和机器人社区的极大关注。在过去的几十年中，已经开发了大量方法。然而，据我们所知，对MDE没有全面调查。本文旨在通过审查1970年至2021年之间发布的197个相关条款来弥补这一差距。特别是，我们为涵盖各种方法的MDE提供了全面的调查，介绍了流行的绩效评估指标并汇总公开的数据集。我们还总结了一些代表方法的可用开源实现，并比较了他们的表演。此外，我们在一些重要的机器人任务中审查了MDE的应用。最后，我们通过展示一些有希望的未来研究方向来结束本文。预计本调查有助于读者浏览该研究领域。

Image segmentation is a key topic in image processing and computer vision with applications such as scene understanding, medical image analysis, robotic perception, video surveillance, augmented reality, and image compression, among many others. Various algorithms for image segmentation have been developed in the literature. Recently, due to the success of deep learning models in a wide range of vision applications, there has been a substantial amount of works aimed at developing image segmentation approaches using deep learning models. In this survey, we provide a comprehensive review of the literature at the time of this writing, covering a broad spectrum of pioneering works for semantic and instance-level segmentation, including fully convolutional pixel-labeling networks, encoder-decoder architectures, multi-scale and pyramid based approaches, recurrent networks, visual attention models, and generative models in adversarial settings. We investigate the similarity, strengths and challenges of these deep learning models, examine the most widely used datasets, report performances, and discuss promising future research directions in this area.

转移学习可以在源任务上重新使用知识来帮助学习目标任务。一种简单的转移学习形式在当前的最先进的计算机视觉模型中是常见的，即预先训练ILSVRC数据集上的图像分类模型，然后在任何目标任务上进行微调。然而，先前对转移学习的系统研究已经有限，并且预计工作的情况并不完全明白。在本文中，我们对跨越不同的图像域进行了广泛的转移学习实验探索（消费者照片，自主驾驶，空中图像，水下，室内场景，合成，特写镜头）和任务类型（语义分割，物体检测，深度估计，关键点检测）。重要的是，这些都是与现代计算机视觉应用相关的复杂的结构化的输出任务类型。总共执行超过2000年的转移学习实验，包括许多来源和目标来自不同的图像域，任务类型或两者。我们系统地分析了这些实验，了解图像域，任务类型和数据集大小对传输学习性能的影响。我们的研究导致了几个见解和具体建议：（1）对于大多数任务，存在一个显着优于ILSVRC'12预培训的来源; （2）图像领域是实现阳性转移的最重要因素; （3）源数据集应该\ \ emph {include}目标数据集的图像域以获得最佳结果; （4）与此同时，当源任务的图像域比目标的图像域时，我们只观察小的负面影响; （5）跨任务类型的转移可能是有益的，但其成功严重依赖于源和目标任务类型。

We address the problem of estimating a high quality dense depth map from a single RGB input image. We start out with a baseline encoder-decoder convolutional neural network architecture and pose the question of how the global processing of information can help improve overall depth estimation. To this end, we propose a transformerbased architecture block that divides the depth range into bins whose center value is estimated adaptively per image. The final depth values are estimated as linear combinations of the bin centers. We call our new building block AdaBins. Our results show a decisive improvement over the state-ofthe-art on several popular depth datasets across all metrics. We also validate the effectiveness of the proposed block with an ablation study and provide the code and corresponding pre-trained weights of the new state-of-the-art model 1 .

神经网络在从颜色图像中提取几何信息方面取得了巨大成功。特别是，在现实世界中，单眼深度估计网络越来越可靠。在这项工作中，我们研究了这种单眼深度估计网络对半透明体积渲染图像的适用性。由于众所周知，在没有明确定义的表面的情况下，深度很难在体积的场景中定义，因此我们考虑在实践中出现的不同深度计算，并比较了在评估期间考虑不同程度的这些不同解释的最先进的单眼深度估计方法渲染中的不透明度。此外，我们研究了如何扩展这些网络以进一步获取颜色和不透明度信息，以便基于单个颜色图像创建场景的分层表示。该分层表示由空间分离的半透明间隔组成，这些间隔是复合到原始输入渲染的。在我们的实验中，我们表明，现有的单眼深度估计方法的适应性在半透明体积渲染上表现良好，该渲染在科学可视化领域具有多种应用。

由于球形摄像机的兴起，单眼360深度估计成为许多应用（例如自主系统）的重要技术。因此，提出了针对单眼360深度估计的最新框架，例如Bifuse中的双预测融合。为了训练这样的框架，需要大量全景以及激光传感器捕获的相应深度地面真相，这极大地增加了数据收集成本。此外，由于这样的数据收集过程是耗时的，因此将这些方法扩展到不同场景的可扩展性成为一个挑战。为此，从360个视频中进行单眼深度估计网络的自我培训是减轻此问题的一种方法。但是，没有现有的框架将双投射融合融合到自我训练方案中，这极大地限制了自我监督的性能，因为Bi-Prodoction Fusion可以利用来自不同投影类型的信息。在本文中，我们建议Bifuse ++探索双投影融合和自我训练场景的组合。具体来说，我们提出了一个新的融合模块和对比度感知的光度损失，以提高Bifuse的性能并提高对现实世界视频的自我训练的稳定性。我们在基准数据集上进行了监督和自我监督的实验，并实现最先进的性能。

深度是自治车辆以感知障碍的重要信息。由于价格相对较低，单目一体相机的小尺寸，从单个RGB图像的深度估计引起了对研究界的兴趣。近年来，深神经网络（DNN）的应用已经显着提高了单眼深度估计（MDE）的准确性。最先进的方法通常设计在复杂和极其深的网络架构之上，需要更多的计算资源，而不使用高端GPU实时运行。虽然一些研究人员试图加速运行速度，但深度估计的准确性降低，因为压缩模型不代表图像。另外，现有方法使用的特征提取器的固有特性导致产生的特征图中的严重空间信息丢失，这也损害了小型图像的深度估计的精度。在本研究中，我们有动力设计一种新颖且有效的卷积神经网络（CNN），其连续地组装两个浅编码器解码器样式子网，以解决这些问题。特别是，我们强调MDE准确性和速度之间的权衡。已经在NYU深度V2，Kitti，Make3D和虚幻数据集上进行了广泛的实验。与拥有极其深层和复杂的架构的最先进的方法相比，所提出的网络不仅可以实现可比性的性能，而且在单个不那么强大的GPU上以更快的速度运行。

跳过连接是编码器网络中的基本单元，能够改善神经网络的特征宣传。但是，大多数带有跳过连接的方法仅连接了编码器和解码器中相同分辨率的连接功能，这忽略了编码器中的信息损失，而图层的进度更深。为了利用编码器较浅层中特征的信息损失，我们提出了一个完整的跳过连接网络（FSCN），以实现单眼深度估计任务。此外，要更接近跳过连接中的功能，我们提出了一个自适应串联模块（ACM）。此外，我们对FSCN和FSCN的室内和室内数据集（即Kitti Dataste和NYU DEPTH DATASET）进行了广泛的实验。

This paper addresses the problem of estimating the depth map of a scene given a single RGB image. We propose a fully convolutional architecture, encompassing residual learning, to model the ambiguous mapping between monocular images and depth maps. In order to improve the output resolution, we present a novel way to efficiently learn feature map up-sampling within the network. For optimization, we introduce the reverse Huber loss that is particularly suited for the task at hand and driven by the value distributions commonly present in depth maps. Our model is composed of a single architecture that is trained end-to-end and does not rely on post-processing techniques, such as CRFs or other additional refinement steps. As a result, it runs in real-time on images or videos. In the evaluation, we show that the proposed model contains fewer parameters and requires fewer training data than the current state of the art, while outperforming all approaches on depth estimation. Code and models are publicly available 5 .