我们通过使用多尺度边缘损耗，通过使用域改性和深度估计来提出一种从单次单眼镜片图像中的深度估计方法。我们采用了两步估计过程，包括来自未配对数据和深度估计的兰伯语表面平移。器官表面上的纹理和镜面反射降低了深度估计的准确性。我们将Lambertian表面翻译应用于内窥镜图像以消除这些纹理和反射。然后，我们通过使用完全卷积网络（FCN）来估计深度。在FCN的训练期间，改善估计图像和地面真理深度图像之间的对象边缘相似性对于获得更好的结果是重要的。我们介绍了一个Muti-Scale边缘损耗功能，以提高深度估计的准确性。我们定量评估了使用真实的结肠镜片图像的所提出的方法。估计的深度值与真实深度值成比例。此外，我们将估计的深度图像应用于使用卷积神经网络自动解剖学位置识别的结肠镜图像。通过使用估计的深度图像，网络的识别精度从69.2％提高到74.1％。

本文提出了一种用于内窥镜仿真系统中的可视化的现实图像生成方法。在许多医院进行内窥镜诊断和治疗。为了减少与内窥镜插入相关的并发症，内窥镜仿真系统用于内窥镜插入的训练或排练。然而，电流模拟系统产生非现实的虚拟内窥镜图像。为了提高仿真系统的值，需要提高其生成的图像的现实。我们提出了一种用于内窥镜仿真系统的现实图像生成方法。通过使用来自患者的CT体积的体积渲染方法来生成虚拟内窥镜图像。我们使用虚拟到实图像域翻译技术改善虚拟内窥镜图像的现实。图像域转换器实现为完全卷积网络（FCN）。我们通过最小化循环一致性损失函数来训练FCN。使用未配对的虚拟和真实内窥镜图像训练FCN。为了获得高质量的图像域翻译结果，我们执行将图像清理到真实内窥镜图像集。我们测试了使用浅U-Net，U-Net，Deep U-Net和U-Net作为图像域转换器的剩余单元。具有剩余单位的深U-Net和U-Net产生了非常现实的图像。

这些年来，展示技术已经发展。开发实用的HDR捕获，处理和显示解决方案以将3D技术提升到一个新的水平至关重要。多曝光立体声图像序列的深度估计是开发成本效益3D HDR视频内容的重要任务。在本文中，我们开发了一种新颖的深度体系结构，以进行多曝光立体声深度估计。拟议的建筑有两个新颖的组成部分。首先，对传统立体声深度估计中使用的立体声匹配技术进行了修改。对于我们体系结构的立体深度估计部分，部署了单一到stereo转移学习方法。拟议的配方规避了成本量构造的要求，该要求由基于重新编码的单码编码器CNN取代，具有不同的重量以进行功能融合。基于有效网络的块用于学习差异。其次，我们使用强大的视差特征融合方法组合了从不同暴露水平上从立体声图像获得的差异图。使用针对不同质量度量计算的重量图合并在不同暴露下获得的差异图。获得的最终预测差异图更强大，并保留保留深度不连续性的最佳功能。提出的CNN具有使用标准动态范围立体声数据或具有多曝光低动态范围立体序列的训练的灵活性。在性能方面，所提出的模型超过了最新的单眼和立体声深度估计方法，无论是定量还是质量地，在具有挑战性的场景流以及暴露的Middlebury立体声数据集上。该体系结构在复杂的自然场景中表现出色，证明了其对不同3D HDR应用的有用性。

为了有效地使用导航系统，诸如深度传感器的距离信息传感器是必不可少的。由于深度传感器难以在内窥镜检查中使用，因此许多组提出了一种使用卷积神经网络的方法。在本文中，通过通过CT上扫描模型分段的结肠模型通过内窥镜模拟产生深度图像和内窥镜图像的基础事实。可以使用SIM-to-Real方法使用Corpergan用于内窥镜检查图像来创建照片逼真的模拟图像。通过训练生成的数据集，我们提出了定量内窥镜检查深度估计网络。该方法代表了比现有无监督的基于培训的结果更好的评估得分。

Monocular depth estimation can play an important role in addressing the issue of deriving scene geometry from 2D images. It has been used in a variety of industries, including robots, self-driving cars, scene comprehension, 3D reconstructions, and others. The goal of our method is to create a lightweight machine-learning model in order to predict the depth value of each pixel given only a single RGB image as input with the Unet structure of the image segmentation network. We use the NYU Depth V2 dataset to test the structure and compare the result with other methods. The proposed method achieves relatively high accuracy and low rootmean-square error.

神经网络在从颜色图像中提取几何信息方面取得了巨大成功。特别是，在现实世界中，单眼深度估计网络越来越可靠。在这项工作中，我们研究了这种单眼深度估计网络对半透明体积渲染图像的适用性。由于众所周知，在没有明确定义的表面的情况下，深度很难在体积的场景中定义，因此我们考虑在实践中出现的不同深度计算，并比较了在评估期间考虑不同程度的这些不同解释的最先进的单眼深度估计方法渲染中的不透明度。此外，我们研究了如何扩展这些网络以进一步获取颜色和不透明度信息，以便基于单个颜色图像创建场景的分层表示。该分层表示由空间分离的半透明间隔组成，这些间隔是复合到原始输入渲染的。在我们的实验中，我们表明，现有的单眼深度估计方法的适应性在半透明体积渲染上表现良好，该渲染在科学可视化领域具有多种应用。

Learning based methods have shown very promising results for the task of depth estimation in single images. However, most existing approaches treat depth prediction as a supervised regression problem and as a result, require vast quantities of corresponding ground truth depth data for training. Just recording quality depth data in a range of environments is a challenging problem. In this paper, we innovate beyond existing approaches, replacing the use of explicit depth data during training with easier-to-obtain binocular stereo footage.We propose a novel training objective that enables our convolutional neural network to learn to perform single image depth estimation, despite the absence of ground truth depth data. Exploiting epipolar geometry constraints, we generate disparity images by training our network with an image reconstruction loss. We show that solving for image reconstruction alone results in poor quality depth images. To overcome this problem, we propose a novel training loss that enforces consistency between the disparities produced relative to both the left and right images, leading to improved performance and robustness compared to existing approaches. Our method produces state of the art results for monocular depth estimation on the KITTI driving dataset, even outperforming supervised methods that have been trained with ground truth depth.

随着计算智能算法的发展，由扭曲的光度一致性驱动的无监督的单眼深度和姿势估计框架在白天场景中表现出色。尽管在一些具有挑战性的环境中，例如夜晚和雨天之夜，但由于复杂的照明和反射，基本的光度一致性假设是站不住脚的，因此上述无监督的框架不能直接应用于这些复杂的情况。在本文中，我们研究了高度复杂的情景中无监督的单眼深度估计的问题，并通过采用基于图像传输的域适应框架来解决这个具有挑战性的问题。我们适应了在白天场景中训练的深度模型，适用于夜间场景，并且对特征空间和输出空间的约束促进了框架，以了解深度解码的关键功能。同时，我们进一步解决了不稳定图像转移质量对域适应的影响，并提出了图像适应方法来评估转移图像的质量并重新进行相应的损失，以提高适应深度模型的性能。广泛的实验显示了所提出的无监督框架在估计高度复杂图像的密集深度图方面的有效性。

作为许多自主驾驶和机器人活动的基本组成部分，如自我运动估计，障碍避免和场景理解，单眼深度估计（MDE）引起了计算机视觉和机器人社区的极大关注。在过去的几十年中，已经开发了大量方法。然而，据我们所知，对MDE没有全面调查。本文旨在通过审查1970年至2021年之间发布的197个相关条款来弥补这一差距。特别是，我们为涵盖各种方法的MDE提供了全面的调查，介绍了流行的绩效评估指标并汇总公开的数据集。我们还总结了一些代表方法的可用开源实现，并比较了他们的表演。此外，我们在一些重要的机器人任务中审查了MDE的应用。最后，我们通过展示一些有希望的未来研究方向来结束本文。预计本调查有助于读者浏览该研究领域。

准确估计深度信息的能力对于许多自主应用来识别包围环境并预测重要对象的深度至关重要。最近使用的技术之一是单眼深度估计，其中深度图从单个图像推断出深度图。本文提高了自我监督的深度学习技术，以进行准确的广义单眼深度估计。主要思想是训练深层模型要考虑不同帧的序列，每个帧都是地理标记的位置信息。这使得模型能够增强给定区域语义的深度估计。我们展示了我们模型改善深度估计结果的有效性。该模型在现实环境中受过培训，结果显示在将位置数据添加到模型训练阶段之后的深度图中的改进。

A significant weakness of most current deep Convolutional Neural Networks is the need to train them using vast amounts of manually labelled data. In this work we propose a unsupervised framework to learn a deep convolutional neural network for single view depth prediction, without requiring a pre-training stage or annotated ground-truth depths. We achieve this by training the network in a manner analogous to an autoencoder. At training time we consider a pair of images, source and target, with small, known camera motion between the two such as a stereo pair. We train the convolutional encoder for the task of predicting the depth map for the source image. To do so, we explicitly generate an inverse warp of the target image using the predicted depth and known inter-view displacement, to reconstruct the source image; the photometric error in the reconstruction is the reconstruction loss for the encoder. The acquisition of this training data is considerably simpler than for equivalent systems, requiring no manual annotation, nor calibration of depth sensor to camera. We show that our network trained on less than half of the KITTI dataset gives comparable performance to that of the state-of-the-art supervised methods for single view depth estimation. 1 1 Find the model and other imformation on the project github page: https://github. com/Ravi-Garg/Unsupervised_Depth_Estimation

深度估计是3D重建的具有挑战性的任务，以提高环境意识的准确性感测。这项工作带来了一系列改进的新解决方案，与现有方法相比，增加了一系列改进，这增加了对深度图的定量和定性理解。最近，卷积神经网络（CNN）展示了估计单眼图象的深度图的非凡能力。然而，传统的CNN不支持拓扑结构，它们只能在具有确定尺寸和重量的常规图像区域上工作。另一方面，图形卷积网络（GCN）可以处理非欧几里德数据的卷积，并且它可以应用于拓扑结构内的不规则图像区域。因此，在这项工作中为了保护对象几何外观和分布，我们的目的是利用GCN进行自我监督的深度估计模型。我们的模型包括两个并行自动编码器网络：第一个是一个自动编码器，它取决于Reset-50，并从输入图像和多尺度GCN上提取功能以估计深度图。反过来，第二网络将用于基于Reset-18的两个连续帧之间估计自我运动矢量（即3D姿势）。估计的3D姿势和深度图都将用于构建目标图像。使用与光度，投影和平滑度相关的损耗函数的组合用于应对不良深度预测，并保持对象的不连续性。特别是，我们的方法提供了可比性和有前途的结果，在公共基准和Make3D数据集中的高预测精度为89％，与最先进的解决方案相比，培训参数的数量减少了40％。源代码在https://github.com/arminmasoumian/gcndepth.git上公开可用

传统的深度传感器产生准确的真实世界深度估计，即使仅在仿真域训练的最先进的学习方法也会超越。由于在模拟域中容易获得地面真理深度，但在真实域中很难获得，因此我们提出了一种利用两个世界的最佳方法的方法。在本文中，我们展示了一个新的框架，ActiveZero，这是一个混合域学习解决方案，适用于不需要真实世界深度注释的活动立体宽度系统。首先，我们通过使用混合域学习策略来证明我们的方法对分发外数据的可转换性。在仿真域中，我们在形状原语数据集上使用监督差异丢失和自我监督损失的组合。相比之下，在真实域中，我们只在数据集中使用自我监督损失，这些损失是从培训仿真数据或测试真实数据的分发。其次，我们的方法介绍了一种名为Temporal IR的自我监督损失，以增加我们在难以感知地区的重新注入的鲁棒性和准确性。最后，我们展示了如何训练该方法的端到端，并且每个模块对于获得最终结果很重要。关于真实数据的广泛定性和定量评估表明了甚至可以击败商业深度传感器的最新状态。

Visual perception plays an important role in autonomous driving. One of the primary tasks is object detection and identification. Since the vision sensor is rich in color and texture information, it can quickly and accurately identify various road information. The commonly used technique is based on extracting and calculating various features of the image. The recent development of deep learning-based method has better reliability and processing speed and has a greater advantage in recognizing complex elements. For depth estimation, vision sensor is also used for ranging due to their small size and low cost. Monocular camera uses image data from a single viewpoint as input to estimate object depth. In contrast, stereo vision is based on parallax and matching feature points of different views, and the application of deep learning also further improves the accuracy. In addition, Simultaneous Location and Mapping (SLAM) can establish a model of the road environment, thus helping the vehicle perceive the surrounding environment and complete the tasks. In this paper, we introduce and compare various methods of object detection and identification, then explain the development of depth estimation and compare various methods based on monocular, stereo, and RDBG sensors, next review and compare various methods of SLAM, and finally summarize the current problems and present the future development trends of vision technologies.

基于图像的3D重建是计算机视觉中最重要的任务之一，在过去的几十年中提出了许多解决方案。目的是从图像直接提取场景对象的几何形状。然后可以将它们用于广泛的应用程序，例如电影，游戏，虚拟现实等。最近，已经提出了深度学习技术来解决这个问题。他们依靠对大量数据进行培训，以学会通过深层卷积神经网络在图像之间关联特征，并已被证明超过了传统的程序技术。在本文中，我们通过合并4D相关量来改进[11]的最新两视频结构（SFM）方法，以进行更准确的特征匹配和重建。此外，我们将其扩展到一般的多视图案例，并在复杂的基准数据集DTU [4]上对其进行评估。定量评估和与最先进的多视图3D重建方法的比较证明了其在重建的准确性方面的优势。

尽管在过去几年中取得了重大进展，但使用单眼图像进行深度估计仍然存在挑战。首先，训练度量深度预测模型的训练是不算气的，该预测模型可以很好地推广到主要由于训练数据有限的不同场景。因此，研究人员建立了大规模的相对深度数据集，这些数据集更容易收集。但是，由于使用相对深度数据训练引起的深度转移，现有的相对深度估计模型通常无法恢复准确的3D场景形状。我们在此处解决此问题，并尝试通过对大规模相对深度数据进行训练并估算深度转移来估计现场形状。为此，我们提出了一个两阶段的框架，该框架首先将深度预测到未知量表并从单眼图像转移，然后利用3D点云数据来预测深度​​移位和相机的焦距，使我们能够恢复恢复3D场景形状。由于两个模块是单独训练的，因此我们不需要严格配对的培训数据。此外，我们提出了图像级的归一化回归损失和基于正常的几何损失，以通过相对深度注释来改善训练。我们在九个看不见的数据集上测试我们的深度模型，并在零拍摄评估上实现最先进的性能。代码可用：https：//git.io/depth

尽管现有的单眼深度估计方法取得了长足的进步，但由于网络的建模能力有限和规模歧义问题，预测单个图像的准确绝对深度图仍然具有挑战性。在本文中，我们介绍了一个完全视觉上的基于注意力的深度（Vadepth）网络，在该网络中，将空间注意力和通道注意都应用于所有阶段。通过在远距离沿空间和通道维度沿空间和通道维度的特征的依赖关系连续提取，Vadepth网络可以有效地保留重要的细节并抑制干扰特征，以更好地感知场景结构，以获得更准确的深度估计。此外，我们利用几何先验来形成规模约束，以进行比例感知模型培训。具体而言，我们使用摄像机和由地面点拟合的平面之间的距离构建了一种新颖的规模感知损失，该平面与图像底部中间的矩形区域的像素相对应。 Kitti数据集的实验结果表明，该体系结构达到了最新性能，我们的方法可以直接输出绝对深度而无需后处理。此外，我们在Seasondepth数据集上的实验还证明了我们模型对多个看不见的环境的鲁棒性。

球形摄像机以整体方式捕获场景，并已用于房间布局估计。最近，随着适当数据集的可用性，从单个全向图像中的深度估计也取得了进展。尽管这两个任务是互补的，但很少有作品能够并行探索它们以提高室内几何感知，而那些这样做的人则依靠合成数据或使用过的小型数据集，因为很少有选项可供选择，包括两个布局。在真实场景中的注释和密集的深度图。这部分是由于需要对房间布局进行手动注释。在这项工作中，我们超越了此限制，并生成360几何视觉（360V）数据集，该数据集包括多种模式，多视图立体声数据并自动生成弱布局提示。我们还探索了两个任务之间的明确耦合，以将它们集成到经过单打的训练模型中。我们依靠基于深度的布局重建和基于布局的深度注意，这表明了两项任务的性能提高。通过使用单个360摄像机扫描房间，出现了便利和快速建筑规模3D扫描的机会。

单眼深度估计和散焦估计是计算机视觉中的两个基本任务。大多数现有方法将深度估计和散焦估计视为两个独立的任务，忽略了它们之间的牢固联系。在这项工作中，我们提出了一个由编码器组成的多任务学习网络，该网络具有两个解码器，以估算单个集中图像的深度和散焦图。通过多任务网络，深度估计促进了散焦估计，从而在弱纹理区域中获得更好的结果，而散焦估计促进了通过两个地图之间强烈的物理连接的深度估计。我们设置了一个数据集（名为All-3D数据集），该数据集是第一个由100K的全焦点图像组成的全真实图像数据集，具有焦点深度，深度图和Defocus映射的集中图像。它使网络能够学习深度和真实散焦图像之间的功能和固体物理连接。实验表明，与合成的图像相比，网络从实际集中图像中学习更多的固体特征。从这种多任务结构中受益，不同的任务相互促进，我们的深度和散焦估计的性能明显优于其他最新算法。代码和数据集将在https://github.com/cubhe/mddnet上公开可用。

当通过玻璃等半充实介质进行成像时，通常可以在捕获的图像中找到另一个场景的反射。它降低了图像的质量并影响其后续分析。在本文中，提出了一种新的深层神经网络方法来解决成像中的反射问题。传统的反射删除方法不仅需要长时间的计算时间来解决不同的优化功能，而且不能保证其性能。由于如今的成像设备可以轻松获得数组摄像机，因此我们首先在本文中建议使用卷积神经网络（CNN）采用基于多图像的深度估计方法。提出的网络避免了由于图像中的反射而引起的深度歧义问题，并直接估计沿图像边缘的深度。然后，它们被用来将边缘分类为属于背景或反射的边缘。由于具有相似深度值的边缘在分类中易于误差，因此将它们从反射删除过程中删除。我们建议使用生成的对抗网络（GAN）来再生删除的背景边缘。最后，估计的背景边缘图被馈送到另一个自动编码器网络，以帮助从原始图像中提取背景。实验结果表明，与最先进的方法相比，提出的反射去除算法在定量和定性上取得了出色的性能。与使用传统优化方法相比，所提出的算法还显示出比现有方法相比的速度要快得多。