多视图深度估计方法通常需要计算多视图成本体积，这导致巨大的内存消耗和慢速推断。此外，多视图匹配可以失败，对于纹理的表面，反射表面和移动物体。对于这种故障模式，单视深度估计方法通常更可靠。为此，我们提出磁铁，这是一种用多视图几何熔断单视图深度概率的新颖框架，以提高多视图深度估计的精度，稳健性和效率。对于每个帧，磁体估计单视深度概率分布，参数化为像素 - WISE高斯。然后使用对参考帧估计的分布用于对每个像素深度候选进行采样。这种概率采样使网络能够在评估更少的深度候选时获得更高的准确性。我们还提出了对多视图匹配分数的深度一致性加权，以确保多视图深度与单视图预测一致。该方法在SCANNET，7场景和基提上实现了最先进的性能。定性评估表明，我们的方法对抗诸如纹理/反射表面和移动物体的挑战性伪影更加稳健。

自我监督的单眼方法可以有效地了解弱纹理表面或反射性对象的深度信息。但是，由于单眼几何建模的固有歧义，深度精度受到限制。相反，由于多视图立体声（MVS）的成功，多帧深度估计方法提高了深度准确性，后者直接使用几何约束。不幸的是，MV经常患有无纹理区域，非斜角表面和移动物体，尤其是在没有已知的相机运动和深度监督的现实世界视频序列中。因此，我们提出了MoveEpth，它利用了单眼线索和速度指导来改善多帧深度学习。与现有的MVS深度和单眼深度之间一致性的方法不同，MoveEpth通过直接解决MV的固有问题来增强多帧深度学习。我们方法的关键是利用单眼深度作为几何优先级来构建MVS成本量，并根据预测的相机速度的指导来调整成本量的深度候选。我们通过学习成本量的不确定性来进一步融合单眼深度和MVS深度，从而导致深度估计多视图几何形状的歧义。广泛的实验表明，移动eptth达到了最先进的性能：与monodepth2和packnet相比，我们的方法相对地将深度准确性提高了20 \％和19.8 \％，而Kitti基准测试的方法则提高了。 MoveEpth还推广到更具挑战性的DDAD基准测试，相对超过7.2 \％。该代码可在https://github.com/jeffwang987/movedepth上获得。

In this paper, we present a learning-based approach for multi-view stereo (MVS), i.e., estimate the depth map of a reference frame using posed multi-view images. Our core idea lies in leveraging a "learning-to-optimize" paradigm to iteratively index a plane-sweeping cost volume and regress the depth map via a convolutional Gated Recurrent Unit (GRU). Since the cost volume plays a paramount role in encoding the multi-view geometry, we aim to improve its construction both in pixel- and frame- levels. In the pixel level, we propose to break the symmetry of the Siamese network (which is typically used in MVS to extract image features) by introducing a transformer block to the reference image (but not to the source images). Such an asymmetric volume allows the network to extract global features from the reference image to predict its depth map. In view of the inaccuracy of poses between reference and source images, we propose to incorporate a residual pose network to make corrections to the relative poses, which essentially rectifies the cost volume in the frame-level. We conduct extensive experiments on real-world MVS datasets and show that our method achieves state-of-the-art performance in terms of both within-dataset evaluation and cross-dataset generalization.

我们呈现ITEMVS，一种用于高分辨率多视图立体声的新数据驱动方法。我们提出了一种基于GRU的基于GRU的估计器，其在其隐藏状态下编码深度的像素明显概率分布。摄入多尺度匹配信息，我们的模型将这些分布物流在多个迭代和Infers深度和信心上。要提取深度图，我们以新颖的方式结合传统的分类和回归。我们验证了我们对DTU，坦克和寺庙和ETH3D的方法的效率和有效性。虽然成为内存和运行时最有效的方法，但我们的模型在DTU和坦克和寺庙的更好的泛化能力方面取得了竞争性能，以及Eth3D而不是最先进的方法。代码可在https://github.com/fangjinhuawang/Itermvs获得。

建立新型观点综合的最近进展后，我们提出了改善单眼深度估计的应用。特别是，我们提出了一种在三个主要步骤中分开的新颖训练方法。首先，单眼深度网络的预测结果被扭转到额外的视点。其次，我们应用一个额外的图像综合网络，其纠正并提高了翘曲的RGB图像的质量。通过最小化像素-WISE RGB重建误差，该网络的输出需要尽可能类似地查看地面真实性视图。第三，我们将相同的单眼深度估计重新应用于合成的第二视图点，并确保深度预测与相关的地面真理深度一致。实验结果证明，我们的方法在Kitti和Nyu-Deaft-V2数据集上实现了最先进的或可比性，具有轻量级和简单的香草U-Net架构。

除了学习基于外观的特征外，多框架深度估计还通过特征匹配利用图像之间的几何关系来改善单帧方法。在本文中，我们重新访问了与自我监督的单眼深度估计的匹配，并提出了一种新颖的变压器体系结构，以生成成本量。我们使用深度污染的表现采样来选择匹配的候选者，并通过一系列自我和跨注意层来完善预测。这些层增强了像素特征之间的匹配概率，改善了容易歧义和局部最小值的标准相似性指标。精制的成本量被解码为深度估计，整个管道仅使用光度目标从视频端到端训练。 Kitti和DDAD数据集的实验表明，我们的深度构建体在自我监督的单眼估计中建立了新的最新技术，甚至具有高度专业的监督单帧体系结构竞争。我们还表明，我们学到的跨意义网络产生可以在数据集中转移的表示形式，从而提高了训练策略的有效性。项目页面：https：//sites.google.com/tri.global/depthformer

深度学习对多视图立体声系统产生了重大影响。最先进的方法通常涉及构建成本量，然后是多个3D卷积操作来恢复输入图像的像素方面深度。虽然这种平面扫描立体声的最终学习推进了公共基准的准确性，但它们通常很慢。我们展示了一个高效的多视图立体声算法，通过注意机制将多视图约束无缝地集成到单视网中。由于\ Ouralg仅在2D卷积上建立，它比所有值得注意的对应物更快2美元。此外，我们的算法产生精确的深度估计和3D重建，实现最先进的结果，以具有挑战性的基准剪刀，Sun3D，RGBD和古典DTU数据集。我们的算法还在Inexact相机姿势的设置中进行了所有其他算法。我们的代码在\ url {https:/github.com/zhenpeiyang/mvs2d}释放

Learning based methods have shown very promising results for the task of depth estimation in single images. However, most existing approaches treat depth prediction as a supervised regression problem and as a result, require vast quantities of corresponding ground truth depth data for training. Just recording quality depth data in a range of environments is a challenging problem. In this paper, we innovate beyond existing approaches, replacing the use of explicit depth data during training with easier-to-obtain binocular stereo footage.We propose a novel training objective that enables our convolutional neural network to learn to perform single image depth estimation, despite the absence of ground truth depth data. Exploiting epipolar geometry constraints, we generate disparity images by training our network with an image reconstruction loss. We show that solving for image reconstruction alone results in poor quality depth images. To overcome this problem, we propose a novel training loss that enforces consistency between the disparities produced relative to both the left and right images, leading to improved performance and robustness compared to existing approaches. Our method produces state of the art results for monocular depth estimation on the KITTI driving dataset, even outperforming supervised methods that have been trained with ground truth depth.

最新的多视图深度估计方法是在深度视频或多视图立体设置中采用的。尽管设置不同，但这些方法在技术上是相似的：它们将多个源视图与关键视图相关联，以估算关键视图的深度图。在这项工作中，我们介绍了强大的多视图深度基准，该基准构建在一组公共数据集上，并允许在两个设置中对来自不同域的数据进行评估。我们评估了最近的方法，并发现跨领域的性能不平衡。此外，我们考虑了第三个设置，可以使用相机姿势，目的是用正确的尺度估算相应的深度图。我们表明，最近的方法不会在这种情况下跨数据集概括。这是因为它们的成本量输出不足。为了解决这一问题，我们介绍了多视图深度估计的强大MVD基线模型，该模型构建在现有组件上，但采用了新颖的规模增强程序。它可以应用于与目标数据无关的强大多视图深度估计。我们在https://github.com/lmb-freiburg/robustmvd上为建议的基准模型提供了代码。

Per-pixel ground-truth depth data is challenging to acquire at scale. To overcome this limitation, self-supervised learning has emerged as a promising alternative for training models to perform monocular depth estimation. In this paper, we propose a set of improvements, which together result in both quantitatively and qualitatively improved depth maps compared to competing self-supervised methods.Research on self-supervised monocular training usually explores increasingly complex architectures, loss functions, and image formation models, all of which have recently helped to close the gap with fully-supervised methods. We show that a surprisingly simple model, and associated design choices, lead to superior predictions. In particular, we propose (i) a minimum reprojection loss, designed to robustly handle occlusions, (ii) a full-resolution multi-scale sampling method that reduces visual artifacts, and (iii) an auto-masking loss to ignore training pixels that violate camera motion assumptions. We demonstrate the effectiveness of each component in isolation, and show high quality, state-of-the-art results on the KITTI benchmark.

在不同观点之间找到准确的对应关系是无监督的多视图立体声（MVS）的跟腱。现有方法是基于以下假设：相应的像素具有相似的光度特征。但是，在实际场景中，多视图图像观察到非斜面的表面和经验遮挡。在这项工作中，我们提出了一种新颖的方法，即神经渲染（RC-MVSNET），以解决观点之间对应关系的歧义问题。具体而言，我们施加了一个深度渲染一致性损失，以限制靠近对象表面的几何特征以减轻遮挡。同时，我们引入了参考视图综合损失，以产生一致的监督，即使是针对非兰伯特表面。关于DTU和TANKS \＆Temples基准测试的广泛实验表明，我们的RC-MVSNET方法在无监督的MVS框架上实现了最先进的性能，并对许多有监督的方法进行了竞争性能。该代码在https://github.com/上发布。 BOESE0601/RC-MVSNET

近年来，与传统方法相比，受监督或无监督的基于学习的MVS方法的性能出色。但是，这些方法仅使用成本量正规化计算的概率量来预测参考深度，这种方式无法从概率量中挖掘出足够的信息。此外，无监督的方法通常尝试使用两步或其他输入进行训练，从而使过程更加复杂。在本文中，我们提出了DS-MVSNET，这是一种具有源深度合成的端到端无监督的MVS结构。为了挖掘概率量的信息，我们通过将概率量和深度假设推向源视图来创造性地综合源深度。同时，我们提出了自适应高斯采样和改进的自适应垃圾箱采样方法，以改善深度假设精度。另一方面，我们利用源深度渲染参考图像，并提出深度一致性损失和深度平滑度损失。这些可以根据不同视图的光度和几何一致性提供其他指导，而无需其他输入。最后，我们在DTU数据集和储罐数据集上进行了一系列实验，这些实验证明了与最先进的方法相比，DS-MVSNET的效率和鲁棒性。

传统上，来自摆姿势的图像的3D室内场景重建分为两个阶段：人均深度估计，然后进行深度合并和表面重建。最近，出现了一个直接在最终3D体积特征空间中进行重建的方法家族。尽管这些方法显示出令人印象深刻的重建结果，但它们依赖于昂贵的3D卷积层，从而限制了其在资源受限环境中的应用。在这项工作中，我们回到了传统的路线，并展示着专注于高质量的多视图深度预测如何使用简单的现成深度融合来高度准确的3D重建。我们提出了一个简单的最先进的多视图深度估计器，其中有两个主要贡献：1）精心设计的2D CNN，该2D CNN利用强大的图像先验以及平面扫描特征量和几何损失，并结合2）将密钥帧和几何元数据集成到成本量中，这允许知情的深度平面评分。我们的方法在当前的最新估计中获得了重要的领先优势，以进行深度估计，并在扫描仪和7个镜头上进行3D重建，但仍允许在线实时实时低音重建。代码，模型和结果可在https://nianticlabs.github.io/simplerecon上找到

我们呈现3DVNET，一种新型多视图立体声（MVS）深度预测方法，该方法结合了基于深度和体积的MVS方法的优点。我们的关键思想是使用3D场景建模网络，可迭代地更新一组粗略深度预测，从而产生高度准确的预测，它达成底层场景几何形状。与现有的深度预测技术不同，我们的方法使用体积3D卷积神经网络（CNN），该网络（CNN）在所有深度图中共同地在世界空间上运行。因此，网络可以学习有意义的场景级别。此外，与现有的体积MVS技术不同，我们的3D CNN在特征增强点云上运行，允许有效地聚合多视图信息和灵活的深度映射的迭代细化。实验结果表明，我们的方法超过了Scannet DataSet的深度预测和3D重建度量的最先进的准确性，以及来自Tum-RGBD和ICL-Nuim数据集的一系列场景。这表明我们的方法既有效又推广到新设置。

作为许多自主驾驶和机器人活动的基本组成部分，如自我运动估计，障碍避免和场景理解，单眼深度估计（MDE）引起了计算机视觉和机器人社区的极大关注。在过去的几十年中，已经开发了大量方法。然而，据我们所知，对MDE没有全面调查。本文旨在通过审查1970年至2021年之间发布的197个相关条款来弥补这一差距。特别是，我们为涵盖各种方法的MDE提供了全面的调查，介绍了流行的绩效评估指标并汇总公开的数据集。我们还总结了一些代表方法的可用开源实现，并比较了他们的表演。此外，我们在一些重要的机器人任务中审查了MDE的应用。最后，我们通过展示一些有希望的未来研究方向来结束本文。预计本调查有助于读者浏览该研究领域。

在本文中，根据PatchMatch Multi-View Stereo（MVS），提出了针对城市场景的基于图像的3D重建的完整管道。首先，输入图像被馈入现成的视觉大满贯系统中，以提取相机姿势和稀疏关键点，这些镜头用于初始化PatchMatch优化。然后，在具有新颖的深度正常一致性损耗项和全局修复算法的多尺度框架中，对Pixelwise的深度和正态进行了迭代计算，以平衡PatchMatch固有的局部性质。最后，通过在3D中以反向项目的多视图一致估计来生成大规模点云。针对Kitti数据集上的经典MVS算法和单眼深度网络仔细评估了所提出的方法，显示了最先进的性能。

We present an end-to-end deep learning architecture for depth map inference from multi-view images. In the network, we first extract deep visual image features, and then build the 3D cost volume upon the reference camera frustum via the differentiable homography warping. Next, we apply 3D convolutions to regularize and regress the initial depth map, which is then refined with the reference image to generate the final output. Our framework flexibly adapts arbitrary N-view inputs using a variance-based cost metric that maps multiple features into one cost feature. The proposed MVSNet is demonstrated on the large-scale indoor DTU dataset. With simple post-processing, our method not only significantly outperforms previous state-of-the-arts, but also is several times faster in runtime. We also evaluate MVSNet on the complex outdoor Tanks and Temples dataset, where our method ranks first before April 18, 2018 without any fine-tuning, showing the strong generalization ability of MVSNet.

从单眼图像中学习的自我监督深度学习通常依赖于暂时相邻图像帧之间的2D像素光度关系。但是，他们既没有完全利用3D点的几何对应关系，也没有有效地应对闭塞或照明不一致引起的光度扭曲中的歧义。为了解决这些问题，这项工作提出了密度量构建网络（DEVNET），这是一种新型的自我监管的单眼深度学习框架，可以考虑3D空间信息，并利用相邻的相机flustums中的更强的几何约束。我们的DEVNET不是直接从单个图像中回归像素值，而是将摄像头划分为多个平行的平面，并预测每个平面上的点闭塞概率密度。最终的深度图是通过沿相应射线集成密度来生成的。在训练过程中，引入了新颖的正则化策略和损失功能，以减轻光度歧义和过度拟合。如果没有明显放大的模型参数的大小或运行时间，DEVNET在Kitti-2015室外数据集和NYU-V2室内数据集上均优于几个代表性基准。特别是，在深度估计的任务中，在Kitti-2015和NYU-V2上，DEVNET均减少了4％的根平方。代码可在https://github.com/gitkaichenzhou/devnet上找到。

最近，以自我监督的方式从单个图像中学习场景深度，最近受到了很多关注，旨在从单一图像中学习场景深度。尽管最近在这一领域做出了努力，但如何学习准确的场景深度并减轻闭塞对自我监督深度估计的负面影响仍然是一个空旷的问题。在解决这个问题时，我们首先凭经验分析了连续和离散深度约束的影响，这些约束在许多现有作品的培训过程中广泛使用。然后受到上述经验分析的启发，我们提出了一个新型网络，以学习一个自我监督的单眼深度估计，称为ocfd-net的咬合意识到的粗到细深度图。给定任意训练的立体声图像对，提议的OCFD-NET不仅在学习粗级深度图上采用离散的深度约束，而且还采用连续的深度约束来学习场景深度残差，从而导致罚款。 - 级别的深度图。此外，在建议的OCFD-NET下设计了一个遮挡感知模块，该模块能够提高学习闭塞的精细级别深度图的能力。 Kitti的实验结果表明，在大多数情况下，所提出的方法在七个常用指标下的比较最先进方法优于比较的最先进方法。此外，对Make3D的实验结果证明了该方法在四个常用指标下的跨数据集泛化能力方面的有效性。该代码可在https://github.com/zm-zhou/ocfd-net_pytorch上找到。

现有的单眼深度估计方法在不同的场景中实现了出色的鲁棒性，但它们只能检索仿射不变的深度，最多可达到未知的规模和变化。但是，在一些基于视频的场景中，例如视频中的视频深度估计和3D场景重建，驻留在人均预测中的未知量表和偏移可能会导致深度不一致。为了解决这个问题，我们提出了一种局部加权的线性回归方法，以恢复比例并以非常稀疏的锚点的转移，从而确保沿连续帧的比例一致性。广泛的实验表明，我们的方法可以在几个零击基准测试中最多将现有最新方法的性能提高50％。此外，我们合并了超过630万个RGBD图像，以训练强大而健壮的深度模型。我们产生的Resnet50-Backbone模型甚至胜过最先进的DPT VIT-LALGE模型。结合基于几何的重建方法，我们制定了一种新的密集3D场景重建管道，该管道受益于稀疏点的比例一致性和单眼方法的鲁棒性。通过对视频进行简单的人均预测，可以恢复准确的3D场景形状。