我们呈现3DVNET，一种新型多视图立体声（MVS）深度预测方法，该方法结合了基于深度和体积的MVS方法的优点。我们的关键思想是使用3D场景建模网络，可迭代地更新一组粗略深度预测，从而产生高度准确的预测，它达成底层场景几何形状。与现有的深度预测技术不同，我们的方法使用体积3D卷积神经网络（CNN），该网络（CNN）在所有深度图中共同地在世界空间上运行。因此，网络可以学习有意义的场景级别。此外，与现有的体积MVS技术不同，我们的3D CNN在特征增强点云上运行，允许有效地聚合多视图信息和灵活的深度映射的迭代细化。实验结果表明，我们的方法超过了Scannet DataSet的深度预测和3D重建度量的最先进的准确性，以及来自Tum-RGBD和ICL-Nuim数据集的一系列场景。这表明我们的方法既有效又推广到新设置。

传统上，来自摆姿势的图像的3D室内场景重建分为两个阶段：人均深度估计，然后进行深度合并和表面重建。最近，出现了一个直接在最终3D体积特征空间中进行重建的方法家族。尽管这些方法显示出令人印象深刻的重建结果，但它们依赖于昂贵的3D卷积层，从而限制了其在资源受限环境中的应用。在这项工作中，我们回到了传统的路线，并展示着专注于高质量的多视图深度预测如何使用简单的现成深度融合来高度准确的3D重建。我们提出了一个简单的最先进的多视图深度估计器，其中有两个主要贡献：1）精心设计的2D CNN，该2D CNN利用强大的图像先验以及平面扫描特征量和几何损失，并结合2）将密钥帧和几何元数据集成到成本量中，这允许知情的深度平面评分。我们的方法在当前的最新估计中获得了重要的领先优势，以进行深度估计，并在扫描仪和7个镜头上进行3D重建，但仍允许在线实时实时低音重建。代码，模型和结果可在https://nianticlabs.github.io/simplerecon上找到

最近的体积三维重建方法可以产生非常精确的结果，即使对于未观察的表面，也可以具有合理的几何形状。然而，当涉及多视图融合时，它们面临着不希望的权衡。它们可以通过全局平均来熔断所有可用视图信息，从而丢失精细的细节，或者他们可以启发式群集对本地融合的群集视图，从而限制他们共同考虑所有视图的能力。我们的关键洞察力是通过在摄像机姿势和图像内容上学习视图融合功能，可以在不限制视图多样性的情况下保留更详细的详细信息。我们建议使用变压器学习此多视图融合。为此，我们使用变压器介绍Vortx，一个端到端的体积3D重建网络，用于宽基线，多视图功能融合。我们的模型是遮挡感知的，利用变压器架构来预测初始投影场景几何估计。该估计用于避免将反射图像特征通过曲面到遮挡区域。我们在Scannet上培训我们的模型，并显示它比最先进的方法产生更好的重建。我们还展示了概括，没有任何微调，优于两个其他数据集，Tum-RGBD和ICL-Nuim的相同最先进的方法。

We present an end-to-end deep learning architecture for depth map inference from multi-view images. In the network, we first extract deep visual image features, and then build the 3D cost volume upon the reference camera frustum via the differentiable homography warping. Next, we apply 3D convolutions to regularize and regress the initial depth map, which is then refined with the reference image to generate the final output. Our framework flexibly adapts arbitrary N-view inputs using a variance-based cost metric that maps multiple features into one cost feature. The proposed MVSNet is demonstrated on the large-scale indoor DTU dataset. With simple post-processing, our method not only significantly outperforms previous state-of-the-arts, but also is several times faster in runtime. We also evaluate MVSNet on the complex outdoor Tanks and Temples dataset, where our method ranks first before April 18, 2018 without any fine-tuning, showing the strong generalization ability of MVSNet.

In this paper, we present a learning-based approach for multi-view stereo (MVS), i.e., estimate the depth map of a reference frame using posed multi-view images. Our core idea lies in leveraging a "learning-to-optimize" paradigm to iteratively index a plane-sweeping cost volume and regress the depth map via a convolutional Gated Recurrent Unit (GRU). Since the cost volume plays a paramount role in encoding the multi-view geometry, we aim to improve its construction both in pixel- and frame- levels. In the pixel level, we propose to break the symmetry of the Siamese network (which is typically used in MVS to extract image features) by introducing a transformer block to the reference image (but not to the source images). Such an asymmetric volume allows the network to extract global features from the reference image to predict its depth map. In view of the inaccuracy of poses between reference and source images, we propose to incorporate a residual pose network to make corrections to the relative poses, which essentially rectifies the cost volume in the frame-level. We conduct extensive experiments on real-world MVS datasets and show that our method achieves state-of-the-art performance in terms of both within-dataset evaluation and cross-dataset generalization.

With the success of neural volume rendering in novel view synthesis, neural implicit reconstruction with volume rendering has become popular. However, most methods optimize per-scene functions and are unable to generalize to novel scenes. We introduce VolRecon, a generalizable implicit reconstruction method with Signed Ray Distance Function (SRDF). To reconstruct with fine details and little noise, we combine projection features, aggregated from multi-view features with a view transformer, and volume features interpolated from a coarse global feature volume. A ray transformer computes SRDF values of all the samples along a ray to estimate the surface location, which are used for volume rendering of color and depth. Extensive experiments on DTU and ETH3D demonstrate the effectiveness and generalization ability of our method. On DTU, our method outperforms SparseNeuS by about 30% in sparse view reconstruction and achieves comparable quality as MVSNet in full view reconstruction. Besides, our method shows good generalization ability on the large-scale ETH3D benchmark. Project page: https://fangjinhuawang.github.io/VolRecon.

We present a learnt system for multi-view stereopsis. In contrast to recent learning based methods for 3D reconstruction, we leverage the underlying 3D geometry of the problem through feature projection and unprojection along viewing rays. By formulating these operations in a differentiable manner, we are able to learn the system end-to-end for the task of metric 3D reconstruction. End-to-end learning allows us to jointly reason about shape priors while conforming to geometric constraints, enabling reconstruction from much fewer images (even a single image) than required by classical approaches as well as completion of unseen surfaces. We thoroughly evaluate our approach on the ShapeNet dataset and demonstrate the benefits over classical approaches and recent learning based methods.

我们提出了PlanarRecon-从摆姿势的单眼视频中对3D平面进行全球连贯检测和重建的新型框架。与以前的作品从单个图像中检测到2D的平面不同，PlanarRecon逐步检测每个视频片段中的3D平面，该片段由一组关键帧组成，由一组关键帧组成，使用神经网络的场景体积表示。基于学习的跟踪和融合模块旨在合并以前片段的平面以形成连贯的全球平面重建。这种设计使PlanarRecon可以在每个片段中的多个视图中整合观察结果，并在不同的信息中整合了时间信息，从而使场景抽象的准确且相干地重建具有低聚合物的几何形状。实验表明，所提出的方法在实时时可以在扫描仪数据集上实现最先进的性能。

在不同观点之间找到准确的对应关系是无监督的多视图立体声（MVS）的跟腱。现有方法是基于以下假设：相应的像素具有相似的光度特征。但是，在实际场景中，多视图图像观察到非斜面的表面和经验遮挡。在这项工作中，我们提出了一种新颖的方法，即神经渲染（RC-MVSNET），以解决观点之间对应关系的歧义问题。具体而言，我们施加了一个深度渲染一致性损失，以限制靠近对象表面的几何特征以减轻遮挡。同时，我们引入了参考视图综合损失，以产生一致的监督，即使是针对非兰伯特表面。关于DTU和TANKS \＆Temples基准测试的广泛实验表明，我们的RC-MVSNET方法在无监督的MVS框架上实现了最先进的性能，并对许多有监督的方法进行了竞争性能。该代码在https://github.com/上发布。 BOESE0601/RC-MVSNET

在本文中，我们串联串联一个实时单手抄语和密集的测绘框架。对于姿势估计，串联基于关键帧的滑动窗口执行光度束调整。为了增加稳健性，我们提出了一种新颖的跟踪前端，使用从全局模型中呈现的深度图来执行密集的直接图像对齐，该模型从密集的深度预测逐渐构建。为了预测密集的深度映射，我们提出了通过分层构造具有自适应视图聚合的3D成本卷来平衡关键帧之间的不同立体声基线的3D成本卷来使用整个活动密钥帧窗口的级联视图 - 聚合MVSNet（CVA-MVSNET）。最后，将预测的深度映射融合到表示为截短的符号距离函数（TSDF）体素网格的一致的全局映射中。我们的实验结果表明，在相机跟踪方面，串联优于其他最先进的传统和学习的单眼视觉径管（VO）方法。此外，串联示出了最先进的实时3D重建性能。

我们呈现ITEMVS，一种用于高分辨率多视图立体声的新数据驱动方法。我们提出了一种基于GRU的基于GRU的估计器，其在其隐藏状态下编码深度的像素明显概率分布。摄入多尺度匹配信息，我们的模型将这些分布物流在多个迭代和Infers深度和信心上。要提取深度图，我们以新颖的方式结合传统的分类和回归。我们验证了我们对DTU，坦克和寺庙和ETH3D的方法的效率和有效性。虽然成为内存和运行时最有效的方法，但我们的模型在DTU和坦克和寺庙的更好的泛化能力方面取得了竞争性能，以及Eth3D而不是最先进的方法。代码可在https://github.com/fangjinhuawang/Itermvs获得。

在简单的数据集中，在简单的数据集中开发和广泛地进行了深度多视图立体声（MVS）方法，在那里他们现在优于经典方法。在本文中，我们询问控制方案中达到的结论是否仍然有效，在使用互联网照片集合时仍然有效。我们提出了一种评估方法，探讨了深度MVS方法的三个方面的影响：网络架构，培训数据和监督。我们进行了几个关键观察，我们广泛地定量和定性地验证，无论是深度预测和完整的3D重建。首先，复杂的无监督方法无法在野外训练数据。我们的新方法使三个关键要素成为可能：上采样输出，基于Softmin的聚合和单一的重建损失。其次，监督基于深度堤map的MVS方法是用于重建几个互联网图像的最新技术。最后，我们的评估提供了比通常的结果非常不同。这表明在不受控制的方案中的评估对于新架构很重要。

近年来，与传统方法相比，受监督或无监督的基于学习的MVS方法的性能出色。但是，这些方法仅使用成本量正规化计算的概率量来预测参考深度，这种方式无法从概率量中挖掘出足够的信息。此外，无监督的方法通常尝试使用两步或其他输入进行训练，从而使过程更加复杂。在本文中，我们提出了DS-MVSNET，这是一种具有源深度合成的端到端无监督的MVS结构。为了挖掘概率量的信息，我们通过将概率量和深度假设推向源视图来创造性地综合源深度。同时，我们提出了自适应高斯采样和改进的自适应垃圾箱采样方法，以改善深度假设精度。另一方面，我们利用源深度渲染参考图像，并提出深度一致性损失和深度平滑度损失。这些可以根据不同视图的光度和几何一致性提供其他指导，而无需其他输入。最后，我们在DTU数据集和储罐数据集上进行了一系列实验，这些实验证明了与最先进的方法相比，DS-MVSNET的效率和鲁棒性。

获取房间规模场景的高质量3D重建对于即将到来的AR或VR应用是至关重要的。这些范围从混合现实应用程序进行电话会议，虚拟测量，虚拟房间刨，到机器人应用。虽然使用神经辐射场（NERF）的基于卷的视图合成方法显示有希望再现对象或场景的外观，但它们不会重建实际表面。基于密度的表面的体积表示在使用行进立方体提取表面时导致伪影，因为在优化期间，密度沿着射线累积，并且不在单个样本点处于隔离点。我们建议使用隐式函数（截短的签名距离函数）来代表表面来代表表面。我们展示了如何在NERF框架中纳入此表示，并将其扩展为使用来自商品RGB-D传感器的深度测量，例如Kinect。此外，我们提出了一种姿势和相机细化技术，可提高整体重建质量。相反，与集成NERF的深度前瞻性的并发工作，其专注于新型视图合成，我们的方法能够重建高质量的韵律3D重建。

Deep learning has recently demonstrated its excellent performance for multi-view stereo (MVS). However, one major limitation of current learned MVS approaches is the scalability: the memory-consuming cost volume regularization makes the learned MVS hard to be applied to highresolution scenes. In this paper, we introduce a scalable multi-view stereo framework based on the recurrent neural network. Instead of regularizing the entire 3D cost volume in one go, the proposed Recurrent Multi-view Stereo Network (R-MVSNet) sequentially regularizes the 2D cost maps along the depth direction via the gated recurrent unit (GRU). This reduces dramatically the memory consumption and makes high-resolution reconstruction feasible. We first show the state-of-the-art performance achieved by the proposed R-MVSNet on the recent MVS benchmarks. Then, we further demonstrate the scalability of the proposed method on several large-scale scenarios, where previous learned approaches often fail due to the memory constraint. Code is available at https://github.com/ YoYo000/MVSNet.

多视图立体声（MVS）是精确三维重建的重要任务。最近的研究试图通过设计聚合的3D成本卷及其正则化来提高MV中匹配成本体积的性能。本文侧重于学习强大的特征提取网络，以增强匹配成本的性能，在其他步骤中没有重大计算。特别是，我们提出了一种动态刻度特征提取网络，即CDSFNET。它由多个新颖的卷积层组成，每个卷积层可以为由图像表面的法线曲率指导的每个像素选择适当的补丁比例。因此，CDFSNet可以估计最佳补丁尺度，以学习参考和源图像之间准确匹配计算的判别特征。通过将具有适当成本制定策略的强大提取功能组合，我们的MVS架构可以更精确地估计深度映射。广泛的实验表明，该方法在复杂的户外场景中优于其他最先进的方法。它显着提高了重建模型的完整性。结果，该方法可以在比其他MVS方法更快的运行时间和更低的内存中处理更高的分辨率输入。我们的源代码可用于URL {https:/github.com/truongkhang/cds-mvsnet}。

来自单眼图像的3D对象检测是计算机视觉的具有挑战性且长期存在的问题。为了从不同的角度组合信息而没有麻烦的2D实例跟踪，最近的方法倾向于通过在空间中密集的常规3D网格进行采样，这是效率低下的多视图。在本文中，我们试图通过提出可学习的关键点采样方法来改善多视图特征聚合，该方法将伪表面点散布在3D空间中，以保持数据稀疏性。然后使用多视图几何约束和视觉特征增强的分散点来推断场景中的对象位置和形状。为了明确地弥补单帧和模型多视图几何形状的局限性，我们进一步提出了一个表面滤波器模块以抑制噪声。实验结果表明，就3D检测而言，我们的方法的性能明显优于以前的作品（在某些类别的扫描仪上改善了0.1 AP）。该代码将公开可用。

具有已知相机参数的多视图立体声（MVS）基本上是有效深度范围内的1D搜索问题。最近的基于深度学习的MVS方法通常在深度范围内密集地样本深度假设，然后构造对深度预测的预测存储器消耗的3D成本卷。虽然粗细的抽样策略在一定程度上缓解了这个开销问题，但MVS的效率仍然是一个开放的挑战。在这项工作中，我们提出了一种用于高效MV的新方法，其显着降低了内存足迹，同时明显推进最先进的深度预测性能。考虑到效率和有效性，我们调查搜索策略可以合理地最佳地最佳。我们首先将MVS制定为二进制搜索问题，因此提出了用于MV的广义二进制搜索网络。具体地，在每个步骤中，深度范围被分成2个箱，两侧具有额外的1个误差容差箱。执行分类以确定哪个箱包含真实深度。我们还将三种机制分别设计为分别处理分类错误，处理超出范围的样本并降低培训记忆。新配方使我们的方法仅在每个步骤中示出非常少量的深度假设，这是高度记忆效率，并且还极大地促进了快速训练收敛。竞争力基准的实验表明，我们的方法达到了最先进的准确性，内存要少得多。特别是，我们的方法在DTU数据集中获得0.289的总分，并在所有基于学习的方法中排列在具有挑战性的坦克和寺庙高级数据集上的第一名。训练有素的型号和代码将在https://github.com/mizhenxing/gbi-net发布。

We propose a novel approach for deep learning-based Multi-View Stereo (MVS). For each pixel in the reference image, our method leverages a deep architecture to search for the corresponding point in the source image directly along the corresponding epipolar line. We denote our method DELS-MVS: Deep Epipolar Line Search Multi-View Stereo. Previous works in deep MVS select a range of interest within the depth space, discretize it, and sample the epipolar line according to the resulting depth values: this can result in an uneven scanning of the epipolar line, hence of the image space. Instead, our method works directly on the epipolar line: this guarantees an even scanning of the image space and avoids both the need to select a depth range of interest, which is often not known a priori and can vary dramatically from scene to scene, and the need for a suitable discretization of the depth space. In fact, our search is iterative, which avoids the building of a cost volume, costly both to store and to process. Finally, our method performs a robust geometry-aware fusion of the estimated depth maps, leveraging a confidence predicted alongside each depth. We test DELS-MVS on the ETH3D, Tanks and Temples and DTU benchmarks and achieve competitive results with respect to state-of-the-art approaches.

In this work, we address the lack of 3D understanding of generative neural networks by introducing a persistent 3D feature embedding for view synthesis. To this end, we propose DeepVoxels, a learned representation that encodes the view-dependent appearance of a 3D scene without having to explicitly model its geometry. At its core, our approach is based on a Cartesian 3D grid of persistent embedded features that learn to make use of the underlying 3D scene structure. Our approach combines insights from 3D geometric computer vision with recent advances in learning image-to-image mappings based on adversarial loss functions. DeepVoxels is supervised, without requiring a 3D reconstruction of the scene, using a 2D re-rendering loss and enforces perspective and multi-view geometry in a principled manner. We apply our persistent 3D scene representation to the problem of novel view synthesis demonstrating high-quality results for a variety of challenging scenes.