立体声匹配是许多视觉和机器人应用程序的基本构建块。信息性和简洁的成本量表示对于高准确性和效率的立体声匹配至关重要。在本文中，我们提出了一种新颖的成本量构建方法，称为“注意串联量”（ACV），该方法从相关线索中产生了注意力权重，以抑制冗余信息并增强串联体积中与匹配相关的信息。 ACV可以无缝嵌入大多数立体声匹配网络中，所得网络可以使用更轻巧的聚合网络，同时获得更高的精度。我们进一步设计了快速版本的ACV版本以实现实时性能，名为FAST-ACV，它产生了很高的可能性差异假设，以及来自低分辨率相关线索的相应注意力权重，可显着降低计算和记忆成本，同时保持令人满意的精度。我们快速ACV的核心思想是音量注意传播（VAP），它可以自动从上采样相关量中选择准确的相关值，并将这些准确的值传播到周围环境像素具有模棱两可的相关线索。此外，我们分别基于我们的ACV和Fast-ACV设计了高度准确的网络ACVNET和实时网络快速ACVNET，该网络在几个基准上实现了最新性能（即，我们的ACVNET排名第二，第二名在Kitti 2015和场景流以及所有已发布方法中的Kitti 2012和Eth3d的第三次；我们的快速ACVNET几乎优于现场流的所有最新实时方法，Kitti 2012和2015年，与此同时，与此同时更好的概括能力）

立体声匹配是许多视觉和机器人应用程序的基本构建块。信息性和简洁的成本量表示对于高准确性和效率的立体声匹配至关重要。在本文中，我们提出了一种新颖的成本量构建方法，该方法从相关线索中产生了注意力，以抑制冗余信息并增强串联量中与匹配相关的信息。为了产生可靠的注意力权重，我们提出了多层次自适应补丁匹配，以提高在不同差异区域以不同差异的匹配成本的独特性。提出的成本量被命名为注意串联量（ACV），可以将其无缝嵌入大多数立体声匹配网络中，结果网络可以使用更轻巧的聚合网络，同时实现更高的精度，例如。仅使用聚合网络的1/25参数可以实现GWCNET的更高精度。此外，我们根据ACV设计了一个高度准确的网络（ACVNET），该网络（ACVNET）在几个基准上实现了最先进的性能。

Existing deep learning based stereo matching methods either focus on achieving optimal performances on the target dataset while with poor generalization for other datasets or focus on handling the cross-domain generalization by suppressing the domain sensitive features which results in a significant sacrifice on the performance. To tackle these problems, we propose PCW-Net, a Pyramid Combination and Warping cost volume-based network to achieve good performance on both cross-domain generalization and stereo matching accuracy on various benchmarks. In particular, our PCW-Net is designed for two purposes. First, we construct combination volumes on the upper levels of the pyramid and develop a cost volume fusion module to integrate them for initial disparity estimation. Multi-scale receptive fields can be covered by fusing multi-scale combination volumes, thus, domain-invariant features can be extracted. Second, we construct the warping volume at the last level of the pyramid for disparity refinement. The proposed warping volume can narrow down the residue searching range from the initial disparity searching range to a fine-grained one, which can dramatically alleviate the difficulty of the network to find the correct residue in an unconstrained residue searching space. When training on synthetic datasets and generalizing to unseen real datasets, our method shows strong cross-domain generalization and outperforms existing state-of-the-arts with a large margin. After fine-tuning on the real datasets, our method ranks first on KITTI 2012, second on KITTI 2015, and first on the Argoverse among all published methods as of 7, March 2022. The code will be available at https://github.com/gallenszl/PCWNet.

Several leading methods on public benchmarks for depth-from-stereo rely on memory-demanding 4D cost volumes and computationally intensive 3D convolutions for feature matching. We suggest a new way to process the 4D cost volume where we merge two different concepts in one deeply integrated framework to achieve a symbiotic relationship. A feature matching part is responsible for identifying matching pixels pairs along the baseline while a concurrent image volume part is inspired by depth-from-mono CNNs. However, instead of predicting depth directly from image features, it provides additional context to resolve ambiguities during pixel matching. More technically, the processing of the 4D cost volume is separated into a 2D propagation and a 3D propagation part. Starting from feature maps of the left image, the 2D propagation assists the 3D propagation part of the cost volume at different layers by adding visual features to the geometric context. By combining both parts, we can safely reduce the scale of 3D convolution layers in the matching part without sacrificing accuracy. Experiments demonstrate that our end-to-end trained CNN is ranked 2nd on KITTI2012 and ETH3D benchmarks while being significantly faster than the 1st-ranked method. Furthermore, we notice that the coupling of image and matching-volume improves fine-scale details as demonstrated by our qualitative analysis.

最近的高级研究花费了大量的人类努力来优化网络体系结构进行立体声匹配，但几乎无法实现高精度和快速推理速度。为了简化网络设计中的工作量，神经体系结构搜索（NAS）已在各种稀疏预测任务（例如图像分类和对象检测）上获得了巨大成功。但是，现有关于密集预测任务的NAS研究，尤其是立体声匹配，仍然无法在不同计算功能的设备上有效地部署。为此，我们建议对具有不同计算功能的设备上的各种3D体系结构设置进行立体匹配（EASNET）训练弹性和准确的网络，以支持各种3D体系结构设置。考虑到目标设备的部署延迟约束，我们可以在无需额外培训的情况下快速从全部EASNET中提取子网络，而仍可以维护子网的准确性。广泛的实验表明，在模型的准确性和推理速度方面，我们的Easnet优于现场流和MPI Sintel数据集的最先进的人设计和基于NAS的体系结构。特别是，部署在推理GPU上，Easnet在场景流数据集中以100毫秒的价格获得了新的SOTA EPE，比具有更好质量型号的Leastereo快4.5 $ \ times $。

Recent work has shown that depth estimation from a stereo pair of images can be formulated as a supervised learning task to be resolved with convolutional neural networks (CNNs). However, current architectures rely on patch-based Siamese networks, lacking the means to exploit context information for finding correspondence in illposed regions. To tackle this problem, we propose PSM-Net, a pyramid stereo matching network consisting of two main modules: spatial pyramid pooling and 3D CNN. The spatial pyramid pooling module takes advantage of the capacity of global context information by aggregating context in different scales and locations to form a cost volume. The 3D CNN learns to regularize cost volume using stacked multiple hourglass networks in conjunction with intermediate supervision. The proposed approach was evaluated on several benchmark datasets. Our method ranked first in the KITTI 2012 and 2015 leaderboards before March 18, 2018. The codes of PSMNet are available at: https: //github.com/JiaRenChang/PSMNet.

虽然卷积神经网络的立体声匹配架构取得了令人印象深刻的成就，但仍有一些限制：1）卷积特征（CF）倾向于捕获外观信息，这对于准确匹配是不充分的。 2）由于静态过滤器，基于电流的卷积差异细化模块通常会产生过平滑的结果。在本文中，我们提出了两种计划来解决这些问题，其中一些传统智慧是整合的。首先，我们为Deep Stereo匹配网络引入了一个成对的特征，命名为LSP（本地相似性模式）。通过显式揭示邻居关系，LSP包含丰富的结构信息，可以利用，以帮助CF以获得更多辨别特征描述。其次，我们设计了动态自我重新组装的细化策略，并分别将其应用于成本分布和视差地图。前者可以配备单峰分布约束来缓解过度平滑的问题，后者更加实用。通过将它们纳入两个众所周知的基本架构，GWCNET和Ganet-Deep，通过将其进行证明，证明了所提出的方法的有效性。 SceneFlow和Kitti基准的实验结果表明，我们的模块显着提高了模型的性能。

In this paper, we present a learning-based approach for multi-view stereo (MVS), i.e., estimate the depth map of a reference frame using posed multi-view images. Our core idea lies in leveraging a "learning-to-optimize" paradigm to iteratively index a plane-sweeping cost volume and regress the depth map via a convolutional Gated Recurrent Unit (GRU). Since the cost volume plays a paramount role in encoding the multi-view geometry, we aim to improve its construction both in pixel- and frame- levels. In the pixel level, we propose to break the symmetry of the Siamese network (which is typically used in MVS to extract image features) by introducing a transformer block to the reference image (but not to the source images). Such an asymmetric volume allows the network to extract global features from the reference image to predict its depth map. In view of the inaccuracy of poses between reference and source images, we propose to incorporate a residual pose network to make corrections to the relative poses, which essentially rectifies the cost volume in the frame-level. We conduct extensive experiments on real-world MVS datasets and show that our method achieves state-of-the-art performance in terms of both within-dataset evaluation and cross-dataset generalization.

我们呈现ITEMVS，一种用于高分辨率多视图立体声的新数据驱动方法。我们提出了一种基于GRU的基于GRU的估计器，其在其隐藏状态下编码深度的像素明显概率分布。摄入多尺度匹配信息，我们的模型将这些分布物流在多个迭代和Infers深度和信心上。要提取深度图，我们以新颖的方式结合传统的分类和回归。我们验证了我们对DTU，坦克和寺庙和ETH3D的方法的效率和有效性。虽然成为内存和运行时最有效的方法，但我们的模型在DTU和坦克和寺庙的更好的泛化能力方面取得了竞争性能，以及Eth3D而不是最先进的方法。代码可在https://github.com/fangjinhuawang/Itermvs获得。

我们提出了一个有效的多视角立体声（MVS）网络，用于从多个RGB图像中推断深度值。最近的研究表明，将实际空间中的几何关系映射到神经网络是MVS问题的重要主题。具体而言，这些方法着重于如何通过构造出色的成本量来表达不同视图之间的对应关系。在本文中，我们提出了一种基于吸收先前经验的更完整的成本量构建方法。首先，我们介绍了自我发挥的机制，以完全汇总输入图像的主导信息，并准确地对远程依赖性进行建模，以选择性地汇总参考特征。其次，我们将小组相关性引入特征聚合，从而大大减轻了记忆和计算负担。同时，此方法增强了不同特征通道之间的信息相互作用。通过这种方法，构建了更轻巧，更有效的成本量。最后，我们遵循粗略的策略，并借助不确定性估计，根据规模完善深度采样范围。我们进一步结合了以前的步骤，以获取注意力较薄。提出了定量和定性实验，以证明我们的模型的性能。

We present an end-to-end deep learning architecture for depth map inference from multi-view images. In the network, we first extract deep visual image features, and then build the 3D cost volume upon the reference camera frustum via the differentiable homography warping. Next, we apply 3D convolutions to regularize and regress the initial depth map, which is then refined with the reference image to generate the final output. Our framework flexibly adapts arbitrary N-view inputs using a variance-based cost metric that maps multiple features into one cost feature. The proposed MVSNet is demonstrated on the large-scale indoor DTU dataset. With simple post-processing, our method not only significantly outperforms previous state-of-the-arts, but also is several times faster in runtime. We also evaluate MVSNet on the complex outdoor Tanks and Temples dataset, where our method ranks first before April 18, 2018 without any fine-tuning, showing the strong generalization ability of MVSNet.

We present a unified formulation and model for three motion and 3D perception tasks: optical flow, rectified stereo matching and unrectified stereo depth estimation from posed images. Unlike previous specialized architectures for each specific task, we formulate all three tasks as a unified dense correspondence matching problem, which can be solved with a single model by directly comparing feature similarities. Such a formulation calls for discriminative feature representations, which we achieve using a Transformer, in particular the cross-attention mechanism. We demonstrate that cross-attention enables integration of knowledge from another image via cross-view interactions, which greatly improves the quality of the extracted features. Our unified model naturally enables cross-task transfer since the model architecture and parameters are shared across tasks. We outperform RAFT with our unified model on the challenging Sintel dataset, and our final model that uses a few additional task-specific refinement steps outperforms or compares favorably to recent state-of-the-art methods on 10 popular flow, stereo and depth datasets, while being simpler and more efficient in terms of model design and inference speed.

这些年来，展示技术已经发展。开发实用的HDR捕获，处理和显示解决方案以将3D技术提升到一个新的水平至关重要。多曝光立体声图像序列的深度估计是开发成本效益3D HDR视频内容的重要任务。在本文中，我们开发了一种新颖的深度体系结构，以进行多曝光立体声深度估计。拟议的建筑有两个新颖的组成部分。首先，对传统立体声深度估计中使用的立体声匹配技术进行了修改。对于我们体系结构的立体深度估计部分，部署了单一到stereo转移学习方法。拟议的配方规避了成本量构造的要求，该要求由基于重新编码的单码编码器CNN取代，具有不同的重量以进行功能融合。基于有效网络的块用于学习差异。其次，我们使用强大的视差特征融合方法组合了从不同暴露水平上从立体声图像获得的差异图。使用针对不同质量度量计算的重量图合并在不同暴露下获得的差异图。获得的最终预测差异图更强大，并保留保留深度不连续性的最佳功能。提出的CNN具有使用标准动态范围立体声数据或具有多曝光低动态范围立体序列的训练的灵活性。在性能方面，所提出的模型超过了最新的单眼和立体声深度估计方法，无论是定量还是质量地，在具有挑战性的场景流以及暴露的Middlebury立体声数据集上。该体系结构在复杂的自然场景中表现出色，证明了其对不同3D HDR应用的有用性。

最近，立体声匹配基准的记录由端到端视差网络不断破碎。但是，这些深层模型的域适应能力非常有限。解决此类问题，我们提出了一种名为ADASTEREO的新型域自适应方法，该方法旨在对准深度立体声匹配网络的多级表示。与以前的方法相比，我们的ADASTEREO实现了更标准，完整有效的域适应管道。首先，我们提出了一种用于输入图像级对准的非对抗渐进颜色传输算法。其次，我们设计一个有效的无参数成本归一化层，用于内部特征级别对齐。最后，提出了一种高效的辅助任务，自我监督的遮挡感知重建以缩小输出空间中的间隙。我们进行密集的消融研究和分解比较，以验证每个提出的模块的有效性。没有额外推断开销，只有略微增加训练复杂性，我们的Adastereo模型在多个基准上实现了最先进的跨领域性能，包括Kitti，Middrbury，Eth3D和驾驶员，甚至优于一些状态 - 与目标域的地面真相Fineetuned的差异网络。此外，基于两个额外的评估指标，从更多的观点进一步揭示了我们域 - 自适应立体声匹配管道的优越性。最后，我们证明我们的方法对各种域适配设置具有强大，并且可以轻松地集成到快速适应应用方案和现实世界部署中。

在本文中，我们基于我们对多视图立体声（MVS）中的特征匹配的探索来呈现TransVSNet。我们将MVS模拟返回其特征匹配任务的性质，因此提出了一个强大的功能匹配变换器（FMT），以利用（自我）和（交叉）关注（交叉）在图像内和跨越图像中聚合的长程上下文信息。为了便于更好地调整FMT，我们利用自适应接收领域（ARF）模块，以确保在特征范围内平滑过境，并使用特征途径桥接不同阶段，以通过不同尺度的转换特征和梯度。此外，我们应用配对特征相关性以测量特征之间的相似性，并采用歧义降低焦损，以加强监管。据我们所知，TransmVSNet首次尝试将变压器利用到MV的任务。因此，我们的方法在DTU数据集，坦克和寺庙基准测试和BlendedMVS数据集中实现了最先进的性能。我们的方法代码将在https://github.com/megviirobot/transmvsnet中提供。

We propose a novel deep learning architecture for regressing disparity from a rectified pair of stereo images. We leverage knowledge of the problem's geometry to form a cost volume using deep feature representations. We learn to incorporate contextual information using 3-D convolutions over this volume. Disparity values are regressed from the cost volume using a proposed differentiable soft argmin operation, which allows us to train our method end-to-end to sub-pixel accuracy without any additional post-processing or regularization. We evaluate our method on the Scene Flow and KITTI datasets and on KITTI we set a new stateof-the-art benchmark, while being significantly faster than competing approaches.

多视图立体声是计算机视觉中的一项重要研究任务，同时仍然保持挑战。近年来，基于深度学习的方法在这项任务上表现出卓越的性能。基于金字塔网络的成本量基于金字塔网络的方法，以粗到精细的方式逐步完善深度图，在消耗较少的记忆力的同时，取得了令人鼓舞的结果。但是，这些方法无法完全考虑每个阶段成本量的特征，从而为每个成本量阶段采用类似的范围搜索策略。在这项工作中，我们提出了一个基于多视图立体声的不同搜索策略的新颖成本量的网络。通过选择不同的深度范围采样策略并应用自适应单峰滤波，我们能够在低分辨率阶段获得更准确的深度估计，并迭代地逐步将深度映射到任意分辨率。我们在DTU和BlendenDMVS数据集上进行了广泛的实验，结果表明，我们的方法的表现优于大多数最新方法。

多视图立体声（MVS）是精确三维重建的重要任务。最近的研究试图通过设计聚合的3D成本卷及其正则化来提高MV中匹配成本体积的性能。本文侧重于学习强大的特征提取网络，以增强匹配成本的性能，在其他步骤中没有重大计算。特别是，我们提出了一种动态刻度特征提取网络，即CDSFNET。它由多个新颖的卷积层组成，每个卷积层可以为由图像表面的法线曲率指导的每个像素选择适当的补丁比例。因此，CDFSNet可以估计最佳补丁尺度，以学习参考和源图像之间准确匹配计算的判别特征。通过将具有适当成本制定策略的强大提取功能组合，我们的MVS架构可以更精确地估计深度映射。广泛的实验表明，该方法在复杂的户外场景中优于其他最先进的方法。它显着提高了重建模型的完整性。结果，该方法可以在比其他MVS方法更快的运行时间和更低的内存中处理更高的分辨率输入。我们的源代码可用于URL {https:/github.com/truongkhang/cds-mvsnet}。

立体声Vision是一种有效的深度估算技术，具有广泛适用性在自主城市和公路驾驶中。虽然已经为立体声开发了各种基于深度学习的方法，但是具有固定基线的双目设置的输入数据受到限制。解决这样的问题，我们介绍了一个端到端网络，用于处理来自三曲面的数据，这是窄和宽立体对的组合。在这种设计中，用网络的共享权重和中间融合处理两对具有公共参考图像的双目数据。我们还提出了一种用于合并两个基线的4D数据的引导添加方法。此外，介绍了实际和合成数据集的迭代顺序自我监督和监督学习，使三曲系统的训练实用，无需实际数据集的地面真实数据。实验结果表明，三曲差距网络超越了个别对被馈送到类似架构中的场景。代码和数据集：https：//github.com/cogsys-tuebingen/tristeReonet。

我们提出了一个新颖的建筑，以实现密集的对应关系。当前的最新方法是基于变压器的方法，它们专注于功能描述符或成本量集合。但是，尽管关节聚集会通过提供一个人（即图像的结构或语义信息）或像素匹配的相似性来提高一个或另一个，但并非两者都聚集，但并非两者都汇总，尽管关节聚集会相互促进。在这项工作中，我们提出了一个基于变压器的新型网络，该网络以利用其互补信息的方式交织了两种形式的聚合。具体而言，我们设计了一个自我发项层，该层利用描述符来消除嘈杂的成本量，并且还利用成本量以促进准确匹配的方式汇总特征。随后的跨意思层执行进一步的聚合，该聚集在图像的描述上，并由早期层的聚合输出有助于。我们通过层次处理进一步提高了性能，在该处理中，更粗糙的聚合指导那些处于优质水平的过程。我们评估了所提出的方法对密集匹配任务的有效性，并在所有主要基准上实现最先进的性能。还提供了广泛的消融研究来验证我们的设计选择。