我们提出了一个新颖的建筑，以实现密集的对应关系。当前的最新方法是基于变压器的方法，它们专注于功能描述符或成本量集合。但是，尽管关节聚集会通过提供一个人（即图像的结构或语义信息）或像素匹配的相似性来提高一个或另一个，但并非两者都聚集，但并非两者都汇总，尽管关节聚集会相互促进。在这项工作中，我们提出了一个基于变压器的新型网络，该网络以利用其互补信息的方式交织了两种形式的聚合。具体而言，我们设计了一个自我发项层，该层利用描述符来消除嘈杂的成本量，并且还利用成本量以促进准确匹配的方式汇总特征。随后的跨意思层执行进一步的聚合，该聚集在图像的描述上，并由早期层的聚合输出有助于。我们通过层次处理进一步提高了性能，在该处理中，更粗糙的聚合指导那些处于优质水平的过程。我们评估了所提出的方法对密集匹配任务的有效性，并在所有主要基准上实现最先进的性能。还提供了广泛的消融研究来验证我们的设计选择。

我们提出了一种新的成本聚合网络，称为成本聚合变压器（CAT），在语义类似的图像之间找到密集的对应关系，其中具有大型类内外观和几何变化构成的额外挑战。成本聚合是匹配任务的一个非常重要的过程，匹配精度取决于其输出的质量。与寻址成本聚集的手工制作或基于CNN的方法相比，缺乏严重变形的鲁棒性或继承了由于接受领域有限而无法区分错误匹配的CNN的限制，猫探讨了初始相关图之间的全球共识一些建筑设计的帮助，使我们能够充分利用自我关注机制。具体地，我们包括外观亲和力建模，以帮助成本聚合过程，以消除嘈杂的初始相关映射并提出多级聚合，以有效地从分层特征表示中捕获不同的语义。然后，我们与交换自我关注技术和残留连接相结合，不仅要强制执行一致的匹配，而且还可以缓解学习过程，我们发现这些结果导致了表观性能提升。我们进行实验，以证明拟议模型在最新方法中的有效性，并提供广泛的消融研究。代码和培训的型号可以在https://github.com/sunghwanhong/cats提供。

本文介绍了一个新颖的成本聚合网络，称为变压器（VAT），称为体积聚集，以进行几次分割。变压器的使用可以通过在全球接收场上的自我注意来使相关图的聚集受益。但是，变压器处理的相关图的令牌化可能是有害的，因为令牌边界处的不连续性会降低令牌边缘附近可用的局部环境，并减少电感偏差。为了解决这个问题，我们提出了一个4D卷积的SWIN变压器，在该问题上，高维的SWIN变压器之前是一系列的小内核卷积，这些卷积将局部环境赋予所有像素并引入卷积归纳偏置。另外，我们通过在锥体结构中应用变压器来提高聚合性能，在锥体结构中，在更粗糙的水平上的聚集指导聚集在较好的水平上。然后，在查询的外观嵌入中，在随后的解码器中过滤变压器输出中的噪声。使用此模型，为所有标准基准设置了一个新的最新基准，以几次射击分段设置。结果表明，增值税还达到了语义通信的最先进的性能，而成本汇总也起着核心作用。

我们介绍一个新颖的成本聚合网络，用变压器（VAT）被复制体积聚集，通过使用卷曲和变压器来解决几次拍摄分段任务，以有效地处理查询和支持之间的高维相关映射。具体而言，我们提出了由卷嵌入模块组成的编码器，不仅将相关性图转换为更具易易概要，而且为成本聚合注入一些卷积电感偏置和体积变压器模块。我们的编码器具有金字塔形结构，让较粗糙的级别聚合来指导更精细的水平并强制执行互补匹配分数。然后，我们将输出送入我们的亲和感知解码器以及投影特征映射，以指导分割过程。组合这些组件，我们进行实验以证明所提出的方法的有效性，我们的方法为几次拍摄分割任务中的所有标准基准设置了新的最先进的。此外，我们发现所提出的方法甚至可以在语义对应任务中的标准基准中获得最先进的性能，尽管没有专门为此任务设计。我们还提供广泛的消融研究，以验证我们的建筑选择。培训的权重和代码可用于：https://seokju-cho.github.io/vat/。

在视觉上或在视觉上或语义上相似的图像中建立密集的技术的传统技术集中在设计特定的任务特定匹配之前，这难以模拟。为了克服这一点，最近的基于学习的方法已经试图在大型训练数据上学习模型本身之前的良好匹配。性能改善是明显的，但需要足够的培训数据和密集学习阻碍了他们的适用性。此外，在测试时间中使用固定模型不考虑一对图像可能需要其自身的事实，从而提供有限的性能和未遵守观看图像的较差。在本文中，我们示出了通过仅优化在输入对图像上的未训练匹配网络上，可以捕获特定于图像对特定的。针对密集对应的这种测试时间优化量身定制，我们提出了一个残留的匹配网络和信心感知对比损失，以保证有意义的收敛性。实验表明，我们的框架被称为最先前（DMP）的深度匹配，是竞争力的，甚至优于几何与几何匹配和语义匹配的基准测试的最新学习方法，即使它既不需要大型培训数据也不需要深入学习。通过预先培训的网络，DMP在所有基准上达到最先进的性能。

We present a novel method for local image feature matching. Instead of performing image feature detection, description, and matching sequentially, we propose to first establish pixel-wise dense matches at a coarse level and later refine the good matches at a fine level. In contrast to dense methods that use a cost volume to search correspondences, we use self and cross attention layers in Transformer to obtain feature descriptors that are conditioned on both images. The global receptive field provided by Transformer enables our method to produce dense matches in low-texture areas, where feature detectors usually struggle to produce repeatable interest points. The experiments on indoor and outdoor datasets show that LoFTR outperforms state-of-the-art methods by a large margin. LoFTR also ranks first on two public benchmarks of visual localization among the published methods. Code is available at our project page: https://zju3dv.github.io/loftr/.

我们介绍了光流变压器，被称为流动型，这是一种基于变压器的神经网络体系结构，用于学习光流。流动形式将图像对构建的4D成本量构成，将成本令牌编码为成本记忆，并在新颖的潜在空间中使用备用组变压器（AGT）层编码成本记忆，并通过反复的变压器解码器与动态位置成本查询来解码成本记忆。在SINTEL基准测试中，流动型在干净和最终通行证上达到1.144和2.183平均末端PONIT-ERROR（AEPE），从最佳发布的结果（1.388和2.47）降低了17.6％和11.6％的误差。此外，流程度还达到了强大的概括性能。在不接受Sintel的培训的情况下，FlowFormer在Sintel训练套装清洁通行证上达到了0.95 AEPE，优于最佳发布结果（1.29），提高了26.9％。

在图像之间生成健壮和可靠的对应关系是多种应用程序的基本任务。为了在全球和局部粒度上捕获上下文，我们提出了Aspanformer，这是一种基于变压器的无探测器匹配器，建立在层次的注意力结构上，采用了一种新颖的注意操作，能够以自适应方式调整注意力跨度。为了实现这一目标，首先，在每个跨注意阶段都会回归流图，以定位搜索区域的中心。接下来，在中心周围生成一个采样网格，其大小不是根据固定的经验配置为固定的，而是根据与流图一起估计的像素不确定性的自适应计算。最后，在派生区域内的两个图像上计算注意力，称为注意跨度。通过这些方式，我们不仅能够维持长期依赖性，而且能够在高相关性的像素之间获得细粒度的注意，从而补偿基本位置和匹配任务中的零件平滑度。在广泛的评估基准上的最新准确性验证了我们方法的强匹配能力。

基于学习的光流量估计已经与成本量的管道管道，具有用于流回归的卷曲，其固有地限于本地相关性，因此很难解决大型位移的长期挑战。为了缓解这一点，通过大量迭代细化产生一系列流动更新，实现最先进的方法，即筏，逐渐提高其预测的质量，实现了显着的性能，但减慢推理速度。为了实现高精度和效率的光学流量估计，我们通过将光学流作为全球匹配问题重新重新重新重新匹配，完全改造主导流回归管道。具体而言，我们提出了一个GMFlow框架，它由三个主要组件组成：用于功能增强的自定义变压器，全局特征匹配的相关和软邮件，以及用于流传播的自我注意层。此外，我们进一步介绍了一种改进步骤，该步骤在较高分辨率下重复使用GMFlow以进行残余流量预测。我们的新框架优于32次迭代RAFT在挑战的Sintel基准测试中的性能，同时仅使用一个细化并更快地运行，为高效和准确的光学流量估算提供了新的可能性。代码将在https://github.com/haofeixu/gmflow上使用。

We present a unified formulation and model for three motion and 3D perception tasks: optical flow, rectified stereo matching and unrectified stereo depth estimation from posed images. Unlike previous specialized architectures for each specific task, we formulate all three tasks as a unified dense correspondence matching problem, which can be solved with a single model by directly comparing feature similarities. Such a formulation calls for discriminative feature representations, which we achieve using a Transformer, in particular the cross-attention mechanism. We demonstrate that cross-attention enables integration of knowledge from another image via cross-view interactions, which greatly improves the quality of the extracted features. Our unified model naturally enables cross-task transfer since the model architecture and parameters are shared across tasks. We outperform RAFT with our unified model on the challenging Sintel dataset, and our final model that uses a few additional task-specific refinement steps outperforms or compares favorably to recent state-of-the-art methods on 10 popular flow, stereo and depth datasets, while being simpler and more efficient in terms of model design and inference speed.

在本文中，我们基于我们对多视图立体声（MVS）中的特征匹配的探索来呈现TransVSNet。我们将MVS模拟返回其特征匹配任务的性质，因此提出了一个强大的功能匹配变换器（FMT），以利用（自我）和（交叉）关注（交叉）在图像内和跨越图像中聚合的长程上下文信息。为了便于更好地调整FMT，我们利用自适应接收领域（ARF）模块，以确保在特征范围内平滑过境，并使用特征途径桥接不同阶段，以通过不同尺度的转换特征和梯度。此外，我们应用配对特征相关性以测量特征之间的相似性，并采用歧义降低焦损，以加强监管。据我们所知，TransmVSNet首次尝试将变压器利用到MV的任务。因此，我们的方法在DTU数据集，坦克和寺庙基准测试和BlendedMVS数据集中实现了最先进的性能。我们的方法代码将在https://github.com/megviirobot/transmvsnet中提供。

立体声匹配是许多视觉和机器人应用程序的基本构建块。信息性和简洁的成本量表示对于高准确性和效率的立体声匹配至关重要。在本文中，我们提出了一种新颖的成本量构建方法，称为“注意串联量”（ACV），该方法从相关线索中产生了注意力权重，以抑制冗余信息并增强串联体积中与匹配相关的信息。 ACV可以无缝嵌入大多数立体声匹配网络中，所得网络可以使用更轻巧的聚合网络，同时获得更高的精度。我们进一步设计了快速版本的ACV版本以实现实时性能，名为FAST-ACV，它产生了很高的可能性差异假设，以及来自低分辨率相关线索的相应注意力权重，可显着降低计算和记忆成本，同时保持令人满意的精度。我们快速ACV的核心思想是音量注意传播（VAP），它可以自动从上采样相关量中选择准确的相关值，并将这些准确的值传播到周围环境像素具有模棱两可的相关线索。此外，我们分别基于我们的ACV和Fast-ACV设计了高度准确的网络ACVNET和实时网络快速ACVNET，该网络在几个基准上实现了最新性能（即，我们的ACVNET排名第二，第二名在Kitti 2015和场景流以及所有已发布方法中的Kitti 2012和Eth3d的第三次；我们的快速ACVNET几乎优于现场流的所有最新实时方法，Kitti 2012和2015年，与此同时，与此同时更好的概括能力）

本地功能匹配是在子像素级别上的计算密集任务。尽管基于检测器的方法和特征描述符在低文本场景中遇到了困难，但具有顺序提取到匹配管道的基于CNN的方法无法使用编码器的匹配能力，并且倾向于覆盖用于匹配的解码器。相比之下，我们提出了一种新型的层次提取和匹配变压器，称为火柴场。在层次编码器的每个阶段，我们将自我注意事项与特征提取和特征匹配的交叉注意相结合，从而产生了人直觉提取和匹配方案。这种匹配感知的编码器释放了过载的解码器，并使该模型高效。此外，将自我交叉注意在分层体系结构中的多尺度特征结合起来，可以提高匹配的鲁棒性，尤其是在低文本室内场景或更少的室外培训数据中。得益于这样的策略，MatchFormer是效率，鲁棒性和精度的多赢解决方案。与以前的室内姿势估计中的最佳方法相比，我们的Lite MatchFormer只有45％的Gflops，但获得了 +1.3％的精度增益和41％的运行速度提升。大型火柴构造器以四个不同的基准达到最新的基准，包括室内姿势估计（SCANNET），室外姿势估计（Megadepth），同型估计和图像匹配（HPATCH）和视觉定位（INLOC）。

立体声匹配是许多视觉和机器人应用程序的基本构建块。信息性和简洁的成本量表示对于高准确性和效率的立体声匹配至关重要。在本文中，我们提出了一种新颖的成本量构建方法，该方法从相关线索中产生了注意力，以抑制冗余信息并增强串联量中与匹配相关的信息。为了产生可靠的注意力权重，我们提出了多层次自适应补丁匹配，以提高在不同差异区域以不同差异的匹配成本的独特性。提出的成本量被命名为注意串联量（ACV），可以将其无缝嵌入大多数立体声匹配网络中，结果网络可以使用更轻巧的聚合网络，同时实现更高的精度，例如。仅使用聚合网络的1/25参数可以实现GWCNET的更高精度。此外，我们根据ACV设计了一个高度准确的网络（ACVNET），该网络（ACVNET）在几个基准上实现了最先进的性能。

在统一功能对应模型中建模稀疏和致密的图像匹配最近引起了研究的兴趣。但是，现有的努力主要集中于提高匹配的准确性，同时忽略其效率，这对于现实世界的应用至关重要。在本文中，我们提出了一种有效的结构，该结构以粗到精细的方式找到对应关系，从而显着提高了功能对应模型的效率。为了实现这一目标，多个变压器块是阶段范围连接的，以逐步完善共享的多尺度特征提取网络上的预测坐标。给定一对图像和任意查询坐标，所有对应关系均在单个进纸传球内预测。我们进一步提出了一种自适应查询聚类策略和基于不确定性的离群检测模块，以与提出的框架合作，以进行更快，更好的预测。对各种稀疏和密集的匹配任务进行的实验证明了我们方法在效率和有效性上对现有的最新作品的优势。

在两个图像之间建立密集对应是基本计算机视觉问题，通常通过匹配本地特征描述符来解决。然而，如果没有全球意识，这种本地特征通常不足以消除类似地区。并计算图像的成对特征相关性是计算昂贵和内存密集型。为了使本地特征意识到全球背景并提高其匹配的准确性，我们介绍了DendeGap，一种新的解决方案，以获得高效密集的信念学习，在锚点上调节图形结构化神经网络。具体地，我们首先提出利用锚点的曲线图结构，以在和图像间的情况下之前提供稀疏但可靠，并通过定向边沿传播到所有图像点。我们还通过光加权消息传递层设计了图形结构化网络以广播多级上下文，并以低内存成本生成高分辨率特征映射。最后，基于预测的特征图，我们使用循环一致性引入用于准确的对应预测的粗略框架。我们的特征描述符捕获本地和全局信息，从而启用一个连续的特征字段，用于以高分辨率查询任意点。通过对大型室内和室外数据集的全面的消融实验和评估，我们证明我们的方法在大多数基准上推动了最先进的函授学习。

找到密集的语义对应是计算机视觉中的一个基本问题，由于背景混乱，极端的阶层变化以及严重缺乏地面真理，在复杂的场景中仍然具有挑战性。在本文中，我们旨在通过丰富稀疏关键点注释中的监督信号来解决语义通信中标签稀疏性的挑战。为此，我们首先提出了一个教师学习范式，以产生著名的伪标签，然后制定两种新颖的伪造伪造策略。特别是，我们在稀疏注释周围使用空间先验来抑制嘈杂的伪标记。此外，我们还引入了损失驱动的动态标签选择策略，用于标签denoisising。我们通过两种学习策略的变体实例化范式：一个离线教师设置和共同的在线教师设置。我们的方法在三个具有挑战性的基准标准方面取得了显着的改进，并建立了新的最新技术。项目页面：https：//shuaiyihuang.github.io/publications/scorrsan。

我们提出了可推广的NERF变压器（GNT），这是一种纯粹的，统一的基于变压器的体系结构，可以从源视图中有效地重建神经辐射场（NERF）。与NERF上的先前作品不同，通过颠倒手工渲染方程来优化人均隐式表示，GNT通过封装两个基于变压器的阶段来实现可概括的神经场景表示和渲染。 GNT的第一阶段，称为View Transformer，利用多视图几何形状作为基于注意力的场景表示的电感偏差，并通过在相邻视图上从异性线中汇总信息来预测与坐标对齐的特征。 GNT的第二阶段，名为Ray Transformer，通过Ray Marching呈现新视图，并使用注意机制直接解码采样点特征的序列。我们的实验表明，当在单个场景上进行优化时，GNT可以在不明确渲染公式的情况下成功重建NERF，甚至由于可学习的射线渲染器，在复杂的场景上甚至将PSNR提高了〜1.3db。当在各种场景中接受培训时，GNT转移到前面的LLFF数据集（LPIPS〜20％，SSIM〜25％$）和合成搅拌器数据集（LPIPS〜20％，SSIM 〜25％$）时，GNN会始终达到最先进的性能4％）。此外，我们表明可以从学习的注意图中推断出深度和遮挡，这意味着纯粹的注意机制能够学习一个物理地面渲染过程。所有这些结果使我们更接近将变形金刚作为“通用建模工具”甚至用于图形的诱人希望。请参阅我们的项目页面以获取视频结果：https：//vita-group.github.io/gnt/。

在许多视觉应用程序中，查找跨图像的对应是一项重要任务。最新的最新方法着重于以粗到精细的方式设计的基于端到端学习的架构。他们使用非常深的CNN或多块变压器来学习强大的表示，这需要高计算能力。此外，这些方法在不理解对象，图像内部形状的情况下学习功能，因此缺乏解释性。在本文中，我们提出了一个用于图像匹配的体系结构，该体系结构高效，健壮且可解释。更具体地说，我们介绍了一个名为toblefm的新型功能匹配模块，该模块可以大致将图像跨图像的空间结构大致组织到一个主题中，然后扩大每个主题内部的功能以进行准确的匹配。为了推断主题，我们首先学习主题的全局嵌入，然后使用潜在变量模型来检测图像结构将图像结构分配到主题中。我们的方法只能在共同可见性区域执行匹配以减少计算。在室外和室内数据集中进行的广泛实验表明，我们的方法在匹配性能和计算效率方面优于最新方法。该代码可在https://github.com/truongkhang/topicfm上找到。

变压器最近在计算机视觉中获得了越来越高的关注。然而，现有研究大多用于特征表示学习的变压器，例如，用于图像分类和密集预测，变压器的普遍性是未知的。在这项工作中，我们进一步调查了对图像匹配和度量学习的应用变压器的可能性。我们发现视觉变压器（VIT）和带解码器的Vanilla变压器由于它们缺乏图像与图像而受到图像匹配。因此，我们进一步设计了两种天真的解决方案，即vit的查询画廊串联，并在香草变压器中的Query-Gallery横向关注。后者提高了性能，但它仍然有限。这意味着变压器中的注意机制主要用于全局特征聚合，这不是自然适用于图像匹配。因此，我们提出了一种新的简化解码器，它可以使用SoftMax加权丢弃全部注意力实现，只能保持查询关键相似性计算。此外，还应用全局最大池和多层的Perceptron（MLP）头来解码匹配结果。这样，简化的解码器在计算上更有效，而同时对图像匹配更有效。所谓的方法称为传输函数，在概括的人重新识别中实现最先进的性能，在几个流行的数据集中分别在Rank-1中的性能增长高达6.1％和5.7％。代码可在https://github.com/shengcailiao/qaconv获得。