Referring image segmentation aims to segment the target object described by a given natural language expression. Typically, referring expressions contain complex relationships between the target and its surrounding objects. The main challenge of this task is to understand the visual and linguistic content simultaneously and to find the referred object accurately among all instances in the image. Currently, the most effective way to solve the above problem is to obtain aligned multi-modal features by computing the correlation between visual and linguistic feature modalities under the supervision of the ground-truth mask. However, existing paradigms have difficulty in thoroughly understanding visual and linguistic content due to the inability to perceive information directly about surrounding objects that refer to the target. This prevents them from learning aligned multi-modal features, which leads to inaccurate segmentation. To address this issue, we present a position-aware contrastive alignment network (PCAN) to enhance the alignment of multi-modal features by guiding the interaction between vision and language through prior position information. Our PCAN consists of two modules: 1) Position Aware Module (PAM), which provides position information of all objects related to natural language descriptions, and 2) Contrastive Language Understanding Module (CLUM), which enhances multi-modal alignment by comparing the features of the referred object with those of related objects. Extensive experiments on three benchmarks demonstrate our PCAN performs favorably against the state-of-the-art methods. Our code will be made publicly available.

参考图像分割旨在通过自然语言表达段段。在文本和图像之间的不同数据属性中，对网络充满良好的对齐文本和像素级别特征是具有挑战性的。现有方法使用借预制模型来促进学习，但分别从预磨料模型转移语言/视觉知识，忽略多模态对应信息。灵感来自最近对比语言 - 图像预测（剪辑）的预先推进（剪辑），在本文中，我们提出了一个端到端的剪辑驱动的参考图像分割框架（CRIS）。有效地转移多模态知识，克里斯语言解码和对比学习来实现文本到像素对齐的对比学习。更具体地，我们设计了一种视觉语言解码器，以将微粒语义信息从文本表示传播到每个像素级激活，这促进了两个模态之间的一致性。此外，我们呈现文本到像素对比学学习，明确强制执行类似于相关像素级别特征的文本特征，并与无关相似。三个基准数据集的实验结果表明，我们的拟议框架显着优于现有的性能而无需任何后处理。代码将被释放。

引用图像分割是一种基本愿景 - 语言任务，旨在分割由图像中的自然语言表达式引用的对象。这项任务背后的一个关键挑战是利用引用表达式来突出显示图像中的相关位置。解决此问题的范例是利用强大的视觉语言（“跨模型”）解码器到从视觉编码器和语言编码器独立提取的保险丝特征。最近的方法通过利用变换器作为跨模型解码器，并将变换器在许多其他视觉语言任务中的压倒性成功的同时进行了显着的进步。在这项工作中采用不同的方法，我们表明，通过在视觉变压器编码器网络的中间层中的语言和视觉特征的早期融合，可以实现更好的跨模型对准。通过在视觉特征编码阶段进行跨模型特征融合，我们可以利用变压器编码器的良好相关建模功率，以便挖掘有用的多模态上下文。通过这种方式，用轻型掩模预测器容易地收获精确的分段结果。没有钟声和口哨，我们的方法超越了在Refcoco，Refcoco +和G-Ref上的先前最先进的方法。

参照视频对象分割（R-VOS）是一个新兴的跨通道任务，其目的是分割目标对象中的所有的视频帧称为一个语言表达式。在这项工作中，我们提出了一个简单并在变压器建成统一的框架，称为ReferFormer。它认为在语言查询，并直接参加到视频帧中的最相关的区域。具体而言，我们引入一个小套空调的语言作为输入Transformer对象的查询。通过这种方式，所有的查询有义务仅发现指的对象。他们最终都转化为动态的内核，其捕捉的关键对象级信息，并发挥卷积过滤器的作用，生成特征地图分割口罩。对象跟踪通过连接在帧之间相应的查询自然实现。这种机制极大地简化了管道和终端到终端的框架是从以前的方法不同显著。在REF-YouTube的VOS，REF-DAVIS17大量的实验，A2D-句子和JHMDB-句显示ReferFormer的有效性。上REF-YouTube的VOS，参见-前达到55.6J＆F与RESNET-50主链而不花哨，这超过了8.4点之前的状态的最先进的性能。此外，与强斯文 - 大型骨干，ReferFormer实现了所有现有的方法中最好的J＆62.4 F。歼＆F度量可以通过采用一个简单的后处理技术来进一步升压到63.3。此外，我们分别显示55.0地图和43.7地图上A2D-句andJHMDB-句令人印象深刻的结果，这显著优于大幅度以前的方法。代码是公开的，在https://github.com/wjn922/ReferFormer。

视觉接地是定位自然语言表达式指示的目标的任务。现有方法将通用对象检测框架扩展到此问题。它们将视觉接地基于预先生成的提案或锚点的特征，并将这些功能与文本嵌入融合，以找到文本提到的目标。但是，对这些预定义位置的视觉特征进行建模可能无法完全利用文本查询中的视觉上下文和属性信息，从而限制其性能。在本文中，我们提出了一个基于变压器的框架，以通过建立文本条件的判别特征和执行多阶段的跨模式推理来进行准确的视觉接地。具体而言，我们开发了一个视觉语言验证模块，以将视觉特征集中在与文本描述相关的区域上，同时抑制了无关区域。还设计了一种语言指导的特征编码器来汇总目标对象的视觉上下文，以提高对象的独特性。为了从编码的视觉特征中检索目标，我们进一步提出了一个多阶段的跨模式解码器，以迭代地推测图像和文本之间的相关性，以进行准确的目标定位。在五个广泛使用的数据集上进行的广泛实验验证了我们提出的组件的功效，并证明了最先进的性能。我们的代码在https://github.com/yangli18/vltvg上公开。

Referring image segmentation aims at localizing all pixels of the visual objects described by a natural language sentence. Previous works learn to straightforwardly align the sentence embedding and pixel-level embedding for highlighting the referred objects, but ignore the semantic consistency of pixels within the same object, leading to incomplete masks and localization errors in predictions. To tackle this problem, we propose CoupAlign, a simple yet effective multi-level visual-semantic alignment method, to couple sentence-mask alignment with word-pixel alignment to enforce object mask constraint for achieving more accurate localization and segmentation. Specifically, the Word-Pixel Alignment (WPA) module performs early fusion of linguistic and pixel-level features in intermediate layers of the vision and language encoders. Based on the word-pixel aligned embedding, a set of mask proposals are generated to hypothesize possible objects. Then in the Sentence-Mask Alignment (SMA) module, the masks are weighted by the sentence embedding to localize the referred object, and finally projected back to aggregate the pixels for the target. To further enhance the learning of the two alignment modules, an auxiliary loss is designed to contrast the foreground and background pixels. By hierarchically aligning pixels and masks with linguistic features, our CoupAlign captures the pixel coherence at both visual and semantic levels, thus generating more accurate predictions. Extensive experiments on popular datasets (e.g., RefCOCO and G-Ref) show that our method achieves consistent improvements over state-of-the-art methods, e.g., about 2% oIoU increase on the validation and testing set of RefCOCO. Especially, CoupAlign has remarkable ability in distinguishing the target from multiple objects of the same class.

参考图像分割（RIS）旨在通过输出给定文本描述的相应对象掩码连接图像和语言，这是一项基本的视觉语言任务。尽管RIS取得了很多进展，但在这项工作中，我们还是探索了一个基本问题：“如果描述是错误的或文本描述的误导怎么办？”。我们将这样的句子称为否定句子。但是，我们发现现有作品无法处理此类设置。为此，我们提出了一种新颖的RIS，称为Robust Robust Toemustring图像分割（R-RIS）。除了定期给出的文本输入外，它还考虑了否定句子输入。我们通过增加输入负面句子和一个新的指标来统一两种输入类型，提出三个不同的数据集。此外，我们设计了一个名为RefSegformer的新的基于变压器的模型，在其中引入了基于令牌的视觉和语言融合模块。通过添加额外的空白令牌，可以轻松地将此类模块扩展到我们的R-RIS设置。我们提出的RefSegormer在三个常规RIS数据集和三个R-RIS数据集上实现了新的最新结果，这是用于进一步研究的新基线。项目页面位于\ url {https://lxtgh.github.io/project/robust_ref_seg/}。

在本文中，我们研究了如何使用现代视觉语言变形金刚实现更好的视觉接地，并为这项具有挑战性的任务提出了一种简单而强大的选择性训练（SIRI）机制。特别是，Siri传达了视觉接地研究的重要原则，即更好的初始视觉语言编码器将帮助该模型收敛到更好的局部最低限度，从而相应地提高性能。具体而言，随着训练的进行，我们不断更新编码器的参数，而定期重新定位的其余参数则可以根据增强的编码来更好地优化模型。 Siri在三个流行的基准测试中可以大大优于以前的方法。具体而言，我们的方法在Refcoco+ Testa上达到了83.04％的TOP1精度，超过了最先进的方法（从头开始训练）超过10.21％。此外，我们透露，即使培训数据有限，Siri也表现出色。我们还将其扩展到基于变压器的视觉接地模型和其他视觉语言任务，以验证有效性。

多模式变压器表现出高容量和灵活性，可将图像和文本对齐以进行视觉接地。然而，由于自我发挥操作的二次时间复杂性，仅编码的接地框架（例如，transvg）遭受了沉重的计算。为了解决这个问题，我们通过将整个接地过程解散为编码和解码阶段，提出了一种新的多模式变压器体系结构，以动态MDETR形成。关键观察是，图像中存在很高的空间冗余。因此，我们通过在加快视觉接地过程之前利用这种稀疏性来设计一种新的动态多模式变压器解码器。具体而言，我们的动态解码器由2D自适应采样模块和文本引导的解码模块组成。采样模块旨在通过预测参考点的偏移来选择这些信息补丁，而解码模块则可以通过在图像功能和文本功能之间执行交叉注意来提取接地对象信息。这两个模块也被堆叠起来，以逐渐弥合模态间隙，并迭代地完善接地对象的参考点，最终实现了视觉接地的目的。对五个基准测试的广泛实验表明，我们提出的动态MDETR实现了计算和准确性之间的竞争权衡。值得注意的是，在解码器中仅使用9％的特征点，我们可以降低〜44％的多模式变压器的GLOP，但仍然比仅编码器的对应物更高的精度。此外，为了验证其概括能力并扩展我们的动态MDETR，我们构建了第一个单级剪辑授权的视觉接地框架，并在这些基准测试中实现最先进的性能。

参考图像分割是典型的多模模式任务，其目的在于为给定语言表达式中描述的参考生成二进制掩码。现有技术采用双峰解决方案，以编码器 - 融合解码器管道内的两种方式采用图像和语言。但是，由于两个原因，该管道对目标任务进行了次优。首先，它们仅保险熔断由单模编码器产生的高级别功能，其妨碍了足够的跨模型学习。其次，UNI-Modal编码器是独立预先培训的，这在预训练的UNI-DOMAL任务和目标多模态任务之间带来不一致。此外，这种管道经常忽略或几乎没有使用直观有益的实例级别功能。为了减轻这些问题，我们提出了邮件，这是一个更简洁的编码器解码器管道，具有掩码图像语言Trimodal编码器。具体而言，邮件将Uni-Modal特征提取器及其融合模型统一到深度模态交互编码器中，促进了不同模式的足够的特征交互。同时，邮件直接避免了第二个限制，因为不再需要单模编码器。此外，我们第一次提出将实例掩码介绍为额外的模态，这明确加强了实例级别特征并促使更精细的分段结果。该邮件在所有常用的引用图像分割数据集中设置了一种新的最先进的，包括Refcoco，Refcoco +和G-Ref，具有显着的收益，与以前的最佳方法为3％-10％。代码即将发布。

引用视频对象分割（R-VOS）旨在分割视频中的对象掩码，并给出将语言表达式转介到对象的情况下。这是最近引入的任务，吸引了不断增长的研究关注。但是，所有现有的作品都有很大的假设：表达式所描绘的对象必须存在于视频中，即表达式和视频必须具有对象级的语义共识。在现实世界中，通常会违反这种表达式的虚假视频，并且由于滥用假设，现有方法总是在此类错误查询中失败。在这项工作中，我们强调研究语义共识对于提高R-VOS的鲁棒性是必要的。因此，我们从没有语义共识假设的R-VOS构成了一个扩展任务，称为Robust R-VOS（$ \ Mathrm {R}^2 $ -VOS）。 $ \ mathrm {r}^2 $ - VOS任务与主R-VOS任务的联合建模及其双重问题（文本重建）基本相关。我们接受这样的观察，即嵌入空间通过文本视频文本转换的周期具有关系一致性，该转换将主要问题和双重问题连接起来。我们利用周期一致性来区分语义共识，从而推进主要任务。通过引入早期接地介质，可以实现对主要问题和双重问题的平行优化。收集了一个新的评估数据集，$ \ mathrm {r}^2 $ -Youtube-vos，以测量R-VOS模型针对未配对的视频和表达式的稳健性。广泛的实验表明，我们的方法不仅可以识别出无关表达式和视频的负面对，而且还提高了具有出色歧义能力的正对的分割精度。我们的模型在Ref-Davis17，Ref-Youtube-Vos和Novel $ \ Mathrm {r}^2 $ -Youtube-vos数据集上实现了最先进的性能。

变压器是一种基于关注的编码器解码器架构，彻底改变了自然语言处理领域。灵感来自这一重大成就，最近在将变形式架构调整到计算机视觉（CV）领域的一些开创性作品，这已经证明了他们对各种简历任务的有效性。依靠竞争力的建模能力，与现代卷积神经网络相比在本文中，我们已经为三百不同的视觉变压器进行了全面的审查，用于三个基本的CV任务（分类，检测和分割），提出了根据其动机，结构和使用情况组织这些方法的分类。 。由于培训设置和面向任务的差异，我们还在不同的配置上进行了评估了这些方法，以便于易于和直观的比较而不是各种基准。此外，我们已经揭示了一系列必不可少的，但可能使变压器能够从众多架构中脱颖而出，例如松弛的高级语义嵌入，以弥合视觉和顺序变压器之间的差距。最后，提出了三个未来的未来研究方向进行进一步投资。

在这项工作中，我们探索了用于视觉接地的整洁而有效的基于变压器的框架。先前的方法通常解决了视觉接地的核心问题，即具有手动设计的机制，即多模式融合和推理。这样的启发式设计不仅复杂化，而且使模型容易过度拟合特定的数据分布。为了避免这种情况，我们首先提出了TransVG，该TransVG通过变压器建立了多模式的对应关系，并通过直接回归框坐标来定位引用区域。我们从经验上表明，复杂的融合模块可以用具有更高性能的变压器编码层的简单堆栈代替。但是，TransVG中的核心融合变压器是针对Uni-Modal编码器的独立性，因此应在有限的视觉接地数据上从头开始训练，这使得很难优化并导致次优性能。为此，我们进一步介绍了TransVG ++以进行两倍的改进。一方面，我们通过利用Vision Transformer（VIT）进行视觉功能编码来将框架升级到一个纯粹的基于变压器的框架。对于另一个人来说，我们设计了语言有条件的视觉变压器，以去除外部融合模块，并重用Uni-Modal vit进行中间层的视觉融合。我们对五个普遍数据集进行了广泛的实验，并报告一系列最先进的记录。

人群的理解由于其重要的实际意义引起了人们对视觉领域的普遍兴趣。不幸的是，没有努力探索桥接自然语言和计算机视觉的多模式领域中的人群理解。参考表达理解（REF）是一项代表性的多模式任务。当前的REF研究更多地集中在一般情况下从多个独特类别中扎根目标对象。很难应用于复杂的现实世界人群的理解。为了填补这一空白，我们提出了一个新的挑战性数据集，称为Refcrowd，该数据集旨在通过参考表达方式寻找人群中的目标人。它不仅需要充分挖掘自然语言信息，而且还需要仔细地专注于目标与具有相似外观的人群之间的细微差异，以实现从语言到视觉的细粒度映射。此外，我们提出了一个细粒度的多模式属性对比网络（FMAC），以在人群的理解中处理参考。它首先将复杂的视觉和语言特征分解为属性感知的多模式特征，然后捕获歧视性但健壮性的细粒属性特征，以有效地区分相似人之间的这些细微差异。所提出的方法优于我们的档案数据集和现有参考数据集中的现有最新方法（SOTA）方法。此外，我们为多模式域中的更深入研究实施了端到端的REF工具箱。我们的数据集和代码可以在：\ url {https://qiuheqian.github.io/datasets/refcrowd/}中可用。

Astounding results from Transformer models on natural language tasks have intrigued the vision community to study their application to computer vision problems. Among their salient benefits, Transformers enable modeling long dependencies between input sequence elements and support parallel processing of sequence as compared to recurrent networks e.g., Long short-term memory (LSTM). Different from convolutional networks, Transformers require minimal inductive biases for their design and are naturally suited as set-functions. Furthermore, the straightforward design of Transformers allows processing multiple modalities (e.g., images, videos, text and speech) using similar processing blocks and demonstrates excellent scalability to very large capacity networks and huge datasets. These strengths have led to exciting progress on a number of vision tasks using Transformer networks. This survey aims to provide a comprehensive overview of the Transformer models in the computer vision discipline. We start with an introduction to fundamental concepts behind the success of Transformers i.e., self-attention, large-scale pre-training, and bidirectional feature encoding. We then cover extensive applications of transformers in vision including popular recognition tasks (e.g., image classification, object detection, action recognition, and segmentation), generative modeling, multi-modal tasks (e.g., visual-question answering, visual reasoning, and visual grounding), video processing (e.g., activity recognition, video forecasting), low-level vision (e.g., image super-resolution, image enhancement, and colorization) and 3D analysis (e.g., point cloud classification and segmentation). We compare the respective advantages and limitations of popular techniques both in terms of architectural design and their experimental value. Finally, we provide an analysis on open research directions and possible future works. We hope this effort will ignite further interest in the community to solve current challenges towards the application of transformer models in computer vision.

引用视频对象细分旨在分割给定语言表达式所引用的对象。现有作品通常需要压缩视频bitstream在分割之前将其解码为RGB帧，从而增加了计算和存储要求，并最终减慢了推断。这可能会妨碍其在现实世界计算资源有限的场景中的应用，例如自动驾驶汽车和无人机。为了减轻此问题，在本文中，我们探讨了压缩视频的引用对象细分任务，即原始视频数据流。除了视频引用对象分割任务本身的固有难度外，从压缩视频中获得歧视性表示也很具有挑战性。为了解决这个问题，我们提出了一个多发网络，该网络由双路线双注意模块和一个基于查询的跨模式变压器模块组成。具体而言，双路线双意见模块旨在从三种模态的压缩数据中提取有效表示，即i框架，运动矢量和残留。基于查询的跨模式变压器首先对语言和视觉方式之间的相关性进行建模，然后使用融合的多模式特征来指导对象查询以生成内容感知的动态内核并预测最终的分割掩码。与以前的作品不同，我们建议只学习一个内核，因此，它可以删除现有方法的复杂后掩模匹配程序。在三个具有挑战性的数据集上进行的广泛有希望的实验结果表明，与几种用于处理RGB数据的最新方法相比，我们的方法的有效性。源代码可在以下网址获得：https：//github.com/dexianghong/manet。

引用的视频对象分割任务（RVOS）涉及在给定视频的帧中分割文本引用的对象实例。由于这种多模式任务的复杂性，它结合了文本推理，视频理解，实例分割和跟踪，现有方法通常依赖于复杂的流水线以解决它。在本文中，我们提出了一种简单的基于变压器的RVO方法。我们的框架称为多模式跟踪变压器（MTTR），将RVOS任务模拟作为序列预测问题。在计算机视觉和自然语言处理的最新进步之后，MTTR基于实现视频和文本可以通过单个多峰变压器模型有效地处理视频和文本。 MTTR是端到端的培训，没有文本相关的电感偏置组件，不需要额外的面具细化后处理步骤。因此，与现有方法相比，它显着简化了RVOS管道。标准基准的评估表明，MTTR在多个度量标准中显着优于前面的艺术。特别是，MTTR分别显示A2D句子和JHMDB句子数据集的令人印象深刻的+5.7和+ 5.0映射增长，同时处理每秒76帧。此外，我们在公开验证集的推荐集上报告了强劲的结果，这是一个更具挑战性的RVOS数据集，该数据集尚未得到研究人员的注意。重现我们的实验的代码可在https://github.com/mttr2021/mttr中获得

我们将Dino（\ textbf {d} etr与\ textbf {i} mpred de \ textbf {n} oising hand \ textbf {o} r boxes），一种最先进的端到端对象检测器。 ％ 在本文中。 Dino通过使用一种对比度方法来降级训练，一种用于锚定初始化的混合查询选择方法以及对盒子预测的两次方案，通过使用对比的方式来改善性能和效率的模型。 Dino在$ 12 $时代获得$ 49.4 $ ap，$ 12.3 $ ap in Coco $ 24 $时期，带有Resnet-50骨干和多尺度功能，可显着改善$ \ textbf {+6.0} $ \ textbf {ap}和ap {ap}和ap}和$ \ textbf {+2.7} $ \ textbf {ap}与以前的最佳detr样模型相比，分别是dn-detr。 Dino在模型大小和数据大小方面都很好地缩放。没有铃铛和哨子，在对objects365数据集进行了swinl骨架的预训练后，Dino在两个Coco \ texttt {val2017}（$ \ textbf {63.2} $ \ textbf {ap ap}）和\ testtt { -dev}（\ textbf {$ \ textbf {63.3} $ ap}）。与排行榜上的其他模型相比，Dino大大降低了其模型大小和预训练数据大小，同时实现了更好的结果。我们的代码将在\ url {https://github.com/ideacvr/dino}提供。

In this paper we present Mask DINO, a unified object detection and segmentation framework. Mask DINO extends DINO (DETR with Improved Denoising Anchor Boxes) by adding a mask prediction branch which supports all image segmentation tasks (instance, panoptic, and semantic). It makes use of the query embeddings from DINO to dot-product a high-resolution pixel embedding map to predict a set of binary masks. Some key components in DINO are extended for segmentation through a shared architecture and training process. Mask DINO is simple, efficient, and scalable, and it can benefit from joint large-scale detection and segmentation datasets. Our experiments show that Mask DINO significantly outperforms all existing specialized segmentation methods, both on a ResNet-50 backbone and a pre-trained model with SwinL backbone. Notably, Mask DINO establishes the best results to date on instance segmentation (54.5 AP on COCO), panoptic segmentation (59.4 PQ on COCO), and semantic segmentation (60.8 mIoU on ADE20K) among models under one billion parameters. Code is available at \url{https://github.com/IDEACVR/MaskDINO}.

Panoptic叙事接地（PNG）是一项新的任务，其目标是通过静止图像的密集叙事标题来分割事物和内容类别的视觉对象。先前的两阶段方法首先提取了通过现成的全盘分割模型提取分割区域的建议，然后进行粗糙的区域短语匹配，以将每个名词短语的候选区域接地。但是，两阶段的管道通常受到第一阶段低质量建议的性能限制，以及由区域特征池的损失以及为事物和东西类别设计的复杂策略引起的空间细节。为了减轻这些缺点，我们提出了一个单阶段的端到端像素匹配网络（PPMN），该网络将每个短语与其相应的像素直接匹配，而不是区域建议，并通过简单组合输出全段段。因此，我们的模型可以从密集注释的像素色素对的监督而不是稀疏的区域短语对中利用足够，更精细的跨模式语义对应关系。此外，我们还提出了与语言兼容的像素聚合（LCPA）模块，以进一步通过多轮修补剂增强短语特征的判别能力，该简化为每个短语选择最兼容的像素以适应相应的视觉上下文。广泛的实验表明，我们的方法在PNG基准测试中实现了新的最新性能，并具有4.0个绝对平均召回率增长。