参考表达理解（REC）是视觉推理中最重要的任务之一，该任务需要模型来检测自然语言表达式所引用的目标对象。在拟议的管道中，一阶段参考表达理解（OSREC）已成为主要趋势，因为它合并了区域建议和选择阶段。许多最先进的OSREC模型采用多跳的推理策略，因为单个表达式中经常提到一系列对象，该对象需要多跳的推理来分析语义关系。但是，这些模型的一个未解决的问题是，在推理之前需要预先定义和固定推理步骤的数量，而忽略了表达式的不同复杂性。在本文中，我们提出了一个动态的多步推理网络，该网络允许根据推理状态和表达复杂性动态调整推理步骤。具体而言，我们采用变压器模块来记住和处理推理状态和增强学习策略，以动态推断推理步骤。这项工作可在几个REC数据集上实现最新性能或重大改进，从具有短表达式的Refcoco（+，G）到具有长而复杂的组成表达式的数据集。

多模式变压器表现出高容量和灵活性，可将图像和文本对齐以进行视觉接地。然而，由于自我发挥操作的二次时间复杂性，仅编码的接地框架（例如，transvg）遭受了沉重的计算。为了解决这个问题，我们通过将整个接地过程解散为编码和解码阶段，提出了一种新的多模式变压器体系结构，以动态MDETR形成。关键观察是，图像中存在很高的空间冗余。因此，我们通过在加快视觉接地过程之前利用这种稀疏性来设计一种新的动态多模式变压器解码器。具体而言，我们的动态解码器由2D自适应采样模块和文本引导的解码模块组成。采样模块旨在通过预测参考点的偏移来选择这些信息补丁，而解码模块则可以通过在图像功能和文本功能之间执行交叉注意来提取接地对象信息。这两个模块也被堆叠起来，以逐渐弥合模态间隙，并迭代地完善接地对象的参考点，最终实现了视觉接地的目的。对五个基准测试的广泛实验表明，我们提出的动态MDETR实现了计算和准确性之间的竞争权衡。值得注意的是，在解码器中仅使用9％的特征点，我们可以降低〜44％的多模式变压器的GLOP，但仍然比仅编码器的对应物更高的精度。此外，为了验证其概括能力并扩展我们的动态MDETR，我们构建了第一个单级剪辑授权的视觉接地框架，并在这些基准测试中实现最先进的性能。

视觉接地是定位自然语言表达式指示的目标的任务。现有方法将通用对象检测框架扩展到此问题。它们将视觉接地基于预先生成的提案或锚点的特征，并将这些功能与文本嵌入融合，以找到文本提到的目标。但是，对这些预定义位置的视觉特征进行建模可能无法完全利用文本查询中的视觉上下文和属性信息，从而限制其性能。在本文中，我们提出了一个基于变压器的框架，以通过建立文本条件的判别特征和执行多阶段的跨模式推理来进行准确的视觉接地。具体而言，我们开发了一个视觉语言验证模块，以将视觉特征集中在与文本描述相关的区域上，同时抑制了无关区域。还设计了一种语言指导的特征编码器来汇总目标对象的视觉上下文，以提高对象的独特性。为了从编码的视觉特征中检索目标，我们进一步提出了一个多阶段的跨模式解码器，以迭代地推测图像和文本之间的相关性，以进行准确的目标定位。在五个广泛使用的数据集上进行的广泛实验验证了我们提出的组件的功效，并证明了最先进的性能。我们的代码在https://github.com/yangli18/vltvg上公开。

在这项工作中，我们探索了用于视觉接地的整洁而有效的基于变压器的框架。先前的方法通常解决了视觉接地的核心问题，即具有手动设计的机制，即多模式融合和推理。这样的启发式设计不仅复杂化，而且使模型容易过度拟合特定的数据分布。为了避免这种情况，我们首先提出了TransVG，该TransVG通过变压器建立了多模式的对应关系，并通过直接回归框坐标来定位引用区域。我们从经验上表明，复杂的融合模块可以用具有更高性能的变压器编码层的简单堆栈代替。但是，TransVG中的核心融合变压器是针对Uni-Modal编码器的独立性，因此应在有限的视觉接地数据上从头开始训练，这使得很难优化并导致次优性能。为此，我们进一步介绍了TransVG ++以进行两倍的改进。一方面，我们通过利用Vision Transformer（VIT）进行视觉功能编码来将框架升级到一个纯粹的基于变压器的框架。对于另一个人来说，我们设计了语言有条件的视觉变压器，以去除外部融合模块，并重用Uni-Modal vit进行中间层的视觉融合。我们对五个普遍数据集进行了广泛的实验，并报告一系列最先进的记录。

在本文中，我们研究了如何使用现代视觉语言变形金刚实现更好的视觉接地，并为这项具有挑战性的任务提出了一种简单而强大的选择性训练（SIRI）机制。特别是，Siri传达了视觉接地研究的重要原则，即更好的初始视觉语言编码器将帮助该模型收敛到更好的局部最低限度，从而相应地提高性能。具体而言，随着训练的进行，我们不断更新编码器的参数，而定期重新定位的其余参数则可以根据增强的编码来更好地优化模型。 Siri在三个流行的基准测试中可以大大优于以前的方法。具体而言，我们的方法在Refcoco+ Testa上达到了83.04％的TOP1精度，超过了最先进的方法（从头开始训练）超过10.21％。此外，我们透露，即使培训数据有限，Siri也表现出色。我们还将其扩展到基于变压器的视觉接地模型和其他视觉语言任务，以验证有效性。

人群的理解由于其重要的实际意义引起了人们对视觉领域的普遍兴趣。不幸的是，没有努力探索桥接自然语言和计算机视觉的多模式领域中的人群理解。参考表达理解（REF）是一项代表性的多模式任务。当前的REF研究更多地集中在一般情况下从多个独特类别中扎根目标对象。很难应用于复杂的现实世界人群的理解。为了填补这一空白，我们提出了一个新的挑战性数据集，称为Refcrowd，该数据集旨在通过参考表达方式寻找人群中的目标人。它不仅需要充分挖掘自然语言信息，而且还需要仔细地专注于目标与具有相似外观的人群之间的细微差异，以实现从语言到视觉的细粒度映射。此外，我们提出了一个细粒度的多模式属性对比网络（FMAC），以在人群的理解中处理参考。它首先将复杂的视觉和语言特征分解为属性感知的多模式特征，然后捕获歧视性但健壮性的细粒属性特征，以有效地区分相似人之间的这些细微差异。所提出的方法优于我们的档案数据集和现有参考数据集中的现有最新方法（SOTA）方法。此外，我们为多模式域中的更深入研究实施了端到端的REF工具箱。我们的数据集和代码可以在：\ url {https://qiuheqian.github.io/datasets/refcrowd/}中可用。

The prevailing framework for matching multimodal inputs is based on a two-stage process: 1) detecting proposals with an object detector and 2) matching text queries with proposals. Existing two-stage solutions mostly focus on the matching step. In this paper, we argue that these methods overlook an obvious \emph{mismatch} between the roles of proposals in the two stages: they generate proposals solely based on the detection confidence (i.e., query-agnostic), hoping that the proposals contain all instances mentioned in the text query (i.e., query-aware). Due to this mismatch, chances are that proposals relevant to the text query are suppressed during the filtering process, which in turn bounds the matching performance. To this end, we propose VL-NMS, which is the first method to yield query-aware proposals at the first stage. VL-NMS regards all mentioned instances as critical objects, and introduces a lightweight module to predict a score for aligning each proposal with a critical object. These scores can guide the NMS operation to filter out proposals irrelevant to the text query, increasing the recall of critical objects, resulting in a significantly improved matching performance. Since VL-NMS is agnostic to the matching step, it can be easily integrated into any state-of-the-art two-stage matching methods. We validate the effectiveness of VL-NMS on two multimodal matching tasks, namely referring expression grounding and image-text matching. Extensive ablation studies on several baselines and benchmarks consistently demonstrate the superiority of VL-NMS.

视觉接地是一项旨在根据自然语言表达方式定位目标对象的任务。作为一项多模式任务，文本和视觉输入之间的特征相互作用至关重要。但是，先前的解决方案主要在将它们融合在一起之前独立处理每种模式，在提取视觉功能时，这并不能充分利用相关的文本信息。为了更好地利用视觉接地中的文本视觉关系，我们提出了一个查询条件的卷积模块（QCM），该模块（QCM）通过将查询信息纳入卷积内核的产生中来提取查询感知的视觉特征。借助我们提出的QCM，下游融合模块接收到更具歧视性的视觉特征，并专注于表达式中描述的所需对象，从而导致更准确的预测。在三个流行的视觉接地数据集上进行的广泛实验表明，我们的方法可以达到最新的性能。此外，当直接用于预测而无需进一步的多模式融合时，查询感知的视觉特征足以实现与最新方法可比的性能。

在本文中，我们提出了一个简单而通用的网络，该网络称为SEQTR，用于视觉接地任务，例如短语本地化，参考表达理解（REC）和分割（RES）。视觉接地的规范范例通常需要在设计网络体系结构和损失功能方面具有丰富的专业知识，从而使它们难以跨越跨任务进行推广。为了简化和统一建模，我们将视觉接地作为点预测问题在图像和文本输入上进行条件，其中边界框或二进制掩码表示为一系列离散坐标令牌。在此范式下，视觉接地任务是在我们的SEQTR网络中统一的，而没有特定于任务的分支或头部，例如RES的卷积蒙版解码器，这大大降低了多任务建模的复杂性。此外，SEQTR还具有简单的交叉渗透损失，共享所有任务的相同优化目标，从而进一步降低了部署手工制作的损失功能的复杂性。五个基准数据集的实验表明，所提出的SEQTR优于现有的最新技术（或与之相提并论），这证明了一种简单而通用的视觉接地方法确实是可行的。源代码可在https://github.com/sean-zhuh/seqtr上获得。

Referring image segmentation aims to segment the target object described by a given natural language expression. Typically, referring expressions contain complex relationships between the target and its surrounding objects. The main challenge of this task is to understand the visual and linguistic content simultaneously and to find the referred object accurately among all instances in the image. Currently, the most effective way to solve the above problem is to obtain aligned multi-modal features by computing the correlation between visual and linguistic feature modalities under the supervision of the ground-truth mask. However, existing paradigms have difficulty in thoroughly understanding visual and linguistic content due to the inability to perceive information directly about surrounding objects that refer to the target. This prevents them from learning aligned multi-modal features, which leads to inaccurate segmentation. To address this issue, we present a position-aware contrastive alignment network (PCAN) to enhance the alignment of multi-modal features by guiding the interaction between vision and language through prior position information. Our PCAN consists of two modules: 1) Position Aware Module (PAM), which provides position information of all objects related to natural language descriptions, and 2) Contrastive Language Understanding Module (CLUM), which enhances multi-modal alignment by comparing the features of the referred object with those of related objects. Extensive experiments on three benchmarks demonstrate our PCAN performs favorably against the state-of-the-art methods. Our code will be made publicly available.

弱监督的参考表达接地（REG）旨在将特定目标扎根于语言表达描述的图像中，同时缺乏目标和表达之间的对应关系。弱监督的REG存在两个主要问题。首先，缺乏区域级注释会引入建议和查询之间的歧义。其次，大多数以前的弱监督的REG方法忽略了指南的判别位置和上下文，从而在将目标与其他相同类别对象区分开时造成了困难。为了应对上述挑战，我们设计了实体增强的自适应重建网络（enail）。具体而言，赚取包括三个模块：实体增强，自适应接地和协作重建。在实体增强中，我们计算语义相似性作为监督选择候选建议。自适应接地可以在主题，位置和背景下以分层关注计算候选提案的排名评分。协作重建从三个角度衡量排名结果：自适应重建，语言重建和属性分类。自适应机制有助于减轻不同参考表达式的差异。五个数据集的实验表明，赚取胜于现有的最新方法。定性结果表明，提议的收入可以更好地处理特定类别的多个对象在一起的情况。

如何最好地将涉及语言和视觉的多模式任务中的语言和感知处理整合在一起是一个重要的开放问题。在这项工作中，我们认为，以自上而下的方式使用语言的常见做法，直接通过高级视觉特征进行视觉关注，这可能不是最佳的。我们假设使用语言还可以调节从像素到高级功能的自下而上处理可以为整体性能带来好处。为了支持我们的主张，我们提出了一个基于U-NET的模型，并对两个语言视觉密集预测任务进行实验：引用表达式分割和语言引导的图像着色。我们比较结果，其中一个或自下而上的视觉分支都以语言为条件。我们的实验表明，除了自上而下的注意力外，使用语言来控制自下而上的视觉处理，从而为任务和实现竞争性表现提供更好的结果。我们的语言分析表明，自下而上的条件改善对象的细分，尤其是当输入文本是指低级视觉概念时。代码可在https://github.com/ilkerkesen/bvpr上找到。

引用图像分割是一种基本愿景 - 语言任务，旨在分割由图像中的自然语言表达式引用的对象。这项任务背后的一个关键挑战是利用引用表达式来突出显示图像中的相关位置。解决此问题的范例是利用强大的视觉语言（“跨模型”）解码器到从视觉编码器和语言编码器独立提取的保险丝特征。最近的方法通过利用变换器作为跨模型解码器，并将变换器在许多其他视觉语言任务中的压倒性成功的同时进行了显着的进步。在这项工作中采用不同的方法，我们表明，通过在视觉变压器编码器网络的中间层中的语言和视觉特征的早期融合，可以实现更好的跨模型对准。通过在视觉特征编码阶段进行跨模型特征融合，我们可以利用变压器编码器的良好相关建模功率，以便挖掘有用的多模态上下文。通过这种方式，用轻型掩模预测器容易地收获精确的分段结果。没有钟声和口哨，我们的方法超越了在Refcoco，Refcoco +和G-Ref上的先前最先进的方法。

基于文本的视频细分旨在通过用文本查询指定演员及其表演动作来细分视频序列中的演员。由于\ emph {emph {语义不对称}的问题，以前的方法无法根据演员及其动作以细粒度的方式将视频内容与文本查询对齐。 \ emph {语义不对称}意味着在多模式融合过程中包含不同量的语义信息。为了减轻这个问题，我们提出了一个新颖的演员和动作模块化网络，该网络将演员及其动作分别定位在两个单独的模块中。具体来说，我们首先从视频和文本查询中学习与参与者相关的内容，然后以对称方式匹配它们以定位目标管。目标管包含所需的参与者和动作，然后将其送入完全卷积的网络，以预测演员的分割掩模。我们的方法还建立了对象的关联，使其与所提出的时间建议聚合机制交叉多个框架。这使我们的方法能够有效地细分视频并保持预测的时间一致性。整个模型允许联合学习参与者的匹配和细分，并在A2D句子和J-HMDB句子数据集上实现单帧细分和完整视频细分的最新性能。

时空视频接地（STVG）的重点是检索由自由形式的文本表达式描绘的特定物体的时空管。现有方法主要将这一复杂的任务视为平行框架的问题，因此遭受了两种类型的不一致缺点：特征对齐不一致和预测不一致。在本文中，我们提出了一个端到端的一阶段框架，称为时空的一致性变压器（STCAT），以减轻这些问题。特别是，我们引入了一个新颖的多模式模板，作为解决此任务的全球目标，该目标明确限制了接地区域并将所有视频框架之间的预测联系起来。此外，为了在足够的视频文本感知下生成上述模板，提出了一个编码器架构来进行有效的全局上下文建模。由于这些关键设计，STCAT享有更一致的跨模式特征对齐和管预测，而无需依赖任何预训练的对象探测器。广泛的实验表明，我们的方法在两个具有挑战性的视频基准（VIDSTG和HC-STVG）上胜过先前的最先进的，这说明了拟议框架的优越性，以更好地理解视觉与自然语言之间的关联。代码可在\ url {https://github.com/jy0205/stcat}上公开获得。

人类有自然能够毫不费力地理解语言指挥，如“黄色轿车旁边的公园”，本能地知道车辆的道路的哪个地区应该导航。扩大这种对自主车辆的能力是创建根据人类命令响应和行动的完全自治代理的下一步。为此，我们提出了通过语言命令引用可导航区域（RNR），即导航的接地区域的新任务。 RNR与引用图像分割（RIS）不同，该图像分割（RIS）侧重于自然语言表达式而不是接地导航区域的对象接地。例如，对于指令“黄色轿车旁边的公园，”RIS将旨在分割推荐的轿车，而RNR旨在将建议的停车位分段在道路上分割。我们介绍了一个新的DataSet，talk2car-regseg，它将现有的talk2car数据集扩展，其中包含语言命令描述的区域的分段掩码。提供了一个单独的测试拆分，具有简明的机动指导命令，以评估我们数据集的实用性。我们使用新颖的变换器的架构基准测试所提出的数据集。我们呈现广泛的消融，并在多个评估指标上显示出卓越的性能。基于RNR输出产生轨迹的下游路径规划器确认了所提出的框架的功效。

我们研究了视频引用表达理解（REC）的问题，该问题旨在将句子中描述的引用对象定位为视频帧中的视觉区域。尽管取得了最近的进展，但现有方法却遇到了两个问题：1）视频帧之间的本地化结果不一致； 2）参考对象和上下文对象之间的混淆。为此，我们提出了一个新颖的双对应网络（称为DCNET），该网络明确增强了框架间和跨模式的密集关联。首先，我们旨在为框架内所有现有实例建立框架间的相关性。具体而言，我们计算框架间的斑点余弦相似性，以估计密集的对齐方式，然后执行框架间的对比度学习以在特征空间中映射它们。其次，我们建议构建细粒斑点字对齐，以将每个贴片与某些单词相关联。由于缺乏这种详细的注释，我们还通过余弦相似性预测了斑点字的对应关系。广泛的实验表明，我们的DCNET在视频和图像基准测试中都达到了最先进的性能。此外，我们进行了全面的消融研究和彻底的分析，以探索最佳模型设计。值得注意的是，我们的框架间和跨模式对比损失是插件功能，适用于任何视频架构架构。例如，通过在共同接地之上进行构建，我们在vid-sentence数据集的Accu。0.5上提高了1.48％的性能。

在本文中，我们提出了端到端的结构化多峰关注（SMA）神经网络，主要解决了上述前两个问题。 SMA首先使用结构图表示来编码图像中出现的对象对象，对象文本和文本文本关系，然后设计多模式图注意网络以推理它。最后，由上述模块的输出由全局本地注意力应答模块处理，以通过跟随M4C迭代地生成从两个OCR和常规词汇拼接的答案。我们所提出的模型优于TextVQA数据集上的SOTA模型以及除基于预先训练的水龙头之外的所有模型中的所有模型中的ST-VQA数据集的两个任务。展示了强大的推理能力，它还在TextVQA挑战中获得了第一名的第一名。我们在几种推理模型中广泛测试了不同的OCR方法，并调查了逐步提高了OCR性能对TextVQA基准的影响。通过更好的OCR结果，不同的型号对VQA准确性的戏剧性提高，但我们的模型受益最强烈的文本视觉推理能力。要授予我们的方法，并为进一步作品提供公平的测试基础，我们还为TextVQA数据集提供人为的地面实际OCR注释，这些ocr注释未在原始版本中提供。 TextVQA数据集的代码和地面ocr注释在https://github.com/chenyugao-cs/sma提供

参照视频对象分割（R-VOS）是一个新兴的跨通道任务，其目的是分割目标对象中的所有的视频帧称为一个语言表达式。在这项工作中，我们提出了一个简单并在变压器建成统一的框架，称为ReferFormer。它认为在语言查询，并直接参加到视频帧中的最相关的区域。具体而言，我们引入一个小套空调的语言作为输入Transformer对象的查询。通过这种方式，所有的查询有义务仅发现指的对象。他们最终都转化为动态的内核，其捕捉的关键对象级信息，并发挥卷积过滤器的作用，生成特征地图分割口罩。对象跟踪通过连接在帧之间相应的查询自然实现。这种机制极大地简化了管道和终端到终端的框架是从以前的方法不同显著。在REF-YouTube的VOS，REF-DAVIS17大量的实验，A2D-句子和JHMDB-句显示ReferFormer的有效性。上REF-YouTube的VOS，参见-前达到55.6J＆F与RESNET-50主链而不花哨，这超过了8.4点之前的状态的最先进的性能。此外，与强斯文 - 大型骨干，ReferFormer实现了所有现有的方法中最好的J＆62.4 F。歼＆F度量可以通过采用一个简单的后处理技术来进一步升压到63.3。此外，我们分别显示55.0地图和43.7地图上A2D-句andJHMDB-句令人印象深刻的结果，这显著优于大幅度以前的方法。代码是公开的，在https://github.com/wjn922/ReferFormer。

视觉问题应答（VQA）任务利用视觉图像和语言分析来回回答图像的文本问题。它是一个流行的研究课题，在过去十年中越来越多的现实应用。本文介绍了我们最近对AliceMind-MMU的研究（阿里巴巴的编码器 - 解码器来自Damo Academy - 多媒体理解的机器智能实验室），其比人类在VQA上获得相似甚至略微更好的结果。这是通过系统地改善VQA流水线来实现的，包括：（1）具有全面的视觉和文本特征表示的预培训; （2）与学习参加的有效跨模型互动; （3）一个新颖的知识挖掘框架，具有专门的专业专家模块，适用于复杂的VQA任务。处理不同类型的视觉问题，需要具有相应的专业知识在提高我们的VQA架构的表现方面发挥着重要作用，这取决于人力水平。进行了广泛的实验和分析，以证明新的研究工作的有效性。