3D场景理解的最新进展探索了视觉接地（3DVG），以通过语言描述定位目标对象。但是，现有方法仅考虑整个句子和目标对象之间的依赖性，从而忽略了上下文与非目标之间的细粒度关系。在本文中，我们将3DVG扩展到更可靠和可解释的任务，称为3D短语意识接地（3DPAG）。 3DPAG任务旨在通过明确识别所有与短语相关的对象，然后根据上下文短语进行推理，旨在在3D场景中定位目标对象。为了解决这个问题，我们在可用的3DVG数据集中的170k句子中标记了大约400k短语级别的注释，即NR3D，SR3D和ScanRefer。通过利用这些开发的数据集，我们提出了一个新颖的框架，即Phraserefer，该框架通过短语对象对准优化以及短语特异性预训练来进行短语感知和对象级表示学习。在我们的环境中，我们将先前的3DVG方法扩展到短语感知方案，并提供指标以衡量3DPAG任务的解释性。广泛的结果证实，3DPAG有效地提高了3DVG，而Phraserefer分别在SR3D，NR3D和SCANREFER上分别达到三个数据集（即63.0％，54.4％和55.5％）的最先进。

Learning descriptive 3D features is crucial for understanding 3D scenes with diverse objects and complex structures. However, it is usually unknown whether important geometric attributes and scene context obtain enough emphasis in an end-to-end trained 3D scene understanding network. To guide 3D feature learning toward important geometric attributes and scene context, we explore the help of textual scene descriptions. Given some free-form descriptions paired with 3D scenes, we extract the knowledge regarding the object relationships and object attributes. We then inject the knowledge to 3D feature learning through three classification-based auxiliary tasks. This language-assisted training can be combined with modern object detection and instance segmentation methods to promote 3D semantic scene understanding, especially in a label-deficient regime. Moreover, the 3D feature learned with language assistance is better aligned with the language features, which can benefit various 3D-language multimodal tasks. Experiments on several benchmarks of 3D-only and 3D-language tasks demonstrate the effectiveness of our language-assisted 3D feature learning. Code is available at https://github.com/Asterisci/Language-Assisted-3D.

我们建议对视觉模型预处理的基于利润的损失，以鼓励基于梯度的解释，这些解释与区域级注释一致。我们将该目标称为注意面罩的一致性（AMC），并证明它与依赖于区域级注释的模型相比，它产生了卓越的视觉接地性能，以显式训练对象检测器，例如更快的R-CNN。 AMC通过鼓励基于梯度的解释掩盖来工作，该掩盖的注意力分数主要集中在包含这种注释的图像的注释区域中。尤其是，在标准视觉建模目标之上接受AMC训练的模型在FlickR30K视觉接地基准中获得了86.59％的最新精度，与最佳先前模型相比，绝对改善了5.48％。我们的方法在既定的基准中都表现出表达理解，并通过设计基于梯度的解释来更好地与人类注释保持一致，从而提供了极大的表现。

大规模的视觉预训练在各种下游任务中都表现出了令人印象深刻的进步。现有方法主要是通过图像和文本的全局表示形式的相似性或对图像和文本特征上的高级交叉模式关注来对跨模式对齐进行建模。但是，由于只有全局图像文本对齐信息，因此他们无法明确学习视觉区域和文本短语之间的细粒语义对齐。在本文中，我们介绍了Loupe，这是一种精细的语义一致性视觉语言预训练框架，该框架从新颖的游戏理论互动的角度学习了细粒度的语义对齐。为了有效地计算游戏理论相互作用，我们进一步提出了一种不确定性感知的神经Shapley交互学习模块。实验表明，Loupe在图像文本检索基准测试中实现了最新的。如果没有任何对象级的人类注释和微调，Loupe就可以在对象检测和视觉接地方面实现竞争性能。更重要的是，Loupe从大规模的原始图像文本对学习细粒语义的新方向。

The two popular datasets ScanRefer [16] and ReferIt3D [3] connect natural language to real-world 3D data. In this paper, we curate a large-scale and complementary dataset extending both the aforementioned ones by associating all objects mentioned in a referential sentence to their underlying instances inside a 3D scene. Specifically, our Scan Entities in 3D (ScanEnts3D) dataset provides explicit correspondences between 369k objects across 84k natural referential sentences, covering 705 real-world scenes. Crucially, we show that by incorporating intuitive losses that enable learning from this novel dataset, we can significantly improve the performance of several recently introduced neural listening architectures, including improving the SoTA in both the Nr3D and ScanRefer benchmarks by 4.3% and 5.0%, respectively. Moreover, we experiment with competitive baselines and recent methods for the task of language generation and show that, as with neural listeners, 3D neural speakers can also noticeably benefit by training with ScanEnts3D, including improving the SoTA by 13.2 CIDEr points on the Nr3D benchmark. Overall, our carefully conducted experimental studies strongly support the conclusion that, by learning on ScanEnts3D, commonly used visio-linguistic 3D architectures can become more efficient and interpretable in their generalization without needing to provide these newly collected annotations at test time. The project's webpage is https://scanents3d.github.io/ .

以前的视觉语言预训练模型主要构建具有令牌和对象（像素）的多模式输入，然后在它们之间执行交叉模式相互作用。我们认为，只有令牌和对象的输入限制了诸如短语到区域接地之类的高级语义对齐。同时，多层次对齐本质上是一致的，并且能够协同促进表示形式学习。因此，在本文中，我们建议学习视觉预训练（MVPTR）的多级语义一致性。在MVPTR中，我们遵循两种方式的嵌套结构，以引入概念为高级语义。为了简化从多模式多级输入的学习，我们的框架分为两个阶段，第一阶段着重于模式内多级表示学习，第二阶段通过粗粒和细粒度跨模态强化了跨模式的交互语义对齐任务。除了常用的图像文本匹配和掩盖语言模型任务外，我们还引入了第一阶段蒙版概念恢复任务以增强概念表示学习，第二阶段的另外两个任务在第二阶段中，以明确鼓励跨跨层次的多层次对准方式。我们的代码可在https://github.com/junction4nako/mvp_pytorch上找到。

The prevailing framework for matching multimodal inputs is based on a two-stage process: 1) detecting proposals with an object detector and 2) matching text queries with proposals. Existing two-stage solutions mostly focus on the matching step. In this paper, we argue that these methods overlook an obvious \emph{mismatch} between the roles of proposals in the two stages: they generate proposals solely based on the detection confidence (i.e., query-agnostic), hoping that the proposals contain all instances mentioned in the text query (i.e., query-aware). Due to this mismatch, chances are that proposals relevant to the text query are suppressed during the filtering process, which in turn bounds the matching performance. To this end, we propose VL-NMS, which is the first method to yield query-aware proposals at the first stage. VL-NMS regards all mentioned instances as critical objects, and introduces a lightweight module to predict a score for aligning each proposal with a critical object. These scores can guide the NMS operation to filter out proposals irrelevant to the text query, increasing the recall of critical objects, resulting in a significantly improved matching performance. Since VL-NMS is agnostic to the matching step, it can be easily integrated into any state-of-the-art two-stage matching methods. We validate the effectiveness of VL-NMS on two multimodal matching tasks, namely referring expression grounding and image-text matching. Extensive ablation studies on several baselines and benchmarks consistently demonstrate the superiority of VL-NMS.

Learning fine-grained interplay between vision and language allows to a more accurate understanding for VisionLanguage tasks. However, it remains challenging to extract key image regions according to the texts for semantic alignments. Most existing works are either limited by textagnostic and redundant regions obtained with the frozen detectors, or failing to scale further due to its heavy reliance on scarce grounding (gold) data to pre-train detectors. To solve these problems, we propose Self-Locator Aided Network (SLAN) for cross-modal understanding tasks without any extra gold data. SLAN consists of a region filter and a region adaptor to localize regions of interest conditioned on different texts. By aggregating cross-modal information, the region filter selects key regions and the region adaptor updates their coordinates with text guidance. With detailed region-word alignments, SLAN can be easily generalized to many downstream tasks. It achieves fairly competitive results on five cross-modal understanding tasks (e.g., 85.7% and 69.2% on COCO image-to-text and text-to-image retrieval, surpassing previous SOTA methods). SLAN also demonstrates strong zero-shot and fine-tuned transferability to two localization tasks.

在本文中，我们研究了如何使用现代视觉语言变形金刚实现更好的视觉接地，并为这项具有挑战性的任务提出了一种简单而强大的选择性训练（SIRI）机制。特别是，Siri传达了视觉接地研究的重要原则，即更好的初始视觉语言编码器将帮助该模型收敛到更好的局部最低限度，从而相应地提高性能。具体而言，随着训练的进行，我们不断更新编码器的参数，而定期重新定位的其余参数则可以根据增强的编码来更好地优化模型。 Siri在三个流行的基准测试中可以大大优于以前的方法。具体而言，我们的方法在Refcoco+ Testa上达到了83.04％的TOP1精度，超过了最先进的方法（从头开始训练）超过10.21％。此外，我们透露，即使培训数据有限，Siri也表现出色。我们还将其扩展到基于变压器的视觉接地模型和其他视觉语言任务，以验证有效性。

Panoptic叙事接地（PNG）是一项新的任务，其目标是通过静止图像的密集叙事标题来分割事物和内容类别的视觉对象。先前的两阶段方法首先提取了通过现成的全盘分割模型提取分割区域的建议，然后进行粗糙的区域短语匹配，以将每个名词短语的候选区域接地。但是，两阶段的管道通常受到第一阶段低质量建议的性能限制，以及由区域特征池的损失以及为事物和东西类别设计的复杂策略引起的空间细节。为了减轻这些缺点，我们提出了一个单阶段的端到端像素匹配网络（PPMN），该网络将每个短语与其相应的像素直接匹配，而不是区域建议，并通过简单组合输出全段段。因此，我们的模型可以从密集注释的像素色素对的监督而不是稀疏的区域短语对中利用足够，更精细的跨模式语义对应关系。此外，我们还提出了与语言兼容的像素聚合（LCPA）模块，以进一步通过多轮修补剂增强短语特征的判别能力，该简化为每个短语选择最兼容的像素以适应相应的视觉上下文。广泛的实验表明，我们的方法在PNG基准测试中实现了新的最新性能，并具有4.0个绝对平均召回率增长。

Performing 3D dense captioning and visual grounding requires a common and shared understanding of the underlying multimodal relationships. However, despite some previous attempts on connecting these two related tasks with highly task-specific neural modules, it remains understudied how to explicitly depict their shared nature to learn them simultaneously. In this work, we propose UniT3D, a simple yet effective fully unified transformer-based architecture for jointly solving 3D visual grounding and dense captioning. UniT3D enables learning a strong multimodal representation across the two tasks through a supervised joint pre-training scheme with bidirectional and seq-to-seq objectives. With a generic architecture design, UniT3D allows expanding the pre-training scope to more various training sources such as the synthesized data from 2D prior knowledge to benefit 3D vision-language tasks. Extensive experiments and analysis demonstrate that UniT3D obtains significant gains for 3D dense captioning and visual grounding.

我们介绍了空间本地化叙述中的视频中的任务。我们的方法的关键是能够学会在与随附的叙述的视频中的大型视频中对自我监督进行空间地定位与自我监督的互动。为实现这一目标，我们提出了一种多层跨模型关注网络，可以在培训期间有效优化对比损失。我们介绍了一种分割的策略，可以通过视觉和自然语言方式计算和中间模态注意力之间的交替，这允许通过直接对比两种方式的表示来实现有效的培训。我们展示了我们对HOWTO100M教学数据集的自我训练的方法的有效性，并在YouCook2 DataSet中的本地化描述交互的新收集数据集上进行评估。我们展示了我们的方法优于替代基准，包括浅薄的共同关注和完全跨越的关注。我们还将我们的方法应用于在Flickr30k上的弱监管下的图像中的接地短语，并显示堆叠多个注意层是有效的，并且当与对区域丢失相结合时，在召回召回和指向时达到最先进的艺术状态手准确性。

最近，3D视觉和语言任务吸引了不断增长的研究兴趣。与其他视觉和语言任务相比，3D视觉问题回答（VQA）任务的利用较小，并且更容易受到语言先验和共同参考的歧义。同时，由于规模和注释方法有限，最近提出的几个3D VQA数据集并不能很好地支持3D VQA任务。在这项工作中，我们通过收集一个新的3D VQA数据集（称为FE-3DGQA），正式定义和解决3D接地的VQA任务，并具有多样化且相对自由形式的提问，以及密集和完全接地的边界框注释。为了获得更多可解释的答案，我们标记了出现在复杂的质量检查对中的对象，该对象具有不同的语义类型，包括答案接地的对象（均出现并未出现在问题中），以及用于答案的对象的上下文对象。我们还提出了一个新的3D VQA框架，以有效地预测完全视觉扎根和可解释的答案。广泛的实验证明，我们新收集的基准数据集可有效地用于评估不同方面的各种3D VQA方法，而我们新提出的框架也可以在新的基准数据集中实现最新的性能。新收集的数据集和我们的代码都将在http://github.com/zlccccc/3dgqa上公开获得。

用于视觉语言表示学习的变压器已经引起了很多兴趣，并在视觉问题答案（VQA）和接地方面表现出了巨大的表现。但是，大多数显示出良好性能的系统在培训过程中仍然依赖于预训练的对象探测器，这将其适用性限制在可用于这些检测器的对象类中。为了减轻这种限制，以下论文着重于在变形金刚中的视觉问题答案的背景下进行弱监督的基础问题。该方法通过将每个视觉令牌分组在视觉编码器中，并使用语言自我发项层作为文本引导选择模块来利用胶囊，以在将它们转发到下一层之前掩盖它们。我们评估了针对挑战的GQA以及VQA帽数据集的VQA接地的方法。我们的实验表明：在从标准变压器体系结构中删除蒙版对象的信息的同时，胶囊的集成显着提高了此类系统的接地能力，并提供了与其他新的最先进的结果。在现场接近。

Vision语言中最现有的方法依赖于通过对象检测提取的对象中心特征，并在提取的功能和文本之间进行细粒度对齐。我们认为物体检测的使用可能不适合视觉语言预培训。相反，我们指出应该执行任务，以便文本中提到的“视觉概念”的区域位于图像中，并且在文本和视觉概念之间的平时对齐中，识别在其中的校准处于多个 - 粒度。本文提出了一种称为X-VLM的新方法，以执行“多粒度的视觉语言预训练”。实验结果表明，X-VLM在许多下游视觉语言任务中始终如一地优于最先进的方法。

视觉接地是定位自然语言表达式指示的目标的任务。现有方法将通用对象检测框架扩展到此问题。它们将视觉接地基于预先生成的提案或锚点的特征，并将这些功能与文本嵌入融合，以找到文本提到的目标。但是，对这些预定义位置的视觉特征进行建模可能无法完全利用文本查询中的视觉上下文和属性信息，从而限制其性能。在本文中，我们提出了一个基于变压器的框架，以通过建立文本条件的判别特征和执行多阶段的跨模式推理来进行准确的视觉接地。具体而言，我们开发了一个视觉语言验证模块，以将视觉特征集中在与文本描述相关的区域上，同时抑制了无关区域。还设计了一种语言指导的特征编码器来汇总目标对象的视觉上下文，以提高对象的独特性。为了从编码的视觉特征中检索目标，我们进一步提出了一个多阶段的跨模式解码器，以迭代地推测图像和文本之间的相关性，以进行准确的目标定位。在五个广泛使用的数据集上进行的广泛实验验证了我们提出的组件的功效，并证明了最先进的性能。我们的代码在https://github.com/yangli18/vltvg上公开。

时空视频接地（STVG）的重点是检索由自由形式的文本表达式描绘的特定物体的时空管。现有方法主要将这一复杂的任务视为平行框架的问题，因此遭受了两种类型的不一致缺点：特征对齐不一致和预测不一致。在本文中，我们提出了一个端到端的一阶段框架，称为时空的一致性变压器（STCAT），以减轻这些问题。特别是，我们引入了一个新颖的多模式模板，作为解决此任务的全球目标，该目标明确限制了接地区域并将所有视频框架之间的预测联系起来。此外，为了在足够的视频文本感知下生成上述模板，提出了一个编码器架构来进行有效的全局上下文建模。由于这些关键设计，STCAT享有更一致的跨模式特征对齐和管预测，而无需依赖任何预训练的对象探测器。广泛的实验表明，我们的方法在两个具有挑战性的视频基准（VIDSTG和HC-STVG）上胜过先前的最先进的，这说明了拟议框架的优越性，以更好地理解视觉与自然语言之间的关联。代码可在\ url {https://github.com/jy0205/stcat}上公开获得。

在这项工作中，我们探索了用于视觉接地的整洁而有效的基于变压器的框架。先前的方法通常解决了视觉接地的核心问题，即具有手动设计的机制，即多模式融合和推理。这样的启发式设计不仅复杂化，而且使模型容易过度拟合特定的数据分布。为了避免这种情况，我们首先提出了TransVG，该TransVG通过变压器建立了多模式的对应关系，并通过直接回归框坐标来定位引用区域。我们从经验上表明，复杂的融合模块可以用具有更高性能的变压器编码层的简单堆栈代替。但是，TransVG中的核心融合变压器是针对Uni-Modal编码器的独立性，因此应在有限的视觉接地数据上从头开始训练，这使得很难优化并导致次优性能。为此，我们进一步介绍了TransVG ++以进行两倍的改进。一方面，我们通过利用Vision Transformer（VIT）进行视觉功能编码来将框架升级到一个纯粹的基于变压器的框架。对于另一个人来说，我们设计了语言有条件的视觉变压器，以去除外部融合模块，并重用Uni-Modal vit进行中间层的视觉融合。我们对五个普遍数据集进行了广泛的实验，并报告一系列最先进的记录。

视觉语言（VL）预训练最近受到了广泛的关注。但是，大多数现有的端到端预训练方法只旨在解决诸如图像文本检索，视觉询问答案（VQA）和图像字幕等VL任务，以测试对图像的高级了解，或者仅对目标区域进行测试 - 对诸如短语接地和对象检测等任务的水平理解。我们提出了Fiber（基于回避的变压器），这是一种新的VL模型体系结构，可以无缝处理这两种类型的任务。 Fiber没有将多模式融合到模型深处，而不是将融合后的专用变压器层用于融合，而是通过将交叉注意力插入图像和文本骨干杆中，从而在记忆和性能方面带来了增长。此外，与以前的工作不同，它要么仅在图像文本数据上进行训练，要么在带有框级注释的细粒度数据上进行培训，我们提出了一种两阶段的预训练策略，该策略有效地使用了这两种数据：（（ i）基于图像文本数据的粗粒细化预训练；然后是（ii）基于图像文本框数据的细粒度预训练。我们对各种VL任务进行全面的实验，从VQA，图像字幕和检索到短语接地，参考表达理解和对象检测。使用深层多模式融合，结合两阶段的预训练，光纤可对所有任务的强基础进行一致的性能改进，通常使用幅度更优于更多数据的方法。代码可从https://github.com/microsoft/fiber获得。

多模式变压器表现出高容量和灵活性，可将图像和文本对齐以进行视觉接地。然而，由于自我发挥操作的二次时间复杂性，仅编码的接地框架（例如，transvg）遭受了沉重的计算。为了解决这个问题，我们通过将整个接地过程解散为编码和解码阶段，提出了一种新的多模式变压器体系结构，以动态MDETR形成。关键观察是，图像中存在很高的空间冗余。因此，我们通过在加快视觉接地过程之前利用这种稀疏性来设计一种新的动态多模式变压器解码器。具体而言，我们的动态解码器由2D自适应采样模块和文本引导的解码模块组成。采样模块旨在通过预测参考点的偏移来选择这些信息补丁，而解码模块则可以通过在图像功能和文本功能之间执行交叉注意来提取接地对象信息。这两个模块也被堆叠起来，以逐渐弥合模态间隙，并迭代地完善接地对象的参考点，最终实现了视觉接地的目的。对五个基准测试的广泛实验表明，我们提出的动态MDETR实现了计算和准确性之间的竞争权衡。值得注意的是，在解码器中仅使用9％的特征点，我们可以降低〜44％的多模式变压器的GLOP，但仍然比仅编码器的对应物更高的精度。此外，为了验证其概括能力并扩展我们的动态MDETR，我们构建了第一个单级剪辑授权的视觉接地框架，并在这些基准测试中实现最先进的性能。