The two popular datasets ScanRefer [16] and ReferIt3D [3] connect natural language to real-world 3D data. In this paper, we curate a large-scale and complementary dataset extending both the aforementioned ones by associating all objects mentioned in a referential sentence to their underlying instances inside a 3D scene. Specifically, our Scan Entities in 3D (ScanEnts3D) dataset provides explicit correspondences between 369k objects across 84k natural referential sentences, covering 705 real-world scenes. Crucially, we show that by incorporating intuitive losses that enable learning from this novel dataset, we can significantly improve the performance of several recently introduced neural listening architectures, including improving the SoTA in both the Nr3D and ScanRefer benchmarks by 4.3% and 5.0%, respectively. Moreover, we experiment with competitive baselines and recent methods for the task of language generation and show that, as with neural listeners, 3D neural speakers can also noticeably benefit by training with ScanEnts3D, including improving the SoTA by 13.2 CIDEr points on the Nr3D benchmark. Overall, our carefully conducted experimental studies strongly support the conclusion that, by learning on ScanEnts3D, commonly used visio-linguistic 3D architectures can become more efficient and interpretable in their generalization without needing to provide these newly collected annotations at test time. The project's webpage is https://scanents3d.github.io/ .

3D场景理解的最新进展探索了视觉接地（3DVG），以通过语言描述定位目标对象。但是，现有方法仅考虑整个句子和目标对象之间的依赖性，从而忽略了上下文与非目标之间的细粒度关系。在本文中，我们将3DVG扩展到更可靠和可解释的任务，称为3D短语意识接地（3DPAG）。 3DPAG任务旨在通过明确识别所有与短语相关的对象，然后根据上下文短语进行推理，旨在在3D场景中定位目标对象。为了解决这个问题，我们在可用的3DVG数据集中的170k句子中标记了大约400k短语级别的注释，即NR3D，SR3D和ScanRefer。通过利用这些开发的数据集，我们提出了一个新颖的框架，即Phraserefer，该框架通过短语对象对准优化以及短语特异性预训练来进行短语感知和对象级表示学习。在我们的环境中，我们将先前的3DVG方法扩展到短语感知方案，并提供指标以衡量3DPAG任务的解释性。广泛的结果证实，3DPAG有效地提高了3DVG，而Phraserefer分别在SR3D，NR3D和SCANREFER上分别达到三个数据集（即63.0％，54.4％和55.5％）的最先进。

现有语言接地模型通常使用对象提案瓶颈：预先训练的探测器提出了场景中的对象，模型学会从这些框提案中选择答案，而不会参加原始图像或3D点云。对象探测器通常在固定词汇上培训，其对象和属性通常过于限制开放域语言接地，其中话语可以指在各种抽象层面的视觉实体，例如椅子，椅子的椅子，或椅子前腿的尖端。我们为3D场景提出了一个用于接地语言的模型，绕过具有三个主要创新的盒子提案瓶颈：i）横跨语言流的迭代注意，点云特征流和3D框提案。 ii）具有非参数实体查询的变压器解码器，用于对对象和部分参考进行解码3D框。 iii）通过将物体检测视为由候选类别标签列表的参考词汇的接地为基础，从3D对象注释和语言接地注释的联合监督。这些创新在流行的3D语言接地基准上之前的方法上产生了显着的定量收益（对SR3D基准测试的绝对改善）。我们消除了我们的每一个创新，向模型表现出贡献。当在具有次要变化的2D图像上应用于语言接地时，它会与最先进的，同时收敛于GPU时间的一半。代码和检查点将在https://github.com/nickgkan/beaut_detr中提供

Learning descriptive 3D features is crucial for understanding 3D scenes with diverse objects and complex structures. However, it is usually unknown whether important geometric attributes and scene context obtain enough emphasis in an end-to-end trained 3D scene understanding network. To guide 3D feature learning toward important geometric attributes and scene context, we explore the help of textual scene descriptions. Given some free-form descriptions paired with 3D scenes, we extract the knowledge regarding the object relationships and object attributes. We then inject the knowledge to 3D feature learning through three classification-based auxiliary tasks. This language-assisted training can be combined with modern object detection and instance segmentation methods to promote 3D semantic scene understanding, especially in a label-deficient regime. Moreover, the 3D feature learned with language assistance is better aligned with the language features, which can benefit various 3D-language multimodal tasks. Experiments on several benchmarks of 3D-only and 3D-language tasks demonstrate the effectiveness of our language-assisted 3D feature learning. Code is available at https://github.com/Asterisci/Language-Assisted-3D.

对于机器人来说，了解人类指令并在不久的将来执行有意义的任务，重要的是开发学习的模型，了解了参考语言，以识别现实世界3D场景中的共同对象。在本文中，我们介绍了一种用于3D视觉接地问题的空间语言模型。具体地，给定具有潜在对象候选的3D边界框的点云形式的重建的3D场景，以及参考场景中的目标对象的语言话语，我们的模型成功地将目标对象从一组潜在的候选者识别。具体而言，Languagrefer使用基于变压器的架构，该架构将空间嵌入与边界框中的空间嵌入与来自Distilbert的微调语言嵌入式的绑定框相结合，以预测目标对象。我们表明它竞争地表现在引用3D提出的Visio-linguistic数据集上。此外，我们分析其空间推理任务性能与感知噪声分离，视图依赖性话语的准确性，以及用于潜在机器人应用的观点注释。

连接视觉和语言在生成智能中起着重要作用。因此，已经致力于图像标题的大型研究工作，即用句法和语义有意义的句子描述图像。从2015年开始，该任务通常通过由Visual Encoder组成的管道和文本生成的语言模型来解决任务。在这些年来，两种组件通过对象区域，属性，介绍多模态连接，完全关注方法和伯特早期融合策略的利用而显着发展。但是，无论令人印象深刻的结果，图像标题的研究还没有达到结论性答案。这项工作旨在提供图像标题方法的全面概述，从视觉编码和文本生成到培训策略，数据集和评估度量。在这方面，我们量化地比较了许多相关的最先进的方法来确定架构和培训策略中最有影响力的技术创新。此外，讨论了问题的许多变体及其开放挑战。这项工作的最终目标是作为理解现有文献的工具，并突出显示计算机视觉和自然语言处理的研究领域的未来方向可以找到最佳的协同作用。

最近关于3D密集标题和视觉接地的研究取得了令人印象深刻的结果。尽管这两个方面都有发展，但可用的3D视觉语言数据的有限量导致3D视觉接地和3D密度标题方法的过度问题。此外，尚未完全研究如何辨别地描述复杂3D环境中的对象。为了解决这些挑战，我们呈现D3Net，即最终的神经扬声器 - 侦听器架构，可以检测，描述和辨别。我们的D3Net以自我批评方式统一3D密集的标题和视觉接地。D3Net的这种自我关键性质还引入了对象标题生成过程中的可怜性，并且可以通过部分注释的描述启用对Scannet数据的半监督培训。我们的方法在扫描带数据集的两个任务中优于SOTA方法，超越了SOTA 3D密度标题方法，通过显着的余量（23.56％的填充剂@ 0.5iou改进）。

Astounding results from Transformer models on natural language tasks have intrigued the vision community to study their application to computer vision problems. Among their salient benefits, Transformers enable modeling long dependencies between input sequence elements and support parallel processing of sequence as compared to recurrent networks e.g., Long short-term memory (LSTM). Different from convolutional networks, Transformers require minimal inductive biases for their design and are naturally suited as set-functions. Furthermore, the straightforward design of Transformers allows processing multiple modalities (e.g., images, videos, text and speech) using similar processing blocks and demonstrates excellent scalability to very large capacity networks and huge datasets. These strengths have led to exciting progress on a number of vision tasks using Transformer networks. This survey aims to provide a comprehensive overview of the Transformer models in the computer vision discipline. We start with an introduction to fundamental concepts behind the success of Transformers i.e., self-attention, large-scale pre-training, and bidirectional feature encoding. We then cover extensive applications of transformers in vision including popular recognition tasks (e.g., image classification, object detection, action recognition, and segmentation), generative modeling, multi-modal tasks (e.g., visual-question answering, visual reasoning, and visual grounding), video processing (e.g., activity recognition, video forecasting), low-level vision (e.g., image super-resolution, image enhancement, and colorization) and 3D analysis (e.g., point cloud classification and segmentation). We compare the respective advantages and limitations of popular techniques both in terms of architectural design and their experimental value. Finally, we provide an analysis on open research directions and possible future works. We hope this effort will ignite further interest in the community to solve current challenges towards the application of transformer models in computer vision.

最近，3D视觉和语言任务吸引了不断增长的研究兴趣。与其他视觉和语言任务相比，3D视觉问题回答（VQA）任务的利用较小，并且更容易受到语言先验和共同参考的歧义。同时，由于规模和注释方法有限，最近提出的几个3D VQA数据集并不能很好地支持3D VQA任务。在这项工作中，我们通过收集一个新的3D VQA数据集（称为FE-3DGQA），正式定义和解决3D接地的VQA任务，并具有多样化且相对自由形式的提问，以及密集和完全接地的边界框注释。为了获得更多可解释的答案，我们标记了出现在复杂的质量检查对中的对象，该对象具有不同的语义类型，包括答案接地的对象（均出现并未出现在问题中），以及用于答案的对象的上下文对象。我们还提出了一个新的3D VQA框架，以有效地预测完全视觉扎根和可解释的答案。广泛的实验证明，我们新收集的基准数据集可有效地用于评估不同方面的各种3D VQA方法，而我们新提出的框架也可以在新的基准数据集中实现最新的性能。新收集的数据集和我们的代码都将在http://github.com/zlccccc/3dgqa上公开获得。

视觉问题回答（VQA）近年来见证了巨大进展。但是，大多数努力只关注2D图像问题应答任务。在本文中，我们介绍了将VQA扩展到3D域的第一次尝试，这可以促进人工智能对3D现实世界情景的看法。与基于图像的VQA不同，3D问题应答（3DQA）将颜色点云作为输入，需要外观和3D几何理解能力来回答3D相关问题。为此，我们提出了一种基于新颖的基于变换器的3DQA框架\ TextBF {“3DQA-TR”}，其包括两个编码器，分别用于利用外观和几何信息。外观，几何和的多模码信息语言问题最终可以通过3D语言伯特互相参加，以预测目标答案。要验证我们提出的3DQA框架的有效性，我们还开发了第一个建立的3DQA DataSet \ TextBF {“scanqa”} SCANNet DataSet并包含$ \ SIM $ 6K问题，$ \ SIM $ 30k答案，可满足806美元的场景。在此数据集上的广泛实验展示了我们提出的3DQA框架在现有的VQA框架上的明显优势，以及我们主要设计的有效性。我们的代码和数据集将公开可用于促进此方向的研究。

我们提出了一项新的3D问题答案的3D空间理解任务（3D-QA）。在3D-QA任务中，模型从丰富的RGB-D室内扫描的整个3D场景接收视觉信息，并回答关于3D场景的给定文本问题。与VQA的2D答案不同，传统的2D-QA模型遭受了对对象对齐和方向的空间理解的问题，并且从3D-QA中的文本问题中失败了对象本地化。我们为3D-QA提出了一个名为ScanQA模型的3D-QA基线模型，其中模型从3D对象提案和编码的句子嵌入中获取融合描述符。该学习描述符将语言表达式与3D扫描的底层几何特征相关联，并促进3D边界框的回归以确定文本问题中的描述对象。我们收集了人类编辑的问题答案对，自由表格答案将接地为3D场景中的3D对象。我们的新ScanQA数据集包含来自Scannet DataSet的800个室内场景的超过41K问答对。据我们所知，ScanQA是第一个在3D环境中执行对象接地的问答的大规模工作。

接地视频描述（GVD）促使标题模型动态地参加适当的视频区域（例如，对象）并生成描述。这样的设置可以帮助解释标题模型的决策，并防止模型在其描述中幻觉的对象词。然而，这种设计主要侧重于对象词生成，因此可能忽略细粒度信息并遭受缺失的视觉概念。此外，关系词（例如，“左转或右”）是通常的时空推断结果，即，这些单词不能在某些空间区域接地。为了解决上述限制，我们设计了GVD的新型关系图学习框架，其中旨在探索细粒度的视觉概念。此外，精细图可以被视为关系归纳知识，以帮助标题模型选择所需的相关信息来生成正确的单词。我们通过自动指标和人类评估验证我们模型的有效性，结果表明，我们的方法可以产生更细粒度和准确的描述，并解决了物体幻觉的问题。

The prevailing framework for matching multimodal inputs is based on a two-stage process: 1) detecting proposals with an object detector and 2) matching text queries with proposals. Existing two-stage solutions mostly focus on the matching step. In this paper, we argue that these methods overlook an obvious \emph{mismatch} between the roles of proposals in the two stages: they generate proposals solely based on the detection confidence (i.e., query-agnostic), hoping that the proposals contain all instances mentioned in the text query (i.e., query-aware). Due to this mismatch, chances are that proposals relevant to the text query are suppressed during the filtering process, which in turn bounds the matching performance. To this end, we propose VL-NMS, which is the first method to yield query-aware proposals at the first stage. VL-NMS regards all mentioned instances as critical objects, and introduces a lightweight module to predict a score for aligning each proposal with a critical object. These scores can guide the NMS operation to filter out proposals irrelevant to the text query, increasing the recall of critical objects, resulting in a significantly improved matching performance. Since VL-NMS is agnostic to the matching step, it can be easily integrated into any state-of-the-art two-stage matching methods. We validate the effectiveness of VL-NMS on two multimodal matching tasks, namely referring expression grounding and image-text matching. Extensive ablation studies on several baselines and benchmarks consistently demonstrate the superiority of VL-NMS.

视觉接地是定位自然语言表达式指示的目标的任务。现有方法将通用对象检测框架扩展到此问题。它们将视觉接地基于预先生成的提案或锚点的特征，并将这些功能与文本嵌入融合，以找到文本提到的目标。但是，对这些预定义位置的视觉特征进行建模可能无法完全利用文本查询中的视觉上下文和属性信息，从而限制其性能。在本文中，我们提出了一个基于变压器的框架，以通过建立文本条件的判别特征和执行多阶段的跨模式推理来进行准确的视觉接地。具体而言，我们开发了一个视觉语言验证模块，以将视觉特征集中在与文本描述相关的区域上，同时抑制了无关区域。还设计了一种语言指导的特征编码器来汇总目标对象的视觉上下文，以提高对象的独特性。为了从编码的视觉特征中检索目标，我们进一步提出了一个多阶段的跨模式解码器，以迭代地推测图像和文本之间的相关性，以进行准确的目标定位。在五个广泛使用的数据集上进行的广泛实验验证了我们提出的组件的功效，并证明了最先进的性能。我们的代码在https://github.com/yangli18/vltvg上公开。

最近，多模式机器翻译（MMT）的研究激增，其中其他模式（例如图像）用于提高文本系统的翻译质量。这种多模式系统的特殊用途是同时机器翻译的任务，在该任务中，已证明视觉上下文可以补充源句子提供的部分信息，尤其是在翻译的早期阶段。在本文中，我们提出了第一个基于变压器的同时MMT体系结构，该体系结构以前尚未在现场探索过。此外，我们使用辅助监督信号扩展了该模型，该信号使用标记的短语区域比对来指导其视觉注意机制。我们在三个语言方向上进行全面的实验，并使用自动指标和手动检查进行彻底的定量和定性分析。我们的结果表明，（i）监督视觉注意力一致地提高了MMT模型的翻译质量，并且（ii）通过监督损失对MMT进行微调，比从SCRATCH训练MMT的MMT可以提高性能。与最先进的模型相比，我们提出的模型可实现多达2.3 bleu和3.5 Meteor点的改善。

Panoptic叙事接地（PNG）是一项新的任务，其目标是通过静止图像的密集叙事标题来分割事物和内容类别的视觉对象。先前的两阶段方法首先提取了通过现成的全盘分割模型提取分割区域的建议，然后进行粗糙的区域短语匹配，以将每个名词短语的候选区域接地。但是，两阶段的管道通常受到第一阶段低质量建议的性能限制，以及由区域特征池的损失以及为事物和东西类别设计的复杂策略引起的空间细节。为了减轻这些缺点，我们提出了一个单阶段的端到端像素匹配网络（PPMN），该网络将每个短语与其相应的像素直接匹配，而不是区域建议，并通过简单组合输出全段段。因此，我们的模型可以从密集注释的像素色素对的监督而不是稀疏的区域短语对中利用足够，更精细的跨模式语义对应关系。此外，我们还提出了与语言兼容的像素聚合（LCPA）模块，以进一步通过多轮修补剂增强短语特征的判别能力，该简化为每个短语选择最兼容的像素以适应相应的视觉上下文。广泛的实验表明，我们的方法在PNG基准测试中实现了新的最新性能，并具有4.0个绝对平均召回率增长。

Performing 3D dense captioning and visual grounding requires a common and shared understanding of the underlying multimodal relationships. However, despite some previous attempts on connecting these two related tasks with highly task-specific neural modules, it remains understudied how to explicitly depict their shared nature to learn them simultaneously. In this work, we propose UniT3D, a simple yet effective fully unified transformer-based architecture for jointly solving 3D visual grounding and dense captioning. UniT3D enables learning a strong multimodal representation across the two tasks through a supervised joint pre-training scheme with bidirectional and seq-to-seq objectives. With a generic architecture design, UniT3D allows expanding the pre-training scope to more various training sources such as the synthesized data from 2D prior knowledge to benefit 3D vision-language tasks. Extensive experiments and analysis demonstrate that UniT3D obtains significant gains for 3D dense captioning and visual grounding.

考虑到安全至关重要自动化系统中情境意识的功能，对驾驶场景的风险及其解释性的感知对于自主和合作驾驶特别重要。为了实现这一目标，本文提出了在驾驶场景中的共同风险定位的新研究方向及其作为自然语言描述的风险解释。由于缺乏标准基准，我们收集了一个大规模数据集，戏剧性（带有字幕模块的驾驶风险评估机制），该数据集由17,785个在日本东京收集的互动驾驶场景组成。我们的戏剧数据集适用于带有相关重要对象的驾驶风险的视频和对象级别的问题，以实现视觉字幕的目标，作为一种自由形式的语言描述，利用封闭式和开放式响应用于多层次问题，可以用来使用这些响应，可用于在驾驶场景中评估一系列视觉字幕功能。我们将这些数据提供给社区以进行进一步研究。使用戏剧，我们探索了在互动驾驶场景中的联合风险定位和字幕的多个方面。特别是，我们基准了各种多任务预测架构，并提供了关节风险定位和风险字幕的详细分析。数据集可在https://usa.honda-ri.com/drama上获得

The Flickr30k dataset has become a standard benchmark for sentence-based image description. This paper presents Flickr30k Entities, which augments the 158k captions from Flickr30k with 244k coreference chains, linking mentions of the same entities across different captions for the same image, and associating them with 276k manually annotated bounding boxes. Such annotations are essential for continued progress in automatic image description and grounded language understanding. They enable us to define a new benchmark for localization of textual entity mentions in an image. We present a strong baseline for this task that combines an image-text embedding, detectors for common objects, a color classifier, and a bias towards selecting larger objects. While our baseline rivals in accuracy more complex state-of-the-art models, we show that its gains cannot be easily parlayed into improvements on such tasks as image-sentence retrieval, thus underlining the limitations of current methods and the need for further research.

我们介绍了空间本地化叙述中的视频中的任务。我们的方法的关键是能够学会在与随附的叙述的视频中的大型视频中对自我监督进行空间地定位与自我监督的互动。为实现这一目标，我们提出了一种多层跨模型关注网络，可以在培训期间有效优化对比损失。我们介绍了一种分割的策略，可以通过视觉和自然语言方式计算和中间模态注意力之间的交替，这允许通过直接对比两种方式的表示来实现有效的培训。我们展示了我们对HOWTO100M教学数据集的自我训练的方法的有效性，并在YouCook2 DataSet中的本地化描述交互的新收集数据集上进行评估。我们展示了我们的方法优于替代基准，包括浅薄的共同关注和完全跨越的关注。我们还将我们的方法应用于在Flickr30k上的弱监管下的图像中的接地短语，并显示堆叠多个注意层是有效的，并且当与对区域丢失相结合时，在召回召回和指向时达到最先进的艺术状态手准确性。