今天的VIDSGG模型是基于建议的方法，即，它们首先生成众多配对的主题对象片段作为提案，然后对每个提案进行谓词分类。在本文中，我们认为这种普遍的基于建议的框架有三个固有的缺点：1）建议的地面真理谓词标签部分是正确的。 2）他们打破了相同主题对象对的不同谓词实例之间的高阶关系。 3）Vidsgg性能是由提案质量的大约。为此，我们向Vidsgg提出了一个新的分类 - 然后接地框架，可以避免所有三个被忽视的缺点。同时，在此框架下，我们将视频场景图形为临时二分形图形，其中实体和谓词是具有时隙的两种类型的节点，并且边缘在这些节点之间表示不同的语义角色。此配方充分利用了我们的新框架。因此，我们进一步提出了一种基于新的二分曲线图的SGG模型：大。具体而言，大由两部分组成：分类阶段和接地阶段，前者旨在对所有节点和边缘的类别进行分类，并且后者试图本地化每个关系实例的时间位置。两个Vidsgg数据集上的广泛消融已证明我们框架和大的有效性。

场景图生成（SGG）由于其复杂的成分特性，仍然是一个具有挑战性的视觉理解任务。大多数以前的作品采用自下而上的两阶段或基于点的单阶段方法，通常遭受开销时间复杂性或次优设计假设。在这项工作中，我们提出了一种新颖的SGG方法来解决上述问题，其将任务制定为双层图形施工问题。为了解决问题，我们开发一个基于变换器的端到端框架，首先生成实体和谓词提议集，然后推断定向边缘以形成关系三态。特别地，我们基于结构谓词发生器开发新的实体感知谓词表示，以利用关系的组成特性。此外，我们设计了一个曲线图组装模块，以推断基于我们的实体感知结构的二分明场景图的连接，使我们能够以端到端的方式生成场景图。广泛的实验结果表明，我们的设计能够在两个具有挑战性的基准上实现最先进的或可比性的性能，超越大多数现有方法，并享受更高的推理效率。我们希望我们的模型可以作为基于变压器的场景图生成的强大基线。

同一场景中的不同对象彼此之间或多或少相关，但是只有有限数量的这些关系值得注意。受到对象检测效果的DETR的启发，我们将场景图生成视为集合预测问题，并提出了具有编码器decoder架构的端到端场景图生成模型RELTR。关于视觉特征上下文的编码器原因是，解码器使用带有耦合主题和对象查询的不同类型的注意机制渗透了一组固定大小的三胞胎主题prodicate-object。我们设计了一套预测损失，以执行地面真相与预测三胞胎之间的匹配。与大多数现有场景图生成方法相反，Reltr是一种单阶段方法，它仅使用视觉外观直接预测一组关系，而无需结合实体并标记所有可能的谓词。视觉基因组和开放图像V6数据集的广泛实验证明了我们模型的出色性能和快速推断。

最近，越来越多的努力集中在弱监督的场景图（WSSGG）上。 WSSGG的主流解决方案通常遵循相同的管道：它们首先将文本实体与弱图像级别的监督（例如，未定位的关系三胞胎或字幕）相结合，然后用图像区域对齐，然后以完全固定的实例训练SGG模型 - 级别的“伪”标签。但是，我们认为大多数现有的WSSGG仅专注于对象一致性，这意味着接地区域应具有与文本实体相同的对象类别标签。尽管他们忽略了理想对齐的另一个基本要求：相互作用，这意味着接地区域对应具有与文本实体对相同的相互作用（即视觉关系）。因此，在本文中，我们建议通过使用对象感知和互动感知知识来增强简单的接地模块，以获取更可靠的伪标签。为了更好地利用这两种类型的知识，我们将它们视为两位老师，并融合其生成的目标，以指导我们接地模块的训练过程。具体而言，我们设计了两种不同的策略，可以通过评估每个培训样本的可靠性来适应不同的教师。广泛的实验表明，我们的方法始终在各种弱监督下提高WSSGG性能。

现有的研究解决场景图生成（SGG） - 图像中场景理解的关键技术 - 从检测角度，即使用边界框检测到对象，然后预测其成对关系。我们认为这种范式引起了几个阻碍该领域进步的问题。例如，当前数据集中的基于框的标签通常包含冗余类，例如头发，并遗漏对上下文理解至关重要的背景信息。在这项工作中，我们介绍了Panoptic场景图生成（PSG），这是一项新的问题任务，要求该模型基于全景分割而不是刚性边界框生成更全面的场景图表示。一个高质量的PSG数据集包含可可和视觉基因组的49k井被宣传的重叠图像，是为社区创建的，以跟踪其进度。为了进行基准测试，我们构建了四个两阶段基线，这些基线是根据SGG中的经典方法修改的，以及两个单阶段基准，称为PSGTR和PSGFORMER，它们基于基于高效的变压器检测器，即detr。虽然PSGTR使用一组查询来直接学习三重态，但PSGFormer以来自两个变压器解码器的查询形式分别模拟对象和关系，然后是一种迅速的关系 - 对象对象匹配机制。最后，我们分享了关于公开挑战和未来方向的见解。

深度学习技术导致了通用对象检测领域的显着突破，近年来产生了很多场景理解的任务。由于其强大的语义表示和应用于场景理解，场景图一直是研究的焦点。场景图生成（SGG）是指自动将图像映射到语义结构场景图中的任务，这需要正确标记检测到的对象及其关系。虽然这是一项具有挑战性的任务，但社区已经提出了许多SGG方法并取得了良好的效果。在本文中，我们对深度学习技术带来了近期成就的全面调查。我们审查了138个代表作品，涵盖了不同的输入方式，并系统地将现有的基于图像的SGG方法从特征提取和融合的角度进行了综述。我们试图通过全面的方式对现有的视觉关系检测方法进行连接和系统化现有的视觉关系检测方法，概述和解释SGG的机制和策略。最后，我们通过深入讨论当前存在的问题和未来的研究方向来完成这项调查。本调查将帮助读者更好地了解当前的研究状况和想法。

Given an untrimmed video and natural language query, video sentence grounding aims to localize the target temporal moment in the video. Existing methods mainly tackle this task by matching and aligning semantics of the descriptive sentence and video segments on a single temporal resolution, while neglecting the temporal consistency of video content in different resolutions. In this work, we propose a novel multi-resolution temporal video sentence grounding network: MRTNet, which consists of a multi-modal feature encoder, a Multi-Resolution Temporal (MRT) module, and a predictor module. MRT module is an encoder-decoder network, and output features in the decoder part are in conjunction with Transformers to predict the final start and end timestamps. Particularly, our MRT module is hot-pluggable, which means it can be seamlessly incorporated into any anchor-free models. Besides, we utilize a hybrid loss to supervise cross-modal features in MRT module for more accurate grounding in three scales: frame-level, clip-level and sequence-level. Extensive experiments on three prevalent datasets have shown the effectiveness of MRTNet.

本文解决了颞句的接地。以前的作品通常通过学习帧级视频功能来解决此任务并将其与文本信息对齐。这些作品的一个主要限制是，由于帧级特征提取，它们未能利用具有微妙的外观差异的模糊视频帧。最近，一些方法采用更快的R-CNN来提取每帧中的详细物体特征来区分细粒的外观相似性。然而，由于对象检测模型缺乏时间建模，因此通过更快的R-CNN提取的对象级别特征遭受缺失的运动分析。为了解决这个问题，我们提出了一种新颖的运动外观推理网络（MARN），其包括动作感知和外观感知对象特征，以更好的原因对象关系来建立连续帧之间的活动。具体而言，我们首先介绍两个单独的视频编码器以将视频嵌入到相应的主导和外观 - 方面对象表示中。然后，我们开发单独的运动和外观分支，以分别学习运动引导和外观引导的对象关系。最后，来自两个分支的运动和外观信息都与用于最终接地的更多代表性的特征相关联。对两个具有挑战性的数据集（Chardes-Sta和Tacos）的广泛实验表明，我们提出的马恩在以前的最先进的方法中大大优于大幅度。

场景图生成（SGG）任务旨在在给定图像中检测所有对象及其成对的视觉关系。尽管SGG在过去几年中取得了显着的进展，但几乎所有现有的SGG模型都遵循相同的训练范式：他们将SGG中的对象和谓词分类视为单标签分类问题，而地面真实性是一个hot目标。标签。但是，这种普遍的训练范式忽略了当前SGG数据集的两个特征：1）对于正样本，某些特定的主题对象实例可能具有多个合理的谓词。 2）对于负样本，有许多缺失的注释。不管这两个特征如何，SGG模型都很容易被混淆并做出错误的预测。为此，我们为无偏SGG提出了一种新颖的模型不合命相的标签语义知识蒸馏（LS-KD）。具体而言，LS-KD通过将预测的标签语义分布（LSD）与其原始的单热目标标签融合来动态生成每个主题对象实例的软标签。 LSD反映了此实例和多个谓词类别之间的相关性。同时，我们提出了两种不同的策略来预测LSD：迭代自我KD和同步自我KD。大量的消融和对三项SGG任务的结果证明了我们所提出的LS-KD的优势和普遍性，这些LS-KD可以始终如一地实现不同谓词类别之间的不错的权衡绩效。

Scene graphs provide a rich, structured representation of a scene by encoding the entities (objects) and their spatial relationships in a graphical format. This representation has proven useful in several tasks, such as question answering, captioning, and even object detection, to name a few. Current approaches take a generation-by-classification approach where the scene graph is generated through labeling of all possible edges between objects in a scene, which adds computational overhead to the approach. This work introduces a generative transformer-based approach to generating scene graphs beyond link prediction. Using two transformer-based components, we first sample a possible scene graph structure from detected objects and their visual features. We then perform predicate classification on the sampled edges to generate the final scene graph. This approach allows us to efficiently generate scene graphs from images with minimal inference overhead. Extensive experiments on the Visual Genome dataset demonstrate the efficiency of the proposed approach. Without bells and whistles, we obtain, on average, 20.7% mean recall (mR@100) across different settings for scene graph generation (SGG), outperforming state-of-the-art SGG approaches while offering competitive performance to unbiased SGG approaches.

视频接地旨在通过给定语言查询，本地化未经监控的视频中的相应视频时刻。现有方法通常以间接方式解决此任务，通过将其作为提案和匹配或融合和检测问题。解决这些替代问题通常需要在培训和手工制作的近重复结果中进行复杂的标签分配。同时，现有的作品通常专注于具有单句的稀疏视频接地，作为输入可能导致由于其不清晰的描述而产生模糊的本地化。在本文中，我们通过将段落作为输入同时定位多个时刻来解决密集视频接地的新问题。从视频接地的视角是语言条件回归，我们通过重新拟合变压器 - 相似的架构（PRVG）来提出端到端的并行解码范式。我们的PRVG中的关键设计是使用语言作为查询，并基于语言调制的可视表示直接回归矩界限。由于其简单设计，我们的PRVG框架可以应用于不同的测试方案（稀疏或密集的接地），并允许无需任何后处理技术的有效推理。此外，我们设计了强大的提案级注意力损失，以指导PRVG的培训，这不变于时刻持续时间，并有助于模型收敛。我们对ActivityNet标题和炸玉米饼的两个视频接地基准进行实验，展示了我们的PRVG可以显着优于以前的方法。我们还进行深入的研究，以研究并行回归范例对视频接地的有效性。

时空视频接地（STVG）的重点是检索由自由形式的文本表达式描绘的特定物体的时空管。现有方法主要将这一复杂的任务视为平行框架的问题，因此遭受了两种类型的不一致缺点：特征对齐不一致和预测不一致。在本文中，我们提出了一个端到端的一阶段框架，称为时空的一致性变压器（STCAT），以减轻这些问题。特别是，我们引入了一个新颖的多模式模板，作为解决此任务的全球目标，该目标明确限制了接地区域并将所有视频框架之间的预测联系起来。此外，为了在足够的视频文本感知下生成上述模板，提出了一个编码器架构来进行有效的全局上下文建模。由于这些关键设计，STCAT享有更一致的跨模式特征对齐和管预测，而无需依赖任何预训练的对象探测器。广泛的实验表明，我们的方法在两个具有挑战性的视频基准（VIDSTG和HC-STVG）上胜过先前的最先进的，这说明了拟议框架的优越性，以更好地理解视觉与自然语言之间的关联。代码可在\ url {https://github.com/jy0205/stcat}上公开获得。

这项工作旨在使用带有动作查询的编码器框架（类似于DETR）来推进时间动作检测（TAD），该框架在对象检测中表现出了巨大的成功。但是，如果直接应用于TAD，该框架遇到了几个问题：解码器中争论之间关系的探索不足，由于培训样本数量有限，分类培训不足以及推断时不可靠的分类得分。为此，我们首先提出了解码器中的关系注意机制，该机制根据其关系来指导查询之间的注意力。此外，我们提出了两项​​损失，以促进和稳定行动分类的培训。最后，我们建议在推理时预测每个动作查询的本地化质量，以区分高质量的查询。所提出的命名React的方法在Thumos14上实现了最新性能，其计算成本比以前的方法低得多。此外，还进行了广泛的消融研究，以验证每个提出的组件的有效性。该代码可在https://github.com/sssste/reaeact上获得。

We propose a novel scene graph generation model called Graph R-CNN, that is both effective and efficient at detecting objects and their relations in images. Our model contains a Relation Proposal Network (RePN) that efficiently deals with the quadratic number of potential relations between objects in an image. We also propose an attentional Graph Convolutional Network (aGCN) that effectively captures contextual information between objects and relations. Finally, we introduce a new evaluation metric that is more holistic and realistic than existing metrics. We report state-of-the-art performance on scene graph generation as evaluated using both existing and our proposed metrics.

接地的情况识别（GSR），即识别图像中的显着活动（或动词）类别（例如，购买）和检测所有相应的语义角色（例如，代理商和货物），是朝向“人类”的重要步骤事件理解。由于每个动词与特定的语义角色相关联，所以所有现有的GSR方法都采用了一个两级框架：在第一阶段预测动词并检测第二阶段的语义角色。然而，两个阶段存在明显的缺点：1）由于在日常活动中的阶级内变化和高阶间相似性，对物体识别的广泛使用的跨熵（XE）损耗在动词分类中不足。 2）以自回归方式检测到所有语义角色，这不能模拟不同角色之间的复杂语义关系。为此，我们为GSR提出了一种新的Situformer，其包括粗略的动词模型（CFVM）和基于变压器的名词模型（TNM）。 CFVM是一种两步动词预测模型：具有XE损耗培训的粗粒模型首先提出了一组动词候选，然后用三态损失培训的细粒度模型重新排名这些候选者，并使用增强的动词功能（不仅可分离但也是歧视的）。 TNM是一种基于变换器的语义角色检测模型，其并行检测所有角色。由于变压器解码器的全局关系建模能力和灵活性，TNM可以完全探索角色的统计依赖性。对挑战性SWIG基准测试的广泛验证表明，Situformer在各种指标下实现了一种新的最先进的性能。代码可在https://github.com/kellyiss/situformer中获得。

多模式变压器表现出高容量和灵活性，可将图像和文本对齐以进行视觉接地。然而，由于自我发挥操作的二次时间复杂性，仅编码的接地框架（例如，transvg）遭受了沉重的计算。为了解决这个问题，我们通过将整个接地过程解散为编码和解码阶段，提出了一种新的多模式变压器体系结构，以动态MDETR形成。关键观察是，图像中存在很高的空间冗余。因此，我们通过在加快视觉接地过程之前利用这种稀疏性来设计一种新的动态多模式变压器解码器。具体而言，我们的动态解码器由2D自适应采样模块和文本引导的解码模块组成。采样模块旨在通过预测参考点的偏移来选择这些信息补丁，而解码模块则可以通过在图像功能和文本功能之间执行交叉注意来提取接地对象信息。这两个模块也被堆叠起来，以逐渐弥合模态间隙，并迭代地完善接地对象的参考点，最终实现了视觉接地的目的。对五个基准测试的广泛实验表明，我们提出的动态MDETR实现了计算和准确性之间的竞争权衡。值得注意的是，在解码器中仅使用9％的特征点，我们可以降低〜44％的多模式变压器的GLOP，但仍然比仅编码器的对应物更高的精度。此外，为了验证其概括能力并扩展我们的动态MDETR，我们构建了第一个单级剪辑授权的视觉接地框架，并在这些基准测试中实现最先进的性能。

We investigate the problem of producing structured graph representations of visual scenes. Our work analyzes the role of motifs: regularly appearing substructures in scene graphs. We present new quantitative insights on such repeated structures in the Visual Genome dataset. Our analysis shows that object labels are highly predictive of relation labels but not vice-versa. We also find that there are recurring patterns even in larger subgraphs: more than 50% of graphs contain motifs involving at least two relations. Our analysis motivates a new baseline: given object detections, predict the most frequent relation between object pairs with the given labels, as seen in the training set. This baseline improves on the previous state-of-the-art by an average of 3.6% relative improvement across evaluation settings. We then introduce Stacked Motif Networks, a new architecture designed to capture higher order motifs in scene graphs that further improves over our strong baseline by an average 7.1% relative gain. Our code is available at github.com/rowanz/neural-motifs.

几乎所有现有的场景图（SGG）模型都忽略了主流SGG数据集的地面真相注释质量，即他们假设：1）所有手动注释的正样本都是同样正确的； 2）所有未注销的负样本绝对是背景。在本文中，我们认为这两个假设都不适用于SGG：有许多嘈杂的地面谓词标签破坏了这两个假设并损害了无偏SGG模型的训练。为此，我们提出了一种新颖的嘈杂标签校正和SGG：最佳的样本训练策略。具体而言，它包括两个部分：尼斯和NIST，它们分别通过产生高质量的样本和有效的培训策略来排除这些嘈杂的标签问题。 NICE首先检测到嘈杂的样品，然后将它们重新分配给它们更多高质量的软谓词标签。 NIST是一种基于多教老师知识蒸馏的培训策略，它使模型能够学习公正的融合知识。 NIST的动态权衡加权策略旨在惩罚不同教师的偏见。由于NICE和NIST的模型不足的性质，我们最好的最好的人可以无缝地纳入任何SGG架构中，以提高其在不同谓词类别上的性能。此外，为了更好地评估SGG模型的概括，我们通过重新组织普遍的VG数据集并故意使培训和测试集的谓词分布尽可能不同，进一步提出了一种新的基准VG-OOD。对象类别对。这种新的基准有助于解散基于对象类别类别的频率偏差的影响。大量消融和对不同的骨干和任务的结果证明了最佳组成部分的有效性和概括能力。

视频字幕定位目标将复杂的视觉内容解释为文本说明，这要求模型充分了解包括对象及其交互的视频场景。流行的方法采用现成的对象检测网络来提供对象建议，并使用注意机制来建模对象之间的关系。他们通常会错过一些预验证模型的不确定语义概念，并且无法识别对象之间的确切谓词关系。在本文中，我们研究了为给定视频生成文本描述的开放研究任务，并提出了带有元概念的跨模式图（CMG）。具体而言，为了涵盖视频字幕中有用的语义概念，我们弱地学习了文本描述的相应视觉区域，其中相关的视觉区域和文本单词被命名为跨模式元概念。我们通过学习的跨模式元概念动态地构建元概念图。我们还构建了整体视频级别和本地框架级视频图，并具有预测的谓词，以建模视频序列结构。我们通过广泛的实验来验证我们提出的技术的功效，并在两个公共数据集上实现最新结果。

场景图是一个场景的结构化表示，可以清楚地表达场景中对象之间的对象，属性和关系。随着计算机视觉技术继续发展，只需检测和识别图像中的对象，人们不再满足。相反，人们期待着对视觉场景更高的理解和推理。例如，给定图像，我们希望不仅检测和识别图像中的对象，还要知道对象之间的关系（视觉关系检测），并基于图像内容生成文本描述（图像标题）。或者，我们可能希望机器告诉我们图像中的小女孩正在做什么（视觉问题应答（VQA）），甚至从图像中移除狗并找到类似的图像（图像编辑和检索）等。这些任务需要更高水平的图像视觉任务的理解和推理。场景图只是场景理解的强大工具。因此，场景图引起了大量研究人员的注意力，相关的研究往往是跨模型，复杂，快速发展的。然而，目前没有对场景图的相对系统的调查。为此，本调查对现行场景图研究进行了全面调查。更具体地说，我们首先总结了场景图的一般定义，随后对场景图（SGG）和SGG的发电方法进行了全面和系统的讨论，借助于先验知识。然后，我们调查了场景图的主要应用，并汇总了最常用的数据集。最后，我们对场景图的未来发展提供了一些见解。我们相信这将是未来研究场景图的一个非常有帮助的基础。