场景图生成（SGG）由于其复杂的成分特性，仍然是一个具有挑战性的视觉理解任务。大多数以前的作品采用自下而上的两阶段或基于点的单阶段方法，通常遭受开销时间复杂性或次优设计假设。在这项工作中，我们提出了一种新颖的SGG方法来解决上述问题，其将任务制定为双层图形施工问题。为了解决问题，我们开发一个基于变换器的端到端框架，首先生成实体和谓词提议集，然后推断定向边缘以形成关系三态。特别地，我们基于结构谓词发生器开发新的实体感知谓词表示，以利用关系的组成特性。此外，我们设计了一个曲线图组装模块，以推断基于我们的实体感知结构的二分明场景图的连接，使我们能够以端到端的方式生成场景图。广泛的实验结果表明，我们的设计能够在两个具有挑战性的基准上实现最先进的或可比性的性能，超越大多数现有方法，并享受更高的推理效率。我们希望我们的模型可以作为基于变压器的场景图生成的强大基线。

同一场景中的不同对象彼此之间或多或少相关，但是只有有限数量的这些关系值得注意。受到对象检测效果的DETR的启发，我们将场景图生成视为集合预测问题，并提出了具有编码器decoder架构的端到端场景图生成模型RELTR。关于视觉特征上下文的编码器原因是，解码器使用带有耦合主题和对象查询的不同类型的注意机制渗透了一组固定大小的三胞胎主题prodicate-object。我们设计了一套预测损失，以执行地面真相与预测三胞胎之间的匹配。与大多数现有场景图生成方法相反，Reltr是一种单阶段方法，它仅使用视觉外观直接预测一组关系，而无需结合实体并标记所有可能的谓词。视觉基因组和开放图像V6数据集的广泛实验证明了我们模型的出色性能和快速推断。

场景图生成的任务需要在给定图像（或视频）中识别对象实体及其相应的交互谓词。由于组合较大的解决方案空间，现有的场景图生成方法假设关节分布的某些分解以使估计可行（例如，假设对象在有条件地与谓词预测无关）。但是，在所有情况下，这种固定的分解并不是理想的（例如，对于相互作用中需要的对象很小且本身不可辨别的图像）。在这项工作中，我们建议使用马尔可夫随机字段中传递消息，提出一个针对场景图生成的新颖框架，并在图像上引入动态调节。这是作为迭代改进过程实现的，其中每个修改都在上一个迭代中生成的图上进行条件。跨改进步骤的这种条件允许对实体和关系进行联合推理。该框架是通过基于小说和端到端的可训练变压器建筑实现的。此外，建议的框架可以改善现有的方法性能。通过有关视觉基因组和动作基因组基准数据集的广泛实验，我们在场景图生成上显示了改善的性能。

Objects in a scene are not always related. The execution efficiency of the one-stage scene graph generation approaches are quite high, which infer the effective relation between entity pairs using sparse proposal sets and a few queries. However, they only focus on the relation between subject and object in triplet set subject entity, predicate entity, object entity, ignoring the relation between subject and predicate or predicate and object, and the model lacks self-reasoning ability. In addition, linguistic modality has been neglected in the one-stage method. It is necessary to mine linguistic modality knowledge to improve model reasoning ability. To address the above-mentioned shortcomings, a Self-reasoning Transformer with Visual-linguistic Knowledge (SrTR) is proposed to add flexible self-reasoning ability to the model. An encoder-decoder architecture is adopted in SrTR, and a self-reasoning decoder is developed to complete three inferences of the triplet set, s+o-p, s+p-o and p+o-s. Inspired by the large-scale pre-training image-text foundation models, visual-linguistic prior knowledge is introduced and a visual-linguistic alignment strategy is designed to project visual representations into semantic spaces with prior knowledge to aid relational reasoning. Experiments on the Visual Genome dataset demonstrate the superiority and fast inference ability of the proposed method.

今天的VIDSGG模型是基于建议的方法，即，它们首先生成众多配对的主题对象片段作为提案，然后对每个提案进行谓词分类。在本文中，我们认为这种普遍的基于建议的框架有三个固有的缺点：1）建议的地面真理谓词标签部分是正确的。 2）他们打破了相同主题对象对的不同谓词实例之间的高阶关系。 3）Vidsgg性能是由提案质量的大约。为此，我们向Vidsgg提出了一个新的分类 - 然后接地框架，可以避免所有三个被忽视的缺点。同时，在此框架下，我们将视频场景图形为临时二分形图形，其中实体和谓词是具有时隙的两种类型的节点，并且边缘在这些节点之间表示不同的语义角色。此配方充分利用了我们的新框架。因此，我们进一步提出了一种基于新的二分曲线图的SGG模型：大。具体而言，大由两部分组成：分类阶段和接地阶段，前者旨在对所有节点和边缘的类别进行分类，并且后者试图本地化每个关系实例的时间位置。两个Vidsgg数据集上的广泛消融已证明我们框架和大的有效性。

Scene graphs provide a rich, structured representation of a scene by encoding the entities (objects) and their spatial relationships in a graphical format. This representation has proven useful in several tasks, such as question answering, captioning, and even object detection, to name a few. Current approaches take a generation-by-classification approach where the scene graph is generated through labeling of all possible edges between objects in a scene, which adds computational overhead to the approach. This work introduces a generative transformer-based approach to generating scene graphs beyond link prediction. Using two transformer-based components, we first sample a possible scene graph structure from detected objects and their visual features. We then perform predicate classification on the sampled edges to generate the final scene graph. This approach allows us to efficiently generate scene graphs from images with minimal inference overhead. Extensive experiments on the Visual Genome dataset demonstrate the efficiency of the proposed approach. Without bells and whistles, we obtain, on average, 20.7% mean recall (mR@100) across different settings for scene graph generation (SGG), outperforming state-of-the-art SGG approaches while offering competitive performance to unbiased SGG approaches.

场景图生成（SGG）代表对象及其与图形结构的交互。最近，许多作品致力于解决SGG中的不平衡问题。但是，在整个训练过程中低估了头部谓词，他们破坏了为尾部提供一般特征的头部谓词的特征。此外，对尾部谓词的过多注意会导致语义偏差。基于此，我们提出了一个新颖的SGG框架，学习以从头到尾生成场景图（SGG-HT），其中包含课程重新定位机制（CRM）和语义上下文上下文模块（SCM）。 CRM首先学习头/简单样品，以获得头部谓词的稳健特征，然后逐渐专注于尾部/硬质。建议通过确保在全球和局部表示中生成的场景图与地面真相之间的语义一致性来缓解语义偏差。实验表明，SGG-HT显着减轻了视觉基因组上最先进的表现。

Scene Graph Generation (SGG) serves a comprehensive representation of the images for human understanding as well as visual understanding tasks. Due to the long tail bias problem of the object and predicate labels in the available annotated data, the scene graph generated from current methodologies can be biased toward common, non-informative relationship labels. Relationship can sometimes be non-mutually exclusive, which can be described from multiple perspectives like geometrical relationships or semantic relationships, making it even more challenging to predict the most suitable relationship label. In this work, we proposed the SG-Shuffle pipeline for scene graph generation with 3 components: 1) Parallel Transformer Encoder, which learns to predict object relationships in a more exclusive manner by grouping relationship labels into groups of similar purpose; 2) Shuffle Transformer, which learns to select the final relationship labels from the category-specific feature generated in the previous step; and 3) Weighted CE loss, used to alleviate the training bias caused by the imbalanced dataset.

We propose a novel scene graph generation model called Graph R-CNN, that is both effective and efficient at detecting objects and their relations in images. Our model contains a Relation Proposal Network (RePN) that efficiently deals with the quadratic number of potential relations between objects in an image. We also propose an attentional Graph Convolutional Network (aGCN) that effectively captures contextual information between objects and relations. Finally, we introduce a new evaluation metric that is more holistic and realistic than existing metrics. We report state-of-the-art performance on scene graph generation as evaluated using both existing and our proposed metrics.

现有的研究解决场景图生成（SGG） - 图像中场景理解的关键技术 - 从检测角度，即使用边界框检测到对象，然后预测其成对关系。我们认为这种范式引起了几个阻碍该领域进步的问题。例如，当前数据集中的基于框的标签通常包含冗余类，例如头发，并遗漏对上下文理解至关重要的背景信息。在这项工作中，我们介绍了Panoptic场景图生成（PSG），这是一项新的问题任务，要求该模型基于全景分割而不是刚性边界框生成更全面的场景图表示。一个高质量的PSG数据集包含可可和视觉基因组的49k井被宣传的重叠图像，是为社区创建的，以跟踪其进度。为了进行基准测试，我们构建了四个两阶段基线，这些基线是根据SGG中的经典方法修改的，以及两个单阶段基准，称为PSGTR和PSGFORMER，它们基于基于高效的变压器检测器，即detr。虽然PSGTR使用一组查询来直接学习三重态，但PSGFormer以来自两个变压器解码器的查询形式分别模拟对象和关系，然后是一种迅速的关系 - 对象对象匹配机制。最后，我们分享了关于公开挑战和未来方向的见解。

深度学习技术导致了通用对象检测领域的显着突破，近年来产生了很多场景理解的任务。由于其强大的语义表示和应用于场景理解，场景图一直是研究的焦点。场景图生成（SGG）是指自动将图像映射到语义结构场景图中的任务，这需要正确标记检测到的对象及其关系。虽然这是一项具有挑战性的任务，但社区已经提出了许多SGG方法并取得了良好的效果。在本文中，我们对深度学习技术带来了近期成就的全面调查。我们审查了138个代表作品，涵盖了不同的输入方式，并系统地将现有的基于图像的SGG方法从特征提取和融合的角度进行了综述。我们试图通过全面的方式对现有的视觉关系检测方法进行连接和系统化现有的视觉关系检测方法，概述和解释SGG的机制和策略。最后，我们通过深入讨论当前存在的问题和未来的研究方向来完成这项调查。本调查将帮助读者更好地了解当前的研究状况和想法。

场景图是一个场景的结构化表示，可以清楚地表达场景中对象之间的对象，属性和关系。随着计算机视觉技术继续发展，只需检测和识别图像中的对象，人们不再满足。相反，人们期待着对视觉场景更高的理解和推理。例如，给定图像，我们希望不仅检测和识别图像中的对象，还要知道对象之间的关系（视觉关系检测），并基于图像内容生成文本描述（图像标题）。或者，我们可能希望机器告诉我们图像中的小女孩正在做什么（视觉问题应答（VQA）），甚至从图像中移除狗并找到类似的图像（图像编辑和检索）等。这些任务需要更高水平的图像视觉任务的理解和推理。场景图只是场景理解的强大工具。因此，场景图引起了大量研究人员的注意力，相关的研究往往是跨模型，复杂，快速发展的。然而，目前没有对场景图的相对系统的调查。为此，本调查对现行场景图研究进行了全面调查。更具体地说，我们首先总结了场景图的一般定义，随后对场景图（SGG）和SGG的发电方法进行了全面和系统的讨论，借助于先验知识。然后，我们调查了场景图的主要应用，并汇总了最常用的数据集。最后，我们对场景图的未来发展提供了一些见解。我们相信这将是未来研究场景图的一个非常有帮助的基础。

当前的场景图生成研究（SGG）着重于解决生成无偏见的场景图的长尾问题。但是，大多数偏见的方法都过度强调了尾巴谓词，并低估了整个训练的头部，从而破坏了头部谓词特征的表示能力。此外，这些头部谓词的受损特征会损害尾巴谓词的学习。实际上，尾巴谓词的推论在很大程度上取决于从头部谓词中学到的一般模式，例如“站在”上“依赖”。因此，这些偏见的SGG方法既不能在尾巴谓词上实现出色的性能，也不能满足头部的行为。为了解决这个问题，我们提出了一个双分支混合学习网络（DHL），以照顾SGG的头部谓词和尾巴，包括粗粒度的学习分支（CLB）和细粒度的学习分支（FLB） 。具体而言，CLB负责学习专业知识和头部谓词的鲁棒特征，而FLB有望预测信息丰富的尾巴谓词。此外，DHL配备了分支课程时间表（BCS），以使两个分支机构一起工作。实验表明，我们的方法在VG和GQA数据集上实现了新的最新性能，并在尾巴谓词和头部的性能之间进行了权衡。此外，对两个下游任务（即图像字幕和句子到刻画检索）进行了广泛的实验，进一步验证了我们方法的概括和实用性。

多模式变压器表现出高容量和灵活性，可将图像和文本对齐以进行视觉接地。然而，由于自我发挥操作的二次时间复杂性，仅编码的接地框架（例如，transvg）遭受了沉重的计算。为了解决这个问题，我们通过将整个接地过程解散为编码和解码阶段，提出了一种新的多模式变压器体系结构，以动态MDETR形成。关键观察是，图像中存在很高的空间冗余。因此，我们通过在加快视觉接地过程之前利用这种稀疏性来设计一种新的动态多模式变压器解码器。具体而言，我们的动态解码器由2D自适应采样模块和文本引导的解码模块组成。采样模块旨在通过预测参考点的偏移来选择这些信息补丁，而解码模块则可以通过在图像功能和文本功能之间执行交叉注意来提取接地对象信息。这两个模块也被堆叠起来，以逐渐弥合模态间隙，并迭代地完善接地对象的参考点，最终实现了视觉接地的目的。对五个基准测试的广泛实验表明，我们提出的动态MDETR实现了计算和准确性之间的竞争权衡。值得注意的是，在解码器中仅使用9％的特征点，我们可以降低〜44％的多模式变压器的GLOP，但仍然比仅编码器的对应物更高的精度。此外，为了验证其概括能力并扩展我们的动态MDETR，我们构建了第一个单级剪辑授权的视觉接地框架，并在这些基准测试中实现最先进的性能。

Recent scene graph generation (SGG) frameworks have focused on learning complex relationships among multiple objects in an image. Thanks to the nature of the message passing neural network (MPNN) that models high-order interactions between objects and their neighboring objects, they are dominant representation learning modules for SGG. However, existing MPNN-based frameworks assume the scene graph as a homogeneous graph, which restricts the context-awareness of visual relations between objects. That is, they overlook the fact that the relations tend to be highly dependent on the objects with which the relations are associated. In this paper, we propose an unbiased heterogeneous scene graph generation (HetSGG) framework that captures relation-aware context using message passing neural networks. We devise a novel message passing layer, called relation-aware message passing neural network (RMP), that aggregates the contextual information of an image considering the predicate type between objects. Our extensive evaluations demonstrate that HetSGG outperforms state-of-the-art methods, especially outperforming on tail predicate classes.

人类对象的相互作用（HOI）检测在场景理解的背景下受到了很大的关注。尽管基准上的进步越来越高，但我们意识到现有方法通常在遥远的相互作用上表现不佳，其中主要原因是两个方面：1）遥远的相互作用本质上比亲密的相互作用更难以识别。一个自然的场景通常涉及多个人类和具有复杂空间关系的物体，从而使远距离人对象的互动识别很大程度上受到复杂的视觉背景的影响。 2）基准数据集中的远处相互作用不足导致这些实例的合适。为了解决这些问题，在本文中，我们提出了一种新型的两阶段方法，用于更好地处理HOI检测中的遥远相互作用。我们方法中的一个必不可少的组成部分是一个新颖的近距离注意模块。它可以在人类和物体之间进行信息传播，从而熟练考虑空间距离。此外，我们设计了一种新颖的远距离感知损失函数，该功能使模型更加专注于遥远而罕见的相互作用。我们对两个具有挑战性的数据集进行了广泛的实验-HICO-DET和V-COCO。结果表明，所提出的方法可以通过很大的利润来超越现有方法，从而导致新的最新性能。

当前场景图（SGG）模型的性能受到难以弥补的谓词的严重阻碍，例如，女性与女性/站立/站立/步行。由于通用SGG模型倾向于预测头部谓词和重新平衡策略，因此偏爱尾巴类别，因此没有一个可以适当处理难以呈现的谓词。为了解决这个问题，受到细粒图像分类的启发，该图像分类的重点是区分难以弥补的对象，我们提出了一种自适应的细粒谓词学习（FGPL-A），旨在区分SGG难以区分的谓词。首先，我们引入了一个自适应谓词晶格（PL-A），以找出难以辨认的谓词，该谓词可以适应地探索与模型的动态学习步伐保持一致的谓词相关性。实际上，PL-A是从SGG数据集初始化的，并通过探索模型的当前迷你批量预测来完善。利用PL-A，我们提出了一个自适应类别区分损失（CDL-A）和一个自适应实体区分损失（EDL-A），该实体逐渐使模型的歧视过程逐渐使模型的歧视过程正规化，从而确保模型的动态学习状态，以确保平衡，有效，有效，有效，有效地进行了平衡，并确保了平衡和高效的模型。学习过程。广泛的实验结果表明，我们提出的模型不足的策略可显着提高VG-SGG和GQA-SGG数据集对基准模型的性能，最多可提高175％和76％的平均Recess@100，从而实现新的最新性能。此外，对句子到图形检索和图像字幕任务的实验进一步证明了我们方法的实用性。

DETR方法中引入的查询机制正在改变对象检测的范例，最近有许多基于查询的方法获得了强对象检测性能。但是，当前基于查询的检测管道遇到了以下两个问题。首先，需要多阶段解码器来优化随机初始化的对象查询，从而产生较大的计算负担。其次，训练后的查询是固定的，导致不满意的概括能力。为了纠正上述问题，我们在较快的R-CNN框架中提出了通过查询生成网络预测的特征对象查询，并开发了一个功能性的查询R-CNN。可可数据集的广泛实验表明，我们的特征查询R-CNN获得了所有R-CNN探测器的最佳速度准确性权衡，包括最近的最新稀疏R-CNN检测器。该代码可在\ url {https://github.com/hustvl/featurized-queryrcnn}中获得。

场景图生成（SGG）任务旨在在给定图像中检测所有对象及其成对的视觉关系。尽管SGG在过去几年中取得了显着的进展，但几乎所有现有的SGG模型都遵循相同的训练范式：他们将SGG中的对象和谓词分类视为单标签分类问题，而地面真实性是一个hot目标。标签。但是，这种普遍的训练范式忽略了当前SGG数据集的两个特征：1）对于正样本，某些特定的主题对象实例可能具有多个合理的谓词。 2）对于负样本，有许多缺失的注释。不管这两个特征如何，SGG模型都很容易被混淆并做出错误的预测。为此，我们为无偏SGG提出了一种新颖的模型不合命相的标签语义知识蒸馏（LS-KD）。具体而言，LS-KD通过将预测的标签语义分布（LSD）与其原始的单热目标标签融合来动态生成每个主题对象实例的软标签。 LSD反映了此实例和多个谓词类别之间的相关性。同时，我们提出了两种不同的策略来预测LSD：迭代自我KD和同步自我KD。大量的消融和对三项SGG任务的结果证明了我们所提出的LS-KD的优势和普遍性，这些LS-KD可以始终如一地实现不同谓词类别之间的不错的权衡绩效。

人类对象相互作用（HOI）检测是高级图像理解的核心任务。最近，由于其出色的性能和有效的结构，检测变压器（DETR）基于HOI的检测器已变得流行。但是，这些方法通常对所有测试图像采用固定的HOI查询，这很容易受到一个特定图像中对象的位置变化的影响。因此，在本文中，我们建议通过挖掘硬阳性查询来增强DETR的鲁棒性，这些查询被迫使用部分视觉提示做出正确的预测。首先，我们根据每个训练图像标记的人类对象对的地面真相（GT）位置明确地组成硬阳性查询。具体而言，我们将每个标记的人类对象对的GT边界框移动，以使移位框仅覆盖GT的一定部分。我们将每个标记的人类对象对的移位框的坐标编码为HOI查询。其次，我们通过在解码器层的交叉注意地图中掩盖了最高分数，从而隐式构建了另一组硬阳性查询。然后，掩盖的注意图仅涵盖HOI预测的部分重要提示。最后，提出了一种替代策略，该策略有效地结合了两种类型的硬性查询。在每次迭代中，都采用了Detr的可学习查询和一种选择的硬阳性查询进行损失计算。实验结果表明，我们提出的方法可以广泛应用于现有的基于DITR的HOI探测器。此外，我们始终在三个基准上实现最先进的性能：HICO-DET，V-COCO和HOI-A。代码可在https://github.com/muchhair/hqm上找到。