本文的目标是人对象交互（HO-I）检测。 HO-I检测旨在找到与图像相互作用的交互和分类。研究人员近年来依靠[5]强大的HO-I对齐监督，近年来取得了重大改善。 Ho-i对齐监督对具有互动对象的人类，然后将人对象对与其交互类别对齐。由于收集这种注释是昂贵的，本文提出了检测HO-I，无需对齐监督。我们依靠图像级监控，只枚举图像中的现有交互而不指向它们发生的位置。我们的论文提出了三个贡献：i）我们提出对齐器，基于Visual-Conversion的CNN，可以检测HO-I，只有图像级监控。 ii）对齐器配有HO-I对齐层，可以学习选择适当的目标以允许检测器监控。 iii）我们在Hico-det [5]和V-Coco [13]上评估对齐 - 前者，并显示对准的是现有的图像水平监督Ho-i探测器的大幅度（4.71％从16.14％的地图改进在Hico-DET [5]上的20.85％）。

用于视觉数据的变压器模型的最新进程导致识别和检测任务的显着改进。特别是，使用学习查询代替区域建议，这已经引起了一种新的一类单级检测模型，由检测变压器（DETR）。这种单阶段方法的变化已经主导了人对象相互作用（HOI）检测。然而，这种单阶段Hoi探测器的成功可以很大程度上被归因于变压器的表示力。我们发现，当配备相同的变压器时，他们的两级同行可以更加性能和记忆力，同时取得一小部分训练。在这项工作中，我们提出了一对成对变压器，这是一个用于HOI的一元和成对表示的两级检测器。我们观察到我们的变压器网络的一对和成对部分专门化，前者优先增加积极示例的分数，后者降低了阴性实例的分数。我们评估我们在HiCO-DET和V-Coco数据集上的方法，并显着优于最先进的方法。在推理时间内，我们使用RESET50的模型在单个GPU上接近实时性能。

人类对象的相互作用（HOI）检测在场景理解的背景下受到了很大的关注。尽管基准上的进步越来越高，但我们意识到现有方法通常在遥远的相互作用上表现不佳，其中主要原因是两个方面：1）遥远的相互作用本质上比亲密的相互作用更难以识别。一个自然的场景通常涉及多个人类和具有复杂空间关系的物体，从而使远距离人对象的互动识别很大程度上受到复杂的视觉背景的影响。 2）基准数据集中的远处相互作用不足导致这些实例的合适。为了解决这些问题，在本文中，我们提出了一种新型的两阶段方法，用于更好地处理HOI检测中的遥远相互作用。我们方法中的一个必不可少的组成部分是一个新颖的近距离注意模块。它可以在人类和物体之间进行信息传播，从而熟练考虑空间距离。此外，我们设计了一种新颖的远距离感知损失函数，该功能使模型更加专注于遥远而罕见的相互作用。我们对两个具有挑战性的数据集进行了广泛的实验-HICO-DET和V-COCO。结果表明，所提出的方法可以通过很大的利润来超越现有方法，从而导致新的最新性能。

人类对象相互作用（HOI）检测是一项具有挑战性的任务，需要区分人类对象对之间的相互作用。基于注意力的关系解析是HOI中使用的一种流行而有效的策略。但是，当前方法以“自下而上”的方式执行关系解析。我们认为，在HOI中，独立使用自下而上的解析策略是违反直觉的，可能导致注意力的扩散。因此，我们将新颖的知识引导自上而下的关注引入HOI，并提议将关系解析为“外观和搜索”过程：执行场景 - 文化建模（即外观），然后给定对知识的知识。目标对，搜索视觉线索，以区分两对之间的相互作用。我们通过基于单个编码器模型统一自下而上的注意力来实现该过程。实验结果表明，我们的模型在V-Coco和Hico-Det数据集上实现了竞争性能。

人对象交互（HOI）检测作为对象检测任务的下游需要本地化人和对象，并从图像中提取人类和对象之间的语义关系。最近，由于其高效率，一步方法已成为这项任务的新趋势。然而，这些方法侧重于检测可能的交互点或过滤人对象对，忽略空间尺度处的不同物体的位置和大小的可变性。为了解决这个问题，我们提出了一种基于变压器的方法，Qahoi（用于人对象交互检测的查询锚点），它利用了多尺度架构来提取来自不同空间尺度的特征，并使用基于查询的锚来预测全部Hoi实例的元素。我们进一步调查了强大的骨干，显着提高了QAHOI的准确性，QAHOI与基于变压器的骨干优于最近的最近最先进的方法，通过HICO-DEC基准。源代码以$ \ href {https://github.com/cjw2021/qhoii} {\ text {this https url}} $。

现有语言接地模型通常使用对象提案瓶颈：预先训练的探测器提出了场景中的对象，模型学会从这些框提案中选择答案，而不会参加原始图像或3D点云。对象探测器通常在固定词汇上培训，其对象和属性通常过于限制开放域语言接地，其中话语可以指在各种抽象层面的视觉实体，例如椅子，椅子的椅子，或椅子前腿的尖端。我们为3D场景提出了一个用于接地语言的模型，绕过具有三个主要创新的盒子提案瓶颈：i）横跨语言流的迭代注意，点云特征流和3D框提案。 ii）具有非参数实体查询的变压器解码器，用于对对象和部分参考进行解码3D框。 iii）通过将物体检测视为由候选类别标签列表的参考词汇的接地为基础，从3D对象注释和语言接地注释的联合监督。这些创新在流行的3D语言接地基准上之前的方法上产生了显着的定量收益（对SR3D基准测试的绝对改善）。我们消除了我们的每一个创新，向模型表现出贡献。当在具有次要变化的2D图像上应用于语言接地时，它会与最先进的，同时收敛于GPU时间的一半。代码和检查点将在https://github.com/nickgkan/beaut_detr中提供

最近，视频变压器在视频理解方面取得了巨大成功，超过了CNN性能;然而，现有的视频变换器模型不会明确地模拟对象，尽管对象对于识别操作至关重要。在这项工作中，我们呈现对象区域视频变换器（Orvit），一个\ emph {对象为中心}方法，它与直接包含对象表示的块扩展视频变压器图层。关键的想法是从早期层开始融合以对象形式的表示，并将它们传播到变压器层中，从而影响整个网络的时空表示。我们的orvit块由两个对象级流组成：外观和动态。在外观流中，“对象区域关注”模块在修补程序上应用自我关注和\ emph {对象区域}。以这种方式，Visual对象区域与统一修补程序令牌交互，并通过上下文化对象信息来丰富它们。我们通过单独的“对象 - 动态模块”进一步模型对象动态，捕获轨迹交互，并显示如何集成两个流。我们在四个任务和五个数据集中评估我们的模型：在某事物中的某些问题和几次射击动作识别，以及在AVA上的某些时空动作检测，以及在某种东西上的标准动作识别 - 某种东西 - 东西，潜水48和EPIC-Kitchen100。我们在考虑的所有任务和数据集中展示了强大的性能改进，展示了将对象表示的模型的值集成到变压器体系结构中。对于代码和预用模型，请访问项目页面\ url {https://roeiherz.github.io/orvit/}

人对象相互作用（HOI）检测在活动理解中起着至关重要的作用。尽管已经取得了重大进展，但交互性学习仍然是HOI检测的一个具有挑战性的问题：现有方法通常会产生冗余的负H-O对提案，并且无法有效提取交互式对。尽管已经在整个身体和部分级别研究了互动率，并促进了H-O配对，但以前的作品仅专注于目标人一次（即，从本地角度来看）并忽略了其他人的信息。在本文中，我们认为同时比较多人的身体零件可以使我们更有用，更补充的互动提示。也就是说，从全球的角度学习身体部分的互动：当对目标人的身体零件互动进行分类时，不仅要从自己/他本人，而且还从图像中的其他人那里探索视觉提示。我们基于自我注意力来构建身体的显着性图，以挖掘交叉人物的信息线索，并学习所有身体零件之间的整体关系。我们评估了广泛使用的基准曲线和V-Coco的建议方法。从我们的新角度来看，整体的全部本地人体互动互动学习可以对最先进的发展取得重大改进。我们的代码可从https://github.com/enlighten0707/body-part-map-for-interactimence获得。

检测人类相互作用对于人类行为分析至关重要。已经提出了许多方法来处理人对物体交互（HOI）检测，即检测人和物体在一起和分类交互类型的图像中检测。然而，人类对人类的相互作用，例如社会和暴力互动，通常不会在可用的会议训练数据集中考虑。由于我们认为这些类型的互动在分析人类行为时，我们不能从海内忽略和去相关，我们提出了一个新的互动数据集来处理两种类型的人类相互作用：人对人类或对象（H2O）。此外，我们介绍了一个新的动词分类，旨在更接近人体态度与周围的相互作用目标的描述，更加独立于环境。与某些现有数据集不同，我们努力避免在高度取决于目标类型时定义同义词，或者需要高水平的语义解释。由于H2O数据集包括使用此新分类系统注释的V-Coco映像，图像显然包含更多的交互。这可能是HOI检测方法的问题，其复杂性取决于人数，目标或交互的数量。因此，我们提出了空灵博（通过仅寻找一次），一种有效的主题的单射方法，用于检测一个向前通过的所有交互，恒定的推断时间与图像内容无关。此外，此多任务网络同时检测所有人员和对象。我们展示了如何为这些任务共享网络不仅可以节省计算资源，而且还可通过协作提高性能。最后，Diabolo是一种强大的基线，用于H2O交互检测的新挑战，因为它在Hoi DataSet V-Coco上训练和评估时表现出所有最先进的方法。

我们提出了DEFR，一种无检测方法，以在图像水平处识别人对象交互（HOI）而不使用对象位置或人类姿势。当探测器是现有方法的一个组成部分时，这是具有挑战性的。在本文中，我们提出了两个调查结果来提高无检测方法的性能，这显着优于辅助现有技术。首先，我们发现它至关重要，可以有效地利用了海上课程之间的语义相关性。可以通过使用Hoi标签的语言嵌入来初始化线性分类器来实现显着的增益，该分类器编码HOI的结构以指导培训。此外，我们提出了Log-Sum-exp符号（LSE-Sign）丢失，以便通过使用SoftMax格式平衡渐变渐变的渐变来促进长尾数据集上的多标签学习。我们的无检测方法实现了65.6地图在Hoi分类上的HICO分类，优于18.5地图的检测辅助状态（SOTA），在一次拍摄类中，52.7地图，超过了SOTA 27.3地图。与以前的工作不同，我们的分类模型（DEFR）可以直接用于HOI检测，而无需任何额外的训练，通过连接到废弃的对象检测器，其边界框输出被转换为DEFR的二进制掩模。令人惊讶的是，这两个解耦模型的这种简单的连接实现了SOTA性能（32.35张图）。

由于检测数据集的规模小，当前对象探测器的词汇量受到限制。另一方面，图像分类器的原因是大约更大的词汇表，因为他们的数据集更大，更容易收集。我们提出守则，只需在图像分类数据上培训检测器的分类器，从而扩展了探测器的词汇量到数万个概念。与现有工作不同，拒绝不会根据模型预测将图像标签分配给框，使其更容易实现和兼容一系列检测架构和骨架。我们的结果表明，即使没有箱子注释，否则差异也能产生出色的探测器。它优于开放词汇和长尾检测基准的事先工作。拒绝为所有类和8.3地图提供了2.4地图的增益，用于开放词汇LVIS基准测试中的新型类。在标准的LVIS基准测试中，守护者达到41.7地图所有课程和41.7地图以获得罕见课程。我们首次培训一个探测器，其中包含所有二十一千类的ImageNet数据集，并显示它在没有微调的情况下推广到新数据集。代码可在https://github.com/facebookresearch/dorm提供。

在图像中检测人对象相互作用（HOI）是迈向高级视觉理解的重要一步。现有工作通常会阐明改善人类和对象检测或互动识别。但是，由于数据集的局限性，这些方法倾向于在检测到的对象的频繁相互作用上非常适合，但在很大程度上忽略了稀有的对象，这被称为本文中的对象偏置问题。在这项工作中，我们第一次从两个方面揭示了问题：不平衡的交互分布和偏见的模型学习。为了克服对象偏置问题，我们提出了一种新颖的插件插件，以对象的偏差记忆（ODM）方法来重新平衡检测到的对象下的交互分布。拟议的ODM配备了精心设计的读写策略，可以更频繁地对训练进行稀有的互动实例，从而减轻不平衡交互分布引起的对象偏差。我们将此方法应用于三个高级基线，并在HICO-DET和HOI-COCO数据集上进行实验。为了定量研究对象偏置问题，我们主张一项新协议来评估模型性能。正如实验结果所证明的那样，我们的方法对基准的一致和显着改善，尤其是在每个物体下方的罕见相互作用上。此外，在评估常规标准设置时，我们的方法在两个基准测试中实现了新的最新方法。

接地的情况识别（GSR）是不仅对突出的动作（动词）进行分类的任务，还可以预测与给定图像中的语义角色及其位置相关的实体（名词）。灵感来自变压器在视觉任务中的显着成功，我们提出了一种基于变压器编码器 - 解码器架构的GSR模型。我们模型的注意机制通过有效捕获图像的高电平语义特征来实现精确的动词分类，并允许模型灵活地处理实体之间的复杂和图像相关关系，以改进的名词分类和本地化。我们的模型是GSR的第一个变压器架构，并在SWIG基准测试的每一个评估度量中实现了最先进的。我们的代码可在https://github.com/jhcho99/gsrtr中获得。

人类对象相互作用（HOI）检测的任务目标是人类与环境相互作用的细粒度视觉解析，从而实现了广泛的应用。先前的工作证明了有效的体系结构设计和相关线索的集成的好处，以进行更准确的HOI检测。但是，现有方法的设计适当的预训练策略的设计仍未得到充实。为了解决这一差距，我们提出了关系语言图像预训练（RLIP），这是一种利用实体和关系描述的对比预训练的策略。为了有效利用此类预训练，我们做出了三个技术贡献：（1）一种新的并行实体检测和顺序关系推理（Parse）体系结构，可在整体优化的预训练期间使用实体和关系描述； （2）合成数据生成框架，标签序列扩展，扩展了每个Minibatch中可用的语言数据的规模； （3）解释歧义，关系质量标签和关系伪标签的机制，以减轻训练数据中模棱两可/嘈杂样本的影响。通过广泛的实验，我们证明了这些贡献的好处，共同称为rlip-parse，以改善零射击，很少射击和微调的HOI检测性能以及从噪音注释中学习的鲁棒性。代码将在\ url {https://github.com/jacobyuan7/rlip}上找到。

标记数据通常昂贵且耗时，特别是对于诸如对象检测和实例分割之类的任务，这需要对图像的密集标签进行密集的标签。虽然几张拍摄对象检测是关于培训小说中的模型（看不见的）对象类具有很少的数据，但它仍然需要在许多标记的基础（见）类的课程上进行训练。另一方面，自我监督的方法旨在从未标记数据学习的学习表示，该数据转移到诸如物体检测的下游任务。结合几次射击和自我监督的物体检测是一个有前途的研究方向。在本调查中，我们审查并表征了几次射击和自我监督对象检测的最新方法。然后，我们给我们的主要外卖，并讨论未来的研究方向。https://gabrielhuang.github.io/fsod-survey/的项目页面

人类对象相互作用（HOI）检测是高级图像理解的核心任务。最近，由于其出色的性能和有效的结构，检测变压器（DETR）基于HOI的检测器已变得流行。但是，这些方法通常对所有测试图像采用固定的HOI查询，这很容易受到一个特定图像中对象的位置变化的影响。因此，在本文中，我们建议通过挖掘硬阳性查询来增强DETR的鲁棒性，这些查询被迫使用部分视觉提示做出正确的预测。首先，我们根据每个训练图像标记的人类对象对的地面真相（GT）位置明确地组成硬阳性查询。具体而言，我们将每个标记的人类对象对的GT边界框移动，以使移位框仅覆盖GT的一定部分。我们将每个标记的人类对象对的移位框的坐标编码为HOI查询。其次，我们通过在解码器层的交叉注意地图中掩盖了最高分数，从而隐式构建了另一组硬阳性查询。然后，掩盖的注意图仅涵盖HOI预测的部分重要提示。最后，提出了一种替代策略，该策略有效地结合了两种类型的硬性查询。在每次迭代中，都采用了Detr的可学习查询和一种选择的硬阳性查询进行损失计算。实验结果表明，我们提出的方法可以广泛应用于现有的基于DITR的HOI探测器。此外，我们始终在三个基准上实现最先进的性能：HICO-DET，V-COCO和HOI-A。代码可在https://github.com/muchhair/hqm上找到。

Existing object detection methods are bounded in a fixed-set vocabulary by costly labeled data. When dealing with novel categories, the model has to be retrained with more bounding box annotations. Natural language supervision is an attractive alternative for its annotation-free attributes and broader object concepts. However, learning open-vocabulary object detection from language is challenging since image-text pairs do not contain fine-grained object-language alignments. Previous solutions rely on either expensive grounding annotations or distilling classification-oriented vision models. In this paper, we propose a novel open-vocabulary object detection framework directly learning from image-text pair data. We formulate object-language alignment as a set matching problem between a set of image region features and a set of word embeddings. It enables us to train an open-vocabulary object detector on image-text pairs in a much simple and effective way. Extensive experiments on two benchmark datasets, COCO and LVIS, demonstrate our superior performance over the competing approaches on novel categories, e.g. achieving 32.0% mAP on COCO and 21.7% mask mAP on LVIS. Code is available at: https://github.com/clin1223/VLDet.

最近的高性能人对象相互作用（HOI）检测技术受到了基于变压器的对象检测器（即DETR）的高度影响。然而，它们中的大多数直接将参数相互作用查询以一阶段的方式通过香草变压器映射到一组HOI预测中。这会使富裕的相互作用结构富含探索。在这项工作中，我们设计了一种新型的变压器风格的HOI检测器，即相互作用建议（STIP）的结构感知变压器，用于HOI检测。这种设计将HOI集预测的过程分解为两个随后的阶段，即首先执行交互建议的生成，然后通过结构感知的变压器将非参数相互作用建议转换为HOI预测。结构感知的变压器通过对互动提案中的整体语义结构以及每个交互建议中人类/对象的局部空间结构进行整体语义结构来升级香草变压器，从而增强HOI预测。在V-Coco和Hico-Det基准测试上进行的广泛实验已经证明了Stip的有效性，并且在与最先进的HOI探测器进行比较时报告了卓越的结果。源代码可在\ url {https://github.com/zyong812/stip}中获得。

The goal of this paper is to detect objects by exploiting their interrelationships. Rather than relying on predefined and labeled graph structures, we infer a graph prior from object co-occurrence statistics. The key idea of our paper is to model object relations as a function of initial class predictions and co-occurrence priors to generate a graph representation of an image for improved classification and bounding box regression. We additionally learn the object-relation joint distribution via energy based modeling. Sampling from this distribution generates a refined graph representation of the image which in turn produces improved detection performance. Experiments on the Visual Genome and MS-COCO datasets demonstrate our method is detector agnostic, end-to-end trainable, and especially beneficial for rare object classes. What is more, we establish a consistent improvement over object detectors like DETR and Faster-RCNN, as well as state-of-the-art methods modeling object interrelationships.

Modeling the visual changes that an action brings to a scene is critical for video understanding. Currently, CNNs process one local neighbourhood at a time, thus contextual relationships over longer ranges, while still learnable, are indirect. We present TROI, a plug-and-play module for CNNs to reason between mid-level feature representations that are otherwise separated in space and time. The module relates localized visual entities such as hands and interacting objects and transforms their corresponding regions of interest directly in the feature maps of convolutional layers. With TROI, we achieve state-of-the-art action recognition results on the large-scale datasets Something-Something-V2 and EPIC-Kitchens-100.