检测人类相互作用对于人类行为分析至关重要。已经提出了许多方法来处理人对物体交互（HOI）检测，即检测人和物体在一起和分类交互类型的图像中检测。然而，人类对人类的相互作用，例如社会和暴力互动，通常不会在可用的会议训练数据集中考虑。由于我们认为这些类型的互动在分析人类行为时，我们不能从海内忽略和去相关，我们提出了一个新的互动数据集来处理两种类型的人类相互作用：人对人类或对象（H2O）。此外，我们介绍了一个新的动词分类，旨在更接近人体态度与周围的相互作用目标的描述，更加独立于环境。与某些现有数据集不同，我们努力避免在高度取决于目标类型时定义同义词，或者需要高水平的语义解释。由于H2O数据集包括使用此新分类系统注释的V-Coco映像，图像显然包含更多的交互。这可能是HOI检测方法的问题，其复杂性取决于人数，目标或交互的数量。因此，我们提出了空灵博（通过仅寻找一次），一种有效的主题的单射方法，用于检测一个向前通过的所有交互，恒定的推断时间与图像内容无关。此外，此多任务网络同时检测所有人员和对象。我们展示了如何为这些任务共享网络不仅可以节省计算资源，而且还可通过协作提高性能。最后，Diabolo是一种强大的基线，用于H2O交互检测的新挑战，因为它在Hoi DataSet V-Coco上训练和评估时表现出所有最先进的方法。

可穿戴摄像机可以从用户的角度获取图像和视频。可以处理这些数据以了解人类的行为。尽管人类的行为分析已在第三人称视野中进行了彻底的研究，但仍在以自我为中心的环境中，尤其是在工业场景中进行了研究。为了鼓励在该领域的研究，我们介绍了Meccano，这是一个以自我为中心视频的多式模式数据集来研究类似工业的环境中的人类行为理解。多模式的特征是凝视信号，深度图和RGB视频同时使用自定义耳机获得。该数据集已在从第一人称视角的人类行为理解的背景下明确标记为基本任务，例如识别和预测人类对象的相互作用。使用MECCANO数据集，我们探索了五个不同的任务，包括1）动作识别，2）活动对象检测和识别，3）以自我为中心的人类对象互动检测，4）动作预期和5）下一步活动对象检测。我们提出了一个旨在研究人类行为的基准，该基准在被考虑的类似工业的情况下，表明所研究的任务和所考虑的方案对于最先进的算法具有挑战性。为了支持该领域的研究，我们在https://iplab.dmi.unict.it/meccano/上公开发布数据集。

Context-aware decision support in the operating room can foster surgical safety and efficiency by leveraging real-time feedback from surgical workflow analysis. Most existing works recognize surgical activities at a coarse-grained level, such as phases, steps or events, leaving out fine-grained interaction details about the surgical activity; yet those are needed for more helpful AI assistance in the operating room. Recognizing surgical actions as triplets of <instrument, verb, target> combination delivers comprehensive details about the activities taking place in surgical videos. This paper presents CholecTriplet2021: an endoscopic vision challenge organized at MICCAI 2021 for the recognition of surgical action triplets in laparoscopic videos. The challenge granted private access to the large-scale CholecT50 dataset, which is annotated with action triplet information. In this paper, we present the challenge setup and assessment of the state-of-the-art deep learning methods proposed by the participants during the challenge. A total of 4 baseline methods from the challenge organizers and 19 new deep learning algorithms by competing teams are presented to recognize surgical action triplets directly from surgical videos, achieving mean average precision (mAP) ranging from 4.2% to 38.1%. This study also analyzes the significance of the results obtained by the presented approaches, performs a thorough methodological comparison between them, in-depth result analysis, and proposes a novel ensemble method for enhanced recognition. Our analysis shows that surgical workflow analysis is not yet solved, and also highlights interesting directions for future research on fine-grained surgical activity recognition which is of utmost importance for the development of AI in surgery.

对人类对象相互作用的理解在第一人称愿景（FPV）中至关重要。遵循相机佩戴者操纵的对象的视觉跟踪算法可以提供有效的信息，以有效地建模此类相互作用。在过去的几年中，计算机视觉社区已大大提高了各种目标对象和场景的跟踪算法的性能。尽管以前有几次尝试在FPV域中利用跟踪器，但仍缺少对最先进跟踪器的性能的有条理分析。这项研究差距提出了一个问题，即应使用当前的解决方案``现成''还是应进行更多特定领域的研究。本文旨在为此类问题提供答案。我们介绍了FPV中单个对象跟踪的首次系统研究。我们的研究广泛分析了42个算法的性能，包括通用对象跟踪器和基线FPV特定跟踪器。分析是通过关注FPV设置的不同方面，引入新的绩效指标以及与FPV特定任务有关的。这项研究是通过引入Trek-150（由150个密集注释的视频序列组成的新型基准数据集）来实现的。我们的结果表明，FPV中的对象跟踪对当前的视觉跟踪器构成了新的挑战。我们强调了导致这种行为的因素，并指出了可能的研究方向。尽管遇到了困难，但我们证明了跟踪器为需要短期对象跟踪的FPV下游任务带来好处。我们预计，随着新的和FPV特定的方法学会得到研究，通用对象跟踪将在FPV中受欢迎。

人体对象交互（HOI）检测是高级人以人为中心的场景理解的基本任务。我们提出了短语，其中包含了Hoi分支和一个新型短语分支，以利用语言和改进关系表达。具体而言，短语分支由语义嵌入式监督，其基础事实自动从原始的Hoi注释自动转换，而无需额外的人力努力。同时，提出了一种新颖的标签组合方法来处理会安的长尾问题，由语义邻居复合新型短语标签。此外，为了优化短语分支，提出了由蒸馏损失和平衡三态损耗组成的损失。进行了广泛的实验，以证明拟议的短语疗养的有效性，这使得对基线的显着改善，并超越了以前的最先进的方法，以满足的HICO-DET基准。

人类对象相互作用（HOI）检测是一项具有挑战性的任务，需要区分人类对象对之间的相互作用。基于注意力的关系解析是HOI中使用的一种流行而有效的策略。但是，当前方法以“自下而上”的方式执行关系解析。我们认为，在HOI中，独立使用自下而上的解析策略是违反直觉的，可能导致注意力的扩散。因此，我们将新颖的知识引导自上而下的关注引入HOI，并提议将关系解析为“外观和搜索”过程：执行场景 - 文化建模（即外观），然后给定对知识的知识。目标对，搜索视觉线索，以区分两对之间的相互作用。我们通过基于单个编码器模型统一自下而上的注意力来实现该过程。实验结果表明，我们的模型在V-Coco和Hico-Det数据集上实现了竞争性能。

在图像中检测人对象相互作用（HOI）是迈向高级视觉理解的重要一步。现有工作通常会阐明改善人类和对象检测或互动识别。但是，由于数据集的局限性，这些方法倾向于在检测到的对象的频繁相互作用上非常适合，但在很大程度上忽略了稀有的对象，这被称为本文中的对象偏置问题。在这项工作中，我们第一次从两个方面揭示了问题：不平衡的交互分布和偏见的模型学习。为了克服对象偏置问题，我们提出了一种新颖的插件插件，以对象的偏差记忆（ODM）方法来重新平衡检测到的对象下的交互分布。拟议的ODM配备了精心设计的读写策略，可以更频繁地对训练进行稀有的互动实例，从而减轻不平衡交互分布引起的对象偏差。我们将此方法应用于三个高级基线，并在HICO-DET和HOI-COCO数据集上进行实验。为了定量研究对象偏置问题，我们主张一项新协议来评估模型性能。正如实验结果所证明的那样，我们的方法对基准的一致和显着改善，尤其是在每个物体下方的罕见相互作用上。此外，在评估常规标准设置时，我们的方法在两个基准测试中实现了新的最新方法。

本文介绍了Houghnet，这是一种单阶段，无锚，基于投票的，自下而上的对象检测方法。受到广义的霍夫变换的启发，霍尼特通过在该位置投票的总和确定了某个位置的物体的存在。投票是根据对数极极投票领域的近距离和长距离地点收集的。由于这种投票机制，Houghnet能够整合近距离和远程的班级条件证据以进行视觉识别，从而概括和增强当前的对象检测方法，这通常仅依赖于本地证据。在可可数据集中，Houghnet的最佳型号达到$ 46.4 $ $ $ ap $（和$ 65.1 $ $ $ ap_ {50} $），与自下而上的对象检测中的最先进的作品相同，超越了最重要的一项 - 阶段和两阶段方法。我们进一步验证了提案在其他视觉检测任务中的有效性，即视频对象检测，实例分割，3D对象检测和人为姿势估计的关键点检测以及其他“图像”图像生成任务的附加“标签”，其中集成的集成在所有情况下，我们的投票模块始终提高性能。代码可在https://github.com/nerminsamet/houghnet上找到。

人们在我们的日常互动中互相看待彼此或相互凝视是无处不在的，并且发现相互观察对于理解人类的社会场景具有重要意义。当前的相互视线检测方法集中在两阶段方法上，其推理速度受到两阶段管道的限制，第二阶段的性能受第一阶段的影响。在本文中，我们提出了一个新型的一阶段相互视线检测框架，称为相互视线变压器或MGTR，以端到端的方式执行相互视线检测。通过设计相互视线实例三元，MGTR可以检测每个人头边界框，并基于全局图像信息同时推断相互视线的关系，从而简化整个过程。两个相互视线数据集的实验结果表明，我们的方法能够加速相互视线检测过程而不会失去性能。消融研究表明，MGTR的不同组成部分可以捕获图像中不同级别的语义信息。代码可在https://github.com/gmbition/mgtr上找到

大多数最先进的实例级人类解析模型都采用了两阶段的基于锚的探测器，因此无法避免启发式锚盒设计和像素级别缺乏分析。为了解决这两个问题，我们设计了一个实例级人类解析网络，该网络在像素级别上无锚固且可解决。它由两个简单的子网络组成：一个用于边界框预测的无锚检测头和一个用于人体分割的边缘引导解析头。无锚探测器的头继承了像素样的优点，并有效地避免了对象检测应用中证明的超参数的敏感性。通过引入部分感知的边界线索，边缘引导的解析头能够将相邻的人类部分与彼此区分开，最多可在一个人类实例中，甚至重叠的实例。同时，利用了精炼的头部整合盒子级别的分数和部分分析质量，以提高解析结果的质量。在两个多个人类解析数据集（即CIHP和LV-MHP-V2.0）和一个视频实例级人类解析数据集（即VIP）上进行实验，表明我们的方法实现了超过全球级别和实例级别的性能最新的一阶段自上而下的替代方案。

Recent one-stage object detectors follow a per-pixel prediction approach that predicts both the object category scores and boundary positions from every single grid location. However, the most suitable positions for inferring different targets, i.e., the object category and boundaries, are generally different. Predicting all these targets from the same grid location thus may lead to sub-optimal results. In this paper, we analyze the suitable inference positions for object category and boundaries, and propose a prediction-target-decoupled detector named PDNet to establish a more flexible detection paradigm. Our PDNet with the prediction decoupling mechanism encodes different targets separately in different locations. A learnable prediction collection module is devised with two sets of dynamic points, i.e., dynamic boundary points and semantic points, to collect and aggregate the predictions from the favorable regions for localization and classification. We adopt a two-step strategy to learn these dynamic point positions, where the prior positions are estimated for different targets first, and the network further predicts residual offsets to the positions with better perceptions of the object properties. Extensive experiments on the MS COCO benchmark demonstrate the effectiveness and efficiency of our method. With a single ResNeXt-64x4d-101-DCN as the backbone, our detector achieves 50.1 AP with single-scale testing, which outperforms the state-of-the-art methods by an appreciable margin under the same experimental settings.Moreover, our detector is highly efficient as a one-stage framework. Our code is public at https://github.com/yangli18/PDNet.

Visual relationships capture a wide variety of interactions between pairs of objects in images (e.g. "man riding bicycle" and "man pushing bicycle"). Consequently, the set of possible relationships is extremely large and it is difficult to obtain sufficient training examples for all possible relationships. Because of this limitation, previous work on visual relationship detection has concentrated on predicting only a handful of relationships. Though most relationships are infrequent, their objects (e.g. "man" and "bicycle") and predicates (e.g. "riding" and "pushing") independently occur more frequently. We propose a model that uses this insight to train visual models for objects and predicates individually and later combines them together to predict multiple relationships per image. We improve on prior work by leveraging language priors from semantic word embeddings to finetune the likelihood of a predicted relationship. Our model can scale to predict thousands of types of relationships from a few examples. Additionally, we localize the objects in the predicted relationships as bounding boxes in the image. We further demonstrate that understanding relationships can improve content based image retrieval.

对人类对象互动（HOI）的全面理解不仅需要检测一小部分预定义的HOI概念（或类别），还需要其他合理的HOI概念，而当前的方法通常无法探索大部分未知的HOI概念（即，即动词和对象的未知但合理的组合）。在本文中，1）我们介绍了一项新颖而挑战性的任务，以进行全面的HOI理解，称为HOI概念发现； 2）我们为HOI概念发现设计了一个自我复合学习框架（或SCL）。具体来说，我们在培训期间保持了在线更新的概念置信矩阵：1）根据自我训练的概念置信矩阵，我们为所有复合HOI实例分配了伪标记； 2）我们使用所有复合HOI实例的预测更新概念置信矩阵。因此，提出的方法可以对已知和未知的HOI概念进行学习。我们对几个流行的HOI数据集进行了广泛的实验，以证明提出的HOI概念发现方法，对象负担能力识别和HOI检测的有效性。例如，拟议的自我复合学习框架可显着提高1）HOI概念发现的性能，分别在HICO-DET上和V-Coco的3％以上。 2）在MS-Coco和Hico-Det上，对象负担能力识别超过9％的地图； 3）相对较少30％和20％。代码可在https://github.com/zhihou7/hoi-cl上公开获取。

This paper introduces a video dataset of spatiotemporally localized Atomic Visual Actions (AVA). The AVA dataset densely annotates 80 atomic visual actions in 430 15-minute video clips, where actions are localized in space and time, resulting in 1.58M action labels with multiple labels per person occurring frequently. The key characteristics of our dataset are: (1) the definition of atomic visual actions, rather than composite actions; (2) precise spatio-temporal annotations with possibly multiple annotations for each person; (3) exhaustive annotation of these atomic actions over 15-minute video clips; (4) people temporally linked across consecutive segments; and (5) using movies to gather a varied set of action representations. This departs from existing datasets for spatio-temporal action recognition, which typically provide sparse annotations for composite actions in short video clips.AVA, with its realistic scene and action complexity, exposes the intrinsic difficulty of action recognition. To benchmark this, we present a novel approach for action localization that builds upon the current state-of-the-art methods, and demonstrates better performance on JHMDB and UCF101-24 categories. While setting a new state of the art on existing datasets, the overall results on AVA are low at 15.6% mAP, underscoring the need for developing new approaches for video understanding.

人类对象相互作用（HOI）检测的任务目标是人类与环境相互作用的细粒度视觉解析，从而实现了广泛的应用。先前的工作证明了有效的体系结构设计和相关线索的集成的好处，以进行更准确的HOI检测。但是，现有方法的设计适当的预训练策略的设计仍未得到充实。为了解决这一差距，我们提出了关系语言图像预训练（RLIP），这是一种利用实体和关系描述的对比预训练的策略。为了有效利用此类预训练，我们做出了三个技术贡献：（1）一种新的并行实体检测和顺序关系推理（Parse）体系结构，可在整体优化的预训练期间使用实体和关系描述； （2）合成数据生成框架，标签序列扩展，扩展了每个Minibatch中可用的语言数据的规模； （3）解释歧义，关系质量标签和关系伪标签的机制，以减轻训练数据中模棱两可/嘈杂样本的影响。通过广泛的实验，我们证明了这些贡献的好处，共同称为rlip-parse，以改善零射击，很少射击和微调的HOI检测性能以及从噪音注释中学习的鲁棒性。代码将在\ url {https://github.com/jacobyuan7/rlip}上找到。

本文的目标是人对象交互（HO-I）检测。 HO-I检测旨在找到与图像相互作用的交互和分类。研究人员近年来依靠[5]强大的HO-I对齐监督，近年来取得了重大改善。 Ho-i对齐监督对具有互动对象的人类，然后将人对象对与其交互类别对齐。由于收集这种注释是昂贵的，本文提出了检测HO-I，无需对齐监督。我们依靠图像级监控，只枚举图像中的现有交互而不指向它们发生的位置。我们的论文提出了三个贡献：i）我们提出对齐器，基于Visual-Conversion的CNN，可以检测HO-I，只有图像级监控。 ii）对齐器配有HO-I对齐层，可以学习选择适当的目标以允许检测器监控。 iii）我们在Hico-det [5]和V-Coco [13]上评估对齐 - 前者，并显示对准的是现有的图像水平监督Ho-i探测器的大幅度（4.71％从16.14％的地图改进在Hico-DET [5]上的20.85％）。

在诸如人类姿态估计的关键点估计任务中，尽管具有显着缺点，但基于热线的回归是主要的方法：Heatmaps本质上遭受量化误差，并且需要过多的计算来产生和后处理。有动力寻找更有效的解决方案，我们提出了一种新的热映射无关声点估计方法，其中各个关键点和空间相关的关键点（即，姿势）被建模为基于密集的单级锚的检测框架内的对象。因此，我们将我们的方法Kapao（发音为“KA-Pow！”）对于关键点并作为对象构成。我们通过同时检测人姿势对象和关键点对象并融合检测来利用两个对象表示的强度来将Kapao应用于单阶段多人人类姿势估算问题。在实验中，我们观察到Kapao明显比以前的方法更快，更准确，这极大地来自热爱处理后处理。此外，在不使用测试时间增强时，精度速度折衷特别有利。我们的大型型号Kapao-L在Microsoft Coco Keypoints验证集上实现了70.6的AP，而无需测试时增强，其比下一个最佳单级模型更准确，4.0 AP更准确。此外，Kapao在重闭塞的存在下擅长。在繁荣试验套上，Kapao-L为一个单级方法实现新的最先进的准确性，AP为68.9。

遵循机器视觉系统在线自动化质量控制和检查过程的成功之后，这项工作中为两个不同的特定应用提供了一种对象识别解决方案，即，在医院准备在医院进行消毒的手术工具箱中检测质量控制项目，以及检测血管船体中的缺陷，以防止潜在的结构故障。该解决方案有两个阶段。首先，基于单镜头多伯克斯检测器（SSD）的特征金字塔体系结构用于改善检测性能，并采用基于地面真实的统计分析来选择一系列默认框的参数。其次，利用轻量级神经网络使用回归方法来实现定向检测结果。该方法的第一阶段能够检测两种情况下考虑的小目标。在第二阶段，尽管很简单，但在保持较高的运行效率的同时，检测细长目标是有效的。

同一场景中的不同对象彼此之间或多或少相关，但是只有有限数量的这些关系值得注意。受到对象检测效果的DETR的启发，我们将场景图生成视为集合预测问题，并提出了具有编码器decoder架构的端到端场景图生成模型RELTR。关于视觉特征上下文的编码器原因是，解码器使用带有耦合主题和对象查询的不同类型的注意机制渗透了一组固定大小的三胞胎主题prodicate-object。我们设计了一套预测损失，以执行地面真相与预测三胞胎之间的匹配。与大多数现有场景图生成方法相反，Reltr是一种单阶段方法，它仅使用视觉外观直接预测一组关系，而无需结合实体并标记所有可能的谓词。视觉基因组和开放图像V6数据集的广泛实验证明了我们模型的出色性能和快速推断。

当前的时空动作管检测方法通常将一个给定键框的边界框提案扩展到附近帧的3D颞轴和池特征。但是，如果演员的位置或形状通过大型的2D运动和可变性，由于大型摄像机运动，大型演员形状变形，快速演员的动作等，这种合并就无法积累有意义的时空特征。在这项工作中，我们旨在研究在大动作下的动作检测中观察到Cuboid感知特征聚集的性能。此外，我们建议通过跟踪参与者并沿各个轨道进行时间特征聚集来增强演员特征表示。我们在各种固定时间尺度的动作管/轨道框之间使用相交的行动者（IOU）定义了演员运动。随着时间的推移，具有较大运动的动作将导致较低的IOU，并且较慢的动作将保持更高的IOU。我们发现，轨道感知功能聚集始终取得了巨大的改善，尤其是对于与Cuboid感知的基线相比，在大型运动下进行的动作。结果，我们还报告了大规模多运动数据集的最先进。