视频中的人类对象相互作用（HOI）识别对于分析人类活动很重要。在现实世界中，大多数关注视觉特征的工作通常都会受到阻塞。当HOI中有多个人和物体涉及时，这种问题将更加复杂。考虑到诸如人类姿势和物体位置之类的几何特征提供有意义的信息来了解HOI，我们认为将视觉和几何特征的好处结合在HOI识别中，并提出了一个新颖的两级几何形状特征信息信息图形卷积（2G） -GCN）。几何级图模拟了人类和对象的几何特征之间的相互依赖性，而融合级别的图将它们与人类和对象的视觉特征融合在一起。为了证明我们方法在挑战性场景中的新颖性和有效性，我们提出了一个新的多人HOI数据集（Mphoi-72）。关于Mphoi-72（多人HOI），CAD-1220（单人HOI）和双人动作（双手HOI）数据集的广泛实验证明了我们的表现与最先进的表现相比。
translated by 谷歌翻译
检测人对象相互作用对于全面了解视觉场景至关重要。特别是，人与物体之间的空间连接是推理相互作用的重要提示。为此，我们提出了一个用于人类对象相互作用检测的骨骼感知图卷积网络，称为SGCN4HOI。我们的网络利用了人类关键点和对象关键点之间的空间连接，以通过图卷积捕获其细粒的结构相互作用。它将此类几何特征与视觉特征和空间配置特征融合在一起，并从人类对象对获得。此外，为了更好地保留对象结构信息并促进人类对象的相互作用检测，我们提出了一种新型的基于骨架的对象关键点表示。 SGCN4HOI的性能在公共基准V-Coco数据集中进行了评估。实验结果表明，所提出的方法的表现优于最先进的姿势模型，并针对其他模型实现竞争性能。
translated by 谷歌翻译
人类对象相互作用（HOI）识别的关键是推断人与物体之间的关系。最近，该图像的人类对象相互作用（HOI）检测取得了重大进展。但是，仍然有改善视频HOI检测性能的空间。现有的一阶段方法使用精心设计的端到端网络来检测视频段并直接预测交互。它使网络的模型学习和进一步的优化更加复杂。本文介绍了空间解析和动态时间池（SPDTP）网络，该网络将整个视频作为时空图作为人类和对象节点作为输入。与现有方法不同，我们提出的网络通过显式空间解析预测交互式和非相互作用对之间的差异，然后执行交互识别。此外，我们提出了一个可学习且可区分的动态时间模块（DTM），以强调视频的关键帧并抑制冗余帧。此外，实验结果表明，SPDTP可以更多地关注主动的人类对象对和有效的密钥帧。总体而言，我们在CAD-1220数据集和某些ELSE数据集上实现了最先进的性能。
translated by 谷歌翻译
图形卷积网络（GCN）优于基于骨架的人类动作识别领域的先前方法，包括人类的互动识别任务。但是，在处理相互作用序列时，基于GCN的当前方法只需将两人骨架分为两个离散序列，然后以单人动作分类的方式分别执行图形卷积。这种操作忽略了丰富的交互信息，并阻碍了语义模式学习的有效空间关系建模。为了克服上述缺点，我们引入了一个新型的统一的两人图，代表关节之间的空间相互作用相关性。此外，提出了适当设计的图形标记策略，以使我们的GCN模型学习判别时空交互特征。实验显示了使用拟议的两人图形拓扑时的相互作用和单个动作的准确性提高。最后，我们提出了一个两人的图形卷积网络（2P-GCN）。提出的2P-GCN在三个相互作用数据集（SBU，NTU-RGB+D和NTU-RGB+D 120）的四个基准测试基准上获得了最新结果。
translated by 谷歌翻译
人类相互作用的分析是人类运动分析的一个重要研究主题。它已经使用第一人称视觉（FPV）或第三人称视觉（TPV）进行了研究。但是，到目前为止，两种视野的联合学习几乎没有引起关注。原因之一是缺乏涵盖FPV和TPV的合适数据集。此外，FPV或TPV的现有基准数据集具有多个限制，包括样本数量有限，参与者，交互类别和模态。在这项工作中，我们贡献了一个大规模的人类交互数据集，即FT-HID数据集。 FT-HID包含第一人称和第三人称愿景的成对对齐的样本。该数据集是从109个不同受试者中收集的，并具有三种模式的90K样品。该数据集已通过使用几种现有的动作识别方法验证。此外，我们还引入了一种新型的骨骼序列的多视图交互机制，以及针对第一人称和第三人称视野的联合学习多流框架。两种方法都在FT-HID数据集上产生有希望的结果。可以预期，这一视力一致的大规模数据集的引入将促进FPV和TPV的发展，以及他们用于人类行动分析的联合学习技术。该数据集和代码可在\ href {https://github.com/endlichere/ft-hid} {here} {herefichub.com/endlichere.com/endlichere}中获得。
translated by 谷歌翻译
设计可以成功部署在日常生活环境中的活动检测系统需要构成现实情况典型挑战的数据集。在本文中，我们介绍了一个新的未修剪日常生存数据集，该数据集具有几个现实世界中的挑战：Toyota Smarthome Untrimmed（TSU）。 TSU包含以自发方式进行的各种活动。数据集包含密集的注释，包括基本的，复合活动和涉及与对象相互作用的活动。我们提供了对数据集所需的现实世界挑战的分析，突出了检测算法的开放问题。我们表明，当前的最新方法无法在TSU数据集上实现令人满意的性能。因此，我们提出了一种新的基线方法，以应对数据集提供的新挑战。此方法利用一种模态（即视线流）生成注意力权重，以指导另一种模态（即RGB）以更好地检测活动边界。这对于检测以高时间差异为特征的活动特别有益。我们表明，我们建议在TSU和另一个受欢迎的挑战数据集Charades上优于最先进方法的方法。
translated by 谷歌翻译
深度学习技术导致了通用对象检测领域的显着突破，近年来产生了很多场景理解的任务。由于其强大的语义表示和应用于场景理解，场景图一直是研究的焦点。场景图生成（SGG）是指自动将图像映射到语义结构场景图中的任务，这需要正确标记检测到的对象及其关系。虽然这是一项具有挑战性的任务，但社区已经提出了许多SGG方法并取得了良好的效果。在本文中，我们对深度学习技术带来了近期成就的全面调查。我们审查了138个代表作品，涵盖了不同的输入方式，并系统地将现有的基于图像的SGG方法从特征提取和融合的角度进行了综述。我们试图通过全面的方式对现有的视觉关系检测方法进行连接和系统化现有的视觉关系检测方法，概述和解释SGG的机制和策略。最后，我们通过深入讨论当前存在的问题和未来的研究方向来完成这项调查。本调查将帮助读者更好地了解当前的研究状况和想法。
translated by 谷歌翻译
在互动过程中了解人类的意图一直是一个持久的主题，它在人类机器人互动，虚拟现实和监视中都有应用。在这项研究中，我们专注于与大型每日物体的全身相互作用，并旨在预测对人类对象相互作用的顺序观察，以预测对象和人类的未来状态。由于没有这样的数据集专用于与大型每日物体的全身相互作用，因此我们收集了一个大规模的数据集，其中包含数千种用于培训和评估目的的交互。我们还观察到，对象的固有物理属性对于对象运动预测很有用，因此设计一组对象动态描述符以编码此类内部属性。我们将对象动态描述符视为一种新模式，并提出图形神经网络HO-GCN，以将运动数据和动态描述符为预测任务。我们显示了所提出的网络，消耗动态描述符可以实现最先进的预测结果，并帮助网络更好地推广到看不见的对象。我们还证明了预测结果对人类机器人的合作有用。
translated by 谷歌翻译
Modeling the visual changes that an action brings to a scene is critical for video understanding. Currently, CNNs process one local neighbourhood at a time, thus contextual relationships over longer ranges, while still learnable, are indirect. We present TROI, a plug-and-play module for CNNs to reason between mid-level feature representations that are otherwise separated in space and time. The module relates localized visual entities such as hands and interacting objects and transforms their corresponding regions of interest directly in the feature maps of convolutional layers. With TROI, we achieve state-of-the-art action recognition results on the large-scale datasets Something-Something-V2 and EPIC-Kitchens-100.
translated by 谷歌翻译
小鼠的自动社会行为分析已成为行为神经科学中越来越流行的研究领域。最近，已使用姿势信息（即关键点或骨骼的位置）来解释小鼠的社会行为。然而，很少在现有方法中研究了小鼠关键点基础的社会互动信息的有效编码和解码。特别是，由于高度变形的身体形状和模棱两可的运动模式，建模小鼠之间复杂的社交互动是一项挑战。为了处理交互建模问题，我们在这里提出了一个跨骨骼相互作用图聚合网络（CS-IGANET），以学习自由相互作用的小鼠的丰富动力学，其中使用了跨骨骼节点级交互模块（CS-NLI）建模多级相互作用（即内部，间和跨骨骼相互作用）。此外，我们设计了一种新颖的互动感知变压器（IAT），以动态学习社交行为的图形表示，并更新节点级表示，并在我们提出的互动意识到的自我注意力下的机制的指导下。最后，为了增强我们的模型的表示能力，提出了辅助自我监督的学习任务来衡量跨骨骼节点之间的相似性。标准CRMI13-SKERTON和我们的PDMB-Skeleton数据集的实验结果表明，我们所提出的模型的表现优于其他几种最先进的方法。
translated by 谷歌翻译
translated by 谷歌翻译
骨架数据具有低维度。然而，存在使用非常深刻和复杂的前馈神经网络来模拟骨架序列的趋势，而不考虑近年的复杂性。本文提出了一种简单但有效的多尺度语义引导的神经网络（MS-SGN），用于基于骨架的动作识别。我们明确地将关节（关节类型和帧指数）的高级语义引入网络，以增强关节的特征表示能力。此外，提出了一种多尺度策略对时间尺度变化具有鲁棒。此外，我们通过两个模块分层地利用了关节的关系，即，联合级模块，用于建模同一帧中的关节的相关性和帧级模块，用于建模帧的时间依赖性。 MSSGN在NTU60，NTU120和Sysu数据集上实现了比大多数方法更小的模型尺寸。
translated by 谷歌翻译
建模空间关系对于识别人类行为，尤其是当人类与物体相互作用时，而多个物体随着时间的推移会随着时间的推移而出现多个物体。大多数现有的行动识别模型专注于学习场景的整体视觉线索，而是无视内容的内容细粒度，可以通过学习人对象关系和互动来捕获。在本文中，我们通过利用当地和全球背景的互动来学习人对象关系。因此，我们提出了全球局部相互作用蒸馏网（GLIDN），通过空间和时间通过知识蒸馏来学习人和对象相互作用，以进行细粒度的现场理解。 Glidn将人和对象编码为Graph节点，并通过图注意网络了解本地和全球关系。本地上下文图通过在特定时间步骤中捕获它们的共同发生来了解帧级别的人类和对象之间的关系。全局关系图是基于人类和对象交互的视频级构建的，识别它们在视频序列中的长期关系。更重要的是，我们研究了如何将这些图表的知识如何蒸馏到它们的对应部分，以改善人对象相互作用（Hoi）识别。通过在两个数据集上进行全面的实验，我们评估我们的模型，包括Charades和CAD-120数据集。我们已经实现了比基线和对应方法更好的结果。
translated by 谷歌翻译
这项工作的目的是为视障和盲人的触觉设备做出贡献，以便让他们了解周围人的行为并与他们互动。首先，基于来自RGB-D序列的人类行动识别的最先进方法，我们使用Kinect提供的骨架信息，与解开的和统一的多尺度图卷积（MS-G3D）模型识别执行的行动。我们在真实场景中测试了这个模型，发现了一些约束和限制。接下来，我们使用CNN的MS-G3D和深度模态应用骨架模型之间的融合，以绕过讨论的限制。第三，识别的操作是用语义标记的标记，并将被映射到触摸感知的输出设备。
translated by 谷歌翻译
步态情绪识别在智能系统中起着至关重要的作用。大多数现有方法通过随着时间的推移专注于当地行动来识别情绪。但是，他们忽略了时间域中不同情绪的有效距离是不同的，而且步行过程中的当地行动非常相似。因此，情绪应由全球状态而不是间接的本地行动代表。为了解决这些问题，这项工作通过构建动态的时间接受场并设计多尺度信息聚集以识别情绪，从而在这项工作中介绍了新型的多量表自适应图卷积网络（MSA-GCN）。在我们的模型中，自适应选择性时空图卷积旨在动态选择卷积内核，以获得不同情绪的软时空特征。此外，跨尺度映射融合机制（CSFM）旨在构建自适应邻接矩阵，以增强信息相互作用并降低冗余。与以前的最先进方法相比，所提出的方法在两个公共数据集上实现了最佳性能，将地图提高了2 \％。我们还进行了广泛的消融研究，以显示不同组件在我们的方法中的有效性。
translated by 谷歌翻译
估计来自图像的3D人形和姿势的能力在许多环境中都可以是有用的。最近的方法探索了使用图形卷积网络并取得了有希望的结果。 3D形状由网格表示的事实是一个无向图形，使得图形卷积网络自然适合该问题。但是，图形卷积网络具有有限的表示功率。从图中的节点中的信息传递给连接的邻居，并且信息的传播需要连续的图形卷积。为了克服这种限制，我们提出了一种双尺度图形方法。我们使用从密集图中衍生的粗糙图来估计人类的3D姿势，以及密集图来估计3D形状。与密集图相比，粗糙图中的信息可以在更长的距离上传播。此外，有关姿势的信息可以指导恢复本地形状细节，反之亦然。我们认识到，粗糙和密集之间的连接本身是图形，并引入图形融合块以在具有不同尺度之间的图形之间交换信息。我们培训我们的模型端到端，并表明我们可以为几个评估数据集实现最先进的结果。
translated by 谷歌翻译
To obtain a more comprehensive activity understanding for a crowded scene, in this paper, we propose a new problem of panoramic human activity recognition (PAR), which aims to simultaneous achieve the individual action, social group activity, and global activity recognition. This is a challenging yet practical problem in real-world applications. For this problem, we develop a novel hierarchical graph neural network to progressively represent and model the multi-granularity human activities and mutual social relations for a crowd of people. We further build a benchmark to evaluate the proposed method and other existing related methods. Experimental results verify the rationality of the proposed PAR problem, the effectiveness of our method and the usefulness of the benchmark. We will release the source code and benchmark to the public for promoting the study on this problem.
translated by 谷歌翻译
舞蹈挑战现在是Tiktok这样的视频社区中的病毒性。一旦挑战变得流行，就会在几天内上传成千上万的短型视频。因此，来自舞蹈挑战的病毒预测具有很大的商业价值，具有广泛的应用，例如智能推荐和普及促销。本文提出了一种集成骨骼，整体外观，面部和景区提示的新型多模态框架，以综合舞蹈病毒预测。为了模拟身体运动，我们提出了一种层次地改进了时空骨架图的金字塔骨架图卷积网络（PSGCN）。同时，我们介绍了一个关系时间卷积网络（RTCN），以利用非局部时间关系利用外观动态。最终提出了一种细心的融合方法，以自适应地从不同方式汇总预测。为了验证我们的方法，我们介绍了一个大规模的病毒舞蹈视频（VDV）数据集，其中包含超过4,000个病毒舞蹈挑战的舞蹈剪辑。 VDV数据集的广泛实验证明了我们模型的功效。对VDV数据集的广泛实验良好地证明了我们方法的有效性。此外，我们表明，可以从我们的模型中派生类似多维推荐和动作反馈等的短视频应用。
translated by 谷歌翻译
深度学习模型已广泛用于监控视频中的异常检测。典型模型配备了重建普通视频的能力，并评估异常视频的重建错误以指示异常的程度。然而，现有方法遭受了两个缺点。首先，它们只能独立地编码每个身份的运动，而不考虑身份之间的相互作用，这也可以指示异常。其次，他们利用了结构在不同场景下固定的粘合模型，这种配置禁止了对场景的理解。在本文中，我们提出了一个分层时空图卷积神经网络（HSTGCNN）来解决这些问题，HSTGCNN由对应于不同级别的图形表示的多个分支组成。高级图形表示编码人们的轨迹以及多个身份之间的交互，而低级图表表示编码每个人的本地身体姿势。此外，我们建议加权组合在不同场景中更好的多个分支。以这种方式实现了对单级图形表示的改进。实现了对场景的理解并提供异常检测。在低分辨率视频中为在低分辨率视频中编码低分辨率视频中的人员的移动速度和方向编码高级别的图表表示，而在高分辨率视频中将更高的权重分配更高的权重。实验结果表明，建议的HSTGCNN在四个基准数据集（UCSD Spistrian，Shanghaitech，Cuhk Aveance和IITB-Whent）上的当前最先进的模型显着优于最新的最先进模型。
translated by 谷歌翻译
组活动识别（GAR）检测由短视频剪辑中的一组演员执行的活动。任务需要对场景实体的组成理解和它们之间的关系推理。我们通过将视频建模为一系列令牌来致电GAR，该令牌代表视频中的多尺度语义概念。我们提出了Composer，一种基于多尺度变压器的架构，其在每个规模上通过令牌进行关注的推理，并在合成方面学习群组活动。此外，我们只使用缩小场景偏差的关键点模态并提高模型的泛化能力。我们通过群集中间尺度表示来提高作曲家中的多尺度表示，同时在尺度之间保持一致的群集分配。最后，我们使用辅助预测和新型数据增强（例如，演员丢弃）等技术来帮助模型培训。我们展示了挑战排球数据集的模型的实力和可解释性。作曲家通过Keypoint的模型实现新的最先进的94.5％的准确性。作曲家优于依赖RGB信号的最新GAR方法，并对利用多种方式的方法进行比较。我们的代码将可用。
translated by 谷歌翻译