大规模视频操作的可用性了解数据集在解释包含人员的视觉场景的解释方面有助于进步。然而，学会识别人类的行为和他们在包括众多人的不受约束的现实环境中的社交互动，具有来自移动机器人平台捕获的感官数据流的潜在高度不平衡和长尾的分布式动作标签仍然是一个重大挑战，由于缺乏反射性大型数据集而不是。在本文中，我们介绍了JRDB-ACT，作为现有JRDB的延伸，由社交移动机械手捕获，并反映了大学校园环境中的人类日常生活行为的真正分布。 JRDB-ACT浓密地用原子动作注释，包括超过2.8M的动作标签，构成了大规模的时空动作检测数据集。每个人的边界盒用一个基于姿势的动作标签和多个基于〜（可选）的基于交互的动作标签标记。此外，JRDB-ACT提供社会团体注释，有助于根据其在现场的互动来推断他们的社会活动〜（每个社会群体的共同活动）进行分组个人的任务。 JRDB-ACT中的每个注释标签都标有注释器的置信水平，这有助于开发可靠的评估策略。为了演示如何有效地利用这种注释，我们开发了端到端的培训管道，以学习和推断这些任务，即个人行动和社会群体检测。数据和评估代码在https://jrdb.erc.monash.edu/上公开可用。

This paper introduces a video dataset of spatiotemporally localized Atomic Visual Actions (AVA). The AVA dataset densely annotates 80 atomic visual actions in 430 15-minute video clips, where actions are localized in space and time, resulting in 1.58M action labels with multiple labels per person occurring frequently. The key characteristics of our dataset are: (1) the definition of atomic visual actions, rather than composite actions; (2) precise spatio-temporal annotations with possibly multiple annotations for each person; (3) exhaustive annotation of these atomic actions over 15-minute video clips; (4) people temporally linked across consecutive segments; and (5) using movies to gather a varied set of action representations. This departs from existing datasets for spatio-temporal action recognition, which typically provide sparse annotations for composite actions in short video clips.AVA, with its realistic scene and action complexity, exposes the intrinsic difficulty of action recognition. To benchmark this, we present a novel approach for action localization that builds upon the current state-of-the-art methods, and demonstrates better performance on JHMDB and UCF101-24 categories. While setting a new state of the art on existing datasets, the overall results on AVA are low at 15.6% mAP, underscoring the need for developing new approaches for video understanding.

可穿戴摄像机可以从用户的角度获取图像和视频。可以处理这些数据以了解人类的行为。尽管人类的行为分析已在第三人称视野中进行了彻底的研究，但仍在以自我为中心的环境中，尤其是在工业场景中进行了研究。为了鼓励在该领域的研究，我们介绍了Meccano，这是一个以自我为中心视频的多式模式数据集来研究类似工业的环境中的人类行为理解。多模式的特征是凝视信号，深度图和RGB视频同时使用自定义耳机获得。该数据集已在从第一人称视角的人类行为理解的背景下明确标记为基本任务，例如识别和预测人类对象的相互作用。使用MECCANO数据集，我们探索了五个不同的任务，包括1）动作识别，2）活动对象检测和识别，3）以自我为中心的人类对象互动检测，4）动作预期和5）下一步活动对象检测。我们提出了一个旨在研究人类行为的基准，该基准在被考虑的类似工业的情况下，表明所研究的任务和所考虑的方案对于最先进的算法具有挑战性。为了支持该领域的研究，我们在https://iplab.dmi.unict.it/meccano/上公开发布数据集。

To obtain a more comprehensive activity understanding for a crowded scene, in this paper, we propose a new problem of panoramic human activity recognition (PAR), which aims to simultaneous achieve the individual action, social group activity, and global activity recognition. This is a challenging yet practical problem in real-world applications. For this problem, we develop a novel hierarchical graph neural network to progressively represent and model the multi-granularity human activities and mutual social relations for a crowd of people. We further build a benchmark to evaluate the proposed method and other existing related methods. Experimental results verify the rationality of the proposed PAR problem, the effectiveness of our method and the usefulness of the benchmark. We will release the source code and benchmark to the public for promoting the study on this problem.

本文介绍了社会团体活动识别的新框架。作为集团活动识别的一项扩展任务，社会群体活动识别需要识别多个子组活动并识别小组成员。大多数现有方法通过完善区域功能来解决这两个任务，然后将它们汇总到活动特征中。这样的启发式功能设计使特征的有效性易于不完整的人本地化，并无视场景上下文的重要性。此外，区域特征是识别小组成员的次优最佳选择，因为这些特征可能由该地区的人群主导并具有不同的语义。为了克服这些缺点，我们建议利用变形金刚中的注意力模块来产生有效的社会群体特征。我们的方法的设计方式使注意力模块识别，然后汇总与社会团体活动相关的特征，从而为每个社会群体产生一个有效的功能。小组成员信息嵌入到功能中，从而通过馈电网络访问。馈送网络的输出代表组，因此可以通过组和个人之间的简单匈牙利匹配来识别小组成员。实验结果表明，我们的方法优于排球和集体活动数据集的最先进方法。

最近的动作识别模型通过整合对象，其位置和互动来取得令人印象深刻的结果。但是，为每个框架获得密集的结构化注释是乏味且耗时的，使这些方法的训练昂贵且可扩展性较低。同时，如果可以在感兴趣的域内或之外使用一小部分带注释的图像，我们如何将它们用于下游任务的视频？我们提出了一个学习框架的结构（简称SVIT），该结构证明了仅在训练过程中仅可用的少量图像的结构才能改善视频模型。 SVIT依靠两个关键见解。首先，由于图像和视频都包含结构化信息，因此我们用一组\ emph {对象令牌}丰富了一个可以在图像和视频中使用的\ emph {对象令牌}的模型。其次，视频中各个帧的场景表示应与静止图像的场景表示“对齐”。这是通过\ emph {frame-clip一致性}损失来实现的，该损失可确保图像和视频之间结构化信息的流动。我们探索场景结构的特定实例化，即\ emph {手对象图}，由手和对象组成，其位置为节点，以及触点/no-contact的物理关系作为边缘。 SVIT在多个视频理解任务和数据集上显示出强烈的性能改进；它在EGO4D CVPR'22对象状态本地化挑战中赢得了第一名。对于代码和预算模型，请访问\ url {https://eladb3.github.io/svit/}的项目页面

This paper presents a new large scale multi-person tracking dataset -- \texttt{PersonPath22}, which is over an order of magnitude larger than currently available high quality multi-object tracking datasets such as MOT17, HiEve, and MOT20 datasets. The lack of large scale training and test data for this task has limited the community's ability to understand the performance of their tracking systems on a wide range of scenarios and conditions such as variations in person density, actions being performed, weather, and time of day. \texttt{PersonPath22} dataset was specifically sourced to provide a wide variety of these conditions and our annotations include rich meta-data such that the performance of a tracker can be evaluated along these different dimensions. The lack of training data has also limited the ability to perform end-to-end training of tracking systems. As such, the highest performing tracking systems all rely on strong detectors trained on external image datasets. We hope that the release of this dataset will enable new lines of research that take advantage of large scale video based training data.

当前的时空动作管检测方法通常将一个给定键框的边界框提案扩展到附近帧的3D颞轴和池特征。但是，如果演员的位置或形状通过大型的2D运动和可变性，由于大型摄像机运动，大型演员形状变形，快速演员的动作等，这种合并就无法积累有意义的时空特征。在这项工作中，我们旨在研究在大动作下的动作检测中观察到Cuboid感知特征聚集的性能。此外，我们建议通过跟踪参与者并沿各个轨道进行时间特征聚集来增强演员特征表示。我们在各种固定时间尺度的动作管/轨道框之间使用相交的行动者（IOU）定义了演员运动。随着时间的推移，具有较大运动的动作将导致较低的IOU，并且较慢的动作将保持更高的IOU。我们发现，轨道感知功能聚集始终取得了巨大的改善，尤其是对于与Cuboid感知的基线相比，在大型运动下进行的动作。结果，我们还报告了大规模多运动数据集的最先进。

设计可以成功部署在日常生活环境中的活动检测系统需要构成现实情况典型挑战的数据集。在本文中，我们介绍了一个新的未修剪日常生存数据集，该数据集具有几个现实世界中的挑战：Toyota Smarthome Untrimmed（TSU）。 TSU包含以自发方式进行的各种活动。数据集包含密集的注释，包括基本的，复合活动和涉及与对象相互作用的活动。我们提供了对数据集所需的现实世界挑战的分析，突出了检测算法的开放问题。我们表明，当前的最新方法无法在TSU数据集上实现令人满意的性能。因此，我们提出了一种新的基线方法，以应对数据集提供的新挑战。此方法利用一种模态（即视线流）生成注意力权重，以指导另一种模态（即RGB）以更好地检测活动边界。这对于检测以高时间差异为特征的活动特别有益。我们表明，我们建议在TSU和另一个受欢迎的挑战数据集Charades上优于最先进方法的方法。

Covid-19大流行导致了前所未有的全球公共卫生危机。鉴于其固有的性质，建议社会疏散措施作为遏制这种大流行传播的主要策略。因此，识别违反这些协议的情况，对削减疾病的传播并促进可持续生活方式具有影响。本文提出了一种基于电脑视觉的基于计算机视觉的系统，分析了CCTV镜头，为Covid-19传播提供了威胁水平评估。该系统努力捕获跨越多个帧的CCTV镜头的信息内容，以识别各个帧的各种违反社会偏移协议的实例，以及跨空间的识别，以及组行为的识别。该功能主要是通过利用基于时间图的基础结构来实现CCTV镜头的信息和对全能解释图的策略并量化给定场景的威胁级别的策略。在一系列场景中测试并验证各个组件，并针对人类专家意见进行了完整的系统。结果反映了威胁水平对人，其物理接近，相互作用，防护服和群体动力学的依赖。系统性能的准确性为76％，从而在城市进行了可部署的威胁监控系统，以允许社会中的正常和可持续性。

Action recognition models have achieved impressive results by incorporating scene-level annotations, such as objects, their relations, 3D structure, and more. However, obtaining annotations of scene structure for videos requires a significant amount of effort to gather and annotate, making these methods expensive to train. In contrast, synthetic datasets generated by graphics engines provide powerful alternatives for generating scene-level annotations across multiple tasks. In this work, we propose an approach to leverage synthetic scene data for improving video understanding. We present a multi-task prompt learning approach for video transformers, where a shared video transformer backbone is enhanced by a small set of specialized parameters for each task. Specifically, we add a set of ``task prompts'', each corresponding to a different task, and let each prompt predict task-related annotations. This design allows the model to capture information shared among synthetic scene tasks as well as information shared between synthetic scene tasks and a real video downstream task throughout the entire network. We refer to this approach as ``Promptonomy'', since the prompts model a task-related structure. We propose the PromptonomyViT model (PViT), a video transformer that incorporates various types of scene-level information from synthetic data using the ``Promptonomy'' approach. PViT shows strong performance improvements on multiple video understanding tasks and datasets.

每天，人类都会执行许多紧密相关的活动，这些活动涉及微妙的判别动作，例如穿衬衫与穿夹克，或握手与给高五个。道德视觉AI的活动识别可以为我们的日常生活模式提供见解，但是现有的活动识别数据集并不能捕捉到世界各地这些人类活动的巨大多样性。为了解决此限制，我们介绍Collector，这是一个免费的移动应用程序，以录制视频，同时注释同意主题的对象和活动。这个新的数据收集平台用于策划People（CAP）数据集的同意活动，这是全球人的第一个大规模，细粒度的活动数据集。 CAP数据集包含145万个日常生活的512个细粒子活动标签的视频片段，由33个国家 /地区的780名受试者收集。我们为该数据集提供活动分类和活动检测基准，并分析基线结果，以深入了解世界周围人如何进行共同活动。可以在visym.github.io/cap上使用数据集，基准，评估工具，公共排行榜和移动应用程序。

未来的活动预期是在Egocentric视觉中具有挑战性问题。作为标准的未来活动预期范式，递归序列预测遭受错误的累积。为了解决这个问题，我们提出了一个简单有效的自我监管的学习框架，旨在使中间表现为连续调节中间代表性，以产生表示（a）与先前观察到的对比的当前时间戳框架中的新颖信息内容和（b）反映其与先前观察到的帧的相关性。前者通过最小化对比损失来实现，并且后者可以通过动态重量机制来实现在观察到的内容中的信息帧中，具有当前帧的特征与观察到的帧之间的相似性比较。通过多任务学习可以进一步增强学习的最终视频表示，该多任务学习在目标活动标签上执行联合特征学习和自动检测到的动作和对象类令牌。在大多数自我传统视频数据集和两个第三人称视频数据集中，SRL在大多数情况下急剧表现出现有的现有最先进。通过实验性事实，还可以准确识别支持活动语义的行动和对象概念的实验性。

在由车辆安装的仪表板摄像机捕获的视频中检测危险交通代理（仪表板）对于促进在复杂环境中的安全导航至关重要。与事故相关的视频只是驾驶视频大数据的一小部分，并且瞬态前的事故流程具有高度动态和复杂性。此外，风险和非危险交通代理的外观可能相似。这些使驾驶视频中的风险对象本地化特别具有挑战性。为此，本文提出了一个注意力引导的多式功能融合网络（AM-NET），以将仪表板视频的危险交通代理本地化。两个封闭式复发单元（GRU）网络使用对象边界框和从连续视频帧中提取的光流功能来捕获时空提示，以区分危险交通代理。加上GRUS的注意力模块学会了与事故相关的交通代理。融合了两个功能流，AM-NET预测了视频中交通代理的风险评分。在支持这项研究的过程中，本文还引入了一个名为“风险对象本地化”（ROL）的基准数据集。该数据集包含带有事故，对象和场景级属性的空间，时间和分类注释。拟议的AM-NET在ROL数据集上实现了85.73％的AUC的有希望的性能。同时，AM-NET在DOTA数据集上优于视频异常检测的当前最新视频异常检测。一项彻底的消融研究进一步揭示了AM-NET通过评估其不同组成部分的贡献的优点。

Context-aware decision support in the operating room can foster surgical safety and efficiency by leveraging real-time feedback from surgical workflow analysis. Most existing works recognize surgical activities at a coarse-grained level, such as phases, steps or events, leaving out fine-grained interaction details about the surgical activity; yet those are needed for more helpful AI assistance in the operating room. Recognizing surgical actions as triplets of <instrument, verb, target> combination delivers comprehensive details about the activities taking place in surgical videos. This paper presents CholecTriplet2021: an endoscopic vision challenge organized at MICCAI 2021 for the recognition of surgical action triplets in laparoscopic videos. The challenge granted private access to the large-scale CholecT50 dataset, which is annotated with action triplet information. In this paper, we present the challenge setup and assessment of the state-of-the-art deep learning methods proposed by the participants during the challenge. A total of 4 baseline methods from the challenge organizers and 19 new deep learning algorithms by competing teams are presented to recognize surgical action triplets directly from surgical videos, achieving mean average precision (mAP) ranging from 4.2% to 38.1%. This study also analyzes the significance of the results obtained by the presented approaches, performs a thorough methodological comparison between them, in-depth result analysis, and proposes a novel ensemble method for enhanced recognition. Our analysis shows that surgical workflow analysis is not yet solved, and also highlights interesting directions for future research on fine-grained surgical activity recognition which is of utmost importance for the development of AI in surgery.

对行人行为的预测对于完全自主车辆安全有效地在繁忙的城市街道上驾驶至关重要。未来的自治车需要适应混合条件，不仅具有技术还是社会能力。随着更多算法和数据集已经开发出预测行人行为，这些努力缺乏基准标签和估计行人的时间动态意图变化的能力，提供了对交互场景的解释，以及具有社会智能的支持算法。本文提出并分享另一个代表数据集，称为Iupui-CSRC行人位于意图（PSI）数据，除了综合计算机视觉标签之外，具有两种创新标签。第一部小说标签是在自助式车辆前面交叉的行人的动态意图变化，从24个司机中实现了不同的背景。第二个是在估计行人意图并在交互期间预测其行为时对驾驶员推理过程的基于文本的解释。这些创新标签可以启用几个计算机视觉任务，包括行人意图/行为预测，车辆行人互动分割和用于可解释算法的视频到语言映射。发布的数据集可以从根本上从根本上改善行人行为预测模型的发展，并开发社会智能自治车，以有效地与行人进行互动。 DataSet已被不同的任务进行评估，并已释放到公众访问。

第一人称视频在其持续环境的背景下突出了摄影师的活动。但是，当前的视频理解方法是从短视频剪辑中的视觉特征的原因，这些视频片段与基础物理空间分离，只捕获直接看到的东西。我们提出了一种方法，该方法通过学习摄影师（潜在看不见的）本地环境来促进以人为中心的环境的了解来链接以自我为中心的视频和摄像机随着时间的推移而张开。我们使用来自模拟的3D环境中的代理商的视频进行训练，在该环境中，环境完全可以观察到，并在看不见的环境的房屋旅行的真实视频中对其进行测试。我们表明，通过将视频接地在其物理环境中，我们的模型超过了传统的场景分类模型，可以预测摄影师所处的哪个房间（其中帧级信息不足），并且可以利用这种基础来定位与环境相对应的视频瞬间 - 中心查询，优于先验方法。项目页面：http：//vision.cs.utexas.edu/projects/ego-scene-context/

最近，视频变压器在视频理解方面取得了巨大成功，超过了CNN性能;然而，现有的视频变换器模型不会明确地模拟对象，尽管对象对于识别操作至关重要。在这项工作中，我们呈现对象区域视频变换器（Orvit），一个\ emph {对象为中心}方法，它与直接包含对象表示的块扩展视频变压器图层。关键的想法是从早期层开始融合以对象形式的表示，并将它们传播到变压器层中，从而影响整个网络的时空表示。我们的orvit块由两个对象级流组成：外观和动态。在外观流中，“对象区域关注”模块在修补程序上应用自我关注和\ emph {对象区域}。以这种方式，Visual对象区域与统一修补程序令牌交互，并通过上下文化对象信息来丰富它们。我们通过单独的“对象 - 动态模块”进一步模型对象动态，捕获轨迹交互，并显示如何集成两个流。我们在四个任务和五个数据集中评估我们的模型：在某事物中的某些问题和几次射击动作识别，以及在AVA上的某些时空动作检测，以及在某种东西上的标准动作识别 - 某种东西 - 东西，潜水48和EPIC-Kitchen100。我们在考虑的所有任务和数据集中展示了强大的性能改进，展示了将对象表示的模型的值集成到变压器体系结构中。对于代码和预用模型，请访问项目页面\ url {https://roeiherz.github.io/orvit/}

我们努力努力探索的任务很少，名为Insbestantial对象检测（IOD），该任务旨在以以下特征定位对象：（1）具有不明显的边界的无定形形状； （2）与周围环境相似； （3）颜色不存在。因此，在单个静态框架中区分不理性对象是更具挑战性的，而空间和时间信息的协作表示至关重要。因此，我们构建了一个由600个视频（141,017帧）组成的iod-video数据集，其中涵盖了各种距离，尺寸，可见性和不同光谱范围捕获的场景。此外，我们为IOD开发了一个时空聚合框架，其中部署了不同的骨架，并精心设计了时空聚合损失（Staloss），以利用沿时轴的一致性来利用一致性。在IOD-VIDEO数据集上进行的实验表明，时空聚集可以显着改善IOD的性能。我们希望我们的工作能够吸引进一步的研究，以完成这项有价值但充满挑战的任务。该代码将在：\ url {https://github.com/calayzhou/iod-video}上可用。

深度学习视频动作识别（AR）的成功促使研究人员逐步将相关任务从粗糙级别促进到细粒度水平。与仅预测整个视频的动作标签的常规AR相比，已经研究了时间动作检测（TAD），以估算视频中每个动作的开始和结束时间。将TAD进一步迈进，已经研究了时空动作检测（SAD），用于在视频中在空间和时间上定位该动作。但是，执行动作的人通常在SAD中被忽略，同时识别演员也很重要。为此，我们提出了一项新的任务，即演员识别的时空动作检测（ASAD），以弥合SAD和Actor识别之间的差距。在ASAD中，我们不仅检测到实例级别的动作的时空边界，还为每个参与者分配了唯一的ID。要接近ASAD，多个对象跟踪（MOT）和动作分类（AC）是两个基本要素。通过使用MOT，获得了每个参与者的时空边界，并分配给独特的演员身份。通过使用AC，在相应的时空边界内估计了动作类别。由于ASAD是一项新任务，因此它提出了许多新的挑战，这些挑战无法通过现有方法解决：i）没有专门为ASAD创建数据集，ii）ii）ii）没有为ASAD设计评估指标，iii）当前的MOT性能是获得的瓶颈令人满意的ASAD结果。为了解决这些问题，我们为i）注释一个新的ASAD数据集，ii）提出ASAD评估指标，通过考虑多标签动作和参与者的识别，iii）提高数据关联策略以提高MOT性能，从而提高MOT性能更好的ASAD结果。该代码可在\ url {https://github.com/fandulu/asad}中获得。