时间动作本地化在视频分析中起着重要作用，该视频分析旨在将动作定位和分类在未修剪视频中。先前的方法通常可以预测单个时间尺度的特征空间上的动作。但是，低级量表的时间特征缺乏足够的语义来进行动作分类，而高级尺度则无法提供动作边界的丰富细节。为了解决这个问题，我们建议预测多个颞尺度特征空间的动作。具体而言，我们使用不同尺度的精致特征金字塔将语义从高级尺度传递到低级尺度。此外，为了建立整个视频的长时间尺度，我们使用时空变压器编码器来捕获视频帧的远程依赖性。然后，具有远距离依赖性的精制特征被送入分类器以进行粗糙的动作预测。最后，为了进一步提高预测准确性，我们建议使用框架级别的自我注意模块来完善每个动作实例的分类和边界。广泛的实验表明，所提出的方法可以超越Thumos14数据集上的最先进方法，并在ActivityNet1.3数据集上实现可比性的性能。与A2NET（tip20，avg \ {0.3：0.7 \}），sub-action（csvt2022，avg \ {0.1：0.5 \}）和afsd（cvpr21，avg \ {0.3：0.7 \}） ，提出的方法分别可以提高12.6 \％，17.4 \％和2.2 \％

时间动作本地化（TAL）是识别视频中一组动作的任务，该任务涉及将开始和终点定位并对每个操作实例进行分类。现有方法通过使用预定义的锚窗或启发式自下而上的边界匹配策略来解决此任务，这些策略是推理时间的主要瓶颈。此外，主要的挑战是由于缺乏全球上下文信息而无法捕获远程动作。在本文中，我们介绍了一个无锚的框架，称为HTNET，该框架预测了一组<开始时间，结束时间，类，类>三胞胎，这些视频基于变压器体系结构。在预测粗边界之后，我们通过背景特征采样（BFS）模块和分层变压器对其进行完善，这使我们的模型能够汇总全局上下文信息，并有效利用视频中固有的语义关系。我们演示了我们的方法如何在两个TAL基准数据集上定位准确的动作实例并实现最先进的性能：Thumos14和ActivityNet 1.3。

动作检测的任务旨在在每个动作实例中同时推论动作类别和终点的本地化。尽管Vision Transformers推动了视频理解的最新进展，但由于在长时间的视频剪辑中，设计有效的架构以进行动作检测是不平凡的。为此，我们提出了一个有效的层次时空时空金字塔变压器（STPT）进行动作检测，这是基于以下事实：变压器中早期的自我注意力层仍然集中在局部模式上。具体而言，我们建议在早期阶段使用本地窗口注意来编码丰富的局部时空时空表示，同时应用全局注意模块以捕获后期的长期时空依赖性。通过这种方式，我们的STPT可以用冗余的大大减少来编码区域和依赖性，从而在准确性和效率之间进行有希望的权衡。例如，仅使用RGB输入，提议的STPT在Thumos14上获得了53.6％的地图，超过10％的I3D+AFSD RGB模型超过10％，并且对使用其他流量的额外流动功能的表现较少，该流量具有31％的GFLOPS ，它是一个有效，有效的端到端变压器框架，用于操作检测。

时间动作检测旨在定位视频中的行动边界。基于边界匹配的当前方法枚举并计算生成提案的所有可能的边界匹配。然而，这些方法忽略了边界预测中的远程上下文聚集。同时，由于相邻匹配的类似语义，局部语义聚集的密集产生的匹配不能改善语义丰富和歧视。在本文中，我们提出了名为Dual Contence聚合网络（DCAN）的端到端提议生成方法以聚合两个级别的上下文，即边界级别和提议级别，用于产生高质量的动作提案，从而提高性能时间作用检测。具体而言，我们设计了多路径时间上下文聚合（MTCA），以实现边界级别的平滑上下文聚合和对边界的精确评估。对于匹配评估，粗细匹配（CFM）旨在聚合上下文，并将匹配的映射从粗内进行精细化。我们对ActivityNet V1.3和Thumos-14进行了广泛的实验。 DCAN在ActivityNet V1.3上获得35.39％的平均地图，在Thumos-14上达到地图54.14％，展示DCAN可以产生高质量的提案，实现最先进的性能。我们在https://github.com/cg1177/dcan发布代码。

现有的时间动作检测（TAD）方法依赖于每个视频产生大量的建议。这导致由于提案生成和/或主张行动实例评估以及最终的高计算成本而导致复杂的模型设计。在这项工作中，我们首次提出了一个带有全局分割掩码（TAG）的无建议的时间动作检测模型。我们的核心想法是以完整的视频长度共同学习每个操作实例的全局细分面具。标签模型与基于常规建议的方法有显着不同，通过关注全球时间表示学习，直接在没有建议的情况下直接检测本地起点和终点的行动点。此外，通过对TAD进行整体建模，而不是在单个建议级别上进行本地建模，标签需要更简单的模型体系结构，计算成本较低。广泛的实验表明，尽管设计更简单，但标签的表现优于现有的TAD方法，在两个基准上实现了新的最新性能。重要的是，训练的速度更快约20倍，推理效率更高。我们的标签的Pytorch实现可在https://github.com/sauradip/tags上获得。

Temporal action detection (TAD) is extensively studied in the video understanding community by generally following the object detection pipeline in images. However, complex designs are not uncommon in TAD, such as two-stream feature extraction, multi-stage training, complex temporal modeling, and global context fusion. In this paper, we do not aim to introduce any novel technique for TAD. Instead, we study a simple, straightforward, yet must-known baseline given the current status of complex design and low detection efficiency in TAD. In our simple baseline (termed BasicTAD), we decompose the TAD pipeline into several essential components: data sampling, backbone design, neck construction, and detection head. We extensively investigate the existing techniques in each component for this baseline, and more importantly, perform end-to-end training over the entire pipeline thanks to the simplicity of design. As a result, this simple BasicTAD yields an astounding and real-time RGB-Only baseline very close to the state-of-the-art methods with two-stream inputs. In addition, we further improve the BasicTAD by preserving more temporal and spatial information in network representation (termed as PlusTAD). Empirical results demonstrate that our PlusTAD is very efficient and significantly outperforms the previous methods on the datasets of THUMOS14 and FineAction. Meanwhile, we also perform in-depth visualization and error analysis on our proposed method and try to provide more insights on the TAD problem. Our approach can serve as a strong baseline for future TAD research. The code and model will be released at https://github.com/MCG-NJU/BasicTAD.

已经发现，旨在在未修剪视频的开始和终点范围内发现的时间动作实例的时间动作提案生成可以在很大程度上受益于适当的时间和语义上下文的剥削。最新的努力致力于通过自我发项模块来考虑基于时间的环境和基于相似性的语义上下文。但是，他们仍然遭受混乱的背景信息和有限的上下文特征学习的困扰。在本文中，我们提出了一个基于金字塔区域的新型插槽注意（PRSLOT）模块来解决这些问题。我们的PRSLOT模块不使用相似性计算，而是直接以编码器方式来学习本地关系，并基于注意力输入功能（称为\ textit {slot}}的注意力输入功能，生成了局部区域的表示。具体而言，在输入段级级别上，PRSLOT模块将目标段作为\ textIt {query}，其周围区域为\ textit {key}，然后通过聚集每个\ textit {query-key}插槽来生成插槽表示。具有平行金字塔策略的本地摘要上下文。基于PRSLOT模块，我们提出了一种基于金字塔区域的新型插槽注意网络，称为PRSA-NET，以学习具有丰富的时间和语义上下文的统一视觉表示，以获得更好的建议生成。广泛的实验是在两个广泛采用的Thumos14和ActivityNet-1.3基准上进行的。我们的PRSA-NET优于其他最先进的方法。特别是，我们将AR@100从以前的最佳50.67％提高到56.12％，以生成提案，并在0.5 TIOU下将地图从51.9 \％\％提高到58.7 \％\％\％\％\％，以在Thumos14上进行动作检测。 \ textit {代码可在} \ url {https://github.com/handhand123/prsa-net}中获得

时间动作检测（TAD）旨在确定未修剪视频中每个动作实例的语义标签和边界。先前的方法通过复杂的管道来解决此任务。在本文中，我们提出了一个具有简单集的预测管道的端到端时间动作检测变压器（TADTR）。给定一组名为“动作查询”的可学习嵌入，Tadtr可以从每个查询的视频中自适应提取时间上下文，并直接预测动作实例。为了适应TAD的变压器，我们提出了三个改进，以提高其所在地意识。核心是一个时间可变形的注意模块，在视频中有选择地参加一组稀疏的密钥片段。片段的完善机制和动作回归头旨在完善预测实例的边界和信心。 TADTR需要比以前的检测器更低的计算成本，同时保留了出色的性能。作为一个独立的检测器，它在Thumos14（56.7％地图）和HACS段（32.09％地图）上实现了最先进的性能。结合一个额外的动作分类器，它在ActivityNet-1.3上获得了36.75％的地图。我们的代码可在\ url {https://github.com/xlliu7/tadtr}上获得。

基于自我注意力的变压器模型已显示出令人印象深刻的图像分类和对象检测结果，并且最近用于视频理解。受此成功的启发，我们研究了变压器网络在视频中的时间动作本地化的应用。为此，我们提出了ActionFormer，这是一个简单而强大的模型，可在不使用动作建议或依靠预定义的锚点窗口中识别其及时识别其类别并识别其类别。 ActionFormer将多尺度特征表示与局部自我发作相结合，并使用轻加权解码器对每个时刻进行分类并估算相应的动作边界。我们表明，这种精心策划的设计会在先前的工作中进行重大改进。如果没有铃铛和口哨声，ActionFormer在Thumos14上的TIOU = 0.5的地图达到了71.0％的地图，表现优于最佳先前模型的绝对百分比14.1。此外，ActionFormer在ActivityNet 1.3（平均地图36.6％）和Epic-Kitchens 100（+先前工作的平均地图+13.5％）上显示出很强的结果。我们的代码可从http://github.com/happyharrycn/actionformer_release获得。

有效地对视频中的空间信息进行建模对于动作识别至关重要。为了实现这一目标，最先进的方法通常采用卷积操作员和密集的相互作用模块，例如非本地块。但是，这些方法无法准确地符合视频中的各种事件。一方面，采用的卷积是有固定尺度的，因此在各种尺度的事件中挣扎。另一方面，密集的相互作用建模范式仅在动作 - 欧元零件时实现次优性能，给最终预测带来了其他噪音。在本文中，我们提出了一个统一的动作识别框架，以通过引入以下设计来研究视频内容的动态性质。首先，在提取本地提示时，我们会生成动态尺度的时空内核，以适应各种事件。其次，为了将这些线索准确地汇总为全局视频表示形式，我们建议仅通过变压器在一些选定的前景对象之间进行交互，从而产生稀疏的范式。我们将提出的框架称为事件自适应网络（EAN），因为这两个关键设计都适应输入视频内容。为了利用本地细分市场内的短期运动，我们提出了一种新颖有效的潜在运动代码（LMC）模块，进一步改善了框架的性能。在几个大规模视频数据集上进行了广泛的实验，例如，某种东西，动力学和潜水48，验证了我们的模型是否在低拖鞋上实现了最先进或竞争性的表演。代码可在：https：//github.com/tianyuan168326/ean-pytorch中找到。

时间行动提案生成（TAPG）是一个具有挑战性的任务，旨在在具有时间边界的未经监控视频中找到动作实例。为了评估提案的信任，现有的作品通常预测建议与地面真理之间的时间交叉联盟（TIOO）监督的提案的行动得分。在本文中，我们通过利用背景预测得分来限制提案的信心，创新地提出了一般的辅助背景约束理念，以进一步抑制低质量的建议。以这种方式，可以轻松地将背景约束概念用于现有的TAPG方法（例如，BMN，GTAD）。从这个角度来看，我们提出了背景约束网络（BCNet），以进一步利用行动和背景的丰富信息。具体地，我们介绍了一种动作 - 背景交互模块，用于可靠的置信度评估，它通过帧和剪辑级别的注意机制模拟了动作和背景之间的不一致。在两个流行的基准测试中进行了广泛的实验，即ActivityNet-1.3和Thumos14。结果表明，我们的方法优于最先进的方法。配备现有的Action Classifier，我们的方法还可以在时间动作本地化任务上实现显着性能。

To balance the annotation labor and the granularity of supervision, single-frame annotation has been introduced in temporal action localization. It provides a rough temporal location for an action but implicitly overstates the supervision from the annotated-frame during training, leading to the confusion between actions and backgrounds, i.e., action incompleteness and background false positives. To tackle the two challenges, in this work, we present the Snippet Classification model and the Dilation-Erosion module. In the Dilation-Erosion module, we expand the potential action segments with a loose criterion to alleviate the problem of action incompleteness and then remove the background from the potential action segments to alleviate the problem of action incompleteness. Relying on the single-frame annotation and the output of the snippet classification, the Dilation-Erosion module mines pseudo snippet-level ground-truth, hard backgrounds and evident backgrounds, which in turn further trains the Snippet Classification model. It forms a cyclic dependency. Furthermore, we propose a new embedding loss to aggregate the features of action instances with the same label and separate the features of actions from backgrounds. Experiments on THUMOS14 and ActivityNet 1.2 validate the effectiveness of the proposed method. Code has been made publicly available (https://github.com/LingJun123/single-frame-TAL).

动作检测是一个必不可少的和具有挑战性的任务，特别是对于未经监测视频的密集标记数据集。在这些数据集中，时间关系是复杂的，包括综合动作等挑战和共同发生的动作。为了检测这些复杂视频中的动作，有效地捕获视频中的短期和长期时间信息是至关重要的。为此，我们提出了一种用于动作检测的新型Converransformer网络。该网络包括三个主要组件：（1）时间编码器模块广泛探讨多个时间分辨率的全局和局部时间关系。 （2）时间尺度混频器模块有效地熔化多尺度特征以具有统一的特征表示。 （3）分类模块用于学习实例中心相对位置并预测帧级分类分数。多个数据集的大量实验，包括Charades，TSU和Multithumos，确认了我们所提出的方法的有效性。我们的网络在所有三个数据集上占据了最先进的方法。

时间动作本地化旨在预测未修剪长视频中每个动作实例的边界和类别。基于锚或建议的大多数先前方法忽略了整个视频序列中的全局本地上下文相互作用。此外，他们的多阶段设计无法直接生成动作边界和类别。为了解决上述问题，本文提出了一种新颖的端到端模型，称为自适应感知变压器（简称apperformer）。具体而言，Adaperformer探索了双支球多头的自我发项机制。一个分支会照顾全球感知的关注，该注意力可以模拟整个视频序列并汇总全球相关环境。而其他分支集中于局部卷积转移，以通过我们的双向移动操作来汇总框架内和框架间信息。端到端性质在没有额外步骤的情况下产生视频动作的边界和类别。提供了广泛的实验以及消融研究，以揭示我们设计的有效性。我们的方法在Thumos14数据集上实现了最先进的准确性（根据map@0.5、42.6 \％map@0.7和62.7 \％map@avg），并在活动网络上获得竞争性能， -1.3数据集，平均地图为36.1 \％。代码和型号可在https://github.com/soupero/adaperformer上找到。

自动外科阶段识别在机器人辅助手术中起着重要作用。现有方法忽略了一个关键问题，即外科阶段应该通过学习段级语义来分类，而不是仅仅依赖于框架明智的信息。在本文中，我们提出了一种段 - 细分分层一致性网络（SAHC），用于来自视频的外科阶段识别。关键的想法是提取分层高级语义 - 一致的段，并使用它们来优化由暧昧帧引起的错误预测。为实现它，我们设计一个时间分层网络以生成分层高级段。然后，我们引入分层段帧注意力（SFA）模块，以捕获低级帧和高级段之间的关系。通过通过一致性损耗来规则地规范帧及其对应段的预测，网络可以生成语义 - 一致的段，然后纠正由模糊的低级帧引起的错误分类预测。我们在两个公共外科视频数据集上验证SAHC，即M2CAI16挑战数据集和CholeC80数据集。实验结果表明，我们的方法优于以前的最先进的余量，显着达到M2Cai16的4.1％。代码将在验收时在Github发布。

时间动作定位中的大多数现代方法将此问题分为两个部分：（i）短期特征提取和（ii）远程时间边界定位。由于处理长期未修剪的视频引起的GPU内存成本很高，因此许多方法通过冷冻骨干或使用小型空间视频分辨率来牺牲短期功能提取器的代表力。由于最近的视频变压器模型，其中许多具有二次记忆复杂性，这个问题变得更糟。为了解决这些问题，我们提出了TallFormer，这是一种具有长期内存的记忆效率和端到端的可训练时间动作定位变压器。我们的长期记忆机制消除了在每个训练迭代期间处理数百个冗余视频帧的需求，从而大大减少了GPU的记忆消耗和训练时间。这些效率节省使我们（i）可以使用功能强大的视频变压器提取器，而无需冷冻主链或减少空间视频分辨率，而（ii）也保持了远距离的时间边界定位能力。只有RGB框架作为输入，没有外部动作识别分类器，TallFormer的表现优于先前的最先前的边距，在Thumos14上获得了59.1％的平均地图，而ActivityNet-1.3的平均地图为35.6％。该代码可公开：https：//github.com/klauscc/tallformer。

Temporal action proposal generation is an important yet challenging problem, since temporal proposals with rich action content are indispensable for analysing real-world videos with long duration and high proportion irrelevant content. This problem requires methods not only generating proposals with precise temporal boundaries, but also retrieving proposals to cover truth action instances with high recall and high overlap using relatively fewer proposals. To address these difficulties, we introduce an effective proposal generation method, named Boundary-Sensitive Network (BSN), which adopts "local to global" fashion. Locally, BSN first locates temporal boundaries with high probabilities, then directly combines these boundaries as proposals. Globally, with Boundary-Sensitive Proposal feature, BSN retrieves proposals by evaluating the confidence of whether a proposal contains an action within its region. We conduct experiments on two challenging datasets: ActivityNet-1.3 and THUMOS14, where BSN outperforms other state-of-the-art temporal action proposal generation methods with high recall and high temporal precision. Finally, further experiments demonstrate that by combining existing action classifiers, our method significantly improves the state-of-the-art temporal action detection performance.

时间动作定位（TAL）旨在预测未修剪视频（即开始和结束时间）中动作实例的动作类别和时间边界。通常在大多数现有作品中都采用了完全监督的解决方案，并被证明是有效的。这些解决方案中的实际瓶颈之一是所需的大量标记培训数据。为了降低昂贵的人类标签成本，本文着重于很少调查但实用的任务，称为半监督TAL，并提出了一种有效的主动学习方法，名为Al-Stal。我们利用四个步骤来积极选择具有很高信息性的视频样本，并培训本地化模型，名为\ emph {火车，查询，注释，附加}。考虑定位模型的不确定性的两个评分函数配备了ALSTAL，从而促进了视频样本等级和选择。一个人将预测标签分布的熵作为不确定性的度量，称为时间提案熵（TPE）。另一个引入了基于相邻行动建议之间的共同信息的新指标，并评估视频样本的信息性，称为时间上下文不一致（TCI）。为了验证拟议方法的有效性，我们在两个基准数据集Thumos'14和ActivityNet 1.3上进行了广泛的实验。实验结果表明，与完全监督的学习相比，AL-Stal的表现优于现有竞争对手，并实现令人满意的表现。

在线行动检测旨在基于长期的历史观察结果对当前框架进行准确的行动预测。同时，它需要对在线流视频进行实时推断。在本文中，我们主张一个新颖有效的在线行动检测原则。它仅在一个窗口中更新最新，最古老的历史表示，但重复了已经计算的中间图表。基于这一原则，我们引入了一个基于窗口的级联变压器，带有圆形历史队列，在每个窗口上都进行了多阶段的注意力和级联精炼。我们还探讨了在线操作检测与其脱机行动分段作为辅助任务之间的关联。我们发现，这种额外的监督有助于判别历史的聚类，并充当功能增强，以更好地培训分类器和级联改善。我们提出的方法在三个具有挑战性的数据集Thumos'14，TVSeries和HDD上实现了最新的表演。接受后将可用。

在计算机视觉中长期以来一直研究了时间行动定位。现有的最先进的动作定位方法将每个视频划分为多个动作单位（即，在一级方法中的两级方法和段中的提案），然后单独地对每个视频进行操作，而不明确利用他们在学习期间的关系。在本文中，我们声称，动作单位之间的关系在行动定位中发挥着重要作用，并且更强大的动作探测器不仅应捕获每个动作单元的本地内容，还应允许更广泛的视野与相关的上下文它。为此，我们提出了一般图表卷积模块（GCM），可以轻松插入现有的动作本地化方法，包括两阶段和单级范式。具体而言，我们首先构造一个图形，其中每个动作单元被表示为节点，并且两个动作单元之间作为边缘之间的关系。在这里，我们使用两种类型的关系，一个类型的关系，用于捕获不同动作单位之间的时间连接，另一类是用于表征其语义关系的另一个关系。特别是对于两级方法中的时间连接，我们进一步探索了两种不同的边缘，一个连接重叠动作单元和连接周围但脱节的单元的另一个。在我们构建的图表上，我们将图形卷积网络（GCNS）应用于模拟不同动作单位之间的关系，这能够了解更有信息的表示来增强动作本地化。实验结果表明，我们的GCM始终如一地提高了现有行动定位方法的性能，包括两阶段方法（例如，CBR和R-C3D）和一级方法（例如，D-SSAD），验证我们的一般性和有效性GCM。