借助视频级标签，弱监督的时间动作本地化（WTAL）应用逐个分类的本地化范式来检测和分类该动作在未修剪的视频中。由于分类的特征，不可避免地会误导特定的背景片段以提高分类器在WTAL中的可区分性。为了减轻背景的干扰，现有的方法试图通过用伪snippet级注释对背景片段进行建模，从而扩大动作和背景之间的差异，这在很大程度上依赖于人工假设。与以前的作品不同，我们提出了一种对抗性学习策略，以打破采矿伪背景片段的局限性。具体而言，背景分类损失迫使整个视频被背景梯度增强策略视为背景，从而使识别模型混淆。相反，前景（动作）损失指导模型在这种情况下关注动作片段。结果，两个分类损失之间的竞争驱动了模型以提高其行动建模能力。同时，一个新型的时间增强网络旨在促进该模型基于提议的策略来构建亲和力摘要的时间关系，以进一步改善动作定位的性能。最后，在Thumos14和ActivationNet1.2上进行的广泛实验证明了该方法的有效性。

弱监督的动作本地化旨在仅使用视频级别的分类标签在给定的视频中进行本地化和分类。因此，现有的弱监督行动定位方法的关键问题是从弱注释中对精确预测的有限监督。在这项工作中，我们提出了视频级别和摘要级别的举止，即等级的层次策略，即等级监督和等级一致性挖掘，以最大程度地利用给定的注释和预测一致性。为此，提出了一个分层采矿网络（HIM-NET）。具体而言，它在两种谷物中挖掘了分类的层次监督：一个是通过多个实例学习捕获的地面真理类别的视频级别存在；另一个是从互补标签的角度来看，每个负标签类别的摘要级别不存在，这是通过我们提出的互补标签学习优化的。至于层次结构的一致性，HIM-NET探讨了视频级别的共同作用具有相似性和摘要级别的前景背景对立，以进行判别表示学习和一致的前景背景分离。具体而言，预测差异被视为不确定性，可以选择对拟议的前后背景协作学习的高共识。全面的实验结果表明，HIM-NET优于Thumos14和ActivityNet1.3数据集的现有方法，该数据集具有较大的利润率，通过层次挖掘监督和一致性。代码将在GitHub上提供。

弱监督的时间动作本地化（WSTAL）旨在仅使用视频级别标签将动作定位在未修剪的视频中。当前，大多数最先进的WSTAL方法遵循多实施学习（MIL）管道：首先产生摘要级预测，然后汇总到视频级别的预测。但是，我们认为现有的方法忽略了两个重要的缺点：1）使用运动信息不足和2）盛行的跨凝结训练损失的不相容性。在本文中，我们分析了光流功能背后的运动提示是互补的信息。受到这一点的启发，我们建议建立一个与上下文有关的运动，称为运动性。具体而言，将运动图引入基于局部运动载体（例如光流）的模型运动性。此外，为了突出显示更多信息的视频片段，提出了运动引导的损失，以调节运动性得分条件的网络训练。广泛的消融研究证实，运动性有效地模拟了利益的作用，运动引导的损失会导致更准确的结果。此外，我们的运动引导损失是插件损失功能，适用于现有的WSTAL方法。基于标准的MIL管道，我们的方法在不丧失的情况下，我们的方法在三个具有挑战性的基准上实现了新的最新性能，包括Thumos'14，ActivityNet v1.2和v1.3。

弱监督的时间行动本地化旨在从视频级标签学习实例级别动作模式，其中重大挑战是动作情境混淆。为了克服这一挑战，最近的一个工作建立了一个动作单击监督框。它需要类似的注释成本，但与传统的弱势监督方法相比，可以稳步提高本地化性能。在本文中，通过揭示现有方法的性能瓶颈主要来自后台错误，我们发现更强大的动作定位器可以在背景视频帧上的标签上培训，而不是动作帧上的标签。为此，我们将动作单击监控转换为背景单击监控，并开发一种名为Backtal的新方法。具体地，背塔在背景视频帧上实现两倍建模，即位置建模和特征建模。在适当的建模中，我们不仅在带注释的视频帧上进行监督学习，而且还设计得分分离模块，以扩大潜在的动作帧和背景之间的分数差异。在特征建模中，我们提出了一个亲和力模块，以在计算时间卷积时测量相邻帧之间的特定于帧特定的相似性，并在计算时间卷积时动态地参加信息邻居。进行了三个基准测试的广泛实验，展示了建立的背部的高性能和所提出的背景下单击监督的合理性。代码可用于https://github.com/vididle/backtal。

To balance the annotation labor and the granularity of supervision, single-frame annotation has been introduced in temporal action localization. It provides a rough temporal location for an action but implicitly overstates the supervision from the annotated-frame during training, leading to the confusion between actions and backgrounds, i.e., action incompleteness and background false positives. To tackle the two challenges, in this work, we present the Snippet Classification model and the Dilation-Erosion module. In the Dilation-Erosion module, we expand the potential action segments with a loose criterion to alleviate the problem of action incompleteness and then remove the background from the potential action segments to alleviate the problem of action incompleteness. Relying on the single-frame annotation and the output of the snippet classification, the Dilation-Erosion module mines pseudo snippet-level ground-truth, hard backgrounds and evident backgrounds, which in turn further trains the Snippet Classification model. It forms a cyclic dependency. Furthermore, we propose a new embedding loss to aggregate the features of action instances with the same label and separate the features of actions from backgrounds. Experiments on THUMOS14 and ActivityNet 1.2 validate the effectiveness of the proposed method. Code has been made publicly available (https://github.com/LingJun123/single-frame-TAL).

时间动作本地化的主要挑战是在未修剪的视频中从各种共同出现的成分（例如上下文和背景）中获取细微的人类行为。尽管先前的方法通过设计高级动作探测器取得了重大进展，但它们仍然遭受这些共发生的成分，这些成分通常占据视频中实际动作内容。在本文中，我们探讨了视频片段的两个正交但互补的方面，即动作功能和共存功能。尤其是，我们通过在视频片段中解开这两种功能并重新组合它们来生成具有更明显的动作信息以进行准确的动作本地化的新功能表示形式，从而开发了一项新颖的辅助任务。我们称我们的方法重新处理，该方法首先显式将动作内容分解并正规化其共发生的特征，然后合成新的动作主导的视频表示形式。对Thumos14和ActivityNet V1.3的广泛实验结果和消融研究表明，我们的新表示形式与简单的动作检测器相结合可以显着改善动作定位性能。

这项工作旨在使用带有动作查询的编码器框架（类似于DETR）来推进时间动作检测（TAD），该框架在对象检测中表现出了巨大的成功。但是，如果直接应用于TAD，该框架遇到了几个问题：解码器中争论之间关系的探索不足，由于培训样本数量有限，分类培训不足以及推断时不可靠的分类得分。为此，我们首先提出了解码器中的关系注意机制，该机制根据其关系来指导查询之间的注意力。此外，我们提出了两项​​损失，以促进和稳定行动分类的培训。最后，我们建议在推理时预测每个动作查询的本地化质量，以区分高质量的查询。所提出的命名React的方法在Thumos14上实现了最新性能，其计算成本比以前的方法低得多。此外，还进行了广泛的消融研究，以验证每个提出的组件的有效性。该代码可在https://github.com/sssste/reaeact上获得。

Weakly-supervised temporal action localization (WTAL) learns to detect and classify action instances with only category labels. Most methods widely adopt the off-the-shelf Classification-Based Pre-training (CBP) to generate video features for action localization. However, the different optimization objectives between classification and localization, make temporally localized results suffer from the serious incomplete issue. To tackle this issue without additional annotations, this paper considers to distill free action knowledge from Vision-Language Pre-training (VLP), since we surprisingly observe that the localization results of vanilla VLP have an over-complete issue, which is just complementary to the CBP results. To fuse such complementarity, we propose a novel distillation-collaboration framework with two branches acting as CBP and VLP respectively. The framework is optimized through a dual-branch alternate training strategy. Specifically, during the B step, we distill the confident background pseudo-labels from the CBP branch; while during the F step, the confident foreground pseudo-labels are distilled from the VLP branch. And as a result, the dual-branch complementarity is effectively fused to promote a strong alliance. Extensive experiments and ablation studies on THUMOS14 and ActivityNet1.2 reveal that our method significantly outperforms state-of-the-art methods.

时间动作定位（TAL）旨在预测未修剪视频（即开始和结束时间）中动作实例的动作类别和时间边界。通常在大多数现有作品中都采用了完全监督的解决方案，并被证明是有效的。这些解决方案中的实际瓶颈之一是所需的大量标记培训数据。为了降低昂贵的人类标签成本，本文着重于很少调查但实用的任务，称为半监督TAL，并提出了一种有效的主动学习方法，名为Al-Stal。我们利用四个步骤来积极选择具有很高信息性的视频样本，并培训本地化模型，名为\ emph {火车，查询，注释，附加}。考虑定位模型的不确定性的两个评分函数配备了ALSTAL，从而促进了视频样本等级和选择。一个人将预测标签分布的熵作为不确定性的度量，称为时间提案熵（TPE）。另一个引入了基于相邻行动建议之间的共同信息的新指标，并评估视频样本的信息性，称为时间上下文不一致（TCI）。为了验证拟议方法的有效性，我们在两个基准数据集Thumos'14和ActivityNet 1.3上进行了广泛的实验。实验结果表明，与完全监督的学习相比，AL-Stal的表现优于现有竞争对手，并实现令人满意的表现。

未经监控视频中的弱监督时间行动本地化（WTAL）已成为实际但具有挑战性的任务，因为只有视频级标签。现有方法通常利用现成的分段级别特征，这些特征患有空间不完整性和时间不一致，从而限制了它们的性能。在本文中，我们通过使用简单但有效的图表卷积网络增强段级表示，即动作补充图网络（ACGNET）来从新的角度来解决这个问题。它促进了当前的视频段来从其他潜在传达互补线索的其他人感知空间时间依赖性，隐含地减轻由上述两个问题引起的负面影响。通过这种方式，分段级别特征是对空间时间变化的更具判别和鲁棒性的，有助于较高的定位精度。更重要的是，所提出的ACGNET作为通用模块，可以灵活插入不同的WTAL框架，同时保持端到端的培训方式。在Thumos'14和ActivityNET1.2基准上进行了广泛的实验，其中最先进的结果清楚地证明了所提出的方法的优越性。

在计算机视觉中长期以来一直研究了时间行动定位。现有的最先进的动作定位方法将每个视频划分为多个动作单位（即，在一级方法中的两级方法和段中的提案），然后单独地对每个视频进行操作，而不明确利用他们在学习期间的关系。在本文中，我们声称，动作单位之间的关系在行动定位中发挥着重要作用，并且更强大的动作探测器不仅应捕获每个动作单元的本地内容，还应允许更广泛的视野与相关的上下文它。为此，我们提出了一般图表卷积模块（GCM），可以轻松插入现有的动作本地化方法，包括两阶段和单级范式。具体而言，我们首先构造一个图形，其中每个动作单元被表示为节点，并且两个动作单元之间作为边缘之间的关系。在这里，我们使用两种类型的关系，一个类型的关系，用于捕获不同动作单位之间的时间连接，另一类是用于表征其语义关系的另一个关系。特别是对于两级方法中的时间连接，我们进一步探索了两种不同的边缘，一个连接重叠动作单元和连接周围但脱节的单元的另一个。在我们构建的图表上，我们将图形卷积网络（GCNS）应用于模拟不同动作单位之间的关系，这能够了解更有信息的表示来增强动作本地化。实验结果表明，我们的GCM始终如一地提高了现有行动定位方法的性能，包括两阶段方法（例如，CBR和R-C3D）和一级方法（例如，D-SSAD），验证我们的一般性和有效性GCM。

时间动作本地化在视频分析中起着重要作用，该视频分析旨在将动作定位和分类在未修剪视频中。先前的方法通常可以预测单个时间尺度的特征空间上的动作。但是，低级量表的时间特征缺乏足够的语义来进行动作分类，而高级尺度则无法提供动作边界的丰富细节。为了解决这个问题，我们建议预测多个颞尺度特征空间的动作。具体而言，我们使用不同尺度的精致特征金字塔将语义从高级尺度传递到低级尺度。此外，为了建立整个视频的长时间尺度，我们使用时空变压器编码器来捕获视频帧的远程依赖性。然后，具有远距离依赖性的精制特征被送入分类器以进行粗糙的动作预测。最后，为了进一步提高预测准确性，我们建议使用框架级别的自我注意模块来完善每个动作实例的分类和边界。广泛的实验表明，所提出的方法可以超越Thumos14数据集上的最先进方法，并在ActivityNet1.3数据集上实现可比性的性能。与A2NET（tip20，avg \ {0.3：0.7 \}），sub-action（csvt2022，avg \ {0.1：0.5 \}）和afsd（cvpr21，avg \ {0.3：0.7 \}） ，提出的方法分别可以提高12.6 \％，17.4 \％和2.2 \％

时间行动提案生成（TAPG）是一个具有挑战性的任务，旨在在具有时间边界的未经监控视频中找到动作实例。为了评估提案的信任，现有的作品通常预测建议与地面真理之间的时间交叉联盟（TIOO）监督的提案的行动得分。在本文中，我们通过利用背景预测得分来限制提案的信心，创新地提出了一般的辅助背景约束理念，以进一步抑制低质量的建议。以这种方式，可以轻松地将背景约束概念用于现有的TAPG方法（例如，BMN，GTAD）。从这个角度来看，我们提出了背景约束网络（BCNet），以进一步利用行动和背景的丰富信息。具体地，我们介绍了一种动作 - 背景交互模块，用于可靠的置信度评估，它通过帧和剪辑级别的注意机制模拟了动作和背景之间的不一致。在两个流行的基准测试中进行了广泛的实验，即ActivityNet-1.3和Thumos14。结果表明，我们的方法优于最先进的方法。配备现有的Action Classifier，我们的方法还可以在时间动作本地化任务上实现显着性能。

基于文本的视频细分旨在通过用文本查询指定演员及其表演动作来细分视频序列中的演员。由于\ emph {emph {语义不对称}的问题，以前的方法无法根据演员及其动作以细粒度的方式将视频内容与文本查询对齐。 \ emph {语义不对称}意味着在多模式融合过程中包含不同量的语义信息。为了减轻这个问题，我们提出了一个新颖的演员和动作模块化网络，该网络将演员及其动作分别定位在两个单独的模块中。具体来说，我们首先从视频和文本查询中学习与参与者相关的内容，然后以对称方式匹配它们以定位目标管。目标管包含所需的参与者和动作，然后将其送入完全卷积的网络，以预测演员的分割掩模。我们的方法还建立了对象的关联，使其与所提出的时间建议聚合机制交叉多个框架。这使我们的方法能够有效地细分视频并保持预测的时间一致性。整个模型允许联合学习参与者的匹配和细分，并在A2D句子和J-HMDB句子数据集上实现单帧细分和完整视频细分的最新性能。

已经发现，旨在在未修剪视频的开始和终点范围内发现的时间动作实例的时间动作提案生成可以在很大程度上受益于适当的时间和语义上下文的剥削。最新的努力致力于通过自我发项模块来考虑基于时间的环境和基于相似性的语义上下文。但是，他们仍然遭受混乱的背景信息和有限的上下文特征学习的困扰。在本文中，我们提出了一个基于金字塔区域的新型插槽注意（PRSLOT）模块来解决这些问题。我们的PRSLOT模块不使用相似性计算，而是直接以编码器方式来学习本地关系，并基于注意力输入功能（称为\ textit {slot}}的注意力输入功能，生成了局部区域的表示。具体而言，在输入段级级别上，PRSLOT模块将目标段作为\ textIt {query}，其周围区域为\ textit {key}，然后通过聚集每个\ textit {query-key}插槽来生成插槽表示。具有平行金字塔策略的本地摘要上下文。基于PRSLOT模块，我们提出了一种基于金字塔区域的新型插槽注意网络，称为PRSA-NET，以学习具有丰富的时间和语义上下文的统一视觉表示，以获得更好的建议生成。广泛的实验是在两个广泛采用的Thumos14和ActivityNet-1.3基准上进行的。我们的PRSA-NET优于其他最先进的方法。特别是，我们将AR@100从以前的最佳50.67％提高到56.12％，以生成提案，并在0.5 TIOU下将地图从51.9 \％\％提高到58.7 \％\％\％\％\％，以在Thumos14上进行动作检测。 \ textit {代码可在} \ url {https://github.com/handhand123/prsa-net}中获得

时间动作检测旨在定位视频中的行动边界。基于边界匹配的当前方法枚举并计算生成提案的所有可能的边界匹配。然而，这些方法忽略了边界预测中的远程上下文聚集。同时，由于相邻匹配的类似语义，局部语义聚集的密集产生的匹配不能改善语义丰富和歧视。在本文中，我们提出了名为Dual Contence聚合网络（DCAN）的端到端提议生成方法以聚合两个级别的上下文，即边界级别和提议级别，用于产生高质量的动作提案，从而提高性能时间作用检测。具体而言，我们设计了多路径时间上下文聚合（MTCA），以实现边界级别的平滑上下文聚合和对边界的精确评估。对于匹配评估，粗细匹配（CFM）旨在聚合上下文，并将匹配的映射从粗内进行精细化。我们对ActivityNet V1.3和Thumos-14进行了广泛的实验。 DCAN在ActivityNet V1.3上获得35.39％的平均地图，在Thumos-14上达到地图54.14％，展示DCAN可以产生高质量的提案，实现最先进的性能。我们在https://github.com/cg1177/dcan发布代码。

现有的突出实例检测（SID）方法通常从像素级注释数据集中学习。在本文中，我们向SID问题提出了第一个弱监督的方法。虽然在一般显着性检测中考虑了弱监管，但它主要基于使用类标签进行对象本地化。然而，仅使用类标签来学习实例知识的显着性信息是不普遍的，因为标签可能不容易地分离具有高语义亲和力的显着实例。由于子化信息提供了对突出项的数量的即时判断，因此自然地与检测突出实例相关，并且可以帮助分离相同实例的不同部分的同一类别的单独实例。灵感来自这一观察，我们建议使用课程和镇展标签作为SID问题的弱监督。我们提出了一种具有三个分支的新型弱监管网络：显着性检测分支利用类一致性信息来定位候选物体;边界检测分支利用类差异信息来解除对象边界;和Firedroid检测分支，使用子化信息来检测SALICE实例质心。然后融合该互补信息以产生突出的实例图。为方便学习过程，我们进一步提出了一种渐进的培训方案，以减少标签噪声和模型中学到的相应噪声，通过往复式突出实例预测和模型刷新模型。我们广泛的评估表明，该方法对精心设计的基线方法进行了有利地竞争，这些方法适应了相关任务。

现有的时间动作检测（TAD）方法依赖于每个视频产生大量的建议。这导致由于提案生成和/或主张行动实例评估以及最终的高计算成本而导致复杂的模型设计。在这项工作中，我们首次提出了一个带有全局分割掩码（TAG）的无建议的时间动作检测模型。我们的核心想法是以完整的视频长度共同学习每个操作实例的全局细分面具。标签模型与基于常规建议的方法有显着不同，通过关注全球时间表示学习，直接在没有建议的情况下直接检测本地起点和终点的行动点。此外，通过对TAD进行整体建模，而不是在单个建议级别上进行本地建模，标签需要更简单的模型体系结构，计算成本较低。广泛的实验表明，尽管设计更简单，但标签的表现优于现有的TAD方法，在两个基准上实现了新的最新性能。重要的是，训练的速度更快约20倍，推理效率更高。我们的标签的Pytorch实现可在https://github.com/sauradip/tags上获得。

动作理解已经演变成精细粒度的时代，因为现实生活中的大多数人类行为只有很小的差异。为了以标签有效的方式准确检测这些细粒度的动作，我们首次解决了视频中弱监督的细粒度临时动作检测问题。如果没有仔细的设计来捕获细粒度的动作之间的细微差异，先前的一般动作检测模型在细粒度的环境中不能很好地表现。我们建议将动作建模为可重复使用的原子动作的组合，这些动作是通过自我监督聚类自动从数据中自动发现的，以捕获细颗粒动作的共同点和个性。以视觉概念为代表的学识渊博的原子动作进一步映射到利用语义标签层次结构的细细作用标签。我们的方法构建了四个级别的视觉表示层次结构：剪辑级别，原子动作级别，精细动作类别和粗糙的动作类别水平，并在每个级别进行监督。对两个大规模细颗粒视频数据集（Fineaction和FineGym）进行了广泛的实验，显示了我们提出的弱监督模型的好处，以实现细粒度的动作检测，并实现了最先进的结果。

预期未来的事件是智能系统和体现AI的重要功能。但是，与传统的识别任务相比，未来和推理能力要求的不确定性使预期任务非常具有挑战性，并且远远超出了解决。在此文件中，以前的方法通常更关心模型架构设计，或者很少关注如何通过适当的学习政策培训预期模型。为此，在这项工作中，我们提出了一种称为动态上下文删除（DCR）的新型培训方案，该方案动态地安排了学习过程中观察到的未来的可见性。它遵循类似人类的课程学习过程，即逐渐消除事件上下文以增加预期难度，直到满足最终预期目标。我们的学习方案是插件，易于整合包括变压器和LSTM在内的任何推理模型，具有有效性和效率的优势。在广泛的实验中，提出的方法在四个广泛使用的基准上实现了最先进的方法。我们的代码和模型将在https://github.com/allenxuuu/dcr上公开发布。