Temporally locating and classifying action segments in long untrimmed videos is of particular interest to many applications like surveillance and robotics. While traditional approaches follow a two-step pipeline, by generating framewise probabilities and then feeding them to high-level temporal models, recent approaches use temporal convolutions to directly classify the video frames. In this paper, we introduce a multi-stage architecture for the temporal action segmentation task. Each stage features a set of dilated temporal convolutions to generate an initial prediction that is refined by the next one. This architecture is trained using a combination of a classification loss and a proposed smoothing loss that penalizes over-segmentation errors. Extensive evaluation shows the effectiveness of the proposed model in capturing long-range dependencies and recognizing action segments. Our model achieves state-of-the-art results on three challenging datasets: 50Salads, Georgia Tech Egocentric Activities (GTEA), and the Breakfast dataset.

The ability to identify and temporally segment finegrained human actions throughout a video is crucial for robotics, surveillance, education, and beyond. Typical approaches decouple this problem by first extracting local spatiotemporal features from video frames and then feeding them into a temporal classifier that captures high-level temporal patterns. We introduce a new class of temporal models, which we call Temporal Convolutional Networks (TCNs), that use a hierarchy of temporal convolutions to perform fine-grained action segmentation or detection. Our Encoder-Decoder TCN uses pooling and upsampling to efficiently capture long-range temporal patterns whereas our Dilated TCN uses dilated convolutions. We show that TCNs are capable of capturing action compositions, segment durations, and long-range dependencies, and are over a magnitude faster to train than competing LSTM-based Recurrent Neural Networks. We apply these models to three challenging fine-grained datasets and show large improvements over the state of the art.

本文在完全和时间戳监督的设置中介绍了通过序列（SEQ2SEQ）翻译序列（SEQ2SEQ）翻译的统一框架。与当前的最新帧级预测方法相反，我们将动作分割视为SEQ2SEQ翻译任务，即将视频帧映射到一系列动作段。我们提出的方法涉及在标准变压器SEQ2SEQ转换模型上进行一系列修改和辅助损失函数，以应对与短输出序列相对的长输入序列，相对较少的视频。我们通过框架损失为编码器合并了一个辅助监督信号，并在隐式持续时间预测中提出了单独的对齐解码器。最后，我们通过提出的约束K-Medoids算法将框架扩展到时间戳监督设置，以生成伪分段。我们提出的框架在完全和时间戳监督的设置上始终如一地表现，在几个数据集上表现优于或竞争的最先进。

Recent temporal action segmentation approaches need frame annotations during training to be effective. These annotations are very expensive and time-consuming to obtain. This limits their performances when only limited annotated data is available. In contrast, we can easily collect a large corpus of in-domain unannotated videos by scavenging through the internet. Thus, this paper proposes an approach for the temporal action segmentation task that can simultaneously leverage knowledge from annotated and unannotated video sequences. Our approach uses multi-stream distillation that repeatedly refines and finally combines their frame predictions. Our model also predicts the action order, which is later used as a temporal constraint while estimating frames labels to counter the lack of supervision for unannotated videos. In the end, our evaluation of the proposed approach on two different datasets demonstrates its capability to achieve comparable performance to the full supervision despite limited annotation.

Temporal action segmentation tags action labels for every frame in an input untrimmed video containing multiple actions in a sequence. For the task of temporal action segmentation, we propose an encoder-decoder-style architecture named C2F-TCN featuring a "coarse-to-fine" ensemble of decoder outputs. The C2F-TCN framework is enhanced with a novel model agnostic temporal feature augmentation strategy formed by the computationally inexpensive strategy of the stochastic max-pooling of segments. It produces more accurate and well-calibrated supervised results on three benchmark action segmentation datasets. We show that the architecture is flexible for both supervised and representation learning. In line with this, we present a novel unsupervised way to learn frame-wise representation from C2F-TCN. Our unsupervised learning approach hinges on the clustering capabilities of the input features and the formation of multi-resolution features from the decoder's implicit structure. Further, we provide the first semi-supervised temporal action segmentation results by merging representation learning with conventional supervised learning. Our semi-supervised learning scheme, called ``Iterative-Contrastive-Classify (ICC)'', progressively improves in performance with more labeled data. The ICC semi-supervised learning in C2F-TCN, with 40% labeled videos, performs similar to fully supervised counterparts.

手卫生是世界卫生组织（WHO）提出的标准六步洗手行动。但是，没有很好的方法来监督医务人员进行手卫生，这带来了疾病传播的潜在风险。在这项工作中，我们提出了一项新的计算机视觉任务，称为手动卫生评估，以为医务人员提供手动卫生的明智监督。现有的行动评估工作通常在整个视频上做出总体质量预测。但是，手动卫生作用的内部结构在手工卫生评估中很重要。因此，我们提出了一个新颖的细粒学习框架，以联合方式进行步骤分割和关键动作得分手，以进行准确的手部卫生评估。现有的时间分割方法通常采用多阶段卷积网络来改善分割的鲁棒性，但由于缺乏远距离依赖性，因此很容易导致过度分割。为了解决此问题，我们设计了一个多阶段卷积转换器网络，以进行步骤细分。基于这样的观察，每个手洗步骤都涉及确定手洗质量的几个关键动作，我们设计了一组关键的动作得分手，以评估每个步骤中关键动作的质量。此外，在手工卫生评估中缺乏统一的数据集。因此，在医务人员的监督下，我们贡献了一个视频数据集，其中包含300个带有细粒注释的视频序列。数据集上的广泛实验表明，我们的方法很好地评估了手动卫生视频并取得了出色的性能。

时间动作分割（TAS）旨在在长期未经修剪的动作序列中对作用进行分类和定位。随着深度学习的成功，出现了许多深入的行动分割模型。但是，很少有TAS仍然是一个具有挑战性的问题。这项研究提出了一个基于少数骨架的TA的有效框架，包括数据增强方法和改进的模型。此处介绍了基于运动插值的数据增强方法，以解决数据不足的问题，并可以通过合成动作序列大大增加样品数量。此外，我们将连接式时间分类（CTC）层与设计用于基于骨架的TA的网络以获得优化的模型。利用CTC可以增强预测和地面真理之间的时间一致性，并进一步改善细分段的分割结果指标。对公共和自我结构的数据集进行了广泛的实验，包括两个小规模数据集和一个大规模数据集，显示了两种建议方法在改善基于少数骨架的TAS任务的性能方面的有效性。

视频中的时间动作细分最近引起了很多关注。时间戳监督是完成此任务的一种经济高效的方式。为了获得更多信息以优化模型，现有方法生成的伪框架根据分割模型和时间戳注释的输出进行了迭代标签。但是，这种做法可能在训练过程中引入噪声和振荡，并导致性能变性。为了解决这个问题，我们通过引入与分割模型平行的教师模型来帮助稳定模型优化的过程，为时间戳监督的暂时行动细分提出了一个新的框架。教师模型可以看作是分割模型的合奏，有助于抑制噪声并提高伪标签的稳定性。我们进一步引入了一个分段平滑的损失，该损失更加集中和凝聚力，以实现动作实例中预测概率的平稳过渡。三个数据集的实验表明，我们的方法的表现优于最新方法，并且以较低的注释成本与完全监督的方法相当地执行。

模型的时间/空间接受场在顺序/空间任务中起重要作用。大型接受场有助于长期关系，而小型接受场有助于捕获当地的细节。现有方法构建具有手工设计的接收场的模型。我们可以有效地搜索接收场合组合以取代手工设计的模式吗？为了回答这个问题，我们建议通过全球到本地搜索方案找到更好的接受现场组合。我们的搜索方案利用了全局搜索以找到粗糙的组合和本地搜索，以进一步获得精致的接收场组合。全球搜索发现除了人类设计的模式以外的其他可能的粗糙组合。除全球搜索外，我们提出了一种期望引导的迭代局部搜索方案，以有效地完善组合。我们的RF-NEXT模型，将接受现场搜索插入各种模型，提高许多任务的性能，例如时间动作分割，对象检测，实例分割和语音综合。源代码可在http://mmcheng.net/rfnext上公开获得。

我们介绍了一种新颖的方法，用于使用时间戳监督进行时间戳分割。我们的主要贡献是图形卷积网络，该网络以端到端方式学习，以利用相邻帧之间的帧功能和连接，以从稀疏的时间戳标签中生成密集的框架标签。然后可以使用生成的密集框架标签来训练分割模型。此外，我们为分割模型和图形卷积模型进行交替学习的框架，该模型首先初始化，然后迭代地完善学习模型。在四个公共数据集上进行了详细的实验，包括50种沙拉，GTEA，早餐和桌面组件，表明我们的方法优于多层感知器基线，同时在时间活动中表现出色或更好地表现出色或更好在时间戳监督下。

最近，出于手术目的，基于视频的应用程序的发展不断增长。这些应用程序的一部分可以在程序结束后离线工作，其他应用程序必须立即做出反应。但是，在某些情况下，应在过程中进行响应，但可以接受一些延迟。在文献中，已知在线访问性能差距。我们在这项研究中的目标是学习绩效 - 延迟权衡并设计一种基于MS-TCN ++的算法，该算法可以利用这种权衡。为此，我们使用了开放手术模拟数据集，其中包含96个参与者的视频，这些视频在可变的组织模拟器上执行缝合任务。在这项研究中，我们使用了从侧视图捕获的视频数据。对网络进行了训练，以识别执行的手术手势。幼稚的方法是减少MS-TCN ++深度，结果减少了接受场，并且还减少了所需的未来帧数。我们表明该方法是最佳的，主要是在小延迟情况下。第二种方法是限制每个时间卷积中可访问的未来。这样，我们在网络设计方面具有灵活性，因此，与幼稚的方法相比，我们的性能要好得多。

时间动作细分任务段视频暂时，并预测所有帧的动作标签。充分监督这种细分模型需要密集的框架动作注释，这些注释既昂贵又乏味。这项工作是第一个提出一个组成动作发现（CAD）框架的工作，该框架仅需要视频高级复杂活动标签作为时间动作分割的监督。提出的方法会自动使用活动分类任务发现组成视频动作。具体而言，我们定义了有限数量的潜在作用原型来构建视频级别的双重表示，通过活动分类培训共同学习了这些原型。这种设置赋予我们的方法，可以在多个复杂活动中发现潜在的共享动作。由于缺乏行动水平的监督，我们采用匈牙利匹配算法将潜在的动作原型与地面真理语义类别进行评估联系起来。我们表明，通过高级监督，匈牙利的匹配可以从现有的视频和活动级别扩展到全球水平。全球级别的匹配允许跨活动进行行动共享，这在文献中从未考虑过。广泛的实验表明，我们发现的动作可以帮助执行时间动作细分和活动识别任务。

动作检测是一个必不可少的和具有挑战性的任务，特别是对于未经监测视频的密集标记数据集。在这些数据集中，时间关系是复杂的，包括综合动作等挑战和共同发生的动作。为了检测这些复杂视频中的动作，有效地捕获视频中的短期和长期时间信息是至关重要的。为此，我们提出了一种用于动作检测的新型Converransformer网络。该网络包括三个主要组件：（1）时间编码器模块广泛探讨多个时间分辨率的全局和局部时间关系。 （2）时间尺度混频器模块有效地熔化多尺度特征以具有统一的特征表示。 （3）分类模块用于学习实例中心相对位置并预测帧级分类分数。多个数据集的大量实验，包括Charades，TSU和Multithumos，确认了我们所提出的方法的有效性。我们的网络在所有三个数据集上占据了最先进的方法。

机器学习和非接触传感器的进步使您能够在医疗保健环境中理解复杂的人类行为。特别是，已经引入了几种深度学习系统，以实现对自闭症谱系障碍（ASD）等神经发展状况的全面分析。这种情况会影响儿童的早期发育阶段，并且诊断完全依赖于观察孩子的行为和检测行为提示。但是，诊断过程是耗时的，因为它需要长期的行为观察以及专家的稀缺性。我们展示了基于区域的计算机视觉系统的效果，以帮助临床医生和父母分析孩子的行为。为此，我们采用并增强了一个数据集，用于使用在不受控制的环境中捕获的儿童的视频来分析自闭症相关的动作（例如，在各种环境中使用消费级摄像机收集的视频）。通过检测视频中的目标儿童以减少背景噪声的影响，可以预处理数据。在时间卷积模型的有效性的推动下，我们提出了能够从视频帧中提取动作功能并通过分析视频中的框架之间的关系来从视频帧中提取动作功能并分类与自闭症相关的行为。通过对功能提取和学习策略的广泛评估，我们证明了通过膨胀的3D Convnet和多阶段的时间卷积网络实现最佳性能，达到了0.83加权的F1得分，以分类三种自闭症相关的动作，超越表现优于表现现有方法。我们还通过在同一系统中采用ESNET主链来提出一个轻重量解决方案，实现0.71加权F1得分的竞争结果，并在嵌入式系统上实现潜在的部署。

我们为时间动作细分任务提供了半监督的学习方法。该任务的目的是在长时间的未修剪程序视频中暂时检测和细分动作，其中只有一小部分视频被密集标记，并且没有标记的大量视频。为此，我们为未标记的数据提出了两个新的损失函数：动作亲和力损失和动作连续性损失。动作亲和力损失通过施加从标记的集合引起的动作先验来指导未标记的样品学习。动作连续性损失强制执行动作的时间连续性，这也提供了框架分类的监督。此外，我们提出了一种自适应边界平滑（ABS）方法，以建立更粗糙的动作边界，以实现更健壮和可靠的学习。在三个基准上评估了拟议的损失函数和ABS。结果表明，它们以较低的标记数据（5％和10％）的数据显着改善了动作细分性能，并获得了与50％标记数据的全面监督相当的结果。此外，当将ABS整合到完全监督的学习中时，ABS成功地提高了性能。

自动外科阶段识别在机器人辅助手术中起着重要作用。现有方法忽略了一个关键问题，即外科阶段应该通过学习段级语义来分类，而不是仅仅依赖于框架明智的信息。在本文中，我们提出了一种段 - 细分分层一致性网络（SAHC），用于来自视频的外科阶段识别。关键的想法是提取分层高级语义 - 一致的段，并使用它们来优化由暧昧帧引起的错误预测。为实现它，我们设计一个时间分层网络以生成分层高级段。然后，我们引入分层段帧注意力（SFA）模块，以捕获低级帧和高级段之间的关系。通过通过一致性损耗来规则地规范帧及其对应段的预测，网络可以生成语义 - 一致的段，然后纠正由模糊的低级帧引起的错误分类预测。我们在两个公共外科视频数据集上验证SAHC，即M2CAI16挑战数据集和CholeC80数据集。实验结果表明，我们的方法优于以前的最先进的余量，显着达到M2Cai16的4.1％。代码将在验收时在Github发布。

时间动作本地化在视频分析中起着重要作用，该视频分析旨在将动作定位和分类在未修剪视频中。先前的方法通常可以预测单个时间尺度的特征空间上的动作。但是，低级量表的时间特征缺乏足够的语义来进行动作分类，而高级尺度则无法提供动作边界的丰富细节。为了解决这个问题，我们建议预测多个颞尺度特征空间的动作。具体而言，我们使用不同尺度的精致特征金字塔将语义从高级尺度传递到低级尺度。此外，为了建立整个视频的长时间尺度，我们使用时空变压器编码器来捕获视频帧的远程依赖性。然后，具有远距离依赖性的精制特征被送入分类器以进行粗糙的动作预测。最后，为了进一步提高预测准确性，我们建议使用框架级别的自我注意模块来完善每个动作实例的分类和边界。广泛的实验表明，所提出的方法可以超越Thumos14数据集上的最先进方法，并在ActivityNet1.3数据集上实现可比性的性能。与A2NET（tip20，avg \ {0.3：0.7 \}），sub-action（csvt2022，avg \ {0.1：0.5 \}）和afsd（cvpr21，avg \ {0.3：0.7 \}） ，提出的方法分别可以提高12.6 \％，17.4 \％和2.2 \％

我们介绍了在视频中发现时间精确，细粒度事件的任务（检测到时间事件的精确时刻）。精确的斑点需要模型在全球范围内对全日制动作规模进行推理，并在本地识别微妙的框架外观和运动差异，以识别这些动作过程中事件的识别。令人惊讶的是，我们发现，最高的绩效解决方案可用于先前的视频理解任务，例如操作检测和细分，不能同时满足这两个要求。作为响应，我们提出了E2E点，这是一种紧凑的端到端模型，在精确的发现任务上表现良好，可以在单个GPU上快速培训。我们证明，E2E点的表现明显优于最近根据视频动作检测，细分和将文献发现到精确的发现任务的基线。最后，我们为几个细粒度的运动动作数据集贡献了新的注释和分裂，以使这些数据集适用于未来的精确发现工作。

从视频和动态数据自动活动识别是一种重要的机器学习问题，其应用范围从机器人到智能健康。大多数现有的作品集中在确定粗动作，如跑步，登山，或切割植物，其具有相对长的持续时间。这对于那些需要细微动作中的高时间分辨率识别应用的一个重要限制。例如，在中风恢复，定量康复剂量需要区分具有亚秒持续时间的运动。我们的目标是弥合这一差距。为此，我们引入了一个大规模，多数据集，StrokeRehab，为包括标记高时间分辨率微妙的短期操作的新动作识别基准。这些短期的行为被称为功能性原语和由河段，运输，重新定位，稳定作用，和空转的。所述数据集由高品质的惯性测量单元的传感器和执行的日常生活像馈送，刷牙等的活动41中风影响的病人的视频数据的，我们表明，基于分割产生嘈杂状态的最先进的现有机型预测时，对这些数据，这往往会导致行动超量。为了解决这个问题，我们提出了高分辨率的活动识别，通过语音识别技术的启发，它是基于一个序列到序列模型，直接预测的动作序列的新方法。这种方法优于国家的最先进的电流在StrokeRehab数据集的方法，以及对标准的基准数据集50Salads，早餐，和拼图。

时间动作分割对（长）视频序列中的每个帧的动作进行分类。由于框架明智标签的高成本，我们提出了第一种用于时间动作分割的半监督方法。我们对无监督的代表学习铰接，对于时间动作分割，造成独特的挑战。未经目针视频中的操作长度变化，并且具有未知的标签和开始/结束时间。跨视频的行动订购也可能有所不同。我们提出了一种新颖的方式，通过聚类输入特征来学习来自时间卷积网络（TCN）的帧智表示，其中包含增加的时间接近条件和多分辨率相似性。通过与传统的监督学习合并表示学习，我们开发了一个“迭代 - 对比 - 分类（ICC）”半监督学习计划。通过更多标记的数据，ICC逐步提高性能; ICC半监督学习，具有40％标记的视频，执行类似于完全监督的对应物。我们的ICC分别通过{+1.8，+ 5.6，+2.5}％的{+1.8，+ 5.6，+2.5}％分别改善了100％标记的视频。