过程学习涉及确定键步并确定其逻辑顺序以执行任务。现有方法通常使用第三人称视频来学习该过程，使操纵对象的外观很小，并且经常被演员遮住，从而导致重大错误。相比之下，我们观察到从第一人称（Egentric）可穿戴摄像机获得的视频提供了对动作的毫无开创且清晰的视野。但是，从以eg中心视频学习的程序学习是具有挑战性的，因为（a）由于佩戴者的头部运动，相机视图发生了极端变化，并且（b）由于视频的不受约束性质而存在无关的框架。因此，当前的最新方法的假设是，该动作大约同时发生并且持续时间相同，因此不持有。取而代之的是，我们建议使用视频键位之间的时间对应关系提供的信号。为此，我们提出了一个新颖的自我监督对应和剪切（CNC），用于程序学习。 CNC识别并利用多个视频的键步之间的时间对应关系来学习该过程。我们的实验表明，CNC的表现分别优于基准Procel和Crosstask数据集上的最先进，分别为5.2％和6.3％。此外，对于使用以Egentric视频为中心的程序学习，我们建议使用Egoprocel数据集，该数据集由130名受试者捕获的62个小时的视频组成，执行16个任务。源代码和数据集可在项目页面https://sid2697.github.io/egoprocel/上获得。

我们为无监督活动分割提出了一种新方法，它使用视频帧聚类作为借口任务，并同时执行表示学习和在线群集。这与先前作品相反，其中通常顺序地执行表示学习和聚类。我们通过采用时间最优运输来利用视频中的时间信息。特别是，我们纳入了一个时间正则化术语，其将活动的时间顺序保留到用于计算伪标签群集分配的标准最佳传输模块中。时间最优传输模块使我们的方法能够学习无监督活动细分的有效陈述。此外，先前的方法需要在以离线方式培养它们之前对整个数据集的学习功能存储在整个数据集中，而我们的方法在在线方式一次处理一个迷你批次。在三个公共数据集，即50沙拉，YouTube说明和早餐以及我们的数据集，即桌面装配的广泛评估表明，我们的方法在PAR或更优于以前的无监督活动分割方法，尽管内存限制显着较低。

寻找特定任务说明的YouTube用户可能会花费很长时间浏览内容，以寻找与他们需求相匹配的正确视频。创建视觉摘要（视频的删节版本）为观众提供了快速概述，并大大减少了搜索时间。在这项工作中，我们专注于总结教学视频，这​​是视频摘要的探索领域。与通用视频相比，可以将教学视频解析为语义上有意义的细分，这些细分与所示任务的重要步骤相对应。现有的视频摘要数据集依靠手动框架级注释，使其主观且大小有限。为了克服这一点，我们首先通过利用两个关键假设来自动为教学视频语料库生成伪摘要：（i）相关步骤可能会出现在相同任务（任务相关性）的多个视频中，并且（ii）它们更重要。可能由示威者口头描述（跨模式显着）。我们提出了一个教学视频摘要网络，该网络结合了上下文感知的时间视频编码器和段评分变压器。使用伪摘要作为弱监督，我们的网络为仅给出视频和转录语音的教学视频构建了视觉摘要。为了评估我们的模型，我们通过刮擦包含视频演示的Wikihow文章和步骤的视觉描绘，从而收集了高质量的测试集，即Wikihow摘要，从而使我们能够获得地面真实性摘要。我们的表现优于几个基线和这个新基准的最先进的视频摘要模型。

We address the problem of extracting key steps from unlabeled procedural videos, motivated by the potential of Augmented Reality (AR) headsets to revolutionize job training and performance. We decompose the problem into two steps: representation learning and key steps extraction. We employ self-supervised representation learning via a training strategy that adapts off-the-shelf video features using a temporal module. Training implements self-supervised learning losses involving multiple cues such as appearance, motion and pose trajectories extracted from videos to learn generalizable representations. Our method extracts key steps via a tunable algorithm that clusters the representations extracted from procedural videos. We quantitatively evaluate our approach with key step localization and also demonstrate the effectiveness of the extracted representations on related downstream tasks like phase classification. Qualitative results demonstrate that the extracted key steps are meaningful to succinctly represent the procedural tasks.

时间动作细分任务段视频暂时，并预测所有帧的动作标签。充分监督这种细分模型需要密集的框架动作注释，这些注释既昂贵又乏味。这项工作是第一个提出一个组成动作发现（CAD）框架的工作，该框架仅需要视频高级复杂活动标签作为时间动作分割的监督。提出的方法会自动使用活动分类任务发现组成视频动作。具体而言，我们定义了有限数量的潜在作用原型来构建视频级别的双重表示，通过活动分类培训共同学习了这些原型。这种设置赋予我们的方法，可以在多个复杂活动中发现潜在的共享动作。由于缺乏行动水平的监督，我们采用匈牙利匹配算法将潜在的动作原型与地面真理语义类别进行评估联系起来。我们表明，通过高级监督，匈牙利的匹配可以从现有的视频和活动级别扩展到全球水平。全球级别的匹配允许跨活动进行行动共享，这在文献中从未考虑过。广泛的实验表明，我们发现的动作可以帮助执行时间动作细分和活动识别任务。

Previous work on action representation learning focused on global representations for short video clips. In contrast, many practical applications, such as video alignment, strongly demand learning the intensive representation of long videos. In this paper, we introduce a new framework of contrastive action representation learning (CARL) to learn frame-wise action representation in a self-supervised or weakly-supervised manner, especially for long videos. Specifically, we introduce a simple but effective video encoder that considers both spatial and temporal context by combining convolution and transformer. Inspired by the recent massive progress in self-supervised learning, we propose a new sequence contrast loss (SCL) applied to two related views obtained by expanding a series of spatio-temporal data in two versions. One is the self-supervised version that optimizes embedding space by minimizing KL-divergence between sequence similarity of two augmented views and prior Gaussian distribution of timestamp distance. The other is the weakly-supervised version that builds more sample pairs among videos using video-level labels by dynamic time wrapping (DTW). Experiments on FineGym, PennAction, and Pouring datasets show that our method outperforms previous state-of-the-art by a large margin for downstream fine-grained action classification and even faster inference. Surprisingly, although without training on paired videos like in previous works, our self-supervised version also shows outstanding performance in video alignment and fine-grained frame retrieval tasks.

第一人称视频在其持续环境的背景下突出了摄影师的活动。但是，当前的视频理解方法是从短视频剪辑中的视觉特征的原因，这些视频片段与基础物理空间分离，只捕获直接看到的东西。我们提出了一种方法，该方法通过学习摄影师（潜在看不见的）本地环境来促进以人为中心的环境的了解来链接以自我为中心的视频和摄像机随着时间的推移而张开。我们使用来自模拟的3D环境中的代理商的视频进行训练，在该环境中，环境完全可以观察到，并在看不见的环境的房屋旅行的真实视频中对其进行测试。我们表明，通过将视频接地在其物理环境中，我们的模型超过了传统的场景分类模型，可以预测摄影师所处的哪个房间（其中帧级信息不足），并且可以利用这种基础来定位与环境相对应的视频瞬间 - 中心查询，优于先验方法。项目页面：http：//vision.cs.utexas.edu/projects/ego-scene-context/

在本文中，我们考虑了从长时间的视频到几分钟的长视频进行分类的问题（例如，烹饪不同的食谱，烹饪不同的食谱，进行不同的家庭装修，创建各种形式的艺术和手工艺品）。准确地对这些活动进行分类，不仅需要识别构成任务的单个步骤，还需要捕获其时间依赖性。这个问题与传统的动作分类大不相同，在传统的动作分类中，模型通常在跨越几秒钟的视频上进行了优化，并且手动修剪以包含简单的原子动作。虽然步骤注释可以使模型的培训能够识别程序活动的各个步骤，但由于长时间视频中手动注释时间界的超级注释，因此该领域的现有大规模数据集不包括此类段标签。为了解决这个问题，我们建议通过利用文本知识库（Wikihow）的遥远监督来自动确定教学视频中的步骤，其中包括对执行各种复杂活动所需的步骤的详细描述。我们的方法使用语言模型来匹配视频中自动转录的语音，以在知识库中逐步描述。我们证明，经过训练的视频模型可以识别这些自动标记的步骤（无手动监督）产生了在四个下游任务上实现卓越的概括性能的表示：识别程序活动，步骤分类，步骤预测和以自我为中心的视频分类。

可穿戴摄像机可以从用户的角度获取图像和视频。可以处理这些数据以了解人类的行为。尽管人类的行为分析已在第三人称视野中进行了彻底的研究，但仍在以自我为中心的环境中，尤其是在工业场景中进行了研究。为了鼓励在该领域的研究，我们介绍了Meccano，这是一个以自我为中心视频的多式模式数据集来研究类似工业的环境中的人类行为理解。多模式的特征是凝视信号，深度图和RGB视频同时使用自定义耳机获得。该数据集已在从第一人称视角的人类行为理解的背景下明确标记为基本任务，例如识别和预测人类对象的相互作用。使用MECCANO数据集，我们探索了五个不同的任务，包括1）动作识别，2）活动对象检测和识别，3）以自我为中心的人类对象互动检测，4）动作预期和5）下一步活动对象检测。我们提出了一个旨在研究人类行为的基准，该基准在被考虑的类似工业的情况下，表明所研究的任务和所考虑的方案对于最先进的算法具有挑战性。为了支持该领域的研究，我们在https://iplab.dmi.unict.it/meccano/上公开发布数据集。

设计可以成功部署在日常生活环境中的活动检测系统需要构成现实情况典型挑战的数据集。在本文中，我们介绍了一个新的未修剪日常生存数据集，该数据集具有几个现实世界中的挑战：Toyota Smarthome Untrimmed（TSU）。 TSU包含以自发方式进行的各种活动。数据集包含密集的注释，包括基本的，复合活动和涉及与对象相互作用的活动。我们提供了对数据集所需的现实世界挑战的分析，突出了检测算法的开放问题。我们表明，当前的最新方法无法在TSU数据集上实现令人满意的性能。因此，我们提出了一种新的基线方法，以应对数据集提供的新挑战。此方法利用一种模态（即视线流）生成注意力权重，以指导另一种模态（即RGB）以更好地检测活动边界。这对于检测以高时间差异为特征的活动特别有益。我们表明，我们建议在TSU和另一个受欢迎的挑战数据集Charades上优于最先进方法的方法。

本文在完全和时间戳监督的设置中介绍了通过序列（SEQ2SEQ）翻译序列（SEQ2SEQ）翻译的统一框架。与当前的最新帧级预测方法相反，我们将动作分割视为SEQ2SEQ翻译任务，即将视频帧映射到一系列动作段。我们提出的方法涉及在标准变压器SEQ2SEQ转换模型上进行一系列修改和辅助损失函数，以应对与短输出序列相对的长输入序列，相对较少的视频。我们通过框架损失为编码器合并了一个辅助监督信号，并在隐式持续时间预测中提出了单独的对齐解码器。最后，我们通过提出的约束K-Medoids算法将框架扩展到时间戳监督设置，以生成伪分段。我们提出的框架在完全和时间戳监督的设置上始终如一地表现，在几个数据集上表现优于或竞争的最先进。

弱监督的时间行动本地化旨在从视频级标签学习实例级别动作模式，其中重大挑战是动作情境混淆。为了克服这一挑战，最近的一个工作建立了一个动作单击监督框。它需要类似的注释成本，但与传统的弱势监督方法相比，可以稳步提高本地化性能。在本文中，通过揭示现有方法的性能瓶颈主要来自后台错误，我们发现更强大的动作定位器可以在背景视频帧上的标签上培训，而不是动作帧上的标签。为此，我们将动作单击监控转换为背景单击监控，并开发一种名为Backtal的新方法。具体地，背塔在背景视频帧上实现两倍建模，即位置建模和特征建模。在适当的建模中，我们不仅在带注释的视频帧上进行监督学习，而且还设计得分分离模块，以扩大潜在的动作帧和背景之间的分数差异。在特征建模中，我们提出了一个亲和力模块，以在计算时间卷积时测量相邻帧之间的特定于帧特定的相似性，并在计算时间卷积时动态地参加信息邻居。进行了三个基准测试的广泛实验，展示了建立的背部的高性能和所提出的背景下单击监督的合理性。代码可用于https://github.com/vididle/backtal。

在这项工作中，我们专注于生成嘈杂的，教学视频的图形表示，以供视频理解。我们提出了一种自制，可解释的方法，该方法不需要任何图形表示的注释，这将是昂贵且耗时的。我们试图通过呈现语义视频图或SVGraph来克服“黑匣子”学习限制，这是一种多模式的方法，它利用叙述来实现学习图的语义解释性。SVGraph 1）依靠多种方式之间的一致性来学习统一的图形结构，并借助跨模式的注意力和2）在语义分配的帮助下分配语义解释，从而从视频叙述中捕获语义。我们在多个数据集上执行实验，并演示语义图学习中SVGraph的解释性。

时间事件表示是人类学习的重要方面。它们允许通过各种感官输入简要地编码我们所拥有的经验。此外，据信它们是按层次安排的，可以有效地表示复杂的长途体验。此外，这些表示以一种自制的方式获得。类似地，在这里，我们提出了一个模型，该模型从长远的视觉演示数据和相关的文本描述中学习时间表示，而无需明确的时间监督。我们的方法产生的表示形式的层次结构与最新的无监督基线相比，与地面真实的人类通知事件（+15.3）更紧密地保持一致。我们的结果可与复杂的视觉域中的大量监督基线相提并论，例如棋子开口，YouCook2和TutorialVQA数据集。最后，我们进行消融研究，说明了我们方法的鲁棒性。我们在补充材料中释放代码和演示可视化。

对于人类的行动理解，流行的研究方向是分析具有明确的语义含量的短视频剪辑，例如跳跃和饮酒。然而，了解短语行动的方法不能直接翻译成长期以来的人类动态，如跳舞，即使在语义上也是挑战的挑战。同时，自然语言处理（NLP）社区通过大规模预培训解决了稀缺的类似挑战，这改善了一种模型的几个下游任务。在这项工作中，我们研究如何以自我监督的方式进行分段和群集视频，即Acton Discovery，朝向视频标记的主要障碍。我们提出了一种两级框架，首先通过对应于它们的时间上下文的视频帧的两个增强视图对比其次的视频帧的两个增强视图来获得帧智表示。然后通过k-means群集视频集集中的帧展表示。然后通过从同一簇内的帧形成连续的运动序列来自动提取actons。通过标准化的相互信息和语言熵，我们通过Kendall的Tau和Lexicon构建步骤进行评估框架明智的表现。我们还研究了这个标记化的三种应用：类型分类，行动细分和行动组成。在AIST ++和PKU-MMD数据集上，与几个基线相比，Actons带来了显着的性能改进。

Can we teach a robot to recognize and make predictions for activities that it has never seen before? We tackle this problem by learning models for video from text. This paper presents a hierarchical model that generalizes instructional knowledge from large-scale text corpora and transfers the knowledge to video. Given a portion of an instructional video, our model recognizes and predicts coherent and plausible actions multiple steps into the future, all in rich natural language. To demonstrate the capabilities of our model, we introduce the \emph{Tasty Videos Dataset V2}, a collection of 4022 recipes for zero-shot learning, recognition and anticipation. Extensive experiments with various evaluation metrics demonstrate the potential of our method for generalization, given limited video data for training models.

本文在视频中介绍了视觉命名实体发现的任务，而无需特定于任务的监督或特定于任务的外部知识源。在视频帧中为实体（例如面部，场景或对象）分配特定名称是一个长期的挑战。通常，通过用实体标签手动注释面孔作为监督学习目标解决。为了绕过该设置的注释负担，几项作品通过利用外部知识来源（例如电影数据库）来研究了问题。虽然有效，但是当未提供特定于任务的知识源，只能应用于电影和电视连续剧时，此类方法无效。在这项工作中，我们将问题进一步发展，并建议在视频和相应字幕或字幕的视频中发现实体。我们介绍了一种三阶段的方法，在其中（i）从框架符号对创建二分实体图形，（ii）找到视觉实体协议，（iii）通过实体级的原型构建来完善实体分配。为了解决这个新问题，我们根据朋友和大爆炸理论电视连续剧概述了两个新的基准SC-Friends和SC-BBT。基准上的实验证明了我们的方法发现哪个命名实体属于哪个面孔或场景，其精度接近有监督的甲骨文，仅来自视频中存在的多模式信息。此外，我们的定性示例还表明，对未来工作的任何视觉实体的发现的潜在挑战。代码和数据可在GitHub上获得。

对人类对象相互作用的理解在第一人称愿景（FPV）中至关重要。遵循相机佩戴者操纵的对象的视觉跟踪算法可以提供有效的信息，以有效地建模此类相互作用。在过去的几年中，计算机视觉社区已大大提高了各种目标对象和场景的跟踪算法的性能。尽管以前有几次尝试在FPV域中利用跟踪器，但仍缺少对最先进跟踪器的性能的有条理分析。这项研究差距提出了一个问题，即应使用当前的解决方案``现成''还是应进行更多特定领域的研究。本文旨在为此类问题提供答案。我们介绍了FPV中单个对象跟踪的首次系统研究。我们的研究广泛分析了42个算法的性能，包括通用对象跟踪器和基线FPV特定跟踪器。分析是通过关注FPV设置的不同方面，引入新的绩效指标以及与FPV特定任务有关的。这项研究是通过引入Trek-150（由150个密集注释的视频序列组成的新型基准数据集）来实现的。我们的结果表明，FPV中的对象跟踪对当前的视觉跟踪器构成了新的挑战。我们强调了导致这种行为的因素，并指出了可能的研究方向。尽管遇到了困难，但我们证明了跟踪器为需要短期对象跟踪的FPV下游任务带来好处。我们预计，随着新的和FPV特定的方法学会得到研究，通用对象跟踪将在FPV中受欢迎。

The remarkable success of deep learning in various domains relies on the availability of large-scale annotated datasets. However, obtaining annotations is expensive and requires great effort, which is especially challenging for videos. Moreover, the use of human-generated annotations leads to models with biased learning and poor domain generalization and robustness. As an alternative, self-supervised learning provides a way for representation learning which does not require annotations and has shown promise in both image and video domains. Different from the image domain, learning video representations are more challenging due to the temporal dimension, bringing in motion and other environmental dynamics. This also provides opportunities for video-exclusive ideas that advance self-supervised learning in the video and multimodal domain. In this survey, we provide a review of existing approaches on self-supervised learning focusing on the video domain. We summarize these methods into four different categories based on their learning objectives: 1) pretext tasks, 2) generative learning, 3) contrastive learning, and 4) cross-modal agreement. We further introduce the commonly used datasets, downstream evaluation tasks, insights into the limitations of existing works, and the potential future directions in this area.

在本文中，我们提出了一种新的序列验证任务，该任务旨在区分从具有阶梯级变换的负面的正视频对，但仍然进行相同的任务。这种具有挑战性的任务驻留在没有先前操作检测或需要事件级别甚至帧级注释的分段的开放式设置。为此，我们仔细重新组成了具有步骤过程任务结构的两个公开的动作相关的数据集。为了充分调查任何方法的有效性，我们收集了统计化学实验中各种步进变换的脚本视频数据集。此外，引入了一种新的评估度量加权距离比以确保评估期间不同的步进级变换等效。最后，基于具有新序列对准损耗的变压器的简单但有效的基线被引入到更好地表征步骤之间的长期依赖性，这优于其他动作识别方法。将发布代码和数据。