我们的生活可以被视为一个复杂的活动编织;我们从一个活动转移到另一个活动，以最大限度地提高我们的成就或在我们对我们身上的要求中的成就。观察日常活动的视频，我们通过我们称之为戒烟的过程将视频解析为其组成活动线程。为实现这一点，我们介绍了一种显式捕获称为线程库的活动线程的视频表示，以及能够检测目标变化和过去的活动恢复的神经控制器一起形成笨重。我们培训并评估从未证明的Enocentric数据集史诗厨房的序列上的笨重。我们提出并展示了以自我监督的方式预先造型借口的疗效。

第一人称视频在其持续环境的背景下突出了摄影师的活动。但是，当前的视频理解方法是从短视频剪辑中的视觉特征的原因，这些视频片段与基础物理空间分离，只捕获直接看到的东西。我们提出了一种方法，该方法通过学习摄影师（潜在看不见的）本地环境来促进以人为中心的环境的了解来链接以自我为中心的视频和摄像机随着时间的推移而张开。我们使用来自模拟的3D环境中的代理商的视频进行训练，在该环境中，环境完全可以观察到，并在看不见的环境的房屋旅行的真实视频中对其进行测试。我们表明，通过将视频接地在其物理环境中，我们的模型超过了传统的场景分类模型，可以预测摄影师所处的哪个房间（其中帧级信息不足），并且可以利用这种基础来定位与环境相对应的视频瞬间 - 中心查询，优于先验方法。项目页面：http：//vision.cs.utexas.edu/projects/ego-scene-context/

未来的活动预期是在Egocentric视觉中具有挑战性问题。作为标准的未来活动预期范式，递归序列预测遭受错误的累积。为了解决这个问题，我们提出了一个简单有效的自我监管的学习框架，旨在使中间表现为连续调节中间代表性，以产生表示（a）与先前观察到的对比的当前时间戳框架中的新颖信息内容和（b）反映其与先前观察到的帧的相关性。前者通过最小化对比损失来实现，并且后者可以通过动态重量机制来实现在观察到的内容中的信息帧中，具有当前帧的特征与观察到的帧之间的相似性比较。通过多任务学习可以进一步增强学习的最终视频表示，该多任务学习在目标活动标签上执行联合特征学习和自动检测到的动作和对象类令牌。在大多数自我传统视频数据集和两个第三人称视频数据集中，SRL在大多数情况下急剧表现出现有的现有最先进。通过实验性事实，还可以准确识别支持活动语义的行动和对象概念的实验性。

自我监督的方法已通过端到端监督学习的图像分类显着缩小了差距。但是，在人类动作视频的情况下，外观和运动都是变化的重要因素，因此该差距仍然很大。这样做的关键原因之一是，采样对类似的视频剪辑，这是许多自我监督的对比学习方法所需的步骤，目前是保守的，以避免误报。一个典型的假设是，类似剪辑仅在单个视频中暂时关闭，从而导致运动相似性的示例不足。为了减轻这种情况，我们提出了SLIC，这是一种基于聚类的自我监督的对比度学习方法，用于人类动作视频。我们的关键贡献是，我们通过使用迭代聚类来分组类似的视频实例来改善传统的视频内积极采样。这使我们的方法能够利用集群分配中的伪标签来取样更艰难的阳性和负面因素。在UCF101上，SLIC的表现优于最先进的视频检索基线 +15.4％，而直接转移到HMDB51时，SLIC检索基线的率高为15.4％， +5.7％。通过用于动作分类的端到端登录，SLIC在UCF101上获得了83.2％的TOP-1准确性（+0.8％），而HMDB51（+1.6％）上的fric fineTuns in top-1 finetuning。在动力学预处理后，SLIC还与最先进的行动分类竞争。

我们介绍了遮阳板，一个新的像素注释的新数据集和一个基准套件，用于在以自我为中心的视频中分割手和活动对象。遮阳板注释Epic-kitchens的视频，其中带有当前视频分割数据集中未遇到的新挑战。具体而言，我们需要确保像素级注释作为对象经历变革性相互作用的短期和长期一致性，例如洋葱被剥皮，切成丁和煮熟 - 我们旨在获得果皮，洋葱块，斩波板，刀，锅以及表演手的准确像素级注释。遮阳板引入了一条注释管道，以零件为ai驱动，以进行可伸缩性和质量。总共，我们公开发布257个对象类的272K手册语义面具，990万个插值密集口罩，67K手动关系，涵盖36小时的179个未修剪视频。除了注释外，我们还引入了视频对象细分，互动理解和长期推理方面的三个挑战。有关数据，代码和排行榜：http：//epic-kitchens.github.io/visor

我们介绍了在视频中发现时间精确，细粒度事件的任务（检测到时间事件的精确时刻）。精确的斑点需要模型在全球范围内对全日制动作规模进行推理，并在本地识别微妙的框架外观和运动差异，以识别这些动作过程中事件的识别。令人惊讶的是，我们发现，最高的绩效解决方案可用于先前的视频理解任务，例如操作检测和细分，不能同时满足这两个要求。作为响应，我们提出了E2E点，这是一种紧凑的端到端模型，在精确的发现任务上表现良好，可以在单个GPU上快速培训。我们证明，E2E点的表现明显优于最近根据视频动作检测，细分和将文献发现到精确的发现任务的基线。最后，我们为几个细粒度的运动动作数据集贡献了新的注释和分裂，以使这些数据集适用于未来的精确发现工作。

电影拖车执行多种功能：他们向故事介绍了观众，传达了电影的情绪和艺术风格，并鼓励受众看电影。这些不同的功能使自动拖车产生充满挑战的努力。我们将其分解为两个小组：叙事结构识别和情绪预测。我们将电影作为图形，其中节点是截图，边缘表示它们之间的语义关系。我们使用联合对比培训学习这些关系，该联合对比培训利用剧本绘制的特权文本信息（例如，字符，措施，情况）。然后，无监督算法将遍历图，并生成人类法官更喜欢通过竞争监督方法产生的拖车。

Temporal action segmentation tags action labels for every frame in an input untrimmed video containing multiple actions in a sequence. For the task of temporal action segmentation, we propose an encoder-decoder-style architecture named C2F-TCN featuring a "coarse-to-fine" ensemble of decoder outputs. The C2F-TCN framework is enhanced with a novel model agnostic temporal feature augmentation strategy formed by the computationally inexpensive strategy of the stochastic max-pooling of segments. It produces more accurate and well-calibrated supervised results on three benchmark action segmentation datasets. We show that the architecture is flexible for both supervised and representation learning. In line with this, we present a novel unsupervised way to learn frame-wise representation from C2F-TCN. Our unsupervised learning approach hinges on the clustering capabilities of the input features and the formation of multi-resolution features from the decoder's implicit structure. Further, we provide the first semi-supervised temporal action segmentation results by merging representation learning with conventional supervised learning. Our semi-supervised learning scheme, called ``Iterative-Contrastive-Classify (ICC)'', progressively improves in performance with more labeled data. The ICC semi-supervised learning in C2F-TCN, with 40% labeled videos, performs similar to fully supervised counterparts.

过程学习涉及确定键步并确定其逻辑顺序以执行任务。现有方法通常使用第三人称视频来学习该过程，使操纵对象的外观很小，并且经常被演员遮住，从而导致重大错误。相比之下，我们观察到从第一人称（Egentric）可穿戴摄像机获得的视频提供了对动作的毫无开创且清晰的视野。但是，从以eg中心视频学习的程序学习是具有挑战性的，因为（a）由于佩戴者的头部运动，相机视图发生了极端变化，并且（b）由于视频的不受约束性质而存在无关的框架。因此，当前的最新方法的假设是，该动作大约同时发生并且持续时间相同，因此不持有。取而代之的是，我们建议使用视频键位之间的时间对应关系提供的信号。为此，我们提出了一个新颖的自我监督对应和剪切（CNC），用于程序学习。 CNC识别并利用多个视频的键步之间的时间对应关系来学习该过程。我们的实验表明，CNC的表现分别优于基准Procel和Crosstask数据集上的最先进，分别为5.2％和6.3％。此外，对于使用以Egentric视频为中心的程序学习，我们建议使用Egoprocel数据集，该数据集由130名受试者捕获的62个小时的视频组成，执行16个任务。源代码和数据集可在项目页面https://sid2697.github.io/egoprocel/上获得。

机器学习正在改变视频编辑行业。计算机视觉的最新进展已升级视频编辑任务，例如智能重新构图，旋转镜，颜色分级或应用数字化妆。但是，大多数解决方案都集中在视频操作和VFX上。这项工作介绍了视频编辑，数据集和基准测试的解剖结构，以促进AI辅助视频编辑研究。我们的基准套件专注于视频编辑任务，除了视觉效果之外，例如自动录像组织和辅助视频组装。为了对这些方面进行研究，我们注释了超过150万的标签，并从196176年从电影场景中取样了摄影作品。我们为每个任务建立竞争性基线方法和详细分析。我们希望我们的作品能够对AI辅助视频编辑的未经展开的领域进行创新的研究。

Previous work on action representation learning focused on global representations for short video clips. In contrast, many practical applications, such as video alignment, strongly demand learning the intensive representation of long videos. In this paper, we introduce a new framework of contrastive action representation learning (CARL) to learn frame-wise action representation in a self-supervised or weakly-supervised manner, especially for long videos. Specifically, we introduce a simple but effective video encoder that considers both spatial and temporal context by combining convolution and transformer. Inspired by the recent massive progress in self-supervised learning, we propose a new sequence contrast loss (SCL) applied to two related views obtained by expanding a series of spatio-temporal data in two versions. One is the self-supervised version that optimizes embedding space by minimizing KL-divergence between sequence similarity of two augmented views and prior Gaussian distribution of timestamp distance. The other is the weakly-supervised version that builds more sample pairs among videos using video-level labels by dynamic time wrapping (DTW). Experiments on FineGym, PennAction, and Pouring datasets show that our method outperforms previous state-of-the-art by a large margin for downstream fine-grained action classification and even faster inference. Surprisingly, although without training on paired videos like in previous works, our self-supervised version also shows outstanding performance in video alignment and fine-grained frame retrieval tasks.

Timeyou have a little pressure you are cutting the wood readjusting the table saw I am using a roller sure you applied glue Figure 1: We describe an efficient approach to learn visual representations from misaligned and noisy narrations (bottom) automatically extracted from instructional videos (top). Our video representations are learnt from scratch without relying on any manually annotated visual dataset yet outperform all self-supervised and many fully-supervised methods on several video recognition benchmarks.

时间动作细分任务段视频暂时，并预测所有帧的动作标签。充分监督这种细分模型需要密集的框架动作注释，这些注释既昂贵又乏味。这项工作是第一个提出一个组成动作发现（CAD）框架的工作，该框架仅需要视频高级复杂活动标签作为时间动作分割的监督。提出的方法会自动使用活动分类任务发现组成视频动作。具体而言，我们定义了有限数量的潜在作用原型来构建视频级别的双重表示，通过活动分类培训共同学习了这些原型。这种设置赋予我们的方法，可以在多个复杂活动中发现潜在的共享动作。由于缺乏行动水平的监督，我们采用匈牙利匹配算法将潜在的动作原型与地面真理语义类别进行评估联系起来。我们表明，通过高级监督，匈牙利的匹配可以从现有的视频和活动级别扩展到全球水平。全球级别的匹配允许跨活动进行行动共享，这在文献中从未考虑过。广泛的实验表明，我们发现的动作可以帮助执行时间动作细分和活动识别任务。

这项工作提出了一个名为TEG的自我监督的学习框架，探讨学习视频表示中的时间粒度。在TEG中，我们从视频中抽出一个长剪辑，以及在长夹内部的短夹。然后我们提取密集的时间嵌入品。培训目标由两部分组成：一个细粒度的时间学习目的，以最大化短夹和长剪辑中的相应时间嵌入之间的相似性，以及持续的时间学习目标，以将两个剪辑的全局嵌入在一起。我们的研究揭示了时间粒度与三个主要发现的影响。 1）不同的视频任务可能需要不同时间粒度的特征。 2）有趣的是，广泛认为需要时间感知的一些任务实际上可以通过时间持久的功能来解决。 3）TEG的灵活性对8个视频基准测试产生最先进的结果，在大多数情况下优于监督预训练。

在这项工作中，我们介绍了BBC-oxford英国手语（Bobsl）数据集，这是英国手语的大规模视频集合（BSL）。Bobsl是一个基于以前工作中引入的BSL-1K数据集的扩展和公开发布的数据集。我们描述了数据集的动机，以及统计和可用注释。我们进行实验，为标志识别，手语对齐和手语翻译的任务提供基线。最后，我们从机器学习和语言学的角度描述了数据的几个优势和局限，注意数据集中存在的偏差源，并在手语技术背景下讨论Bobsl的潜在应用。数据集可在https://www.robots.ox.ac.uk/~vgg/data/bobsl/处获得。

对于人类的行动理解，流行的研究方向是分析具有明确的语义含量的短视频剪辑，例如跳跃和饮酒。然而，了解短语行动的方法不能直接翻译成长期以来的人类动态，如跳舞，即使在语义上也是挑战的挑战。同时，自然语言处理（NLP）社区通过大规模预培训解决了稀缺的类似挑战，这改善了一种模型的几个下游任务。在这项工作中，我们研究如何以自我监督的方式进行分段和群集视频，即Acton Discovery，朝向视频标记的主要障碍。我们提出了一种两级框架，首先通过对应于它们的时间上下文的视频帧的两个增强视图对比其次的视频帧的两个增强视图来获得帧智表示。然后通过k-means群集视频集集中的帧展表示。然后通过从同一簇内的帧形成连续的运动序列来自动提取actons。通过标准化的相互信息和语言熵，我们通过Kendall的Tau和Lexicon构建步骤进行评估框架明智的表现。我们还研究了这个标记化的三种应用：类型分类，行动细分和行动组成。在AIST ++和PKU-MMD数据集上，与几个基线相比，Actons带来了显着的性能改进。

The ability to distinguish between different movie scenes is critical for understanding the storyline of a movie. However, accurately detecting movie scenes is often challenging as it requires the ability to reason over very long movie segments. This is in contrast to most existing video recognition models, which are typically designed for short-range video analysis. This work proposes a State-Space Transformer model that can efficiently capture dependencies in long movie videos for accurate movie scene detection. Our model, dubbed TranS4mer, is built using a novel S4A building block, which combines the strengths of structured state-space sequence (S4) and self-attention (A) layers. Given a sequence of frames divided into movie shots (uninterrupted periods where the camera position does not change), the S4A block first applies self-attention to capture short-range intra-shot dependencies. Afterward, the state-space operation in the S4A block is used to aggregate long-range inter-shot cues. The final TranS4mer model, which can be trained end-to-end, is obtained by stacking the S4A blocks one after the other multiple times. Our proposed TranS4mer outperforms all prior methods in three movie scene detection datasets, including MovieNet, BBC, and OVSD, while also being $2\times$ faster and requiring $3\times$ less GPU memory than standard Transformer models. We will release our code and models.

无意的行动是罕见的事件，难以精确定义，并且高度依赖于动作的时间背景。在这项工作中，我们探讨了此类行动，并试图确定视频中的观点，这些动作从故意到无意中过渡。我们提出了一个多阶段框架，该框架利用了固有的偏见，例如运动速度，运动方向和为了识别无意的行动。为了通过自我监督的训练来增强表示，我们提出了时间转变，称为时间转变，称为无意义行动固有偏见（T2IBUA）的时间转变。多阶段方法对各个帧和完整剪辑的级别进行了时间信息。这些增强的表示表现出强烈的无意行动识别任务的表现。我们对我们的框架进行了广泛的消融研究，并报告结果对最先进的结果有了显着改善。

最近，手语研究人员已转向手语解释的电视广播，包括（i）连续签名的视频和（ii）与音频内容相对应的字幕，作为易于使用和大规模的培训数据来源。此类数据可用性的一个关键挑战是缺乏标志注释。利用这种弱对准数据的先前工作仅发现字幕中的关键字与单个符号之间的稀疏对应关系。在这项工作中，我们提出了一个简单，可扩展的框架，以极大地增加自动注释的密度。我们的贡献如下：（1）我们通过使用同义词和字幕签名对齐来显着改善先前的注释方法； （2）我们将标志识别模型中的伪标签的价值作为标志发现的方式； （3）我们提出了一种新的方法，以增加基于内域示例的已知和未知类别的注释； （4）在Bobsl BSL手语语料库上，我们将自信自动注释的数量从670K增加到5M。我们将这些注释公开用于支持手语研究社区。

本文提出了一种使用视频中心化的变压器在视频中面部聚类的新方法。以前的作品经常采用对比度学习来学习框架级表示，并使用平均池来汇总沿时间维度的特征。这种方法可能无法完全捕获复杂的视频动态。此外，尽管在基于视频的对比学习方面取得了最新进展，但很少有人试图学习一个自我监视的聚类友好的面部表现，从而使视频面部聚集任务受益。为了克服这些局限性，我们的方法采用了变压器直接学习视频级表示，可以更好地反映视频中面部的时间变化属性，而我们还建议一个以视频为中心的自我监督框架来训练变压器模型。我们还调查了以自我为中心视频的面部聚类，这是一个快速出现的领域，尚未在与面部聚类有关的作品中进行研究。为此，我们介绍并发布了第一个名为EasyCom-Clustering的大规模以egipentric视频群集群数据集。我们在广泛使用的大爆炸理论（BBT）数据集和新的easycom群集数据集上评估了我们的建议方法。结果表明，我们以视频为中心的变压器的性能超过了两个基准测试的所有先前最新方法，对面部视频表现出了自我牵强的理解。