The ability to distinguish between different movie scenes is critical for understanding the storyline of a movie. However, accurately detecting movie scenes is often challenging as it requires the ability to reason over very long movie segments. This is in contrast to most existing video recognition models, which are typically designed for short-range video analysis. This work proposes a State-Space Transformer model that can efficiently capture dependencies in long movie videos for accurate movie scene detection. Our model, dubbed TranS4mer, is built using a novel S4A building block, which combines the strengths of structured state-space sequence (S4) and self-attention (A) layers. Given a sequence of frames divided into movie shots (uninterrupted periods where the camera position does not change), the S4A block first applies self-attention to capture short-range intra-shot dependencies. Afterward, the state-space operation in the S4A block is used to aggregate long-range inter-shot cues. The final TranS4mer model, which can be trained end-to-end, is obtained by stacking the S4A blocks one after the other multiple times. Our proposed TranS4mer outperforms all prior methods in three movie scene detection datasets, including MovieNet, BBC, and OVSD, while also being $2\times$ faster and requiring $3\times$ less GPU memory than standard Transformer models. We will release our code and models.

大多数现代视频识别模型旨在在短视频剪辑上运行（例如，长度为5-10）。因此，将此类模型应用于长时间的电影理解任务是一项挑战，通常需要复杂的长期时间推理。最近引入的视频变形金刚通过使用远程时间自我注意来部分解决此问题。但是，由于自我注意力的二次成本，这种模型通常是昂贵且不切实际的。取而代之的是，我们提出了Vis4mer，这是一种有效的远程视频模型，结合了自我注意力的优势和最近引入的结构化状态空间序列（S4）层。我们的模型使用标准的变压器编码器进行短距离时空特征提取，以及多尺度的时间S4解码器，用于随后的远程时间推理。通过逐步减少每个解码器层处的时空特征分辨率和通道维度，Vis4mer在视频中学习了复杂的长期时空依赖性。此外，比相应的基于纯的自我注意力的模型，Vis4mer的价格更快为$ 2.63 \ times $ $，$ 8 \ times $ $ GPU内存。此外，Vis4mer实现最先进的结果，在长期视频理解（LVU）基准中，$ 9 $ 9 $长的电影视频分类任务中的$ 6 $。此外，我们表明我们的方法成功地将其推广到其他领域，从而在早餐和硬币程序活动数据集中取得了竞争成果。该代码可在以下网址公开获取：https：//github.com/md-mohaiminul/vis4mer。

We present a convolution-free approach to video classification built exclusively on self-attention over space and time. Our method, named "TimeSformer," adapts the standard Transformer architecture to video by enabling spatiotemporal feature learning directly from a sequence of framelevel patches. Our experimental study compares different self-attention schemes and suggests that "divided attention," where temporal attention and spatial attention are separately applied within each block, leads to the best video classification accuracy among the design choices considered. Despite the radically new design, TimeSformer achieves state-of-the-art results on several action recognition benchmarks, including the best reported accuracy on Kinetics-400 and Kinetics-600. Finally, compared to 3D convolutional networks, our model is faster to train, it can achieve dramatically higher test efficiency (at a small drop in accuracy), and it can also be applied to much longer video clips (over one minute long). Code and models are available at: https://github.com/ facebookresearch/TimeSformer.

Astounding results from Transformer models on natural language tasks have intrigued the vision community to study their application to computer vision problems. Among their salient benefits, Transformers enable modeling long dependencies between input sequence elements and support parallel processing of sequence as compared to recurrent networks e.g., Long short-term memory (LSTM). Different from convolutional networks, Transformers require minimal inductive biases for their design and are naturally suited as set-functions. Furthermore, the straightforward design of Transformers allows processing multiple modalities (e.g., images, videos, text and speech) using similar processing blocks and demonstrates excellent scalability to very large capacity networks and huge datasets. These strengths have led to exciting progress on a number of vision tasks using Transformer networks. This survey aims to provide a comprehensive overview of the Transformer models in the computer vision discipline. We start with an introduction to fundamental concepts behind the success of Transformers i.e., self-attention, large-scale pre-training, and bidirectional feature encoding. We then cover extensive applications of transformers in vision including popular recognition tasks (e.g., image classification, object detection, action recognition, and segmentation), generative modeling, multi-modal tasks (e.g., visual-question answering, visual reasoning, and visual grounding), video processing (e.g., activity recognition, video forecasting), low-level vision (e.g., image super-resolution, image enhancement, and colorization) and 3D analysis (e.g., point cloud classification and segmentation). We compare the respective advantages and limitations of popular techniques both in terms of architectural design and their experimental value. Finally, we provide an analysis on open research directions and possible future works. We hope this effort will ignite further interest in the community to solve current challenges towards the application of transformer models in computer vision.

Previous work on action representation learning focused on global representations for short video clips. In contrast, many practical applications, such as video alignment, strongly demand learning the intensive representation of long videos. In this paper, we introduce a new framework of contrastive action representation learning (CARL) to learn frame-wise action representation in a self-supervised or weakly-supervised manner, especially for long videos. Specifically, we introduce a simple but effective video encoder that considers both spatial and temporal context by combining convolution and transformer. Inspired by the recent massive progress in self-supervised learning, we propose a new sequence contrast loss (SCL) applied to two related views obtained by expanding a series of spatio-temporal data in two versions. One is the self-supervised version that optimizes embedding space by minimizing KL-divergence between sequence similarity of two augmented views and prior Gaussian distribution of timestamp distance. The other is the weakly-supervised version that builds more sample pairs among videos using video-level labels by dynamic time wrapping (DTW). Experiments on FineGym, PennAction, and Pouring datasets show that our method outperforms previous state-of-the-art by a large margin for downstream fine-grained action classification and even faster inference. Surprisingly, although without training on paired videos like in previous works, our self-supervised version also shows outstanding performance in video alignment and fine-grained frame retrieval tasks.

我们介绍了一种视听方法，用于远程文本到视频检索。与以前专为简短视频检索设计的方法（例如，持续时间为5-15秒）不同，我们的方法旨在检索捕获复杂人类动作的长时间视频。仅标准视频方法的一个挑战是与从这样的长视频中处理数百个密集提取的帧相关的大量计算成本。为了解决这个问题，我们建议用紧凑的音频提示替换视频的部分，这些线索简洁地汇总了动态音频事件，并且处理便宜。我们的方法称为Eclipse（带有声音编码的有效剪辑），通过添加一个统一的视听变压器块，将流行的剪辑模型调整为视听视频设置，该块从视频和音频流中捕获互补的提示。除了比仅长期视频的方法快2.92倍和2.34倍的内存效率外，我们的方法还可以在几个不同的远程视频数据集上，例如ActivityNet，QVHighighlights，Youcoook2，Youcoook2，Youcook2，Youcook2，Youcook2，Youcook2，Youcook2，Youcook2， Didemo和Charades。

我们呈现了基于纯变压器的视频分类模型，在图像分类中最近的近期成功进行了借鉴。我们的模型从输入视频中提取了时空令牌，然后由一系列变压器层编码。为了处理视频中遇到的令牌的长序列，我们提出了我们模型的几种有效的变体，它们将输入的空间和时间维构建。虽然已知基于变换器的模型只有在可用的大型训练数据集时才有效，但我们展示了我们如何在训练期间有效地规范模型，并利用预先训练的图像模型能够在相对小的数据集上训练。我们进行彻底的消融研究，并在包括动力学400和600，史诗厨房，东西的多个视频分类基准上实现最先进的结果，其中 - 基于深度3D卷积网络的现有方法表现出优先的方法。为了促进进一步的研究，我们在https://github.com/google-research/scenic/tree/main/scenic/projects/vivit发布代码

视觉变压器正在成为解决计算机视觉问题的强大工具。最近的技术还证明了超出图像域之外的变压器来解决许多与视频相关的任务的功效。其中，由于其广泛的应用，人类的行动识别是从研究界受到特别关注。本文提供了对动作识别的视觉变压器技术的首次全面调查。我们朝着这个方向分析并总结了现有文献和新兴文献，同时突出了适应变形金刚以进行动作识别的流行趋势。由于其专业应用，我们将这些方法统称为``动作变压器''。我们的文献综述根据其架构，方式和预期目标为动作变压器提供了适当的分类法。在动作变压器的背景下，我们探讨了编码时空数据，降低维度降低，框架贴片和时空立方体构造以及各种表示方法的技术。我们还研究了变压器层中时空注意的优化，以处理更长的序列，通常通过减少单个注意操作中的令牌数量。此外，我们还研究了不同的网络学习策略，例如自我监督和零局学习，以及它们对基于变压器的行动识别的相关损失。这项调查还总结了在具有动作变压器重要基准的评估度量评分方面取得的进步。最后，它提供了有关该研究方向的挑战，前景和未来途径的讨论。

While today's video recognition systems parse snapshots or short clips accurately, they cannot connect the dots and reason across a longer range of time yet. Most existing video architectures can only process <5 seconds of a video without hitting the computation or memory bottlenecks. In this paper, we propose a new strategy to overcome this challenge. Instead of trying to process more frames at once like most existing methods, we propose to process videos in an online fashion and cache "memory" at each iteration. Through the memory, the model can reference prior context for long-term modeling, with only a marginal cost. Based on this idea, we build MeMViT, a Memory-augmented Multiscale Vision Transformer, that has a temporal support 30x longer than existing models with only 4.5% more compute; traditional methods need >3,000% more compute to do the same. On a wide range of settings, the increased temporal support enabled by MeMViT brings large gains in recognition accuracy consistently. MeMViT obtains state-of-the-art results on the AVA, EPIC-Kitchens-100 action classification, and action anticipation datasets. Code and models are available at https://github.com/facebookresearch/memvit.

We present Multiscale Vision Transformers (MViT) for video and image recognition, by connecting the seminal idea of multiscale feature hierarchies with transformer models. Multiscale Transformers have several channel-resolution scale stages. Starting from the input resolution and a small channel dimension, the stages hierarchically expand the channel capacity while reducing the spatial resolution. This creates a multiscale pyramid of features with early layers operating at high spatial resolution to model simple low-level visual information, and deeper layers at spatially coarse, but complex, high-dimensional features. We evaluate this fundamental architectural prior for modeling the dense nature of visual signals for a variety of video recognition tasks where it outperforms concurrent vision transformers that rely on large scale external pre-training and are 5-10× more costly in computation and parameters. We further remove the temporal dimension and apply our model for image classification where it outperforms prior work on vision transformers. Code is available at: https: //github.com/facebookresearch/SlowFast.

手术视频中的活动识别是开发下一代设备和工作流程监测系统的关键研究领域。由于手术是具有高度变化长度的较长过程，因此用于手术视频的深度学习模型通常包括使用主链和时间序列模型的两阶段设置。在本文中，我们研究了许多最新的骨干和时间模型，以找到为手术活动识别提供最强性能的体系结构。我们首先在大规模活动识别数据集上进行模型性能，该数据集包含在多个临床手术室中捕获的800多个手术视频。我们进一步评估了两个较小的公共数据集（Cholec80和Cataract-101数据集）上的模型，分别包含80个视频和101个视频。我们从经验上发现，Swin-Transformer+BigRU时间模型在两个数据集上都产生了强劲的性能。最后，我们通过对新医院进行微调模型来研究模型对新领域的适应性，并试验最近无监督的域适应方法。

最近，视频变压器在视频理解方面取得了巨大成功，超过了CNN性能;然而，现有的视频变换器模型不会明确地模拟对象，尽管对象对于识别操作至关重要。在这项工作中，我们呈现对象区域视频变换器（Orvit），一个\ emph {对象为中心}方法，它与直接包含对象表示的块扩展视频变压器图层。关键的想法是从早期层开始融合以对象形式的表示，并将它们传播到变压器层中，从而影响整个网络的时空表示。我们的orvit块由两个对象级流组成：外观和动态。在外观流中，“对象区域关注”模块在修补程序上应用自我关注和\ emph {对象区域}。以这种方式，Visual对象区域与统一修补程序令牌交互，并通过上下文化对象信息来丰富它们。我们通过单独的“对象 - 动态模块”进一步模型对象动态，捕获轨迹交互，并显示如何集成两个流。我们在四个任务和五个数据集中评估我们的模型：在某事物中的某些问题和几次射击动作识别，以及在AVA上的某些时空动作检测，以及在某种东西上的标准动作识别 - 某种东西 - 东西，潜水48和EPIC-Kitchen100。我们在考虑的所有任务和数据集中展示了强大的性能改进，展示了将对象表示的模型的值集成到变压器体系结构中。对于代码和预用模型，请访问项目页面\ url {https://roeiherz.github.io/orvit/}

视频摘要旨在自动生成视频的摘要（故事板或视频浏览器），这可以促进大规模视频检索和浏览。大多数现有方法对单个视频进行视频摘要，这些视频忽略了相似视频之间的相关性。然而，这种相关性也是视频理解和视频摘要的信息。为了解决此限制，我们提出了基于分层变压器（VJMHT）的视频联合建模，共综合化，这考虑了跨视频的语义依赖关系。具体而言，VJMHT由两层变压器组成：第一层从类似视频的各个拍摄提取语义表示，而第二层执行射门视频联合建模以聚合交叉视频语义信息。通过这种方式，可以明确建模并学习完整的跨视频高级模式，以便为个人视频的摘要而学习。此外，引入了基于变压器的视频表示重建，以最大化摘要和原始视频之间的高电平相似性。进行广泛的实验以验证所提出的模块的有效性以及VJMHT在F测量和基于秩的评估方面的优越性。

时间动作本地化在视频分析中起着重要作用，该视频分析旨在将动作定位和分类在未修剪视频中。先前的方法通常可以预测单个时间尺度的特征空间上的动作。但是，低级量表的时间特征缺乏足够的语义来进行动作分类，而高级尺度则无法提供动作边界的丰富细节。为了解决这个问题，我们建议预测多个颞尺度特征空间的动作。具体而言，我们使用不同尺度的精致特征金字塔将语义从高级尺度传递到低级尺度。此外，为了建立整个视频的长时间尺度，我们使用时空变压器编码器来捕获视频帧的远程依赖性。然后，具有远距离依赖性的精制特征被送入分类器以进行粗糙的动作预测。最后，为了进一步提高预测准确性，我们建议使用框架级别的自我注意模块来完善每个动作实例的分类和边界。广泛的实验表明，所提出的方法可以超越Thumos14数据集上的最先进方法，并在ActivityNet1.3数据集上实现可比性的性能。与A2NET（tip20，avg \ {0.3：0.7 \}），sub-action（csvt2022，avg \ {0.1：0.5 \}）和afsd（cvpr21，avg \ {0.3：0.7 \}） ，提出的方法分别可以提高12.6 \％，17.4 \％和2.2 \％

自动手术场景细分是促进现代手术剧院认知智能的基础。以前的作品依赖于常规的聚合模块（例如扩张的卷积，卷积LSTM），仅利用局部环境。在本文中，我们提出了一个新颖的框架STSWINCL，该框架通过逐步捕获全球环境来探讨互补的视频内和访问间关系以提高细分性能。我们首先开发了层次结构变压器，以捕获视频内关系，其中包括来自邻居像素和以前的帧的富裕空间和时间提示。提出了一个联合时空窗口移动方案，以有效地将这两个线索聚集到每个像素嵌入中。然后，我们通过像素到像素对比度学习探索视频间的关系，该学习很好地结构了整体嵌入空间。开发了一个多源对比度训练目标，可以将视频中的像素嵌入和基础指导分组，这对于学习整个数据的全球属性至关重要。我们在两个公共外科视频基准测试中广泛验证了我们的方法，包括Endovis18 Challenge和Cadis数据集。实验结果证明了我们的方法的有希望的性能，这始终超过了先前的最新方法。代码可在https://github.com/yuemingjin/stswincl上找到。

纯视觉变压器体系结构对于简短的视频分类和动作识别任务非常有效。但是，由于自我注意力的二次复杂性和缺乏归纳偏见，变压器是资源密集的，并且遭受了数据效率低下的困扰。长期的视频理解任务扩大了变压器的数据和内存效率问题，使当前方法无法在数据或内存限制域上实施。本文介绍了有效的时空注意网络（Stan），该网络使用两流变压器体系结构来模拟静态图像特征和时间上下文特征之间的依赖性。我们提出的方法可以在单个GPU上进行长达两分钟的视频，这是数据效率的，并且可以在几个长的视频理解任务上实现SOTA性能。

在本文中，我们提出了第一个基于变压器的模型，该模型解决了以自我为中心凝视估计的具有挑战性的问题。我们观察到，全局场景上下文和本地视觉信息之间的连接对于从以自我为中心的视频帧进行凝视固定至关重要。为此，我们设计了变压器编码器将全局上下文嵌入为一个附加的视觉令牌，并进一步提出了一种新型的全球 - 本地相关（GLC）模块，以明确模拟全局令牌和每个本地令牌的相关性。我们在两个以自我为中心的视频数据集中验证了我们的模型-EGTEA凝视+和EGO4D。我们的详细消融研究证明了我们方法的好处。此外，我们的方法超过了先前的最新空间。我们还提供了其他可视化，以支持我们的主张，即全球 - 本地相关性是预测以自我为中心视频的凝视固定的关键表示。更多详细信息可以在我们的网站（https://bolinlai.github.io/glc-egogazeest）中找到。

最近的动作识别模型通过整合对象，其位置和互动来取得令人印象深刻的结果。但是，为每个框架获得密集的结构化注释是乏味且耗时的，使这些方法的训练昂贵且可扩展性较低。同时，如果可以在感兴趣的域内或之外使用一小部分带注释的图像，我们如何将它们用于下游任务的视频？我们提出了一个学习框架的结构（简称SVIT），该结构证明了仅在训练过程中仅可用的少量图像的结构才能改善视频模型。 SVIT依靠两个关键见解。首先，由于图像和视频都包含结构化信息，因此我们用一组\ emph {对象令牌}丰富了一个可以在图像和视频中使用的\ emph {对象令牌}的模型。其次，视频中各个帧的场景表示应与静止图像的场景表示“对齐”。这是通过\ emph {frame-clip一致性}损失来实现的，该损失可确保图像和视频之间结构化信息的流动。我们探索场景结构的特定实例化，即\ emph {手对象图}，由手和对象组成，其位置为节点，以及触点/no-contact的物理关系作为边缘。 SVIT在多个视频理解任务和数据集上显示出强烈的性能改进；它在EGO4D CVPR'22对象状态本地化挑战中赢得了第一名。对于代码和预算模型，请访问\ url {https://eladb3.github.io/svit/}的项目页面

时间动作定位中的大多数现代方法将此问题分为两个部分：（i）短期特征提取和（ii）远程时间边界定位。由于处理长期未修剪的视频引起的GPU内存成本很高，因此许多方法通过冷冻骨干或使用小型空间视频分辨率来牺牲短期功能提取器的代表力。由于最近的视频变压器模型，其中许多具有二次记忆复杂性，这个问题变得更糟。为了解决这些问题，我们提出了TallFormer，这是一种具有长期内存的记忆效率和端到端的可训练时间动作定位变压器。我们的长期记忆机制消除了在每个训练迭代期间处理数百个冗余视频帧的需求，从而大大减少了GPU的记忆消耗和训练时间。这些效率节省使我们（i）可以使用功能强大的视频变压器提取器，而无需冷冻主链或减少空间视频分辨率，而（ii）也保持了远距离的时间边界定位能力。只有RGB框架作为输入，没有外部动作识别分类器，TallFormer的表现优于先前的最先前的边距，在Thumos14上获得了59.1％的平均地图，而ActivityNet-1.3的平均地图为35.6％。该代码可公开：https：//github.com/klauscc/tallformer。

vision变压器（VIT）最近在图像分类上实现了对卷积神经网络（CNNS）的可比结果的强大能力。然而，Vanilla Vit只是直接从自然语言处理继承相同的架构，这通常不会针对视觉应用进行优化。在这篇文章的推动中，我们提出了一种采用金字塔结构的新架构，并在视觉变压器中采用新的区域到局部关注，而不是全球自我关注。更具体地，我们的模型首先从具有不同补丁大小的图像生成区域令牌和本地标记，其中每个区域令牌与基于空间位置的一组本地代币相关联。区域到当地的注意力包括两个步骤：第一，区域自我关注提取所有区域代币之间的全球信息，然后通过自我关注将局部自我关注与相关的本地代币之间的信息交换。因此，尽管局部自我关注限制了当地区域的范围，但它仍然可以接收全球信息。在四个视觉任务中进行广泛的实验，包括图像分类，对象和关键点检测，语义分割和动作识别，表明我们的方法优于或与最先进的Vit变体（包括许多并发作品）的差异。我们的源代码和模型可在https://github.com/ibm/regionvit上使用。