卷积是现代神经网络最重要的特征变革，导致深度学习的进步。最近的变压器网络的出现，取代具有自我关注块的卷积层，揭示了静止卷积粒的限制，并将门打开到动态特征变换的时代。然而，现有的动态变换包括自我关注，全部限制了视频理解，其中空间和时间的对应关系，即运动信息，对于有效表示至关重要。在这项工作中，我们引入了一个关系功能转换，称为关系自我关注（RSA），通过动态生成关系内核和聚合关系上下文来利用视频中丰富的时空关系结构。我们的实验和消融研究表明，RSA网络基本上表现出卷积和自我关注的同行，在标准的运动中心基准上实现了用于视频动作识别的标准主导的基准，例如用于V1＆V2，潜水48和Filegym。

时空卷积通常无法学习视频中的运动动态，因此在野外的视频理解需要有效的运动表示。在本文中，我们提出了一种基于时空自相似性（STS）的丰富和强大的运动表示。给定一系列帧，STS表示每个局部区域作为空间和时间的邻居的相似度。通过将外观特征转换为关系值，它使学习者能够更好地识别空间和时间的结构模式。我们利用了整个STS，让我们的模型学会从中提取有效的运动表示。建议的神经块被称为自拍，可以轻松插入神经架构中，并在没有额外监督的情况下训练结束。在空间和时间内具有足够的邻域，它有效地捕获视频中的长期交互和快速运动，导致强大的动作识别。我们的实验分析证明了其对运动建模方法的优越性以及与直接卷积的时空特征的互补性。在标准动作识别基准测试中，某事-V1＆V2，潜水-48和FineGym，该方法实现了最先进的结果。

Vision Transformers (ViTs) have become a dominant paradigm for visual representation learning with self-attention operators. Although these operators provide flexibility to the model with their adjustable attention kernels, they suffer from inherent limitations: (1) the attention kernel is not discriminative enough, resulting in high redundancy of the ViT layers, and (2) the complexity in computation and memory is quadratic in the sequence length. In this paper, we propose a novel attention operator, called lightweight structure-aware attention (LiSA), which has a better representation power with log-linear complexity. Our operator learns structural patterns by using a set of relative position embeddings (RPEs). To achieve log-linear complexity, the RPEs are approximated with fast Fourier transforms. Our experiments and ablation studies demonstrate that ViTs based on the proposed operator outperform self-attention and other existing operators, achieving state-of-the-art results on ImageNet, and competitive results on other visual understanding benchmarks such as COCO and Something-Something-V2. The source code of our approach will be released online.

自我关注学习成对相互作用以模型远程依赖性，从而产生了对视频动作识别的巨大改进。在本文中，我们寻求更深入地了解视频中的时间建模的自我关注。我们首先表明通过扁平所有像素通过扁平化的时空信息的缠结建模是次优的，未明确捕获帧之间的时间关系。为此，我们介绍了全球暂时关注（GTA），以脱钩的方式在空间关注之上进行全球时间关注。我们在像素和语义类似地区上应用GTA，以捕获不同水平的空间粒度的时间关系。与计算特定于实例的注意矩阵的传统自我关注不同，GTA直接学习全局注意矩阵，该矩阵旨在编码遍布不同样本的时间结构。我们进一步增强了GTA的跨通道多头方式，以利用通道交互以获得更好的时间建模。对2D和3D网络的广泛实验表明，我们的方法一致地增强了时间建模，并在三个视频动作识别数据集中提供最先进的性能。

在视频数据中，来自移动区域的忙碌运动细节在频域中的特定频率带宽内传送。同时，视频数据的其余频率是用具有实质冗余的安静信息编码，这导致现有视频模型中的低处理效率作为输入原始RGB帧。在本文中，我们考虑为处理重要忙碌信息的处理和对安静信息的计算的处理分配。我们设计可训练的运动带通量模块（MBPM），用于将繁忙信息从RAW视频数据中的安静信息分开。通过将MBPM嵌入到两个路径CNN架构中，我们定义了一个繁忙的网络（BQN）。 BQN的效率是通过避免由两个路径处理的特征空间中的冗余来确定：一个在低分辨率的安静特征上运行，而另一个处理繁忙功能。所提出的BQN在某物V1，Kinetics400，UCF101和HMDB51数据集中略高于最近最近的视频处理模型。

有效地对视频中的空间信息进行建模对于动作识别至关重要。为了实现这一目标，最先进的方法通常采用卷积操作员和密集的相互作用模块，例如非本地块。但是，这些方法无法准确地符合视频中的各种事件。一方面，采用的卷积是有固定尺度的，因此在各种尺度的事件中挣扎。另一方面，密集的相互作用建模范式仅在动作 - 欧元零件时实现次优性能，给最终预测带来了其他噪音。在本文中，我们提出了一个统一的动作识别框架，以通过引入以下设计来研究视频内容的动态性质。首先，在提取本地提示时，我们会生成动态尺度的时空内核，以适应各种事件。其次，为了将这些线索准确地汇总为全局视频表示形式，我们建议仅通过变压器在一些选定的前景对象之间进行交互，从而产生稀疏的范式。我们将提出的框架称为事件自适应网络（EAN），因为这两个关键设计都适应输入视频内容。为了利用本地细分市场内的短期运动，我们提出了一种新颖有效的潜在运动代码（LMC）模块，进一步改善了框架的性能。在几个大规模视频数据集上进行了广泛的实验，例如，某种东西，动力学和潜水48，验证了我们的模型是否在低拖鞋上实现了最先进或竞争性的表演。代码可在：https：//github.com/tianyuan168326/ean-pytorch中找到。

我们呈现了基于纯变压器的视频分类模型，在图像分类中最近的近期成功进行了借鉴。我们的模型从输入视频中提取了时空令牌，然后由一系列变压器层编码。为了处理视频中遇到的令牌的长序列，我们提出了我们模型的几种有效的变体，它们将输入的空间和时间维构建。虽然已知基于变换器的模型只有在可用的大型训练数据集时才有效，但我们展示了我们如何在训练期间有效地规范模型，并利用预先训练的图像模型能够在相对小的数据集上训练。我们进行彻底的消融研究，并在包括动力学400和600，史诗厨房，东西的多个视频分类基准上实现最先进的结果，其中 - 基于深度3D卷积网络的现有方法表现出优先的方法。为了促进进一步的研究，我们在https://github.com/google-research/scenic/tree/main/scenic/projects/vivit发布代码

Temporal modeling is key for action recognition in videos. It normally considers both short-range motions and long-range aggregations. In this paper, we propose a Temporal Excitation and Aggregation (TEA) block, including a motion excitation (ME) module and a multiple temporal aggregation (MTA) module, specifically designed to capture both short-and long-range temporal evolution. In particular, for short-range motion modeling, the ME module calculates the feature-level temporal differences from spatiotemporal features. It then utilizes the differences to excite the motion-sensitive channels of the features. The long-range temporal aggregations in previous works are typically achieved by stacking a large number of local temporal convolutions. Each convolution processes a local temporal window at a time. In contrast, the MTA module proposes to deform the local convolution to a group of subconvolutions, forming a hierarchical residual architecture. Without introducing additional parameters, the features will be processed with a series of sub-convolutions, and each frame could complete multiple temporal aggregations with neighborhoods. The final equivalent receptive field of temporal dimension is accordingly enlarged, which is capable of modeling the long-range temporal relationship over distant frames. The two components of the TEA block are complementary in temporal modeling. Finally, our approach achieves impressive results at low FLOPs on several action recognition benchmarks, such as Kinetics, Something-Something, HMDB51, and UCF101, which confirms its effectiveness and efficiency.

Spatiotemporal and motion features are two complementary and crucial information for video action recognition. Recent state-of-the-art methods adopt a 3D CNN stream to learn spatiotemporal features and another flow stream to learn motion features. In this work, we aim to efficiently encode these two features in a unified 2D framework. To this end, we first propose an STM block, which contains a Channel-wise SpatioTemporal Module (CSTM) to present the spatiotemporal features and a Channel-wise Motion Module (CMM) to efficiently encode motion features. We then replace original residual blocks in the ResNet architecture with STM blcoks to form a simple yet effective STM network by introducing very limited extra computation cost. Extensive experiments demonstrate that the proposed STM network outperforms the state-of-the-art methods on both temporal-related datasets (i.e., Something-Something v1 & v2 and Jester) and scene-related datasets (i.e., Kinetics-400, UCF-101, and HMDB-51) with the help of encoding spatiotemporal and motion features together. * The work was done during an internship at SenseTime.

动作检测的任务旨在在每个动作实例中同时推论动作类别和终点的本地化。尽管Vision Transformers推动了视频理解的最新进展，但由于在长时间的视频剪辑中，设计有效的架构以进行动作检测是不平凡的。为此，我们提出了一个有效的层次时空时空金字塔变压器（STPT）进行动作检测，这是基于以下事实：变压器中早期的自我注意力层仍然集中在局部模式上。具体而言，我们建议在早期阶段使用本地窗口注意来编码丰富的局部时空时空表示，同时应用全局注意模块以捕获后期的长期时空依赖性。通过这种方式，我们的STPT可以用冗余的大大减少来编码区域和依赖性，从而在准确性和效率之间进行有希望的权衡。例如，仅使用RGB输入，提议的STPT在Thumos14上获得了53.6％的地图，超过10％的I3D+AFSD RGB模型超过10％，并且对使用其他流量的额外流动功能的表现较少，该流量具有31％的GFLOPS ，它是一个有效，有效的端到端变压器框架，用于操作检测。

We present Multiscale Vision Transformers (MViT) for video and image recognition, by connecting the seminal idea of multiscale feature hierarchies with transformer models. Multiscale Transformers have several channel-resolution scale stages. Starting from the input resolution and a small channel dimension, the stages hierarchically expand the channel capacity while reducing the spatial resolution. This creates a multiscale pyramid of features with early layers operating at high spatial resolution to model simple low-level visual information, and deeper layers at spatially coarse, but complex, high-dimensional features. We evaluate this fundamental architectural prior for modeling the dense nature of visual signals for a variety of video recognition tasks where it outperforms concurrent vision transformers that rely on large scale external pre-training and are 5-10× more costly in computation and parameters. We further remove the temporal dimension and apply our model for image classification where it outperforms prior work on vision transformers. Code is available at: https: //github.com/facebookresearch/SlowFast.

Both convolutional and recurrent operations are building blocks that process one local neighborhood at a time. In this paper, we present non-local operations as a generic family of building blocks for capturing long-range dependencies. Inspired by the classical non-local means method [4] in computer vision, our non-local operation computes the response at a position as a weighted sum of the features at all positions. This building block can be plugged into many computer vision architectures. On the task of video classification, even without any bells and whistles, our nonlocal models can compete or outperform current competition winners on both Kinetics and Charades datasets.In static image recognition, our non-local models improve object detection/segmentation and pose estimation on the COCO suite of tasks. Code will be made available.

最近，视频变压器在视频理解方面取得了巨大成功，超过了CNN性能;然而，现有的视频变换器模型不会明确地模拟对象，尽管对象对于识别操作至关重要。在这项工作中，我们呈现对象区域视频变换器（Orvit），一个\ emph {对象为中心}方法，它与直接包含对象表示的块扩展视频变压器图层。关键的想法是从早期层开始融合以对象形式的表示，并将它们传播到变压器层中，从而影响整个网络的时空表示。我们的orvit块由两个对象级流组成：外观和动态。在外观流中，“对象区域关注”模块在修补程序上应用自我关注和\ emph {对象区域}。以这种方式，Visual对象区域与统一修补程序令牌交互，并通过上下文化对象信息来丰富它们。我们通过单独的“对象 - 动态模块”进一步模型对象动态，捕获轨迹交互，并显示如何集成两个流。我们在四个任务和五个数据集中评估我们的模型：在某事物中的某些问题和几次射击动作识别，以及在AVA上的某些时空动作检测，以及在某种东西上的标准动作识别 - 某种东西 - 东西，潜水48和EPIC-Kitchen100。我们在考虑的所有任务和数据集中展示了强大的性能改进，展示了将对象表示的模型的值集成到变压器体系结构中。对于代码和预用模型，请访问项目页面\ url {https://roeiherz.github.io/orvit/}

本文介绍了一种基于纯变压器的方法，称为视频动作识别的多模态视频变压器（MM-VIT）。与仅利用解码的RGB帧的其他方案不同，MM-VIT专门在压缩视频域中进行操作，并利用所有容易获得的模式，即I帧，运动向量，残差和音频波形。为了处理从多种方式提取的大量时空令牌，我们开发了几种可扩展的模型变体，它们将自我关注分解在空间，时间和模态尺寸上。此外，为了进一步探索丰富的模态互动及其效果，我们开发并比较了可以无缝集成到变压器构建块中的三种不同的交叉模态注意力机制。关于三个公共行动识别基准的广泛实验（UCF-101，某事-V2，Kinetics-600）证明了MM-VIT以效率和准确性的最先进的视频变压器，并且表现更好或同样地表现出对于具有计算重型光学流的最先进的CNN对应物。

人类自然有效地在复杂的场景中找到突出区域。通过这种观察的动机，引入了计算机视觉中的注意力机制，目的是模仿人类视觉系统的这一方面。这种注意机制可以基于输入图像的特征被视为动态权重调整过程。注意机制在许多视觉任务中取得了巨大的成功，包括图像分类，对象检测，语义分割，视频理解，图像生成，3D视觉，多模态任务和自我监督的学习。在本调查中，我们对计算机愿景中的各种关注机制进行了全面的审查，并根据渠道注意，空间关注，暂时关注和分支注意力进行分类。相关的存储库https：//github.com/menghaoguo/awesome-vision-tions致力于收集相关的工作。我们还建议了未来的注意机制研究方向。

卷积神经网络（CNN）被认为是视觉识别的首选模型。最近，基于多头自我注意力（MSA）或多层感知器（MLP）的无卷积网络变得越来越流行。然而，由于视频数据的差异和复杂性，利用这些新染色的网络进行视频识别并不是微不足道的。在本文中，我们提出了MLP-3D Networks，这是一种新颖的MLP型3D体系结构，用于视频识别。具体而言，该体系结构由MLP-3D块组成，其中每个块包含一个跨令牌施加的一个MLP（即令牌混合MLP），一个MLP独立地应用于每个令牌（即通道MLP）。通过得出新型的分组时间混合（GTM）操作，我们将基本令牌混合MLP配备了时间建模的能力。 GTM将输入令牌分为几个时间组，并用共享投影矩阵线性地映射每个组中的令牌。此外，我们通过不同的分组策略设计了几种GTM的变体，并通过贪婪的体系结构搜索在MLP-3D网络的不同块中组成每个变体。在不依赖卷积或注意机制的情况下，我们的MLP-3D网络分别获得68.5 \％/81.4 \％\％TOP-1的准确性，分别在某些V2和Kinetics-400数据集上。尽管计算较少，但结果与最新通用的3D CNN和视频变压器相当。源代码可从https://github.com/zhaofanqiu/mlp-3d获得。

自2020年推出以来，Vision Transformers（VIT）一直在稳步打破许多视觉任务的记录，通常被描述为``全部'''替换Convnet。而且对于嵌入式设备不友好。此外，最近的研究表明，标准的转话如果经过重新设计和培训，可以在准确性和可伸缩性方面与VIT竞争。在本文中，我们采用Convnet的现代化结构来设计一种新的骨干，以采取行动，以采取行动特别是我们的主要目标是为工业产品部署服务，例如仅支持标准操作的FPGA董事会。因此，我们的网络仅由2D卷积组成，而无需使用任何3D卷积，远程注意插件或变压器块。在接受较少的时期（5x-10x）训练时，我们的骨干线超过了（2+1）D和3D卷积的方法，并获得可比的结果s在两个基准数据集上具有vit。

对于视频识别任务，总结了视频片段的整个内容的全局表示为最终性能发挥着重要作用。然而，现有的视频架构通常通过使用简单的全局平均池（GAP）方法来生成它，这具有有限的能力捕获视频的复杂动态。对于图像识别任务，存在证据表明协方差汇总具有比GAP更强的表示能力。遗憾的是，在图像识别中使用的这种普通协方差池是无数的代表，它不能模拟视频中固有的时空结构。因此，本文提出了一个时间 - 细心的协方差池（TCP），插入深度架构结束时，以产生强大的视频表示。具体而言，我们的TCP首先开发一个时间注意力模块，以适应性地校准后续协方差汇集的时空特征，近似地产生细心的协方差表示。然后，时间协方差汇总执行临界协方差表示的时间汇集，以表征校准特征的帧内相关性和帧间互相关。因此，所提出的TCP可以捕获复杂的时间动态。最后，引入了快速矩阵功率归一化以利用协方差表示的几何形状。请注意，我们的TCP是模型 - 不可知的，可以灵活地集成到任何视频架构中，导致TCPNet用于有效的视频识别。使用各种视频架构的六个基准（例如动力学，某事物和电力）的广泛实验显示我们的TCPNet明显优于其对应物，同时具有强大的泛化能力。源代码公开可用。

In recent years, the Transformer architecture has shown its superiority in the video-based person re-identification task. Inspired by video representation learning, these methods mainly focus on designing modules to extract informative spatial and temporal features. However, they are still limited in extracting local attributes and global identity information, which are critical for the person re-identification task. In this paper, we propose a novel Multi-Stage Spatial-Temporal Aggregation Transformer (MSTAT) with two novel designed proxy embedding modules to address the above issue. Specifically, MSTAT consists of three stages to encode the attribute-associated, the identity-associated, and the attribute-identity-associated information from the video clips, respectively, achieving the holistic perception of the input person. We combine the outputs of all the stages for the final identification. In practice, to save the computational cost, the Spatial-Temporal Aggregation (STA) modules are first adopted in each stage to conduct the self-attention operations along the spatial and temporal dimensions separately. We further introduce the Attribute-Aware and Identity-Aware Proxy embedding modules (AAP and IAP) to extract the informative and discriminative feature representations at different stages. All of them are realized by employing newly designed self-attention operations with specific meanings. Moreover, temporal patch shuffling is also introduced to further improve the robustness of the model. Extensive experimental results demonstrate the effectiveness of the proposed modules in extracting the informative and discriminative information from the videos, and illustrate the MSTAT can achieve state-of-the-art accuracies on various standard benchmarks.

基于变压器的方法最近在基于2D图像的视力任务上取得了巨大进步。但是，对于基于3D视频的任务，例如动作识别，直接将时空变压器应用于视频数据将带来沉重的计算和记忆负担，因为斑块的数量大大增加以及自我注意计算的二次复杂性。如何对视频数据的3D自我注意力进行有效地建模，这对于变压器来说是一个巨大的挑战。在本文中，我们提出了一种时间贴片移动（TPS）方法，用于在变压器中有效的3D自发明建模，以进行基于视频的动作识别。 TPS在时间尺寸中以特定的镶嵌图模式移动斑块的一部分，从而将香草的空间自我发项操作转换为时空的一部分，几乎没有额外的成本。结果，我们可以使用几乎相同的计算和记忆成本来计算3D自我注意力。 TPS是一个插件模块，可以插入现有的2D变压器模型中，以增强时空特征学习。提出的方法可以通过最先进的V1和V1，潜水-48和Kinetics400实现竞争性能，同时在计算和内存成本方面效率更高。 TPS的源代码可在https://github.com/martinxm/tps上找到。