近年来，评估视频的行动质量引起了计算机视觉群落和人机互动中的不断关注。大多数现有方法通常通过直接从动作识别任务迁移模型来解决这个问题，这忽略了特征映射内的内在差异，例如前景和背景信息。为了解决这个问题，我们提出了一种用于行动质量评估（AQA）的管自我关注网络（TSA网）。具体地，我们将单个对象跟踪器引入AQA并提出了管自我关注模块（TSA），可以通过采用稀疏特征交互有效地产生丰富的时空上下文信息。 TSA模块嵌入在现有的视频网络中以形成TSA-Net。总体而言，我们的TSA-网具有以下优点：1）高计算效率，2）灵活性高，3）最先进的性能。在包括AQA-7和MTL-AQA的流行动作质量评估数据集上进行了广泛的实验。此外，提出了一个名为Fint识别的数据集（FR-FS），以探索花样滑冰场景中的基本动作评估。

Contextual information is vital in visual understanding problems, such as semantic segmentation and object detection. We propose a Criss-Cross Network (CCNet) for obtaining full-image contextual information in a very effective and efficient way. Concretely, for each pixel, a novel criss-cross attention module harvests the contextual information of all the pixels on its criss-cross path. By taking a further recurrent operation, each pixel can finally capture the full-image dependencies. Besides, a category consistent loss is proposed to enforce the criss-cross attention module to produce more discriminative features. Overall, CCNet is with the following merits: 1) GPU memory friendly. Compared with the non-local block, the proposed recurrent criss-cross attention module requires 11× less GPU memory usage. 2) High computational efficiency. The recurrent criss-cross attention significantly reduces FLOPs by about 85% of the non-local block. 3) The state-of-the-art performance. We conduct extensive experiments on semantic segmentation benchmarks including Cityscapes, ADE20K, human parsing benchmark LIP, instance segmentation benchmark COCO, video segmentation benchmark CamVid. In particular, our CCNet achieves the mIoU scores of 81.9%, 45.76% and 55.47% on the Cityscapes test set, the ADE20K validation set and the LIP validation set respectively, which are the new state-of-the-art results. The source codes are available at https://github.com/speedinghzl/CCNet.

In recent years, the Transformer architecture has shown its superiority in the video-based person re-identification task. Inspired by video representation learning, these methods mainly focus on designing modules to extract informative spatial and temporal features. However, they are still limited in extracting local attributes and global identity information, which are critical for the person re-identification task. In this paper, we propose a novel Multi-Stage Spatial-Temporal Aggregation Transformer (MSTAT) with two novel designed proxy embedding modules to address the above issue. Specifically, MSTAT consists of three stages to encode the attribute-associated, the identity-associated, and the attribute-identity-associated information from the video clips, respectively, achieving the holistic perception of the input person. We combine the outputs of all the stages for the final identification. In practice, to save the computational cost, the Spatial-Temporal Aggregation (STA) modules are first adopted in each stage to conduct the self-attention operations along the spatial and temporal dimensions separately. We further introduce the Attribute-Aware and Identity-Aware Proxy embedding modules (AAP and IAP) to extract the informative and discriminative feature representations at different stages. All of them are realized by employing newly designed self-attention operations with specific meanings. Moreover, temporal patch shuffling is also introduced to further improve the robustness of the model. Extensive experimental results demonstrate the effectiveness of the proposed modules in extracting the informative and discriminative information from the videos, and illustrate the MSTAT can achieve state-of-the-art accuracies on various standard benchmarks.

有效地对视频中的空间信息进行建模对于动作识别至关重要。为了实现这一目标，最先进的方法通常采用卷积操作员和密集的相互作用模块，例如非本地块。但是，这些方法无法准确地符合视频中的各种事件。一方面，采用的卷积是有固定尺度的，因此在各种尺度的事件中挣扎。另一方面，密集的相互作用建模范式仅在动作 - 欧元零件时实现次优性能，给最终预测带来了其他噪音。在本文中，我们提出了一个统一的动作识别框架，以通过引入以下设计来研究视频内容的动态性质。首先，在提取本地提示时，我们会生成动态尺度的时空内核，以适应各种事件。其次，为了将这些线索准确地汇总为全局视频表示形式，我们建议仅通过变压器在一些选定的前景对象之间进行交互，从而产生稀疏的范式。我们将提出的框架称为事件自适应网络（EAN），因为这两个关键设计都适应输入视频内容。为了利用本地细分市场内的短期运动，我们提出了一种新颖有效的潜在运动代码（LMC）模块，进一步改善了框架的性能。在几个大规模视频数据集上进行了广泛的实验，例如，某种东西，动力学和潜水48，验证了我们的模型是否在低拖鞋上实现了最先进或竞争性的表演。代码可在：https：//github.com/tianyuan168326/ean-pytorch中找到。

捕获关节之间的依赖关系对于基于骨架的动作识别任务至关重要。变压器显示出模拟重要关节相关性的巨大潜力。然而，基于变压器的方法不能捕获帧之间的不同关节的相关性，因此相邻帧之间的不同体部（例如在长跳跃中的臂和腿）一起移动的相关性非常有用。专注于这个问题，提出了一种新的时空组元变压器（Sttformer）方法。骨架序列被分成几个部分，并且每个部分包含的几个连续帧被编码。然后提出了一种时空元组的自我关注模块，以捕获连续帧中不同关节的关系。另外，在非相邻帧之间引入特征聚合模块以增强区分类似动作的能力。与最先进的方法相比，我们的方法在两个大型数据集中实现了更好的性能。

自我关注学习成对相互作用以模型远程依赖性，从而产生了对视频动作识别的巨大改进。在本文中，我们寻求更深入地了解视频中的时间建模的自我关注。我们首先表明通过扁平所有像素通过扁平化的时空信息的缠结建模是次优的，未明确捕获帧之间的时间关系。为此，我们介绍了全球暂时关注（GTA），以脱钩的方式在空间关注之上进行全球时间关注。我们在像素和语义类似地区上应用GTA，以捕获不同水平的空间粒度的时间关系。与计算特定于实例的注意矩阵的传统自我关注不同，GTA直接学习全局注意矩阵，该矩阵旨在编码遍布不同样本的时间结构。我们进一步增强了GTA的跨通道多头方式，以利用通道交互以获得更好的时间建模。对2D和3D网络的广泛实验表明，我们的方法一致地增强了时间建模，并在三个视频动作识别数据集中提供最先进的性能。

基于文本的视频细分旨在通过用文本查询指定演员及其表演动作来细分视频序列中的演员。由于\ emph {emph {语义不对称}的问题，以前的方法无法根据演员及其动作以细粒度的方式将视频内容与文本查询对齐。 \ emph {语义不对称}意味着在多模式融合过程中包含不同量的语义信息。为了减轻这个问题，我们提出了一个新颖的演员和动作模块化网络，该网络将演员及其动作分别定位在两个单独的模块中。具体来说，我们首先从视频和文本查询中学习与参与者相关的内容，然后以对称方式匹配它们以定位目标管。目标管包含所需的参与者和动作，然后将其送入完全卷积的网络，以预测演员的分割掩模。我们的方法还建立了对象的关联，使其与所提出的时间建议聚合机制交叉多个框架。这使我们的方法能够有效地细分视频并保持预测的时间一致性。整个模型允许联合学习参与者的匹配和细分，并在A2D句子和J-HMDB句子数据集上实现单帧细分和完整视频细分的最新性能。

人类自然有效地在复杂的场景中找到突出区域。通过这种观察的动机，引入了计算机视觉中的注意力机制，目的是模仿人类视觉系统的这一方面。这种注意机制可以基于输入图像的特征被视为动态权重调整过程。注意机制在许多视觉任务中取得了巨大的成功，包括图像分类，对象检测，语义分割，视频理解，图像生成，3D视觉，多模态任务和自我监督的学习。在本调查中，我们对计算机愿景中的各种关注机制进行了全面的审查，并根据渠道注意，空间关注，暂时关注和分支注意力进行分类。相关的存储库https：//github.com/menghaoguo/awesome-vision-tions致力于收集相关的工作。我们还建议了未来的注意机制研究方向。

手卫生是世界卫生组织（WHO）提出的标准六步洗手行动。但是，没有很好的方法来监督医务人员进行手卫生，这带来了疾病传播的潜在风险。在这项工作中，我们提出了一项新的计算机视觉任务，称为手动卫生评估，以为医务人员提供手动卫生的明智监督。现有的行动评估工作通常在整个视频上做出总体质量预测。但是，手动卫生作用的内部结构在手工卫生评估中很重要。因此，我们提出了一个新颖的细粒学习框架，以联合方式进行步骤分割和关键动作得分手，以进行准确的手部卫生评估。现有的时间分割方法通常采用多阶段卷积网络来改善分割的鲁棒性，但由于缺乏远距离依赖性，因此很容易导致过度分割。为了解决此问题，我们设计了一个多阶段卷积转换器网络，以进行步骤细分。基于这样的观察，每个手洗步骤都涉及确定手洗质量的几个关键动作，我们设计了一组关键的动作得分手，以评估每个步骤中关键动作的质量。此外，在手工卫生评估中缺乏统一的数据集。因此，在医务人员的监督下，我们贡献了一个视频数据集，其中包含300个带有细粒注释的视频序列。数据集上的广泛实验表明，我们的方法很好地评估了手动卫生视频并取得了出色的性能。

自动行动质量评估（AQA）由于其广泛的应用而吸引了更多的兴趣。但是，现有的AQA方法通常采用多分支模型来生成多个分数，这对于处理可变数量的法官而言并不灵活。在本文中，我们提出了一种新型的不确定性驱动的AQA（UD-AQA）模型，以仅使用一个单个分支生成多个预测。具体而言，我们设计了基于CVAE（条件变异自动编码器）模块来编码不确定性，其中可以通过多次从学习的潜在空间进行采样来产生多个分数。此外，我们输出了不确定性的估计，并利用预测的不确定性重新体重AQA回归损失，这可以减少不确定样本训练的贡献。我们进一步设计了一种不确定性引导的训练策略，以动态调整样本的学习顺序，从低不确定性到高不确定性。实验表明，我们提出的方法在奥林匹克事件MTL-AQA和手术技能jigsaws数据集上实现了新的最新结果。

人类对象相互作用（HOI）识别的关键是推断人与物体之间的关系。最近，该图像的人类对象相互作用（HOI）检测取得了重大进展。但是，仍然有改善视频HOI检测性能的空间。现有的一阶段方法使用精心设计的端到端网络来检测视频段并直接预测交互。它使网络的模型学习和进一步的优化更加复杂。本文介绍了空间解析和动态时间池（SPDTP）网络，该网络将整个视频作为时空图作为人类和对象节点作为输入。与现有方法不同，我们提出的网络通过显式空间解析预测交互式和非相互作用对之间的差异，然后执行交互识别。此外，我们提出了一个可学习且可区分的动态时间模块（DTM），以强调视频的关键帧并抑制冗余帧。此外，实验结果表明，SPDTP可以更多地关注主动的人类对象对和有效的密钥帧。总体而言，我们在CAD-1220数据集和某些ELSE数据集上实现了最先进的性能。

从视频中估算人的姿势对于人类计算机相互作用至关重要。通过精确估计人类姿势，机器人可以对人类提供适当的反应。大多数现有方法都使用光流，RNN或CNN从视频中提取时间功能。尽管这些尝试取得了积极的结果，但其中大多数仅直接整合沿时间维度的特征，而忽略了关节之间的时间相关性。与以前的方法相反，我们提出了一个基于域交叉注意机制的插件运动学建模模块（KMM），以对不同帧的关节之间的时间相关性进行建模。具体而言，提出的KMM通过计算其时间相似性来模拟任意两个关节之间的时间相关性。这样，KMM可以学习每个关节的运动提示。使用运动提示（时间域）和关节的历史位置（空间域），KMM可以提前推断关节的初始位置。此外，我们还基于KMM提出了一个运动学建模网络（KIMNET），用于通过结合姿势特征和关节的初始位置来获得关节的最终位置。通过对关节之间的时间相关性进行显式建模，Kimnet可以根据前一刻的所有关节来推断遮挡的关节。此外，KMM是通过注意机制实现的，该机制使其能够保持高度分辨率。因此，它可以将丰富的历史姿势信息转移到当前框架上，该信息为定位遮挡关节提供了有效的姿势信息。我们的方法在两个基于视频的姿势估计基准的基准上实现了最新的结果。此外，提出的Kimnet对闭塞显示了一些鲁棒性，证明了所提出的方法的有效性。

计算机视觉任务可以从估计突出物区域和这些对象区域之间的相互作用中受益。识别对象区域涉及利用预借鉴模型来执行对象检测，对象分割和/或对象姿势估计。但是，由于以下原因，在实践中不可行：1）预用模型的训练数据集的对象类别可能不会涵盖一般计算机视觉任务的所有对象类别，2）佩戴型模型训练数据集之间的域间隙并且目标任务的数据集可能会影响性能，3）预磨模模型中存在的偏差和方差可能泄漏到导致无意中偏置的目标模型的目标任务中。为了克服这些缺点，我们建议利用一系列视频帧捕获一组公共对象和它们之间的相互作用的公共基本原理，因此视频帧特征之间的共分割的概念可以用自动的能力装配模型专注于突出区域，以最终的方式提高潜在的任务的性能。在这方面，我们提出了一种称为“共分割激活模块”（COSAM）的通用模块，其可以被插入任何CNN，以促进基于CNN的任何CNN的概念在一系列视频帧特征中的关注。我们在三个基于视频的任务中展示Cosam的应用即1）基于视频的人Re-ID，2）视频字幕分类，并证明COSAM能够在视频帧中捕获突出区域，从而引导对于显着的性能改进以及可解释的关注图。

尽管来自视频的3D人类姿势估算的巨大进展，但是充分利用冗余2D姿势序列来学习用于生成一个3D姿势的代表表示的开放问题。为此，我们提出了一种改进的基于变压器的架构，称为冲压变压器，简单地有效地将长期的2D联合位置升高到单个3D姿势。具体地，采用Vanilla变压器编码器（VTE）来模拟2D姿势序列的远程依赖性。为了减少序列的冗余，vte的前馈网络中的完全连接的层被冲击卷积替换，以逐步缩小序列长度并从本地上下文聚合信息。修改的VTE称为STRIVEIVERCHER ENCODER（STE），其构建在VTE的输出时。 STE不仅有效地将远程信息聚集到分层全球和本地时尚的单载体表示，而且显着降低了计算成本。此外，全序列和单个目标帧尺度都设计了全序，分别适用于VTE和ST的输出。该方案与单个目标帧监督结合施加额外的时间平滑度约束，因此有助于产生更平滑和更准确的3D姿势。所提出的轮廓变压器在两个具有挑战性的基准数据集，Human3.6M和HumanVa-I中进行评估，并通过更少的参数实现最先进的结果。代码和模型可用于\ url {https://github.com/vegetebird/stridedtransformer-pose3d}。

动作检测的任务旨在在每个动作实例中同时推论动作类别和终点的本地化。尽管Vision Transformers推动了视频理解的最新进展，但由于在长时间的视频剪辑中，设计有效的架构以进行动作检测是不平凡的。为此，我们提出了一个有效的层次时空时空金字塔变压器（STPT）进行动作检测，这是基于以下事实：变压器中早期的自我注意力层仍然集中在局部模式上。具体而言，我们建议在早期阶段使用本地窗口注意来编码丰富的局部时空时空表示，同时应用全局注意模块以捕获后期的长期时空依赖性。通过这种方式，我们的STPT可以用冗余的大大减少来编码区域和依赖性，从而在准确性和效率之间进行有希望的权衡。例如，仅使用RGB输入，提议的STPT在Thumos14上获得了53.6％的地图，超过10％的I3D+AFSD RGB模型超过10％，并且对使用其他流量的额外流动功能的表现较少，该流量具有31％的GFLOPS ，它是一个有效，有效的端到端变压器框架，用于操作检测。

基于骨架的动作识别方法受到时空骨骼图的语义提取的限制。但是，当前方法在有效地结合时间和空间图尺寸的特征方面很难，一侧往往厚度厚，另一侧较薄。在本文中，我们提出了一个时间通道聚合图卷积网络（TCA-GCN），以动态有效地学习基于骨架动作识别的不同时间和通道维度中的空间和时间拓扑。我们使用时间聚合模块来学习时间维特征和通道聚合模块，以有效地将空间动态通道拓扑特征与时间动态拓扑特征相结合。此外，我们在时间建模上提取多尺度的骨骼特征，并将其与注意机制融合。广泛的实验表明，在NTU RGB+D，NTU RGB+D 120和NW-UCLA数据集上，我们的模型结果优于最先进的方法。

我们努力努力探索的任务很少，名为Insbestantial对象检测（IOD），该任务旨在以以下特征定位对象：（1）具有不明显的边界的无定形形状； （2）与周围环境相似； （3）颜色不存在。因此，在单个静态框架中区分不理性对象是更具挑战性的，而空间和时间信息的协作表示至关重要。因此，我们构建了一个由600个视频（141,017帧）组成的iod-video数据集，其中涵盖了各种距离，尺寸，可见性和不同光谱范围捕获的场景。此外，我们为IOD开发了一个时空聚合框架，其中部署了不同的骨架，并精心设计了时空聚合损失（Staloss），以利用沿时轴的一致性来利用一致性。在IOD-VIDEO数据集上进行的实验表明，时空聚集可以显着改善IOD的性能。我们希望我们的工作能够吸引进一步的研究，以完成这项有价值但充满挑战的任务。该代码将在：\ url {https://github.com/calayzhou/iod-video}上可用。

最近的非本地自我关注方法已经证明是有效地捕获用于语义细分的远程依赖性。这些方法通常形成RC * C的相似性图（通过压缩空间尺寸）或rhW * HW（通过压缩通道）来描述沿通道或空间尺寸的特征关系，其中C是通道，H和W的数量输入特征映射的空间尺寸。然而，这种做法倾向于沿着其他尺寸的浓缩特征依赖性，因此引起注意丢失，这可能导致小型/薄类别或大物体内部不一致的分割结果。为了解决这个问题，我们提出了一种重新的方法，即完全注意网络（FLANET），以编码单个相似性图中的空间和频道注意，同时保持高计算效率。具体地，对于每个频道图，我们的枫套可以通过新颖的完全注意模块收获来自所有其他信道地图的特征响应和相关的空间位置。我们的新方法在三个具有挑战性的语义细分数据集中实现了最先进的性能，即在城市景观测试集，ADE20K验证集和Pascal VOC测试集中的83.6％，46.99％和88.5％ 。

Temporal modeling is key for action recognition in videos. It normally considers both short-range motions and long-range aggregations. In this paper, we propose a Temporal Excitation and Aggregation (TEA) block, including a motion excitation (ME) module and a multiple temporal aggregation (MTA) module, specifically designed to capture both short-and long-range temporal evolution. In particular, for short-range motion modeling, the ME module calculates the feature-level temporal differences from spatiotemporal features. It then utilizes the differences to excite the motion-sensitive channels of the features. The long-range temporal aggregations in previous works are typically achieved by stacking a large number of local temporal convolutions. Each convolution processes a local temporal window at a time. In contrast, the MTA module proposes to deform the local convolution to a group of subconvolutions, forming a hierarchical residual architecture. Without introducing additional parameters, the features will be processed with a series of sub-convolutions, and each frame could complete multiple temporal aggregations with neighborhoods. The final equivalent receptive field of temporal dimension is accordingly enlarged, which is capable of modeling the long-range temporal relationship over distant frames. The two components of the TEA block are complementary in temporal modeling. Finally, our approach achieves impressive results at low FLOPs on several action recognition benchmarks, such as Kinetics, Something-Something, HMDB51, and UCF101, which confirms its effectiveness and efficiency.

变压器在自然语言处理中的成功最近引起了计算机视觉领域的关注。由于能够学习长期依赖性，变压器已被用作广泛使用的卷积运算符的替代品。事实证明，这种替代者在许多任务中都取得了成功，其中几种最先进的方法依靠变压器来更好地学习。在计算机视觉中，3D字段还见证了使用变压器来增加3D卷积神经网络和多层感知器网络的增加。尽管许多调查都集中在视力中的变压器上，但由于与2D视觉相比，由于数据表示和处理的差异，3D视觉需要特别注意。在这项工作中，我们介绍了针对不同3D视觉任务的100多种变压器方法的系统和彻底审查，包括分类，细分，检测，完成，姿势估计等。我们在3D Vision中讨论了变形金刚的设计，该设计使其可以使用各种3D表示形式处理数据。对于每个应用程序，我们强调了基于变压器的方法的关键属性和贡献。为了评估这些方法的竞争力，我们将它们的性能与12个3D基准测试的常见非转化方法进行了比较。我们通过讨论3D视觉中变压器的不同开放方向和挑战来结束调查。除了提出的论文外，我们的目标是频繁更新最新的相关论文及其相应的实现：https：//github.com/lahoud/3d-vision-transformers。