零射击动作识别（ZSAR）方法的成功与用于转移知识的语义侧信息的性质本质上相关，尽管该方面尚未在文献中进行研究。这项工作基于动作对象和动作描述性句子的关系介绍了一种新的ZSAR方法。我们证明，使用描述句子代表所有对象类时，当使用释义估计方法用作嵌入器时，会生成准确的对象相关估计。我们还展示了如何仅基于一组句子而没有硬人标签的一组句子来估算一组动作类别的概率。在我们的方法中，将这两个全局分类器（即使用在整个视频中计算的功能）的概率组合在一起，从而产生了有效的转移知识模型进行动作分类。我们的结果是Kinetics-400数据集中的最新结果，在ZSAR评估下对UCF-101具有竞争力。我们的代码可在https://github.com/valterlej/objsentzsar上找到

最近，几种方法探索了视频中对象的检测和分类，以便以显着的结果执行零射击动作识别。在这些方法中，类对象关系用于将视觉模式与语义侧信息相关联，因为这些关系也倾向于出现在文本中。因此，Word Vector方法将在其潜在的陈述中反映它们。灵感来自这些方法，并通过视频字幕来描述不仅具有一组对象但具有上下文信息的事件的能力，我们提出了一种方法，其中录像模型称为观察者，提供不同和互补的描述性句子。我们证明，在ZSAR中，代表具有描述性句子的视频而不是深度特征是可行的，并且自然而然地减轻了域适应问题，因为我们在UCF101数据集中达到了最先进的（SOTA）性能，并且在HMDB51上竞争性能他们的训练集。我们还展示了Word Vectors不适合构建我们描述的语义嵌入空间。因此，我们建议用从互联网上获取的搜索引擎获取的文档提取的句子代表课程，而没有任何人类评估描述的描述。最后，我们构建了在多个文本数据集上预先培训的基于BERT的eMbedder的共享语义空间。我们表明，这种预训练对于弥合语义差距至关重要。对于这两种类型的信息，视觉和语义，对此空间的投影很简单，因为它们是句子，使得在此共享空间中的最近邻居规则能够分类。我们的代码可在https://github.com/valterlej/zsarcap上找到。

While video action recognition has been an active area of research for several years, zero-shot action recognition has only recently started gaining traction. In this work, we propose a novel end-to-end trained transformer model which is capable of capturing long range spatiotemporal dependencies efficiently, contrary to existing approaches which use 3D-CNNs. Moreover, to address a common ambiguity in the existing works about classes that can be considered as previously unseen, we propose a new experimentation setup that satisfies the zero-shot learning premise for action recognition by avoiding overlap between the training and testing classes. The proposed approach significantly outperforms the state of the arts in zero-shot action recognition in terms of the the top-1 accuracy on UCF-101, HMDB-51 and ActivityNet datasets. The code and proposed experimentation setup are available in GitHub: https://github.com/Secure-and-Intelligent-Systems-Lab/SemanticVideoTransformer

我们介绍一种基于复杂事件（例如，分钟）可以分解成更简单的事件（例如，几秒钟）的前提的方法来学习无监督的语义视觉信息，并且这些简单事件在多个复杂事件中共享。我们将一个长视频分成短帧序列，以利用三维卷积神经网络提取它们的潜在表示。群集方法用于对产生视觉码本的组表示（即，长视频由集群标签给出的整数序列表示）。通过对码本条目编码共生概率矩阵来学习密集的表示。我们展示了该表示如何利用浓密视频标题任务的性能，只有视觉功能。由于这种方法，我们能够更换双模变压器（BMT）方法中的音频信号，并产生具有可比性的时间提案。此外，与Vanilla变压器方法中的我们的描述符连接视觉信号，与仅探索视觉功能的方法相比，在标题中实现最先进的性能，以及具有多模态方法的竞争性能。我们的代码可在https://github.com/valterlej/dvcusi获得。

在本文中，我们考虑了从长时间的视频到几分钟的长视频进行分类的问题（例如，烹饪不同的食谱，烹饪不同的食谱，进行不同的家庭装修，创建各种形式的艺术和手工艺品）。准确地对这些活动进行分类，不仅需要识别构成任务的单个步骤，还需要捕获其时间依赖性。这个问题与传统的动作分类大不相同，在传统的动作分类中，模型通常在跨越几秒钟的视频上进行了优化，并且手动修剪以包含简单的原子动作。虽然步骤注释可以使模型的培训能够识别程序活动的各个步骤，但由于长时间视频中手动注释时间界的超级注释，因此该领域的现有大规模数据集不包括此类段标签。为了解决这个问题，我们建议通过利用文本知识库（Wikihow）的遥远监督来自动确定教学视频中的步骤，其中包括对执行各种复杂活动所需的步骤的详细描述。我们的方法使用语言模型来匹配视频中自动转录的语音，以在知识库中逐步描述。我们证明，经过训练的视频模型可以识别这些自动标记的步骤（无手动监督）产生了在四个下游任务上实现卓越的概括性能的表示：识别程序活动，步骤分类，步骤预测和以自我为中心的视频分类。

零射击行动识别（ZSAR）旨在识别培训期间从未见过的视频动作。大多数现有方法都假设看到和看不见的动作之间存在共享的语义空间，并打算直接学习从视觉空间到语义空间的映射。视觉空间和语义空间之间的语义差距挑战了这种方法。本文提出了一种新颖的方法，该方法使用对象语义作为特权信息来缩小语义差距，从而有效地帮助学习。特别是，提出了一个简单的幻觉网络，以在不明确提取对象的情况下隐式提取对象语义，并开发了一个交叉注意模块，以增强对象语义的视觉功能。奥林匹克运动，HMDB51和UCF101数据集的实验表明，所提出的方法的表现优于最先进的方法。

Timeyou have a little pressure you are cutting the wood readjusting the table saw I am using a roller sure you applied glue Figure 1: We describe an efficient approach to learn visual representations from misaligned and noisy narrations (bottom) automatically extracted from instructional videos (top). Our video representations are learnt from scratch without relying on any manually annotated visual dataset yet outperform all self-supervised and many fully-supervised methods on several video recognition benchmarks.

视频字幕定位目标将复杂的视觉内容解释为文本说明，这要求模型充分了解包括对象及其交互的视频场景。流行的方法采用现成的对象检测网络来提供对象建议，并使用注意机制来建模对象之间的关系。他们通常会错过一些预验证模型的不确定语义概念，并且无法识别对象之间的确切谓词关系。在本文中，我们研究了为给定视频生成文本描述的开放研究任务，并提出了带有元概念的跨模式图（CMG）。具体而言，为了涵盖视频字幕中有用的语义概念，我们弱地学习了文本描述的相应视觉区域，其中相关的视觉区域和文本单词被命名为跨模式元概念。我们通过学习的跨模式元概念动态地构建元概念图。我们还构建了整体视频级别和本地框架级视频图，并具有预测的谓词，以建模视频序列结构。我们通过广泛的实验来验证我们提出的技术的功效，并在两个公共数据集上实现最新结果。

Learning text-video embeddings usually requires a dataset of video clips with manually provided captions. However, such datasets are expensive and time consuming to create and therefore difficult to obtain on a large scale. In this work, we propose instead to learn such embeddings from video data with readily available natural language annotations in the form of automatically transcribed narrations. The contributions of this work are three-fold. First, we introduce HowTo100M: a large-scale dataset of 136 million video clips sourced from 1.22M narrated instructional web videos depicting humans performing and describing over 23k different visual tasks. Our data collection procedure is fast, scalable and does not require any additional manual annotation. Second, we demonstrate that a text-video embedding trained on this data leads to state-ofthe-art results for text-to-video retrieval and action localization on instructional video datasets such as YouCook2 or CrossTask. Finally, we show that this embedding transfers well to other domains: fine-tuning on generic Youtube videos (MSR-VTT dataset) and movies (LSMDC dataset) outperforms models trained on these datasets alone. Our dataset, code and models are publicly available [1]. * Equal contribution.

视频字幕的规范方法决定了用于从离线提取的密集视频特征学习的标题生成模型。这些特征提取器通常在以固定帧速率采样的视频帧上操作，并且通常在图像/视频理解任务上培训，而不适用于视频标题数据。在这项工作中，我们展示了Swinbert，一种用于视频字幕的基于端到端的变换器的模型，它将视频帧贴片直接作为输入，并输出自然语言描述。我们的方法代替利用多个2D / 3D特征提取器，该方法采用视频变压器来编码可适应可变长度的视频输入，而无需专用设计，可以针对不同的帧速率进行专用设计。基于该模型架构，我们表明视频标题可以从更密集地采样的视频帧中受益匪浅，而不是以前的成功，用于视频和语言理解任务的稀疏采样视频帧（例如，视频问题应答）。此外，为了避免连续视频帧中固有的冗余，我们建议通过更好的远程视频序列建模来自适应地学习稀疏的注意掩模并优化任务特定性能改进。通过对5个视频字幕数据集的广泛实验，我们展示了Swinbert通过较大的余量来实现对以前的方法的整体性能改进。此外，学习的稀疏注意力掩模将限制推向新的技术，可以在不同的视频长度和不同的数据集之间传输。

Neural networks trained on datasets such as ImageNet have led to major advances in visual object classification. One obstacle that prevents networks from reasoning more deeply about complex scenes and situations, and from integrating visual knowledge with natural language, like humans do, is their lack of common sense knowledge about the physical world. Videos, unlike still images, contain a wealth of detailed information about the physical world. However, most labelled video datasets represent high-level concepts rather than detailed physical aspects about actions and scenes. In this work, we describe our ongoing collection of the "something-something" database of video prediction tasks whose solutions require a common sense understanding of the depicted situation. The database currently contains more than 100,000 videos across 174 classes, which are defined as caption-templates. We also describe the challenges in crowd-sourcing this data at scale.

场景分类已确定为一个具有挑战性的研究问题。与单个对象的图像相比，场景图像在语义上可能更为复杂和抽象。它们的差异主要在于识别的粒度水平。然而，图像识别是场景识别良好表现的关键支柱，因为从对象图像中获得的知识可用于准确识别场景。现有场景识别方法仅考虑场景的类别标签。但是，我们发现包含详细的本地描述的上下文信息也有助于允许场景识别模型更具歧视性。在本文中，我们旨在使用对象中编码的属性和类别标签信息来改善场景识别。基于属性和类别标签的互补性，我们提出了一个多任务属性识别识别（MASR）网络，该网络学习一个类别嵌入式，同时预测场景属性。属性采集和对象注释是乏味且耗时的任务。我们通过提出部分监督的注释策略来解决该问题，其中人类干预大大减少。该策略为现实世界情景提供了更具成本效益的解决方案，并且需要减少注释工作。此外，考虑到对象检测到的分数所指示的重要性水平，我们重新进行了权威预测。使用提出的方法，我们有效地注释了四个大型数据集的属性标签，并系统地研究场景和属性识别如何相互受益。实验结果表明，与最先进的方法相比

最近，很少拍摄的视频分类已经获得了越来越令人利益。目前的方法主要集中在有效利用视频中的时间维度，以在低数据制度下改善学习。然而，大多数作品在很大程度上忽略了视频通常伴随着丰富的文本描述，也可以是处理少量拍摄识别情况的重要信息来源。在本文中，我们建议利用这些人提供的文本描述作为培训几次视频分类模型时的特权信息。具体来说，我们制定了一种基于文本的任务调节器，以使视频功能适应几次拍摄的学习任务。此外，我们的模型遵循转换设置，通过使用支持文本描述和查询实例来更新一组类原型来提高模型的任务适应能力。我们的模型在四个具有挑战性的基准测试中实现了最先进的性能，通常用于评估少量拍摄视频动作分类模型。

Can we teach a robot to recognize and make predictions for activities that it has never seen before? We tackle this problem by learning models for video from text. This paper presents a hierarchical model that generalizes instructional knowledge from large-scale text corpora and transfers the knowledge to video. Given a portion of an instructional video, our model recognizes and predicts coherent and plausible actions multiple steps into the future, all in rich natural language. To demonstrate the capabilities of our model, we introduce the \emph{Tasty Videos Dataset V2}, a collection of 4022 recipes for zero-shot learning, recognition and anticipation. Extensive experiments with various evaluation metrics demonstrate the potential of our method for generalization, given limited video data for training models.

While there has been increasing interest in the task of describing video with natural language, current computer vision algorithms are still severely limited in terms of the variability and complexity of the videos and their associated language that they can recognize. This is in part due to the simplicity of current benchmarks, which mostly focus on specific fine-grained domains with limited videos and simple descriptions. While researchers have provided several benchmark datasets for image captioning, we are not aware of any large-scale video description dataset with comprehensive categories yet diverse video content.In this paper we present MSR-VTT (standing for "MSR-Video to Text") which is a new large-scale video benchmark for video understanding, especially the emerging task of translating video to text. This is achieved by collecting 257 popular queries from a commercial video search engine, with 118 videos for each query. In its current version, MSR-VTT provides 10K web video clips with 41.2 hours and 200K clip-sentence pairs in total, covering the most comprehensive categories and diverse visual content, and representing the largest dataset in terms of sentence and vocabulary. Each clip is annotated with about 20 natural sentences by 1,327 AMT workers. We present a detailed analysis of MSR-VTT in comparison to a complete set of existing datasets, together with a summarization of different state-of-the-art video-to-text approaches. We also provide an extensive evaluation of these approaches on this dataset, showing that the hybrid Recurrent Neural Networkbased approach, which combines single-frame and motion representations with soft-attention pooling strategy, yields the best generalization capability on MSR-VTT.

本文研究了体育视频上自动化机器描述的建模，最近取得了很多进展。尽管如此，最新的方法还没有捕捉人类专家如何分析体育场景。有几个主要原因：（1）使用的数据集是从非官方提供商那里收集的，该数据集自然会在这些数据集和现实世界应用程序训练的模型之间造成差距； （2）先前提出的方法需要广泛的注释工作（即，像素级别的玩家和球分割）在本地化有用的视觉特征上以产生可接受的结果； （3）很少有公共数据集可用。在本文中，我们提出了一个新颖的大型NBA数据集，用于体育视频分析（NSVA），重点是字幕，以应对上述挑战。我们还设计了一种统一的方法，将原始视频处理成一堆有意义的功能，并以最小的标签工作进行了处理，这表明使用变压器体系结构对此类功能进行交叉建模会导致强大的性能。此外，我们通过解决了另外两个任务，即精细的运动动作识别和显着的球员识别，证明了NSVA的广泛应用。代码和数据集可在https://github.com/jackwu502/nsva上找到。

The remarkable success of deep learning in various domains relies on the availability of large-scale annotated datasets. However, obtaining annotations is expensive and requires great effort, which is especially challenging for videos. Moreover, the use of human-generated annotations leads to models with biased learning and poor domain generalization and robustness. As an alternative, self-supervised learning provides a way for representation learning which does not require annotations and has shown promise in both image and video domains. Different from the image domain, learning video representations are more challenging due to the temporal dimension, bringing in motion and other environmental dynamics. This also provides opportunities for video-exclusive ideas that advance self-supervised learning in the video and multimodal domain. In this survey, we provide a review of existing approaches on self-supervised learning focusing on the video domain. We summarize these methods into four different categories based on their learning objectives: 1) pretext tasks, 2) generative learning, 3) contrastive learning, and 4) cross-modal agreement. We further introduce the commonly used datasets, downstream evaluation tasks, insights into the limitations of existing works, and the potential future directions in this area.

视觉语言预培训对从大规模Web数据学习联合视觉文本表示的巨大成功，展示了零拍广泛的显着能力。本文介绍了一种简单的方法，可以将一个预先训练的视觉语言模型有效地调整到具有最小培训的新型任务，以及这里，我们考虑视频了解任务。具体而言，我们建议优化几个随机向量，称为连续提示向量，将新颖任务转换为与预培训目标相同的格式。此外，为了弥合静态图像和视频之间的差距，用堆叠在框架明智的视觉特征之上的轻量压变压器编码时分信息。在实验上，我们进行广泛的消融研究，以分析关键组成部分和必需品。在9个公共基准的行动认可，行动本地化和文本 - 视频检索，跨封闭式，几次射击，开放式场景，我们为现有方法实现了竞争或最先进的性能，尽管培训显着更少的参数。

与其2D图像对应物相比，3D点云数据上的零射击学习是一个相关的未置换问题。 3D数据由于不可用的预训练特征提取模型而带来了ZSL的新挑战。为了解决这个问题，我们提出了一种及时引导的3D场景生成和监督方法，该方法可以增强3D数据以更好地学习网络，从而探索可见和看不见的对象的复杂相互作用。首先，我们以提示描述的某些方式合并了两个3D模型的点云。提示的行为就像描述每个3D场景的注释一样。后来，我们进行对比学习，以端到端的方式培训我们所提出的建筑。我们认为，与单​​个对象相比，3D场景可以更有效地关联对象，因为当对象出现在上下文中时，流行的语言模型（如Bert）可以实现高性能。我们提出的及时引导场景生成方法封装了数据扩展和基于及时的注释/字幕，以提高3D ZSL性能。我们已经在合成（ModelNet40，ModelNet10）和实扫描（ScanoJbectnn）3D对象数据集上实现了最新的ZSL和广义ZSL性能。

视频到文本（VTT）是自动生成短视听视频剪辑的描述的任务，可以支持视觉上受损人员以了解YouTube视频的场景。变压器架构在机器翻译和图像标题中表现出具有很大的性能，缺乏对VTT的直接和可重复的应用。但是，对视频描述的不同策略和建议没有全面研究，包括利用完全自临时网络利用随附的音频。因此，我们通过开发直接变压器架构来探索来自图像标题和视频处理的有希望的方法，并将它们应用于VTT。此外，我们介绍了一种在我们呼叫分数位置编码（FPE）的变压器中同步音频和视频特征的新方法。我们在Vatex DataSet上运行多个实验，以确定适用于看不见的数据集的配置，有助于描述自然语言中的短视频剪辑，并与Vanilla变压器网络相比，通过37.13和12.83点改善苹果酒和BLE-4分数。 - MSR-VTT和MSVD数据集的最佳结果。此外，FPE有助于将苹果酒分数增加8.6％。