可以突出显示可以有效地搜索一牌语视频集合的系统作为手语技术的有用应用。然而，在单个关键字超越各个关键字超出视频的问题已经受到文学中的有限关注。为了解决这个差距，在这项工作中，我们介绍了使用自由形式文本查询的手语检索的任务：给定书面查询（例如，句子）和大量的手语视频，目标是找到签名视频在最符合书面查询的集合中。我们建议通过在最近推出的大型How2sign数据集（ASL）上学习跨模型嵌入式来解决这项任务。我们确定系统性能的关键瓶颈是标志视频嵌入的质量，其缺乏标记的训练数据的稀缺。因此，我们提出了迭代对齐的框架，用于交错迭代轮符号斑点和特征对齐，以扩展可用培训数据的范围和规模。我们验证了通过改进签名识别和建议的视频检索任务的嵌入强大的标志视频嵌入的稳健标志视频的有效性。

最近，手语研究人员已转向手语解释的电视广播，包括（i）连续签名的视频和（ii）与音频内容相对应的字幕，作为易于使用和大规模的培训数据来源。此类数据可用性的一个关键挑战是缺乏标志注释。利用这种弱对准数据的先前工作仅发现字幕中的关键字与单个符号之间的稀疏对应关系。在这项工作中，我们提出了一个简单，可扩展的框架，以极大地增加自动注释的密度。我们的贡献如下：（1）我们通过使用同义词和字幕签名对齐来显着改善先前的注释方法； （2）我们将标志识别模型中的伪标签的价值作为标志发现的方式； （3）我们提出了一种新的方法，以增加基于内域示例的已知和未知类别的注释； （4）在Bobsl BSL手语语料库上，我们将自信自动注释的数量从670K增加到5M。我们将这些注释公开用于支持手语研究社区。

在这项工作中，我们介绍了BBC-oxford英国手语（Bobsl）数据集，这是英国手语的大规模视频集合（BSL）。Bobsl是一个基于以前工作中引入的BSL-1K数据集的扩展和公开发布的数据集。我们描述了数据集的动机，以及统计和可用注释。我们进行实验，为标志识别，手语对齐和手语翻译的任务提供基线。最后，我们从机器学习和语言学的角度描述了数据的几个优势和局限，注意数据集中存在的偏差源，并在手语技术背景下讨论Bobsl的潜在应用。数据集可在https://www.robots.ox.ac.uk/~vgg/data/bobsl/处获得。

从大规模训练数据集中获利，神经结构设计和高效推断的进步，联合嵌入成为解决交叉模态检索的主导方法。在这项工作中，我们首先表明，尽管他们有效性，但最先进的联合嵌入从长期的封闭问题中遭受显着遭受显着的困扰，其中少数画廊嵌入形成了许多查询的最近邻居。从NLP文献中汲取灵感，我们制定了一个称为QueryBank归一化（QB-Norm）的简单但有效的框架，该框架重新归属查询相似度，以解释嵌入空间中的集线器。 qb-norm提高了检索性能而不需要再培训。与事先工作不同，我们显示QB-​​Norm有效地工作，而不会对任何测试设置查询进行操作。在QB-Norm框架内，我们还提出了一种新颖的相似性归一化方法，动态倒置Softmax，比现有方法明显更强大。我们在一系列交叉模态检索模型和基准中展示了QB-Norm，在那里它一直增强超出现有技术的强基线。代码可在https://vladbogo.github.io/qb-norm/处获得。

We introduce LaViLa, a new approach to learning video-language representations by leveraging Large Language Models (LLMs). We repurpose pre-trained LLMs to be conditioned on visual input, and finetune them to create automatic video narrators. Our auto-generated narrations offer a number of advantages, including dense coverage of long videos, better temporal synchronization of the visual information and text, and much higher diversity of text. The video-text embedding learned contrastively with these additional auto-generated narrations outperforms the previous state-of-the-art on multiple first-person and third-person video tasks, both in zero-shot and finetuned setups. Most notably, LaViLa obtains an absolute gain of 10.1% on EGTEA classification and 5.9% Epic-Kitchens-100 multi-instance retrieval benchmarks. Furthermore, LaViLa trained with only half the narrations from the Ego4D dataset outperforms baseline models trained on the full set, and shows positive scaling behavior on increasing pre-training data and model size.

Timeyou have a little pressure you are cutting the wood readjusting the table saw I am using a roller sure you applied glue Figure 1: We describe an efficient approach to learn visual representations from misaligned and noisy narrations (bottom) automatically extracted from instructional videos (top). Our video representations are learnt from scratch without relying on any manually annotated visual dataset yet outperform all self-supervised and many fully-supervised methods on several video recognition benchmarks.

在本文中，我们专注于单次符号发现的任务，即给定孤立的符号（查询）的示例，我们希望识别是否在连续，共同铰接的手语视频中出现此标志（目标）。为了实现这一目标，我们提出了一个转换器的网络，称为SignLookup。我们使用3D卷积神经网络（CNNS）来提取视频剪辑的时空表示。为了解决查询和目标视频之间的时间尺度差异，我们使用不同的帧级级别构造来自单个视频剪辑的多个查询。在这些查询剪辑中应用自我关注以模拟连续刻度空间。我们还在目标视频上使用另一个自我关注模块来学习序列内的上下文。最后，使用相互关注来匹配时间尺度来定位目标序列内的查询。广泛的实验表明，无论签名者的外观如何，所提出的方法不仅可以可靠地识别连续视频中的孤立的标志，但也可以概括不同的标志语言。通过利用注意机制和自适应功能，我们的模型在符号发现任务上实现了最先进的性能，精度高达96％，在具有挑战性的基准数据集，并显着优于其他方法。

根据文本描述检索目标视频是巨大实用价值的任务，并且在过去几年中受到了不断的关注。在本文中，我们专注于多查询视频检索的较少设置，其中提供了多个查询，以便搜索视频档案。首先表明，多查询检索任务是更务实的，代表现实世界用例，更好地评估当前模型的检索能力，从而应得进一步调查与更普遍的单程检索再现。然后，我们提出了几种新方法，用于利用训练时间来利用多个查询，以改善从常规单查验训练模型的简单组合多个查询的相似性输出。我们的模型在三个不同的数据集中始终如一地占有几种竞争基础。例如，Recall @ 1可以在MSR-VTT上提高4.7点，在MSVD上的4.1点和Gatex上的11.7点，在最先进的Clip4Clip模型上构建的强大基线。我们相信进一步的建模努力将为这种方向带来新的见解，并在现实世界视频检索应用中表现更好的新系统。代码可在https://github.com/princetonvisualai/mqvr获得。

大规模未标记数据集的预培训显示了计算机视觉和自然语言处理领域的令人印象深刻的性能改进。鉴于大规模教学视频数据集的出现，预训练视频编码器的常见策略是使用随附的语音作为弱监管。但是，由于演讲用于监督预培训，视频编码器从未见过，这不会学会处理该模态。我们解决了当前预训练方法的这种缺点，这未能利用口语语言中的丰富的线索。我们的提议是使用所有可用的视频模型作为监督，即外观，声音和转录语音预先列车。我们在输入中掩盖了整个模态并使用其他两个模态预测它。这鼓励每个码头与其他方式合作，我们的视频编码器学会处理外观和音频以及语音。我们展示了我们在How2R，YouScook2和浓缩电影数据集上视频检索的“模态屏蔽”预培训方法的卓越性能。

近期和越来越越来越多的视频 - 语言研究的兴趣已经推动了大规模数据集的开发，可实现数据密集型机器学习技术。相比之下，在评估这些数据集的适应性时，已经进行了有限的努力进行视频 - 语言接地任务。最近的作品已经开始发现这些数据集中的重大限制，这表明最先进的技术通常会过度地覆盖到隐藏的数据集偏差。在这项工作中，我们呈现MAD（电影音频描述），这是一种新颖的基准，从扩充现有视频数据集的范式，其中包含文本注释，并专注于爬行和对齐主流电影的可用音频描述。 MAD包含超过384,000个自然语言句子，该句子接地为超过1,200小时的视频，并且在视频 - 语言接地数据集中展示目前诊断的偏差显着减少。疯狂的收集策略使新颖且更具挑战性的视频 - 语言接地版本，其中短时间时刻（通常秒长）必须在多样化的长型视频中准确地接地，可以持续长达三个小时。

Most existing text-video retrieval methods focus on cross-modal matching between the visual content of offline videos and textual query sentences. However, in real scenarios, online videos are frequently accompanied by relevant text information such as titles, tags, and even subtitles, which can be utilized to match textual queries. This inspires us to generate associated captions from offline videos to help with existing text-video retrieval methods. To do so, we propose to use the zero-shot video captioner with knowledge of pre-trained web-scale models (e.g., CLIP and GPT-2) to generate captions for offline videos without any training. Given the captions, one question naturally arises: what can auxiliary captions do for text-video retrieval? In this paper, we present a novel framework Cap4Video, which makes use of captions from three aspects: i) Input data: The video and captions can form new video-caption pairs as data augmentation for training. ii) Feature interaction: We perform feature interaction between video and caption to yield enhanced video representations. iii) Output score: The Query-Caption matching branch can be complementary to the original Query-Video matching branch for text-video retrieval. We conduct thorough ablation studies to demonstrate the effectiveness of our method. Without any post-processing, our Cap4Video achieves state-of-the-art performance on MSR-VTT (51.4%), VATEX (66.6%), MSVD (51.8%), and DiDeMo (52.0%).

Can we teach a robot to recognize and make predictions for activities that it has never seen before? We tackle this problem by learning models for video from text. This paper presents a hierarchical model that generalizes instructional knowledge from large-scale text corpora and transfers the knowledge to video. Given a portion of an instructional video, our model recognizes and predicts coherent and plausible actions multiple steps into the future, all in rich natural language. To demonstrate the capabilities of our model, we introduce the \emph{Tasty Videos Dataset V2}, a collection of 4022 recipes for zero-shot learning, recognition and anticipation. Extensive experiments with various evaluation metrics demonstrate the potential of our method for generalization, given limited video data for training models.

Learning text-video embeddings usually requires a dataset of video clips with manually provided captions. However, such datasets are expensive and time consuming to create and therefore difficult to obtain on a large scale. In this work, we propose instead to learn such embeddings from video data with readily available natural language annotations in the form of automatically transcribed narrations. The contributions of this work are three-fold. First, we introduce HowTo100M: a large-scale dataset of 136 million video clips sourced from 1.22M narrated instructional web videos depicting humans performing and describing over 23k different visual tasks. Our data collection procedure is fast, scalable and does not require any additional manual annotation. Second, we demonstrate that a text-video embedding trained on this data leads to state-ofthe-art results for text-to-video retrieval and action localization on instructional video datasets such as YouCook2 or CrossTask. Finally, we show that this embedding transfers well to other domains: fine-tuning on generic Youtube videos (MSR-VTT dataset) and movies (LSMDC dataset) outperforms models trained on these datasets alone. Our dataset, code and models are publicly available [1]. * Equal contribution.

视频瞬间检索旨在找到给定自然语言查询描述的片刻的开始和结束时间戳（视频的一部分）。全面监督的方法需要完整的时间边界注释才能获得有希望的结果，这是昂贵的，因为注释者需要关注整个时刻。弱监督的方法仅依赖于配对的视频和查询，但性能相对较差。在本文中，我们仔细研究了注释过程，并提出了一种称为“ Glance注释”的新范式。该范式需要一个只有一个随机框架的时间戳，我们将其称为“目光”，在完全监督的对应物的时间边界内。我们认为这是有益的，因为与弱监督相比，添加了琐碎的成本，还提供了更大的潜力。在一眼注释设置下，我们提出了一种基于对比度学习的一眼注释（VIGA），称为视频力矩检索的方法。 Viga将输入视频切成片段，并在剪辑和查询之间形成对比，其中一眼指导的高斯分布重量被分配给所有夹子。我们的广泛实验表明，VIGA通过很大的边距较小的弱监督方法获得了更好的结果，甚至可以在某些情况下与完全监督的方法相媲美。

Recent video+language datasets cover domains where the interaction is highly structured, such as instructional videos, or where the interaction is scripted, such as TV shows. Both of these properties can lead to spurious cues to be exploited by models rather than learning to ground language. In this paper, we present GrOunded footbAlL commentaries (GOAL), a novel dataset of football (or `soccer') highlights videos with transcribed live commentaries in English. As the course of a game is unpredictable, so are commentaries, which makes them a unique resource to investigate dynamic language grounding. We also provide state-of-the-art baselines for the following tasks: frame reordering, moment retrieval, live commentary retrieval and play-by-play live commentary generation. Results show that SOTA models perform reasonably well in most tasks. We discuss the implications of these results and suggest new tasks for which GOAL can be used. Our codebase is available at: https://gitlab.com/grounded-sport-convai/goal-baselines.

Self-supervised learning has become increasingly important to leverage the abundance of unlabeled data available on platforms like YouTube. Whereas most existing approaches learn low-level representations, we propose a joint visual-linguistic model to learn high-level features without any explicit supervision. In particular, inspired by its recent success in language modeling, we build upon the BERT model to learn bidirectional joint distributions over sequences of visual and linguistic tokens, derived from vector quantization of video data and off-the-shelf speech recognition outputs, respectively. We use VideoBERT in numerous tasks, including action classification and video captioning. We show that it can be applied directly to openvocabulary classification, and confirm that large amounts of training data and cross-modal information are critical to performance. Furthermore, we outperform the state-of-theart on video captioning, and quantitative results verify that the model learns high-level semantic features.

视频问题回答（VideoQA）是一项复杂的任务，需要多种模式数据进行培训。但是，对视频的问题和答案的手动注释是乏味的，禁止可扩展性。为了解决这个问题，最近的方法考虑了零拍设置，而无需手动注释视觉问题。特别是，一种有前途的方法调整了在网络级文本数据中预测的冻结自回归语言模型，以适应多模式输入。相比之下，我们在这里建立在冷冻双向语言模型（BILM）的基础上，并表明这种方法为零拍出的VideoQA提供了更强大，更便宜的替代方案。特别是（i）我们使用轻型训练模块将视觉输入与冷冻的BILM结合在一起，（ii）我们使用Web-Scrafe Multi-Mododal数据训练此类模块，最后（iii）我们通过掩盖语言执行零声录像带推断建模，其中蒙版文本是给定问题的答案。我们提出的方法Frozenbilm在零摄影的视频中的表现优于最高的，包括LSMDC-FIB，包括LSMDC-FIB，IVQA，MSRVTT-QA，MSVD-QA，ActivityNet-QA，TGIF-FRAMEQA，TGIF-FRAMEQA，，TGIF-FRAMEQA，，TGIF-FRAMEQA，，，MSRVTT-QA，MSRVTT-QA，MSRVTT-QA，MSRVTT-QA，MSRVTT-QA，，均优于最新技术。 How2QA和TVQA。它还在几次且完全监督的环境中展示了竞争性能。我们的代码和模型将在https://antoyang.github.io/frozenbilm.html上公开提供。

寻找特定任务说明的YouTube用户可能会花费很长时间浏览内容，以寻找与他们需求相匹配的正确视频。创建视觉摘要（视频的删节版本）为观众提供了快速概述，并大大减少了搜索时间。在这项工作中，我们专注于总结教学视频，这​​是视频摘要的探索领域。与通用视频相比，可以将教学视频解析为语义上有意义的细分，这些细分与所示任务的重要步骤相对应。现有的视频摘要数据集依靠手动框架级注释，使其主观且大小有限。为了克服这一点，我们首先通过利用两个关键假设来自动为教学视频语料库生成伪摘要：（i）相关步骤可能会出现在相同任务（任务相关性）的多个视频中，并且（ii）它们更重要。可能由示威者口头描述（跨模式显着）。我们提出了一个教学视频摘要网络，该网络结合了上下文感知的时间视频编码器和段评分变压器。使用伪摘要作为弱监督，我们的网络为仅给出视频和转录语音的教学视频构建了视觉摘要。为了评估我们的模型，我们通过刮擦包含视频演示的Wikihow文章和步骤的视觉描绘，从而收集了高质量的测试集，即Wikihow摘要，从而使我们能够获得地面真实性摘要。我们的表现优于几个基线和这个新基准的最先进的视频摘要模型。

Video-Text检索是一类跨模式表示学习问题，其目标是选择与给定文本查询和候选视频库之间的文本查询相对应的视频。视觉训练预处理的对比范式在大规模数据集和统一的变压器体系结构中表现出了有希望的成功，并证明了联合潜在空间的力量。尽管如此，视觉域和文本域之间的固有差异仍未被消除，并且将不同的模态投射到联合潜在空间可能会导致单个模式内的信息扭曲。为了克服上述问题，我们提出了一种新的机制，可以学习从源模式空间$ \ mathcal {s} $到目标模态空间$ \ mathcal {t} $的新颖机制桥接视觉和文本域之间的差距。此外，为了保持翻译之间的循环一致性，我们采用了一个循环损失，涉及从$ \ MATHCAL {S} $到预测的目标空间$ \ Mathcal {t'} $的两个前向翻译，以及$ \ Mathcal {t't'的向后翻译} $返回$ \ Mathcal {s} $。在MSR-VTT，MSVD和DIDEMO数据集上进行的广泛实验证明了我们LAT方法的优势和有效性与香草的最新方法相比。

作为人类，我们通过我们所有的感官来驾驭世界，使用每个人从每个人纠正其他人。我们介绍了Merlot Reserve，一个模型，该模型是联合随着时间的推移而表示视频的模型 - 通过从音频，字幕和视频帧学习的新培训目标。给出了一个视频，我们用掩模令牌替换文本和音频的片段;该模型通过选择正确的蒙版片段来学习。我们的目标比替代方面更快地学习，并在规模上表现良好：我们预先逼近2000万YouTube视频。经验结果表明，Merlot Reserve学会通过所有组成模式的视频的强烈陈述。在FineTuned时，它在VCR和TVQA上为VCR和TVQA进行了新的最先进，优先于前勤工作分别为5％和7％。消融表明，两个任务都受益于音频预制 - 甚至录像机，围绕图像中心的QA任务（没有声音）。此外，我们的客观使开箱即用的预测，揭示了强大的多式联合致辞理解。在一个完全零拍摄的环境中，我们的模型在四个视频理解任务中获得竞争结果，甚至优于最近提出的定位推理（星）基准的监督方法。我们分析为什么包含音频导致更好的视觉语言表示，这表明未来研究的重要机会。我们通过讨论多式联运预测的道德和社会影响来得出结论。