通用事件边界字幕（GEBC）旨在生成三个句子，描述给定时间边界的状态更改。以前的方法仅处理一次单个边界的信息，该信息缺乏视频上下文信息的利用。为了解决此问题，我们设计了一个直接将整个视频作为输入的模型，并为各个边界提供标题。该模型可以通过对边界边界建模来了解每个时间边界的上下文信息。实验证明了上下文信息的有效性。所提出的方法在测试集上达到了72.84分数，我们在此挑战中达到了$ 2^{nd} $。我们的代码可在：\ url {https://github.com/zjr2000/context-gebc}中获得。

密集的视频字幕旨在使用视频的时间位置生成多个相关标题。以前的方法遵循复杂的“本地化 - 然后描述”方案，这些方案严重依赖于众多手工制作的组件。在本文中，通过将密集的标题产生作为设置预测任务，我们提出了一种具有并行解码（PDVC）的端到端密集视频字幕的简单且有效的框架。实际上，通过在变压器解码器顶部堆叠新提出的事件计数器，PDVC在对视频内容的整体理解下，将视频精确地将视频分成多个事件部分，这有效地提高了预测标题的相干性和可读性。与现有技术相比，PDVC具有多种吸引力优势：（1）不依赖于启发式非最大抑制或复发事件序列选择网络以除去冗余，PDVC直接产生具有适当尺寸的事件集; （2）与采用两级方案相比，我们并行地将事件查询的增强型表达送入本地化头和标题头，使这两个子任务深入相互关联，通过优化相互促进; （3）没有贝尔和吹口哨，对ActivityNet标题和YouScook2的广泛实验表明，PDVC能够产生高质量的标题结果，当其本地化准确性与它们相提并如此时，最先进的两级方法。代码可在https://github.com/ttengwang/pdvc提供。

密集的视频字幕旨在为未修剪视频中的一系列事件生成相应的文本描述，这些事件可以分为两个子任务，即事件检测和事件字幕。与以前分别解决这两个子任务的作品不同，最近的作品着重于增强两个子任务之间的任务间关联。但是，由于其特定于任务的解决方案的巨大差异，设计用于事件检测和字幕的任务间相互作用并不是微不足道的。此外，以前的事件检测方法通常会忽略事件之间的时间依赖性，从而导致事件冗余或不一致问题。在本文中，我们将事件检测定义为序列生成任务，并提出一个统一的预训练和微调框架，以自然增强事件检测和字幕之间的任务间关联。由于该模型将每个事件预测为以前的事件为上下文，因此事件之间的相互依赖性被充分利用，因此我们的模型可以检测到视频中更多样化和一致的事件。 ActivityNet数据集上的实验表明，我们的模型优于最新方法，并且在对大型视频文本数据进行预训练时，可以进一步提高。代码可在\ url {https://github.com/qiqang/uedvc}上获得。

本文介绍了我们针对CVPR2022通用事件边界字幕（GEBC）竞赛的冠军解决方案。 GEBC要求字幕模型对给定视频边界周围的瞬时状态变化具有理解，这使其比传统的视频字幕任务更具挑战性。在本文中，提出了对视频内容编码和字幕生成的改进的双流变压器：（1）我们利用三个预训练的模型从不同的粒度中提取视频功能。此外，我们利用边界的类型作为提示，以帮助模型生成字幕。 （2）我们特别设计一个称为双流变压器的模型，以学习边界字幕的区分表示。 （3）为了生成与内容相关和类似人类的标题，我们通过设计单词级合奏策略来提高描述质量。 GEBC测试拆分的有希望的结果证明了我们提出的模型的功效。

密集的视频字幕（DVC）的任务旨在为一个视频中的多个事件制作带有时间戳的字幕。语义信息对于DVC的本地化和描述都起着重要作用。我们提出了基于编码编码框架的语义辅助密集的视频字幕模型。在编码阶段，我们设计了一个概念检测器来提取语义信息，然后将其与多模式的视觉特征融合在一起，以充分代表输入视频。在解码阶段，我们设计了一个与本地化和字幕的分类头，以提供语义监督。我们的方法在DVC评估指标下对Youmakeup数据集进行了重大改进，并在PIC 4TH挑战的化妆密集视频字幕（MDVC）任务中实现了高性能。

支持日常任务的家庭服务机器人是老年人或残疾人的有前途解决方案。对于家庭服务机器人，在执行碰撞风险之前至关重要。在本文中，我们的目标是为未来的活动产生标题。我们提出了关系的未来字幕模型（RFCM），这是一种未来字幕任务的跨模式语言生成模型。RFCM具有关系自我注意编码器，可以比变压器中常规的自我注意力更有效地提取事件之间的关系。我们进行了比较实验，结果表明RFCM在两个数据集上的基线方法优于基线方法。

我们描述了在CVPR 2022举行的长期视频理解研讨会上使用的通用边界事件字幕挑战中使用的方法生成对相应事件边界的标题。 Reveca使用框架位置嵌入在事件边界之前和之后合并信息。此外，它采用了使用时间段网络和基于时间的成对差异方法提取的功能来学习时间信息。采用了注意集合过程的语义分割掩模来学习事件的主题。最后，洛拉（Lora）用于微调图像编码器以提高学习效率。 Reveca在动力学-GEBC测试数据上的平均得分为50.97，比基线方法提高了10.17。我们的代码可在https://github.com/tootouch/reveca中找到。

视频接地旨在通过给定语言查询，本地化未经监控的视频中的相应视频时刻。现有方法通常以间接方式解决此任务，通过将其作为提案和匹配或融合和检测问题。解决这些替代问题通常需要在培训和手工制作的近重复结果中进行复杂的标签分配。同时，现有的作品通常专注于具有单句的稀疏视频接地，作为输入可能导致由于其不清晰的描述而产生模糊的本地化。在本文中，我们通过将段落作为输入同时定位多个时刻来解决密集视频接地的新问题。从视频接地的视角是语言条件回归，我们通过重新拟合变压器 - 相似的架构（PRVG）来提出端到端的并行解码范式。我们的PRVG中的关键设计是使用语言作为查询，并基于语言调制的可视表示直接回归矩界限。由于其简单设计，我们的PRVG框架可以应用于不同的测试方案（稀疏或密集的接地），并允许无需任何后处理技术的有效推理。此外，我们设计了强大的提案级注意力损失，以指导PRVG的培训，这不变于时刻持续时间，并有助于模型收敛。我们对ActivityNet标题和炸玉米饼的两个视频接地基准进行实验，展示了我们的PRVG可以显着优于以前的方法。我们还进行深入的研究，以研究并行回归范例对视频接地的有效性。

Video understanding is a growing field and a subject of intense research, which includes many interesting tasks to understanding both spatial and temporal information, e.g., action detection, action recognition, video captioning, video retrieval. One of the most challenging problems in video understanding is dealing with feature extraction, i.e. extract contextual visual representation from given untrimmed video due to the long and complicated temporal structure of unconstrained videos. Different from existing approaches, which apply a pre-trained backbone network as a black-box to extract visual representation, our approach aims to extract the most contextual information with an explainable mechanism. As we observed, humans typically perceive a video through the interactions between three main factors, i.e., the actors, the relevant objects, and the surrounding environment. Therefore, it is very crucial to design a contextual explainable video representation extraction that can capture each of such factors and model the relationships between them. In this paper, we discuss approaches, that incorporate the human perception process into modeling actors, objects, and the environment. We choose video paragraph captioning and temporal action detection to illustrate the effectiveness of human perception based-contextual representation in video understanding. Source code is publicly available at https://github.com/UARK-AICV/Video_Representation.

认知科学表明，人类会以所见主体的变化分离的事件来感知视频。状态变化触发新事件，是大量冗余信息中最有用的事件之一。但是，先前的研究重点是对细分市场的总体理解，而无需评估内部的细粒度变化。在本文中，我们介绍了一个名为Kinetic-GEB+的新数据集。该数据集由与标题相关的170K边界组成，这些字幕描述了12K视频中通用事件中的状态更改。在这个新数据集中，我们提出了三个任务，支持通过状态变化开发对视频的更细粒度，健壮和类似人类的理解。我们在数据集中评估了许多代表性基线，在该基础上，我们还设计了一种新的TPD（基于时间的成对差异）建模方法，以进行视觉差异并实现显着的性能改进。此外，结果表明，在利用不同粒度，视觉差异的表示以及状态变化的准确定位方面，当前方法仍然存在着巨大的挑战。进一步的分析表明，我们的数据集可以推动开发更强大的方法来了解状态变化，从而提高视频级别的理解。该数据集可从https://github.com/yuxuan-w/geb-plus获得

密集的视频字幕（DVC）旨在生成多句子描述，以阐明视频中的多个事件，这是具有挑战性，需要的视觉一致性，疑惑一致性和语言多样性。现有方法主要生成各个视频段的标题，缺乏适应全局视觉上下文和快速发展的视觉内容和文本描述之间的渐进对齐，这导致冗余和拼接描述。在本文中，我们介绍了信息流的概念，以模拟跨视频序列和标题的渐进信息。通过设计跨模型信息流对准机制，捕获和对齐的视觉和文本信息流，其在事件/主题演化上以更丰富的上下文和动态赋予标题处理。基于跨模型信息流对准模块，我们进一步提出了DVCFlow框架，它由全球本地视觉编码器组成，用于捕获每个视频段的全局功能和本地特征，以及用于产生标题的预先培训的标题生成器。对流行的ActivityNet标题和Youcookii数据集的广泛实验表明，我们的方法显着优于竞争基础，并根据主题和客观测试产生更多人类文本。

视频标题旨在根据内容生成自然语言描述，其中表示学习起到至关重要的作用。现有方法主要通过对地理文本的生成标题的字词比较来在监督学习框架内开发，而不会完全利用语言语义。在这项工作中，我们提出了一个分层模块化网络，在生成字幕之前从三个级别桥接视频表示和语言语义。特别是，层次结构由以下组成：（i）实体级别，其突出显示最有可能在字幕中提及的对象。 （ii）谓词级别，它学习在突出显示的对象上调节的行动，并由标题中的谓词进行监督。 （iii）句子级别，了解全局语义表示，并受到整个标题的监督。每个级别由一个模块实现。广泛的实验结果表明，该方法对两个广泛使用的基准测试的最先进模型有利地表现出：MSVD 104.0％和苹果酒评分中的MSR-VTT 51.5％。

在本文中，我们利用涉及视觉和语言互动的人类感知过程来生成对未修剪视频的连贯段落描述。我们提出了视觉语言（VL）功能，这些功能由两种模态组成，即（i）视觉方式，以捕获整个场景的全局视觉内容以及（ii）语言方式来提取人类和非人类对象的场景元素描述（例如，动物，车辆等），视觉和非视觉元素（例如关系，活动等）。此外，我们建议在对比度学习VL损失下培训我们提出的VLCAP。有关活动网字幕和YouCookii数据集的实验和消融研究表明，我们的VLCAP在准确性和多样性指标上都优于现有的SOTA方法。

自动音频标题（AAC）旨在使用自然语言描述具有标题的音频数据。大多数现有的AAC方法采用编码器 - 解码器结构，其中基于注意的机制是解码器（例如，变压器解码器）中的受欢迎选择，用于预测来自音频特征的标题。这种基于注意的解码器可以从音频特征捕获全局信息，然而，它们在提取本地信息的能力可以是有限的，这可能导致所生成的标题中的质量下降。在本文中，我们介绍了一种具有无注意解码器的AAC方法，其中基于Pann的编码器用于音频特征提取，并且设计了无注意的解码器以引入本地信息。所提出的方法使得能够从音频信号中有效地使用全局和本地信息。实验表明，我们的方法在DCASE 2021挑战的任务6中具有基于标准的解码器的最先进的方法。

本文研究了时间句子接地的多媒体问题（TSG），该问题旨在根据给定的句子查询准确地确定未修剪视频中的特定视频段。传统的TSG方法主要遵循自上而下或自下而上的框架，不是端到端。他们严重依靠耗时的后处理来完善接地结果。最近，提出了一些基于变压器的方法来有效地对视频和查询之间的细粒语义对齐进行建模。尽管这些方法在一定程度上达到了显着的性能，但它们同样将视频的框架和查询的单词视为用于关联的变压器输入，未能捕获其不同水平的粒度与独特的语义。为了解决这个问题，在本文中，我们提出了一种新型的等级局部 - 全球变压器（HLGT）来利用这种层次结构信息，并模拟不同粒度的不同级别的相互作用和不同的模态之间的相互作用，以学习更多细粒度的多模式表示。具体而言，我们首先将视频和查询分为单个剪辑和短语，以通过时间变压器学习其本地上下文（相邻依赖关系）和全局相关性（远程依赖）。然后，引入了全球本地变压器，以了解本地级别和全球级别语义之间的相互作用，以提供更好的多模式推理。此外，我们开发了一种新的跨模式周期一致性损失，以在两种模式之间实施相互作用，并鼓励它们之间的语义一致性。最后，我们设计了一个全新的跨模式平行变压器解码器，以集成编码的视觉和文本特征，以进行最终接地。在三个具有挑战性的数据集上进行了广泛的实验表明，我们提出的HLGT实现了新的最新性能。

Given an untrimmed video and natural language query, video sentence grounding aims to localize the target temporal moment in the video. Existing methods mainly tackle this task by matching and aligning semantics of the descriptive sentence and video segments on a single temporal resolution, while neglecting the temporal consistency of video content in different resolutions. In this work, we propose a novel multi-resolution temporal video sentence grounding network: MRTNet, which consists of a multi-modal feature encoder, a Multi-Resolution Temporal (MRT) module, and a predictor module. MRT module is an encoder-decoder network, and output features in the decoder part are in conjunction with Transformers to predict the final start and end timestamps. Particularly, our MRT module is hot-pluggable, which means it can be seamlessly incorporated into any anchor-free models. Besides, we utilize a hybrid loss to supervise cross-modal features in MRT module for more accurate grounding in three scales: frame-level, clip-level and sequence-level. Extensive experiments on three prevalent datasets have shown the effectiveness of MRTNet.

视频字幕的规范方法决定了用于从离线提取的密集视频特征学习的标题生成模型。这些特征提取器通常在以固定帧速率采样的视频帧上操作，并且通常在图像/视频理解任务上培训，而不适用于视频标题数据。在这项工作中，我们展示了Swinbert，一种用于视频字幕的基于端到端的变换器的模型，它将视频帧贴片直接作为输入，并输出自然语言描述。我们的方法代替利用多个2D / 3D特征提取器，该方法采用视频变压器来编码可适应可变长度的视频输入，而无需专用设计，可以针对不同的帧速率进行专用设计。基于该模型架构，我们表明视频标题可以从更密集地采样的视频帧中受益匪浅，而不是以前的成功，用于视频和语言理解任务的稀疏采样视频帧（例如，视频问题应答）。此外，为了避免连续视频帧中固有的冗余，我们建议通过更好的远程视频序列建模来自适应地学习稀疏的注意掩模并优化任务特定性能改进。通过对5个视频字幕数据集的广泛实验，我们展示了Swinbert通过较大的余量来实现对以前的方法的整体性能改进。此外，学习的稀疏注意力掩模将限制推向新的技术，可以在不同的视频长度和不同的数据集之间传输。

描述使用自然语言的图像被广泛称为图像标题，这是由于计算机视觉和自然语言生成技术的发展而达成了一致的进展。虽然传统的标题模型基于流行度量的高精度，即BLEU，苹果酒和香料，探索了标题与其他类似图像中的标题的能力。为了产生独特的标题，一些先驱采用对比学习或重新加权地面真理标题，其侧重于一个输入图像。然而，忽略了类似图像组中对象之间的关系（例如，相同专辑中的项目或属性或细粒度事件中的物品）。在本文中，我们使用基于组的独特标题模型（Gdiscap）来提高图像标题的独特性，其将每个图像与一个类似的组中的其他图像进行比较，并突出显示每个图像的唯一性。特别是，我们提出了一种基于组的内存注意力（GMA）模块，其存储在图像组中是唯一的对象特征（即，与其他图像中的对象的低相似性）。生成字幕时突出显示这些唯一的对象功能，从而产生更有独特的标题。此外，选择地面标题中的独特单词来监督语言解码器和GMA。最后，我们提出了一种新的评估度量，独特的单词率（Diswordrate）来测量标题的独特性。定量结果表明，该方法显着提高了几种基线模型的独特性，并实现了精度和独特性的最先进的性能。用户学习的结果与定量评估一致，并证明了新的公制Diswordrate的合理性。

Mainstream image caption models are usually two-stage captioners, i.e., calculating object features by pre-trained detector, and feeding them into a language model to generate text descriptions. However, such an operation will cause a task-based information gap to decrease the performance, since the object features in detection task are suboptimal representation and cannot provide all necessary information for subsequent text generation. Besides, object features are usually represented by the last layer features that lose the local details of input images. In this paper, we propose a novel One-Stage Image Captioner (OSIC) with dynamic multi-sight learning, which directly transforms input image into descriptive sentences in one stage. As a result, the task-based information gap can be greatly reduced. To obtain rich features, we use the Swin Transformer to calculate multi-level features, and then feed them into a novel dynamic multi-sight embedding module to exploit both global structure and local texture of input images. To enhance the global modeling of encoder for caption, we propose a new dual-dimensional refining module to non-locally model the interaction of the embedded features. Finally, OSIC can obtain rich and useful information to improve the image caption task. Extensive comparisons on benchmark MS-COCO dataset verified the superior performance of our method.

视频字幕定位目标将复杂的视觉内容解释为文本说明，这要求模型充分了解包括对象及其交互的视频场景。流行的方法采用现成的对象检测网络来提供对象建议，并使用注意机制来建模对象之间的关系。他们通常会错过一些预验证模型的不确定语义概念，并且无法识别对象之间的确切谓词关系。在本文中，我们研究了为给定视频生成文本描述的开放研究任务，并提出了带有元概念的跨模式图（CMG）。具体而言，为了涵盖视频字幕中有用的语义概念，我们弱地学习了文本描述的相应视觉区域，其中相关的视觉区域和文本单词被命名为跨模式元概念。我们通过学习的跨模式元概念动态地构建元概念图。我们还构建了整体视频级别和本地框架级视频图，并具有预测的谓词，以建模视频序列结构。我们通过广泛的实验来验证我们提出的技术的功效，并在两个公共数据集上实现最新结果。