视频时刻检索旨在搜索与给定语言查询最相关的那一刻。然而，该社区中的大多数现有方法通常需要季节边界注释，这昂贵且耗时地标记。因此，最近仅通过使用粗略视频级标签来提出弱监督的方法。尽管有效，但这些方法通常是独立处理候选人的候选人，同时忽略了不同时间尺度中候选者之间的自然时间依赖性的关键问题。要应对这个问题，我们提出了一种多尺度的2D表示学习方法，用于弱监督视频时刻检索。具体地，我们首先构造每个时间刻度的二维图以捕获候选者之间的时间依赖性。该地图中的两个维度表示这些候选人的开始和结束时间点。然后，我们使用学习卷积神经网络从每个刻度变化的地图中选择Top-K候选。通过新设计的时刻评估模块，我们获得所选候选人的对齐分数。最后，标题和语言查询之间的相似性被用作进一步培训候选者选择器的监督。两个基准数据集Charades-STA和ActivityNet标题的实验表明，我们的方法能够实现最先进的结果。
translated by 谷歌翻译
视频瞬间检索旨在找到给定自然语言查询描述的片刻的开始和结束时间戳（视频的一部分）。全面监督的方法需要完整的时间边界注释才能获得有希望的结果，这是昂贵的，因为注释者需要关注整个时刻。弱监督的方法仅依赖于配对的视频和查询，但性能相对较差。在本文中，我们仔细研究了注释过程，并提出了一种称为“ Glance注释”的新范式。该范式需要一个只有一个随机框架的时间戳，我们将其称为“目光”，在完全监督的对应物的时间边界内。我们认为这是有益的，因为与弱监督相比，添加了琐碎的成本，还提供了更大的潜力。在一眼注释设置下，我们提出了一种基于对比度学习的一眼注释（VIGA），称为视频力矩检索的方法。 Viga将输入视频切成片段，并在剪辑和查询之间形成对比，其中一眼指导的高斯分布重量被分配给所有夹子。我们的广泛实验表明，VIGA通过很大的边距较小的弱监督方法获得了更好的结果，甚至可以在某些情况下与完全监督的方法相媲美。
translated by 谷歌翻译
时间接地的任务旨在在未经监控的视频中定位视频时刻，具有给定的句子查询。本文首次调查了某些特定于时间接地任务的肤浅偏差，并提出了一种新型靶向解决方案。最令人惊讶的是，我们观察到现有的时间地面模型在视觉模态中严重依赖于某些偏差（例如，高偏好或频繁概念或某些时间间隔的高偏好）。当在跨场景测试设置中概括模型时，这导致较差的性能。为此，我们提出了一种新颖的方法，称为Debiaded Temporal语言定位器（DebiaStll），以防止模型天鹅绒记忆偏差并强制基于真正的模态关系将查询句子接地。 Debias-TLL同时列举两种型号。通过我们的设计，当判断样品时，这两个模型的预测的大大差异显示出更高的偏置样品的概率。利用信息性差异，我们设计了一种用于缓解数据偏差的数据重称之度方案。我们评估跨场景时间接地中提出的模型，其中火车/测试数据是异构的。实验表明，与最先进的竞争对手相比，所提出的方法的大幅度优势。
translated by 谷歌翻译
Given an untrimmed video and natural language query, video sentence grounding aims to localize the target temporal moment in the video. Existing methods mainly tackle this task by matching and aligning semantics of the descriptive sentence and video segments on a single temporal resolution, while neglecting the temporal consistency of video content in different resolutions. In this work, we propose a novel multi-resolution temporal video sentence grounding network: MRTNet, which consists of a multi-modal feature encoder, a Multi-Resolution Temporal (MRT) module, and a predictor module. MRT module is an encoder-decoder network, and output features in the decoder part are in conjunction with Transformers to predict the final start and end timestamps. Particularly, our MRT module is hot-pluggable, which means it can be seamlessly incorporated into any anchor-free models. Besides, we utilize a hybrid loss to supervise cross-modal features in MRT module for more accurate grounding in three scales: frame-level, clip-level and sequence-level. Extensive experiments on three prevalent datasets have shown the effectiveness of MRTNet.
translated by 谷歌翻译
当前的文本到视频检索方法（T2VR）经过培训和测试，并在视频捕获方向的数据集（例如MSVD，MSR-VTT和VATEX）上进行了测试。这些数据集的一个关键属性是，假定视频在短时间内被暂时预先修剪，而提供的字幕很好地描述了视频内容的要旨。因此，对于给定的配对视频和标题，该视频应该与标题完全相关。但是，实际上，由于查询尚不清楚，因此预处理的视频剪辑可能不包含足够的内容来完全满足查询。这表明文学与现实世界之间存在差距。为了填补空白，我们在本文中提出了一个新颖的T2VR子任务，称为部分相关的视频检索（PRVR）。未修剪的视频被认为是部分相关的W.R.T.给定的文本查询是否包含与查询相关的时刻。 PRVR旨在从大量未修剪视频中检索此类相关视频。 PRVR与单个视频时刻检索和视频语料库时刻的检索有所不同，因为后两个是要检索时刻而不是未修剪的视频。我们将PRVR作为多个实例学习（MIL）问题，同时将视频视为一袋视频片段和一袋视频帧。剪辑和帧表示不同时间尺度的视频内容。我们提出了一个多尺度的相似性学习（MS-SL）网络，该网络共同学习PRVR的剪辑规模和框架尺度相似性。在三个数据集（TVR，ActivityNet字幕和Charades-STA）上进行了广泛的实验，证明了该方法的可行性。我们还表明，我们的方法可用于改善视频语料库时刻的检索。
translated by 谷歌翻译
视频接地旨在通过给定语言查询，本地化未经监控的视频中的相应视频时刻。现有方法通常以间接方式解决此任务，通过将其作为提案和匹配或融合和检测问题。解决这些替代问题通常需要在培训和手工制作的近重复结果中进行复杂的标签分配。同时，现有的作品通常专注于具有单句的稀疏视频接地，作为输入可能导致由于其不清晰的描述而产生模糊的本地化。在本文中，我们通过将段落作为输入同时定位多个时刻来解决密集视频接地的新问题。从视频接地的视角是语言条件回归，我们通过重新拟合变压器 - 相似的架构（PRVG）来提出端到端的并行解码范式。我们的PRVG中的关键设计是使用语言作为查询，并基于语言调制的可视表示直接回归矩界限。由于其简单设计，我们的PRVG框架可以应用于不同的测试方案（稀疏或密集的接地），并允许无需任何后处理技术的有效推理。此外，我们设计了强大的提案级注意力损失，以指导PRVG的培训，这不变于时刻持续时间，并有助于模型收敛。我们对ActivityNet标题和炸玉米饼的两个视频接地基准进行实验，展示了我们的PRVG可以显着优于以前的方法。我们还进行深入的研究，以研究并行回归范例对视频接地的有效性。
translated by 谷歌翻译
时间接地旨在本地化与给定的自然语言查询语义对齐的视频片刻。现有方法通常在融合表示上应用检测或回归管道，研究重点是设计复杂的预测头或融合策略。相反，从时间接地作为度量学习问题的角度来看，我们呈现了一个相互匹配的网络（MMN），以直接模拟联合嵌入空间中的语言查询和视频矩之间的相似性。这种新的公制学习框架可以完全利用两个新方面的负面样本：在相互匹配方案中构建负跨模型对和跨不同视频的挖掘负对。这些新的阴性样本可以通过跨模态相互匹配来增强两个模式的联合表示学习，以最大化其互信。实验表明，与四个视频接地基准测试的最先进的方法相比，我们的MMN实现了竞争力的表现。基于MMN，我们为第三张图片车间的HC-STVG挑战提供了一个胜利者解决方案。这表明度量学习仍然是通过捕获关节嵌入空间中的基本跨模式相关性的时间接地的有希望的方法。代码可在https://github.com/mcg-nju/mmn获得。
translated by 谷歌翻译
作为多媒体信息检索中越来越流行的任务，视频瞬间检索（VMR）旨在根据给定的语言查询从未修剪视频中定位目标时刻。以前的大多数方法都在很大程度上取决于众多手动注释（即瞬间边界），在实践中获取非常昂贵。此外，由于不同数据集之间的域间隙，直接将这些预训练的模型应用于看不见的域，这会导致显着的性能下降。在本文中，我们专注于一项新任务：跨域VMR，其中一个域中完全注重数据集（````源域'''），但是感兴趣的域（``目标域''）仅包含未通知的数据集。据我们所知，我们介绍了有关跨域VMR的第一项研究。为了解决这一新任务，我们提出了一个新型的多模式跨域比对（MMCDA）网络，以将注释知识从源域转移到目标域。但是，由于源和目标域之间的域差异以及视频和查询之间的语义差距，直接将经过训练的模型应用于目标域通常会导致性能下降。为了解决这个问题，我们开发了三个新型模块：（i）域对齐模块旨在使每种模式的不同域之间的特征分布对齐； （ii）跨模式对齐模块旨在将视频和查询特征映射到关节嵌入空间中，并将目标域不同模态之间的特征分布对齐； （iii）特定的比对模块试图获得特定帧与给定查询之间的细粒度相似性以进行最佳定位。通过共同训练这三个模块，我们的MMCDA可以学习域不变和语义一致的跨模式表示。
translated by 谷歌翻译
视频字幕定位目标将复杂的视觉内容解释为文本说明，这要求模型充分了解包括对象及其交互的视频场景。流行的方法采用现成的对象检测网络来提供对象建议，并使用注意机制来建模对象之间的关系。他们通常会错过一些预验证模型的不确定语义概念，并且无法识别对象之间的确切谓词关系。在本文中，我们研究了为给定视频生成文本描述的开放研究任务，并提出了带有元概念的跨模式图（CMG）。具体而言，为了涵盖视频字幕中有用的语义概念，我们弱地学习了文本描述的相应视觉区域，其中相关的视觉区域和文本单词被命名为跨模式元概念。我们通过学习的跨模式元概念动态地构建元概念图。我们还构建了整体视频级别和本地框架级视频图，并具有预测的谓词，以建模视频序列结构。我们通过广泛的实验来验证我们提出的技术的功效，并在两个公共数据集上实现最新结果。
translated by 谷歌翻译
了解人类情绪是智能机器人提供更好的人类机器人相互作用的关键能力。现有作品仅限于修剪视频级别的情感分类，无法找到与情感相对应的时间窗口。在本文中，我们介绍了一项新任务，称为视频中的时间情感本地化（TEL），该任务旨在检测人类的情感并将其相应的时间边界定位在带有校准字幕的未修剪视频中。与时间动作本地化相比，TEL提出了三个独特的挑战：1）情绪的时间动态极为多样； 2）情绪提示都嵌入了外观和复杂的情节中； 3）细粒度的时间注释是复杂且劳动密集型的。为了应对前两个挑战，我们提出了一个新颖的扩张上下文集成网络，该网络与粗细的两流体系结构。粗流通过建模多粒性时间上下文来捕获各种时间动力学。细流通过推理从粗流的多晶格时间上下文之间的依赖性来实现复杂的理解，并将它们自适应地集成到细粒度的视频段特征中。为了应对第三个挑战，我们引入了跨模式共识学习范式，该范式利用了对齐视频和字幕之间的固有语义共识，以实现弱监督的学习。我们为新的测试集提供了3,000个手动注释的时间边界，因此可以对TEL问题进行未来的研究进行定量评估。广泛的实验显示了我们方法对时间情绪定位的有效性。这项工作的存储库位于https://github.com/yyjmjc/temporal-emotion-localization-in-videos。
translated by 谷歌翻译
基于文本的视频细分旨在通过用文本查询指定演员及其表演动作来细分视频序列中的演员。由于\ emph {emph {语义不对称}的问题，以前的方法无法根据演员及其动作以细粒度的方式将视频内容与文本查询对齐。 \ emph {语义不对称}意味着在多模式融合过程中包含不同量的语义信息。为了减轻这个问题，我们提出了一个新颖的演员和动作模块化网络，该网络将演员及其动作分别定位在两个单独的模块中。具体来说，我们首先从视频和文本查询中学习与参与者相关的内容，然后以对称方式匹配它们以定位目标管。目标管包含所需的参与者和动作，然后将其送入完全卷积的网络，以预测演员的分割掩模。我们的方法还建立了对象的关联，使其与所提出的时间建议聚合机制交叉多个框架。这使我们的方法能够有效地细分视频并保持预测的时间一致性。整个模型允许联合学习参与者的匹配和细分，并在A2D句子和J-HMDB句子数据集上实现单帧细分和完整视频细分的最新性能。
translated by 谷歌翻译
密集的视频字幕旨在使用视频的时间位置生成多个相关标题。以前的方法遵循复杂的“本地化 - 然后描述”方案，这些方案严重依赖于众多手工制作的组件。在本文中，通过将密集的标题产生作为设置预测任务，我们提出了一种具有并行解码（PDVC）的端到端密集视频字幕的简单且有效的框架。实际上，通过在变压器解码器顶部堆叠新提出的事件计数器，PDVC在对视频内容的整体理解下，将视频精确地将视频分成多个事件部分，这有效地提高了预测标题的相干性和可读性。与现有技术相比，PDVC具有多种吸引力优势：（1）不依赖于启发式非最大抑制或复发事件序列选择网络以除去冗余，PDVC直接产生具有适当尺寸的事件集; （2）与采用两级方案相比，我们并行地将事件查询的增强型表达送入本地化头和标题头，使这两个子任务深入相互关联，通过优化相互促进; （3）没有贝尔和吹口哨，对ActivityNet标题和YouScook2的广泛实验表明，PDVC能够产生高质量的标题结果，当其本地化准确性与它们相提并如此时，最先进的两级方法。代码可在https://github.com/ttengwang/pdvc提供。
translated by 谷歌翻译
本文研究了时间句子接地的多媒体问题（TSG），该问题旨在根据给定的句子查询准确地确定未修剪视频中的特定视频段。传统的TSG方法主要遵循自上而下或自下而上的框架，不是端到端。他们严重依靠耗时的后处理来完善接地结果。最近，提出了一些基于变压器的方法来有效地对视频和查询之间的细粒语义对齐进行建模。尽管这些方法在一定程度上达到了显着的性能，但它们同样将视频的框架和查询的单词视为用于关联的变压器输入，未能捕获其不同水平的粒度与独特的语义。为了解决这个问题，在本文中，我们提出了一种新型的等级局部 - 全球变压器（HLGT）来利用这种层次结构信息，并模拟不同粒度的不同级别的相互作用和不同的模态之间的相互作用，以学习更多细粒度的多模式表示。具体而言，我们首先将视频和查询分为单个剪辑和短语，以通过时间变压器学习其本地上下文（相邻依赖关系）和全局相关性（远程依赖）。然后，引入了全球本地变压器，以了解本地级别和全球级别语义之间的相互作用，以提供更好的多模式推理。此外，我们开发了一种新的跨模式周期一致性损失，以在两种模式之间实施相互作用，并鼓励它们之间的语义一致性。最后，我们设计了一个全新的跨模式平行变压器解码器，以集成编码的视觉和文本特征，以进行最终接地。在三个具有挑战性的数据集上进行了广泛的实验表明，我们提出的HLGT实现了新的最新性能。
translated by 谷歌翻译
随着时间的推移，视频活动定位的当前方法隐含地假设标记为模型训练的活动时间边界是确定且精确的。但是，在无脚本的自然视频中，不同的活动主要是顺利进行的，因此确切地确定活动何时随着时间的推移开始和结束，确定在本质上是模棱两可的。目前，在模型培训中，这种时间标签中的这种不确定性被忽略了，从而导致学习错误匹配的视频文本相关性，而测试中的概括不佳。在这项工作中，我们通过引入弹性力矩边界（EMB）来解决此问题，以适应灵活和适应性活动的时间边界，以建模普遍可解释的视频文本相关性与对预固定注释中的时间不确定性的宽容相关性。具体而言，我们通过挖掘和发现框架的时间端点可以适应地构建弹性边界，从而可以最大程度地利用视频片段和查询句子之间的对齐方式。为了启用更健壮的匹配（段内容注意力）和更准确的定位（段弹性边界），我们通过新颖的引导注意力机制优化了框架端点的选择。在三个视频活动定位基准上进行的广泛实验表明，在没有建模不确定性的情况下，EMB比现有方法的优势令人信服。
translated by 谷歌翻译
本文解决了自然语言视频本地化（NLVL）的问题。几乎所有现有的作品都遵循“仅一次外观”框架，该框架利用单个模型直接捕获视频疑问对之间的复杂跨和自模式关系并检索相关段。但是，我们认为这些方法忽略了理想本地化方法的两个必不可少的特征：1）帧差异：考虑正/负视频帧的不平衡，在本地化过程中突出显示正帧并削弱负面框架是有效的。 2）边界优先：为了预测确切的段边界，该模型应捕获连续帧之间更细粒度的差异，因为它们的变化通常是平滑的。为此，我们灵感来自于人类如何看待和定位一个细分市场，我们提出了一个两步的人类框架，称为掠夺 - 储存式融合（SLP）。 SLP由脱脂和排列（SL）模块和双向仔细（BP）模块组成。 SL模块首先是指查询语义，并在滤除无关的帧时从视频中选择最佳匹配的帧。然后，BP模块基于此框架构造了初始段，并通过探索其相邻帧来动态更新它，直到没有帧共享相同的活动语义为止。三个具有挑战性的基准测试的实验结果表明，我们的SLP优于最新方法，并将其定位更精确的段边界。
translated by 谷歌翻译
视频中的时间语言接地旨在本地化与给定查询句子相关的时间范围。以前的方法将其视为边界回归任务或跨度提取任务。本文将向视频阅读理解的临时语言配制，并提出了一个关系感知网络（RANET）来解决它。该框架旨在借助于粗细选择查询交互和选择选择关系构建，从预定义答案中选择视频时刻选择。建议选择查询互操作器以在句时刻和令牌时刻同时匹配视觉和文本信息，导致粗略和细微的跨模型交互。此外，通过利用图形卷积来引入新的多项选择关系构造函数，以捕获视频时刻选择的依赖性，以获得最佳选择选择。关于活动网络标题，炸玉米饼和Charades-sta的广泛实验证明了我们解决方案的有效性。代码已提供。
translated by 谷歌翻译
给定文本描述，时间语言接地（TLG）旨在本地化包含未经监控视频中指定语义的段的时间边界。 TLG本质上是一个具有挑战性的任务，因为它需要全面了解句子语义和视频内容。以前的作品可以在完全监督的设置中解决此任务，需要大量的时间注释或在通常无法实现令人满意的性能的弱监管设置中。由于手动注释是昂贵的，以应对有限的注释，我们通过纳入自我监督的学习以半监督方式解决TLG，并提出自我监督的半监督时间语言接地（S ^ 4TLG）。 S ^ 4TLG由两部分组成：（1）基于来自教师模型的预测，自适应为未标记的样本进行自适应生产即时伪标签的伪标签生成模块; （2）具有模态和模态对比度损耗的自我监督特征学习模块，以在视频内容一致性和视频文本对齐的约束下学习视频特征表示。我们对ActivityNet-CD-OOD和Charades-CD-OOD数据集进行了广泛的实验。结果表明，与完全监督的最新方法相比，我们所提出的S ^ 4TLG可以实现竞争性能，同时只需要一小部分时间注释。
translated by 谷歌翻译
文本和视频之间交叉模态检索的任务旨在了解视觉和语言之间的对应关系。现有研究遵循基于文本和视频嵌入的测量文本视频相似度的趋势。在常见的做法中，通过将视频帧馈送到用于全球视觉特征提取的视频帧或仅通过使用图形卷积网络使用本地细粒度的框架区域来实现简单的语义关系来构造视频表示。然而，这些视频表示在学习视频表示中的视觉组件之间没有充分利用时空关系，从而无法区分具有相同视觉组件但具有不同关系的视频。为了解决这个问题，我们提出了一种视觉时空关系增强的网络（VSR-Net），这是一种新的跨模型检索框架，其考虑组件之间的空间视觉关系，以增强桥接文本 - 视频模型中的全局视频表示。具体地，使用多层时空变压器来编码视觉时空关系，以学习视觉关系特征。我们将全局视觉和细粒度的关系功能与两个嵌入空格上的文本功能对齐，用于交叉模态文本 - 视频检索。在MSR-VTT和MSVD数据集中进行了广泛的实验。结果表明了我们提出的模型的有效性。我们将发布促进未来研究的代码。
translated by 谷歌翻译
密集的视频字幕（DVC）的任务旨在为一个视频中的多个事件制作带有时间戳的字幕。语义信息对于DVC的本地化和描述都起着重要作用。我们提出了基于编码编码框架的语义辅助密集的视频字幕模型。在编码阶段，我们设计了一个概念检测器来提取语义信息，然后将其与多模式的视觉特征融合在一起，以充分代表输入视频。在解码阶段，我们设计了一个与本地化和字幕的分类头，以提供语义监督。我们的方法在DVC评估指标下对Youmakeup数据集进行了重大改进，并在PIC 4TH挑战的化妆密集视频字幕（MDVC）任务中实现了高性能。
translated by 谷歌翻译
时间动作定位（TAL）旨在预测未修剪视频（即开始和结束时间）中动作实例的动作类别和时间边界。通常在大多数现有作品中都采用了完全监督的解决方案，并被证明是有效的。这些解决方案中的实际瓶颈之一是所需的大量标记培训数据。为了降低昂贵的人类标签成本，本文着重于很少调查但实用的任务，称为半监督TAL，并提出了一种有效的主动学习方法，名为Al-Stal。我们利用四个步骤来积极选择具有很高信息性的视频样本，并培训本地化模型，名为\ emph {火车，查询，注释，附加}。考虑定位模型的不确定性的两个评分函数配备了ALSTAL，从而促进了视频样本等级和选择。一个人将预测标签分布的熵作为不确定性的度量，称为时间提案熵（TPE）。另一个引入了基于相邻行动建议之间的共同信息的新指标，并评估视频样本的信息性，称为时间上下文不一致（TCI）。为了验证拟议方法的有效性，我们在两个基准数据集Thumos'14和ActivityNet 1.3上进行了广泛的实验。实验结果表明，与完全监督的学习相比，AL-Stal的表现优于现有竞争对手，并实现令人满意的表现。
translated by 谷歌翻译