给定文本描述，时间语言接地（TLG）旨在本地化包含未经监控视频中指定语义的段的时间边界。 TLG本质上是一个具有挑战性的任务，因为它需要全面了解句子语义和视频内容。以前的作品可以在完全监督的设置中解决此任务，需要大量的时间注释或在通常无法实现令人满意的性能的弱监管设置中。由于手动注释是昂贵的，以应对有限的注释，我们通过纳入自我监督的学习以半监督方式解决TLG，并提出自我监督的半监督时间语言接地（S ^ 4TLG）。 S ^ 4TLG由两部分组成：（1）基于来自教师模型的预测，自适应为未标记的样本进行自适应生产即时伪标签的伪标签生成模块; （2）具有模态和模态对比度损耗的自我监督特征学习模块，以在视频内容一致性和视频文本对齐的约束下学习视频特征表示。我们对ActivityNet-CD-OOD和Charades-CD-OOD数据集进行了广泛的实验。结果表明，与完全监督的最新方法相比，我们所提出的S ^ 4TLG可以实现竞争性能，同时只需要一小部分时间注释。

半监控视频动作识别倾向于使深神经网络能够实现显着性能，即使具有非常有限的标记数据。然而，现有方法主要从当前的基于图像的方法转移（例如，FixMatch）。不具体利用时间动态和固有的多模式属性，它们的结果可能是次优。为了更好地利用视频中的编码的时间信息，我们将时间梯度引入了本文中的更多细小特征提取的额外模态。具体而言，我们的方法明确地蒸馏从时间梯度（TG）的细粒度运动表示，并施加不同方式的一致性（即RGB和TG）。在推理期间，没有额外的计算或参数，在没有额外的计算或参数的情况下显着提高了半监督动作识别的性能。我们的方法在若干典型的半监督设置（即标记数据的不同比率）下实现三个视频动作识别基准（即动态-400，UCF-101和HMDB-51）的最先进的性能。

时间基础旨在找到目标视频时刻，该目标瞬间与未修剪视频中给定的句子查询相对应。但是，最近的作品发现现有方法遇到了严重的时间偏见问题。这些方法并不是根据训练集中查询的时间偏见过度依赖基于视觉文本语义对齐的目标矩位置。为此，本文提出了一个新颖的培训框架，用于接地模型，以使用洗牌视频解决时间偏见问题而不会失去接地精度。我们的框架介绍了两个辅助任务，即跨模式匹配和时间订单歧视，以促进接地模型训练。跨模式匹配任务利用了洗牌和原始视频之间的内容一致性迫使接地模型以挖掘视觉内容以匹配语义的查询。时间秩序歧视任务利用时间顺序的差异来加强对长期时间环境的理解。关于Charades-STA和活动网字幕的广泛实验证明了我们方法可以减轻对时间偏差的依赖并增强模型对不同时间分布的概括能力的有效性。代码可从https://github.com/haojc/shufflingvideosfortsg获得。

视频瞬间检索旨在找到给定自然语言查询描述的片刻的开始和结束时间戳（视频的一部分）。全面监督的方法需要完整的时间边界注释才能获得有希望的结果，这是昂贵的，因为注释者需要关注整个时刻。弱监督的方法仅依赖于配对的视频和查询，但性能相对较差。在本文中，我们仔细研究了注释过程，并提出了一种称为“ Glance注释”的新范式。该范式需要一个只有一个随机框架的时间戳，我们将其称为“目光”，在完全监督的对应物的时间边界内。我们认为这是有益的，因为与弱监督相比，添加了琐碎的成本，还提供了更大的潜力。在一眼注释设置下，我们提出了一种基于对比度学习的一眼注释（VIGA），称为视频力矩检索的方法。 Viga将输入视频切成片段，并在剪辑和查询之间形成对比，其中一眼指导的高斯分布重量被分配给所有夹子。我们的广泛实验表明，VIGA通过很大的边距较小的弱监督方法获得了更好的结果，甚至可以在某些情况下与完全监督的方法相媲美。

时间句子接地（TSG）是多媒体信息检索中的一项重要但具有挑战性的任务。尽管以前的TSG方法已经达到了不错的性能，但它们倾向于捕获数据集中经常出现的视频问题对的选择偏差，而不是呈现强大的多模式推理能力，尤其是对于很少出现的对。在本文中，我们研究了上述选择偏见的问题，并因此提出了一个偏见-TSG（D-TSG）模型，以过滤和消除视觉和语言方式中的负偏见，以增强模型的概括能力。具体来说，我们建议从两个角度来减轻问题：1）特征蒸馏。我们构建了一个多模式的偏见分支，以首先捕获视觉和语言偏见，然后应用一个偏差识别模块以明确识别真正的负偏见并将其从良性多模式表示中删除。 2）对比样品产生。我们构建两种类型的负样本来强制执行模型，以准确学习对齐的多模式语义并做出完整的语义推理。我们将提出的模型应用于通常和很少出现的TSG案例，并通过在三个基准数据集（ActivityNet标题，Tacos和Charades-STA）上实现最先进的性能来证明其有效性。

作为多媒体信息检索中越来越流行的任务，视频瞬间检索（VMR）旨在根据给定的语言查询从未修剪视频中定位目标时刻。以前的大多数方法都在很大程度上取决于众多手动注释（即瞬间边界），在实践中获取非常昂贵。此外，由于不同数据集之间的域间隙，直接将这些预训练的模型应用于看不见的域，这会导致显着的性能下降。在本文中，我们专注于一项新任务：跨域VMR，其中一个域中完全注重数据集（````源域'''），但是感兴趣的域（``目标域''）仅包含未通知的数据集。据我们所知，我们介绍了有关跨域VMR的第一项研究。为了解决这一新任务，我们提出了一个新型的多模式跨域比对（MMCDA）网络，以将注释知识从源域转移到目标域。但是，由于源和目标域之间的域差异以及视频和查询之间的语义差距，直接将经过训练的模型应用于目标域通常会导致性能下降。为了解决这个问题，我们开发了三个新型模块：（i）域对齐模块旨在使每种模式的不同域之间的特征分布对齐； （ii）跨模式对齐模块旨在将视频和查询特征映射到关节嵌入空间中，并将目标域不同模态之间的特征分布对齐； （iii）特定的比对模块试图获得特定帧与给定查询之间的细粒度相似性以进行最佳定位。通过共同训练这三个模块，我们的MMCDA可以学习域不变和语义一致的跨模式表示。

视频时刻检索旨在搜索与给定语言查询最相关的那一刻。然而，该社区中的大多数现有方法通常需要季节边界注释，这昂贵且耗时地标记。因此，最近仅通过使用粗略视频级标签来提出弱监督的方法。尽管有效，但这些方法通常是独立处理候选人的候选人，同时忽略了不同时间尺度中候选者之间的自然时间依赖性的关键问题。要应对这个问题，我们提出了一种多尺度的2D表示学习方法，用于弱监督视频时刻检索。具体地，我们首先构造每个时间刻度的二维图以捕获候选者之间的时间依赖性。该地图中的两个维度表示这些候选人的开始和结束时间点。然后，我们使用学习卷积神经网络从每个刻度变化的地图中选择Top-K候选。通过新设计的时刻评估模块，我们获得所选候选人的对齐分数。最后，标题和语言查询之间的相似性被用作进一步培训候选者选择器的监督。两个基准数据集Charades-STA和ActivityNet标题的实验表明，我们的方法能够实现最先进的结果。

在本文中，我们在半监督对象检测（SSOD）中深入研究了两种关键技术，即伪标记和一致性训练。我们观察到，目前，这两种技术忽略了对象检测的一些重要特性，从而阻碍了对未标记数据的有效学习。具体而言，对于伪标记，现有作品仅关注分类得分，但不能保证伪框的本地化精度；为了保持一致性训练，广泛采用的随机训练只考虑了标签级的一致性，但错过了功能级别的训练，这在确保尺度不变性方面也起着重要作用。为了解决嘈杂的伪箱所产生的问题，我们设计了包括预测引导的标签分配（PLA）和正面验证一致性投票（PCV）的嘈杂伪盒学习（NPL）。 PLA依赖于模型预测来分配标签，并使甚至粗糙的伪框都具有鲁棒性。 PCV利用积极建议的回归一致性来反映伪盒的本地化质量。此外，在一致性训练中，我们提出了包括标签和特征水平一致性的机制的多视图尺度不变学习（MSL），其中通过将两个图像之间的移动特征金字塔对准具有相同内容但变化量表的变化来实现特征一致性。在可可基准测试上，我们的方法称为伪标签和一致性训练（PSECO），分别以2.0、1.8、2.0分的1％，5％和10％的标签比优于SOTA（软教师）。它还显着提高了SSOD的学习效率，例如，PSECO将SOTA方法的训练时间减半，但实现了更好的性能。代码可从https://github.com/ligang-cs/pseco获得。

了解人类情绪是智能机器人提供更好的人类机器人相互作用的关键能力。现有作品仅限于修剪视频级别的情感分类，无法找到与情感相对应的时间窗口。在本文中，我们介绍了一项新任务，称为视频中的时间情感本地化（TEL），该任务旨在检测人类的情感并将其相应的时间边界定位在带有校准字幕的未修剪视频中。与时间动作本地化相比，TEL提出了三个独特的挑战：1）情绪的时间动态极为多样； 2）情绪提示都嵌入了外观和复杂的情节中； 3）细粒度的时间注释是复杂且劳动密集型的。为了应对前两个挑战，我们提出了一个新颖的扩张上下文集成网络，该网络与粗细的两流体系结构。粗流通过建模多粒性时间上下文来捕获各种时间动力学。细流通过推理从粗流的多晶格时间上下文之间的依赖性来实现复杂的理解，并将它们自适应地集成到细粒度的视频段特征中。为了应对第三个挑战，我们引入了跨模式共识学习范式，该范式利用了对齐视频和字幕之间的固有语义共识，以实现弱监督的学习。我们为新的测试集提供了3,000个手动注释的时间边界，因此可以对TEL问题进行未来的研究进行定量评估。广泛的实验显示了我们方法对时间情绪定位的有效性。这项工作的存储库位于https://github.com/yyjmjc/temporal-emotion-localization-in-videos。

时间接地旨在本地化与给定的自然语言查询语义对齐的视频片刻。现有方法通常在融合表示上应用检测或回归管道，研究重点是设计复杂的预测头或融合策略。相反，从时间接地作为度量学习问题的角度来看，我们呈现了一个相互匹配的网络（MMN），以直接模拟联合嵌入空间中的语言查询和视频矩之间的相似性。这种新的公制学习框架可以完全利用两个新方面的负面样本：在相互匹配方案中构建负跨模型对和跨不同视频的挖掘负对。这些新的阴性样本可以通过跨模态相互匹配来增强两个模式的联合表示学习，以最大化其互信。实验表明，与四个视频接地基准测试的最先进的方法相比，我们的MMN实现了竞争力的表现。基于MMN，我们为第三张图片车间的HC-STVG挑战提供了一个胜利者解决方案。这表明度量学习仍然是通过捕获关节嵌入空间中的基本跨模式相关性的时间接地的有希望的方法。代码可在https://github.com/mcg-nju/mmn获得。

本文研究了时间句子接地的多媒体问题（TSG），该问题旨在根据给定的句子查询准确地确定未修剪视频中的特定视频段。传统的TSG方法主要遵循自上而下或自下而上的框架，不是端到端。他们严重依靠耗时的后处理来完善接地结果。最近，提出了一些基于变压器的方法来有效地对视频和查询之间的细粒语义对齐进行建模。尽管这些方法在一定程度上达到了显着的性能，但它们同样将视频的框架和查询的单词视为用于关联的变压器输入，未能捕获其不同水平的粒度与独特的语义。为了解决这个问题，在本文中，我们提出了一种新型的等级局部 - 全球变压器（HLGT）来利用这种层次结构信息，并模拟不同粒度的不同级别的相互作用和不同的模态之间的相互作用，以学习更多细粒度的多模式表示。具体而言，我们首先将视频和查询分为单个剪辑和短语，以通过时间变压器学习其本地上下文（相邻依赖关系）和全局相关性（远程依赖）。然后，引入了全球本地变压器，以了解本地级别和全球级别语义之间的相互作用，以提供更好的多模式推理。此外，我们开发了一种新的跨模式周期一致性损失，以在两种模式之间实施相互作用，并鼓励它们之间的语义一致性。最后，我们设计了一个全新的跨模式平行变压器解码器，以集成编码的视觉和文本特征，以进行最终接地。在三个具有挑战性的数据集上进行了广泛的实验表明，我们提出的HLGT实现了新的最新性能。

最近，自我监督的表示学习（SSRL）在计算机视觉，语音，自然语言处理（NLP）以及最近的其他类型的模式（包括传感器的时间序列）中引起了很多关注。自我监督学习的普及是由传统模型通常需要大量通知数据进行培训的事实所驱动的。获取带注释的数据可能是一个困难且昂贵的过程。已经引入了自我监督的方法，以通过使用从原始数据自由获得的监督信号对模型进行判别预训练来提高训练数据的效率。与现有的对SSRL的评论不同，该评论旨在以单一模式为重点介绍CV或NLP领域的方法，我们旨在为时间数据提供对多模式自我监督学习方法的首次全面审查。为此，我们1）提供现有SSRL方法的全面分类，2）通过定义SSRL框架的关键组件来引入通用管道，3）根据其目标功能，网络架构和潜在应用程序，潜在的应用程序，潜在的应用程序，比较现有模型， 4）查看每个类别和各种方式中的现有多模式技术。最后，我们提出了现有的弱点和未来的机会。我们认为，我们的工作对使用多模式和/或时间数据的域中SSRL的要求有了一个观点

视频接地旨在通过给定语言查询，本地化未经监控的视频中的相应视频时刻。现有方法通常以间接方式解决此任务，通过将其作为提案和匹配或融合和检测问题。解决这些替代问题通常需要在培训和手工制作的近重复结果中进行复杂的标签分配。同时，现有的作品通常专注于具有单句的稀疏视频接地，作为输入可能导致由于其不清晰的描述而产生模糊的本地化。在本文中，我们通过将段落作为输入同时定位多个时刻来解决密集视频接地的新问题。从视频接地的视角是语言条件回归，我们通过重新拟合变压器 - 相似的架构（PRVG）来提出端到端的并行解码范式。我们的PRVG中的关键设计是使用语言作为查询，并基于语言调制的可视表示直接回归矩界限。由于其简单设计，我们的PRVG框架可以应用于不同的测试方案（稀疏或密集的接地），并允许无需任何后处理技术的有效推理。此外，我们设计了强大的提案级注意力损失，以指导PRVG的培训，这不变于时刻持续时间，并有助于模型收敛。我们对ActivityNet标题和炸玉米饼的两个视频接地基准进行实验，展示了我们的PRVG可以显着优于以前的方法。我们还进行深入的研究，以研究并行回归范例对视频接地的有效性。

本文为半监督医学图像分割提供了一个简单而有效的两阶段框架。我们的主要洞察力是探索用标记和未标记的（即伪标记）图像的特征表示学习，以增强分段性能。在第一阶段，我们介绍了一种炼层的不确定感知方法，即Aua，以改善产生高质量伪标签的分割性能。考虑到医学图像的固有歧义，Aua自适应地规范了具有低歧义的图像的一致性。为了提高代表学习，我们提出了一种舞台适应性的对比学习方法，包括边界意识的对比损失，以规范第一阶段中标记的图像，并在第二阶段中的原型感知对比损失优化标记和伪标记的图像阶段。边界意识的对比损失仅优化分段边界周围的像素，以降低计算成本。原型感知对比损失通过为每个类构建质心来充分利用标记的图像和伪标记的图像，以减少对比较的计算成本。我们的方法在两个公共医学图像分割基准上实现了最佳结果。值得注意的是，我们的方法在结肠肿瘤分割的骰子上以5.7％的骰子依赖于只有5％标记的图像而表现出5.7％。

Given an untrimmed video and natural language query, video sentence grounding aims to localize the target temporal moment in the video. Existing methods mainly tackle this task by matching and aligning semantics of the descriptive sentence and video segments on a single temporal resolution, while neglecting the temporal consistency of video content in different resolutions. In this work, we propose a novel multi-resolution temporal video sentence grounding network: MRTNet, which consists of a multi-modal feature encoder, a Multi-Resolution Temporal (MRT) module, and a predictor module. MRT module is an encoder-decoder network, and output features in the decoder part are in conjunction with Transformers to predict the final start and end timestamps. Particularly, our MRT module is hot-pluggable, which means it can be seamlessly incorporated into any anchor-free models. Besides, we utilize a hybrid loss to supervise cross-modal features in MRT module for more accurate grounding in three scales: frame-level, clip-level and sequence-level. Extensive experiments on three prevalent datasets have shown the effectiveness of MRTNet.

视频时间基础（VTG）的目标是根据自然语言（NL）描述在未修剪视频中定位时间矩。由于现实世界的应用程序提供了永无止境的视频流，因此它提出了对长形视频的时间基础的需求，这导致了两个主要挑战：（1）长视频长度使得很难处理整个视频而不减少样本速率并导致高计算负担； （2）随着候选时间的增加数量，准确的多模式对准更具挑战性。为了应对这些挑战，我们提出了一个有效的以窗户为中心的粗略对齐框架，它可以灵活地处理具有较高推理速度的长格式视频输入，并通过我们的新颖的Choce-Fine Muly-Fine增强了时间基础模态对齐框架。具体来说，我们通过滑动窗口方法将长视频将长视频切成候选窗口。 Cone（1）以窗户为中心，通过对比度学习和通过对NL查询相关的候选窗口进行过滤来学习窗口间的（粗粒）语义差异，并且（2）执行内部（罚款） - 使用强大的对比视力文本预训练模型的强大多模式对齐能力对候选力矩进行排名。长期视频的两个大规模VTG基准测试的广泛实验始终显示出可观的性能增长（MAD的3.13％至6.87％，从10.46％到EGO4D-NLQ上的10.46％至13.46％），并且Cone在两个数据集上都可以达到SOTA结果。分析揭示了组件的有效性和长期视频接地的效率较高，因为我们的系统在EGO4D-NLQ上提高了2倍的推理速度，而在MAD上提高了15倍的速度，同时保持了锥体的SOTA性能。

Semi-supervised object detection (SSOD) aims to boost detection performance by leveraging extra unlabeled data. The teacher-student framework has been shown to be promising for SSOD, in which a teacher network generates pseudo-labels for unlabeled data to assist the training of a student network. Since the pseudo-labels are noisy, filtering the pseudo-labels is crucial to exploit the potential of such framework. Unlike existing suboptimal methods, we propose a two-step pseudo-label filtering for the classification and regression heads in a teacher-student framework. For the classification head, OCL (Object-wise Contrastive Learning) regularizes the object representation learning that utilizes unlabeled data to improve pseudo-label filtering by enhancing the discriminativeness of the classification score. This is designed to pull together objects in the same class and push away objects from different classes. For the regression head, we further propose RUPL (Regression-Uncertainty-guided Pseudo-Labeling) to learn the aleatoric uncertainty of object localization for label filtering. By jointly filtering the pseudo-labels for the classification and regression heads, the student network receives better guidance from the teacher network for object detection task. Experimental results on Pascal VOC and MS-COCO datasets demonstrate the superiority of our proposed method with competitive performance compared to existing methods.

现有的时间动作检测（TAD）方法依赖于带有细分级注释的大量培训数据。因此，收集和注释这样的训练集非常昂贵且不可计入。半监督的TAD（SS-TAD）通过利用规模自由的未标记视频来减轻此问题。但是，SS-Tad也比有监督的TAD更具挑战性的问题，因此研究得多。先前的SS-TAD方法直接结合了现有的基于建议的TAD方法和SSL方法。由于它们的顺序定位（例如，提案生成）和分类设计，它们很容易出现误差传播。为了克服这一局限性，在这项工作中，我们提出了一种基于无建议的时间掩模（点）的新型半监督时间动作检测模型，并具有平行的定位（掩码生成）和分类体系结构。这种新颖的设计通过切断介于两者之间的错误传播途径来有效地消除了定位和分类之间的依赖性。我们进一步介绍了用于预测细化的分类和本地化之间的交互机制，以及用于自我监督模型预训练的新借口任务。对两个标准基准测试的广泛实验表明，我们的现场表现要优于最先进的替代方案，通常是很大的边距。 pytorch实施现场可在https://github.com/sauradip/spot上获得

视频（TSGV）任务接地的时间句是从未过时的视频定位一个时间矩，以匹配语言查询，即句子。在不考虑时刻注释（例如，视频中的开始和结束位置），许多模型倾向于捕获瞬间注释的统计规则，并且在视频和语言查询之间不好学习跨模型推理。在本文中，我们提出了两种脱叠策略，数据脱叠和模型脱模，以“强制”TSGV模型以捕获跨模型交互。数据脱叠通过视频截断执行数据，以平衡列车集中的时刻时间分布。模型扩展利用视频仅限视频和仅查询模型来捕获分布偏差，并强制模型学习跨模型交互。使用VSLNET作为基础模型，我们会评估两个策略对包含分发超出测试实例的数据集的影响。结果表明，两种策略在提高模型泛化能力方面都是有效的。 vslnet配备了脱叠策略，VSLNET在两个数据集上实现了最佳结果。

Temporal sentence grounding (TSG) aims to identify the temporal boundary of a specific segment from an untrimmed video by a sentence query. All existing works first utilize a sparse sampling strategy to extract a fixed number of video frames and then conduct multi-modal interactions with query sentence for reasoning. However, we argue that these methods have overlooked two indispensable issues: 1) Boundary-bias: The annotated target segment generally refers to two specific frames as corresponding start and end timestamps. The video downsampling process may lose these two frames and take the adjacent irrelevant frames as new boundaries. 2) Reasoning-bias: Such incorrect new boundary frames also lead to the reasoning bias during frame-query interaction, reducing the generalization ability of model. To alleviate above limitations, in this paper, we propose a novel Siamese Sampling and Reasoning Network (SSRN) for TSG, which introduces a siamese sampling mechanism to generate additional contextual frames to enrich and refine the new boundaries. Specifically, a reasoning strategy is developed to learn the inter-relationship among these frames and generate soft labels on boundaries for more accurate frame-query reasoning. Such mechanism is also able to supplement the absent consecutive visual semantics to the sampled sparse frames for fine-grained activity understanding. Extensive experiments demonstrate the effectiveness of SSRN on three challenging datasets.