我们针对虚线监督的视频对象接地（WSVog）的任务，其中仅在模型学习期间只提供视频句子注释。它旨在将句子中描述的对象本地化为视频中的视觉区域，这是模式分析和机器学习中所需的基本功能。尽管最近的进展，但现有的方法都遭受了虚假协会的严重问题，这将损害接地性能。在本文中，我们从WSVog的定义开始，从两个方面定位虚假关联：（1）协会本身由于监督弱而不是对象相关但极其暧昧，而（2）联想是不可避免的在现有方法中采用基于统计数据的匹配策略时观察偏见。考虑到这一点，我们设计一个统一的因果框架，以了解Deconfounded对象相关协会，以获得更准确和强大的视频对象接地。具体而言，我们从视频数据生成过程的角度来看，通过因果干预来学习对象相关关联。为了克服在干预方面缺乏细粒度监督的问题，我们提出了一种新的空间对抗对比学习范式。为了进一步消除对象相关协会内的随附的混杂效果，我们通过通过后门调整进行因果干预来追求真正的因果关系。最后，在统一的因果关系中以端到端的方式在统一的因果框架下学习和优化了Deconfound的对象相关关联。关于IID和OOD测试组的广泛实验，三个基准测试展示了其针对最先进的准确和强大的接地性能。
translated by 谷歌翻译
2022-04-26
视觉表示学习在各种现实世界中无处不在，包括视觉理解，视频理解，多模式分析，人类计算机的互动和城市计算。由于出现了大量多模式的异质空间/时间/时空数据，因此在大数据时代，缺乏可解释性，鲁棒性和分布外的概括正在成为现有视觉模型的挑战。大多数现有方法倾向于符合原始数据/可变分布，而忽略了多模式知识背后的基本因果关系，该知识缺乏统一的指导和分析，并分析了为什么现代视觉表示学习方法很容易崩溃成数据偏见并具有有限的概括和认知能力。因此，受到人类水平代理人的强大推理能力的启发，近年来见证了巨大的努力，以发展因果推理范式，以良好的认知能力实现强大的代表性和模型学习。在本文中，我们对视觉表示学习的现有因果推理方法进行了全面审查，涵盖了基本理论，模型和数据集。还讨论了当前方法和数据集的局限性。此外，我们提出了一些预期的挑战，机会和未来的研究方向，用于基准视觉表示学习中的因果推理算法。本文旨在为这个新兴领域提供全面的概述，引起人们的注意，鼓励讨论，使发展新颖的因果推理方法，公开可用的基准和共识建设标准的紧迫性，以可靠的视觉表示和相关的真实实践。世界应用更有效。
translated by 谷歌翻译
现有的视觉问题回答方法倾向于捕获视觉和语言方式中的虚假相关性，并且未能发现真正的休闲机制，这些机制是基于主导的视觉证据和正确的问题意图而实现推理的真正休闲机制。此外，现有方法通常忽略了多模式设置中复杂的事件级别的理解，这需要因果推断对共同模型跨模式事件的时间性，因果关系和动力学的强大认知能力。在这项工作中，我们通过引入因果干预方法来减轻虚假相关性并发现真实的因果结构，从而从新的角度（即跨模式因果关系推理）回答事件级别的视觉问题，即跨模式的因果关系推理并发现了真实的因果结构，以集成视觉和语言的相关性方式。具体而言，我们提出了一个新颖的事件级视觉问题答案框架，称为跨模式因果关系推理（CMCIR），以实现强大的偶然性随意感知的视觉视觉语言问题。为了揭示视觉和语言方式的因果结构，提出了新颖的因果关系 - 感知视觉语言推理（CVLR）模块，以通过精心设计的前对门和后门Causal Causal Intervention模块进行合作地解散视觉和语言的杂语相关性。为了发现语言语义和时空表示之间的细粒度相互作用，我们构建了一种新型的时空变压器（STT），该变压器（STT）构建了视觉内容和语言内容之间的多模式共发生相互作用。大规模事件级城市数据集SUTD-TrafficQA和三个基准现实世界数据集TGIF-QA，MSVD-QA和MSRVTT-QA进行了广泛的实验，这证明了我们的CMCIR在发现视觉效果的Causal Causal Causal结构中的有效性。
translated by 谷歌翻译
我们专注于视觉接地管道语言与位置之间的混淆偏见，在那里我们发现偏差是主要的视觉推理瓶颈。例如，接地过程通常是一种琐碎的语言 - 位置关联，没有视觉推理，例如，将任何包含绵羊的语言查询接地到近中心区域，由于绵羊在图像中心的地面真实位置存在地面真相位置。首先，我们将视觉接地管道框架框成了因果图，其显示图像，查询，目标位置和底层混淆之间的因果关系。通过因果图，我们知道如何打破接地瓶颈：Deconfounded视觉接地。其次，为了解决混乱的挑战，即一般而言，我们提出了一种呼吁呼吁：引用表达式解构器（红色），以消除混淆偏差。第三，我们实施红色作为一种简单的语言关注，可以以任何接地方法应用。在流行的基准测试中，红色通过显着的边缘改善了各种最先进的接地方法。代码将很快提供：https://github.com/jianqiangh/deconfounded_vg。
translated by 谷歌翻译
我们介绍了空间本地化叙述中的视频中的任务。我们的方法的关键是能够学会在与随附的叙述的视频中的大型视频中对自我监督进行空间地定位与自我监督的互动。为实现这一目标，我们提出了一种多层跨模型关注网络，可以在培训期间有效优化对比损失。我们介绍了一种分割的策略，可以通过视觉和自然语言方式计算和中间模态注意力之间的交替，这允许通过直接对比两种方式的表示来实现有效的培训。我们展示了我们对HOWTO100M教学数据集的自我训练的方法的有效性，并在YouCook2 DataSet中的本地化描述交互的新收集数据集上进行评估。我们展示了我们的方法优于替代基准，包括浅薄的共同关注和完全跨越的关注。我们还将我们的方法应用于在Flickr30k上的弱监管下的图像中的接地短语，并显示堆叠多个注意层是有效的，并且当与对区域丢失相结合时，在召回召回和指向时达到最先进的艺术状态手准确性。
translated by 谷歌翻译
基于文本的视频细分旨在通过用文本查询指定演员及其表演动作来细分视频序列中的演员。由于\ emph {emph {语义不对称}的问题，以前的方法无法根据演员及其动作以细粒度的方式将视频内容与文本查询对齐。 \ emph {语义不对称}意味着在多模式融合过程中包含不同量的语义信息。为了减轻这个问题，我们提出了一个新颖的演员和动作模块化网络，该网络将演员及其动作分别定位在两个单独的模块中。具体来说，我们首先从视频和文本查询中学习与参与者相关的内容，然后以对称方式匹配它们以定位目标管。目标管包含所需的参与者和动作，然后将其送入完全卷积的网络，以预测演员的分割掩模。我们的方法还建立了对象的关联，使其与所提出的时间建议聚合机制交叉多个框架。这使我们的方法能够有效地细分视频并保持预测的时间一致性。整个模型允许联合学习参与者的匹配和细分，并在A2D句子和J-HMDB句子数据集上实现单帧细分和完整视频细分的最新性能。
translated by 谷歌翻译
深度学习技术导致了通用对象检测领域的显着突破，近年来产生了很多场景理解的任务。由于其强大的语义表示和应用于场景理解，场景图一直是研究的焦点。场景图生成（SGG）是指自动将图像映射到语义结构场景图中的任务，这需要正确标记检测到的对象及其关系。虽然这是一项具有挑战性的任务，但社区已经提出了许多SGG方法并取得了良好的效果。在本文中，我们对深度学习技术带来了近期成就的全面调查。我们审查了138个代表作品，涵盖了不同的输入方式，并系统地将现有的基于图像的SGG方法从特征提取和融合的角度进行了综述。我们试图通过全面的方式对现有的视觉关系检测方法进行连接和系统化现有的视觉关系检测方法，概述和解释SGG的机制和策略。最后，我们通过深入讨论当前存在的问题和未来的研究方向来完成这项调查。本调查将帮助读者更好地了解当前的研究状况和想法。
translated by 谷歌翻译
开放式视频对象检测（OVD）旨在扩展词汇大小，以检测训练词汇以外的新颖类别的对象。最近的工作诉诸于预先训练的视觉模型中的丰富知识。但是，现有方法在提案级视觉语言对准方面无效。同时，这些模型通常遭受对基本类别的信心偏见，并且在新颖的类别上表现较差。为了克服挑战，我们提出了Medet，这是一个新颖有效的OVD框架，并具有建议挖掘和预测均衡。首先，我们设计了一个在线建议挖掘，以完善从粗到细的继承的视觉语义知识，从而允许提案级别以检测为导向的特征对齐。其次，基于因果推论理论，我们引入了班级的后门调整，以加强对新类别的预测，以提高整体OVD性能。对可可和LVIS基准的广泛实验验证了MEDET在检测新型类别的对象（例如可可的32.6％AP50）和LVI上的22.4％蒙版图中的优越性。
translated by 谷歌翻译
时间句子接地（TSG）是多媒体信息检索中的一项重要但具有挑战性的任务。尽管以前的TSG方法已经达到了不错的性能，但它们倾向于捕获数据集中经常出现的视频问题对的选择偏差，而不是呈现强大的多模式推理能力，尤其是对于很少出现的对。在本文中，我们研究了上述选择偏见的问题，并因此提出了一个偏见-TSG（D-TSG）模型，以过滤和消除视觉和语言方式中的负偏见，以增强模型的概括能力。具体来说，我们建议从两个角度来减轻问题：1）特征蒸馏。我们构建了一个多模式的偏见分支，以首先捕获视觉和语言偏见，然后应用一个偏差识别模块以明确识别真正的负偏见并将其从良性多模式表示中删除。 2）对比样品产生。我们构建两种类型的负样本来强制执行模型，以准确学习对齐的多模式语义并做出完整的语义推理。我们将提出的模型应用于通常和很少出现的TSG案例，并通过在三个基准数据集（ActivityNet标题，Tacos和Charades-STA）上实现最先进的性能来证明其有效性。
translated by 谷歌翻译
视频瞬间检索旨在找到给定自然语言查询描述的片刻的开始和结束时间戳（视频的一部分）。全面监督的方法需要完整的时间边界注释才能获得有希望的结果，这是昂贵的，因为注释者需要关注整个时刻。弱监督的方法仅依赖于配对的视频和查询，但性能相对较差。在本文中，我们仔细研究了注释过程，并提出了一种称为“ Glance注释”的新范式。该范式需要一个只有一个随机框架的时间戳，我们将其称为“目光”，在完全监督的对应物的时间边界内。我们认为这是有益的，因为与弱监督相比，添加了琐碎的成本，还提供了更大的潜力。在一眼注释设置下，我们提出了一种基于对比度学习的一眼注释（VIGA），称为视频力矩检索的方法。 Viga将输入视频切成片段，并在剪辑和查询之间形成对比，其中一眼指导的高斯分布重量被分配给所有夹子。我们的广泛实验表明，VIGA通过很大的边距较小的弱监督方法获得了更好的结果，甚至可以在某些情况下与完全监督的方法相媲美。
translated by 谷歌翻译
视频分割，即将视频帧分组到多个段或对象中，在广泛的实际应用中扮演关键作用，例如电影中的视觉效果辅助，自主驾驶中的现场理解，以及视频会议中的虚拟背景创建，名称一些。最近，由于计算机愿景中的联系复兴，一直存在众多深度学习的方法，这一直专用于视频分割并提供引人注目的性能。在这项调查中，通过引入各自的任务设置，背景概念，感知需要，开发历史，以及开发历史，综合审查这一领域的两种基本研究，即在视频和视频语义分割中，即视频和视频语义分割中的通用对象分段（未知类别）。主要挑战。我们还提供关于两种方法和数据集的代表文学的详细概述。此外，我们在基准数据集中呈现了审查方法的定量性能比较。最后，我们指出了这一领域的一套未解决的开放问题，并提出了进一步研究的可能机会。
translated by 谷歌翻译
细粒度的图像分析（FGIA）是计算机视觉和模式识别中的长期和基本问题，并为一组多种现实世界应用提供了基础。 FGIA的任务是从属类别分析视觉物体，例如汽车或汽车型号的种类。细粒度分析中固有的小阶级和阶级阶级内变异使其成为一个具有挑战性的问题。利用深度学习的进步，近年来，我们在深入学习动力的FGIA中见证了显着进展。在本文中，我们对这些进展的系统进行了系统的调查，我们试图通过巩固两个基本的细粒度研究领域 - 细粒度的图像识别和细粒度的图像检索来重新定义和扩大FGIA领域。此外，我们还审查了FGIA的其他关键问题，例如公开可用的基准数据集和相关域的特定于应用程序。我们通过突出几个研究方向和开放问题，从社区中突出了几个研究方向和开放问题。
translated by 谷歌翻译
2022-02-11
Recent years have witnessed the resurgence of knowledge engineering which is featured by the fast growth of knowledge graphs. However, most of existing knowledge graphs are represented with pure symbols, which hurts the machine's capability to understand the real world. The multi-modalization of knowledge graphs is an inevitable key step towards the realization of human-level machine intelligence. The results of this endeavor are Multi-modal Knowledge Graphs (MMKGs). In this survey on MMKGs constructed by texts and images, we first give definitions of MMKGs, followed with the preliminaries on multi-modal tasks and techniques. We then systematically review the challenges, progresses and opportunities on the construction and application of MMKGs respectively, with detailed analyses of the strength and weakness of different solutions. We finalize this survey with open research problems relevant to MMKGs.
translated by 谷歌翻译
3D场景理解的最新进展探索了视觉接地（3DVG），以通过语言描述定位目标对象。但是，现有方法仅考虑整个句子和目标对象之间的依赖性，从而忽略了上下文与非目标之间的细粒度关系。在本文中，我们将3DVG扩展到更可靠和可解释的任务，称为3D短语意识接地（3DPAG）。 3DPAG任务旨在通过明确识别所有与短语相关的对象，然后根据上下文短语进行推理，旨在在3D场景中定位目标对象。为了解决这个问题，我们在可用的3DVG数据集中的170k句子中标记了大约400k短语级别的注释，即NR3D，SR3D和ScanRefer。通过利用这些开发的数据集，我们提出了一个新颖的框架，即Phraserefer，该框架通过短语对象对准优化以及短语特异性预训练来进行短语感知和对象级表示学习。在我们的环境中，我们将先前的3DVG方法扩展到短语感知方案，并提供指标以衡量3DPAG任务的解释性。广泛的结果证实，3DPAG有效地提高了3DVG，而Phraserefer分别在SR3D，NR3D和SCANREFER上分别达到三个数据集（即63.0％，54.4％和55.5％）的最先进。
translated by 谷歌翻译
场景图是一个场景的结构化表示，可以清楚地表达场景中对象之间的对象，属性和关系。随着计算机视觉技术继续发展，只需检测和识别图像中的对象，人们不再满足。相反，人们期待着对视觉场景更高的理解和推理。例如，给定图像，我们希望不仅检测和识别图像中的对象，还要知道对象之间的关系（视觉关系检测），并基于图像内容生成文本描述（图像标题）。或者，我们可能希望机器告诉我们图像中的小女孩正在做什么（视觉问题应答（VQA）），甚至从图像中移除狗并找到类似的图像（图像编辑和检索）等。这些任务需要更高水平的图像视觉任务的理解和推理。场景图只是场景理解的强大工具。因此，场景图引起了大量研究人员的注意力，相关的研究往往是跨模型，复杂，快速发展的。然而，目前没有对场景图的相对系统的调查。为此，本调查对现行场景图研究进行了全面调查。更具体地说，我们首先总结了场景图的一般定义，随后对场景图（SGG）和SGG的发电方法进行了全面和系统的讨论，借助于先验知识。然后，我们调查了场景图的主要应用，并汇总了最常用的数据集。最后，我们对场景图的未来发展提供了一些见解。我们相信这将是未来研究场景图的一个非常有帮助的基础。
translated by 谷歌翻译
时空视频接地（STVG）的重点是检索由自由形式的文本表达式描绘的特定物体的时空管。现有方法主要将这一复杂的任务视为平行框架的问题，因此遭受了两种类型的不一致缺点：特征对齐不一致和预测不一致。在本文中，我们提出了一个端到端的一阶段框架，称为时空的一致性变压器（STCAT），以减轻这些问题。特别是，我们引入了一个新颖的多模式模板，作为解决此任务的全球目标，该目标明确限制了接地区域并将所有视频框架之间的预测联系起来。此外，为了在足够的视频文本感知下生成上述模板，提出了一个编码器架构来进行有效的全局上下文建模。由于这些关键设计，STCAT享有更一致的跨模式特征对齐和管预测，而无需依赖任何预训练的对象探测器。广泛的实验表明，我们的方法在两个具有挑战性的视频基准（VIDSTG和HC-STVG）上胜过先前的最先进的，这说明了拟议框架的优越性，以更好地理解视觉与自然语言之间的关联。代码可在\ url {https://github.com/jy0205/stcat}上公开获得。
translated by 谷歌翻译
最近，越来越多的努力集中在弱监督的场景图（WSSGG）上。 WSSGG的主流解决方案通常遵循相同的管道：它们首先将文本实体与弱图像级别的监督（例如，未定位的关系三胞胎或字幕）相结合，然后用图像区域对齐，然后以完全固定的实例训练SGG模型 - 级别的“伪”标签。但是，我们认为大多数现有的WSSGG仅专注于对象一致性，这意味着接地区域应具有与文本实体相同的对象类别标签。尽管他们忽略了理想对齐的另一个基本要求：相互作用，这意味着接地区域对应具有与文本实体对相同的相互作用（即视觉关系）。因此，在本文中，我们建议通过使用对象感知和互动感知知识来增强简单的接地模块，以获取更可靠的伪标签。为了更好地利用这两种类型的知识，我们将它们视为两位老师，并融合其生成的目标，以指导我们接地模块的训练过程。具体而言，我们设计了两种不同的策略，可以通过评估每个培训样本的可靠性来适应不同的教师。广泛的实验表明，我们的方法始终在各种弱监督下提高WSSGG性能。
translated by 谷歌翻译
我们研究了视频引用表达理解（REC）的问题，该问题旨在将句子中描述的引用对象定位为视频帧中的视觉区域。尽管取得了最近的进展，但现有方法却遇到了两个问题：1）视频帧之间的本地化结果不一致； 2）参考对象和上下文对象之间的混淆。为此，我们提出了一个新颖的双对应网络（称为DCNET），该网络明确增强了框架间和跨模式的密集关联。首先，我们旨在为框架内所有现有实例建立框架间的相关性。具体而言，我们计算框架间的斑点余弦相似性，以估计密集的对齐方式，然后执行框架间的对比度学习以在特征空间中映射它们。其次，我们建议构建细粒斑点字对齐，以将每个贴片与某些单词相关联。由于缺乏这种详细的注释，我们还通过余弦相似性预测了斑点字的对应关系。广泛的实验表明，我们的DCNET在视频和图像基准测试中都达到了最先进的性能。此外，我们进行了全面的消融研究和彻底的分析，以探索最佳模型设计。值得注意的是，我们的框架间和跨模式对比损失是插件功能，适用于任何视频架构架构。例如，通过在共同接地之上进行构建，我们在vid-sentence数据集的Accu。0.5上提高了1.48％的性能。
translated by 谷歌翻译
随着图像文本对的大量数据以及视觉和语言（V＆L）任务的多样性，学者在该研究领域引入了大量的深度学习模型。此外，近年来，转移学习还显示出在计算机愿景中的巨大成功，例如图像分类，对象检测等以及在自然语言处理中以进行问答，机器翻译等的自然语言处理。继承转移学习的精神， V＆L的研究工作已经在大规模数据集上设计了多种预训练技术，以增强下游任务的性能。本文的目的是提供当代V＆L预审前模型的全面修订。特别是，我们对预处理的方法进行了分类和描述，以及最先进的视觉和语言预训练模型的摘要。此外，还提供了培训数据集和下游任务的列表，以进一步提高V＆L预处理的观点。最后，我们决定采取进一步的一步，讨论众多未来研究的方向。
translated by 谷歌翻译
视频字幕定位目标将复杂的视觉内容解释为文本说明，这要求模型充分了解包括对象及其交互的视频场景。流行的方法采用现成的对象检测网络来提供对象建议，并使用注意机制来建模对象之间的关系。他们通常会错过一些预验证模型的不确定语义概念，并且无法识别对象之间的确切谓词关系。在本文中，我们研究了为给定视频生成文本描述的开放研究任务，并提出了带有元概念的跨模式图（CMG）。具体而言，为了涵盖视频字幕中有用的语义概念，我们弱地学习了文本描述的相应视觉区域，其中相关的视觉区域和文本单词被命名为跨模式元概念。我们通过学习的跨模式元概念动态地构建元概念图。我们还构建了整体视频级别和本地框架级视频图，并具有预测的谓词，以建模视频序列结构。我们通过广泛的实验来验证我们提出的技术的功效，并在两个公共数据集上实现最新结果。
translated by 谷歌翻译