支持日常任务的家庭服务机器人是老年人或残疾人的有前途解决方案。对于家庭服务机器人，在执行碰撞风险之前至关重要。在本文中，我们的目标是为未来的活动产生标题。我们提出了关系的未来字幕模型（RFCM），这是一种未来字幕任务的跨模式语言生成模型。RFCM具有关系自我注意编码器，可以比变压器中常规的自我注意力更有效地提取事件之间的关系。我们进行了比较实验，结果表明RFCM在两个数据集上的基线方法优于基线方法。
translated by 谷歌翻译
对于视频标题，“预培训和微调”已成为事实上的范式，其中想象成预训练（InP）通常用于帮助编码视频内容，并且从头开始进行任务导向的网络应对标题一代。将InP与最近提出的剪辑（对比语言图像预培训）进行比较，研究了INP的潜在缺陷，用于视频标题，并探索产生准确描述的关键。具体而言，我们对INP与剪辑的实证研究表明，INP使视频标题模型棘手捕获属性的语义和对无关背景信息的敏感。相比之下，剪辑在标题质量中的显着提升突出了属性感知表示学习的重要性。因此，我们被激励引入双属性预测，需要一个辅助任务，需要视频字幕模型来学习视频内容和属性之间的对应关系以及属性之间的共同发生关系。基准数据集的广泛实验表明，我们的方法能够更好地学习属性感知的表示，这对具有不同架构和解码算法的模型带来了一致的改进。
translated by 谷歌翻译
通用事件边界字幕（GEBC）旨在生成三个句子，描述给定时间边界的状态更改。以前的方法仅处理一次单个边界的信息，该信息缺乏视频上下文信息的利用。为了解决此问题，我们设计了一个直接将整个视频作为输入的模型，并为各个边界提供标题。该模型可以通过对边界边界建模来了解每个时间边界的上下文信息。实验证明了上下文信息的有效性。所提出的方法在测试集上达到了72.84分数，我们在此挑战中达到了$ 2^{nd} $。我们的代码可在：\ url {https://github.com/zjr2000/context-gebc}中获得。
translated by 谷歌翻译
密集的视频字幕旨在为未修剪视频中的一系列事件生成相应的文本描述，这些事件可以分为两个子任务，即事件检测和事件字幕。与以前分别解决这两个子任务的作品不同，最近的作品着重于增强两个子任务之间的任务间关联。但是，由于其特定于任务的解决方案的巨大差异，设计用于事件检测和字幕的任务间相互作用并不是微不足道的。此外，以前的事件检测方法通常会忽略事件之间的时间依赖性，从而导致事件冗余或不一致问题。在本文中，我们将事件检测定义为序列生成任务，并提出一个统一的预训练和微调框架，以自然增强事件检测和字幕之间的任务间关联。由于该模型将每个事件预测为以前的事件为上下文，因此事件之间的相互依赖性被充分利用，因此我们的模型可以检测到视频中更多样化和一致的事件。 ActivityNet数据集上的实验表明，我们的模型优于最新方法，并且在对大型视频文本数据进行预训练时，可以进一步提高。代码可在\ url {https://github.com/qiqang/uedvc}上获得。
translated by 谷歌翻译
视频标题旨在根据内容生成自然语言描述，其中表示学习起到至关重要的作用。现有方法主要通过对地理文本的生成标题的字词比较来在监督学习框架内开发，而不会完全利用语言语义。在这项工作中，我们提出了一个分层模块化网络，在生成字幕之前从三个级别桥接视频表示和语言语义。特别是，层次结构由以下组成：（i）实体级别，其突出显示最有可能在字幕中提及的对象。 （ii）谓词级别，它学习在突出显示的对象上调节的行动，并由标题中的谓词进行监督。 （iii）句子级别，了解全局语义表示，并受到整个标题的监督。每个级别由一个模块实现。广泛的实验结果表明，该方法对两个广泛使用的基准测试的最先进模型有利地表现出：MSVD 104.0％和苹果酒评分中的MSR-VTT 51.5％。
translated by 谷歌翻译
为了为视频产生适当的标题，推理需要确定相关的概念并注意它们之间的空间关系以及剪辑中的时间发展。我们的端到端编码器视频字幕框架结合了两个基于变压器的体系结构，这是一种用于单个关节时空视频分析的改编变压器，以及用于高级文本生成的基于自我注意力的解码器。此外，我们引入了一种自适应框架选择方案，以减少所需的传入帧数，同时在训练两个变压器时保持相关内容。此外，我们通过汇总每个样本的所有基础真理标题来估计与视频字幕相关的语义概念。我们的方法在MSVD以及大规模的MSR-VTT和VATEX基准数据集上实现了最新的结果，并考虑了多个自然语言产生（NLG）指标。对多样性得分的其他评估突出了我们生成的标题结构的表现力和多样性。
translated by 谷歌翻译
密集的视频字幕（DVC）旨在生成多句子描述，以阐明视频中的多个事件，这是具有挑战性，需要的视觉一致性，疑惑一致性和语言多样性。现有方法主要生成各个视频段的标题，缺乏适应全局视觉上下文和快速发展的视觉内容和文本描述之间的渐进对齐，这导致冗余和拼接描述。在本文中，我们介绍了信息流的概念，以模拟跨视频序列和标题的渐进信息。通过设计跨模型信息流对准机制，捕获和对齐的视觉和文本信息流，其在事件/主题演化上以更丰富的上下文和动态赋予标题处理。基于跨模型信息流对准模块，我们进一步提出了DVCFlow框架，它由全球本地视觉编码器组成，用于捕获每个视频段的全局功能和本地特征，以及用于产生标题的预先培训的标题生成器。对流行的ActivityNet标题和Youcookii数据集的广泛实验表明，我们的方法显着优于竞争基础，并根据主题和客观测试产生更多人类文本。
translated by 谷歌翻译
自动音频标题（AAC）旨在使用自然语言描述具有标题的音频数据。大多数现有的AAC方法采用编码器 - 解码器结构，其中基于注意的机制是解码器（例如，变压器解码器）中的受欢迎选择，用于预测来自音频特征的标题。这种基于注意的解码器可以从音频特征捕获全局信息，然而，它们在提取本地信息的能力可以是有限的，这可能导致所生成的标题中的质量下降。在本文中，我们介绍了一种具有无注意解码器的AAC方法，其中基于Pann的编码器用于音频特征提取，并且设计了无注意的解码器以引入本地信息。所提出的方法使得能够从音频信号中有效地使用全局和本地信息。实验表明，我们的方法在DCASE 2021挑战的任务6中具有基于标准的解码器的最先进的方法。
translated by 谷歌翻译
我们介绍一种基于复杂事件（例如，分钟）可以分解成更简单的事件（例如，几秒钟）的前提的方法来学习无监督的语义视觉信息，并且这些简单事件在多个复杂事件中共享。我们将一个长视频分成短帧序列，以利用三维卷积神经网络提取它们的潜在表示。群集方法用于对产生视觉码本的组表示（即，长视频由集群标签给出的整数序列表示）。通过对码本条目编码共生概率矩阵来学习密集的表示。我们展示了该表示如何利用浓密视频标题任务的性能，只有视觉功能。由于这种方法，我们能够更换双模变压器（BMT）方法中的音频信号，并产生具有可比性的时间提案。此外，与Vanilla变压器方法中的我们的描述符连接视觉信号，与仅探索视觉功能的方法相比，在标题中实现最先进的性能，以及具有多模态方法的竞争性能。我们的代码可在https://github.com/valterlej/dvcusi获得。
translated by 谷歌翻译
视频到文本（VTT）是自动生成短视听视频剪辑的描述的任务，可以支持视觉上受损人员以了解YouTube视频的场景。变压器架构在机器翻译和图像标题中表现出具有很大的性能，缺乏对VTT的直接和可重复的应用。但是，对视频描述的不同策略和建议没有全面研究，包括利用完全自临时网络利用随附的音频。因此，我们通过开发直接变压器架构来探索来自图像标题和视频处理的有希望的方法，并将它们应用于VTT。此外，我们介绍了一种在我们呼叫分数位置编码（FPE）的变压器中同步音频和视频特征的新方法。我们在Vatex DataSet上运行多个实验，以确定适用于看不见的数据集的配置，有助于描述自然语言中的短视频剪辑，并与Vanilla变压器网络相比，通过37.13和12.83点改善苹果酒和BLE-4分数。 - MSR-VTT和MSVD数据集的最佳结果。此外，FPE有助于将苹果酒分数增加8.6％。
translated by 谷歌翻译
自动音频字幕是一项跨模式翻译任务，旨在为给定的音频剪辑生成自然语言描述。近年来，随着免费可用数据集的发布，该任务受到了越来越多的关注。该问题主要通过深度学习技术解决。已经提出了许多方法，例如研究不同的神经网络架构，利用辅助信息，例如关键字或句子信息来指导字幕生成，并采用了不同的培训策略，这些策略极大地促进了该领域的发展。在本文中，我们对自动音频字幕的已发表贡献进行了全面综述，从各种现有方法到评估指标和数据集。我们还讨论了公开挑战，并设想可能的未来研究方向。
translated by 谷歌翻译
在序列到序列学习中，例如，自然语言生成，解码器依赖于注意机制，以有效地从编码器中提取信息。虽然常见的做法是从最后一个编码器层绘制信息，但最近的工作已经提出用于使用来自不同编码器层的表示，以进行多样化的信息。尽管如此，解码器仍然仅获得源序列的单个视图，这可能导致由于层级绕过问题而导致编码器层堆栈的训练不足。在这项工作中，我们提出了层次的多视图解码，其中对于每个解码器层以及来自最后一个编码器层的表示，它作为全局视图，来自其他编码器层的那些是用于立体视图的源序列。系统实验和分析表明，我们成功地解决了层次结构绕过问题，需要几乎可忽略的参数增加，并大大提高了五种不同任务的深度表示的序列到序列学习的性能，即机器翻译，抽象总结，图像标题，视频字幕和医疗报告生成。特别是，我们的方法在八个基准数据集中实现了新的最先进的结果，包括低资源机器转换数据集和两个低资源医疗报告生成数据集。
translated by 谷歌翻译
图像字幕显示可以通过使用场景图来表示图像中对象的关系来实现更好的性能。当前字幕编码器通常使用图形卷积网（GCN）来表示关系信息，并通过串联或卷积将其与对象区域特征合并，以获取句子解码的最终输入。但是，由于两个原因，现有方法中基于GCN的编码器在字幕上的有效性较小。首先，使用图像字幕作为目标（即最大似然估计），而不是以关系为中心的损失无法完全探索编码器的潜力。其次，使用预训练的模型代替编码器本身提取关系不是灵活的，并且不能有助于模型的解释性。为了提高图像字幕的质量，我们提出了一个新颖的体系结构改革者 - 一种关系变压器，可以生成具有嵌入关系信息的功能，并明确表达图像中对象之间的成对关系。改革者将场景图的生成目标与使用一个修改后的变压器模型的图像字幕结合在一起。这种设计使改革者不仅可以通过提取强大的关系图像特征的利益生成更好的图像标题，还可以生成场景图，以明确描述配对关系。公开可用数据集的实验表明，我们的模型在图像字幕和场景图生成上的最先进方法明显优于最先进的方法
translated by 谷歌翻译
自动在自然语言中自动生成图像的描述称为图像字幕。这是一个积极的研究主题，位于人工智能，计算机视觉和自然语言处理中两个主要领域的交集。图像字幕是图像理解中的重要挑战之一，因为它不仅需要识别图像中的显着对象，还需要其属性及其相互作用的方式。然后，系统必须生成句法和语义上正确的标题，该标题描述了自然语言的图像内容。鉴于深度学习模型的重大进展及其有效编码大量图像并生成正确句子的能力，最近已经提出了几种基于神经的字幕方法，每种方法都试图达到更好的准确性和标题质量。本文介绍了一个基于编码器的图像字幕系统，其中编码器使用以RESNET-101作为骨干为骨干来提取图像中每个区域的空间和全局特征。此阶段之后是一个精致的模型，该模型使用注意力进行注意的机制来提取目标图像对象的视觉特征，然后确定其相互作用。解码器由一个基于注意力的复发模块和一个反思性注意模块组成，该模块会协作地将注意力应用于视觉和文本特征，以增强解码器对长期顺序依赖性建模的能力。在两个基准数据集（MSCOCO和FLICKR30K）上进行的广泛实验显示了提出的方法和生成的字幕的高质量。
translated by 谷歌翻译
描述使用自然语言的图像被广泛称为图像标题，这是由于计算机视觉和自然语言生成技术的发展而达成了一致的进展。虽然传统的标题模型基于流行度量的高精度，即BLEU，苹果酒和香料，探索了标题与其他类似图像中的标题的能力。为了产生独特的标题，一些先驱采用对比学习或重新加权地面真理标题，其侧重于一个输入图像。然而，忽略了类似图像组中对象之间的关系（例如，相同专辑中的项目或属性或细粒度事件中的物品）。在本文中，我们使用基于组的独特标题模型（Gdiscap）来提高图像标题的独特性，其将每个图像与一个类似的组中的其他图像进行比较，并突出显示每个图像的唯一性。特别是，我们提出了一种基于组的内存注意力（GMA）模块，其存储在图像组中是唯一的对象特征（即，与其他图像中的对象的低相似性）。生成字幕时突出显示这些唯一的对象功能，从而产生更有独特的标题。此外，选择地面标题中的独特单词来监督语言解码器和GMA。最后，我们提出了一种新的评估度量，独特的单词率（Diswordrate）来测量标题的独特性。定量结果表明，该方法显着提高了几种基线模型的独特性，并实现了精度和独特性的最先进的性能。用户学习的结果与定量评估一致，并证明了新的公制Diswordrate的合理性。
translated by 谷歌翻译
密集的视频字幕（DVC）的任务旨在为一个视频中的多个事件制作带有时间戳的字幕。语义信息对于DVC的本地化和描述都起着重要作用。我们提出了基于编码编码框架的语义辅助密集的视频字幕模型。在编码阶段，我们设计了一个概念检测器来提取语义信息，然后将其与多模式的视觉特征融合在一起，以充分代表输入视频。在解码阶段，我们设计了一个与本地化和字幕的分类头，以提供语义监督。我们的方法在DVC评估指标下对Youmakeup数据集进行了重大改进，并在PIC 4TH挑战的化妆密集视频字幕（MDVC）任务中实现了高性能。
translated by 谷歌翻译
该项目涉及参加DCASE 2022竞赛（任务6），该竞赛具有两个子任务：（1）自动化音频字幕和（2）基于语言的音频检索。第一个子任务涉及对音频样本的文本描述的生成，而第二个目标是在匹配给定描述的固定数据集中找到音频样本。对于两个子任务，都使用了Clotho数据集。在BLEU1，BLEU2，BLEU3，ROGEL，Meteor，Cider，Spice和Spider评分上评估了这些模型，用于音频字幕，R1，R5，R10和MARP10分数用于音频检索。我们进行了一些实验，以修改这些任务的基线模型。我们用于自动音频字幕的最终体系结构接近基线性能，而我们的基于语言的音频检索模型已超过其对应方。
translated by 谷歌翻译
随着丰富的视觉表示和预训练的语言模型的出现，随着时间的推移，视频字幕持续不断改进。尽管性能有所提高，但视频字幕模型还是容易发生幻觉的。幻觉是指与原始材料分离的高度病理描述的产生。在视频字幕中，有两种幻觉：物体和动作幻觉。我们没有努力学习视频的更好代表，而是在这项工作中研究了幻觉问题的基本来源。我们确定了三个主要因素：（i）从预训练模型中提取的视觉特征不足，（ii）多模式融合过程中源和目标环境的影响不当，以及（iii）训练策略中的暴露偏见。为了减轻这些问题，我们提出了两种强大的解决方案：（a）在提取的视觉特征的基础上引入了在多标签设置中训练的辅助头，以及（b）添加上下文门，在融合过程中动态选择特征。视频字幕的标准评估指标衡量与地面真相标题的相似性，并且不能充分捕获对象和动作相关性。为此，我们提出了一个新的指标Coaha（标题对象和动作幻觉评估），该指标评估了幻觉的程度。我们的方法可以在MSR-Video到文本（MSR-VTT）和Microsoft研究视频描述语料库（MSVD）数据集上实现最先进的性能，尤其是通过大量的苹果酒得分。
translated by 谷歌翻译
图像字幕的当前最新方法采用基于区域的特征，因为它们提供了对象级信息，对于描述图像的内容至关重要；它们通常由对象检测器（例如更快的R-CNN）提取。但是，他们有几个问题，例如缺乏上下文信息，不准确检测的风险以及高计算成本。可以通过使用基于网格的功能来解决前两个。但是，如何提取和融合这两种功能是未知的。本文提出了一种仅使用变压器的神经结构，称为砂砾（基于网格和区域的图像字幕变压器），该构建物有效地利用了两个视觉特征来生成更好的字幕。粒度用基于DITR的方法代替了以前方法中使用的基于CNN的检测器，从而使其更快地计算。此外，它的整体设计仅由变压器组成，可以对模型进行端到端的训练。这种创新的设计和双重视觉功能的集成带来了重大的性能提高。几个图像字幕基准的实验结果表明，砂砾的推论准确性和速度优于先前的方法。
translated by 谷歌翻译
在本文中，我们利用涉及视觉和语言互动的人类感知过程来生成对未修剪视频的连贯段落描述。我们提出了视觉语言（VL）功能，这些功能由两种模态组成，即（i）视觉方式，以捕获整个场景的全局视觉内容以及（ii）语言方式来提取人类和非人类对象的场景元素描述（例如，动物，车辆等），视觉和非视觉元素（例如关系，活动等）。此外，我们建议在对比度学习VL损失下培训我们提出的VLCAP。有关活动网字幕和YouCookii数据集的实验和消融研究表明，我们的VLCAP在准确性和多样性指标上都优于现有的SOTA方法。
translated by 谷歌翻译