Controllable image captioning models generate human-like image descriptions, enabling some kind of control over the generated captions. This paper focuses on controlling the caption length, i.e. a short and concise description or a long and detailed one. Since existing image captioning datasets contain mostly short captions, generating long captions is challenging. To address the shortage of long training examples, we propose to enrich the dataset with varying-length self-generated captions. These, however, might be of varying quality and are thus unsuitable for conventional training. We introduce a novel training strategy that selects the data points to be used at different times during the training. Our method dramatically improves the length-control abilities, while exhibiting SoTA performance in terms of caption quality. Our approach is general and is shown to be applicable also to paragraph generation.
translated by 谷歌翻译
连接视觉和语言在生成智能中起着重要作用。因此，已经致力于图像标题的大型研究工作，即用句法和语义有意义的句子描述图像。从2015年开始，该任务通常通过由Visual Encoder组成的管道和文本生成的语言模型来解决任务。在这些年来，两种组件通过对象区域，属性，介绍多模态连接，完全关注方法和伯特早期融合策略的利用而显着发展。但是，无论令人印象深刻的结果，图像标题的研究还没有达到结论性答案。这项工作旨在提供图像标题方法的全面概述，从视觉编码和文本生成到培训策略，数据集和评估度量。在这方面，我们量化地比较了许多相关的最先进的方法来确定架构和培训策略中最有影响力的技术创新。此外，讨论了问题的许多变体及其开放挑战。这项工作的最终目标是作为理解现有文献的工具，并突出显示计算机视觉和自然语言处理的研究领域的未来方向可以找到最佳的协同作用。
translated by 谷歌翻译
描述使用自然语言的图像被广泛称为图像标题，这是由于计算机视觉和自然语言生成技术的发展而达成了一致的进展。虽然传统的标题模型基于流行度量的高精度，即BLEU，苹果酒和香料，探索了标题与其他类似图像中的标题的能力。为了产生独特的标题，一些先驱采用对比学习或重新加权地面真理标题，其侧重于一个输入图像。然而，忽略了类似图像组中对象之间的关系（例如，相同专辑中的项目或属性或细粒度事件中的物品）。在本文中，我们使用基于组的独特标题模型（Gdiscap）来提高图像标题的独特性，其将每个图像与一个类似的组中的其他图像进行比较，并突出显示每个图像的唯一性。特别是，我们提出了一种基于组的内存注意力（GMA）模块，其存储在图像组中是唯一的对象特征（即，与其他图像中的对象的低相似性）。生成字幕时突出显示这些唯一的对象功能，从而产生更有独特的标题。此外，选择地面标题中的独特单词来监督语言解码器和GMA。最后，我们提出了一种新的评估度量，独特的单词率（Diswordrate）来测量标题的独特性。定量结果表明，该方法显着提高了几种基线模型的独特性，并实现了精度和独特性的最先进的性能。用户学习的结果与定量评估一致，并证明了新的公制Diswordrate的合理性。
translated by 谷歌翻译
以无监督的方式训练图像标题模型而不利用注释的图像标题对是朝向更广泛的文本和图像语料库的重要步骤。在监督设置中，图像标题对“良好匹配”，其中句子中提到的所有对象都显示在相应的图像中。然而，这些配对在无监督的环境中不可用。为了克服这一点，主要是在克服这方面有效的主要研究学院是根据它们对物体的重叠来构建训练集中的图像和文本的对。与监督设置不同，然而，这些构造的配对不保证具有完全重叠的对象集。我们本文的工作通过从训练集中收获对应于给定句子的对象来克服了这一点，即使它们不属于同一图像也是如此。当用作变压器的输入时，如果不是完整的对象覆盖，并且当由相应的句子监督时，这些物体的混合使得产生的结果通过显着的余量产生艺术无监督方法的最佳状态。在此发现时，我们进一步展示了（1）对象与物体属性之间关系的其他信息也有助于提高性能; （2）我们的方法也很好地延伸到非英语图像标题，这通常遭受稀缺的注释水平。我们的研究结果得到了强大的经验结果。
translated by 谷歌翻译
图像字幕是当前的研究任务，用于使用场景中的对象及其关系来描述图像内容。为了应对这项任务，使用了两个重要的研究领域，人为的视觉和自然语言处理。在图像字幕中，就像在任何计算智能任务中一样，性能指标对于知道方法的性能（或坏）至关重要。近年来，已经观察到，基于n-gram的经典指标不足以捕获语义和关键含义来描述图像中的内容。为了衡量或不进行最新指标的集合，在本手稿中，我们对使用众所周知的COCO数据集进行了对几种图像字幕指标的评估以及它们之间的比较。为此，我们设计了两种情况。 1）一组人工构建字幕，以及2）比较某些最先进的图像字幕方法的比较。我们试图回答问题：当前的指标是否有助于制作高质量的标题？实际指标如何相互比较？指标真正测量什么？
translated by 谷歌翻译
There is considerable interest in the task of automatically generating image captions. However, evaluation is challenging. Existing automatic evaluation metrics are primarily sensitive to n-gram overlap, which is neither necessary nor sufficient for the task of simulating human judgment. We hypothesize that semantic propositional content is an important component of human caption evaluation, and propose a new automated caption evaluation metric defined over scene graphs coined SPICE. Extensive evaluations across a range of models and datasets indicate that SPICE captures human judgments over model-generated captions better than other automatic metrics (e.g., system-level correlation of 0.88 with human judgments on the MS COCO dataset, versus 0.43 for CIDEr and 0.53 for METEOR). Furthermore, SPICE can answer questions such as which caption-generator best understands colors? and can caption-generators count?
translated by 谷歌翻译
图像字幕显示可以通过使用场景图来表示图像中对象的关系来实现更好的性能。当前字幕编码器通常使用图形卷积网（GCN）来表示关系信息，并通过串联或卷积将其与对象区域特征合并，以获取句子解码的最终输入。但是，由于两个原因，现有方法中基于GCN的编码器在字幕上的有效性较小。首先，使用图像字幕作为目标（即最大似然估计），而不是以关系为中心的损失无法完全探索编码器的潜力。其次，使用预训练的模型代替编码器本身提取关系不是灵活的，并且不能有助于模型的解释性。为了提高图像字幕的质量，我们提出了一个新颖的体系结构改革者 - 一种关系变压器，可以生成具有嵌入关系信息的功能，并明确表达图像中对象之间的成对关系。改革者将场景图的生成目标与使用一个修改后的变压器模型的图像字幕结合在一起。这种设计使改革者不仅可以通过提取强大的关系图像特征的利益生成更好的图像标题，还可以生成场景图，以明确描述配对关系。公开可用数据集的实验表明，我们的模型在图像字幕和场景图生成上的最先进方法明显优于最先进的方法
translated by 谷歌翻译
新颖的对象字幕（NOC）旨在描述包含对象的图像，而无需在训练过程中观察其地面真相标题。由于缺乏字幕注释，无法通过序列到序列训练或苹果酒优化直接优化字幕模型。结果，我们提出了启用释义（P2C），这是一个针对NOC的两阶段学习框架，它将通过释义通过释义来优化输出字幕。使用P2C，字幕模型首先从仅在文本语料库中预先训练的语言模型中学习释义，从而扩展了Bank一词以提高语言流利度。为了进一步实施足够描述输入图像的视觉内容的输出字幕，我们对引入的忠诚度和充分性目标进行字幕模型执行自我贴形。由于在训练过程中没有任何地面真相标题可用于新颖的对象图像，因此我们的P2C利用交叉模式（图像文本）关联模块可以确保可以正确保留上述字幕特征。在实验中，我们不仅表明我们的P2C在NOCAPS和COCO字幕数据集上实现了最先进的性能，而且还通过替换NOC的语言和跨模式关联模型来验证学习框架的有效性和灵活性。实施详细信息和代码可在补充材料中找到。
translated by 谷歌翻译
Despite progress in perceptual tasks such as image classification, computers still perform poorly on cognitive tasks such as image description and question answering. Cognition is core to tasks that involve not just recognizing, but reasoning about our visual world. However, models used to tackle the rich content in images for cognitive tasks are still being trained using the same datasets designed for perceptual tasks. To achieve success at cognitive tasks, models need to understand the interactions and relationships between objects in
translated by 谷歌翻译
基于文本的图像标题（TextCAP）需要同时对视觉内容的理解并读取图像文本以生成自然语言描述。虽然一项任务可以教导机器来了解复杂的人类环境进一步鉴于我们日常环境中的文本是全部的，但它在正常标题中提出了额外的挑战。基于文本的图像直观地包含丰富和复杂的多模式关系内容，即可以从多视图而不是单个字幕来扩散图像细节。当然，我们可以介绍额外的配对训练数据以显示图像描述的多样性，这一过程是具有额外文本的文本映射对注释的劳动密集型和耗时。基于上述洞察力，我们调查如何使用未配对的培训范例来生成专注于不同图像零件的不同标题。我们提出了多模式关系图对抗性推论（魔法）框架，用于多样化和未配对的Textcap。该框架可以自适应地构建图形之间的图像和模型复杂关系的多个多模式关系图来表示描述性分集。此外，从建模的图表中开发了一种级联的生成对抗性网络，以推断图像句子特征对齐和语言相干水平中的未配对字幕。我们验证了魔法在从图像的不同关系信息项目生成不同标题时的有效性。实验结果表明，魔法可以在不使用任何图像标题训练对的情况下产生非常有前途的结果。
translated by 谷歌翻译
自动在自然语言中自动生成图像的描述称为图像字幕。这是一个积极的研究主题，位于人工智能，计算机视觉和自然语言处理中两个主要领域的交集。图像字幕是图像理解中的重要挑战之一，因为它不仅需要识别图像中的显着对象，还需要其属性及其相互作用的方式。然后，系统必须生成句法和语义上正确的标题，该标题描述了自然语言的图像内容。鉴于深度学习模型的重大进展及其有效编码大量图像并生成正确句子的能力，最近已经提出了几种基于神经的字幕方法，每种方法都试图达到更好的准确性和标题质量。本文介绍了一个基于编码器的图像字幕系统，其中编码器使用以RESNET-101作为骨干为骨干来提取图像中每个区域的空间和全局特征。此阶段之后是一个精致的模型，该模型使用注意力进行注意的机制来提取目标图像对象的视觉特征，然后确定其相互作用。解码器由一个基于注意力的复发模块和一个反思性注意模块组成，该模块会协作地将注意力应用于视觉和文本特征，以增强解码器对长期顺序依赖性建模的能力。在两个基准数据集（MSCOCO和FLICKR30K）上进行的广泛实验显示了提出的方法和生成的字幕的高质量。
translated by 谷歌翻译
Automatically generating a natural language description of an image has attracted interests recently both because of its importance in practical applications and because it connects two major artificial intelligence fields: computer vision and natural language processing. Existing approaches are either top-down, which start from a gist of an image and convert it into words, or bottom-up, which come up with words describing various aspects of an image and then combine them. In this paper, we propose a new algorithm that combines both approaches through a model of semantic attention. Our algorithm learns to selectively attend to semantic concept proposals and fuse them into hidden states and outputs of recurrent neural networks.The selection and fusion form a feedback connecting the top-down and bottom-up computation. We evaluate our algorithm on two public benchmarks: Microsoft COCO and Flickr30K. Experimental results show that our algorithm significantly outperforms the state-of-the-art approaches consistently across different evaluation metrics.
translated by 谷歌翻译
多年来，最新的（SOTA）图像字幕方法已在某些评估指标（例如苹果酒）上取得了令人鼓舞的结果。但是，最近的发现表明，这些方法生成的字幕往往会偏向“平均”字幕，该字幕仅捕获训练语料库中最通用的模式（又称语言模式），即所谓的模式崩溃问题。受其影响的影响，生成的标题在多样性上受到限制，通常不如人类做出的自然图像描述。在本文中，我们试图通过提出离散模式学习（DML）范式来避免此问题。我们的创新想法是探索训练字幕语料库中的丰富模式，以学习一组“模式嵌入”，并进一步使用它们来控制现有图像字幕模型生成的字幕模式。具体而言，提出的DML优化了由图像条件的离散变异自动编码器（CDVAE）分支和模式条件的图像字幕（MIC）分支组成的双重体系结构。 CDVAE分支将每个图像标题映射到存储在学习的代码簿中的模式嵌入之一，并接受了纯粹的非自动性生成目标训练，以使模式与众不同和代表性。可以简单地从现有的图像字幕模型中修改麦克风分支，其中将模式嵌入添加到原始单词嵌入作为控制信号中。在实验中，我们将提出的DML应用于两个广泛使用的图像字幕模型，即变压器和AOANET。结果表明，学习模式嵌入成功促进了这些模型，以不同模式生成高质量的图像标题，进一步为MSCOCO数据集的多样性和质量提供了更好的性能。
translated by 谷歌翻译
我们介绍了一种零拍的视频字幕方法，该方法采用了两个冷冻网络：GPT-2语言模型和剪辑图像文本匹配模型。匹配分数用于引导语言模型生成一个句子，该句子的平均匹配分数高于视频帧的一个子集。与零拍图像字幕方法不同，我们的工作立即考虑整个句子。这是通过在生成过程中优化从头开始的一部分，通过在提示中修改所有其他令牌的表示，并通过迭代重复该过程，逐渐提高生成句子的特殊性和全面性来实现。我们的实验表明，生成的字幕是连贯的，并显示了广泛的现实知识。我们的代码可在以下网址找到：https：//github.com/yoadtew/zero-shot-video-to-text
translated by 谷歌翻译
视频标题的当前度量主要基于参考和候选字幕之间的文本级别比较。然而，它们具有一些不可能的缺点，例如，它们不能在没有参考的情况下处理视频，并且由于视频到文本的一对多性质和忽视视觉相关性的一对多性质，它们可能导致偏见的评估。从人类评估者的观点来看，高质量的标题应与提供的视频一致，但不一定类似于文字或语义中的参考。灵感来自人类评估，我们提出了Emscore（基于匹配的分数），是视频字幕的一种新颖的无参考度量，其直接测量视频和候选字幕之间的相似性。受益于最近的大规模预训练模型的发展，我们利用了一个良好的预先训练的视觉语言模型来提取用于计算Emscore的视觉和语言嵌入。具体地，Emscore将粗粒（视频和标题）和细粒度（帧和单词）水平的匹配分数组合，这将考虑到视频的整体理解和详细特征。此外，考虑到潜在的信息增益，Emscore可以灵活地扩展到人类标记的参考可用的条件。最后但并非最不重要的是，我们收集Vatex-eval和ActivityNet-Foil数据集以系统地评估现有的度量标准。 Vatex-emp实验表明，Emscore具有更高的人类相关性和较低的参考依赖性。 ActivityNet-Foil实验验证Emscore可以有效地识别“幻觉”标题。将释放数据集以促进视频标题度量的开发。代码可在：https://github.com/shiyaya/emcore。
translated by 谷歌翻译
观察一组图像及其相应的段落限制，一个具有挑战性的任务是学习如何生成语义连贯的段落来描述图像的视觉内容。受到将语义主题纳入此任务的最新成功的启发，本文开发了插件的层次结构引导图像段落生成框架，该框架将视觉提取器与深层主题模型相结合，以指导语言模型的学习。为了捕获图像和文本在多个抽象层面上的相关性并从图像中学习语义主题，我们设计了一个变异推理网络，以构建从图像功能到文本字幕的映射。为了指导段落的生成，学习的层次主题和视觉特征被整合到语言模型中，包括长期的短期记忆（LSTM）和变压器，并共同优化。公共数据集上的实验表明，在标准评估指标方面具有许多最先进的方法竞争的拟议模型可用于提炼可解释的多层语义主题并产生多样的和相干的标题。我们在https://github.com/dandanguo1993/vtcm aseal-image-image-paragraph-caption.git上发布代码
translated by 谷歌翻译
增强描述视频内容的句子的多样性是近期视频字幕研究中出现的重要问题。在本文中，我们通过模仿示例句语法来自定义视频标题的小说视角来探讨此问题。具体地，给定视频和任何语法有效的示例句子，我们介绍了一个新的语法定制视频标题（SCVC）的任务，旨在生成一个字幕，不仅开始描述视频内容，而且还句法模仿给定的示例句子。为了解决SCVC任务，我们提出了一种新的视频标题模型，其中首先设计了分层句子语法编码器来提取示例句子的语法结构，然后设计了语法调节标题解码器以生成表达视频语义的语法结构标题。由于没有可用的语法定制地面视频字幕，我们通过提出新的培训策略来解决这种挑战，该策略利用传统的成对视频标题数据和我们所收集的示例性句子来完成模型学习。在语义，句法，流畅性和多样性评估方面进行了广泛的实验，清楚地展示了我们的模型能力，以生成与丰富的多样性很好地模仿不同示例性句子的语法变化和语义 - 相干的视频标题。
translated by 谷歌翻译
A major goal of multimodal research is to improve machine understanding of images and text. Tasks include image captioning, text-to-image generation, and vision-language representation learning. So far, research has focused on the relationships between images and text. For example, captioning models attempt to understand the semantics of images which are then transformed into text. An important question is: which annotation reflects best a deep understanding of image content? Similarly, given a text, what is the best image that can present the semantics of the text? In this work, we argue that the best text or caption for a given image is the text which would generate the image which is the most similar to that image. Likewise, the best image for a given text is the image that results in the caption which is best aligned with the original text. To this end, we propose a unified framework that includes both a text-to-image generative model and an image-to-text generative model. Extensive experiments validate our approach.
translated by 谷歌翻译
为了为视频产生适当的标题，推理需要确定相关的概念并注意它们之间的空间关系以及剪辑中的时间发展。我们的端到端编码器视频字幕框架结合了两个基于变压器的体系结构，这是一种用于单个关节时空视频分析的改编变压器，以及用于高级文本生成的基于自我注意力的解码器。此外，我们引入了一种自适应框架选择方案，以减少所需的传入帧数，同时在训练两个变压器时保持相关内容。此外，我们通过汇总每个样本的所有基础真理标题来估计与视频字幕相关的语义概念。我们的方法在MSVD以及大规模的MSR-VTT和VATEX基准数据集上实现了最新的结果，并考虑了多个自然语言产生（NLG）指标。对多样性得分的其他评估突出了我们生成的标题结构的表现力和多样性。
translated by 谷歌翻译
图像标题模型通常缺乏考虑用户兴趣的能力，通常默认为试图平衡可读性，信息性和信息过载的全局描述。另一方面，VQA模型通常缺乏提供长描述性答案的能力，同时期望文本问题非常精确。我们介绍一种控制图像标题应该专注于的概念的方法，使用称为指导文本的额外输入，该概念是指图像中的可接近或未放置的概念。我们的模型包括一个基于变换器的多模式编码器，它使用引导文本与全局和对象级别图像功能一起导出用于生成引导标题的早期融合表示。虽然在视觉基因组数据上培训的模型时，在使用自动对象标签的引导时具有适应良好的域的域中优势，但我们发现在概念标题上培训的引导标题模型概括为域外图像和引导文本。我们的人为评估结果表明，尝试野外引导的图像标题需要访问大，不受限制的域训练数据集，并且增加的样式分集（即使不增加唯一令牌的数量）是提高性能的关键因素。
translated by 谷歌翻译