基于文本的图像标题（TextCAP）需要同时对视觉内容的理解并读取图像文本以生成自然语言描述。虽然一项任务可以教导机器来了解复杂的人类环境进一步鉴于我们日常环境中的文本是全部的，但它在正常标题中提出了额外的挑战。基于文本的图像直观地包含丰富和复杂的多模式关系内容，即可以从多视图而不是单个字幕来扩散图像细节。当然，我们可以介绍额外的配对训练数据以显示图像描述的多样性，这一过程是具有额外文本的文本映射对注释的劳动密集型和耗时。基于上述洞察力，我们调查如何使用未配对的培训范例来生成专注于不同图像零件的不同标题。我们提出了多模式关系图对抗性推论（魔法）框架，用于多样化和未配对的Textcap。该框架可以自适应地构建图形之间的图像和模型复杂关系的多个多模式关系图来表示描述性分集。此外，从建模的图表中开发了一种级联的生成对抗性网络，以推断图像句子特征对齐和语言相干水平中的未配对字幕。我们验证了魔法在从图像的不同关系信息项目生成不同标题时的有效性。实验结果表明，魔法可以在不使用任何图像标题训练对的情况下产生非常有前途的结果。

当代视觉标题模型通常是幻觉的对象，其实际上并不是一种场景，因为目视错误分类或过度依赖导致视觉信息与目标词汇词之间的语义不一致。最常见的方式是鼓励标题模型将生成的对象字或短语动态链接到图像的适当区域，即接地图像标题（GIC）。然而，GIC利用辅助任务（接地对象），这些任务（接地对象）没有解决对象幻觉的关键问题，即语义不一致。在本文中，我们对上面的问题进行了一种小说 - 利用视觉和语言模式之间的语义一致性。具体而言，我们提出了与GIC的共识RRAPH表示学习框架（CGRL），其纳入接地标题管道的共识表示。通过将可视图（例如，场景图）对准到图表中的节点和边的语言图来学习共识。通过对齐的共识，标题模型可以捕获正确的语言特征和视觉相关性，然后进一步接地适当的图像区域。我们验证了我们模型的有效性，对象幻觉（-9％主席）在Flickr30k实体数据集中显着下降。此外，我们的CGR还通过多种自动度量和人体评估评估，结果表明，该方法可以同时提高图像标题（+2.9苹果酒）和接地的性能（+2.3 f1loc）。

接地视频描述（GVD）促使标题模型动态地参加适当的视频区域（例如，对象）并生成描述。这样的设置可以帮助解释标题模型的决策，并防止模型在其描述中幻觉的对象词。然而，这种设计主要侧重于对象词生成，因此可能忽略细粒度信息并遭受缺失的视觉概念。此外，关系词（例如，“左转或右”）是通常的时空推断结果，即，这些单词不能在某些空间区域接地。为了解决上述限制，我们设计了GVD的新型关系图学习框架，其中旨在探索细粒度的视觉概念。此外，精细图可以被视为关系归纳知识，以帮助标题模型选择所需的相关信息来生成正确的单词。我们通过自动指标和人类评估验证我们模型的有效性，结果表明，我们的方法可以产生更细粒度和准确的描述，并解决了物体幻觉的问题。

连接视觉和语言在生成智能中起着重要作用。因此，已经致力于图像标题的大型研究工作，即用句法和语义有意义的句子描述图像。从2015年开始，该任务通常通过由Visual Encoder组成的管道和文本生成的语言模型来解决任务。在这些年来，两种组件通过对象区域，属性，介绍多模态连接，完全关注方法和伯特早期融合策略的利用而显着发展。但是，无论令人印象深刻的结果，图像标题的研究还没有达到结论性答案。这项工作旨在提供图像标题方法的全面概述，从视觉编码和文本生成到培训策略，数据集和评估度量。在这方面，我们量化地比较了许多相关的最先进的方法来确定架构和培训策略中最有影响力的技术创新。此外，讨论了问题的许多变体及其开放挑战。这项工作的最终目标是作为理解现有文献的工具，并突出显示计算机视觉和自然语言处理的研究领域的未来方向可以找到最佳的协同作用。

本文对过去二十年来对自然语言生成（NLG）的研究提供了全面的审查，特别是与数据到文本生成和文本到文本生成深度学习方法有关，以及NLG的新应用技术。该调查旨在（a）给出关于NLG核心任务的最新综合，以及该领域采用的建筑;（b）详细介绍各种NLG任务和数据集，并提请注意NLG评估中的挑战，专注于不同的评估方法及其关系;（c）强调一些未来的强调和相对近期的研究问题，因为NLG和其他人工智能领域的协同作用而增加，例如计算机视觉，文本和计算创造力。

We propose Scene Graph Auto-Encoder (SGAE) that incorporates the language inductive bias into the encoderdecoder image captioning framework for more human-like captions. Intuitively, we humans use the inductive bias to compose collocations and contextual inference in discourse. For example, when we see the relation "person on bike", it is natural to replace "on" with "ride" and infer "person riding bike on a road" even the "road" is not evident. Therefore, exploiting such bias as a language prior is expected to help the conventional encoder-decoder models less likely overfit to the dataset bias and focus on reasoning. Specifically, we use the scene graph -a directed graph (G) where an object node is connected by adjective nodes and relationship nodes -to represent the complex structural layout of both image (I) and sentence (S). In the textual domain, we use SGAE to learn a dictionary (D) that helps to reconstruct sentences in the S → G → D → S pipeline, where D encodes the desired language prior; in the vision-language domain, we use the shared D to guide the encoder-decoder in the I → G → D → S pipeline. Thanks to the scene graph representation and shared dictionary, the inductive bias is transferred across domains in principle. We validate the effectiveness of SGAE on the challenging MS-COCO image captioning benchmark, e.g., our SGAE-based single-model achieves a new state-of-theart 127.8 CIDEr-D on the Karpathy split, and a competitive 125.5 CIDEr-D (c40) on the official server even compared to other ensemble models. Code has been made available at: https://github.com/yangxuntu/SGAE.

密集的视频字幕（DVC）旨在生成多句子描述，以阐明视频中的多个事件，这是具有挑战性，需要的视觉一致性，疑惑一致性和语言多样性。现有方法主要生成各个视频段的标题，缺乏适应全局视觉上下文和快速发展的视觉内容和文本描述之间的渐进对齐，这导致冗余和拼接描述。在本文中，我们介绍了信息流的概念，以模拟跨视频序列和标题的渐进信息。通过设计跨模型信息流对准机制，捕获和对齐的视觉和文本信息流，其在事件/主题演化上以更丰富的上下文和动态赋予标题处理。基于跨模型信息流对准模块，我们进一步提出了DVCFlow框架，它由全球本地视觉编码器组成，用于捕获每个视频段的全局功能和本地特征，以及用于产生标题的预先培训的标题生成器。对流行的ActivityNet标题和Youcookii数据集的广泛实验表明，我们的方法显着优于竞争基础，并根据主题和客观测试产生更多人类文本。

视频字幕定位目标将复杂的视觉内容解释为文本说明，这要求模型充分了解包括对象及其交互的视频场景。流行的方法采用现成的对象检测网络来提供对象建议，并使用注意机制来建模对象之间的关系。他们通常会错过一些预验证模型的不确定语义概念，并且无法识别对象之间的确切谓词关系。在本文中，我们研究了为给定视频生成文本描述的开放研究任务，并提出了带有元概念的跨模式图（CMG）。具体而言，为了涵盖视频字幕中有用的语义概念，我们弱地学习了文本描述的相应视觉区域，其中相关的视觉区域和文本单词被命名为跨模式元概念。我们通过学习的跨模式元概念动态地构建元概念图。我们还构建了整体视频级别和本地框架级视频图，并具有预测的谓词，以建模视频序列结构。我们通过广泛的实验来验证我们提出的技术的功效，并在两个公共数据集上实现最新结果。

现有视觉语言预训练（VLP）方法主要依赖于配对的图像文本数据集，这些数据集由大量人类劳动注释，或者从互联网上爬行，然后是精心制作的数据清洁技术。为了减少对良好的图像文本对的依赖，有望直接利用仅大规模的仅文本和仅图像的语料库。本文提出了一种数据增强方法，即跨模式cutmix（CMC），用于在未配对的VLP中进行隐式跨模式对齐学习。具体而言，CMC将自然句子从文本视图转换为多模式视图，在该视图中，句子中的视觉词语单词被带有相似语义的各种图像贴片随机替换。拟议中的CMC有几个吸引人的礼节。首先，它增强了数据多样性，同时保持语义含义完好无损地解决了对齐数据稀缺的问题；其次，通过将跨模式噪声连接到单模式数据上，它指导模型以学习跨模态的令牌级相互作用，以更好地降级。此外，我们提出了一种名为VLMIXER的新的未配对VLP方法，该方法将CMC与对比度学习集成在一起，以将Uni-Mododal和多模式视图汇总在一起，以在不同模式之间进行更好的实例级别对齐。在五个下游任务上进行的广泛实验表明，VLMIXER可以超过以前最先进的未配对VLP方法。

Image-text retrieval (ITR) is a challenging task in the field of multimodal information processing due to the semantic gap between different modalities. In recent years, researchers have made great progress in exploring the accurate alignment between image and text. However, existing works mainly focus on the fine-grained alignment between image regions and sentence fragments, which ignores the guiding significance of context background information. Actually, integrating the local fine-grained information and global context background information can provide more semantic clues for retrieval. In this paper, we propose a novel Hierarchical Graph Alignment Network (HGAN) for image-text retrieval. First, to capture the comprehensive multimodal features, we construct the feature graphs for the image and text modality respectively. Then, a multi-granularity shared space is established with a designed Multi-granularity Feature Aggregation and Rearrangement (MFAR) module, which enhances the semantic corresponding relations between the local and global information, and obtains more accurate feature representations for the image and text modalities. Finally, the ultimate image and text features are further refined through three-level similarity functions to achieve the hierarchical alignment. To justify the proposed model, we perform extensive experiments on MS-COCO and Flickr30K datasets. Experimental results show that the proposed HGAN outperforms the state-of-the-art methods on both datasets, which demonstrates the effectiveness and superiority of our model.

图像字幕显示可以通过使用场景图来表示图像中对象的关系来实现更好的性能。当前字幕编码器通常使用图形卷积网（GCN）来表示关系信息，并通过串联或卷积将其与对象区域特征合并，以获取句子解码的最终输入。但是，由于两个原因，现有方法中基于GCN的编码器在字幕上的有效性较小。首先，使用图像字幕作为目标（即最大似然估计），而不是以关系为中心的损失无法完全探索编码器的潜力。其次，使用预训练的模型代替编码器本身提取关系不是灵活的，并且不能有助于模型的解释性。为了提高图像字幕的质量，我们提出了一个新颖的体系结构改革者 - 一种关系变压器，可以生成具有嵌入关系信息的功能，并明确表达图像中对象之间的成对关系。改革者将场景图的生成目标与使用一个修改后的变压器模型的图像字幕结合在一起。这种设计使改革者不仅可以通过提取强大的关系图像特征的利益生成更好的图像标题，还可以生成场景图，以明确描述配对关系。公开可用数据集的实验表明，我们的模型在图像字幕和场景图生成上的最先进方法明显优于最先进的方法

描述使用自然语言的图像被广泛称为图像标题，这是由于计算机视觉和自然语言生成技术的发展而达成了一致的进展。虽然传统的标题模型基于流行度量的高精度，即BLEU，苹果酒和香料，探索了标题与其他类似图像中的标题的能力。为了产生独特的标题，一些先驱采用对比学习或重新加权地面真理标题，其侧重于一个输入图像。然而，忽略了类似图像组中对象之间的关系（例如，相同专辑中的项目或属性或细粒度事件中的物品）。在本文中，我们使用基于组的独特标题模型（Gdiscap）来提高图像标题的独特性，其将每个图像与一个类似的组中的其他图像进行比较，并突出显示每个图像的唯一性。特别是，我们提出了一种基于组的内存注意力（GMA）模块，其存储在图像组中是唯一的对象特征（即，与其他图像中的对象的低相似性）。生成字幕时突出显示这些唯一的对象功能，从而产生更有独特的标题。此外，选择地面标题中的独特单词来监督语言解码器和GMA。最后，我们提出了一种新的评估度量，独特的单词率（Diswordrate）来测量标题的独特性。定量结果表明，该方法显着提高了几种基线模型的独特性，并实现了精度和独特性的最先进的性能。用户学习的结果与定量评估一致，并证明了新的公制Diswordrate的合理性。

增强描述视频内容的句子的多样性是近期视频字幕研究中出现的重要问题。在本文中，我们通过模仿示例句语法来自定义视频标题的小说视角来探讨此问题。具体地，给定视频和任何语法有效的示例句子，我们介绍了一个新的语法定制视频标题（SCVC）的任务，旨在生成一个字幕，不仅开始描述视频内容，而且还句法模仿给定的示例句子。为了解决SCVC任务，我们提出了一种新的视频标题模型，其中首先设计了分层句子语法编码器来提取示例句子的语法结构，然后设计了语法调节标题解码器以生成表达视频语义的语法结构标题。由于没有可用的语法定制地面视频字幕，我们通过提出新的培训策略来解决这种挑战，该策略利用传统的成对视频标题数据和我们所收集的示例性句子来完成模型学习。在语义，句法，流畅性和多样性评估方面进行了广泛的实验，清楚地展示了我们的模型能力，以生成与丰富的多样性很好地模仿不同示例性句子的语法变化和语义 - 相干的视频标题。

A major goal of multimodal research is to improve machine understanding of images and text. Tasks include image captioning, text-to-image generation, and vision-language representation learning. So far, research has focused on the relationships between images and text. For example, captioning models attempt to understand the semantics of images which are then transformed into text. An important question is: which annotation reflects best a deep understanding of image content? Similarly, given a text, what is the best image that can present the semantics of the text? In this work, we argue that the best text or caption for a given image is the text which would generate the image which is the most similar to that image. Likewise, the best image for a given text is the image that results in the caption which is best aligned with the original text. To this end, we propose a unified framework that includes both a text-to-image generative model and an image-to-text generative model. Extensive experiments validate our approach.

场景图是一个场景的结构化表示，可以清楚地表达场景中对象之间的对象，属性和关系。随着计算机视觉技术继续发展，只需检测和识别图像中的对象，人们不再满足。相反，人们期待着对视觉场景更高的理解和推理。例如，给定图像，我们希望不仅检测和识别图像中的对象，还要知道对象之间的关系（视觉关系检测），并基于图像内容生成文本描述（图像标题）。或者，我们可能希望机器告诉我们图像中的小女孩正在做什么（视觉问题应答（VQA）），甚至从图像中移除狗并找到类似的图像（图像编辑和检索）等。这些任务需要更高水平的图像视觉任务的理解和推理。场景图只是场景理解的强大工具。因此，场景图引起了大量研究人员的注意力，相关的研究往往是跨模型，复杂，快速发展的。然而，目前没有对场景图的相对系统的调查。为此，本调查对现行场景图研究进行了全面调查。更具体地说，我们首先总结了场景图的一般定义，随后对场景图（SGG）和SGG的发电方法进行了全面和系统的讨论，借助于先验知识。然后，我们调查了场景图的主要应用，并汇总了最常用的数据集。最后，我们对场景图的未来发展提供了一些见解。我们相信这将是未来研究场景图的一个非常有帮助的基础。

观察一组图像及其相应的段落限制，一个具有挑战性的任务是学习如何生成语义连贯的段落来描述图像的视觉内容。受到将语义主题纳入此任务的最新成功的启发，本文开发了插件的层次结构引导图像段落生成框架，该框架将视觉提取器与深层主题模型相结合，以指导语言模型的学习。为了捕获图像和文本在多个抽象层面上的相关性并从图像中学习语义主题，我们设计了一个变异推理网络，以构建从图像功能到文本字幕的映射。为了指导段落的生成，学习的层次主题和视觉特征被整合到语言模型中，包括长期的短期记忆（LSTM）和变压器，并共同优化。公共数据集上的实验表明，在标准评估指标方面具有许多最先进的方法竞争的拟议模型可用于提炼可解释的多层语义主题并产生多样的和相干的标题。我们在https://github.com/dandanguo1993/vtcm aseal-image-image-paragraph-caption.git上发布代码

视频问题应答（VideoQA），旨在基于了解多模态视频内容正确回答给定的问题，由于视频内容丰富，这是具有挑战性的。从视频理解的角度来看，良好的视频仪框架需要了解不同语义级别的视频内容，并灵活地将不同的视频内容集成到蒸馏问题相关内容。为此，我们提出了一个名为Livlr的轻量级视觉语言推理框架。具体地，Livlr首先利用基于图形的视觉和语言编码器来获得多粒度的视觉和语言表示。随后，所获得的表示与设计的分集感知视觉语言推理模块（DAVL）集成。 DAVL考虑不同类型的表示之间的差异，并且在生成问题相关的联合表示时可以灵活地调整不同类型表示的重要性，这是一种有效和一般的表示集成方法。拟议的LIVLR轻量级，并在两个VideoQ基准，MRSVTT-QA和了解VQA上显示了其性能优势。广泛的消融研究证明了LIVLR关键部件的有效性。

视频标题的当前度量主要基于参考和候选字幕之间的文本级别比较。然而，它们具有一些不可能的缺点，例如，它们不能在没有参考的情况下处理视频，并且由于视频到文本的一对多性质和忽视视觉相关性的一对多性质，它们可能导致偏见的评估。从人类评估者的观点来看，高质量的标题应与提供的视频一致，但不一定类似于文字或语义中的参考。灵感来自人类评估，我们提出了Emscore（基于匹配的分数），是视频字幕的一种新颖的无参考度量，其直接测量视频和候选字幕之间的相似性。受益于最近的大规模预训练模型的发展，我们利用了一个良好的预先训练的视觉语言模型来提取用于计算Emscore的视觉和语言嵌入。具体地，Emscore将粗粒（视频和标题）和细粒度（帧和单词）水平的匹配分数组合，这将考虑到视频的整体理解和详细特征。此外，考虑到潜在的信息增益，Emscore可以灵活地扩展到人类标记的参考可用的条件。最后但并非最不重要的是，我们收集Vatex-eval和ActivityNet-Foil数据集以系统地评估现有的度量标准。 Vatex-emp实验表明，Emscore具有更高的人类相关性和较低的参考依赖性。 ActivityNet-Foil实验验证Emscore可以有效地识别“幻觉”标题。将释放数据集以促进视频标题度量的开发。代码可在：https://github.com/shiyaya/emcore。

在过去的几年中，引起了独特的图像字幕（DIC）（DIC） - 生成独特的标题来描述目标图像的独特细节。最近的DIC工作建议通过将目标图像与一组语义相似的参考图像（即基于参考的DIC（REF-DIC））进行比较来生成独特的字幕。它的目的是使生成的字幕可以分开目标图像和参考图像。不幸的是，现有参考作品使用的参考图像易于区分：这些参考图像仅类似于场景级别的目标图像，并且几乎没有常见的对象，因此，即使不考虑该模型，Ref-DIC模型也可以微不足道地生成独特的字幕参考图像。为了确保Ref-DIC模型真正了解目标图像中的唯一对象（或属性），我们首先提出了两个新的Ref-DIC基准。具体而言，我们设计了一个两阶段的匹配机制，该机制严格控制对象 - /属性级别的目标和参考图像之间的相似性（相对于场景级别）。其次，为了产生独特的标题，我们开发了一个强大的基于变压器的ref-DIC基线，称为传播。它不仅从目标图像中提取视觉特征，而且还编码目标和参考图像中对象之间的差异。最后，为了获得更值得信赖的基准测试，我们提出了一个新的评估度量指标，名为Ref-DIC的Discider，评估生成的字幕的准确性和独特性。实验结果表明，我们的传统可以产生独特的标题。此外，它在不同指标上的两个新基准测试中的几个最先进的模型都优于多种最先进的模型。

在图像中理解丰富的语义并按语言顺序订购它们对于构成视觉上且语言上连贯的描述以进行图像字幕至关重要。现代技术通常利用了预训练的对象探测器/分类器，以在图像中挖掘语义，同时留下了固有的语言序列，语义序列不足。在本文中，我们提出了一个新的型变压器式结构的食谱，即理解和订购语义网络（COS-NET），它在新颖地将丰富的语义理解和可学习的语义订购过程统一到单个体系结构中。从技术上讲，我们最初利用跨模式检索模型来搜索每个图像的相关句子，并且搜索句子中的所有单词都被视为主要语义提示。接下来，设计了一种新颖的语义理解者，​​以滤除原始语义线索中无关的语义单词，同时推断出图像中视觉上基于的缺失相关语义单词。之后，我们将所有经过筛选和丰富的语义单词喂入语义排名，该语义排名学会学会以语言顺序分配所有语义单词。这样的有序语义单词序列与图像的视觉令牌进一步集成在一起，以触发句子的生成。经验证据表明，COS-NET清楚地超过了可可的最新方法，并在Karpathy测试拆分方面达到了最佳的苹果酒评分141.1％。源代码可在\ url {https://github.com/yehli/xmodaler/tree/master/master/configs/image_caption/cosnet}获得。