观察一组图像及其相应的段落限制，一个具有挑战性的任务是学习如何生成语义连贯的段落来描述图像的视觉内容。受到将语义主题纳入此任务的最新成功的启发，本文开发了插件的层次结构引导图像段落生成框架，该框架将视觉提取器与深层主题模型相结合，以指导语言模型的学习。为了捕获图像和文本在多个抽象层面上的相关性并从图像中学习语义主题，我们设计了一个变异推理网络，以构建从图像功能到文本字幕的映射。为了指导段落的生成，学习的层次主题和视觉特征被整合到语言模型中，包括长期的短期记忆（LSTM）和变压器，并共同优化。公共数据集上的实验表明，在标准评估指标方面具有许多最先进的方法竞争的拟议模型可用于提炼可解释的多层语义主题并产生多样的和相干的标题。我们在https://github.com/dandanguo1993/vtcm aseal-image-image-paragraph-caption.git上发布代码

连接视觉和语言在生成智能中起着重要作用。因此，已经致力于图像标题的大型研究工作，即用句法和语义有意义的句子描述图像。从2015年开始，该任务通常通过由Visual Encoder组成的管道和文本生成的语言模型来解决任务。在这些年来，两种组件通过对象区域，属性，介绍多模态连接，完全关注方法和伯特早期融合策略的利用而显着发展。但是，无论令人印象深刻的结果，图像标题的研究还没有达到结论性答案。这项工作旨在提供图像标题方法的全面概述，从视觉编码和文本生成到培训策略，数据集和评估度量。在这方面，我们量化地比较了许多相关的最先进的方法来确定架构和培训策略中最有影响力的技术创新。此外，讨论了问题的许多变体及其开放挑战。这项工作的最终目标是作为理解现有文献的工具，并突出显示计算机视觉和自然语言处理的研究领域的未来方向可以找到最佳的协同作用。

描述使用自然语言的图像被广泛称为图像标题，这是由于计算机视觉和自然语言生成技术的发展而达成了一致的进展。虽然传统的标题模型基于流行度量的高精度，即BLEU，苹果酒和香料，探索了标题与其他类似图像中的标题的能力。为了产生独特的标题，一些先驱采用对比学习或重新加权地面真理标题，其侧重于一个输入图像。然而，忽略了类似图像组中对象之间的关系（例如，相同专辑中的项目或属性或细粒度事件中的物品）。在本文中，我们使用基于组的独特标题模型（Gdiscap）来提高图像标题的独特性，其将每个图像与一个类似的组中的其他图像进行比较，并突出显示每个图像的唯一性。特别是，我们提出了一种基于组的内存注意力（GMA）模块，其存储在图像组中是唯一的对象特征（即，与其他图像中的对象的低相似性）。生成字幕时突出显示这些唯一的对象功能，从而产生更有独特的标题。此外，选择地面标题中的独特单词来监督语言解码器和GMA。最后，我们提出了一种新的评估度量，独特的单词率（Diswordrate）来测量标题的独特性。定量结果表明，该方法显着提高了几种基线模型的独特性，并实现了精度和独特性的最先进的性能。用户学习的结果与定量评估一致，并证明了新的公制Diswordrate的合理性。

图像标题是自动生成句子的任务，以最好的方式生成描述输入图像。最近用于自动生成图像标题的最成功的技术最近使用了细心的深度学习模型。设计了深入学习模型的设计方式有变化。在本调查中，我们为图像标题的细心深度学习模型提供了相关的文献述评。而不是对深度图像标题模型的所有先前工作进行全面审查，我们解释了用于深度学习模型中的图像标题任务的各种类型的注意机制。用于图像标题的最成功的深度学习模型遵循编码器解码器架构，尽管这些模型采用注意机制的方式存在差异。通过分析图像标题的不同细节深层模型的性能结果，我们的目标是在图像标题中找到深度模型中最成功的注意机制。柔软的关注，自下而上的关注和多主题是一种广泛应用于图像标题的最先进的深度学习模型的关注机构的类型。在当前时，最佳结果是从多针关注的变体实现的，以自下而上的关注。

自动在自然语言中自动生成图像的描述称为图像字幕。这是一个积极的研究主题，位于人工智能，计算机视觉和自然语言处理中两个主要领域的交集。图像字幕是图像理解中的重要挑战之一，因为它不仅需要识别图像中的显着对象，还需要其属性及其相互作用的方式。然后，系统必须生成句法和语义上正确的标题，该标题描述了自然语言的图像内容。鉴于深度学习模型的重大进展及其有效编码大量图像并生成正确句子的能力，最近已经提出了几种基于神经的字幕方法，每种方法都试图达到更好的准确性和标题质量。本文介绍了一个基于编码器的图像字幕系统，其中编码器使用以RESNET-101作为骨干为骨干来提取图像中每个区域的空间和全局特征。此阶段之后是一个精致的模型，该模型使用注意力进行注意的机制来提取目标图像对象的视觉特征，然后确定其相互作用。解码器由一个基于注意力的复发模块和一个反思性注意模块组成，该模块会协作地将注意力应用于视觉和文本特征，以增强解码器对长期顺序依赖性建模的能力。在两个基准数据集（MSCOCO和FLICKR30K）上进行的广泛实验显示了提出的方法和生成的字幕的高质量。

本文对过去二十年来对自然语言生成（NLG）的研究提供了全面的审查，特别是与数据到文本生成和文本到文本生成深度学习方法有关，以及NLG的新应用技术。该调查旨在（a）给出关于NLG核心任务的最新综合，以及该领域采用的建筑;（b）详细介绍各种NLG任务和数据集，并提请注意NLG评估中的挑战，专注于不同的评估方法及其关系;（c）强调一些未来的强调和相对近期的研究问题，因为NLG和其他人工智能领域的协同作用而增加，例如计算机视觉，文本和计算创造力。

图像段落字幕旨在描述具有一系列连贯句子的给定图像。大多数现有方法通过主题过渡对一致性建模，该主题过渡将主题向量从先前的句子中移动。但是，这些方法仍然遭受生成段落的立即或延迟重复，因为（i）语法和语义的纠缠使主题向量分散了参与相关视觉区域的注意力； （ii）学习长期过渡几乎没有限制或奖励。在本文中，我们提出了一个旁路网络，该网络分别模拟了前面句子的语义和语言语法。具体而言，提出的模型由两个主要模块组成，即主题过渡模块和句子生成模块。前者将先前的语义向量作为查询，并将注意机制应用于区域特征以获取下一个主题矢量，从而通过消除语言学来减少立即重复。后者将主题向量和先前的语法状态解码以产生以下句子。为了进一步减少生成段落中的延迟重复，我们为加强培训设计了基于替代的奖励。广泛使用的基准测试的全面实验证明了所提出的模型优于最终的技术，同时保持了高精度。

在序列到序列学习中，例如，自然语言生成，解码器依赖于注意机制，以有效地从编码器中提取信息。虽然常见的做法是从最后一个编码器层绘制信息，但最近的工作已经提出用于使用来自不同编码器层的表示，以进行多样化的信息。尽管如此，解码器仍然仅获得源序列的单个视图，这可能导致由于层级绕过问题而导致编码器层堆栈的训练不足。在这项工作中，我们提出了层次的多视图解码，其中对于每个解码器层以及来自最后一个编码器层的表示，它作为全局视图，来自其他编码器层的那些是用于立体视图的源序列。系统实验和分析表明，我们成功地解决了层次结构绕过问题，需要几乎可忽略的参数增加，并大大提高了五种不同任务的深度表示的序列到序列学习的性能，即机器翻译，抽象总结，图像标题，视频字幕和医疗报告生成。特别是，我们的方法在八个基准数据集中实现了新的最先进的结果，包括低资源机器转换数据集和两个低资源医疗报告生成数据集。

自动音频字幕是一项跨模式翻译任务，旨在为给定的音频剪辑生成自然语言描述。近年来，随着免费可用数据集的发布，该任务受到了越来越多的关注。该问题主要通过深度学习技术解决。已经提出了许多方法，例如研究不同的神经网络架构，利用辅助信息，例如关键字或句子信息来指导字幕生成，并采用了不同的培训策略，这些策略极大地促进了该领域的发展。在本文中，我们对自动音频字幕的已发表贡献进行了全面综述，从各种现有方法到评估指标和数据集。我们还讨论了公开挑战，并设想可能的未来研究方向。

密集的视频字幕（DVC）旨在生成多句子描述，以阐明视频中的多个事件，这是具有挑战性，需要的视觉一致性，疑惑一致性和语言多样性。现有方法主要生成各个视频段的标题，缺乏适应全局视觉上下文和快速发展的视觉内容和文本描述之间的渐进对齐，这导致冗余和拼接描述。在本文中，我们介绍了信息流的概念，以模拟跨视频序列和标题的渐进信息。通过设计跨模型信息流对准机制，捕获和对齐的视觉和文本信息流，其在事件/主题演化上以更丰富的上下文和动态赋予标题处理。基于跨模型信息流对准模块，我们进一步提出了DVCFlow框架，它由全球本地视觉编码器组成，用于捕获每个视频段的全局功能和本地特征，以及用于产生标题的预先培训的标题生成器。对流行的ActivityNet标题和Youcookii数据集的广泛实验表明，我们的方法显着优于竞争基础，并根据主题和客观测试产生更多人类文本。

图像字幕显示可以通过使用场景图来表示图像中对象的关系来实现更好的性能。当前字幕编码器通常使用图形卷积网（GCN）来表示关系信息，并通过串联或卷积将其与对象区域特征合并，以获取句子解码的最终输入。但是，由于两个原因，现有方法中基于GCN的编码器在字幕上的有效性较小。首先，使用图像字幕作为目标（即最大似然估计），而不是以关系为中心的损失无法完全探索编码器的潜力。其次，使用预训练的模型代替编码器本身提取关系不是灵活的，并且不能有助于模型的解释性。为了提高图像字幕的质量，我们提出了一个新颖的体系结构改革者 - 一种关系变压器，可以生成具有嵌入关系信息的功能，并明确表达图像中对象之间的成对关系。改革者将场景图的生成目标与使用一个修改后的变压器模型的图像字幕结合在一起。这种设计使改革者不仅可以通过提取强大的关系图像特征的利益生成更好的图像标题，还可以生成场景图，以明确描述配对关系。公开可用数据集的实验表明，我们的模型在图像字幕和场景图生成上的最先进方法明显优于最先进的方法

Transformer-based architectures represent the state of the art in sequence modeling tasks like machine translation and language understanding. Their applicability to multi-modal contexts like image captioning, however, is still largely under-explored. With the aim of filling this gap, we present M 2 -a Meshed Transformer with Memory for Image Captioning. The architecture improves both the image encoding and the language generation steps: it learns a multi-level representation of the relationships between image regions integrating learned a priori knowledge, and uses a mesh-like connectivity at decoding stage to exploit low-and high-level features. Experimentally, we investigate the performance of the M 2 Transformer and different fully-attentive models in comparison with recurrent ones. When tested on COCO, our proposal achieves a new state of the art in single-model and ensemble configurations on the "Karpathy" test split and on the online test server. We also assess its performances when describing objects unseen in the training set. Trained models and code for reproducing the experiments are publicly

Automatically generating a natural language description of an image has attracted interests recently both because of its importance in practical applications and because it connects two major artificial intelligence fields: computer vision and natural language processing. Existing approaches are either top-down, which start from a gist of an image and convert it into words, or bottom-up, which come up with words describing various aspects of an image and then combine them. In this paper, we propose a new algorithm that combines both approaches through a model of semantic attention. Our algorithm learns to selectively attend to semantic concept proposals and fuse them into hidden states and outputs of recurrent neural networks.The selection and fusion form a feedback connecting the top-down and bottom-up computation. We evaluate our algorithm on two public benchmarks: Microsoft COCO and Flickr30K. Experimental results show that our algorithm significantly outperforms the state-of-the-art approaches consistently across different evaluation metrics.

在过去的几年中，引起了独特的图像字幕（DIC）（DIC） - 生成独特的标题来描述目标图像的独特细节。最近的DIC工作建议通过将目标图像与一组语义相似的参考图像（即基于参考的DIC（REF-DIC））进行比较来生成独特的字幕。它的目的是使生成的字幕可以分开目标图像和参考图像。不幸的是，现有参考作品使用的参考图像易于区分：这些参考图像仅类似于场景级别的目标图像，并且几乎没有常见的对象，因此，即使不考虑该模型，Ref-DIC模型也可以微不足道地生成独特的字幕参考图像。为了确保Ref-DIC模型真正了解目标图像中的唯一对象（或属性），我们首先提出了两个新的Ref-DIC基准。具体而言，我们设计了一个两阶段的匹配机制，该机制严格控制对象 - /属性级别的目标和参考图像之间的相似性（相对于场景级别）。其次，为了产生独特的标题，我们开发了一个强大的基于变压器的ref-DIC基线，称为传播。它不仅从目标图像中提取视觉特征，而且还编码目标和参考图像中对象之间的差异。最后，为了获得更值得信赖的基准测试，我们提出了一个新的评估度量指标，名为Ref-DIC的Discider，评估生成的字幕的准确性和独特性。实验结果表明，我们的传统可以产生独特的标题。此外，它在不同指标上的两个新基准测试中的几个最先进的模型都优于多种最先进的模型。

大多数当前图像标题模型通常从左到右生成标题。这种单向财产使它们只能利用过去的背景但不是未来的背景。尽管最近的基于改进的模型可以通过基于第一阶段的预检索或预先生成的标题在第二阶段生成新的标题来利用过去和未来的上下文，但是这些模型的解码器通常由两个网络组成〜（即第一阶段中的猎犬或标题器和第二阶段的炼油厂），其只能顺序地执行。在本文中，我们引入了一种用于图像标题的紧凑双向变压器模型，其可以在解码器并行执行解码器时隐式地和明确地利用双向上下文。具体地，通过将​​左右（L2R）和向右（R2L）紧密地耦合到单个紧凑型〜（即隐式）和可选地允许两个流的相互作用（即明确）的相互作用（即明确）来实现来实现。最终标题以句子级集合方式从L2R或R2L流中选择。我们对MSCOCO基准进行广泛的消融研究，并找到紧凑的架构，它用作隐式利用双向上下文的正则化，以及句子级集合比显式交互机制扮演更重要的角色。通过无缝地与单词级集合组合，句子级集合的效果进一步放大。我们进一步将传统的单流自我关键培训扩展到此架构下的双流程版本，并与非视语 - 预先预订模型相比，实现新的最先进导致。源代码可用于{\ color {magenta} \ url {https://github.com/yuanezhou/cbtrans}}。

Inspired by recent work in machine translation and object detection, we introduce an attention based model that automatically learns to describe the content of images. We describe how we can train this model in a deterministic manner using standard backpropagation techniques and stochastically by maximizing a variational lower bound. We also show through visualization how the model is able to automatically learn to fix its gaze on salient objects while generating the corresponding words in the output sequence. We validate the use of attention with state-of-theart performance on three benchmark datasets: Flickr8k, Flickr30k and MS COCO.

食物对人类日常生活很重要。在本文中，我们有兴趣学习长期食谱的结构表现形式，这些食谱可以使食谱生成和食品跨模式检索任务受益。与常见的视觉数据不同，这里的食物图像包含混合成分和目标食谱是漫长的段落，在那里我们没有关于结构信息的注释。为了解决上述局限性，我们提出了一种新颖的方法，可以毫无根据地学习烹饪食谱的句子级树结构。我们的方法在系统的框架中汇集了一些新颖的想法：（1）利用一种无监督的学习方法来在训练前获得句子级的树结构标签； （2）通过从（1）中学到的树结构标签的监督从图像中生成目标食谱的树； （3）将学习的树结构整合到食谱生成和食品交叉模式检索过程中。我们提出的模型可以生成优质的句子级别的树结构和连贯的食谱。我们在基准配方1M数据集上实现了最先进的食谱生成和食品交叉模式检索性能。

人们说：“一张照片值一千字”。那么，我们如何从图像中获取丰富的信息？我们认为，通过使用视觉线索来桥接大型的识别视觉基础模型和语言模型，我们可以无需任何额外的跨模式训练。得益于基础模型的强大零拍功能，我们首先构建图像的丰富语义表示（例如，图像标签，对象属性 /位置，字幕）作为结构化的文本提示，称为视觉线索，使用视觉基础模型。基于视觉线索，我们使用大型语言模型为视觉内容生成一系列综合描述，然后再次通过视觉模型验证，以选择与图像最合适的候选人。我们通过定量和定性测量评估生成的描述的质量。结果证明了这种结构化语义表示的有效性。

在诊所，放射学报告对于指导患者的治疗至关重要。不幸的是，报告写作对放射科医师造成了沉重的负担。为了有效地减少这种负担，在此提出了一种从胸部X射线的报告生成的自动，多模态方法。我们的方法，通过观察到放射学报告的描述与X射线图像高度相关，具有两个不同的模块：（i）学习知识库。为了吸收嵌入上述相关性的知识，我们根据文本嵌入自动构建知识库。 （ii）多模态对齐。为了促进报告，疾病标签和图像之间的语义对齐，我们明确地利用文本嵌入来指导视觉特征空间的学习。我们评估所提出的模型的表现，使用来自公共IU和模拟 - CXR数据集的自然语言生成和临床疗效。我们的消融研究表明，每个模块都有助于提高所生成的报告的质量。此外，借助两种模块，我们的方法显然优于最先进的方法。

Recent progress on fine-grained visual recognition and visual question answering has featured Bilinear Pooling, which effectively models the 2 nd order interactions across multi-modal inputs. Nevertheless, there has not been evidence in support of building such interactions concurrently with attention mechanism for image captioning. In this paper, we introduce a unified attention block -X-Linear attention block, that fully employs bilinear pooling to selectively capitalize on visual information or perform multimodal reasoning. Technically, X-Linear attention block simultaneously exploits both the spatial and channel-wise bilinear attention distributions to capture the 2 nd order interactions between the input single-modal or multi-modal features. Higher and even infinity order feature interactions are readily modeled through stacking multiple X-Linear attention blocks and equipping the block with Exponential Linear Unit (ELU) in a parameter-free fashion, respectively. Furthermore, we present X-Linear Attention Networks (dubbed as X-LAN) that novelly integrates X-Linear attention block(s) into image encoder and sentence decoder of image captioning model to leverage higher order intraand inter-modal interactions. The experiments on COCO benchmark demonstrate that our X-LAN obtains to-date the best published CIDEr performance of 132.0% on COCO Karpathy test split. When further endowing Transformer with X-Linear attention blocks, CIDEr is boosted up to 132.8%. Source code is available at https://github. com/Panda-Peter/image-captioning.