Video-grounded Dialogue (VGD) aims to decode an answer sentence to a question regarding a given video and dialogue context. Despite the recent success of multi-modal reasoning to generate answer sentences, existing dialogue systems still suffer from a text hallucination problem, which denotes indiscriminate text-copying from input texts without an understanding of the question. This is due to learning spurious correlations from the fact that answer sentences in the dataset usually include the words of input texts, thus the VGD system excessively relies on copying words from input texts by hoping those words to overlap with ground-truth texts. Hence, we design Text Hallucination Mitigating (THAM) framework, which incorporates Text Hallucination Regularization (THR) loss derived from the proposed information-theoretic text hallucination measurement approach. Applying THAM with current dialogue systems validates the effectiveness on VGD benchmarks (i.e., AVSD@DSTC7 and AVSD@DSTC8) and shows enhanced interpretability.

神经模块网络（NMN）在图像接地任务中取得了成功，例如在合成图像上的视觉询问（VQA）。但是，在视频接地的对话任务中已经研究了NMN的非常有限的工作。这些任务通过附加的视觉时间差异和语言交叉转移依赖性扩展了传统视觉任务的复杂性。在最新的NMN方法上，我们介绍了视频接地的神经模块网络（VGNMN），以模拟视频基础语言任务中的信息检索过程，作为神经模块的管道。 VGNMN首先分解对话中的所有语言组件，以明确解决任何实体参考并从问题中检测相应的基于动作的输入。检测到的实体和动作被用作实例化神经模块网络并从视频中提取视觉提示的参数。我们的实验表明，VGNMN可以在充满挑战的视频对话基准以及视频质量质量标准测试中实现有希望的表现。

Natural Language Generation (NLG) has improved exponentially in recent years thanks to the development of sequence-to-sequence deep learning technologies such as Transformer-based language models. This advancement has led to more fluent and coherent NLG, leading to improved development in downstream tasks such as abstractive summarization, dialogue generation and data-to-text generation. However, it is also apparent that deep learning based generation is prone to hallucinate unintended text, which degrades the system performance and fails to meet user expectations in many real-world scenarios. To address this issue, many studies have been presented in measuring and mitigating hallucinated texts, but these have never been reviewed in a comprehensive manner before. In this survey, we thus provide a broad overview of the research progress and challenges in the hallucination problem in NLG. The survey is organized into two parts: (1) a general overview of metrics, mitigation methods, and future directions; and (2) an overview of task-specific research progress on hallucinations in the following downstream tasks, namely abstractive summarization, dialogue generation, generative question answering, data-to-text generation, machine translation, and visual-language generation. This survey serves to facilitate collaborative efforts among researchers in tackling the challenge of hallucinated texts in NLG.

Compared to traditional visual question answering, video-grounded dialogues require additional reasoning over dialogue context to answer questions in a multi-turn setting. Previous approaches to video-grounded dialogues mostly use dialogue context as a simple text input without modelling the inherent information flows at the turn level. In this paper, we propose a novel framework of Reasoning Paths in Dialogue Context (PDC). PDC model discovers information flows among dialogue turns through a semantic graph constructed based on lexical components in each question and answer. PDC model then learns to predict reasoning paths over this semantic graph. Our path prediction model predicts a path from the current turn through past dialogue turns that contain additional visual cues to answer the current question. Our reasoning model sequentially processes both visual and textual information through this reasoning path and the propagated features are used to generate the answer. Our experimental results demonstrate the effectiveness of our method and provide additional insights on how models use semantic dependencies in a dialogue context to retrieve visual cues.

大多数传统的文本到视频检索系统都在静态环境中运行，即，除了用户提供的初始文本查询之外，用户与代理之间没有相互作用。如果初始查询具有歧义，这可能是最佳的，这将导致许多错误的视频检索。为了克服这一限制，我们提出了一个新颖的框架，用于使用对话框（VIRED）进行视频检索，该框架使用户能够通过多轮对话框与AI代理进行交互，用户通过回答由AI代理产生的问题来完善结果的结果。我们的新颖的多模式问题生成器学会了提出问题，以最大程度地提高随后的视频检索性能，使用（i）在与用户的最后一轮互动中检索到的视频候选者以及（ii）基于文本的对话框历史记录所有以前的交互，以生成生成生成结合了与视频检索相关的视觉和语言提示的问题。此外，为了产生最大信息的问题，我们提出了一个信息引导的监督（IGS），该监督指导生成器提出问题，以提高随后的视频检索准确性。我们在AVSD数据集上验证了我们的交互式驾驶框架的有效性，这表明我们的交互式方法的性能明显优于传统的非交互式视频检索系统。我们还证明，我们提出的方法将涉及与真实人类互动的现实环境推广，从而证明了我们框架的稳健性和普遍性

Recent video+language datasets cover domains where the interaction is highly structured, such as instructional videos, or where the interaction is scripted, such as TV shows. Both of these properties can lead to spurious cues to be exploited by models rather than learning to ground language. In this paper, we present GrOunded footbAlL commentaries (GOAL), a novel dataset of football (or `soccer') highlights videos with transcribed live commentaries in English. As the course of a game is unpredictable, so are commentaries, which makes them a unique resource to investigate dynamic language grounding. We also provide state-of-the-art baselines for the following tasks: frame reordering, moment retrieval, live commentary retrieval and play-by-play live commentary generation. Results show that SOTA models perform reasonably well in most tasks. We discuss the implications of these results and suggest new tasks for which GOAL can be used. Our codebase is available at: https://gitlab.com/grounded-sport-convai/goal-baselines.

本文对过去二十年来对自然语言生成（NLG）的研究提供了全面的审查，特别是与数据到文本生成和文本到文本生成深度学习方法有关，以及NLG的新应用技术。该调查旨在（a）给出关于NLG核心任务的最新综合，以及该领域采用的建筑;（b）详细介绍各种NLG任务和数据集，并提请注意NLG评估中的挑战，专注于不同的评估方法及其关系;（c）强调一些未来的强调和相对近期的研究问题，因为NLG和其他人工智能领域的协同作用而增加，例如计算机视觉，文本和计算创造力。

旨在用自然语言和谐地与人类交流的智能对话体系对于促进人工智能时代的人机互动的发展非常出色。有了逐渐复杂的人类计算机交互要求（例如，多模式输入，时间敏感性），传统的基于文本的对话系统很难满足对更加生动和方便的交互的需求。因此，视觉背景增强对话系统（VAD）有可能通过感知和理解多模式信息（即图像或视频中的视觉上下文，文本对话历史记录）与人类进行交流，已成为主要的研究范式。 VAD受益于视觉和文本上下文之间的一致性和互补性，具有产生引人入胜和背景感知响应的潜力。为了描述VAD的开发，我们首先表征VAD的概念和独特功能，然后介绍其通用系统体系结构以说明系统工作流程。随后，对一些研究挑战和代表性作品进行了详细研究，然后进行了权威基准摘要。我们通过提出一些开放问题和有前途的VAD研究趋势来结束本文，例如，在跨模式对话环境下，人机对话的认知机制以及知识增强的跨模式语义互动。

本文介绍了Lingjing团队在NLPCC-2022-Shared-Task-4多模式对话理解和发电（MDUG）中的实验方案。MDUG任务可以分为两个阶段：多模式上下文理解和响应生成。为了充分利用视觉信息以获得场景的理解和对话的生成，我们提出了MDUG任务的场景感知提示。具体而言，我们利用多任务策略共同建模场景和会话多模式的理解。采用视觉标题来了解场景信息，而基于场景和会话感知标签的固定类型的模板提示则用于进一步改善对话生成性能。广泛的实验结果表明，与其他竞争方法相比，所提出的方法已经达到了最先进的（SOTA）性能，在此MDUG竞争中，我们在所有三个子任务中排名1-ST。

基础模型由于在广泛的下游应用中的有效性而受到了很多关注。尽管在体系结构方面存在很大的融合，但大多数审慎的模型通常仍用于特定任务或模式。在这项工作中，我们建议将语言模型用作各种基础模型的通用接口。一系列预处理的编码者感知到了多种方式（例如视觉和语言），并与扮演通用任务层角色的语言模型对接。我们提出了一个半伴侣的语言建模目标，以共同确定界面和模块化编码器。我们从因果关系和非因果建模中涵盖了优势和能力，从而结合了两个世界的最佳状态。具体而言，所提出的方法不仅从因果语言建模中继承了内在学习和开放式生成的能力，而且由于双向编码器而有利于填补。更重要的是，我们的方法无缝地解锁了上述功能的组合，例如，通过填充编码器启用了文本学习或指导。各种仅语言和视觉语言基准的实验结果表明，我们的模型表现优于或与鉴定，零弹性概括和几乎没有的学习的专业模型竞争。

在过去的几年中，训练前模型的出现将单峰领域（例如计算机视觉（CV）和自然语言处理（NLP））带到了一个新时代。实质性的作品表明它们对下游大学任务有益，并避免从头开始训练新的模型。那么，此类预训练的模型可以应用于多模式任务吗？研究人员探索了这个问题并取得了重大进展。本文调查了视觉预训练（VLP）的最新进展和新的前沿，包括图像文本和视频文本预训练。为了使读者更好地掌握VLP，我们首先从五个方面回顾了其最新进展：功能提取，模型体系结构，培训预训练目标，预训练数据集和下游任务。然后，我们详细概述了特定的VLP模型。最后，我们讨论了VLP中的新边界。据我们所知，这是对VLP的首次调查。我们希望这项调查能够阐明VLP领域的未来研究。

视觉问题回答（VQA）通常需要对视觉概念和语言语义的理解，这取决于外部知识。大多数现有方法利用了预训练的语言模型或/和非结构化文本，但是这些资源中的知识通常不完整且嘈杂。有些方法更喜欢使用经常具有强化结构知识的知识图（kgs），但是研究仍然相当初步。在本文中，我们提出了Lako，这是一种知识驱动的VQA方法，通过后期的文本注射。为了有效地纳入外部kg，我们将三元三元转移到文本中，并提出一种晚期注射机制。最后，我们将VQA作为文本生成任务，并具有有效的编码器范式。在使用OKVQA数据集的评估中，我们的方法可实现最新的结果。

This paper presents a unified Vision-Language Pre-training (VLP) model. The model is unified in that (1) it can be finetuned for either vision-language generation (e.g., image captioning) or understanding (e.g., visual question answering) tasks, and (2) it uses a shared multi-layer transformer network for both encoding and decoding, which differs from many existing methods where the encoder and decoder are implemented using separate models. The unified VLP model is pre-trained on a large amount of image-text pairs using the unsupervised learning objectives of two tasks: bidirectional and sequence-to-sequence (seq2seq) masked vision-language prediction. The two tasks differ solely in what context the prediction conditions on. This is controlled by utilizing specific self-attention masks for the shared transformer network. To the best of our knowledge, VLP is the first reported model that achieves state-of-the-art results on both vision-language generation and understanding tasks, as disparate as image captioning and visual question answering, across three challenging benchmark datasets: COCO Captions, Flickr30k Captions, and VQA 2.0. The code and the pre-trained models are available at https://github.com/LuoweiZhou/VLP.

随着图像文本对的大量数据以及视觉和语言（V＆L）任务的多样性，学者在该研究领域引入了大量的深度学习模型。此外，近年来，转移学习还显示出在计算机愿景中的巨大成功，例如图像分类，对象检测等以及在自然语言处理中以进行问答，机器翻译等的自然语言处理。继承转移学习的精神， V＆L的研究工作已经在大规模数据集上设计了多种预训练技术，以增强下游任务的性能。本文的目的是提供当代V＆L预审前模型的全面修订。特别是，我们对预处理的方法进行了分类和描述，以及最先进的视觉和语言预训练模型的摘要。此外，还提供了培训数据集和下游任务的列表，以进一步提高V＆L预处理的观点。最后，我们决定采取进一步的一步，讨论众多未来研究的方向。

变压器架构已经带来了计算语言领域的根本变化，这已经由经常性神经网络主导多年。它的成功还意味着具有语言和愿景的跨模型任务的大幅度变化，许多研究人员已经解决了这个问题。在本文中，我们审查了该领域中的一些最关键的里程碑，以及变压器架构如何纳入Visuol语言跨模型任务的整体趋势。此外，我们讨论了当前的局限性，并推测了我们发现迫在眉睫的一些前景。

用于评估有条件自然语言生成的传统自动化指标使用单个生成的文本和最佳匹配的金标准地面真相文本之间的成对比较。当有多个基础真相可用时，分数将使用参考中的平均或最大操作进行汇总。尽管这种方法在地面真相数据中的多样性（即有条件文本的分布的分散）可以归因于噪声，例如自动语音识别中，但在地面上的多样性的情况下，它不允许进行强有力的评估。真理代表模型的信号。在这项工作中，我们认为现有的指标不适合诸如视觉描述或摘要之类的域，而地面真理在语义上是多样的，并且这些字幕中的多样性捕获了有关上下文的有用的其他信息。我们提出了一种新的范式，用于对条件语言生成模型的多键入评估以及一个新的指标家族，该指标家族使用每种少量样本集比较参考和模型生成的字幕集的分布。我们通过视觉描述中的案例研究证明了方法的实用性：我们在其中证明现有模型优化了单描述质量而不是多样性，并获得了对采样方法和温度影响如何描述质量和多样性的一些见解。

从预训练的语言模型中进行的引导已被证明是用于建立基础视觉模型（VLM）的有效方法，例如图像字幕或视觉问题的答案。但是，很难用它来使模型符合用户的理由来获得特定答案。为了引起和加强常识性原因，我们提出了一个迭代采样和调整范式，称为Illume，执行以下循环：给定图像问题提示提示，VLM采样了多个候选人，并通过人类评论家通过偏好提供最小的反馈。选择，用于微调。该循环增加了训练数据，并逐渐雕刻出VLM的合理化功能。我们的详尽实验表明，Illume在使用较少的培训数据的同时，仅需要最少的反馈，与标准监督的微调竞争。

Vision-and-language reasoning requires an understanding of visual concepts, language semantics, and, most importantly, the alignment and relationships between these two modalities. We thus propose the LXMERT (Learning Cross-Modality Encoder Representations from Transformers) framework to learn these vision-and-language connections. In LXMERT, we build a large-scale Transformer model that consists of three encoders: an object relationship encoder, a language encoder, and a cross-modality encoder. Next, to endow our model with the capability of connecting vision and language semantics, we pre-train the model with large amounts of image-and-sentence pairs, via five diverse representative pre-training tasks: masked language modeling, masked object prediction (feature regression and label classification), cross-modality matching, and image question answering. These tasks help in learning both intra-modality and cross-modality relationships. After fine-tuning from our pretrained parameters, our model achieves the state-of-the-art results on two visual question answering datasets (i.e., VQA and GQA). We also show the generalizability of our pretrained cross-modality model by adapting it to a challenging visual-reasoning task, NLVR 2 , and improve the previous best result by 22% absolute (54% to 76%). Lastly, we demonstrate detailed ablation studies to prove that both our novel model components and pretraining strategies significantly contribute to our strong results; and also present several attention visualizations for the different encoders. 1

Long-range context modeling is crucial to both dialogue understanding and generation. The most popular method for dialogue context representation is to concatenate the last-$k$ previous utterances. However, this method may not be ideal for conversations containing long-range dependencies. In this work, we propose DialoGX, a novel encoder-decoder based framework for conversational response generation with a generalized and explainable context representation that can look beyond the last-$k$ utterances. Hence the method is adaptive to conversations with long-range dependencies. The main idea of our approach is to identify and utilize the most relevant historical utterances instead of the last-$k$ utterances in chronological order. We study the effectiveness of our proposed method on both dialogue generation (open-domain) and understanding (DST) tasks. DialoGX achieves comparable performance with the state-of-the-art models on DailyDialog dataset. We also observe performance gain in existing DST models with our proposed context representation strategy on MultiWOZ dataset. We justify our context representation through the lens of psycholinguistics and show that the relevance score of previous utterances agrees well with human cognition which makes DialoGX explainable as well.

与自然语言解释的视觉结合旨在推断文本图像对之间的关​​系并生成句子以解释决策过程。先前的方法主要依靠预先训练的视觉模型来执行关系推断和语言模型来生成相应的解释。但是，预训练的视觉模型主要在文本和图像之间建立令牌级别的对齐，但忽略了短语（块）和视觉内容之间的高级语义对齐，这对于视觉推理至关重要。此外，仅基于编码的联合表示形式的解释生成器并未明确考虑关键的关系推理的决策点。因此，产生的解释不太忠于视觉语言推理。为了减轻这些问题，我们提出了一种统一的块意见对齐和基于词汇约束的方法，称为CALEC。它包含一个块感知的语义交互器（ARR。CSI），一个关系属性和词汇约束感知的发生器（arr。Lecg）。具体而言，CSI利用语言和各个图像区域固有的句子结构来构建块感知语义对齐。关系下属使用基于注意力的推理网络来合并令牌级别和块级视觉语言表示。 LECG利用词汇约束来将关系下列者重点关注的单词或块纳入解释世代，从而提高了解释的忠诚和信息性。我们在三个数据集上进行了广泛的实验，实验结果表明，CALEC在推理准确性和生成的解释的质量方面显着优于其他竞争者模型。