增强描述视频内容的句子的多样性是近期视频字幕研究中出现的重要问题。在本文中,我们通过模仿示例句语法来自定义视频标题的小说视角来探讨此问题。具体地,给定视频和任何语法有效的示例句子,我们介绍了一个新的语法定制视频标题(SCVC)的任务,旨在生成一个字幕,不仅开始描述视频内容,而且还句法模仿给定的示例句子。为了解决SCVC任务,我们提出了一种新的视频标题模型,其中首先设计了分层句子语法编码器来提取示例句子的语法结构,然后设计了语法调节标题解码器以生成表达视频语义的语法结构标题。由于没有可用的语法定制地面视频字幕,我们通过提出新的培训策略来解决这种挑战,该策略利用传统的成对视频标题数据和我们所收集的示例性句子来完成模型学习。在语义,句法,流畅性和多样性评估方面进行了广泛的实验,清楚地展示了我们的模型能力,以生成与丰富的多样性很好地模仿不同示例性句子的语法变化和语义 - 相干的视频标题。
translated by 谷歌翻译