预先接受训练的语言模型的最新进展具有显着改善的神经反应生成。但是，现有方法通常将对话背景视为令牌的线性序列，并通过令牌级自我关注学习生成下一个单词。这些令牌级编码阻碍了话语中话语水平一致性的探索。本文介绍了对话贝特，这是一种新的会话响应生成模型，可以增强以前的基于PLM的对话模型。 DialogBert采用分层变压器架构。为了有效地捕捉话语中的话语水平一致性，我们提出了两种培训目标，包括蒙面的话语回归和分布式话语秩序与原始BERT训练相比。在三个多转对谈话数据集上的实验表明，在定量评估方面，我们的方法非常优于BART和Dialogpt等基线。人类评估表明，DialogBert比具有显着利润率的基线产生更加连贯，信息和人类的反应。

预先接受的语言模型（PLM）在神经对话建模中标志着巨大的飞跃。虽然PLMS在大型文本语料库上进行预先培训，但通常在具有特定领域知识和对话风格的稀缺对话数据上进行微调。然而，在大型预先训练模型中充分利用现有知识的同时定制语言模型仍然是一个挑战。在本文中，我们提出了一种预先接受训练的对话建模的新方法，将对话生成问题作为一个快速学习任务。而不是在有限的对话数据上进行微调，我们的方法，DialogPrompt学习针对对话背景优化的连续提示嵌入，从而从大型预训练模型中促进了知识。为了鼓励模型更好地利用提示嵌入，提示编码器被设计为在输入对话框上下文中的条件。流行对话数据集的实验表明，我们的方法显着优于微调基线和通用及时学习方法。此外，人类评估强烈支持对DialialPrompt的优越性在响应生成质量方面。

Long-range context modeling is crucial to both dialogue understanding and generation. The most popular method for dialogue context representation is to concatenate the last-$k$ previous utterances. However, this method may not be ideal for conversations containing long-range dependencies. In this work, we propose DialoGX, a novel encoder-decoder based framework for conversational response generation with a generalized and explainable context representation that can look beyond the last-$k$ utterances. Hence the method is adaptive to conversations with long-range dependencies. The main idea of our approach is to identify and utilize the most relevant historical utterances instead of the last-$k$ utterances in chronological order. We study the effectiveness of our proposed method on both dialogue generation (open-domain) and understanding (DST) tasks. DialoGX achieves comparable performance with the state-of-the-art models on DailyDialog dataset. We also observe performance gain in existing DST models with our proposed context representation strategy on MultiWOZ dataset. We justify our context representation through the lens of psycholinguistics and show that the relevance score of previous utterances agrees well with human cognition which makes DialoGX explainable as well.

这项工作结合了有关预先训练模型编码的对话历史的信息，其含义表示当前系统话语，以实现面向任务对话中的语境语言生成。我们利用预先训练的多上下文转换模型进行从头开始培训的模型中的上下文表示;并利用从预训练的GPT-2调整的模型中的上下文生成的立即使用前面的用户话语。与多种数据集的两个实验表明，通过预先训练的模型编码的上下文信息可提高自动指标和人类评估中的响应生成的性能。我们所呈现的上下文发电机使得更高种类的响应能够更好地适应正在进行的对话。分析上下文大小显示，较长的上下文不会自动导致更好的性能，但是前面的用户话语的直接对上下文生成起着重要作用。此外，我们还提出了一种基于GPT的生成模型的重新排名。实验表明，RE-Ranker选择的响应对自动度量有重大改进。

最近，培训预培训方法在以任务为导向的对话框（TOD）系统中表现出了很大的成功。但是，大多数现有的预培训模型用于TOD专注于对话的理解或对话生成，但并非两者兼而有之。在本文中，我们提出了Space-3，这是一种新型的统一的半监督预培训的预训练的对话模型，从大规模对话CORPORA中学习有限的注释，可以有效地对广泛的下游对话任务进行微调。具体而言，Space-3由单个变压器中的四个连续组件组成，以维护TOD系统中的任务流：（i）对话框编码模块编码对话框历史记录，（ii）对话框理解模块以从任一用户中提取语义向量查询或系统响应，（iii）一个对话框策略模块，以生成包含响应高级语义的策略向量，以及（iv）对话框生成模块以产生适当的响应。我们为每个组件设计一个专门的预训练目标。具体而言，我们预先培训对话框编码模块，使用跨度掩码语言建模，以学习上下文化对话框信息。为了捕获“结构化对话框”语义，我们通过额外的对话注释通过新颖的树诱导的半监视对比度学习目标来预先培训对话框理解模块。此外，我们通过将其输出策略向量与响应响应的语义向量之间的L2距离最小化以进行策略优化，从而预先培训对话策略模块。最后，对话框生成模型由语言建模预先训练。结果表明，Space-3在八个下游对话框基准中实现最新性能，包括意图预测，对话框状态跟踪和端到端对话框建模。我们还表明，在低资源设置下，Space-3比现有模型具有更强的射击能力。

Interview has been regarded as one of the most crucial step for recruitment. To fully prepare for the interview with the recruiters, job seekers usually practice with mock interviews between each other. However, such a mock interview with peers is generally far away from the real interview experience: the mock interviewers are not guaranteed to be professional and are not likely to behave like a real interviewer. Due to the rapid growth of online recruitment in recent years, recruiters tend to have online interviews, which makes it possible to collect real interview data from real interviewers. In this paper, we propose a novel application named EZInterviewer, which aims to learn from the online interview data and provides mock interview services to the job seekers. The task is challenging in two ways: (1) the interview data are now available but still of low-resource; (2) to generate meaningful and relevant interview dialogs requires thorough understanding of both resumes and job descriptions. To address the low-resource challenge, EZInterviewer is trained on a very small set of interview dialogs. The key idea is to reduce the number of parameters that rely on interview dialogs by disentangling the knowledge selector and dialog generator so that most parameters can be trained with ungrounded dialogs as well as the resume data that are not low-resource. Evaluation results on a real-world job interview dialog dataset indicate that we achieve promising results to generate mock interviews. With the help of EZInterviewer, we hope to make mock interview practice become easier for job seekers.

Natural Language Generation (NLG) represents a large collection of tasks in the field of NLP. While many of these tasks have been tackled well by the cross-entropy (CE) loss, the task of dialog generation poses a few unique challenges for this loss function. First, CE loss assumes that for any given input, the only possible output is the one available as the ground truth in the training dataset. In general, this is not true for any task, as there can be multiple semantically equivalent sentences, each with a different surface form. This problem gets exaggerated further for the dialog generation task, as there can be multiple valid responses (for a given context) that not only have different surface forms but are also not semantically equivalent. Second, CE loss does not take the context into consideration while processing the response and, hence, it treats all ground truths with equal importance irrespective of the context. But, we may want our final agent to avoid certain classes of responses (e.g. bland, non-informative or biased responses) and give relatively higher weightage for more context-specific responses. To circumvent these shortcomings of the CE loss, in this paper, we propose a novel loss function, CORAL, that directly optimizes recently proposed estimates of human preference for generated responses. Using CORAL, we can train dialog generation models without assuming non-existence of response other than the ground-truth. Also, the CORAL loss is computed based on both the context and the response. Extensive comparisons on two benchmark datasets show that the proposed methods outperform strong state-of-the-art baseline models of different sizes.

语言是人类交流的主要工具，其中幽默是最有吸引力的部分之一。使用计算机，又称自然语言生成（NLG）的人类产生自然语言，已广泛用于对话系统，聊天机器人，机器翻译以及计算机AID创建，例如Idea Generations，剧本。但是，自然语言的幽默方面相对不足，尤其是在预训练的语言模型时代。在这项工作中，我们旨在初步测试NLG是否可以像人类一样产生幽默。我们构建了一个新的数据集，该数据集由众多数字化的中国可笑的串扰脚本（称为c $^3 $简称），该脚本适用于1800年代以来名为“ Xiangsheng”的流行中国表演艺术。 （为了方便非中国扬声器，我们在本文中称为“ Xiangsheng”的“ Crosstalk”。）我们基准了各种一代方法，包括训练seq2seq，微调中级PLMS和大型PLMS（大型PLMS）（有无微调）。此外，我们还进行了人类评估，表明1）大规模预处理在很大程度上提高了串扰的产生质量； 2）即使是从最佳PLM产生的脚本也远非我们的期望，只有65％的人类创建的串扰质量。我们得出结论，使用大型PLM可以在很大程度上改善幽默的产生，但仍处于起步阶段。 \ url {https://github.com/anonno2/crosstalk-generation}公开可用数据和基准代码。

会话推荐系统（CRS）已成为一个新兴的研究主题，试图通过交互式对话进行建议，这些对话通常由发电和建议模块组成。 CRS的先前工作倾向于将更多的外部和领域特定知识纳入项目评论，以提高性能。尽管事实的收集和注释特定于外部领域的信息需要大量的人类努力并脱离了普遍性，但过多的额外知识在它们之间带来了更大的困难。因此，我们建议从上下文中充分发现和提取内部知识。我们将实体级别和上下文级别的表示形式捕获为对建议的共同模拟用户的偏好，在这种情况下，时间吸引的注意力旨在强调实体级表示中最近出现的项目。我们进一步使用预训练的巴特来初始化生成模块，以减轻数据稀缺性并增强上下文建模。除了在流行数据集（REDIAIL）上进行实验外，我们还包括一个多域数据集（OpenDialKg）来显示我们模型的有效性。两个数据集的实验都表明，我们的模型在大多数评估指标上都具有更好的性能，其外部知识较少，并且可以很好地推广到其他领域。对建议和生成任务的其他分析证明了我们在不同情况下模型的有效性。

最近，在自动开放域对话框评估中应用预先接受训练的语言模型（PR-LM），有兴趣的兴趣。PR-LMS提供了满足多域评估挑战的有希望的方向。然而，不同PR-LMS对自动度量的性能的影响是不太理解的。本文审查了8种不同的PRM，并研究了三种不同对话评估基准的三种典型自动对话对话指标的影响。具体而言，我们分析PR-LMS的选择如何影响自动度量的性能。执行对每个度量的广泛相关分析以评估不同PR-LMS沿各种轴的影响，包括预训练目标，对话对话标准，模型规模和跨数据集鲁棒性。本研究有助于第一次全面评估不同PR-LMS对自动对话评估的影响。

知识驱动的对话世代最近取得了非凡的突破。与一般的对话系统相比，卓越的知识对话系统可以通过预先提供的知识产生更多信息和知识渊博的响应。但是，在实际应用中，对话系统无法事先提供相应的知识。为了解决该问题，我们设计了一个名为DRKQG的知识驱动的对话系统（\ emph {通过查询生成动态检索知识，以获取信息性对话响应}）。具体而言，系统可以分为两个模块：查询生成模块和对话生成模块。首先，利用时间感知机制来捕获上下文信息，并可以生成查询以检索知识。然后，我们集成了复制机制和变压器，该机制允许响应生成模块产生从上下文和检索知识中得出的响应。 LIC2022，语言和情报技术竞赛的实验结果表明，我们的模块在自动评估指标上的大幅度优于基线模型，而BAIDU语言学团队的人类评估表明，我们的系统在事实上取得了令人印象深刻的结果，实际上是正确的，知识渊博。

本文对过去二十年来对自然语言生成（NLG）的研究提供了全面的审查，特别是与数据到文本生成和文本到文本生成深度学习方法有关，以及NLG的新应用技术。该调查旨在（a）给出关于NLG核心任务的最新综合，以及该领域采用的建筑;（b）详细介绍各种NLG任务和数据集，并提请注意NLG评估中的挑战，专注于不同的评估方法及其关系;（c）强调一些未来的强调和相对近期的研究问题，因为NLG和其他人工智能领域的协同作用而增加，例如计算机视觉，文本和计算创造力。

Crosstalk是一种传统的中国戏剧表演艺术。它通常由两个表演者以对话的形式执行。凭借对话的典型特征，串扰也被设计为有趣的观众。在这项研究中，我们介绍了Crossdial，这是第一个开源数据集，其中包含来自网络上最经典的中国串扰。此外，我们定义了两个新任务，提供了两个基准，并研究了当前的对话生成模型在串扰生成领域的能力。实验结果和案例研究表明，串扰的生成对于直接方法来说是具有挑战性的，并且仍然是未来工作的有趣主题。

在本文中，我们建议利用对话的独特特征，共享参与者的常识性知识，以解决总结它们的困难。我们提出了病态的框架，该框架使用常识推论作为其他背景。与以前仅依赖于输入对话的工作相比，Sick使用外部知识模型来生成丰富的常识推断，并选择具有基于相似性选择方法的最可能的推理。基于生病的，病人++的理解为监督，在总结多任务学习环境中的对话时，添加了产生常识推断的任务。实验结果表明，通过注入常识性知识，我们的框架比现有方法产生更多信息和一致的摘要。

医学对话生成是一项重要但具有挑战性的任务。以前的大多数作品都依赖于注意力机制和大规模预处理的语言模型。但是，这些方法通常无法从长时间的对话历史中获取关键信息，从而产生准确和信息丰富的响应，因为医疗实体通常散布在多种话语中以及它们之间的复杂关系。为了减轻此问题，我们提出了一个具有关键信息召回（Medpir）的医疗响应生成模型，该模型建立在两个组件上，即知识吸引的对话图形编码器和召回增强的生成器。知识吸引的对话图编码器通过利用话语中的实体之间的知识关系，并使用图形注意力网络对话图来构建对话图。然后，召回增强的发电机通过在产生实际响应之前生成对话的摘要来增强这些关键信息的使用。两个大型医学对话数据集的实验结果表明，Medpir在BLEU分数和医疗实体F1度量中的表现优于强大的基准。

在本文中，我们介绍了基于大型预训练的语言模型（PLM）pangu-alpha（Zeng等，2021）的中国预训练的开放域对话生成模型。与其他对大量对话数据进行培训的预训练的对话模型不同，我们旨在通过继承PLM的有价值的语言能力和知识来构建强大的对话模型，并以相对较少的数据和计算成本构建强大的对话模型。为此，我们训练大型PLM Pangu-Alpha的Pangu-bot，该机器人已被证明在各种中国自然语言任务上表现出色。我们研究了pangu-bot产生的响应的不同方面，包括响应质量，知识和安全性。我们表明，Pangu-Bot优于最先进的中国对话系统（CDIALGPT（Wang等，2020），Eva（Zhou等，2021），EVA2.0（Gu等，2022）） W.R.T.以上三个方面。我们还证明，可以轻松地部署pangu-bot，以在没有进一步训练的情况下产生情感反应。在整个经验分析中，我们还指出，Pangu-bot响应质量，知识正确性和安全性仍然远非完美，进一步的探索对于建立可靠且智能的对话系统是必不可少的。我们的型号和代码将在https://github.com/huawei-noah/pretretaining-language-model/tree/master/master/pangu-bot上提供。

对话是人类沟通与合作的重要组成部分。现有研究主要关注一对一时尚的短对话情景。然而，现实世界中的多人互动，例如会议或访谈，经常超过几千个字。仍然缺乏相应的研究和强大的工具来了解和处理这么长的对话。因此，在这项工作中，我们为长时间对话理解和总结提供了预先培训框架。考虑到长期交谈的性质，我们提出了一种基于窗口的去噪方法，用于生成预训练。对于对话框，它损坏了一个带有对话激发灵感噪声的文本窗口，并指导模型基于剩余对话的内容来重建此窗口。此外，为了更长的输入，我们增加了稀疏关注模型，这些模型以混合方式与传统的关注相结合。我们在长对话的五个数据集进行广泛的实验，涵盖对话摘要的任务，抽象问题回答和主题分割。实验，我们表明，我们的预先训练的模型DialogLM显着超越了数据集和任务的最先进的模型。我们的GitHub存储库（HTTPS:/github.com/microsoft/dialoglm上有源代码和所有预先训练的型号。

人类通常通过利用关于他们正在交谈的人的主题和背景信息的先验知识来进行对话。然而，现有的会话代理和数据集不考虑此类综合信息，因此它们有一个限制生成知识和人格正确融合的话语。为解决此问题，我们介绍了一个呼叫进行定制对话（焦点）数据集，其中包括用户的角色和维基百科知识建立了自定义答案。为了评估预先训练的语言模型的信息和定制话语的能力，我们利用BART和GPT-2以及基于变压器的模型。我们评估了他们的生成能力，自动分数并对人类评估进行定性结果。我们仔细检查模型是否反映了我们提出的两个子任务，人物接地（PG）和知识接地（KG）的充分人物和知识。此外，我们表明我们的数据的话语通过接地质量评估来构建具有正确的知识和角色。

Despite the rapid progress of open-domain generation-based conversational agents, most deployed systems treat dialogue contexts as single-turns, while systems dealing with multi-turn contexts are less studied. There is a lack of a reliable metric for evaluating multi-turn modelling, as well as an effective solution for improving it. In this paper, we focus on an essential component of multi-turn generation-based conversational agents: context attention distribution, i.e. how systems distribute their attention on dialogue's context. For evaluation of this component, We introduce a novel attention-mechanism-based metric: DAS ratio. To improve performance on this component, we propose an optimization strategy that employs self-contained distractions. Our experiments on the Ubuntu chatlogs dataset show that models with comparable perplexity can be distinguished by their ability on context attention distribution. Our proposed optimization strategy improves both non-hierarchical and hierarchical models on the proposed metric by about 10% from baselines.

To alleviate the problem of structured databases' limited coverage, recent task-oriented dialogue systems incorporate external unstructured knowledge to guide the generation of system responses. However, these usually use word or sentence level similarities to detect the relevant knowledge context, which only partially capture the topical level relevance. In this paper, we examine how to better integrate topical information in knowledge grounded task-oriented dialogue and propose ``Topic-Aware Response Generation'' (TARG), an end-to-end response generation model. TARG incorporates multiple topic-aware attention mechanisms to derive the importance weighting scheme over dialogue utterances and external knowledge sources towards a better understanding of the dialogue history. Experimental results indicate that TARG achieves state-of-the-art performance in knowledge selection and response generation, outperforming previous state-of-the-art by 3.2, 3.6, and 4.2 points in EM, F1 and BLEU-4 respectively on Doc2Dial, and performing comparably with previous work on DSTC9; both being knowledge-grounded task-oriented dialogue datasets.