没有一致响应的对话系统并不令人着迷。在这项研究中，我们建立了一个对话系统，可以根据给定的角色设置（角色）响应以带来一致性。考虑到语言模型迅速增加的趋势，我们提出了一种使用迅速调整的方法，该方法在预训练的大规模语言模型上使用了低学习成本。英语和日语中自动和手动评估的结果表明，可以使用比微调更少的计算资源来构建具有更自然和个性化响应的对话系统。

预先接受的语言模型（PLM）在神经对话建模中标志着巨大的飞跃。虽然PLMS在大型文本语料库上进行预先培训，但通常在具有特定领域知识和对话风格的稀缺对话数据上进行微调。然而，在大型预先训练模型中充分利用现有知识的同时定制语言模型仍然是一个挑战。在本文中，我们提出了一种预先接受训练的对话建模的新方法，将对话生成问题作为一个快速学习任务。而不是在有限的对话数据上进行微调，我们的方法，DialogPrompt学习针对对话背景优化的连续提示嵌入，从而从大型预训练模型中促进了知识。为了鼓励模型更好地利用提示嵌入，提示编码器被设计为在输入对话框上下文中的条件。流行对话数据集的实验表明，我们的方法显着优于微调基线和通用及时学习方法。此外，人类评估强烈支持对DialialPrompt的优越性在响应生成质量方面。

在本文中，我们介绍了基于大型预训练的语言模型（PLM）pangu-alpha（Zeng等，2021）的中国预训练的开放域对话生成模型。与其他对大量对话数据进行培训的预训练的对话模型不同，我们旨在通过继承PLM的有价值的语言能力和知识来构建强大的对话模型，并以相对较少的数据和计算成本构建强大的对话模型。为此，我们训练大型PLM Pangu-Alpha的Pangu-bot，该机器人已被证明在各种中国自然语言任务上表现出色。我们研究了pangu-bot产生的响应的不同方面，包括响应质量，知识和安全性。我们表明，Pangu-Bot优于最先进的中国对话系统（CDIALGPT（Wang等，2020），Eva（Zhou等，2021），EVA2.0（Gu等，2022）） W.R.T.以上三个方面。我们还证明，可以轻松地部署pangu-bot，以在没有进一步训练的情况下产生情感反应。在整个经验分析中，我们还指出，Pangu-bot响应质量，知识正确性和安全性仍然远非完美，进一步的探索对于建立可靠且智能的对话系统是必不可少的。我们的型号和代码将在https://github.com/huawei-noah/pretretaining-language-model/tree/master/master/pangu-bot上提供。

重复是一种反应，可以在对话中重复上一位演讲者的话语中的单词。如语言研究所述，重复对于与他人建立信任至关重要。在这项工作中，我们专注于重复生成。据我们所知，这是解决重复产生的第一种神经方法。我们提出了加权标签平滑，一种平滑方法，用于明确学习在微调过程中重复哪些单词，以及一种重复评分方法，可以在解码过程中输出更合适的重复。我们进行了自动和人类评估，涉及将这些方法应用于预先训练的语言模型T5来产生重复。实验结果表明，我们的方法在两种评估中都超过了基线。

我们的目标是克服当前对话系统的响应中缺乏多样性，并开发作为对话伙伴的对话系统。我们提出了一个生成器评估器模型，该模型评估了响应生成器生成的多个响应，并选择了评估器的最佳响应。通过产生多个响应，我们获得了多种响应。我们进行人体评估，将提议系统的输出与基线系统的输出进行比较。人类评估的结果表明，拟议系统的响应通常被认为比基线系统更好，并指出了拟议方法的有效性。

许多文献表明，基于及时的学习是使用大型预训练的语言模型的有效方法。最近的作品还展示了通过插入适当的提示来指导聊天机器人输出的可能性。基于梯度的方法通常用于扰动提示。但是，某些语言模型甚至无法为公众提供。在这项工作中，我们首先探讨了提示和加强学习（RL）与转向模型的生成的组合，而无需访问任何模型的参数。其次，为了减少培训工作并增强对看不见的任务的普遍性，我们应用多任务学习以使模型学会更好地对新任务进行推广。实验结果表明，我们提出的方法可以成功控制几个最新的（SOTA）对话模型，而无需访问其参数。此外，该模型证明了与基线模型更少的步骤快速适应看不见的任务的强大能力。

近年来，对话系统引起了学术界和工业的重要兴趣。特别是开放式对话系统的纪律，又名聊天，已经获得了很大的势头。然而，困扰研究人员的长期挑战是缺乏有效的自动评估指标，这导致目前研究中的障碍。评估开放式对话模型表现的常见做法涉及对最终部署模型的广泛人类评估，这是时间和成本密集的。此外，最近建立开放式聊天聊天的趋势涉及具有大量社交媒体对话数据的预训练对话模型。但是，社交媒体对话中包含的信息可能是令人反感的和不合适的。不分青红皂白种的使用可能导致不敏感和有毒的生成模型。本文介绍了对话系统技术挑战10（DSTC10）的轨道5获得的数据，基线和结果。

We present a large, tunable neural conversational response generation model, DIALOGPT (dialogue generative pre-trained transformer). Trained on 147M conversation-like exchanges extracted from Reddit comment chains over a period spanning from 2005 through 2017, DialoGPT extends the Hugging Face PyTorch transformer to attain a performance close to human both in terms of automatic and human evaluation in single-turn dialogue settings. We show that conversational systems that leverage DialoGPT generate more relevant, contentful and context-consistent responses than strong baseline systems. The pre-trained model and training pipeline are publicly released to facilitate research into neural response generation and the development of more intelligent opendomain dialogue systems.

We have a Christmas gift for Harry Potter fans all over the world. In this paper, we present Harry Potter Dialogue (HPD), a dataset that helps train Harry Potter-like dialogue agents. Such a task is typically viewed as a variant of personalized dialogue agents, but they differ significantly in three respects: 1) Harry lived in a virtual world of wizards, thus, real-world commonsense may not apply to Harry's conversations; 2) Harry's behavior is strongly linked to background information in conversations: the scene, its attributes and its relationship to other speakers; and 3) Such backgrounds are dynamically altered as the storyline goes on. The HPD dataset, as the first dataset to facilitate the study of dialogue agent construction for characters within a story, provides rich contextual information about each dialogue session such as scenes, character attributes, and relations. More importantly, all the background information will change over the course of the story. In addition, HPD could support both dialogue generation and retrieval tasks. We evaluate baselines such as Dialog-GPT and BOB to determine the extent to which they can generate Harry Potter-like responses. The experimental results disappoint us in that although the generated responses are fluent, they still seem out of character for Harry. Besides, we validate the current most robust dialogue agent, ChatGPT, which also can't generate plausible Harry-Potter-like responses in some cases, either. Our results suggest that there is much scope for future research.

语言是人类交流的主要工具，其中幽默是最有吸引力的部分之一。使用计算机，又称自然语言生成（NLG）的人类产生自然语言，已广泛用于对话系统，聊天机器人，机器翻译以及计算机AID创建，例如Idea Generations，剧本。但是，自然语言的幽默方面相对不足，尤其是在预训练的语言模型时代。在这项工作中，我们旨在初步测试NLG是否可以像人类一样产生幽默。我们构建了一个新的数据集，该数据集由众多数字化的中国可笑的串扰脚本（称为c $^3 $简称），该脚本适用于1800年代以来名为“ Xiangsheng”的流行中国表演艺术。 （为了方便非中国扬声器，我们在本文中称为“ Xiangsheng”的“ Crosstalk”。）我们基准了各种一代方法，包括训练seq2seq，微调中级PLMS和大型PLMS（大型PLMS）（有无微调）。此外，我们还进行了人类评估，表明1）大规模预处理在很大程度上提高了串扰的产生质量； 2）即使是从最佳PLM产生的脚本也远非我们的期望，只有65％的人类创建的串扰质量。我们得出结论，使用大型PLM可以在很大程度上改善幽默的产生，但仍处于起步阶段。 \ url {https://github.com/anonno2/crosstalk-generation}公开可用数据和基准代码。

We present SODA: the first publicly available, million-scale high-quality social dialogue dataset. Using SODA, we train COSMO: a generalizable conversation agent outperforming previous best-performing agents on both in- and out-of-domain datasets. In contrast to most existing crowdsourced, small-scale dialogue corpora, we distill 1.5M socially-grounded dialogues from a pre-trained language model (InstructGPT; Ouyang et al., 2022). Dialogues are distilled by contextualizing social commonsense knowledge from a knowledge graph (Atomic10x; West et al., 2022). Human evaluation shows that dialogues in SODA are more consistent, specific, and (surprisingly) natural than prior human-authored datasets - e.g., DailyDialog (Li et al., 2017), BlendedSkillTalk (Smith et al., 2020). In addition, extensive evaluations show that COSMO is significantly more natural and consistent on unseen datasets than best-performing dialogue models - e.g., GODEL (Peng et al., 2022), BlenderBot (Roller et al., 2021), DialoGPT (Zhang et al., 2020). Furthermore, it is sometimes even preferred to the original human-written gold responses. We make our data, models, and code public.

对话模型面临一个困难的权衡。对模型进行了大量文本培训，但是他们的响应需要仅限于对话框的所需范围和样式。由于用于实现前者包含与后者不兼容的语言的数据集，因此在较小的策划数据集上对预训练的对话框模型进行了微调。但是，微调过程剥夺了他们产生多种反应的能力，最终将他们降低到乏味的对话伙伴。在本文中，我们调查提示是否可以减轻上述权衡。具体来说，我们试验了在查询上调节提示，而不是训练所有查询的单个提示。通过遵循直觉，即冻结预训练的语言模型将保持其表现力，我们发现与微调相比，提示可以达到更高的BLEU得分，并显着改善了响应的多样性和新颖性。

真实的人类对话数据是复杂，异质和嘈杂的，从该数据中构建开放域对话系统仍然是一项艰巨的任务。实际上，此类对话数据仍然包含大量信息和知识，但是，它们没有得到充分探索。在本文中，我们展示了现有的开放域对话生成方法，这些方法记住上下文响应配对的数据，并使用自动回归或编码模型模型不利于培训数据。与当前的方法不同，使用外部知识，我们探索了一个检索生成培训框架，该培训框架可以通过将它们视为“证据”来利用异质和嘈杂的培训数据。特别是，我们使用Bertscore进行检索，这给出了证据和一代的更好品质。公开可用数据集的实验表明，我们的方法可以帮助模型产生更好的响应，即使此类培训数据通常会留下深刻的印象为低质量数据。这种性能增益与通过扩大训练组更好的改进的绩效增益相当，甚至更好。我们还发现，模型性能与检索到的证据的相关性有正相关。此外，我们的方法在零拍实验上表现良好，这表明我们的方法对现实世界数据可能更强大。

这项工作结合了有关预先训练模型编码的对话历史的信息，其含义表示当前系统话语，以实现面向任务对话中的语境语言生成。我们利用预先训练的多上下文转换模型进行从头开始培训的模型中的上下文表示;并利用从预训练的GPT-2调整的模型中的上下文生成的立即使用前面的用户话语。与多种数据集的两个实验表明，通过预先训练的模型编码的上下文信息可提高自动指标和人类评估中的响应生成的性能。我们所呈现的上下文发电机使得更高种类的响应能够更好地适应正在进行的对话。分析上下文大小显示，较长的上下文不会自动导致更好的性能，但是前面的用户话语的直接对上下文生成起着重要作用。此外，我们还提出了一种基于GPT的生成模型的重新排名。实验表明，RE-Ranker选择的响应对自动度量有重大改进。

Due to the lack of human resources for mental health support, there is an increasing demand for employing conversational agents for support. Recent work has demonstrated the effectiveness of dialogue models in providing emotional support. As previous studies have demonstrated that seekers' persona is an important factor for effective support, we investigate whether there are benefits to modeling such information in dialogue models for support. In this paper, our empirical analysis verifies that persona has an important impact on emotional support. Therefore, we propose a framework for dynamically inferring and modeling seekers' persona. We first train a model for inferring the seeker's persona from the conversation history. Accordingly, we propose PAL, a model that leverages persona information and, in conjunction with our strategy-based controllable generation method, provides personalized emotional support. Automatic and manual evaluations demonstrate that our proposed model, PAL, achieves state-of-the-art results, outperforming the baselines on the studied benchmark. Our code and data are publicly available at https://github.com/chengjl19/PAL.

Knowledge-grounded dialogue systems powered by large language models often generate responses that, while fluent, are not attributable to a relevant source of information. Progress towards models that do not exhibit this issue requires evaluation metrics that can quantify its prevalence. To this end, we introduce the Benchmark for Evaluation of Grounded INteraction (BEGIN), comprised of 12k dialogue turns generated by neural dialogue systems trained on three knowledgegrounded dialogue corpora. We collect human annotations assessing the extent to which the models' responses can be attributed to the given background information. We then use BEGIN to analyze eight evaluation metrics. We find that these metrics rely on spurious correlations, do not reliably distinguish attributable abstractive responses from unattributable ones, and perform substantially worse when the knowledge source is longer. Our findings underscore the need for more sophisticated and robust evaluation metrics for knowledge-grounded dialogue. We make BEGIN publicly available at https://github.com/ google/BEGIN-dataset.

在零拍摄的情况下建立对话的生成系统仍然是一个巨大的挑战，因为对话生成中典型的零击方法很大程度上取决于大规模的预训练的语言生成模型，例如GPT-3和T5。由于缺乏相应的平行对话COLIDA，对无繁琐语言模型的零摄像对话生成的研究受到限制。在本文中，我们提出了一个简单但有效的多语言学习框架，用于零拍对对话（称为mulzdg），该框架可以有效地将知识从带有大规模培训样本的英语语料库转移到具有零样本的非英语语料库。此外，MulzDG可以被视为一种多语言数据增强方法，以提高资源丰富的语言的性能。首先，我们通过从单语英文数据集随机选择的翻译说法来构建多语言代码转换对话数据集。然后，我们使用MulzDG来培训基于代码转换数据集的统一的多语言对话模型。 mulzdg可以在不同语言之间进行隐性的语义一致性。关于DailyDialog和DSTC7数据集的实验表明，与有足够示例的培训相比，MulzDG不仅在零击中的情况下实现竞争性能，而且还可以大大提高源语言的性能。

Chatbots are expected to be knowledgeable across multiple domains, e.g. for daily chit-chat, exchange of information, and grounding in emotional situations. To effectively measure the quality of such conversational agents, a model-based automatic dialogue evaluation metric (ADEM) is expected to perform well across multiple domains. Despite significant progress, an ADEM that works well in one domain does not necessarily generalize to another. This calls for a dedicated network architecture for domain generalization. To tackle the multi-domain dialogue evaluation task, we propose a Panel of Experts (PoE), a multitask network that consists of a shared transformer encoder and a collection of lightweight adapters. The shared encoder captures the general knowledge of dialogues across domains, while each adapter specializes in one specific domain and serves as a domain expert. To validate the idea, we construct a high-quality multi-domain dialogue dataset leveraging data augmentation and pseudo-labeling. The PoE network is comprehensively assessed on 16 dialogue evaluation datasets spanning a wide range of dialogue domains. It achieves state-of-the-art performance in terms of mean Spearman correlation over all the evaluation datasets. It exhibits better zero-shot generalization than existing state-of-the-art ADEMs and the ability to easily adapt to new domains with few-shot transfer learning.

Personalized chatbots focus on endowing the chatbots with a consistent personality to behave like real users and further act as personal assistants. Previous studies have explored generating implicit user profiles from the user's dialogue history for building personalized chatbots. However, these studies only use the response generation loss to train the entire model, thus it is prone to suffer from the problem of data sparsity. Besides, they overemphasize the final generated response's quality while ignoring the correlations and fusions between the user's dialogue history, leading to rough data representations and performance degradation. To tackle these problems, we propose a self-supervised learning framework MCP for capturing better representations from users' dialogue history for personalized chatbots. Specifically, we apply contrastive sampling methods to leverage the supervised signals hidden in user dialog history, and generate the pre-training samples for enhancing the model. We design three pre-training tasks based on three types of contrastive pairs from user dialogue history, namely response pairs, sequence augmentation pairs, and user pairs. We pre-train the utterance encoder and the history encoder towards the contrastive objectives and use these pre-trained encoders for generating user profiles while personalized response generation. Experimental results on two real-world datasets show a significant improvement in our proposed model MCP compared with the existing methods.

在本文中，我们建议将面向任务导向的对话系统作为纯粹的自然语言生成任务，以便充分利用像GPT-2这样的大规模预训练模型，并简化了复杂的光学化预备。然而，直接应用这种方法严重遭受了通过删除了替代令牌而导致的对话实体不一致，以及在微调期间灾害模型的灾难性遗忘问题，导致表现不令人满意。为了缓解这些问题，我们设计了一种新颖的GPT-Adapter-CopyNet网络，它将轻量级适配器和CopyNet模块包含到GPT-2中，以实现转移学习和对话实体生成的更好性能。在DSTC8轨道1基准和多种数据集上进行的实验结果表明，我们的建议方法显着优于基线模型，在自动和人类评估中具有显着性能。