We have a Christmas gift for Harry Potter fans all over the world. In this paper, we present Harry Potter Dialogue (HPD), a dataset that helps train Harry Potter-like dialogue agents. Such a task is typically viewed as a variant of personalized dialogue agents, but they differ significantly in three respects: 1) Harry lived in a virtual world of wizards, thus, real-world commonsense may not apply to Harry's conversations; 2) Harry's behavior is strongly linked to background information in conversations: the scene, its attributes and its relationship to other speakers; and 3) Such backgrounds are dynamically altered as the storyline goes on. The HPD dataset, as the first dataset to facilitate the study of dialogue agent construction for characters within a story, provides rich contextual information about each dialogue session such as scenes, character attributes, and relations. More importantly, all the background information will change over the course of the story. In addition, HPD could support both dialogue generation and retrieval tasks. We evaluate baselines such as Dialog-GPT and BOB to determine the extent to which they can generate Harry Potter-like responses. The experimental results disappoint us in that although the generated responses are fluent, they still seem out of character for Harry. Besides, we validate the current most robust dialogue agent, ChatGPT, which also can't generate plausible Harry-Potter-like responses in some cases, either. Our results suggest that there is much scope for future research.

许多古典童话，小说和剧本都利用对话来推进故事情节并建立角色。我们提出了第一个研究，以探索机器是否可以理解和产生故事中的对话，这需要捕获不同角色的特征及其之间的关系。为此，我们提出了两项​​新任务，包括蒙版对话生成和对话演讲者的认可，即分别产生对话转弯和预测说话者的指定对话转弯。我们构建了一个新的数据集拨号故事，该数据集由105K中国故事组成，其中包含大量对话，以支持评估。我们通过对拨号故事进行自动和手动评估测试现有模型来显示提出的任务的困难。此外，我们建议学习明确的角色表示，以提高这些任务的绩效。广泛的实验和案例研究表明，我们的方法可以产生更连贯和信息丰富的对话，并获得比强基础更高的说话者识别精度。

We present SODA: the first publicly available, million-scale high-quality social dialogue dataset. Using SODA, we train COSMO: a generalizable conversation agent outperforming previous best-performing agents on both in- and out-of-domain datasets. In contrast to most existing crowdsourced, small-scale dialogue corpora, we distill 1.5M socially-grounded dialogues from a pre-trained language model (InstructGPT; Ouyang et al., 2022). Dialogues are distilled by contextualizing social commonsense knowledge from a knowledge graph (Atomic10x; West et al., 2022). Human evaluation shows that dialogues in SODA are more consistent, specific, and (surprisingly) natural than prior human-authored datasets - e.g., DailyDialog (Li et al., 2017), BlendedSkillTalk (Smith et al., 2020). In addition, extensive evaluations show that COSMO is significantly more natural and consistent on unseen datasets than best-performing dialogue models - e.g., GODEL (Peng et al., 2022), BlenderBot (Roller et al., 2021), DialoGPT (Zhang et al., 2020). Furthermore, it is sometimes even preferred to the original human-written gold responses. We make our data, models, and code public.

在本文中，我们介绍了基于大型预训练的语言模型（PLM）pangu-alpha（Zeng等，2021）的中国预训练的开放域对话生成模型。与其他对大量对话数据进行培训的预训练的对话模型不同，我们旨在通过继承PLM的有价值的语言能力和知识来构建强大的对话模型，并以相对较少的数据和计算成本构建强大的对话模型。为此，我们训练大型PLM Pangu-Alpha的Pangu-bot，该机器人已被证明在各种中国自然语言任务上表现出色。我们研究了pangu-bot产生的响应的不同方面，包括响应质量，知识和安全性。我们表明，Pangu-Bot优于最先进的中国对话系统（CDIALGPT（Wang等，2020），Eva（Zhou等，2021），EVA2.0（Gu等，2022）） W.R.T.以上三个方面。我们还证明，可以轻松地部署pangu-bot，以在没有进一步训练的情况下产生情感反应。在整个经验分析中，我们还指出，Pangu-bot响应质量，知识正确性和安全性仍然远非完美，进一步的探索对于建立可靠且智能的对话系统是必不可少的。我们的型号和代码将在https://github.com/huawei-noah/pretretaining-language-model/tree/master/master/pangu-bot上提供。

生成的开放域对话系统可以从外部知识中受益，但是缺乏外部知识资源和寻找相关知识的困难限制了该技术的发展。为此，我们使用动态服务信息提出了一个知识驱动的对话任务。具体而言，我们使用大量的服务API，可以作为外部知识来源提供高覆盖范围和时空敏感性。对话系统生成查询以请求外部服务以及用户信息，获取相关知识，并基于此知识生成响应。为了实现此方法，我们收集并发布了第一个开放式域中国服务知识对话数据集Dusinc。同时，我们构建了一个基线模型柏拉图 - 线，该模型实现了对话的自动利用。自动评估和人类评估都表明，我们提出的新方法可以显着改善开放域对话的效果，并且与对话预培训模型Plato-2相比，人类评估中的会话级总数提高了59.29％。数据集和基准模型将被开源。

以一致的性格赋予聊天机器人对于代理商提供类似人类互动的作用至关重要。但是，现有的个性化方法通常会根据用文本描述描绘的静态预定义角色产生响应，这可能严重限制了人类和聊天机器人的互动性，尤其是当代理人需要回答预定义角色中排除的查询时，这是如此 - 被称为预先定义的角色问题（以简单性为OOP）。为了减轻问题，在本文中，我们提出了一个新颖的检索到预测范式，该范式由两个子组件组成，即（1）角色检索模型（PRM），它根据自然语言推论从全球收藏中检索角色（ NLI）模型，推断的角色与预定义的角色一致； （2）后验变压器（PS-Transformer）采用角色后部分布，进一步考虑了地面响应中使用的实际角色，从而最大程度地减轻了训练和推断之间的差距。此外，我们提出了一个名为IT-Convai2的数据集，该数据集首先突出了个性化对话中的OOP问题。对IT-Convai2和Convai2的广泛实验表明，我们提出的模型在自动指标和人类评估方面都有显着改善。

The goal of building dialogue agents that can converse with humans naturally has been a long-standing dream of researchers since the early days of artificial intelligence. The well-known Turing Test proposed to judge the ultimate validity of an artificial intelligence agent on the indistinguishability of its dialogues from humans'. It should come as no surprise that human-level dialogue systems are very challenging to build. But, while early effort on rule-based systems found limited success, the emergence of deep learning enabled great advance on this topic. In this thesis, we focus on methods that address the numerous issues that have been imposing the gap between artificial conversational agents and human-level interlocutors. These methods were proposed and experimented with in ways that were inspired by general state-of-the-art AI methodologies. But they also targeted the characteristics that dialogue systems possess.

语言是人类交流的主要工具，其中幽默是最有吸引力的部分之一。使用计算机，又称自然语言生成（NLG）的人类产生自然语言，已广泛用于对话系统，聊天机器人，机器翻译以及计算机AID创建，例如Idea Generations，剧本。但是，自然语言的幽默方面相对不足，尤其是在预训练的语言模型时代。在这项工作中，我们旨在初步测试NLG是否可以像人类一样产生幽默。我们构建了一个新的数据集，该数据集由众多数字化的中国可笑的串扰脚本（称为c $^3 $简称），该脚本适用于1800年代以来名为“ Xiangsheng”的流行中国表演艺术。 （为了方便非中国扬声器，我们在本文中称为“ Xiangsheng”的“ Crosstalk”。）我们基准了各种一代方法，包括训练seq2seq，微调中级PLMS和大型PLMS（大型PLMS）（有无微调）。此外，我们还进行了人类评估，表明1）大规模预处理在很大程度上提高了串扰的产生质量； 2）即使是从最佳PLM产生的脚本也远非我们的期望，只有65％的人类创建的串扰质量。我们得出结论，使用大型PLM可以在很大程度上改善幽默的产生，但仍处于起步阶段。 \ url {https://github.com/anonno2/crosstalk-generation}公开可用数据和基准代码。

近年来，对话系统引起了学术界和工业的重要兴趣。特别是开放式对话系统的纪律，又名聊天，已经获得了很大的势头。然而，困扰研究人员的长期挑战是缺乏有效的自动评估指标，这导致目前研究中的障碍。评估开放式对话模型表现的常见做法涉及对最终部署模型的广泛人类评估，这是时间和成本密集的。此外，最近建立开放式聊天聊天的趋势涉及具有大量社交媒体对话数据的预训练对话模型。但是，社交媒体对话中包含的信息可能是令人反感的和不合适的。不分青红皂白种的使用可能导致不敏感和有毒的生成模型。本文介绍了对话系统技术挑战10（DSTC10）的轨道5获得的数据，基线和结果。

Due to the lack of human resources for mental health support, there is an increasing demand for employing conversational agents for support. Recent work has demonstrated the effectiveness of dialogue models in providing emotional support. As previous studies have demonstrated that seekers' persona is an important factor for effective support, we investigate whether there are benefits to modeling such information in dialogue models for support. In this paper, our empirical analysis verifies that persona has an important impact on emotional support. Therefore, we propose a framework for dynamically inferring and modeling seekers' persona. We first train a model for inferring the seeker's persona from the conversation history. Accordingly, we propose PAL, a model that leverages persona information and, in conjunction with our strategy-based controllable generation method, provides personalized emotional support. Automatic and manual evaluations demonstrate that our proposed model, PAL, achieves state-of-the-art results, outperforming the baselines on the studied benchmark. Our code and data are publicly available at https://github.com/chengjl19/PAL.

对于谈话的AI和虚拟助手以现实的方式与人类沟通，他们必须表现出人类特征，例如情感和个性的表达。目前对构建人类对话剂的尝试呈现出显着的困难。我们提出基于Tropes的人为水平属性（HLA）作为学习对话代理的方法，这些方法可以模仿虚构人物的个性。 Tropes是由观察员的次要观察和确定的虚构个性的特征。通过将详细的HLA数据与特定字符的对话数据组合，我们提供了一个数据集，HLA-Chat，模型字符配置文件，并提供对话代理通过HLA学习角色语言样式的能力。然后，我们介绍了一个三组件系统，Aloha（代表人工学习人为学习），它结合了字符空间映射，角色社区检测和语言样式检索，以构建特定字符（或个性）特定语言模型。我们的初步实验表明Aloha的两种变化与我们提出的数据集相结合，可以在识别所选择的目标字符的正确对话响应时占据基线模型，并且无论字符的身份，节目类型如何，都是稳定的对话。

没有一致响应的对话系统并不令人着迷。在这项研究中，我们建立了一个对话系统，可以根据给定的角色设置（角色）响应以带来一致性。考虑到语言模型迅速增加的趋势，我们提出了一种使用迅速调整的方法，该方法在预训练的大规模语言模型上使用了低学习成本。英语和日语中自动和手动评估的结果表明，可以使用比微调更少的计算资源来构建具有更自然和个性化响应的对话系统。

我们提出了一个开放域的社交聊天机器人Chirpy Cardinal。为了既有信息又有信息，我们的机器人以一种真实的，情感上的方式与用户聊天。通过将受控的神经产生与脚手架，手写的对话整合在一起，我们让用户和机器人都轮流推动对话，从而产生引人入胜且流利的体验。Chirpy Cardinal部署在Alexa奖Socialbot Grand Challenge的第四次迭代中，每天处理数千次对话，在9个机器人中排名第二，平均用户评级为3.58/5。

我们提出了Blenderbot 3，这是一个175B参数对话模型，能够通过访问Internet和长期内存进行开放域对话，并接受了大量用户定义的任务的培训。我们同时发布了模型权重和代码，还将模型部署在公共网页上，以与有机用户进行交互。该技术报告描述了该模型的构建方式（建筑，模型和培训计划）以及其部署的细节，包括安全机制。人类评估表明，它优于现有的开放域对话代理，包括其前身（Roller等，2021； Komeili等，2022）。最后，我们使用部署收集的数据详细介绍了持续学习的计划，该数据也将公开发布。因此，该研究计划的目标是使社区能够研究通过互动学习的不断改进的负责任的代理商。

Crosstalk是一种传统的中国戏剧表演艺术。它通常由两个表演者以对话的形式执行。凭借对话的典型特征，串扰也被设计为有趣的观众。在这项研究中，我们介绍了Crossdial，这是第一个开源数据集，其中包含来自网络上最经典的中国串扰。此外，我们定义了两个新任务，提供了两个基准，并研究了当前的对话生成模型在串扰生成领域的能力。实验结果和案例研究表明，串扰的生成对于直接方法来说是具有挑战性的，并且仍然是未来工作的有趣主题。

Natural Language Generation (NLG) has improved exponentially in recent years thanks to the development of sequence-to-sequence deep learning technologies such as Transformer-based language models. This advancement has led to more fluent and coherent NLG, leading to improved development in downstream tasks such as abstractive summarization, dialogue generation and data-to-text generation. However, it is also apparent that deep learning based generation is prone to hallucinate unintended text, which degrades the system performance and fails to meet user expectations in many real-world scenarios. To address this issue, many studies have been presented in measuring and mitigating hallucinated texts, but these have never been reviewed in a comprehensive manner before. In this survey, we thus provide a broad overview of the research progress and challenges in the hallucination problem in NLG. The survey is organized into two parts: (1) a general overview of metrics, mitigation methods, and future directions; and (2) an overview of task-specific research progress on hallucinations in the following downstream tasks, namely abstractive summarization, dialogue generation, generative question answering, data-to-text generation, machine translation, and visual-language generation. This survey serves to facilitate collaborative efforts among researchers in tackling the challenge of hallucinated texts in NLG.

在语言处理的神经方法上的最新进展引发了人们对建立智能开放域聊天机器人的兴趣的复兴。但是，即使是最先进的神经聊天机器人也无法在对话框中每个回合产生令人满意的响应。一个实用的解决方案是为相同上下文生成多个响应候选者，然后执行响应排名/选择以确定哪个候选者是最好的。先前的响应选择中的工作通常使用从现有对话框形成的合成数据来训练响应排名者，通过使用地面真理响应作为单个适当的响应并通过随机选择或使用对抗方法来构建不适当的响应。在这项工作中，我们策划了一个数据集，其中为适当的（正）和不适当（负）手动注释了为相同对话框上下文产生的多个响应发生器的响应。我们认为，这样的培训数据可以更好地匹配实际的用例示例，从而使模型能够有效地对响应进行排名。有了这个新数据集，我们对最先进的响应选择方法进行了系统的评估，并证明，使用多个积极候选者和使用手动验证的硬性负面候选者的两种策略都可以与使用相比，可以带来重大的绩效提高对抗性训练数据，例如，召回@1分别增加了3％和13％。

开发会话剂与患者相互作用并提供主要的临床建议，由于其巨大的应用潜力引起了人们的关注，尤其是在COVID-19-19大流行时期。但是，端到端神经对话系统的培训受到数量不足的医学对话语料库的限制。在这项工作中，我们首次尝试建立和发布与12种常见的胃肠道疾病相关的大规模高质量医学对话数据集，名为MEDDG，并从在线健康咨询社区收集了超过17K的对话。在MEDDG的每次对话中，都会注释五种不同类别的实体，包括疾病，症状，属性，测试和药物。为了推动对建立专家敏感的医学对话系统的未来研究，我们提出了基于MEDDG数据集的两种医疗对话任务。一个是下一个实体预测，另一个是医生的反应生成。为了明确理解这两项医学对话任务，我们实施了几个最先进的基准，并设计了两个对话模型，并进一步考虑了预测的实体。实验结果表明，训练前语言模型和其他基线在我们数据集中的性能差的两项任务上都挣扎，并且可以在辅助实体信息的帮助下增强响应质量。从人类评估来看，简单的检索模型的表现优于几个最新的生成模型，这表明仍然有一个很大的改进空间可以改善产生有意义的反应。

会话代理已成为简单任务允许情况的一般人群的组成部分。然而，这些系统尚未对各种和少数群体的任何社会影响，例如，帮助患有神经系统障碍的人，例如ALS和言语，语言和社交交流障碍的人。语言模型技术可以发挥巨大作用，以帮助这些用户进行日常沟通和社交互动。要启用此群体，我们构建了一个对话系统，可以使用CUES或关键字的用户控制。我们构建可以在用于控制响应生成的对话响应上下文中建立相关提示的模型，并可以加快通信。我们还介绍了一个关键字丢失来限制模型输出。我们在定性和定量上展示我们的模型可以有效地将关键字诱导到模型响应中，而不会降低响应的质量。在使用退行性障碍的人的使用情况的背景下，我们展示了对我们的提示或关键字预测器和可控对话系统的人类评估，并显示我们的模型比没有控制的模型更好地表现更好。我们的研究表明，在结束到结束响应生成模型的关键字控制是强大的，可以使用户能够与退行性疾病启用和赋予日常通信的日常沟通。

Knowledge-grounded dialogue systems powered by large language models often generate responses that, while fluent, are not attributable to a relevant source of information. Progress towards models that do not exhibit this issue requires evaluation metrics that can quantify its prevalence. To this end, we introduce the Benchmark for Evaluation of Grounded INteraction (BEGIN), comprised of 12k dialogue turns generated by neural dialogue systems trained on three knowledgegrounded dialogue corpora. We collect human annotations assessing the extent to which the models' responses can be attributed to the given background information. We then use BEGIN to analyze eight evaluation metrics. We find that these metrics rely on spurious correlations, do not reliably distinguish attributable abstractive responses from unattributable ones, and perform substantially worse when the knowledge source is longer. Our findings underscore the need for more sophisticated and robust evaluation metrics for knowledge-grounded dialogue. We make BEGIN publicly available at https://github.com/ google/BEGIN-dataset.