开放域对话框的自动评估仍然是一个未解决的问题。此外，现有方法与人类注释没有密切相关。本文使用后续行动提出了一种新的自动化评估方法：我们衡量语言模型将继续使用固定的后续行动继续对话的可能性（例如，在这里不真正相关，您想说什么）。与现有的十二种方法进行比较时，我们的新评估与人类评估的最高相关性。

自动评估对开放式对话系统开发有益。但是，标准的单词重叠度量（BLEU，Rouge）与开放式对话系统的人类判断不符合良好。在这项工作中，我们建议使用下一个用户话语的情绪转向或对话级别评估。具体来说，我们提出了三种方法：一种直接预测下一个情绪的方法，以及使用话语或反馈发生器模型预测下一个用户话语的另外两个，然后对其情绪进行分类。实验表明我们的模型在书面和口语开放域对话数据集上表现出现有的自动评估指标。

对话研究的最终目标是开发可以在交互式设置中有效使用的系统。为此，我们在第9对话系统技术挑战中介绍了对话框的交互式评估。该曲目由两个子任务组成。第一个子任务涉及建立知识接地的响应生成模型。第二个子任务旨在通过与真实用户的交互式设置进行评估，旨在将对话模型扩展到静态数据集之外。我们的曲目挑战参与者开发强大的响应生成模型，并探索将它们扩展到与真实用户的来回互动的策略。从静态语料库到交互式评估的发展引入了独特的挑战，并促进了对开放域对话系统的更全面评估。本文概述了曲目，包括方法和结果。此外，它提供了有关如何最佳评估开放域对话框模型的见解

我们介绍了Godel（接地开放对话语言模型），这是对话框的大型预训练的语言模型。与诸如Dialogpt之类的早期模型相比，Godel利用了一个新的扎根预训练阶段，旨在更好地支持将Godel适应广泛的下游对话框任务，这些任务需要当前对话外部的信息（例如，数据库或文档）到产生良好的回应。针对一系列基准测试的实验，这些基准涵盖了面向任务的对话框，对话质量质量检查和接地的开放式对话框，表明Godel在几次以上的微调设置中优于最先进的预训练的对话模型，就人类和自动评估。我们评估方法的一个新颖特征是引入了一个效用概念，该概念除了其交流特征（内在评估）外，还评估了响应的有用性（外部评估）。我们表明，外部评估提供了改进的通道间一致性和与自动指标的相关性。代码和数据处理脚本公开可用。

会话代理已成为简单任务允许情况的一般人群的组成部分。然而，这些系统尚未对各种和少数群体的任何社会影响，例如，帮助患有神经系统障碍的人，例如ALS和言语，语言和社交交流障碍的人。语言模型技术可以发挥巨大作用，以帮助这些用户进行日常沟通和社交互动。要启用此群体，我们构建了一个对话系统，可以使用CUES或关键字的用户控制。我们构建可以在用于控制响应生成的对话响应上下文中建立相关提示的模型，并可以加快通信。我们还介绍了一个关键字丢失来限制模型输出。我们在定性和定量上展示我们的模型可以有效地将关键字诱导到模型响应中，而不会降低响应的质量。在使用退行性障碍的人的使用情况的背景下，我们展示了对我们的提示或关键字预测器和可控对话系统的人类评估，并显示我们的模型比没有控制的模型更好地表现更好。我们的研究表明，在结束到结束响应生成模型的关键字控制是强大的，可以使用户能够与退行性疾病启用和赋予日常通信的日常沟通。

预先接受训练的语言模型的最新进展具有显着改善的神经反应生成。但是，现有方法通常将对话背景视为令牌的线性序列，并通过令牌级自我关注学习生成下一个单词。这些令牌级编码阻碍了话语中话语水平一致性的探索。本文介绍了对话贝特，这是一种新的会话响应生成模型，可以增强以前的基于PLM的对话模型。 DialogBert采用分层变压器架构。为了有效地捕捉话语中的话语水平一致性，我们提出了两种培训目标，包括蒙面的话语回归和分布式话语秩序与原始BERT训练相比。在三个多转对谈话数据集上的实验表明，在定量评估方面，我们的方法非常优于BART和Dialogpt等基线。人类评估表明，DialogBert比具有显着利润率的基线产生更加连贯，信息和人类的反应。

我们提出了一种基于情节知识图（EKG）的新方法，用于评估开放域中的（多模式）对话剂。该图是通过解释对话过程中的原始信号而生成的，并且能够随着时间的推移捕获知识的积累。我们应用对所得图的结构和语义分析，并将这些属性转化为定性措施。我们将这些措施与通常用于对话代理的现有自动和手动评估指标进行比较。我们的结果表明，我们的基于知识的评估为互动和代理人的行为提供了更多的定性见解。

神经语言建模在不同下游自然语言处理（NLP）任务中取得了最先进的。一个这样的区域是开放域对话框建模，基于GPT-2的神经对话模型，例如DialogPT在单转对话中显示了有希望的性能。然而，这种（神经）对话模型被批评用于产生响应，尽管可能与先前的人类反应有关，但往往会迅速消散人类兴趣并下降进入微不足道的谈话。这种表现的一个原因是人机对话中缺乏明确的谈话策略。人类使用一系列的谈话策略，同时参与谈话，其中一种关键的社会策略是自披露（SD）。揭示一个对他人的信息的现象。社会渗透理论（SPT）提出，由于这种关系主要通过自披露，两个人之间的沟通从浅水区移动到更深层次的水平。披露有助于在参与谈话的参与者之间创造融洽关系。在本文中，在神经对话模型的推理阶段期间利用自泄露主题模型（SDTM）来重新排名响应候选，以重新排名响应候选，从而引入自泄露增强架构（SDTM）以从来自模型。

Long-range context modeling is crucial to both dialogue understanding and generation. The most popular method for dialogue context representation is to concatenate the last-$k$ previous utterances. However, this method may not be ideal for conversations containing long-range dependencies. In this work, we propose DialoGX, a novel encoder-decoder based framework for conversational response generation with a generalized and explainable context representation that can look beyond the last-$k$ utterances. Hence the method is adaptive to conversations with long-range dependencies. The main idea of our approach is to identify and utilize the most relevant historical utterances instead of the last-$k$ utterances in chronological order. We study the effectiveness of our proposed method on both dialogue generation (open-domain) and understanding (DST) tasks. DialoGX achieves comparable performance with the state-of-the-art models on DailyDialog dataset. We also observe performance gain in existing DST models with our proposed context representation strategy on MultiWOZ dataset. We justify our context representation through the lens of psycholinguistics and show that the relevance score of previous utterances agrees well with human cognition which makes DialoGX explainable as well.

本文介绍了一个新颖的自我监督的细粒度对话评估框架（自我评估）。核心思想是建模转弯质量与整个对话质量之间的相关性。我们首先提出了一种新型的自动数据构建方法，该方法可以自动为任意对话数据分配细粒度的分数。然后，我们使用多层对比度学习模式训练\ textbf {self eval}，有助于区分不同的分数水平。多个基准测试的实验结果表明，自我与人类评估高度一致，并且比最先进的模型更好。我们对本文的实验进行了详细的分析。我们的代码和数据将在GitHub上发布。

Natural Language Generation (NLG) represents a large collection of tasks in the field of NLP. While many of these tasks have been tackled well by the cross-entropy (CE) loss, the task of dialog generation poses a few unique challenges for this loss function. First, CE loss assumes that for any given input, the only possible output is the one available as the ground truth in the training dataset. In general, this is not true for any task, as there can be multiple semantically equivalent sentences, each with a different surface form. This problem gets exaggerated further for the dialog generation task, as there can be multiple valid responses (for a given context) that not only have different surface forms but are also not semantically equivalent. Second, CE loss does not take the context into consideration while processing the response and, hence, it treats all ground truths with equal importance irrespective of the context. But, we may want our final agent to avoid certain classes of responses (e.g. bland, non-informative or biased responses) and give relatively higher weightage for more context-specific responses. To circumvent these shortcomings of the CE loss, in this paper, we propose a novel loss function, CORAL, that directly optimizes recently proposed estimates of human preference for generated responses. Using CORAL, we can train dialog generation models without assuming non-existence of response other than the ground-truth. Also, the CORAL loss is computed based on both the context and the response. Extensive comparisons on two benchmark datasets show that the proposed methods outperform strong state-of-the-art baseline models of different sizes.

Knowledge-grounded dialogue systems powered by large language models often generate responses that, while fluent, are not attributable to a relevant source of information. Progress towards models that do not exhibit this issue requires evaluation metrics that can quantify its prevalence. To this end, we introduce the Benchmark for Evaluation of Grounded INteraction (BEGIN), comprised of 12k dialogue turns generated by neural dialogue systems trained on three knowledgegrounded dialogue corpora. We collect human annotations assessing the extent to which the models' responses can be attributed to the given background information. We then use BEGIN to analyze eight evaluation metrics. We find that these metrics rely on spurious correlations, do not reliably distinguish attributable abstractive responses from unattributable ones, and perform substantially worse when the knowledge source is longer. Our findings underscore the need for more sophisticated and robust evaluation metrics for knowledge-grounded dialogue. We make BEGIN publicly available at https://github.com/ google/BEGIN-dataset.

在改善的核心，会话AI是如何评估对话的公开问题。具有自动指标的问题是众所周知的（Liu等，2016年，Arxiv：1603.08023），人类评估仍然认为黄金标准。不幸的是，如何进行人类评估也是一个公开问题：不同的数据收集方法具有不同程度的人类协议和统计敏感性，导致人类注释时间和劳动力成本不同。在这项工作中，我们比较五个不同的人群人的人类评估方法，并发现不同的方法是最重要的，具体取决于模型的类型相比，董事会没有明确的赢家。虽然这突出了该地区的开放问题，但我们的分析导致建议何时使用哪一个以及未来的未来方向。

最近，在自动开放域对话框评估中应用预先接受训练的语言模型（PR-LM），有兴趣的兴趣。PR-LMS提供了满足多域评估挑战的有希望的方向。然而，不同PR-LMS对自动度量的性能的影响是不太理解的。本文审查了8种不同的PRM，并研究了三种不同对话评估基准的三种典型自动对话对话指标的影响。具体而言，我们分析PR-LMS的选择如何影响自动度量的性能。执行对每个度量的广泛相关分析以评估不同PR-LMS沿各种轴的影响，包括预训练目标，对话对话标准，模型规模和跨数据集鲁棒性。本研究有助于第一次全面评估不同PR-LMS对自动对话评估的影响。

We have a Christmas gift for Harry Potter fans all over the world. In this paper, we present Harry Potter Dialogue (HPD), a dataset that helps train Harry Potter-like dialogue agents. Such a task is typically viewed as a variant of personalized dialogue agents, but they differ significantly in three respects: 1) Harry lived in a virtual world of wizards, thus, real-world commonsense may not apply to Harry's conversations; 2) Harry's behavior is strongly linked to background information in conversations: the scene, its attributes and its relationship to other speakers; and 3) Such backgrounds are dynamically altered as the storyline goes on. The HPD dataset, as the first dataset to facilitate the study of dialogue agent construction for characters within a story, provides rich contextual information about each dialogue session such as scenes, character attributes, and relations. More importantly, all the background information will change over the course of the story. In addition, HPD could support both dialogue generation and retrieval tasks. We evaluate baselines such as Dialog-GPT and BOB to determine the extent to which they can generate Harry Potter-like responses. The experimental results disappoint us in that although the generated responses are fluent, they still seem out of character for Harry. Besides, we validate the current most robust dialogue agent, ChatGPT, which also can't generate plausible Harry-Potter-like responses in some cases, either. Our results suggest that there is much scope for future research.

预先接受的语言模型（PLM）在神经对话建模中标志着巨大的飞跃。虽然PLMS在大型文本语料库上进行预先培训，但通常在具有特定领域知识和对话风格的稀缺对话数据上进行微调。然而，在大型预先训练模型中充分利用现有知识的同时定制语言模型仍然是一个挑战。在本文中，我们提出了一种预先接受训练的对话建模的新方法，将对话生成问题作为一个快速学习任务。而不是在有限的对话数据上进行微调，我们的方法，DialogPrompt学习针对对话背景优化的连续提示嵌入，从而从大型预训练模型中促进了知识。为了鼓励模型更好地利用提示嵌入，提示编码器被设计为在输入对话框上下文中的条件。流行对话数据集的实验表明，我们的方法显着优于微调基线和通用及时学习方法。此外，人类评估强烈支持对DialialPrompt的优越性在响应生成质量方面。

在语言处理的神经方法上的最新进展引发了人们对建立智能开放域聊天机器人的兴趣的复兴。但是，即使是最先进的神经聊天机器人也无法在对话框中每个回合产生令人满意的响应。一个实用的解决方案是为相同上下文生成多个响应候选者，然后执行响应排名/选择以确定哪个候选者是最好的。先前的响应选择中的工作通常使用从现有对话框形成的合成数据来训练响应排名者，通过使用地面真理响应作为单个适当的响应并通过随机选择或使用对抗方法来构建不适当的响应。在这项工作中，我们策划了一个数据集，其中为适当的（正）和不适当（负）手动注释了为相同对话框上下文产生的多个响应发生器的响应。我们认为，这样的培训数据可以更好地匹配实际的用例示例，从而使模型能够有效地对响应进行排名。有了这个新数据集，我们对最先进的响应选择方法进行了系统的评估，并证明，使用多个积极候选者和使用手动验证的硬性负面候选者的两种策略都可以与使用相比，可以带来重大的绩效提高对抗性训练数据，例如，召回@1分别增加了3％和13％。

以任务为导向的对话系统（TDSS）主要在离线设置或人类评估中评估。评估通常仅限于单转或非常耗时。作为替代方案，模拟用户行为的用户模拟器使我们能够考虑一组广泛的用户目标，以生成类似人类的对话以进行模拟评估。使用现有的用户模拟器来评估TDSS是具有挑战性的，因为用户模拟器主要旨在优化TDSS的对话策略，并且评估功能有限。此外，对用户模拟器的评估是一个开放的挑战。在这项工作中，我们提出了一个用于端到端TDS评估的隐喻用户模拟器，如果它在与系统的交互中模拟用户的类似思维，则定义模拟器是隐喻的。我们还提出了一个基于测试人员的评估框架，以生成变体，即具有不同功能的对话系统。我们的用户模拟器构建了一个隐喻的用户模型，该模型通过参考遇到新项目时的先验知识来帮助模拟器进行推理。我们通过检查模拟器与变体之间的模拟相互作用来估计模拟器的质量。我们的实验是使用三个TDS数据集进行的。与基于议程的模拟器和三个数据集上的SEQ2SEQ模型相比，隐喻用户模拟器与手动评估的一致性更好。我们的测试人员框架展示了效率，并且可以更好地概括和可扩展性，因为它可以适用于多个域中的对话和多个任务，例如对话建议和电子商务对话。

近年来，对话系统引起了学术界和工业的重要兴趣。特别是开放式对话系统的纪律，又名聊天，已经获得了很大的势头。然而，困扰研究人员的长期挑战是缺乏有效的自动评估指标，这导致目前研究中的障碍。评估开放式对话模型表现的常见做法涉及对最终部署模型的广泛人类评估，这是时间和成本密集的。此外，最近建立开放式聊天聊天的趋势涉及具有大量社交媒体对话数据的预训练对话模型。但是，社交媒体对话中包含的信息可能是令人反感的和不合适的。不分青红皂白种的使用可能导致不敏感和有毒的生成模型。本文介绍了对话系统技术挑战10（DSTC10）的轨道5获得的数据，基线和结果。

Chit-chat models are known to have several problems: they lack specificity, do not display a consistent personality and are often not very captivating. In this work we present the task of making chit-chat more engaging by conditioning on profile information. We collect data and train models to (i) condition on their given profile information; and (ii) information about the person they are talking to, resulting in improved dialogues, as measured by next utterance prediction. Since (ii) is initially unknown, our model is trained to engage its partner with personal topics, and we show the resulting dialogue can be used to predict profile information about the interlocutors.