Recently, spoken dialogue systems have been widely deployed in a variety of applications, serving a huge number of end-users. A common issue is that the errors resulting from noisy utterances, semantic misunderstandings, or lack of knowledge make it hard for a real system to respond properly, possibly leading to an unsatisfactory user experience. To avoid such a case, we consider a proactive interaction mechanism where the system predicts the user satisfaction with the candidate response before giving it to the user. If the user is not likely to be satisfied according to the prediction, the system will ask the user a suitable question to determine the real intent of the user instead of providing the response directly. With such an interaction with the user, the system can give a better response to the user. Previous models that predict the user satisfaction are not applicable to DuerOS which is a large-scale commercial dialogue system. They are based on hand-crafted features and thus can hardly learn the complex patterns lying behind millions of conversations and temporal dependency in multiple turns of the conversation. Moreover, they are trained and evaluated on the benchmark datasets with adequate labels, which are expensive to obtain in a commercial dialogue system. To face these challenges, we propose a pipeline to predict the user satisfaction to help DuerOS decide whether to ask for clarification in each turn. Specifically, we propose to first generate a large number of weak labels and then train a transformer-based model to predict the user satisfaction with these weak labels. Empirically, we deploy and evaluate our model on DuerOS, and observe a 19% relative improvement on the accuracy of user satisfaction prediction and 2.3% relative improvement on user experience.

语言理解（SLU）是以任务为导向对话系统的核心组成部分，期望面对人类用户不耐烦的推理较短。现有的工作通过为单转弯任务设计非自动回旋模型来提高推理速度，但在面对对话历史记录时未能适用于多转移SLU。直观的想法是使所有历史言语串联并直接利用非自动进取模型。但是，这种方法严重错过了显着的历史信息，并遭受了不协调的问题。为了克服这些缺点，我们提出了一个新型模型，用于使用层改造的变压器（SHA-LRT），该模型名为“显着历史”，该模型由SHA模块组成，该模块由SHA模块组成，一种层的机制（LRM）和插槽标签生成（SLG）任务。 SHA通过历史悠久的注意机制捕获了从历史言论和结果进行的当前对话的显着历史信息。 LRM预测了Transferer的中间状态的初步SLU结果，并利用它们来指导最终预测，SLG获得了非自动进取编码器的顺序依赖性信息。公共数据集上的实验表明，我们的模型可显着提高多转弯性能（总体上为17.5％），并且加速（接近15倍）最先进的基线的推理过程，并且在单转弯方面有效SLU任务。

近年来已经看到了最终（E2E）口语理解（SLU）系统的重要进展，它直接从口头音频预测意图和插槽。虽然对话历史被利用以改善基于传统的基于文本的自然语言理解系统，但是当前的E2E SLU方法尚未在多转义和面向任务的对话中尚未结合这种关键的上下文信号。在这项工作中，我们提出了一个上下文E2E SLU模型架构，它使用多针关注机制来通过编码的先前的话语和对话框（语音助手所采取的动作）进行多转对对话。我们详细介绍了将这些上下文集成到最先进的复制和转换器的模型中的替代方法。当应用于由语音助理收集的大型识别的话语数据集时，我们的方法分别将平均单词和语义误差率降低10.8％和12.6％。我们还在公开可用的数据集中呈现结果，并显示我们的方法显着提高了非联盟基线的性能

以任务为导向的对话系统（TDSS）主要在离线设置或人类评估中评估。评估通常仅限于单转或非常耗时。作为替代方案，模拟用户行为的用户模拟器使我们能够考虑一组广泛的用户目标，以生成类似人类的对话以进行模拟评估。使用现有的用户模拟器来评估TDSS是具有挑战性的，因为用户模拟器主要旨在优化TDSS的对话策略，并且评估功能有限。此外，对用户模拟器的评估是一个开放的挑战。在这项工作中，我们提出了一个用于端到端TDS评估的隐喻用户模拟器，如果它在与系统的交互中模拟用户的类似思维，则定义模拟器是隐喻的。我们还提出了一个基于测试人员的评估框架，以生成变体，即具有不同功能的对话系统。我们的用户模拟器构建了一个隐喻的用户模型，该模型通过参考遇到新项目时的先验知识来帮助模拟器进行推理。我们通过检查模拟器与变体之间的模拟相互作用来估计模拟器的质量。我们的实验是使用三个TDS数据集进行的。与基于议程的模拟器和三个数据集上的SEQ2SEQ模型相比，隐喻用户模拟器与手动评估的一致性更好。我们的测试人员框架展示了效率，并且可以更好地概括和可扩展性，因为它可以适用于多个域中的对话和多个任务，例如对话建议和电子商务对话。

我们提出了Tacobot，这是为首届Alexa Prive Taskbot Challenge构建的面向任务的对话系统，该系统可帮助用户完成多步骤烹饪和家庭装修任务。Tacobot的设计采用以用户为中心的原则，并渴望提供协作且易于访问的对话体验。为此，它具有准确的语言理解，灵活的对话管理和引人入胜的响应生成。此外，Tacobot还以强大的搜索引擎和自动化的端到端测试套件为支持。在引导Tacobot的开发中，我们探索了一系列数据增强策略，以训练先进的神经语言处理模型，并通过收集的真实对话不断改善对话经验。在半决赛结束时，Tacobot的平均评分为3.55/5.0。

Any organization needs to improve their products, services, and processes. In this context, engaging with customers and understanding their journey is essential. Organizations have leveraged various techniques and technologies to support customer engagement, from call centres to chatbots and virtual agents. Recently, these systems have used Machine Learning (ML) and Natural Language Processing (NLP) to analyze large volumes of customer feedback and engagement data. The goal is to understand customers in context and provide meaningful answers across various channels. Despite multiple advances in Conversational Artificial Intelligence (AI) and Recommender Systems (RS), it is still challenging to understand the intent behind customer questions during the customer journey. To address this challenge, in this paper, we study and analyze the recent work in Conversational Recommender Systems (CRS) in general and, more specifically, in chatbot-based CRS. We introduce a pipeline to contextualize the input utterances in conversations. We then take the next step towards leveraging reverse feature engineering to link the contextualized input and learning model to support intent recognition. Since performance evaluation is achieved based on different ML models, we use transformer base models to evaluate the proposed approach using a labelled dialogue dataset (MSDialogue) of question-answering interactions between information seekers and answer providers.

The goal of building dialogue agents that can converse with humans naturally has been a long-standing dream of researchers since the early days of artificial intelligence. The well-known Turing Test proposed to judge the ultimate validity of an artificial intelligence agent on the indistinguishability of its dialogues from humans'. It should come as no surprise that human-level dialogue systems are very challenging to build. But, while early effort on rule-based systems found limited success, the emergence of deep learning enabled great advance on this topic. In this thesis, we focus on methods that address the numerous issues that have been imposing the gap between artificial conversational agents and human-level interlocutors. These methods were proposed and experimented with in ways that were inspired by general state-of-the-art AI methodologies. But they also targeted the characteristics that dialogue systems possess.

目前对语言理解（SLU）的研究重大仅限于简单的设置：基于纯文本的SLU，它将用户话语为输入并生成其相应的语义帧（例如，意图和插槽）。不幸的是，当话语是语义模糊的话语时，这种简单的设置可能无法在复杂的真实情景中工作，这不能通过基于文本的SLU模型来实现的。在本文中，我们首先介绍了一种新的和重要任务，基于个人资料的口语语言理解（ProSlu），这需要不仅依赖于纯文本的模型，而且需要支持的资料配置文件，以预测正确的意图和插槽。为此，我们进一步引入了一个具有超过5K的大规模的汉语数据集及其相应的支持简档信息（知识图（kg），用户配置文件（向上），上下文意识（CA））。此外，我们还评估了多个最先进的基线模型，并探索多级知识适配器，以有效地结合资料信息。实验结果表明，当话语是语义模糊的，我们所提出的框架可以有效地融合了句子级意图检测和令牌级槽填充的支持信息，所以所有现有的基于文本的SLU模型都无法工作。最后，我们总结了关键挑战，为未来方向提供了新的观点，希望促进研究。

随着经济和社会的增长，企业，尤其是在金融科技行业中，对客户收集，市场营销，反欺诈电话等对客户的需求不断增加。但是，大部分重复性和机械工作都占据了人类代理商的大部分时间，因此企业的设备和劳动力成本正在增加。同时，随着过去几十年来人工智能技术的发展，公司使用大数据和人工智能等新技术来增强呼叫业务的能力已变得非常普遍。智能出站机器人是人工智能技术在出站呼叫业务领域的典型应用。它主要用于与客户交流以实现某个目标。它具有低成本，高额重用和易于合规性的特征，这引起了行业的更多关注。目前，该行业有两种智能出站机器人，但他们俩仍然为改进留下了巨大的空间。其中一种是基于有限状态机，该机器依赖于跳跃条件和基于手动体验的相应节点的配置。这种智能出站机器人也称为基于流的机器人。例如，图\ ref {图：标签}中显示了基于流的机器人的工作模型的示意图。在每个回合中，机器人将用与每个节点相对应的单词回复用户。

良好的善解人意对话系统应首先跟踪并理解用户的情绪，然后以适当的情感回复。但是，目前对此任务的方法要么集中于提高对用户情绪的理解或提出更好的反应策略，而且很少有作品同时考虑这两种工作。我们的工作试图填补这一空缺。受到任务导向对话系统的启发，我们提出了一种具有情感感知对话管理的新颖善解人意的响应生成模型。情绪感知对话管理包含两个部分：（1）情绪状态跟踪保持当前用户的情绪状态，（2）善解人意的对话策略选择预测目标情绪和用户的意图，基于情绪状态跟踪的结果。然后，预测信息用于指导响应的产生。实验结果表明，与自动评估和人类评估下的几个基准相比，动态管理不同的信息可以帮助模型产生更多的移情反应。

最近，培训预培训方法在以任务为导向的对话框（TOD）系统中表现出了很大的成功。但是，大多数现有的预培训模型用于TOD专注于对话的理解或对话生成，但并非两者兼而有之。在本文中，我们提出了Space-3，这是一种新型的统一的半监督预培训的预训练的对话模型，从大规模对话CORPORA中学习有限的注释，可以有效地对广泛的下游对话任务进行微调。具体而言，Space-3由单个变压器中的四个连续组件组成，以维护TOD系统中的任务流：（i）对话框编码模块编码对话框历史记录，（ii）对话框理解模块以从任一用户中提取语义向量查询或系统响应，（iii）一个对话框策略模块，以生成包含响应高级语义的策略向量，以及（iv）对话框生成模块以产生适当的响应。我们为每个组件设计一个专门的预训练目标。具体而言，我们预先培训对话框编码模块，使用跨度掩码语言建模，以学习上下文化对话框信息。为了捕获“结构化对话框”语义，我们通过额外的对话注释通过新颖的树诱导的半监视对比度学习目标来预先培训对话框理解模块。此外，我们通过将其输出策略向量与响应响应的语义向量之间的L2距离最小化以进行策略优化，从而预先培训对话策略模块。最后，对话框生成模型由语言建模预先训练。结果表明，Space-3在八个下游对话框基准中实现最新性能，包括意图预测，对话框状态跟踪和端到端对话框建模。我们还表明，在低资源设置下，Space-3比现有模型具有更强的射击能力。

自2016年成立以来，Alexa奖计划使数百名大学生能够通过Socialbot Grand Challenge探索和竞争以发展对话代理商。挑战的目的是建立能够与人类在流行主题上连贯而诱人的代理人20分钟，同时达到至少4.0/5.0的平均评分。但是，由于对话代理商试图帮助用户完成日益复杂的任务，因此需要新的对话AI技术和评估平台。成立于2021年的Alexa奖Taskbot Challenge建立在Socialbot Challenge的成功基础上，通过引入交互式协助人类进行现实世界烹饪和做自己动手做的任务的要求，同时同时使用语音和视觉方式。这项挑战要求TaskBots识别和理解用户的需求，识别和集成任务和域知识，并开发新的方式，不分散用户的注意力，而不必分散他们的任务，以及其他挑战。本文概述了Taskbot挑战赛，描述了使用Cobot Toolkit提供给团队提供的基础架构支持，并总结了参与团队以克服研究挑战所采取的方法。最后，它分析了比赛第一年的竞争任务机器人的性能。

用户模拟器（USS）通常用于通过增强学习训练面向任务的对话系统（DSS）。相互作用通常是在语义层面上以提高效率的，但是从语义动作到自然语言仍然存在差距，这会导致培训和部署环境之间的不匹配。在培训期间，将自然语言生成（NLG）模块与USS结合在一起可以部分解决此问题。但是，由于US的策略和NLG是单独优化的，因此在给定的情况下，这些模拟的用户话语可能不够自然。在这项工作中，我们提出了一个基于生成变压器的用户模拟器（Gentus）。 Gentus由编码器结构组成，这意味着它可以共同优化用户策略和自然语言。 Gentus既产生语义动作又产生自然语言话语，从而保留了解释性和增强语言的变化。另外，通过将输入和输出表示为单词序列以及使用大型的预训练语言模型，我们可以在功能表示中实现普遍性。我们通过自动指标和人类评估评估绅士。我们的结果表明，绅士会产生更多的自然语言，并能够以零拍的方式转移到看不见的本体论中。此外，通过加强学习为培训专业用户模拟器打开大门，可以进一步塑造其行为。

基于语音的投入在我们日常生活中获得了智能手机和平板电脑的普及，因为声音是人类计算机交互的最简单而有效的方式。本文旨在设计更有效的基于语音的接口，以查询关系数据库中的结构化数据。我们首先识别名为Speep-to-SQL的新任务，旨在了解人类语音传达的信息，并直接将其转换为结构化查询语言（SQL）语句。对此问题的天真解决方案可以以级联方式工作，即，自动语音识别（ASR）组件，后跟文本到SQL组件。然而，它需要高质量的ASR系统，并且还遭受了两种组件之间的错误复合问题，从而产生有限的性能。为了处理这些挑战，我们进一步提出了一个名为SpeepSQLNET的新型端到端神经结构，直接将人类语音转化为没有外部ASR步骤的SQL查询。 SpeemSQLNET具有充分利用演讲中提供的丰富语言信息的优势。据我们所知，这是第一次尝试根据任意自然语言问题直接综合SQL，而不是基于自然语言的SQL版本或其具有有限的SQL语法的变体。为了验证所提出的问题和模型的有效性，我们还通过捎带广泛使用的文本到SQL数据集来进一步构建名为SpeemQL的数据集。对该数据集的广泛实验评估表明，SpeemSQLNET可以直接从人类语音中直接综合高质量的SQL查询，优于各种竞争对手，以及在精确匹配的准确性方面的级联方法。

Interview has been regarded as one of the most crucial step for recruitment. To fully prepare for the interview with the recruiters, job seekers usually practice with mock interviews between each other. However, such a mock interview with peers is generally far away from the real interview experience: the mock interviewers are not guaranteed to be professional and are not likely to behave like a real interviewer. Due to the rapid growth of online recruitment in recent years, recruiters tend to have online interviews, which makes it possible to collect real interview data from real interviewers. In this paper, we propose a novel application named EZInterviewer, which aims to learn from the online interview data and provides mock interview services to the job seekers. The task is challenging in two ways: (1) the interview data are now available but still of low-resource; (2) to generate meaningful and relevant interview dialogs requires thorough understanding of both resumes and job descriptions. To address the low-resource challenge, EZInterviewer is trained on a very small set of interview dialogs. The key idea is to reduce the number of parameters that rely on interview dialogs by disentangling the knowledge selector and dialog generator so that most parameters can be trained with ungrounded dialogs as well as the resume data that are not low-resource. Evaluation results on a real-world job interview dialog dataset indicate that we achieve promising results to generate mock interviews. With the help of EZInterviewer, we hope to make mock interview practice become easier for job seekers.

会话推荐系统（CRS）已成为一个新兴的研究主题，试图通过交互式对话进行建议，这些对话通常由发电和建议模块组成。 CRS的先前工作倾向于将更多的外部和领域特定知识纳入项目评论，以提高性能。尽管事实的收集和注释特定于外部领域的信息需要大量的人类努力并脱离了普遍性，但过多的额外知识在它们之间带来了更大的困难。因此，我们建议从上下文中充分发现和提取内部知识。我们将实体级别和上下文级别的表示形式捕获为对建议的共同模拟用户的偏好，在这种情况下，时间吸引的注意力旨在强调实体级表示中最近出现的项目。我们进一步使用预训练的巴特来初始化生成模块，以减轻数据稀缺性并增强上下文建模。除了在流行数据集（REDIAIL）上进行实验外，我们还包括一个多域数据集（OpenDialKg）来显示我们模型的有效性。两个数据集的实验都表明，我们的模型在大多数评估指标上都具有更好的性能，其外部知识较少，并且可以很好地推广到其他领域。对建议和生成任务的其他分析证明了我们在不同情况下模型的有效性。

在本文中，我们提出了双工对话，这是一种多型，多模式的口语对话系统，使基于电话的代理能够与人类这样的客户互动。我们在电信中使用全双工的概念来证明人类般的互动体验应该是什么以及如何通过三个子任务实现平稳的转弯：用户状态检测，后拨频选择和驳船检测。此外，我们建议使用多模式数据增强的半监督学习，以利用未标记的数据来增加模型的概括。三个子任务的实验结果表明，与基准相比，所提出的方法可实现一致的改进。我们将双工对话部署到阿里巴巴智能客户服务，并在生产中分享经验教训。在线A/B实验表明，所提出的系统可以将响应潜伏期显着降低50％。

Empathy is a vital factor that contributes to mutual understanding, and joint problem-solving. In recent years, a growing number of studies have recognized the benefits of empathy and started to incorporate empathy in conversational systems. We refer to this topic as empathetic conversational systems. To identify the critical gaps and future opportunities in this topic, this paper examines this rapidly growing field using five review dimensions: (i) conceptual empathy models and frameworks, (ii) adopted empathy-related concepts, (iii) datasets and algorithmic techniques developed, (iv) evaluation strategies, and (v) state-of-the-art approaches. The findings show that most studies have centered on the use of the EMPATHETICDIALOGUES dataset, and the text-based modality dominates research in this field. Studies mainly focused on extracting features from the messages of the users and the conversational systems, with minimal emphasis on user modeling and profiling. Notably, studies that have incorporated emotion causes, external knowledge, and affect matching in the response generation models, have obtained significantly better results. For implementation in diverse real-world settings, we recommend that future studies should address key gaps in areas of detecting and authenticating emotions at the entity level, handling multimodal inputs, displaying more nuanced empathetic behaviors, and encompassing additional dialogue system features.

Intent classification and slot filling are two core tasks in natural language understanding (NLU). The interaction nature of the two tasks makes the joint models often outperform the single designs. One of the promising solutions, called BERT (Bidirectional Encoder Representations from Transformers), achieves the joint optimization of the two tasks. BERT adopts the wordpiece to tokenize each input token into multiple sub-tokens, which causes a mismatch between the tokens and the labels lengths. Previous methods utilize the hidden states corresponding to the first sub-token as input to the classifier, which limits performance improvement since some hidden semantic informations is discarded in the fine-tune process. To address this issue, we propose a novel joint model based on BERT, which explicitly models the multiple sub-tokens features after wordpiece tokenization, thereby generating the context features that contribute to slot filling. Specifically, we encode the hidden states corresponding to multiple sub-tokens into a context vector via the attention mechanism. Then, we feed each context vector into the slot filling encoder, which preserves the integrity of the sentence. Experimental results demonstrate that our proposed model achieves significant improvement on intent classification accuracy, slot filling F1, and sentence-level semantic frame accuracy on two public benchmark datasets. The F1 score of the slot filling in particular has been improved from 96.1 to 98.2 (2.1% absolute) on the ATIS dataset.

在点击率（CTR）预测方案中，用户的顺序行为很好地利用来捕获最近文献中的用户兴趣。然而，尽管正在广泛研究，但这些顺序方法仍然存在三个限制。首先，现有方法主要利用对用户行为的注意，这并不总是适用于CTR预测，因为用户经常点击与任何历史行为无关的新产品。其次，在真实场景中，很久以前存在许多具有运营的用户，但最近的次数相对不活跃。因此，难以通过早期行为精确地捕获用户的当前偏好。第三，不同特征子空间中用户历史行为的多个表示主要被忽略。为了解决这些问题，我们提出了一种多互动关注网络（Mian），全面提取各种细粒度特征之间的潜在关系（例如，性别，年龄和用户档案）。具体而言，MIAN包含多交互式层（MIL），其集成了三个本地交互模块，通过顺序行为捕获用户偏好的多个表示，并同时利用细粒度的用户特定的以及上下文信息。此外，我们设计了一个全局交互模块（GIM）来学习高阶交互，平衡多个功能的不同影响。最后，脱机实验结果来自三个数据集，以及在大型推荐系统中的在线A / B测试，展示了我们提出的方法的有效性。