会话推荐系统（CRS）是交互式代理，通过多转交谈来支持其用户与建议相关的目标。通常，可以在各个维度上评估CRS。今天的CRS主要依靠离线（计算）措施来评估其算法与不同基线相比的性能。但是，离线措施可能会有局限性，例如，当将新生成的响应与地面真理进行比较的指标与人类的看法无关时，因为在给定的对话情况下，各种替代性产生的响应可能也是合适的。因此，对基于机器学习的CRS模型的当前研究认识到人类在评估过程中的重要性，知道纯离线测量可能不足以评估CRS等高度交互式系统。

与自然语言中用户互动的对话推荐系统（CRS）利用了在配对人类的帮助下收集的建议对话框，其中一个人扮演寻求者的角色，而另一个则是推荐人。这些建议对话包括项目和实体，以披露寻求者自然语言的偏好。但是，为了精确地对寻求者的偏好进行建模并始终如一地做出反应，主要是CRS依赖于对话框中出现的明确注释的项目和实体，通常会利用域知识。在这项工作中，我们调查了受启发的数据集，该数据集包含有关社交对话建议的建议对话框，其中使用自动关键字或模式匹配技术明确注释项目和实体。为此，我们发现了大量案例，这些案例和实体根本被错误注释或缺少注释。然而，这个问题仍然在何种程度上有效的注释有效。此外，目前尚不清楚穷人和改善注释对CRS总体有效性的相对影响在响应的一致性和质量方面是什么。在这方面，首先，我们手动修复了注释并删除了受启发数据集中的噪声。其次，我们使用两个版本的数据集评估了几个基准CR的性能。我们的分析表明，使用数据集的改进版本，即Inspired2，各种基准CRS的表现优于且对话框与使用原始版本的使用相比，具有丰富的知识概念。我们在https://github.com/ahtsham58/inspired2公开发布改进的数据集（Inspired2）。

以任务为导向的对话系统（TDSS）主要在离线设置或人类评估中评估。评估通常仅限于单转或非常耗时。作为替代方案，模拟用户行为的用户模拟器使我们能够考虑一组广泛的用户目标，以生成类似人类的对话以进行模拟评估。使用现有的用户模拟器来评估TDSS是具有挑战性的，因为用户模拟器主要旨在优化TDSS的对话策略，并且评估功能有限。此外，对用户模拟器的评估是一个开放的挑战。在这项工作中，我们提出了一个用于端到端TDS评估的隐喻用户模拟器，如果它在与系统的交互中模拟用户的类似思维，则定义模拟器是隐喻的。我们还提出了一个基于测试人员的评估框架，以生成变体，即具有不同功能的对话系统。我们的用户模拟器构建了一个隐喻的用户模型，该模型通过参考遇到新项目时的先验知识来帮助模拟器进行推理。我们通过检查模拟器与变体之间的模拟相互作用来估计模拟器的质量。我们的实验是使用三个TDS数据集进行的。与基于议程的模拟器和三个数据集上的SEQ2SEQ模型相比，隐喻用户模拟器与手动评估的一致性更好。我们的测试人员框架展示了效率，并且可以更好地概括和可扩展性，因为它可以适用于多个域中的对话和多个任务，例如对话建议和电子商务对话。

Using chatbots to deliver recommendations is increasingly popular. The design of recommendation chatbots has primarily been taking an information-centric approach by focusing on the recommended content per se. Limited attention is on how social connection and relational strategies, such as self-disclosure from a chatbot, may influence users' perception and acceptance of the recommendation. In this work, we designed, implemented, and evaluated a social chatbot capable of performing three different levels of self-disclosure: factual information (low), cognitive opinions (medium), and emotions (high). In the evaluation, we recruited 372 participants to converse with the chatbot on two topics: movies and COVID-19 experiences. In each topic, the chatbot performed small talks and made recommendations relevant to the topic. Participants were randomly assigned to four experimental conditions where the chatbot used factual, cognitive, emotional, and adaptive strategies to perform self-disclosures. By training a text classifier to identify users' level of self-disclosure in real-time, the adaptive chatbot can dynamically match its self-disclosure to the level of disclosure exhibited by the users. Our results show that users reciprocate with higher-level self-disclosure when a recommendation chatbot consistently displays emotions throughout the conversation. Chatbot's emotional disclosure also led to increased interactional enjoyment and more positive interpersonal perception towards the bot, fostering a stronger human-chatbot relationship and thus leading to increased recommendation effectiveness, including a higher tendency to accept the recommendation. We discuss the understandings obtained and implications to future design.

对话研究的最终目标是开发可以在交互式设置中有效使用的系统。为此，我们在第9对话系统技术挑战中介绍了对话框的交互式评估。该曲目由两个子任务组成。第一个子任务涉及建立知识接地的响应生成模型。第二个子任务旨在通过与真实用户的交互式设置进行评估，旨在将对话模型扩展到静态数据集之外。我们的曲目挑战参与者开发强大的响应生成模型，并探索将它们扩展到与真实用户的来回互动的策略。从静态语料库到交互式评估的发展引入了独特的挑战，并促进了对开放域对话系统的更全面评估。本文概述了曲目，包括方法和结果。此外，它提供了有关如何最佳评估开放域对话框模型的见解

会话推荐系统（CRS）已成为一个新兴的研究主题，试图通过交互式对话进行建议，这些对话通常由发电和建议模块组成。 CRS的先前工作倾向于将更多的外部和领域特定知识纳入项目评论，以提高性能。尽管事实的收集和注释特定于外部领域的信息需要大量的人类努力并脱离了普遍性，但过多的额外知识在它们之间带来了更大的困难。因此，我们建议从上下文中充分发现和提取内部知识。我们将实体级别和上下文级别的表示形式捕获为对建议的共同模拟用户的偏好，在这种情况下，时间吸引的注意力旨在强调实体级表示中最近出现的项目。我们进一步使用预训练的巴特来初始化生成模块，以减轻数据稀缺性并增强上下文建模。除了在流行数据集（REDIAIL）上进行实验外，我们还包括一个多域数据集（OpenDialKg）来显示我们模型的有效性。两个数据集的实验都表明，我们的模型在大多数评估指标上都具有更好的性能，其外部知识较少，并且可以很好地推广到其他领域。对建议和生成任务的其他分析证明了我们在不同情况下模型的有效性。

Any organization needs to improve their products, services, and processes. In this context, engaging with customers and understanding their journey is essential. Organizations have leveraged various techniques and technologies to support customer engagement, from call centres to chatbots and virtual agents. Recently, these systems have used Machine Learning (ML) and Natural Language Processing (NLP) to analyze large volumes of customer feedback and engagement data. The goal is to understand customers in context and provide meaningful answers across various channels. Despite multiple advances in Conversational Artificial Intelligence (AI) and Recommender Systems (RS), it is still challenging to understand the intent behind customer questions during the customer journey. To address this challenge, in this paper, we study and analyze the recent work in Conversational Recommender Systems (CRS) in general and, more specifically, in chatbot-based CRS. We introduce a pipeline to contextualize the input utterances in conversations. We then take the next step towards leveraging reverse feature engineering to link the contextualized input and learning model to support intent recognition. Since performance evaluation is achieved based on different ML models, we use transformer base models to evaluate the proposed approach using a labelled dialogue dataset (MSDialogue) of question-answering interactions between information seekers and answer providers.

Explainable AI (XAI) is widely viewed as a sine qua non for ever-expanding AI research. A better understanding of the needs of XAI users, as well as human-centered evaluations of explainable models are both a necessity and a challenge. In this paper, we explore how HCI and AI researchers conduct user studies in XAI applications based on a systematic literature review. After identifying and thoroughly analyzing 85 core papers with human-based XAI evaluations over the past five years, we categorize them along the measured characteristics of explanatory methods, namely trust, understanding, fairness, usability, and human-AI team performance. Our research shows that XAI is spreading more rapidly in certain application domains, such as recommender systems than in others, but that user evaluations are still rather sparse and incorporate hardly any insights from cognitive or social sciences. Based on a comprehensive discussion of best practices, i.e., common models, design choices, and measures in user studies, we propose practical guidelines on designing and conducting user studies for XAI researchers and practitioners. Lastly, this survey also highlights several open research directions, particularly linking psychological science and human-centered XAI.

推荐系统是帮助用户以个性化方式找到信息过载的兴趣项目，使用关于各用户的需求和偏好的知识。在会话推荐方法中，这些需求和偏好由系统中的交互式多匝对话框中的。文献中的一种常见方法来驱动这些对话框是逐步向用户逐步询问他们关于期望和不期望的项目特征或关于单个项目的偏好。在这种情况下，在该上下文中的核心研究目标是效率，在找到令人满意的项目之前对所需交互的数量进行评估。这通常是通过对向用户询问的最佳下一个问题的推断来实现。如今，对对话效率的研究几乎完全是经验的，旨在说明，例如，选择问题的一个策略优于给定的应用程序中的另一个策略。通过这项工作，我们将实证研究补充了理论，域名的对话建议的独立模型。该模型旨在涵盖一系列应用方案，使我们能够以正式的方式调查会话方法的效率，特别是关于设计最佳相互作用策略的计算复杂性。通过如此理论分析，我们表明，找到高效的会话策略是NP - 硬，并且在PSPace中，但对于特定类型的目录，上限降低到Polylogspace。从实际的角度来看，该结果意味着目录特征可以强烈影响个人对话策略的效率，因此在设计新策略时应考虑。从真实世界派生的数据集的初步实证分析与我们的研究结果对齐。

在线众包平台使对算法输出进行评估变得容易，并提出诸如“哪个图像更好，A或B？”之类的问题的调查，在视觉和图形研究论文中的这些“用户研究”的扩散导致了增加匆忙进行的研究充其量是草率且无知的，并且可能有害和误导。我们认为，在计算机视觉和图形论文中的用户研究的设计和报告需要更多关注。为了提高从业者的知识并提高用户研究的可信度和可复制性，我们提供了用户体验研究（UXR），人类计算机互动（HCI）和相关领域的方法论的概述。我们讨论了目前在计算机视觉和图形研究中未利用的基础用户研究方法（例如，需要调查），但可以为研究项目提供宝贵的指导。我们为有兴趣探索其他UXR方法的读者提供了进一步的指导。最后，我们描述了研究界的更广泛的开放问题和建议。我们鼓励作者和审稿人都认识到，并非每项研究贡献都需要用户研究，而且根本没有研究比不小心进行的研究更好。

Recommender systems can strongly influence which information we see online, e.g., on social media, and thus impact our beliefs, decisions, and actions. At the same time, these systems can create substantial business value for different stakeholders. Given the growing potential impact of such AI-based systems on individuals, organizations, and society, questions of fairness have gained increased attention in recent years. However, research on fairness in recommender systems is still a developing area. In this survey, we first review the fundamental concepts and notions of fairness that were put forward in the area in the recent past. Afterward, through a review of more than 150 scholarly publications, we present an overview of how research in this field is currently operationalized, e.g., in terms of general research methodology, fairness measures, and algorithmic approaches. Overall, our analysis of recent works points to specific research gaps. In particular, we find that in many research works in computer science, very abstract problem operationalizations are prevalent, and questions of the underlying normative claims and what represents a fair recommendation in the context of a given application are often not discussed in depth. These observations call for more interdisciplinary research to address fairness in recommendation in a more comprehensive and impactful manner.

自动评估对开放式对话系统开发有益。但是，标准的单词重叠度量（BLEU，Rouge）与开放式对话系统的人类判断不符合良好。在这项工作中，我们建议使用下一个用户话语的情绪转向或对话级别评估。具体来说，我们提出了三种方法：一种直接预测下一个情绪的方法，以及使用话语或反馈发生器模型预测下一个用户话语的另外两个，然后对其情绪进行分类。实验表明我们的模型在书面和口语开放域对话数据集上表现出现有的自动评估指标。

Empathy is a vital factor that contributes to mutual understanding, and joint problem-solving. In recent years, a growing number of studies have recognized the benefits of empathy and started to incorporate empathy in conversational systems. We refer to this topic as empathetic conversational systems. To identify the critical gaps and future opportunities in this topic, this paper examines this rapidly growing field using five review dimensions: (i) conceptual empathy models and frameworks, (ii) adopted empathy-related concepts, (iii) datasets and algorithmic techniques developed, (iv) evaluation strategies, and (v) state-of-the-art approaches. The findings show that most studies have centered on the use of the EMPATHETICDIALOGUES dataset, and the text-based modality dominates research in this field. Studies mainly focused on extracting features from the messages of the users and the conversational systems, with minimal emphasis on user modeling and profiling. Notably, studies that have incorporated emotion causes, external knowledge, and affect matching in the response generation models, have obtained significantly better results. For implementation in diverse real-world settings, we recommend that future studies should address key gaps in areas of detecting and authenticating emotions at the entity level, handling multimodal inputs, displaying more nuanced empathetic behaviors, and encompassing additional dialogue system features.

由国家科学基金会（NSF）资助的DILPORT项目http://dialport.org/涵盖了一组工具和服务，旨在满足对话研究社区的需求。在六年的时间里，已经创建了几种产品，包括Dialport Portal和DialCrowd。本文描述了这些贡献，这些贡献将在Sigdial中进行演示，包括实施，先前的研究，相应的发现以及工具将继续可为社区免费提供的位置。

人为决策的合作努力实现超出人类或人工智能表现的团队绩效。但是，许多因素都会影响人类团队的成功，包括用户的领域专业知识，AI系统的心理模型，对建议的信任等等。这项工作检查了用户与三种模拟算法模型的互动，所有这些模型都具有相似的精度，但对其真正的正面和真实负率进行了不同的调整。我们的研究检查了在非平凡的血管标签任务中的用户性能，参与者表明给定的血管是流动还是停滞。我们的结果表明，虽然AI-Assistant的建议可以帮助用户决策，但用户相对于AI的基线性能和AI错误类型的补充调整等因素会显着影响整体团队的整体绩效。新手用户有所改善，但不能达到AI的准确性。高度熟练的用户通常能够识别何时应遵循AI建议，并通常保持或提高其性能。与AI相似的准确性水平的表演者在AI建议方面是最大的变化。此外，我们发现用户对AI的性能亲戚的看法也对给出AI建议时的准确性是否有所提高产生重大影响。这项工作提供了有关与人类协作有关的因素的复杂性的见解，并提供了有关如何开发以人为中心的AI算法来补充用户在决策任务中的建议。

会话推荐系统（CRS）通过推断用户首选项从对话历史推断用户偏好，提供准确的建议，并生成适当的响应。以前的CRSS使用基于知识图（kg）的推荐模块，并将kg与语言模型集成为响应生成。虽然基于KG的方法证明有效，但仍有两个问题仍有待解决。首先，基于KG的方法忽略会话环境中的信息，但仅依赖于实体关系和单词包来推荐项目。其次，它需要实质性的工程努力来维持模型特定的关系的KG，从而导致灵活性更少。在本文中，我们提出了一种简单而有效的架构，包括预先接受了训练的语言模型（PLM）和项目元数据编码器。编码器学会将项目元数据映射到嵌入式，该嵌入式可以反映对话框上下文中的语义信息。然后，PLM将语义对齐的项目嵌入式与对话上下文一起消耗，以生成高质量的建议和响应。我们的模型通过直接将每个项目转换为嵌入来降低工程复杂性而不是建模实体关系。基准数据集重拨的实验结果表明，我们的模型在两种推荐和响应生成任务上获得最先进的结果。

近年来，人们对可解释的AI（XAI）领域的兴趣激增，文献中提出了很多算法。但是，关于如何评估XAI的共识缺乏共识阻碍了该领域的发展。我们强调说，XAI并不是一组整体技术 - 研究人员和从业人员已经开始利用XAI算法来构建服务于不同使用环境的XAI系统，例如模型调试和决策支持。然而，对XAI的算法研究通常不会考虑到这些多样化的下游使用环境，从而对实际用户产生有限的有效性甚至意想不到的后果，以及从业者做出技术选择的困难。我们认为，缩小差距的一种方法是开发评估方法，这些方法在这些用法上下文中说明了不同的用户需求。为了实现这一目标，我们通过考虑XAI评估标准对XAI的原型用法上下文的相对重要性，介绍了情境化XAI评估的观点。为了探索XAI评估标准的上下文依赖性，我们进行了两项调查研究，一项与XAI主题专家，另一项与人群工人进行。我们的结果敦促通过使用使用的评估实践进行负责任的AI研究，并在不同使用环境中对XAI的用户需求有细微的了解。

自然语言界面（NLIS）为用户提供了一种方便的方式来通过自然语言查询交互分析数据。然而，交互式数据分析是一种苛刻的过程，特别是对于新手数据分析师。从不同域探索大型和复杂的数据集时，数据分析师不一定有足够的关于数据和应用域的知识。它使他们无法有效地引起一系列查询并广泛导出理想的数据洞察力。在本文中，我们使用Step-Wise查询推荐模块开发NLI，以帮助用户选择适当的下一步探索操作。该系统采用数据驱动方法，以基于其查询日志生成用户兴趣的应用域的逐步语义相关和上下文感知的查询建议。此外，该系统可帮助用户将查询历史和结果组织成仪表板以传达发现的数据洞察力。通过比较用户学习，我们表明我们的系统可以促进比没有推荐模块的基线更有效和系统的数据分析过程。

以任务为导向的对话系统（TODS）继续升高，因为各种行业发现有效地利用其能力，节省时间和金钱。然而，即使是最先进的TOD尚未达到其全部潜力。TOD通常具有主要设计专注于完成手头的任务，因此任务分辨率的度量应优先考虑。可能会忽略可能指向对话的其他可能指向成功或其他方面的会话质量属性。这可能导致人类和对话系统之间的相互作用，让用户不满意或沮丧。本文探讨了对话系统的评价框架的文献，以及对话系统中的会话质量属性的作用，看起来，如何以及在与对话系统的性能相关的情况下，如何相关。

会话推荐系统提供互动，参与用户的互动方式的承诺，以查找他们喜欢的物品。我们寻求通过三维提高对话建议：1）我们的目标是模仿建议的常见人类互动模式：专家证明他们的建议，寻求者解释为什么他们不喜欢该项目，双方遍历对话框迭代对话框找到合适的物品。 2）我们利用对会话批评的想法来允许用户通过批评主观方面灵活地与自然语言理由进行互动。 3）我们将会话建议适应更广泛的域名，其中不可用的人群地面真理对话框。我们开发了一个新的两部分框架，用于培训会话推荐系统。首先，我们培训推荐制度，共同建议项目，并用主观方面证明其推理。然后，我们微调该模型通过自我监督的机器人播放来合并迭代用户反馈。三个真实数据集的实验表明，与最先进的方法相比，我们的系统可以应用于各种域的不同推荐模型，以实现对话建议的卓越性能。我们还评估了我们对人类用户的模型，显示在我们的框架下培训的系统提供更有用，有用，有用，并且在热情和冷启动设置中提供的知识推荐。