Prior work has identified a resilient phenomenon that threatens the performance of human-AI decision-making teams: overreliance, when people agree with an AI, even when it is incorrect. Surprisingly, overreliance does not reduce when the AI produces explanations for its predictions, compared to only providing predictions. Some have argued that overreliance results from cognitive biases or uncalibrated trust, attributing overreliance to an inevitability of human cognition. By contrast, our paper argues that people strategically choose whether or not to engage with an AI explanation, demonstrating empirically that there are scenarios where AI explanations reduce overreliance. To achieve this, we formalize this strategic choice in a cost-benefit framework, where the costs and benefits of engaging with the task are weighed against the costs and benefits of relying on the AI. We manipulate the costs and benefits in a maze task, where participants collaborate with a simulated AI to find the exit of a maze. Through 5 studies (N = 731), we find that costs such as task difficulty (Study 1), explanation difficulty (Study 2, 3), and benefits such as monetary compensation (Study 4) affect overreliance. Finally, Study 5 adapts the Cognitive Effort Discounting paradigm to quantify the utility of different explanations, providing further support for our framework. Our results suggest that some of the null effects found in literature could be due in part to the explanation not sufficiently reducing the costs of verifying the AI's prediction.

Explainable AI (XAI) is widely viewed as a sine qua non for ever-expanding AI research. A better understanding of the needs of XAI users, as well as human-centered evaluations of explainable models are both a necessity and a challenge. In this paper, we explore how HCI and AI researchers conduct user studies in XAI applications based on a systematic literature review. After identifying and thoroughly analyzing 85 core papers with human-based XAI evaluations over the past five years, we categorize them along the measured characteristics of explanatory methods, namely trust, understanding, fairness, usability, and human-AI team performance. Our research shows that XAI is spreading more rapidly in certain application domains, such as recommender systems than in others, but that user evaluations are still rather sparse and incorporate hardly any insights from cognitive or social sciences. Based on a comprehensive discussion of best practices, i.e., common models, design choices, and measures in user studies, we propose practical guidelines on designing and conducting user studies for XAI researchers and practitioners. Lastly, this survey also highlights several open research directions, particularly linking psychological science and human-centered XAI.

随着AI系统表现出越来越强烈的预测性能，它们的采用已经在许多域中种植。然而，在刑事司法和医疗保健等高赌场域中，由于安全，道德和法律问题，往往是完全自动化的，但是完全手工方法可能是不准确和耗时的。因此，对研究界的兴趣日益增长，以增加人力决策。除了为此目的开发AI技术之外，人民AI决策的新兴领域必须采用实证方法，以形成对人类如何互动和与AI合作做出决定的基础知识。为了邀请和帮助结构研究努力了解理解和改善人为 - AI决策的研究，我们近期对本课题的实证人体研究的文献。我们总结了在三个重要方面的100多篇论文中的研究设计选择：（1）决定任务，（2）AI模型和AI援助要素，以及（3）评估指标。对于每个方面，我们总结了当前的趋势，讨论了现场当前做法中的差距，并列出了未来研究的建议。我们的调查强调了开发共同框架的需要考虑人类 - AI决策的设计和研究空间，因此研究人员可以在研究设计中进行严格的选择，研究界可以互相构建并产生更广泛的科学知识。我们还希望这项调查将成为HCI和AI社区的桥梁，共同努力，相互塑造人类决策的经验科学和计算技术。

人为决策的合作努力实现超出人类或人工智能表现的团队绩效。但是，许多因素都会影响人类团队的成功，包括用户的领域专业知识，AI系统的心理模型，对建议的信任等等。这项工作检查了用户与三种模拟算法模型的互动，所有这些模型都具有相似的精度，但对其真正的正面和真实负率进行了不同的调整。我们的研究检查了在非平凡的血管标签任务中的用户性能，参与者表明给定的血管是流动还是停滞。我们的结果表明，虽然AI-Assistant的建议可以帮助用户决策，但用户相对于AI的基线性能和AI错误类型的补充调整等因素会显着影响整体团队的整体绩效。新手用户有所改善，但不能达到AI的准确性。高度熟练的用户通常能够识别何时应遵循AI建议，并通常保持或提高其性能。与AI相似的准确性水平的表演者在AI建议方面是最大的变化。此外，我们发现用户对AI的性能亲戚的看法也对给出AI建议时的准确性是否有所提高产生重大影响。这项工作提供了有关与人类协作有关的因素的复杂性的见解，并提供了有关如何开发以人为中心的AI算法来补充用户在决策任务中的建议。

There has been a recent resurgence in the area of explainable artificial intelligence as researchers and practitioners seek to make their algorithms more understandable. Much of this research is focused on explicitly explaining decisions or actions to a human observer, and it should not be controversial to say that looking at how humans explain to each other can serve as a useful starting point for explanation in artificial intelligence. However, it is fair to say that most work in explainable artificial intelligence uses only the researchers' intuition of what constitutes a 'good' explanation. There exists vast and valuable bodies of research in philosophy, psychology, and cognitive science of how people define, generate, select, evaluate, and present explanations, which argues that people employ certain cognitive biases and social expectations towards the explanation process. This paper argues that the field of explainable artificial intelligence should build on this existing research, and reviews relevant papers from philosophy, cognitive psychology/science, and social psychology, which study these topics. It draws out some important findings, and discusses ways that these can be infused with work on explainable artificial intelligence.

解释已被框起来是更好，更公平的人类决策的基本特征。在公平的背景下，这一点尚未得到适当的研究，因为先前的工作主要根据他们对人们的看法的影响进行了评估。但是，我们认为，要促进更公正的决定，它们必须使人类能够辨别正确和错误的AI建议。为了验证我们的概念论点，我们进行了一项实证研究，以研究解释，公平感和依赖行为之间的关系。我们的发现表明，解释会影响人们的公平感，这反过来又影响了依赖。但是，我们观察到，低公平的看法会导致AI建议的更多替代，无论它们是正确还是错。这（i）引起了人们对现有解释对增强分配公平性的有用性的怀疑，并且（ii）为为什么不必将感知作为适当依赖的代理而被混淆的重要案例。

尽管Ai在各个领域的超人表现，但人类往往不愿意采用AI系统。许多现代AI技术中缺乏可解释性的缺乏可令人伤害他们的采用，因为用户可能不相信他们不理解的决策过程的系统。我们通过一种新的实验调查这一主张，其中我们使用互动预测任务来分析可解释性和结果反馈对AI信任的影响和AI辅助预测任务的人类绩效。我们发现解释性导致了不强大的信任改进，而结果反馈具有明显更大且更可靠的效果。然而，这两个因素对参与者的任务表现产生了适度的影响。我们的研究结果表明（1）接受重大关注的因素，如可解释性，在越来越多的信任方面可能比其他结果反馈的因素效果，而（2）通过AI系统增强人类绩效可能不是在AI中增加信任的简单问题。 ，随着增加的信任并不总是与性能同样大的改进相关联。这些调查结果邀请了研究界不仅关注产生解释的方法，而且还专注于确保在实践中产生影响和表现的技巧。

Incivility remains a major challenge for online discussion platforms, to such an extent that even conversations between well-intentioned users can often derail into uncivil behavior. Traditionally, platforms have relied on moderators to -- with or without algorithmic assistance -- take corrective actions such as removing comments or banning users. In this work we propose a complementary paradigm that directly empowers users by proactively enhancing their awareness about existing tension in the conversation they are engaging in and actively guides them as they are drafting their replies to avoid further escalation. As a proof of concept for this paradigm, we design an algorithmic tool that provides such proactive information directly to users, and conduct a user study in a popular discussion platform. Through a mixed methods approach combining surveys with a randomized controlled experiment, we uncover qualitative and quantitative insights regarding how the participants utilize and react to this information. Most participants report finding this proactive paradigm valuable, noting that it helps them to identify tension that they may have otherwise missed and prompts them to further reflect on their own replies and to revise them. These effects are corroborated by a comparison of how the participants draft their reply when our tool warns them that their conversation is at risk of derailing into uncivil behavior versus in a control condition where the tool is disabled. These preliminary findings highlight the potential of this user-centered paradigm and point to concrete directions for future implementations.

人工智能算法越来越多地被公共机构作为决策助手，并承诺克服人类决策者的偏见。同时，他们可能会在人类算法中引入新的偏见。在心理学和公共行政文献上，我们调查了两个关键偏见：即使面对来自其他来源的警告信号（自动化偏见）的警告信号，对算法建议过度依赖，并选择性地采用算法建议时，这与刻板印象相对应（Selective Adherence）。我们通过在荷兰瓦中进行的三项实验研究评估这些研究，讨论了我们发现对公共部门决策在自动化时代的影响。总体而言，我们的研究表明，对已经脆弱和处境不利的公民自动化自动化的潜在负面影响。

机器学习的最新进展导致人们对可解释的AI（XAI）的兴趣越来越大，使人类能够深入了解机器学习模型的决策。尽管最近有这种兴趣，但XAI技术的实用性尚未在人机组合中得到特征。重要的是，XAI提供了增强团队情境意识（SA）和共享心理模型发展的希望，这是有效的人机团队的关键特征。快速开发这种心理模型在临时人机团队中尤其重要，因为代理商对他人的决策策略没有先验知识。在本文中，我们提出了两个新颖的人类受试者实验，以量化在人机组合场景中部署XAI技术的好处。首先，我们证明XAI技术可以支持SA（$ P <0.05）$。其次，我们研究了通过协作AI政策抽象诱导的不同SA级别如何影响临时人机组合绩效。重要的是，我们发现XAI的好处不是普遍的，因为对人机团队的组成有很大的依赖。新手受益于XAI提供增加的SA（$ P <0.05 $），但容易受到认知开销的影响（$ P <0.05 $）。另一方面，专家性能随着基于XAI的支持（$ p <0.05 $）而降低，这表明关注XAI的成本超过了从提供的其他信息中获得的收益以增强SA所获得的收益。我们的结果表明，研究人员必须通过仔细考虑人机团队组成以及XAI方法如何增强SA来故意在正确的情况下设计和部署正确的XAI技术。

近年来，人们对可解释的AI（XAI）领域的兴趣激增，文献中提出了很多算法。但是，关于如何评估XAI的共识缺乏共识阻碍了该领域的发展。我们强调说，XAI并不是一组整体技术 - 研究人员和从业人员已经开始利用XAI算法来构建服务于不同使用环境的XAI系统，例如模型调试和决策支持。然而，对XAI的算法研究通常不会考虑到这些多样化的下游使用环境，从而对实际用户产生有限的有效性甚至意想不到的后果，以及从业者做出技术选择的困难。我们认为，缩小差距的一种方法是开发评估方法，这些方法在这些用法上下文中说明了不同的用户需求。为了实现这一目标，我们通过考虑XAI评估标准对XAI的原型用法上下文的相对重要性，介绍了情境化XAI评估的观点。为了探索XAI评估标准的上下文依赖性，我们进行了两项调查研究，一项与XAI主题专家，另一项与人群工人进行。我们的结果敦促通过使用使用的评估实践进行负责任的AI研究，并在不同使用环境中对XAI的用户需求有细微的了解。

可解释的人工智能和可解释的机器学习是重要性越来越重要的研究领域。然而，潜在的概念仍然难以捉摸，并且缺乏普遍商定的定义。虽然社会科学最近的灵感已经重新分为人类受助人的需求和期望的工作，但该领域仍然错过了具体的概念化。通过审查人类解释性的哲学和社会基础，我们采取措施来解决这一挑战，然后我们转化为技术领域。特别是，我们仔细审查了算法黑匣子的概念，并通过解释过程确定的理解频谱并扩展了背景知识。这种方法允许我们将可解释性（逻辑）推理定义为在某些背景知识下解释的透明洞察（进入黑匣子）的解释 - 这是一个从事在Admoleis中理解的过程。然后，我们采用这种概念化来重新审视透明度和预测权力之间的争议权差异，以及对安特 - 人穴和后宫后解释者的影响，以及可解释性发挥的公平和问责制。我们还讨论机器学习工作流程的组件，可能需要可解释性，从以人为本的可解释性建立一系列思想，重点介绍声明，对比陈述和解释过程。我们的讨论调整并补充目前的研究，以帮助更好地导航开放问题 - 而不是试图解决任何个人问题 - 从而为实现的地面讨论和解释的人工智能和可解释的机器学习的未来进展奠定了坚实的基础。我们结束了我们的研究结果，重新审视了实现所需的算法透明度水平所需的人以人为本的解释过程。

我们在数字世界中采取的每一步都会落后于我们行为的记录;数字足迹。研究表明，算法可以将这些数字足迹转化为精确的心理特征估计，包括人格特质，心理健康或情报。然而，AI产生这些见解的机制通常保持不透明。在本文中，我们展示了如何解释AI（XAI）可以帮助域专家和数据主体验证，问题和改进分类数字足迹的心理特征的模型。我们在来自金融交易数据的大五个人格预测（特征和方面）的范围内，详细说明了两个流行的XAI方法（规则提取和反事实解释）（n = 6,408）。首先，我们展示了全球规则提取在模型中标识的消费模式中如何阐明了最重要的人格，并讨论这些规则如何用于解释，验证和改进模型。其次，我们实施当地规则提取，以表明，由于其独特的财务行为，个人分配给个性课程，并且模型的预测信心与促进预测的特征数量之间存在积极的联系。我们的实验突出了全球和本地XAI方法的重要性。通过更好地了解预测模型如何工作，以及他们如何获得特定人的结果，Xai促进了一个世界的问责制，其中AI影响了世界各地数十亿人的生命。

Teaser: How seemingly trivial experiment design choices to simplify the evaluation of human-ML systems can yield misleading results.

专家决策者开始依靠数据驱动的自动化代理来帮助他们提供各种任务。对于此合作执行正确，人类决策者必须具有何时以及不依赖代理人的何时和何时具有智力模式。在这项工作中，我们的目标是确保人工决策者学习代理商的优势和劣势的有效心理模型。为了实现这一目标，我们提出了一个基于示例的教学策略，人类在代理人的帮助下解决任务并尝试制定一组何时和不推迟的指导方针。我们提出了一种新颖的AI的心理模型的参数化，其在教学示例周围的当地地区应用最近的邻居规则。使用此模型，我们推出了选择代表教学集的近最优策略。我们验证了我们在使用人群工人的多跳问题回答任务中对教学战略的好处，并发现当工人从教学阶段绘制正确的教训时，他们的任务性能提高了，我们还在一组合成实验上验证了我们的方法。

过去十年已经看到人工智能（AI）的显着进展，这导致了用于解决各种问题的算法。然而，通过增加模型复杂性并采用缺乏透明度的黑匣子AI模型来满足这种成功。为了响应这种需求，已经提出了说明的AI（Xai）以使AI更透明，从而提高关键结构域中的AI。虽然有几个关于Xai主题的Xai主题的评论，但在Xai中发现了挑战和潜在的研究方向，这些挑战和研究方向被分散。因此，本研究为Xai组织的挑战和未来的研究方向提出了系统的挑战和未来研究方向：（1）基于机器学习生命周期的Xai挑战和研究方向，基于机器的挑战和研究方向阶段：设计，开发和部署。我们认为，我们的META调查通过为XAI地区的未来探索指导提供了XAI文学。

Intelligent agents have great potential as facilitators of group conversation among older adults. However, little is known about how to design agents for this purpose and user group, especially in terms of agent embodiment. To this end, we conducted a mixed methods study of older adults' reactions to voice and body in a group conversation facilitation agent. Two agent forms with the same underlying artificial intelligence (AI) and voice system were compared: a humanoid robot and a voice assistant. One preliminary study (total n=24) and one experimental study comparing voice and body morphologies (n=36) were conducted with older adults and an experienced human facilitator. Findings revealed that the artificiality of the agent, regardless of its form, was beneficial for the socially uncomfortable task of conversation facilitation. Even so, talkative personality types had a poorer experience with the "bodied" robot version. Design implications and supplementary reactions, especially to agent voice, are also discussed.

事实证明，在学习环境中，社会智能代理（SIA）的部署在不同的应用领域具有多个优势。社会代理创作工具使场景设计师能够创造出对SIAS行为的高度控制的量身定制体验，但是，另一方面，这是有代价的，因为该方案及其创作的复杂性可能变得霸道。在本文中，我们介绍了可解释的社会代理创作工具的概念，目的是分析社会代理的创作工具是否可以理解和解释。为此，我们检查了创作工具Fatima-Toolkit是否可以理解，并且从作者的角度来看，其创作步骤可以解释。我们进行了两项用户研究，以定量评估Fatima-Toolkit的解释性，可理解性和透明度，从场景设计师的角度来看。关键发现之一是，法蒂玛 - 库尔基特（Fatima-Toolkit）的概念模型通常是可以理解的，但是基于情感的概念并不那么容易理解和使用。尽管关于Fatima-Toolkit的解释性有一些积极的方面，但仍需要取得进展，以实现完全可以解释的社会代理商创作工具。我们提供一组关键概念和可能的解决方案，可以指导开发人员构建此类工具。

创意支持工具中的反馈可以帮助人群推动他们的意思。但是，目前的反馈方法需要从促进者或同行中进行人力评估。这不可扩展到大人群。我们提出可解释的定向多样性来自动预测观点的质量和多样性分数，并提供AI解释 - 归因，对比归因和反事实建议 - 反馈意见（低），以及如何获得更高的分数。由于用户迭代地提高其想象，这些解释提供了多面反馈。我们进行了形成性和控制的用户研究，以了解解释的使用和有用性，以提高观念多样性和质量。用户感谢解释反馈帮助重点努力，并提供了改进的方向。这导致解释与没有反馈或反馈仅具有预测的反馈和反馈相比提高了多样性。因此，我们的方法为解释和丰富的反馈开辟了可解释的AI的机会，以获得迭代人群思想和创造力支​​持工具。

我们介绍了Sparrow，这是一个寻求信息的对话代理，与提示的语言模型基线相比，训练有素，更有帮助，正确和无害。我们使用从人类反馈中的强化学习来培训我们的模型，以帮助人类评估者判断代理人的行为。首先，为了使我们的代理人更有帮助和无害，我们将良好对话的要求分解为代理人应遵循的自然语言规则，并分别向评估者询问每个规则。我们证明，这种崩溃使我们能够收集对代理行为的更多针对性的人类判断，并允许更有效的规则条件奖励模型。其次，我们的代理商在收集对模型声明的偏好判决时提供了支持事实主张的来源的证据。对于事实问题，麻雀提供的证据支持了78％的时间。比基线比基线更享受麻雀，同时对人类的对抗性探测更具弹性，在探测时只有8％的时间违反了我们的规则。最后，我们进行了广泛的分析，表明尽管我们的模型学会遵守我们的规则，但它可以表现出分布偏见。