越来越多的研究进行了人类主题评估，以研究为用户提供机器学习模型的解释是否可以帮助他们制定实际现实世界中的用例。但是，运行的用户研究具有挑战性且昂贵，因此每个研究通常只评估有限的不同设置，例如，研究通常只评估一些任意选择的解释方法。为了应对这些挑战和援助用户研究设计，我们介绍了用用例的模拟评估（Simevals）。 SIMEVALS涉及培训算法剂，以输入信息内容（例如模型解释），这些信息内容将在人类学科研究中提交给每个参与者，以预测感兴趣的用例的答案。算法代理的测试集精度提供了衡量下游用例信息内容的预测性。我们对三种现实世界用例（正向模拟，模型调试和反事实推理）进行全面评估，以证明Simevals可以有效地确定哪种解释方法将为每个用例提供帮助。这些结果提供了证据表明，Simevals可用于有效筛选一组重要的用户研究设计决策，例如在进行潜在昂贵的用户研究之前，选择应向用户提供哪些解释。

Explainable AI (XAI) is widely viewed as a sine qua non for ever-expanding AI research. A better understanding of the needs of XAI users, as well as human-centered evaluations of explainable models are both a necessity and a challenge. In this paper, we explore how HCI and AI researchers conduct user studies in XAI applications based on a systematic literature review. After identifying and thoroughly analyzing 85 core papers with human-based XAI evaluations over the past five years, we categorize them along the measured characteristics of explanatory methods, namely trust, understanding, fairness, usability, and human-AI team performance. Our research shows that XAI is spreading more rapidly in certain application domains, such as recommender systems than in others, but that user evaluations are still rather sparse and incorporate hardly any insights from cognitive or social sciences. Based on a comprehensive discussion of best practices, i.e., common models, design choices, and measures in user studies, we propose practical guidelines on designing and conducting user studies for XAI researchers and practitioners. Lastly, this survey also highlights several open research directions, particularly linking psychological science and human-centered XAI.

随着AI系统表现出越来越强烈的预测性能，它们的采用已经在许多域中种植。然而，在刑事司法和医疗保健等高赌场域中，由于安全，道德和法律问题，往往是完全自动化的，但是完全手工方法可能是不准确和耗时的。因此，对研究界的兴趣日益增长，以增加人力决策。除了为此目的开发AI技术之外，人民AI决策的新兴领域必须采用实证方法，以形成对人类如何互动和与AI合作做出决定的基础知识。为了邀请和帮助结构研究努力了解理解和改善人为 - AI决策的研究，我们近期对本课题的实证人体研究的文献。我们总结了在三个重要方面的100多篇论文中的研究设计选择：（1）决定任务，（2）AI模型和AI援助要素，以及（3）评估指标。对于每个方面，我们总结了当前的趋势，讨论了现场当前做法中的差距，并列出了未来研究的建议。我们的调查强调了开发共同框架的需要考虑人类 - AI决策的设计和研究空间，因此研究人员可以在研究设计中进行严格的选择，研究界可以互相构建并产生更广泛的科学知识。我们还希望这项调查将成为HCI和AI社区的桥梁，共同努力，相互塑造人类决策的经验科学和计算技术。

由于算法预测对人类的影响增加，模型解释性已成为机器学习（ML）的重要问题。解释不仅可以帮助用户了解为什么ML模型做出某些预测，还可以帮助用户了解这些预测如何更改。在本论文中，我们研究了从三个有利位置的ML模型的解释性：算法，用户和教学法，并为解释性问题贡献了一些新颖的解决方案。

Teaser: How seemingly trivial experiment design choices to simplify the evaluation of human-ML systems can yield misleading results.

专家决策者开始依靠数据驱动的自动化代理来帮助他们提供各种任务。对于此合作执行正确，人类决策者必须具有何时以及不依赖代理人的何时和何时具有智力模式。在这项工作中，我们的目标是确保人工决策者学习代理商的优势和劣势的有效心理模型。为了实现这一目标，我们提出了一个基于示例的教学策略，人类在代理人的帮助下解决任务并尝试制定一组何时和不推迟的指导方针。我们提出了一种新颖的AI的心理模型的参数化，其在教学示例周围的当地地区应用最近的邻居规则。使用此模型，我们推出了选择代表教学集的近最优策略。我们验证了我们在使用人群工人的多跳问题回答任务中对教学战略的好处，并发现当工人从教学阶段绘制正确的教训时，他们的任务性能提高了，我们还在一组合成实验上验证了我们的方法。

机器学习（ML）模型越来越多地用于在现实世界应用中做出关键决策，但它们也变得更加复杂，使它们更难理解。为此，已经提出了几种解释模型预测的技术。但是，从业人员努力利用解释，因为他们通常不知道该使用哪个，如何解释结果，并且可能没有足够的数据科学经验来获得解释。此外，大多数当前的作品都集中在生成一声解释上，并且不允许用户跟进并提出有关解释的细粒度问题，这可能会令人沮丧。在这项工作中，我们通过引入TalkTomodel：一个开放式对话系统来解决这些挑战，以了解机器学习模型。具体而言，TalkTomodel包括三个关键组成部分：1）用于参与对话的自然语言接口，使理解高度访问的ML模型，2）适应任何表格模型和数据集的对话引擎，解释自然语言，将其映射到适当的操作（例如，特征重要性解释，反事实说明，显示模型错误）并生成文本响应，3）执行组件运行操作并确保说明准确。我们对TalkTomodel进行了定量和人类的主题评估。我们发现该系统以高精度了解新颖数据集和模型上的用户问题，这表明了系统将其推广到新情况的能力。在人类评估中，有73％的医护人员（例如，医生和护士）同意他们将使用TalkTomodel对基线点击系统使用，而84.6％的ML研究生同意TalkTomodel更容易使用。

为了提高模型透明度并允许用户形成训练有素的ML模型的心理模型，解释对AI和机器学习（ML）社区的兴趣越来越高。但是，解释可以超越这种方式通信作为引起用户控制的机制，因为一旦用户理解，他们就可以提供反馈。本文的目的是介绍研究概述，其中解释与交互式功能相结合，是从头开始学习新模型并编辑和调试现有模型的手段。为此，我们绘制了最先进的概念图，根据其预期目的以及它们如何构建相互作用，突出它们之间的相似性和差异来分组相关方法。我们还讨论开放研究问题并概述可能的方向，希望促使人们对这个开花研究主题进行进一步的研究。

Post-hoc explanations of machine learning models are crucial for people to understand and act on algorithmic predictions. An intriguing class of explanations is through counterfactuals, hypothetical examples that show people how to obtain a different prediction. We posit that effective counterfactual explanations should satisfy two properties: feasibility of the counterfactual actions given user context and constraints, and diversity among the counterfactuals presented. To this end, we propose a framework for generating and evaluating a diverse set of counterfactual explanations based on determinantal point processes. To evaluate the actionability of counterfactuals, we provide metrics that enable comparison of counterfactual-based methods to other local explanation methods. We further address necessary tradeoffs and point to causal implications in optimizing for counterfactuals. Our experiments on four real-world datasets show that our framework can generate a set of counterfactuals that are diverse and well approximate local decision boundaries, outperforming prior approaches to generating diverse counterfactuals. We provide an implementation of the framework at https://github.com/microsoft/DiCE. CCS CONCEPTS• Applied computing → Law, social and behavioral sciences.

尽管Ai在各个领域的超人表现，但人类往往不愿意采用AI系统。许多现代AI技术中缺乏可解释性的缺乏可令人伤害他们的采用，因为用户可能不相信他们不理解的决策过程的系统。我们通过一种新的实验调查这一主张，其中我们使用互动预测任务来分析可解释性和结果反馈对AI信任的影响和AI辅助预测任务的人类绩效。我们发现解释性导致了不强大的信任改进，而结果反馈具有明显更大且更可靠的效果。然而，这两个因素对参与者的任务表现产生了适度的影响。我们的研究结果表明（1）接受重大关注的因素，如可解释性，在越来越多的信任方面可能比其他结果反馈的因素效果，而（2）通过AI系统增强人类绩效可能不是在AI中增加信任的简单问题。 ，随着增加的信任并不总是与性能同样大的改进相关联。这些调查结果邀请了研究界不仅关注产生解释的方法，而且还专注于确保在实践中产生影响和表现的技巧。

众所周知，端到端的神经NLP体系结构很难理解，这引起了近年来为解释性建模的许多努力。模型解释的基本原则是忠诚，即，解释应准确地代表模型预测背后的推理过程。这项调查首先讨论了忠诚的定义和评估及其对解释性的意义。然后，我们通过将方法分为五类来介绍忠实解释的最新进展：相似性方法，模型内部结构的分析，基于反向传播的方法，反事实干预和自我解释模型。每个类别将通过其代表性研究，优势和缺点来说明。最后，我们从它们的共同美德和局限性方面讨论了上述所有方法，并反思未来的工作方向忠实的解释性。对于有兴趣研究可解释性的研究人员，这项调查将为该领域提供可访问且全面的概述，为进一步探索提供基础。对于希望更好地了解自己的模型的用户，该调查将是一项介绍性手册，帮助选择最合适的解释方法。

如今，人工智能（AI）已成为临床和远程医疗保健应用程序的基本组成部分，但是最佳性能的AI系统通常太复杂了，无法自我解释。可解释的AI（XAI）技术被定义为揭示系统的预测和决策背后的推理，并且在处理敏感和个人健康数据时，它们变得更加至关重要。值得注意的是，XAI并未在不同的研究领域和数据类型中引起相同的关注，尤其是在医疗保健领域。特别是，许多临床和远程健康应用程序分别基于表格和时间序列数据，而XAI并未在这些数据类型上进行分析，而计算机视觉和自然语言处理（NLP）是参考应用程序。为了提供最适合医疗领域表格和时间序列数据的XAI方法的概述，本文提供了过去5年中文献的审查，说明了生成的解释的类型以及为评估其相关性所提供的努力和质量。具体而言，我们确定临床验证，一致性评估，客观和标准化质量评估以及以人为本的质量评估作为确保最终用户有效解释的关键特征。最后，我们强调了该领域的主要研究挑战以及现有XAI方法的局限性。

Prior work has identified a resilient phenomenon that threatens the performance of human-AI decision-making teams: overreliance, when people agree with an AI, even when it is incorrect. Surprisingly, overreliance does not reduce when the AI produces explanations for its predictions, compared to only providing predictions. Some have argued that overreliance results from cognitive biases or uncalibrated trust, attributing overreliance to an inevitability of human cognition. By contrast, our paper argues that people strategically choose whether or not to engage with an AI explanation, demonstrating empirically that there are scenarios where AI explanations reduce overreliance. To achieve this, we formalize this strategic choice in a cost-benefit framework, where the costs and benefits of engaging with the task are weighed against the costs and benefits of relying on the AI. We manipulate the costs and benefits in a maze task, where participants collaborate with a simulated AI to find the exit of a maze. Through 5 studies (N = 731), we find that costs such as task difficulty (Study 1), explanation difficulty (Study 2, 3), and benefits such as monetary compensation (Study 4) affect overreliance. Finally, Study 5 adapts the Cognitive Effort Discounting paradigm to quantify the utility of different explanations, providing further support for our framework. Our results suggest that some of the null effects found in literature could be due in part to the explanation not sufficiently reducing the costs of verifying the AI's prediction.

自动错误通常涉及培训数据和学习过程，调试机器学习模型很难。如果我们没有关于模型如何实际工作的线索，这变得更加困难。在这项调查中，我们审查了利用解释的论文使人类提供反馈和调试NLP模型。我们称这个问题解释为基础的人类调试（EBHD）。特别是，我们沿着EBHD的三个维度（错误上下文，工作流程和实验设置）分类和讨论现有工作，编译EBHD组件如何影响反馈提供商的调查结果，并突出可能是未来的研究方向的打开问题。

自我跟踪可以提高人们对他们不健康的行为的认识，为行为改变提供见解。事先工作探索了自动跟踪器如何反映其记录数据，但它仍然不清楚他们从跟踪反馈中学到多少，以及哪些信息更有用。实际上，反馈仍然可以压倒，并简明扼要可以通过增加焦点和减少解释负担来改善学习。为了简化反馈，我们提出了一个自动跟踪反馈显着框架，以定义提供反馈的特定信息，为什么这些细节以及如何呈现它们（手动引出或自动反馈）。我们从移动食品跟踪的实地研究中收集了调查和膳食图像数据，并实施了Salientrack，一种机器学习模型，以预测用户从跟踪事件中学习。使用可解释的AI（XAI）技术，SalientRack识别该事件的哪些特征是最突出的，为什么它们导致正面学习结果，并优先考虑如何根据归属分数呈现反馈。我们展示了用例，并进行了形成性研究，以展示Salientrack的可用性和有用性。我们讨论自动跟踪中可读性的影响，以及如何添加模型解释性扩大了提高反馈体验的机会。

围绕深度学习算法的长期挑战是解开和了解它们如何做出决定。可解释的人工智能（XAI）提供了方法，以解释算法的内部功能及其决策背后的原因，这些方式以人类用户的解释和可理解的方式提供了解释。 。到目前为止，已经开发了许多XAI方法，并且对这些策略进行比较分析似乎是为了辨别它们与临床预测模型的相关性。为此，我们首先实施了两个使用结构化表格和时间序列生理数据的创伤性脑损伤（TBI）（TBI）的预测模型。使用六种不同的解释技术来描述本地和全球水平的预测模型。然后，我们对每种策略的优点和缺点进行了批判性分析，突出了对使用这些方法感兴趣的研究人员的影响。根据几种XAI特征，例如可理解性，忠诚度和稳定性，将实施的方法相互比较。我们的发现表明，Shap是最稳定的，其保真度最高，但缺乏可理解性。另一方面，锚是最可理解的方法，但仅适用于表格数据而不是时间序列数据。

可解释的人工智能（XAI）方法旨在帮助人类用户更好地了解AI代理的决策。但是，许多现代的XAI方法对最终用户，尤其是那些没有先前AI或ML知识的用户都不纯粹。在本文中，我们提出了一种新颖的XAI方法，我们称为责任，标识了特定决定的最负责任的培训示例。然后可以将此示例显示为一个解释：“这是我（AI）学到的使我做到的。”我们介绍了许多领域的实验结果，以及亚马逊机械Turk用户研究的结果，比较了责任和图像分类任务上的现有XAI方法。我们的结果表明，责任可以帮助提高人类最终用户和次要ML模型的准确性。

人工智能（AI）和机器学习（ML）在网络安全挑战中的应用已在行业和学术界的吸引力，部分原因是对关键系统（例如云基础架构和政府机构）的广泛恶意软件攻击。入侵检测系统（IDS）使用某些形式的AI，由于能够以高预测准确性处理大量数据，因此获得了广泛的采用。这些系统托管在组织网络安全操作中心（CSOC）中，作为一种防御工具，可监视和检测恶意网络流，否则会影响机密性，完整性和可用性（CIA）。 CSOC分析师依靠这些系统来决定检测到的威胁。但是，使用深度学习（DL）技术设计的IDS通常被视为黑匣子模型，并且没有为其预测提供理由。这为CSOC分析师造成了障碍，因为他们无法根据模型的预测改善决策。解决此问题的一种解决方案是设计可解释的ID（X-IDS）。这项调查回顾了可解释的AI（XAI）的最先进的ID，目前的挑战，并讨论了这些挑战如何涉及X-ID的设计。特别是，我们全面讨论了黑匣子和白盒方法。我们还在这些方法之间的性能和产生解释的能力方面提出了权衡。此外，我们提出了一种通用体系结构，该建筑认为人类在循环中，该架构可以用作设计X-ID时的指南。研究建议是从三个关键观点提出的：需要定义ID的解释性，需要为各种利益相关者量身定制的解释以及设计指标来评估解释的需求。

支持用户日常生活的代理商不仅需要考虑用户的特征，还要考虑用户的社交状况。现有在包括社交环境的工作使用某种类型的情况提示作为信息处理技术的输入，以评估用户的预期行为。但是，研究表明，确定情况的含义非常重要，这是我们称之为社会状况理解的步骤。我们建议使用情境的心理特征，这些情况在社会科学中提出了将含义归因于情境，作为社会状况理解的基础。使用来自用户研究的数据，我们从两个角度评估了该建议。首先，从技术角度来看，我们表明，情况的心理特征可以用作预测社会情况优先级的投入，并且可以从社会状况的特征中预测情况的心理特征。其次，我们研究了理解步骤在人机含义制造中的作用。我们表明，心理特征可以成功地用作向用户解释议程管理个人助理代理商的决定的基础。

由于事后解释方法越来越多地被利用以在高风险环境中解释复杂的模型，因此确保在包括少数群体在内的各个种群亚组中，所得解释的质量始终高。例如，与与其他性别相关的实例（例如，女性）相关的实例（例如，女性）的说明不应该是与其他性别相关的解释。但是，几乎没有研究能够评估通过最先进的解释方法在输出的解释质量上是否存在这种基于群体的差异。在这项工作中，我们通过启动确定基于群体的解释质量差异的研究来解决上述差距。为此，我们首先概述了构成解释质量以及差异尤其有问题的关键属性。然后，我们利用这些属性提出了一个新的评估框架，该框架可以通过最新方法定量测量解释质量的差异。使用此框架，我们进行了严格的经验分析，以了解是否出现了解释质量的基于小组的差异。我们的结果表明，当所解释的模型复杂且高度非线性时，这种差异更可能发生。此外，我们还观察到某些事后解释方法（例如，综合梯度，外形）更有可能表现出上述差异。据我们所知，这项工作是第一个强调和研究解释质量差异的问题。通过这样做，我们的工作阐明了以前未开发的方式，其中解释方法可能在现实世界决策中引入不公平。