Counterfactual explanations have emerged as a popular solution for the eXplainable AI (XAI) problem of elucidating the predictions of black-box deep-learning systems due to their psychological validity, flexibility across problem domains and proposed legal compliance. While over 100 counterfactual methods exist, claiming to generate plausible explanations akin to those preferred by people, few have actually been tested on users ($\sim7\%$). So, the psychological validity of these counterfactual algorithms for effective XAI for image data is not established. This issue is addressed here using a novel methodology that (i) gathers ground truth human-generated counterfactual explanations for misclassified images, in two user studies and, then, (ii) compares these human-generated ground-truth explanations to computationally-generated explanations for the same misclassifications. Results indicate that humans do not "minimally edit" images when generating counterfactual explanations. Instead, they make larger, "meaningful" edits that better approximate prototypes in the counterfactual class.

由于算法预测对人类的影响增加，模型解释性已成为机器学习（ML）的重要问题。解释不仅可以帮助用户了解为什么ML模型做出某些预测，还可以帮助用户了解这些预测如何更改。在本论文中，我们研究了从三个有利位置的ML模型的解释性：算法，用户和教学法，并为解释性问题贡献了一些新颖的解决方案。

Very few eXplainable AI (XAI) studies consider how users understanding of explanations might change depending on whether they know more or less about the to be explained domain (i.e., whether they differ in their expertise). Yet, expertise is a critical facet of most high stakes, human decision making (e.g., understanding how a trainee doctor differs from an experienced consultant). Accordingly, this paper reports a novel, user study (N=96) on how peoples expertise in a domain affects their understanding of post-hoc explanations by example for a deep-learning, black box classifier. The results show that peoples understanding of explanations for correct and incorrect classifications changes dramatically, on several dimensions (e.g., response times, perceptions of correctness and helpfulness), when the image-based domain considered is familiar (i.e., MNIST) as opposed to unfamiliar (i.e., Kannada MNIST). The wider implications of these new findings for XAI strategies are discussed.

Explainable AI (XAI) is widely viewed as a sine qua non for ever-expanding AI research. A better understanding of the needs of XAI users, as well as human-centered evaluations of explainable models are both a necessity and a challenge. In this paper, we explore how HCI and AI researchers conduct user studies in XAI applications based on a systematic literature review. After identifying and thoroughly analyzing 85 core papers with human-based XAI evaluations over the past five years, we categorize them along the measured characteristics of explanatory methods, namely trust, understanding, fairness, usability, and human-AI team performance. Our research shows that XAI is spreading more rapidly in certain application domains, such as recommender systems than in others, but that user evaluations are still rather sparse and incorporate hardly any insights from cognitive or social sciences. Based on a comprehensive discussion of best practices, i.e., common models, design choices, and measures in user studies, we propose practical guidelines on designing and conducting user studies for XAI researchers and practitioners. Lastly, this survey also highlights several open research directions, particularly linking psychological science and human-centered XAI.

深度学习的显着成功引起了人们对医学成像诊断的应用的兴趣。尽管最新的深度学习模型在分类不同类型的医学数据方面已经达到了人类水平的准确性，但这些模型在临床工作流程中几乎不采用，这主要是由于缺乏解释性。深度学习模型的黑盒子性提出了制定策略来解释这些模型的决策过程的必要性，从而导致了可解释的人工智能（XAI）主题的创建。在这种情况下，我们对应用于医学成像诊断的XAI进行了详尽的调查，包括视觉，基于示例和基于概念的解释方法。此外，这项工作回顾了现有的医学成像数据集和现有的指标，以评估解释的质量。此外，我们还包括一组基于报告生成的方法的性能比较。最后，还讨论了将XAI应用于医学成像以及有关该主题的未来研究指示的主要挑战。

如今，人工智能（AI）已成为临床和远程医疗保健应用程序的基本组成部分，但是最佳性能的AI系统通常太复杂了，无法自我解释。可解释的AI（XAI）技术被定义为揭示系统的预测和决策背后的推理，并且在处理敏感和个人健康数据时，它们变得更加至关重要。值得注意的是，XAI并未在不同的研究领域和数据类型中引起相同的关注，尤其是在医疗保健领域。特别是，许多临床和远程健康应用程序分别基于表格和时间序列数据，而XAI并未在这些数据类型上进行分析，而计算机视觉和自然语言处理（NLP）是参考应用程序。为了提供最适合医疗领域表格和时间序列数据的XAI方法的概述，本文提供了过去5年中文献的审查，说明了生成的解释的类型以及为评估其相关性所提供的努力和质量。具体而言，我们确定临床验证，一致性评估，客观和标准化质量评估以及以人为本的质量评估作为确保最终用户有效解释的关键特征。最后，我们强调了该领域的主要研究挑战以及现有XAI方法的局限性。

这项研究通过对三种不同类型的模型进行基准评估来调查机器学习模型对产生反事实解释的影响：决策树（完全透明，可解释的，白色盒子模型），随机森林（一种半解释，灰色盒模型）和神经网络（完全不透明的黑盒模型）。我们在五个不同数据集（Compas，成人，德国，德语，糖尿病和乳腺癌）中使用四种算法（DICE，WatchERCF，原型和GrowingSpheresCF）测试了反事实生成过程。我们的发现表明：（1）不同的机器学习模型对反事实解释的产生没有影响； （2）基于接近性损失函数的唯一算法是不可行的，不会提供有意义的解释； （3）在不保证反事实生成过程中的合理性的情况下，人们无法获得有意义的评估结果。如果对当前的最新指标进行评估，则不考虑其内部机制中不合理的算法将导致偏见和不可靠的结论； （4）强烈建议对定性分析（以及定量分析），以确保对反事实解释和偏见的潜在识别进行强有力的分析。

随着AI系统表现出越来越强烈的预测性能，它们的采用已经在许多域中种植。然而，在刑事司法和医疗保健等高赌场域中，由于安全，道德和法律问题，往往是完全自动化的，但是完全手工方法可能是不准确和耗时的。因此，对研究界的兴趣日益增长，以增加人力决策。除了为此目的开发AI技术之外，人民AI决策的新兴领域必须采用实证方法，以形成对人类如何互动和与AI合作做出决定的基础知识。为了邀请和帮助结构研究努力了解理解和改善人为 - AI决策的研究，我们近期对本课题的实证人体研究的文献。我们总结了在三个重要方面的100多篇论文中的研究设计选择：（1）决定任务，（2）AI模型和AI援助要素，以及（3）评估指标。对于每个方面，我们总结了当前的趋势，讨论了现场当前做法中的差距，并列出了未来研究的建议。我们的调查强调了开发共同框架的需要考虑人类 - AI决策的设计和研究空间，因此研究人员可以在研究设计中进行严格的选择，研究界可以互相构建并产生更广泛的科学知识。我们还希望这项调查将成为HCI和AI社区的桥梁，共同努力，相互塑造人类决策的经验科学和计算技术。

与此同时，在可解释的人工智能（XAI）的研究领域中，已经开发了各种术语，动机，方法和评估标准。随着XAI方法的数量大大增长，研究人员以及从业者以及从业者需要一种方法：掌握主题的广度，比较方法，并根据特定用例所需的特征选择正确的XAI方法语境。在文献中，可以找到许多不同细节水平和深度水平的XAI方法分类。虽然他们经常具有不同的焦点，但它们也表现出许多重叠点。本文统一了这些努力，并提供了XAI方法的分类，这是关于目前研究中存在的概念的概念。在结构化文献分析和元研究中，我们识别并审查了XAI方法，指标和方法特征的50多个最引用和最新的调查。总结在调查调查中，我们将文章的术语和概念合并为统一的结构化分类。其中的单一概念总计超过50个不同的选择示例方法，我们相应地分类。分类学可以为初学者，研究人员和从业者提供服务作为XAI方法特征和方面的参考和广泛概述。因此，它提供了针对有针对性的，用例导向的基础和上下文敏感的未来研究。

从课堂上学习不平衡数据集对许多机器学习算法带来了挑战。许多现实世界域通过定义，通过拥有多数阶级的多数阶级，自然具有比其少数级别更多的阶级（例如，真正的银行交易比欺诈性更频繁）。已经提出了许多方法来解决类别不平衡问题，其中最受欢迎的过采样技术（例如Smote）。这些方法在少数群体类中生成合成实例，以平衡数据集，执行提高预测机器学习（ML）模型的性能的数据增强。在本文中，我们推进了一种新的数据增强方法（改编自解释的AI），它在少数类中生成合成，反事实情况。与其他过采样技术不同，该方法使用实际特征值，而不是实例之间的内插值，自适应地将存在于数据集的实例。报告了使用四种不同分类器和25个数据集的几个实验，这表明该反事实增强方法（CFA）在少数类中生成有用的合成数据点。实验还表明，CFA与许多其他过采样方法具有竞争力，其中许多过采样方法是Smote的变种。讨论了CFAS性能的基础，以及在未来测试中可能更好或更糟的情况下的条件。

当图像分类器输出错误的类标签时，可以有助于查看图像中的更改会导致正确的分类。这是产生反事实解释的算法。但是，没有易于可扩展的方法来产生这种反应性。我们开发了一种新的算法，为以低计算成本训练的大图像分类器提供了反事实解释。我们经验与文献中的基线进行了对该算法的比较;我们的小说算法一致地找到了更接近原始输入的反事实。与此同时，这些反事实的现实主义与基线相当。所有实验的代码都可以在https://github.com/benedikthoeltgen/deduce提供。

背景信息：在过去几年中，机器学习（ML）一直是许多创新的核心。然而，包括在所谓的“安全关键”系统中，例如汽车或航空的系统已经被证明是非常具有挑战性的，因为ML的范式转变为ML带来完全改变传统认证方法。目的：本文旨在阐明与ML为基础的安全关键系统认证有关的挑战，以及文献中提出的解决方案，以解决它们，回答问题的问题如何证明基于机器学习的安全关键系统？'方法：我们开展2015年至2020年至2020年之间发布的研究论文的系统文献综述（SLR），涵盖了与ML系统认证有关的主题。总共确定了217篇论文涵盖了主题，被认为是ML认证的主要支柱：鲁棒性，不确定性，解释性，验证，安全强化学习和直接认证。我们分析了每个子场的主要趋势和问题，并提取了提取的论文的总结。结果：单反结果突出了社区对该主题的热情，以及在数据集和模型类型方面缺乏多样性。它还强调需要进一步发展学术界和行业之间的联系，以加深域名研究。最后，它还说明了必须在上面提到的主要支柱之间建立连接的必要性，这些主要柱主要主要研究。结论：我们强调了目前部署的努力，以实现ML基于ML的软件系统，并讨论了一些未来的研究方向。

为了提高模型透明度并允许用户形成训练有素的ML模型的心理模型，解释对AI和机器学习（ML）社区的兴趣越来越高。但是，解释可以超越这种方式通信作为引起用户控制的机制，因为一旦用户理解，他们就可以提供反馈。本文的目的是介绍研究概述，其中解释与交互式功能相结合，是从头开始学习新模型并编辑和调试现有模型的手段。为此，我们绘制了最先进的概念图，根据其预期目的以及它们如何构建相互作用，突出它们之间的相似性和差异来分组相关方法。我们还讨论开放研究问题并概述可能的方向，希望促使人们对这个开花研究主题进行进一步的研究。

机器学习模型需要提供对比解释，因为人们经常寻求理解为什么发生令人费解的预测而不是一些预期的结果。目前的对比解释是实例或原始特征之间的基本比较，这仍然难以解释，因为它们缺乏语义含义。我们认为解释必须与其他概念，假设和协会更加相关。受到认知心理学的感知过程的启发，我们提出了具有对比显着性，反事实合成和对比提示的可靠可解释的AI的XAI感知处理框架和REXNET模型。我们调查了声乐情绪识别的应用，实施了模块化的多任务深度神经网络，以预测言论的情感。从思想和对照研究来看，我们发现，反事实解释是有用的，并进一步增强了语义线索，但不具有显着性解释。这项工作为提供和评估了感知应用提供了可关联的对比解释的AI，提供了深度识别。

可解释的人工智能（XAI）是一系列技术，可以理解人工智能（AI）系统的技术和非技术方面。 Xai至关重要，帮助满足\ emph {可信赖}人工智能的日益重要的需求，其特点是人类自主，防止危害，透明，问责制等的基本特征，反事实解释旨在提供最终用户需要更改的一组特征（及其对应的值）以实现所需的结果。目前的方法很少考虑到实现建议解释所需的行动的可行性，特别是他们缺乏考虑这些行为的因果影响。在本文中，我们将反事实解释作为潜在空间（CEILS）的干预措施，一种方法来生成由数据从数据设计潜在的因果关系捕获的反事实解释，并且同时提供可行的建议，以便到达所提出的配置文件。此外，我们的方法具有以下优点，即它可以设置在现有的反事实发生器算法之上，从而最小化施加额外的因果约束的复杂性。我们展示了我们使用合成和实际数据集的一组不同实验的方法的有效性（包括金融领域的专有数据集）。

反事实说明代表了对数据样本的最小变化，其改变其预测分类，通常是从不利的初始类到所需的目标类别。反事实可以帮助回答问题，例如“需要更改此申请以获得贷款的需要？”。一些最近提出的反事实的方法涉及“合理的”反事实和方法的不同定义。然而，许多这些方法是计算密集的，并提供不符合的解释。在这里，我们介绍了锐利的程序，这是一个用于通过创建分类为目标类的输入的投影版本来启动的二进制分类方法。然后在输入及其投影之间的插值线上的潜在空间中生成反事实候选者。然后，我们展示了我们的框架通过使用学习的陈述将样本的核心特征转化为其反事实。此外，我们表明Strappooter在表格和图像数据集上跨越普通质量指标具有竞争力，同时在现实主义测量中的两个可比方法和擅长的级别，使其适用于需要及时解释的高速机器学习应用。

能够分析和量化人体或行为特征的系统（称为生物识别系统）正在使用和应用变异性增长。由于其从手工制作的功能和传统的机器学习转变为深度学习和自动特征提取，因此生物识别系统的性能增加到了出色的价值。尽管如此，这种快速进步的成本仍然尚不清楚。由于其不透明度，深层神经网络很难理解和分析，因此，由错误动机动机动机的隐藏能力或决定是潜在的风险。研究人员已经开始将注意力集中在理解深度神经网络及其预测的解释上。在本文中，我们根据47篇论文的研究提供了可解释生物识别技术的当前状态，并全面讨论了该领域的发展方向。

过去十年已经看到人工智能（AI）的显着进展，这导致了用于解决各种问题的算法。然而，通过增加模型复杂性并采用缺乏透明度的黑匣子AI模型来满足这种成功。为了响应这种需求，已经提出了说明的AI（Xai）以使AI更透明，从而提高关键结构域中的AI。虽然有几个关于Xai主题的Xai主题的评论，但在Xai中发现了挑战和潜在的研究方向，这些挑战和研究方向被分散。因此，本研究为Xai组织的挑战和未来的研究方向提出了系统的挑战和未来研究方向：（1）基于机器学习生命周期的Xai挑战和研究方向，基于机器的挑战和研究方向阶段：设计，开发和部署。我们认为，我们的META调查通过为XAI地区的未来探索指导提供了XAI文学。

人工智能（AI）和机器学习（ML）在网络安全挑战中的应用已在行业和学术界的吸引力，部分原因是对关键系统（例如云基础架构和政府机构）的广泛恶意软件攻击。入侵检测系统（IDS）使用某些形式的AI，由于能够以高预测准确性处理大量数据，因此获得了广泛的采用。这些系统托管在组织网络安全操作中心（CSOC）中，作为一种防御工具，可监视和检测恶意网络流，否则会影响机密性，完整性和可用性（CIA）。 CSOC分析师依靠这些系统来决定检测到的威胁。但是，使用深度学习（DL）技术设计的IDS通常被视为黑匣子模型，并且没有为其预测提供理由。这为CSOC分析师造成了障碍，因为他们无法根据模型的预测改善决策。解决此问题的一种解决方案是设计可解释的ID（X-IDS）。这项调查回顾了可解释的AI（XAI）的最先进的ID，目前的挑战，并讨论了这些挑战如何涉及X-ID的设计。特别是，我们全面讨论了黑匣子和白盒方法。我们还在这些方法之间的性能和产生解释的能力方面提出了权衡。此外，我们提出了一种通用体系结构，该建筑认为人类在循环中，该架构可以用作设计X-ID时的指南。研究建议是从三个关键观点提出的：需要定义ID的解释性，需要为各种利益相关者量身定制的解释以及设计指标来评估解释的需求。

机器学习（ML）模型在许多软件工程任务中起着越来越普遍的作用。然而，由于大多数模型现在由不透明的深度神经网络供电，因此开发人员可能很难理解为什么该模型的结论以及如何对模型的预测作用。这一问题的激励，本文探讨了源代码模型的反事实解释。这种反事实解释构成了模型“改变其思想”的源代码的最小变化。我们将反事实解释生成整合到真实世界中的源代码的模型。我们描述了影响能够找到现实和合理的反事工艺解释的能力，以及对模型用户的这种解释的有用性。在一系列实验中，我们研究了我们对三种不同模型的方法的功效，每个模型都是基于在源代码上运行的伯特式架构。