最近，为了在各个领域之间具有更好的可接受性，研究人员认为，机器智能算法必须能够提供人类可以在因果关系中理解的解释。这一方面也称为可控性，可以达到特定水平的人类水平解释性。一种称为反事实的特定算法可能能够提供可有效性。在统计数据中，因果关系已被研究和应用多年，但在人工智能（AI）方面尚未详细介绍。在首次研究的研究中，我们采用了因果推理的原则来提供解释性来解决分析客户关系管理（ACRM）问题。在银行和保险的背景下，有关解释性的当前研究试图解决与因果关系有关的问题，例如为什么该模型做出这样的决定，并且该模型的选择是否受到特定因素的影响？我们提出了一种以干预形式的解决方案，其中研究了目标特征的ACRM数据集特征分布的效果。随后，还获得了一套反事实，可以向任何需要解释银行/保险公司做出的决定的客户提供。除了信用卡流失预测数据集外，还为贷款默认，保险欺诈检测和信用卡欺诈检测数据集生成了高质量的反事实，其中观察到不超过三个功能的变化。

可解释的人工智能（XAI）是一系列技术，可以理解人工智能（AI）系统的技术和非技术方面。 Xai至关重要，帮助满足\ emph {可信赖}人工智能的日益重要的需求，其特点是人类自主，防止危害，透明，问责制等的基本特征，反事实解释旨在提供最终用户需要更改的一组特征（及其对应的值）以实现所需的结果。目前的方法很少考虑到实现建议解释所需的行动的可行性，特别是他们缺乏考虑这些行为的因果影响。在本文中，我们将反事实解释作为潜在空间（CEILS）的干预措施，一种方法来生成由数据从数据设计潜在的因果关系捕获的反事实解释，并且同时提供可行的建议，以便到达所提出的配置文件。此外，我们的方法具有以下优点，即它可以设置在现有的反事实发生器算法之上，从而最小化施加额外的因果约束的复杂性。我们展示了我们使用合成和实际数据集的一组不同实验的方法的有效性（包括金融领域的专有数据集）。

机器学习中最困难的任务是解释训练有素的浅神经网络。深度神经网络（DNNS）为更多的任务提供了令人印象深刻的结果，但是通常不清楚这种训练有素的深神经网络如何做出决策。提供特征重要性是浅层神经网络中使用的最重要和流行的解释技术。在本文中，我们开发了一种算法，扩展了Garson算法的思想，以解释基于信念网络的自动编码器（DBNA）。它用于确定DBN中每个输入特征的贡献。它可用于具有许多隐藏层的任何神经网络。该方法的有效性在分类和从文献中获取的回归数据集进行了测试。将此方法鉴定出的重要特征与Wald Chi Square（\ c {hi} 2）获得的特征进行了比较。对于4个分类数据集中的2个和5个回归数据集中的2个，我们提出的方法导致识别更好质量的特征，从而导致统计上更重要的结果，相对于wald \ c {hi} 2。

Post-hoc explanations of machine learning models are crucial for people to understand and act on algorithmic predictions. An intriguing class of explanations is through counterfactuals, hypothetical examples that show people how to obtain a different prediction. We posit that effective counterfactual explanations should satisfy two properties: feasibility of the counterfactual actions given user context and constraints, and diversity among the counterfactuals presented. To this end, we propose a framework for generating and evaluating a diverse set of counterfactual explanations based on determinantal point processes. To evaluate the actionability of counterfactuals, we provide metrics that enable comparison of counterfactual-based methods to other local explanation methods. We further address necessary tradeoffs and point to causal implications in optimizing for counterfactuals. Our experiments on four real-world datasets show that our framework can generate a set of counterfactuals that are diverse and well approximate local decision boundaries, outperforming prior approaches to generating diverse counterfactuals. We provide an implementation of the framework at https://github.com/microsoft/DiCE. CCS CONCEPTS• Applied computing → Law, social and behavioral sciences.

这项研究通过对三种不同类型的模型进行基准评估来调查机器学习模型对产生反事实解释的影响：决策树（完全透明，可解释的，白色盒子模型），随机森林（一种半解释，灰色盒模型）和神经网络（完全不透明的黑盒模型）。我们在五个不同数据集（Compas，成人，德国，德语，糖尿病和乳腺癌）中使用四种算法（DICE，WatchERCF，原型和GrowingSpheresCF）测试了反事实生成过程。我们的发现表明：（1）不同的机器学习模型对反事实解释的产生没有影响； （2）基于接近性损失函数的唯一算法是不可行的，不会提供有意义的解释； （3）在不保证反事实生成过程中的合理性的情况下，人们无法获得有意义的评估结果。如果对当前的最新指标进行评估，则不考虑其内部机制中不合理的算法将导致偏见和不可靠的结论； （4）强烈建议对定性分析（以及定量分析），以确保对反事实解释和偏见的潜在识别进行强有力的分析。

我们在数字世界中采取的每一步都会落后于我们行为的记录;数字足迹。研究表明，算法可以将这些数字足迹转化为精确的心理特征估计，包括人格特质，心理健康或情报。然而，AI产生这些见解的机制通常保持不透明。在本文中，我们展示了如何解释AI（XAI）可以帮助域专家和数据主体验证，问题和改进分类数字足迹的心理特征的模型。我们在来自金融交易数据的大五个人格预测（特征和方面）的范围内，详细说明了两个流行的XAI方法（规则提取和反事实解释）（n = 6,408）。首先，我们展示了全球规则提取在模型中标识的消费模式中如何阐明了最重要的人格，并讨论这些规则如何用于解释，验证和改进模型。其次，我们实施当地规则提取，以表明，由于其独特的财务行为，个人分配给个性课程，并且模型的预测信心与促进预测的特征数量之间存在积极的联系。我们的实验突出了全球和本地XAI方法的重要性。通过更好地了解预测模型如何工作，以及他们如何获得特定人的结果，Xai促进了一个世界的问责制，其中AI影响了世界各地数十亿人的生命。

元学习用于通过组合数据和先验知识来有效地自动选择机器学习模型。由于传统的元学习技术缺乏解释性，并且在透明度和公平性方面存在缺点，因此实现元学习的解释性至关重要。本文提出了一个可解释的元学习框架，该框架不仅可以解释元学习算法选择的建议结果，而且还可以对建议算法在特定数据集中的性能和业务场景中更完整，更准确地解释。通过广泛的实验证明了该框架的有效性和正确性。

人工智能（AI）使机器能够从人类经验中学习，适应新的输入，并执行人类的人类任务。 AI正在迅速发展，从过程自动化到认知增强任务和智能流程/数据分析的方式转换业务方式。然而，人类用户的主要挑战是理解和适当地信任AI算法和方法的结果。在本文中，为了解决这一挑战，我们研究并分析了最近在解释的人工智能（XAI）方法和工具中所做的最新工作。我们介绍了一种新颖的XAI进程，便于生产可解释的模型，同时保持高水平的学习性能。我们提出了一种基于互动的证据方法，以帮助人类用户理解和信任启用AI的算法创建的结果和输出。我们在银行域中采用典型方案进行分析客户交易。我们开发数字仪表板以促进与算法的互动结果，并讨论如何提出的XAI方法如何显着提高数据科学家对理解启用AI的算法结果的置信度。

可说明的机器学习（ML）近年来由于许多部门的ML基系统的增加而增加了近年来。算法refurrses（ARS）提供“如果输入数据点为x'而不是x的形式的反馈，那么基于ML的系统的输出将是Y'而不是Y.”由于其可行的反馈，对现有的法律框架和忠诚于底层ML模型，ARS由于其可行的反馈而具有吸引力。然而，当前的AR方法是单次拍摄 - 也就是说，它们假设X可以在单个时间段内更改为X'。我们提出了一种新的基于随机控制的方法，它产生序贯ARS，即允许X随机X移动到最终状态X'的ARS。我们的方法是模型不可知论和黑匣子。此外，ARS的计算被摊销，使得一旦训练，它适用于多个DataPoints，而无需重新优化。除了这些主要特征之外，我们的方法还承认可选的Desiderata，例如遵守数据歧管，尊重因果关系和稀疏性 - 通过过去的研究确定的ARS的理想性质。我们使用三个现实世界数据集评估我们的方法，并表现出尊重其他追索者的顺序ARS的成功生成。

由于算法预测对人类的影响增加，模型解释性已成为机器学习（ML）的重要问题。解释不仅可以帮助用户了解为什么ML模型做出某些预测，还可以帮助用户了解这些预测如何更改。在本论文中，我们研究了从三个有利位置的ML模型的解释性：算法，用户和教学法，并为解释性问题贡献了一些新颖的解决方案。

反事实解释（CES）是了解如何更改算法的决策的强大手段。研究人员提出了许多CES应该满足的Desiderata实际上有用，例如需要最少的努力来制定或遵守因果模型。我们考虑了提高CES的可用性的另一个方面：对不良扰动的鲁棒性，这可能是由于不幸的情况而自然发生的。由于CES通常会规定干预的稀疏形式（即，仅应更改特征的子集），因此我们研究了针对建议更改的特征和不进行的特征分别解决鲁棒性的效果。我们的定义是可行的，因为它们可以将其作为罚款术语纳入用于发现CES的损失功能。为了实验鲁棒性，我们创建和发布代码，其中五个数据集（通常在公平和可解释的机器学习领域使用）已丰富了特定于功能的注释，这些注释可用于采样有意义的扰动。我们的实验表明，CES通常不健壮，如果发生不良扰动（即使不是最坏的情况），他们规定的干预措施可能需要比预期的要大得多，甚至变得不可能。但是，考虑搜索过程中的鲁棒性，可以很容易地完成，可以系统地发现健壮的CES。强大的CES进行额外的干预，以对比扰动的扰动比非稳定的CES降低得多。我们还发现，鲁棒性更容易实现功能更改，这为选择哪种反事实解释最适合用户提出了重要的考虑点。我们的代码可在以下网址获得：https：//github.com/marcovirgolin/robust-counterfactuals。

在学习分析领域的最新研究重点是利用机器学习方法来预测高危学生，以便及时启动干预措施，从而提高保留率和完成率。这些研究大多数的总体特征仅在预测科学方面。与解释模型内部的预测分析的组成部分，并在很大程度上忽略了其对利益相关者的个人案例的预测。此外，尝试使用数据驱动的规范分析来自动为高危学习者生成基于证据的补救建议的工作仍处于起步阶段。可解释的AI是一个最近出现的领域，它提供了尖端工具，该工具支持透明的预测分析和技术，以为高危学生生成量身定制的建议。这项研究提出了一个新的框架，该框架既可以统一透明的机器学习，又可以实现规定性分析的技术。这项工作实际上使用了使用预测模型来识别计划不完整的高危学习者的预测模型。然后，该研究进一步证明了如何通过两项案例研究的规定性分析来增强预测性建模，以便为有危险的人产生可读的规定反馈。

There has been a recent resurgence in the area of explainable artificial intelligence as researchers and practitioners seek to make their algorithms more understandable. Much of this research is focused on explicitly explaining decisions or actions to a human observer, and it should not be controversial to say that looking at how humans explain to each other can serve as a useful starting point for explanation in artificial intelligence. However, it is fair to say that most work in explainable artificial intelligence uses only the researchers' intuition of what constitutes a 'good' explanation. There exists vast and valuable bodies of research in philosophy, psychology, and cognitive science of how people define, generate, select, evaluate, and present explanations, which argues that people employ certain cognitive biases and social expectations towards the explanation process. This paper argues that the field of explainable artificial intelligence should build on this existing research, and reviews relevant papers from philosophy, cognitive psychology/science, and social psychology, which study these topics. It draws out some important findings, and discusses ways that these can be infused with work on explainable artificial intelligence.

过去十年已经看到人工智能（AI）的显着进展，这导致了用于解决各种问题的算法。然而，通过增加模型复杂性并采用缺乏透明度的黑匣子AI模型来满足这种成功。为了响应这种需求，已经提出了说明的AI（Xai）以使AI更透明，从而提高关键结构域中的AI。虽然有几个关于Xai主题的Xai主题的评论，但在Xai中发现了挑战和潜在的研究方向，这些挑战和研究方向被分散。因此，本研究为Xai组织的挑战和未来的研究方向提出了系统的挑战和未来研究方向：（1）基于机器学习生命周期的Xai挑战和研究方向，基于机器的挑战和研究方向阶段：设计，开发和部署。我们认为，我们的META调查通过为XAI地区的未来探索指导提供了XAI文学。

由于决策越来越依赖机器学习和（大）数据，数据驱动AI系统的公平问题正在接受研究和行业的增加。已经提出了各种公平知识的机器学习解决方案，该解决方案提出了数据，学习算法和/或模型输出中的公平相关的干预措施。然而，提出新方法的重要组成部分正在经验上对其进行验证在代表现实和不同的设置的基准数据集上。因此，在本文中，我们概述了用于公平知识机器学习的真实数据集。我们专注于表格数据作为公平感知机器学习的最常见的数据表示。我们通过识别不同属性之间的关系，特别是w.r.t.来开始分析。受保护的属性和类属性，使用贝叶斯网络。为了更深入地了解数据集中的偏见和公平性，我们调查使用探索性分析的有趣关系。

A significant drawback of eXplainable Artificial Intelligence (XAI) approaches is the assumption of feature independence. This paper focuses on integrating causal knowledge in XAI methods to increase trust and help users assess explanations' quality. We propose a novel extension to a widely used local and model-agnostic explainer that explicitly encodes causal relationships in the data generated around the input instance to explain. Extensive experiments show that our method achieves superior performance comparing the initial one for both the fidelity in mimicking the black-box and the stability of the explanations.

反事实推断是一种强大的工具，能够解决备受瞩目的领域中具有挑战性的问题。要进行反事实推断，需要了解潜在的因果机制。但是，仅凭观察和干预措施就不能独特地确定因果机制。这就提出了一个问题，即如何选择因果机制，以便在给定领域中值得信赖。在具有二进制变量的因果模型中已经解决了这个问题，但是分类变量的情况仍未得到解答。我们通过为具有分类变量的因果模型引入反事实排序的概念来应对这一挑战。为了学习满足这些约束的因果机制，并对它们进行反事实推断，我们引入了深层双胞胎网络。这些是深层神经网络，在受过训练的情况下，可以进行双网络反事实推断 - 一种替代绑架，动作和预测方法的替代方法。我们从经验上测试了来自医学，流行病学和金融的多种现实世界和半合成数据的方法，并报告了反事实概率的准确估算，同时证明了反事实订购时不执行反事实的问题。

反事实解释体现了许多可解释性技术之一，这些技术受到机器学习社区的关注。它们使模型预测更明智的潜力被认为是无价的。为了增加其在实践中的采用，应在文献中提出反事实解释的一些标准。我们提出了使用约束学习（CE-OCL）优化的反事实解释，这是一种通用而灵活的方法，可满足所有这些标准，并为进一步扩展提供了空间。具体而言，我们讨论如何利用约束学习框架的优化来生成反事实解释，以及该框架的组件如何容易地映射到标准。我们还提出了两种新颖的建模方法来解决数据的近距离和多样性，这是实践反事实解释的两个关键标准。我们在几个数据集上测试CE-OCL，并在案例研究中介绍我们的结果。与当前的最新方法相比，CE-OCL可以提高灵活性，并且在相关工作中提出的几个评估指标方面具有卓越的性能。

随着AI系统表现出越来越强烈的预测性能，它们的采用已经在许多域中种植。然而，在刑事司法和医疗保健等高赌场域中，由于安全，道德和法律问题，往往是完全自动化的，但是完全手工方法可能是不准确和耗时的。因此，对研究界的兴趣日益增长，以增加人力决策。除了为此目的开发AI技术之外，人民AI决策的新兴领域必须采用实证方法，以形成对人类如何互动和与AI合作做出决定的基础知识。为了邀请和帮助结构研究努力了解理解和改善人为 - AI决策的研究，我们近期对本课题的实证人体研究的文献。我们总结了在三个重要方面的100多篇论文中的研究设计选择：（1）决定任务，（2）AI模型和AI援助要素，以及（3）评估指标。对于每个方面，我们总结了当前的趋势，讨论了现场当前做法中的差距，并列出了未来研究的建议。我们的调查强调了开发共同框架的需要考虑人类 - AI决策的设计和研究空间，因此研究人员可以在研究设计中进行严格的选择，研究界可以互相构建并产生更广泛的科学知识。我们还希望这项调查将成为HCI和AI社区的桥梁，共同努力，相互塑造人类决策的经验科学和计算技术。