在本文中，我们介绍了MCCE：Monte Carlo采样的现实反事实解释，一种基于模型的方法，通过使用条件推理树产生一组可行的例子来产生反事实解释。与必须求解复杂优化问题或基于其他模型的基于模型的方法不同的基于算法的反事实方法，这些方法使用重型机器学习模型模拟数据分布，MCCE仅由两个轻量级步骤（生成和后处理）组成。对于最终用户而言，MCCE也是直接的，用于理解和实现，处理任何类型的预测模型和类型的特征，考虑到产生反事实说明时，并根据需要产生尽可能多的反事实解释。在本文中，我们介绍了MCCE，并提供了可用于比较反事实解释的全面的性能指标列表。我们还将MCCE与一系列最先进的方法和基准数据集的新基线方法进行比较。 MCCE在考虑有效性（即，正确改变的预测）和可操作性约束时，MCCE优于所有基于模型的方法和基于算法的方法。最后，我们表明MCCE在仅在训练数据的小型子集时，几乎具有效果的实力。

Post-hoc explanations of machine learning models are crucial for people to understand and act on algorithmic predictions. An intriguing class of explanations is through counterfactuals, hypothetical examples that show people how to obtain a different prediction. We posit that effective counterfactual explanations should satisfy two properties: feasibility of the counterfactual actions given user context and constraints, and diversity among the counterfactuals presented. To this end, we propose a framework for generating and evaluating a diverse set of counterfactual explanations based on determinantal point processes. To evaluate the actionability of counterfactuals, we provide metrics that enable comparison of counterfactual-based methods to other local explanation methods. We further address necessary tradeoffs and point to causal implications in optimizing for counterfactuals. Our experiments on four real-world datasets show that our framework can generate a set of counterfactuals that are diverse and well approximate local decision boundaries, outperforming prior approaches to generating diverse counterfactuals. We provide an implementation of the framework at https://github.com/microsoft/DiCE. CCS CONCEPTS• Applied computing → Law, social and behavioral sciences.

这项研究通过对三种不同类型的模型进行基准评估来调查机器学习模型对产生反事实解释的影响：决策树（完全透明，可解释的，白色盒子模型），随机森林（一种半解释，灰色盒模型）和神经网络（完全不透明的黑盒模型）。我们在五个不同数据集（Compas，成人，德国，德语，糖尿病和乳腺癌）中使用四种算法（DICE，WatchERCF，原型和GrowingSpheresCF）测试了反事实生成过程。我们的发现表明：（1）不同的机器学习模型对反事实解释的产生没有影响； （2）基于接近性损失函数的唯一算法是不可行的，不会提供有意义的解释； （3）在不保证反事实生成过程中的合理性的情况下，人们无法获得有意义的评估结果。如果对当前的最新指标进行评估，则不考虑其内部机制中不合理的算法将导致偏见和不可靠的结论； （4）强烈建议对定性分析（以及定量分析），以确保对反事实解释和偏见的潜在识别进行强有力的分析。

可解释的机器学习旨在了解复杂的黑盒系统的推理过程，这些系统因缺乏解释性而臭名昭著。一种不断增长的解释方法是通过反事实解释，这超出了为什么系统做出一定决定，以进一步提供有关用户可以采取哪些方法来改变结果的建议。反事实示例必须能够应对黑框分类器的原始预测，同时还满足实用应用程序的各种约束。这些限制存在于一个和另一个之间的权衡处，对现有作品提出了根本的挑战。为此，我们提出了一个基于随机学习的框架，可以有效地平衡反事实权衡。该框架由具有互补角色的一代和特征选择模块组成：前者的目标是建模有效的反事实的分布，而后者则以允许可区分训练和摊销优化的方式执行其他约束。我们证明了我们方法在产生可行和合理的反事实中的有效性，这些反事实比现有方法更多样化，尤其是比具有相同能力的对应物更有效的方式。

可解释的人工智能（XAI）是一系列技术，可以理解人工智能（AI）系统的技术和非技术方面。 Xai至关重要，帮助满足\ emph {可信赖}人工智能的日益重要的需求，其特点是人类自主，防止危害，透明，问责制等的基本特征，反事实解释旨在提供最终用户需要更改的一组特征（及其对应的值）以实现所需的结果。目前的方法很少考虑到实现建议解释所需的行动的可行性，特别是他们缺乏考虑这些行为的因果影响。在本文中，我们将反事实解释作为潜在空间（CEILS）的干预措施，一种方法来生成由数据从数据设计潜在的因果关系捕获的反事实解释，并且同时提供可行的建议，以便到达所提出的配置文件。此外，我们的方法具有以下优点，即它可以设置在现有的反事实发生器算法之上，从而最小化施加额外的因果约束的复杂性。我们展示了我们使用合成和实际数据集的一组不同实验的方法的有效性（包括金融领域的专有数据集）。

识别受机器学习模型决策影响的人算法追索的问题最近受到了很多关注。一些最近的作品模型用户产生的成本，直接与用户满意相关联。但他们假设在所有用户共享的单一全局成本函数。当用户对其对其愿意行动的愿意和与改变该功能相关的不同成本具有相似的偏好时，这是一个不切实际的假设。在这项工作中，我们正式化了用户特定成本函数的概念，并引入了一种用于用户识别可操作的辅助的新方法。默认情况下，我们假设用户的成本函数是从追索方法隐藏的，尽管我们的框架允许用户部分或完全指定其偏好或成本函数。我们提出了一个客观函数，预期的最低成本（EMC），基于两个关键的想法：（1）在向用户呈现一组选项时，用户可以采用至少一个低成本解决方案至关重要; （2）当我们不了解用户的真实成本函数时，我们可以通过首先采样合理的成本函数来满足用户满意度，然后找到一个达到用户在期望中的良好成本的集合。我们以新颖的离散优化算法优化EMC，成本优化的本地搜索（COL），保证可以在迭代中提高追索性质量​​。具有模拟用户成本的流行实际数据集的实验评估表明，与强基线方法相比，我们的方法多达25.89个百分点。使用标准公平度量，我们还表明，我们的方法可以在人口统计组中提供比较可比方法的更公平的解决方案，我们验证了我们的方法是否稳健地击败成本函数分布。

反事实解释体现了许多可解释性技术之一，这些技术受到机器学习社区的关注。它们使模型预测更明智的潜力被认为是无价的。为了增加其在实践中的采用，应在文献中提出反事实解释的一些标准。我们提出了使用约束学习（CE-OCL）优化的反事实解释，这是一种通用而灵活的方法，可满足所有这些标准，并为进一步扩展提供了空间。具体而言，我们讨论如何利用约束学习框架的优化来生成反事实解释，以及该框架的组件如何容易地映射到标准。我们还提出了两种新颖的建模方法来解决数据的近距离和多样性，这是实践反事实解释的两个关键标准。我们在几个数据集上测试CE-OCL，并在案例研究中介绍我们的结果。与当前的最新方法相比，CE-OCL可以提高灵活性，并且在相关工作中提出的几个评估指标方面具有卓越的性能。

可说明的机器学习（ML）近年来由于许多部门的ML基系统的增加而增加了近年来。算法refurrses（ARS）提供“如果输入数据点为x'而不是x的形式的反馈，那么基于ML的系统的输出将是Y'而不是Y.”由于其可行的反馈，对现有的法律框架和忠诚于底层ML模型，ARS由于其可行的反馈而具有吸引力。然而，当前的AR方法是单次拍摄 - 也就是说，它们假设X可以在单个时间段内更改为X'。我们提出了一种新的基于随机控制的方法，它产生序贯ARS，即允许X随机X移动到最终状态X'的ARS。我们的方法是模型不可知论和黑匣子。此外，ARS的计算被摊销，使得一旦训练，它适用于多个DataPoints，而无需重新优化。除了这些主要特征之外，我们的方法还承认可选的Desiderata，例如遵守数据歧管，尊重因果关系和稀疏性 - 通过过去的研究确定的ARS的理想性质。我们使用三个现实世界数据集评估我们的方法，并表现出尊重其他追索者的顺序ARS的成功生成。

反事实解释（CES）是了解如何更改算法的决策的强大手段。研究人员提出了许多CES应该满足的Desiderata实际上有用，例如需要最少的努力来制定或遵守因果模型。我们考虑了提高CES的可用性的另一个方面：对不良扰动的鲁棒性，这可能是由于不幸的情况而自然发生的。由于CES通常会规定干预的稀疏形式（即，仅应更改特征的子集），因此我们研究了针对建议更改的特征和不进行的特征分别解决鲁棒性的效果。我们的定义是可行的，因为它们可以将其作为罚款术语纳入用于发现CES的损失功能。为了实验鲁棒性，我们创建和发布代码，其中五个数据集（通常在公平和可解释的机器学习领域使用）已丰富了特定于功能的注释，这些注释可用于采样有意义的扰动。我们的实验表明，CES通常不健壮，如果发生不良扰动（即使不是最坏的情况），他们规定的干预措施可能需要比预期的要大得多，甚至变得不可能。但是，考虑搜索过程中的鲁棒性，可以很容易地完成，可以系统地发现健壮的CES。强大的CES进行额外的干预，以对比扰动的扰动比非稳定的CES降低得多。我们还发现，鲁棒性更容易实现功能更改，这为选择哪种反事实解释最适合用户提出了重要的考虑点。我们的代码可在以下网址获得：https：//github.com/marcovirgolin/robust-counterfactuals。

异构表格数据是最常用的数据形式，对于众多关键和计算要求的应用程序至关重要。在同质数据集上，深度神经网络反复显示出卓越的性能，因此被广泛采用。但是，它们适应了推理或数据生成任务的表格数据仍然具有挑战性。为了促进该领域的进一步进展，这项工作概述了表格数据的最新深度学习方法。我们将这些方法分为三组：数据转换，专业体系结构和正则化模型。对于每个小组，我们的工作提供了主要方法的全面概述。此外，我们讨论了生成表格数据的深度学习方法，并且还提供了有关解释对表格数据的深层模型的策略的概述。因此，我们的第一个贡献是解决上述领域中的主要研究流和现有方法，同时强调相关的挑战和开放研究问题。我们的第二个贡献是在传统的机器学习方法中提供经验比较，并在五个流行的现实世界中的十种深度学习方法中，具有不同规模和不同的学习目标的经验比较。我们已将作为竞争性基准公开提供的结果表明，基于梯度增强的树合奏的算法仍然大多在监督学习任务上超过了深度学习模型，这表明对表格数据的竞争性深度学习模型的研究进度停滞不前。据我们所知，这是对表格数据深度学习方法的第一个深入概述。因此，这项工作可以成为有价值的起点，以指导对使用表格数据深入学习感兴趣的研究人员和从业人员。

福利值广泛用作模型不可知的解释框架，以解释复杂的预测机器学习模型。福利值具有理想的理论特性和声音数学基础。精确的福芙值估计依赖数据依赖于所有特征组合之间的依赖性的准确建模。在本文中，我们使用具有任意调节（VAEAC）的变形AutoEncoder来同时建模所有特征依赖性。我们通过全面的仿真研究证明了VAEAC对于连续和混合依赖特征的各种环境来说，VAEAC优于最先进的方法。最后，我们将VAEAC应用于从UCI机器学习存储库中的鲍鱼数据集。

Counterfactual explanation is a common class of methods to make local explanations of machine learning decisions. For a given instance, these methods aim to find the smallest modification of feature values that changes the predicted decision made by a machine learning model. One of the challenges of counterfactual explanation is the efficient generation of realistic counterfactuals. To address this challenge, we propose VCNet-Variational Counter Net-a model architecture that combines a predictor and a counterfactual generator that are jointly trained, for regression or classification tasks. VCNet is able to both generate predictions, and to generate counterfactual explanations without having to solve another minimisation problem. Our contribution is the generation of counterfactuals that are close to the distribution of the predicted class. This is done by learning a variational autoencoder conditionally to the output of the predictor in a join-training fashion. We present an empirical evaluation on tabular datasets and across several interpretability metrics. The results are competitive with the state-of-the-art method.

反事实说明代表了对数据样本的最小变化，其改变其预测分类，通常是从不利的初始类到所需的目标类别。反事实可以帮助回答问题，例如“需要更改此申请以获得贷款的需要？”。一些最近提出的反事实的方法涉及“合理的”反事实和方法的不同定义。然而，许多这些方法是计算密集的，并提供不符合的解释。在这里，我们介绍了锐利的程序，这是一个用于通过创建分类为目标类的输入的投影版本来启动的二进制分类方法。然后在输入及其投影之间的插值线上的潜在空间中生成反事实候选者。然后，我们展示了我们的框架通过使用学习的陈述将样本的核心特征转化为其反事实。此外，我们表明Strappooter在表格和图像数据集上跨越普通质量指标具有竞争力，同时在现实主义测量中的两个可比方法和擅长的级别，使其适用于需要及时解释的高速机器学习应用。

反事实解释是作为一种有吸引力的选择，以便向算法决策提供不利影响的个人的诉讼选择。由于它们在关键应用中部署（例如，执法，财务贷款），确保我们清楚地了解这些方法的漏洞并找到解决这些方法的漏洞是重要的。但是，对反事实解释的脆弱性和缺点几乎没有了解。在这项工作中，我们介绍了第一个框架，它描述了反事解释的漏洞，并显示了如何操纵它们。更具体地，我们显示反事实解释可能会聚到众所周知的不同反应性，指示它们不稳健。利用这种洞察力，我们介绍了一部小说目标来培训看似公平的模特，反事实解释在轻微的扰动下发现了更低的成本追索。我们描述了这些模型如何在对审计师出现公平的情况下为数据中的特定子组提供低成本追索。我们对贷款和暴力犯罪预测数据集进行实验，其中某些子组在扰动下达到高达20倍的成本追索性。这些结果提高了关于当前反事实解释技术的可靠性的担忧，我们希望在强大的反事实解释中激发调查。

由于算法决策对人类的影响增加，模型解释性已成为机器学习（ML）的重要问题。反事实解释可以帮助用户不仅可以理解为什么ML模型做出某些决定，还可以改变这些决定。我们框架以梯度为基础的优化任务查找反事实解释的问题，并扩展了只能应用于可微分模型的先前工作。为了适应非微弱的模型，例如树集合，我们在优化框架中使用概率模型近似。我们介绍了一种近似技术，可以有效地查找原始模型的预测的反事实解释，并表明我们的反事实示例明显更接近原始实例，而不是由专门为树集合设计的其他方法产生的实例。

随着机器学习（ML）模型越来越多地用于做出结果决定，人们对开发可以为受影响个人提供求助的技术越来越兴趣。这些技术中的大多数提供了追索权，假设受影响的个体将实施规定的recourses \ emph {prirent}。但是，由于各种原因，要求将薪水提高\ $ 500的人可能会获得嘈杂和不一致的方式实施，这可能会获得晋升，而增加了505美元。在此激励的情况下，我们研究了面对嘈杂的人类反应时追索性无效的问题。更具体地说，我们从理论上和经验上分析了最新算法的行为，并证明这些算法产生的记录很可能是无效的（即，如果对它们做出的小变化，则可能导致负面结果） 。我们进一步提出了一个新颖的框架，期望嘈杂的响应（\ texttt {Expect}），该框架通过在嘈杂的响应中明确最大程度地减少追索性无效的可能性来解决上述问题。我们的框架可以确保最多$ r \％$的最多$ r $作为最终用户请求追索权的输入。通过这样做，我们的框架为最终用户提供了更大的控制权，可以在追索性成本和稳定性之间的稳定性之间进行权衡。具有多个现实世界数据集的实验评估证明了所提出的框架的功效，并验证了我们的理论发现。

由于算法预测对人类的影响增加，模型解释性已成为机器学习（ML）的重要问题。解释不仅可以帮助用户了解为什么ML模型做出某些预测，还可以帮助用户了解这些预测如何更改。在本论文中，我们研究了从三个有利位置的ML模型的解释性：算法，用户和教学法，并为解释性问题贡献了一些新颖的解决方案。

特征属性是用于模型解释的常见范例，因为它们在为模型分配每个输入特征的单个数字分数时是简单的。在可操作的追索范围中，其中解释的目标是改善模型消费者的结果，通常不清楚应该如何正确使用特征归因。通过这项工作，我们的目标是加强和澄清可操作追索和特征归因之间的联系。具体地，我们提出了一种Shap，CoShap的变种，它使用反事实生成技术来生产背景数据集以便在边缘（A.K.a.介入）福利价值框架内使用。我们在使用朔芙值的特征归属时仔细考虑的可动手追索程序设置中的需求，同时涉及单调的要求，具有许多合成示例。此外，我们通过提出和证明要素归属，反事实能力的定量评分来展示COSHAP的功效，表明如通过该指标测量，Coshap优于使用单调树集合在公共数据集上进行评估时的现有方法。

Counterfactual explanations have emerged as a popular solution for the eXplainable AI (XAI) problem of elucidating the predictions of black-box deep-learning systems due to their psychological validity, flexibility across problem domains and proposed legal compliance. While over 100 counterfactual methods exist, claiming to generate plausible explanations akin to those preferred by people, few have actually been tested on users ($\sim7\%$). So, the psychological validity of these counterfactual algorithms for effective XAI for image data is not established. This issue is addressed here using a novel methodology that (i) gathers ground truth human-generated counterfactual explanations for misclassified images, in two user studies and, then, (ii) compares these human-generated ground-truth explanations to computationally-generated explanations for the same misclassifications. Results indicate that humans do not "minimally edit" images when generating counterfactual explanations. Instead, they make larger, "meaningful" edits that better approximate prototypes in the counterfactual class.

As predictive models are increasingly being employed to make consequential decisions, there is a growing emphasis on developing techniques that can provide algorithmic recourse to affected individuals. While such recourses can be immensely beneficial to affected individuals, potential adversaries could also exploit these recourses to compromise privacy. In this work, we make the first attempt at investigating if and how an adversary can leverage recourses to infer private information about the underlying model's training data. To this end, we propose a series of novel membership inference attacks which leverage algorithmic recourse. More specifically, we extend the prior literature on membership inference attacks to the recourse setting by leveraging the distances between data instances and their corresponding counterfactuals output by state-of-the-art recourse methods. Extensive experimentation with real world and synthetic datasets demonstrates significant privacy leakage through recourses. Our work establishes unintended privacy leakage as an important risk in the widespread adoption of recourse methods.