There exist several methods that aim to address the crucial task of understanding the behaviour of AI/ML models. Arguably, the most popular among them are local explanations that focus on investigating model behaviour for individual instances. Several methods have been proposed for local analysis, but relatively lesser effort has gone into understanding if the explanations are robust and accurately reflect the behaviour of underlying models. In this work, we present a survey of the works that analysed the robustness of two classes of local explanations (feature importance and counterfactual explanations) that are popularly used in analysing AI/ML models in finance. The survey aims to unify existing definitions of robustness, introduces a taxonomy to classify different robustness approaches, and discusses some interesting results. Finally, the survey introduces some pointers about extending current robustness analysis approaches so as to identify reliable explainability methods.

Explainability has been widely stated as a cornerstone of the responsible and trustworthy use of machine learning models. With the ubiquitous use of Deep Neural Network (DNN) models expanding to risk-sensitive and safety-critical domains, many methods have been proposed to explain the decisions of these models. Recent years have also seen concerted efforts that have shown how such explanations can be distorted (attacked) by minor input perturbations. While there have been many surveys that review explainability methods themselves, there has been no effort hitherto to assimilate the different methods and metrics proposed to study the robustness of explanations of DNN models. In this work, we present a comprehensive survey of methods that study, understand, attack, and defend explanations of DNN models. We also present a detailed review of different metrics used to evaluate explanation methods, as well as describe attributional attack and defense methods. We conclude with lessons and take-aways for the community towards ensuring robust explanations of DNN model predictions.

反事实解释为从机器学习模型中获得预期结果的方法提供了信息。但是，这种解释对基础模型的某些现实世界变化（例如，重新训练模型，更改的超参数等）并不强大，质疑其在多种应用程序中的可靠性，例如信用贷款。在这项工作中，我们提出了一种新颖的策略 - 我们称之为Robx，以生成基于树的合奏，例如XGBoost的强大反事实。基于树的合奏在强大的反事实生成中提出了其他挑战，例如，它们具有非平滑和非差异的目标函数，并且在非常相似的数据上，它们可以在RETOR下的参数空间中进行很多更改。我们首先引入了一种新颖的指标（我们称之为反事实稳定性），该指标试图量化反事实的鲁棒性将是为了模拟重新训练下的变化，并具有理想的理论属性。我们提出的策略ROBX使用任何反事实生成方法（基本方法），并通过使用我们的度量反事实稳定性迭代地完善基本方法生成的反事实来搜索强大的反事实。我们将ROBX的性能与基于基准数据集的流行反事实生成方法（对于基于树的合奏）进行了比较。结果表明，我们的策略会产生反事实，这些反事实是强大的（实际模型更改后的有效性近100％），并且在现有最新方法上也是现实的（就局部异常因素而言）。

可解释的人工智能（XAI）中方法的动机通常包括检测，量化和缓解偏见，并为使机器学习模型更加公平而做出贡献。但是，确切的XAI方法可以如何帮助打击偏见。在本文中，我们简要回顾了NLP研究中的解释性和公平性的趋势，确定了当前的实践，其中采用了解释性方法来检测和减轻偏见，并调查了阻止XAI方法在解决公平问题中更广泛使用的障碍。

这项研究通过对三种不同类型的模型进行基准评估来调查机器学习模型对产生反事实解释的影响：决策树（完全透明，可解释的，白色盒子模型），随机森林（一种半解释，灰色盒模型）和神经网络（完全不透明的黑盒模型）。我们在五个不同数据集（Compas，成人，德国，德语，糖尿病和乳腺癌）中使用四种算法（DICE，WatchERCF，原型和GrowingSpheresCF）测试了反事实生成过程。我们的发现表明：（1）不同的机器学习模型对反事实解释的产生没有影响； （2）基于接近性损失函数的唯一算法是不可行的，不会提供有意义的解释； （3）在不保证反事实生成过程中的合理性的情况下，人们无法获得有意义的评估结果。如果对当前的最新指标进行评估，则不考虑其内部机制中不合理的算法将导致偏见和不可靠的结论； （4）强烈建议对定性分析（以及定量分析），以确保对反事实解释和偏见的潜在识别进行强有力的分析。

随着深度神经网络的兴起，解释这些网络预测的挑战已经越来越识别。虽然存在许多用于解释深度神经网络的决策的方法，但目前没有关于如何评估它们的共识。另一方面，鲁棒性是深度学习研究的热门话题;但是，在最近，几乎没有谈论解释性。在本教程中，我们首先呈现基于梯度的可解释性方法。这些技术使用梯度信号来分配对输入特征的决定的负担。后来，我们讨论如何为其鲁棒性和对抗性的鲁棒性在具有有意义的解释中扮演的作用来评估基于梯度的方法。我们还讨论了基于梯度的方法的局限性。最后，我们提出了在选择解释性方法之前应检查的最佳实践和属性。我们结束了未来在稳健性和解释性融合的地区研究的研究。

如今，人工智能（AI）已成为临床和远程医疗保健应用程序的基本组成部分，但是最佳性能的AI系统通常太复杂了，无法自我解释。可解释的AI（XAI）技术被定义为揭示系统的预测和决策背后的推理，并且在处理敏感和个人健康数据时，它们变得更加至关重要。值得注意的是，XAI并未在不同的研究领域和数据类型中引起相同的关注，尤其是在医疗保健领域。特别是，许多临床和远程健康应用程序分别基于表格和时间序列数据，而XAI并未在这些数据类型上进行分析，而计算机视觉和自然语言处理（NLP）是参考应用程序。为了提供最适合医疗领域表格和时间序列数据的XAI方法的概述，本文提供了过去5年中文献的审查，说明了生成的解释的类型以及为评估其相关性所提供的努力和质量。具体而言，我们确定临床验证，一致性评估，客观和标准化质量评估以及以人为本的质量评估作为确保最终用户有效解释的关键特征。最后，我们强调了该领域的主要研究挑战以及现有XAI方法的局限性。

已经开发了许多方法来了解复杂的预测模型，并将高期望放在事后模型的解释性上。事实证明，这样的解释不是强大的，也不值得信赖，可以被愚弄。本文介绍了用于攻击部分依赖性（图，配置文件，PDP）的技术，这些技术是解释对表格数据训练的任何预测模型的最流行方法。我们展示了可以以对抗性方式操纵PD，这令人震惊，尤其是在可审核性成为支持黑盒机器学习的必备特征的财务或医疗应用中。欺骗是通过中毒数据使用遗传和梯度算法在所需方向弯曲和移动解释的。我们认为，这是使用遗传算法来操纵解释的第一项工作，这是可以转移的，因为它可以概括这两种方式：以模型 - 不合Stic和一种解释 - 不合Snostic的方式。

As machine learning black boxes are increasingly being deployed in domains such as healthcare and criminal justice, there is growing emphasis on building tools and techniques for explaining these black boxes in an interpretable manner. Such explanations are being leveraged by domain experts to diagnose systematic errors and underlying biases of black boxes. In this paper, we demonstrate that post hoc explanations techniques that rely on input perturbations, such as LIME and SHAP, are not reliable. Specifically, we propose a novel scaffolding technique that effectively hides the biases of any given classifier by allowing an adversarial entity to craft an arbitrary desired explanation. Our approach can be used to scaffold any biased classifier in such a way that its predictions on the input data distribution still remain biased, but the post hoc explanations of the scaffolded classifier look innocuous. Using extensive evaluation with multiple real world datasets (including COMPAS), we demonstrate how extremely biased (racist) classifiers crafted by our framework can easily fool popular explanation techniques such as LIME and SHAP into generating innocuous explanations which do not reflect the underlying biases. CCS CONCEPTS• Computing methodologies → Machine learning; Supervised learning by classification; • Human-centered computing → Interactive systems and tools.

Post-hoc explanations of machine learning models are crucial for people to understand and act on algorithmic predictions. An intriguing class of explanations is through counterfactuals, hypothetical examples that show people how to obtain a different prediction. We posit that effective counterfactual explanations should satisfy two properties: feasibility of the counterfactual actions given user context and constraints, and diversity among the counterfactuals presented. To this end, we propose a framework for generating and evaluating a diverse set of counterfactual explanations based on determinantal point processes. To evaluate the actionability of counterfactuals, we provide metrics that enable comparison of counterfactual-based methods to other local explanation methods. We further address necessary tradeoffs and point to causal implications in optimizing for counterfactuals. Our experiments on four real-world datasets show that our framework can generate a set of counterfactuals that are diverse and well approximate local decision boundaries, outperforming prior approaches to generating diverse counterfactuals. We provide an implementation of the framework at https://github.com/microsoft/DiCE. CCS CONCEPTS• Applied computing → Law, social and behavioral sciences.

特征属性是用于模型解释的常见范例，因为它们在为模型分配每个输入特征的单个数字分数时是简单的。在可操作的追索范围中，其中解释的目标是改善模型消费者的结果，通常不清楚应该如何正确使用特征归因。通过这项工作，我们的目标是加强和澄清可操作追索和特征归因之间的联系。具体地，我们提出了一种Shap，CoShap的变种，它使用反事实生成技术来生产背景数据集以便在边缘（A.K.a.介入）福利价值框架内使用。我们在使用朔芙值的特征归属时仔细考虑的可动手追索程序设置中的需求，同时涉及单调的要求，具有许多合成示例。此外，我们通过提出和证明要素归属，反事实能力的定量评分来展示COSHAP的功效，表明如通过该指标测量，Coshap优于使用单调树集合在公共数据集上进行评估时的现有方法。

由于算法预测对人类的影响增加，模型解释性已成为机器学习（ML）的重要问题。解释不仅可以帮助用户了解为什么ML模型做出某些预测，还可以帮助用户了解这些预测如何更改。在本论文中，我们研究了从三个有利位置的ML模型的解释性：算法，用户和教学法，并为解释性问题贡献了一些新颖的解决方案。

尽管在最近的文献中提出了几种类型的事后解释方法（例如，特征归因方法），但在系统地以有效且透明的方式进行系统基准测试这些方法几乎没有工作。在这里，我们介绍了OpenXai，这是一个全面且可扩展的开源框架，用于评估和基准测试事后解释方法。 OpenXAI由以下关键组件组成：（i）灵活的合成数据生成器以及各种现实世界数据集，预训练的模型和最新功能属性方法的集合，（ii）开源实现22个定量指标，用于评估忠诚，稳定性（稳健性）和解释方法的公平性，以及（iii）有史以来第一个公共XAI XAI排行榜对基准解释。 OpenXAI很容易扩展，因为用户可以轻松地评估自定义说明方法并将其纳入我们的排行榜。总体而言，OpenXAI提供了一种自动化的端到端管道，该管道不仅简化并标准化了事后解释方法的评估，而且还促进了基准这些方法的透明度和可重复性。 OpenXAI数据集和数据加载程序，最先进的解释方法的实现和评估指标以及排行榜，可在https://open-xai.github.io/上公开获得。

人工智能（AI）和机器学习（ML）在网络安全挑战中的应用已在行业和学术界的吸引力，部分原因是对关键系统（例如云基础架构和政府机构）的广泛恶意软件攻击。入侵检测系统（IDS）使用某些形式的AI，由于能够以高预测准确性处理大量数据，因此获得了广泛的采用。这些系统托管在组织网络安全操作中心（CSOC）中，作为一种防御工具，可监视和检测恶意网络流，否则会影响机密性，完整性和可用性（CIA）。 CSOC分析师依靠这些系统来决定检测到的威胁。但是，使用深度学习（DL）技术设计的IDS通常被视为黑匣子模型，并且没有为其预测提供理由。这为CSOC分析师造成了障碍，因为他们无法根据模型的预测改善决策。解决此问题的一种解决方案是设计可解释的ID（X-IDS）。这项调查回顾了可解释的AI（XAI）的最先进的ID，目前的挑战，并讨论了这些挑战如何涉及X-ID的设计。特别是，我们全面讨论了黑匣子和白盒方法。我们还在这些方法之间的性能和产生解释的能力方面提出了权衡。此外，我们提出了一种通用体系结构，该建筑认为人类在循环中，该架构可以用作设计X-ID时的指南。研究建议是从三个关键观点提出的：需要定义ID的解释性，需要为各种利益相关者量身定制的解释以及设计指标来评估解释的需求。

为了提高模型透明度并允许用户形成训练有素的ML模型的心理模型，解释对AI和机器学习（ML）社区的兴趣越来越高。但是，解释可以超越这种方式通信作为引起用户控制的机制，因为一旦用户理解，他们就可以提供反馈。本文的目的是介绍研究概述，其中解释与交互式功能相结合，是从头开始学习新模型并编辑和调试现有模型的手段。为此，我们绘制了最先进的概念图，根据其预期目的以及它们如何构建相互作用，突出它们之间的相似性和差异来分组相关方法。我们还讨论开放研究问题并概述可能的方向，希望促使人们对这个开花研究主题进行进一步的研究。

可解释的人工智能（XAI）是提高机器学习（ML）管道透明度的有前途解决方案。我们将开发和利用XAI方法用于防御和进攻性网络安全任务的研究越来越多（但分散的）缩影。我们确定3个网络安全利益相关者，即模型用户，设计师和对手，将XAI用于ML管道中的5个不同目标，即1）启用XAI的决策支持，2）将XAI应用于安全任务，3）3）通过模型验证通过模型验证xai，4）解释验证和鲁棒性，以及5）对解释的进攻使用。我们进一步分类文献W.R.T.目标安全域。我们对文献的分析表明，许多XAI应用程序的设计都几乎没有了解如何将其集成到分析师工作流程中 - 仅在14％的情况下进行了解释评估的用户研究。文献也很少解开各种利益相关者的角色。特别是，在安全文献中将模型设计师的作用最小化。为此，我们提出了一个说明性用例，突显了模型设计师的作用。我们证明了XAI可以帮助模型验证和可能导致错误结论的案例。系统化和用例使我们能够挑战几个假设，并提出可以帮助塑造网络安全XAI未来的开放问题

反事实解释是作为一种有吸引力的选择，以便向算法决策提供不利影响的个人的诉讼选择。由于它们在关键应用中部署（例如，执法，财务贷款），确保我们清楚地了解这些方法的漏洞并找到解决这些方法的漏洞是重要的。但是，对反事实解释的脆弱性和缺点几乎没有了解。在这项工作中，我们介绍了第一个框架，它描述了反事解释的漏洞，并显示了如何操纵它们。更具体地，我们显示反事实解释可能会聚到众所周知的不同反应性，指示它们不稳健。利用这种洞察力，我们介绍了一部小说目标来培训看似公平的模特，反事实解释在轻微的扰动下发现了更低的成本追索。我们描述了这些模型如何在对审计师出现公平的情况下为数据中的特定子组提供低成本追索。我们对贷款和暴力犯罪预测数据集进行实验，其中某些子组在扰动下达到高达20倍的成本追索性。这些结果提高了关于当前反事实解释技术的可靠性的担忧，我们希望在强大的反事实解释中激发调查。

Interpretability provides a means for humans to verify aspects of machine learning (ML) models and empower human+ML teaming in situations where the task cannot be fully automated. Different contexts require explanations with different properties. For example, the kind of explanation required to determine if an early cardiac arrest warning system is ready to be integrated into a care setting is very different from the type of explanation required for a loan applicant to help determine the actions they might need to take to make their application successful. Unfortunately, there is a lack of standardization when it comes to properties of explanations: different papers may use the same term to mean different quantities, and different terms to mean the same quantity. This lack of a standardized terminology and categorization of the properties of ML explanations prevents us from both rigorously comparing interpretable machine learning methods and identifying what properties are needed in what contexts. In this work, we survey properties defined in interpretable machine learning papers, synthesize them based on what they actually measure, and describe the trade-offs between different formulations of these properties. In doing so, we enable more informed selection of task-appropriate formulations of explanation properties as well as standardization for future work in interpretable machine learning.

随着机器学习（ML）模型越来越多地用于做出结果决定，人们对开发可以为受影响个人提供求助的技术越来越兴趣。这些技术中的大多数提供了追索权，假设受影响的个体将实施规定的recourses \ emph {prirent}。但是，由于各种原因，要求将薪水提高\ $ 500的人可能会获得嘈杂和不一致的方式实施，这可能会获得晋升，而增加了505美元。在此激励的情况下，我们研究了面对嘈杂的人类反应时追索性无效的问题。更具体地说，我们从理论上和经验上分析了最新算法的行为，并证明这些算法产生的记录很可能是无效的（即，如果对它们做出的小变化，则可能导致负面结果） 。我们进一步提出了一个新颖的框架，期望嘈杂的响应（\ texttt {Expect}），该框架通过在嘈杂的响应中明确最大程度地减少追索性无效的可能性来解决上述问题。我们的框架可以确保最多$ r \％$的最多$ r $作为最终用户请求追索权的输入。通过这样做，我们的框架为最终用户提供了更大的控制权，可以在追索性成本和稳定性之间的稳定性之间进行权衡。具有多个现实世界数据集的实验评估证明了所提出的框架的功效，并验证了我们的理论发现。

与此同时，在可解释的人工智能（XAI）的研究领域中，已经开发了各种术语，动机，方法和评估标准。随着XAI方法的数量大大增长，研究人员以及从业者以及从业者需要一种方法：掌握主题的广度，比较方法，并根据特定用例所需的特征选择正确的XAI方法语境。在文献中，可以找到许多不同细节水平和深度水平的XAI方法分类。虽然他们经常具有不同的焦点，但它们也表现出许多重叠点。本文统一了这些努力，并提供了XAI方法的分类，这是关于目前研究中存在的概念的概念。在结构化文献分析和元研究中，我们识别并审查了XAI方法，指标和方法特征的50多个最引用和最新的调查。总结在调查调查中，我们将文章的术语和概念合并为统一的结构化分类。其中的单一概念总计超过50个不同的选择示例方法，我们相应地分类。分类学可以为初学者，研究人员和从业者提供服务作为XAI方法特征和方面的参考和广泛概述。因此，它提供了针对有针对性的，用例导向的基础和上下文敏感的未来研究。