基于机器学习的决策系统应用于安全关键领域需要可靠的高确定性预测。为此，可以通过拒绝选项来扩展系统，该选项允许系统拒绝输入，而只有一个具有不可接受的低确定性的预测。虽然能够拒绝不确定的样本很重要，但能够解释为什么拒绝特定样本也很重要。随着可解释的AI（XAI）的持续兴起，已经开发了许多基于机器学习系统的解释方法 - 但是，解释拒绝选项仍然是一个新的领域，在这种情况下，很少有先前的工作。在这项工作中，我们建议通过半就意义解释解释拒绝，这是基于示例的解释方法的实例，在XAI社区中尚未广泛考虑它们。我们提出了对任意拒绝选项的半同性恋解释的概念建模，并在基于共形预测的拒绝选项上对特定的实现进行了经验评估。

降低降低是一种流行的预处理，也是数据挖掘中广泛使用的工具。透明度通常是通过解释来实现的，如今已成为基于机器学习的系统（例如分类器和推荐系统）的广泛接受和关键要求。但是，降低维度和其他数据挖掘工具的透明度尚未得到太多考虑，但要了解其行为至关重要 - 特别是从业者可能想了解为什么特定样本被映射到特定位置。为了（本地）理解给定维度降低方法的行为，我们介绍了降低维度的对比解释的抽象概念，并将实现此概念的实现应用于解释两个维数据可视化的特定应用。

Counterfactual explanations are a popular type of explanation for making the outcomes of a decision making system transparent to the user. Counterfactual explanations tell the user what to do in order to change the outcome of the system in a desirable way. However, it was recently discovered that the recommendations of what to do can differ significantly in their complexity between protected groups of individuals. Providing more difficult recommendations of actions to one group leads to a disadvantage of this group compared to other groups. In this work we propose a model-agnostic method for computing counterfactual explanations that do not differ significantly in their complexity between protected groups.

Post-hoc explanations of machine learning models are crucial for people to understand and act on algorithmic predictions. An intriguing class of explanations is through counterfactuals, hypothetical examples that show people how to obtain a different prediction. We posit that effective counterfactual explanations should satisfy two properties: feasibility of the counterfactual actions given user context and constraints, and diversity among the counterfactuals presented. To this end, we propose a framework for generating and evaluating a diverse set of counterfactual explanations based on determinantal point processes. To evaluate the actionability of counterfactuals, we provide metrics that enable comparison of counterfactual-based methods to other local explanation methods. We further address necessary tradeoffs and point to causal implications in optimizing for counterfactuals. Our experiments on four real-world datasets show that our framework can generate a set of counterfactuals that are diverse and well approximate local decision boundaries, outperforming prior approaches to generating diverse counterfactuals. We provide an implementation of the framework at https://github.com/microsoft/DiCE. CCS CONCEPTS• Applied computing → Law, social and behavioral sciences.

由于算法预测对人类的影响增加，模型解释性已成为机器学习（ML）的重要问题。解释不仅可以帮助用户了解为什么ML模型做出某些预测，还可以帮助用户了解这些预测如何更改。在本论文中，我们研究了从三个有利位置的ML模型的解释性：算法，用户和教学法，并为解释性问题贡献了一些新颖的解决方案。

机器学习技术的不断增长的复杂性在实践中越来越多地使用，因此需要解释这些模型的预测和决策，通常用作黑盒。可解释的AI方法要么是基于数值的特征，旨在量化每个功能在预测或符号中提供某些形式的符号解释（例如反事实）的贡献。本文提出了一种名为asteryx的通用不可知论方法，允许同时生成符号解释和基于分数的解释。我们的方法是声明性的，它基于在等效符号表示中进行解释的模型的编码，后者用于生成特定两种类型的符号解释，这些解释是足够的原因和反事实。然后，我们将反映解释和特征W.R.T功能的相关性与某些属性相关联。我们的实验结果表明，拟议方法的可行性及其在提供符号和基于得分的解释方面的有效性。

这项研究通过对三种不同类型的模型进行基准评估来调查机器学习模型对产生反事实解释的影响：决策树（完全透明，可解释的，白色盒子模型），随机森林（一种半解释，灰色盒模型）和神经网络（完全不透明的黑盒模型）。我们在五个不同数据集（Compas，成人，德国，德语，糖尿病和乳腺癌）中使用四种算法（DICE，WatchERCF，原型和GrowingSpheresCF）测试了反事实生成过程。我们的发现表明：（1）不同的机器学习模型对反事实解释的产生没有影响； （2）基于接近性损失函数的唯一算法是不可行的，不会提供有意义的解释； （3）在不保证反事实生成过程中的合理性的情况下，人们无法获得有意义的评估结果。如果对当前的最新指标进行评估，则不考虑其内部机制中不合理的算法将导致偏见和不可靠的结论； （4）强烈建议对定性分析（以及定量分析），以确保对反事实解释和偏见的潜在识别进行强有力的分析。

为了提高模型透明度并允许用户形成训练有素的ML模型的心理模型，解释对AI和机器学习（ML）社区的兴趣越来越高。但是，解释可以超越这种方式通信作为引起用户控制的机制，因为一旦用户理解，他们就可以提供反馈。本文的目的是介绍研究概述，其中解释与交互式功能相结合，是从头开始学习新模型并编辑和调试现有模型的手段。为此，我们绘制了最先进的概念图，根据其预期目的以及它们如何构建相互作用，突出它们之间的相似性和差异来分组相关方法。我们还讨论开放研究问题并概述可能的方向，希望促使人们对这个开花研究主题进行进一步的研究。

反事实解释（CES）是了解如何更改算法的决策的强大手段。研究人员提出了许多CES应该满足的Desiderata实际上有用，例如需要最少的努力来制定或遵守因果模型。我们考虑了提高CES的可用性的另一个方面：对不良扰动的鲁棒性，这可能是由于不幸的情况而自然发生的。由于CES通常会规定干预的稀疏形式（即，仅应更改特征的子集），因此我们研究了针对建议更改的特征和不进行的特征分别解决鲁棒性的效果。我们的定义是可行的，因为它们可以将其作为罚款术语纳入用于发现CES的损失功能。为了实验鲁棒性，我们创建和发布代码，其中五个数据集（通常在公平和可解释的机器学习领域使用）已丰富了特定于功能的注释，这些注释可用于采样有意义的扰动。我们的实验表明，CES通常不健壮，如果发生不良扰动（即使不是最坏的情况），他们规定的干预措施可能需要比预期的要大得多，甚至变得不可能。但是，考虑搜索过程中的鲁棒性，可以很容易地完成，可以系统地发现健壮的CES。强大的CES进行额外的干预，以对比扰动的扰动比非稳定的CES降低得多。我们还发现，鲁棒性更容易实现功能更改，这为选择哪种反事实解释最适合用户提出了重要的考虑点。我们的代码可在以下网址获得：https：//github.com/marcovirgolin/robust-counterfactuals。

In the last years many accurate decision support systems have been constructed as black boxes, that is as systems that hide their internal logic to the user. This lack of explanation constitutes both a practical and an ethical issue. The literature reports many approaches aimed at overcoming this crucial weakness sometimes at the cost of scarifying accuracy for interpretability. The applications in which black box decision systems can be used are various, and each approach is typically developed to provide a solution for a specific problem and, as a consequence, delineating explicitly or implicitly its own definition of interpretability and explanation. The aim of this paper is to provide a classification of the main problems addressed in the literature with respect to the notion of explanation and the type of black box system. Given a problem definition, a black box type, and a desired explanation this survey should help the researcher to find the proposals more useful for his own work. The proposed classification of approaches to open black box models should also be useful for putting the many research open questions in perspective.

人工智能（AI）和机器学习（ML）在网络安全挑战中的应用已在行业和学术界的吸引力，部分原因是对关键系统（例如云基础架构和政府机构）的广泛恶意软件攻击。入侵检测系统（IDS）使用某些形式的AI，由于能够以高预测准确性处理大量数据，因此获得了广泛的采用。这些系统托管在组织网络安全操作中心（CSOC）中，作为一种防御工具，可监视和检测恶意网络流，否则会影响机密性，完整性和可用性（CIA）。 CSOC分析师依靠这些系统来决定检测到的威胁。但是，使用深度学习（DL）技术设计的IDS通常被视为黑匣子模型，并且没有为其预测提供理由。这为CSOC分析师造成了障碍，因为他们无法根据模型的预测改善决策。解决此问题的一种解决方案是设计可解释的ID（X-IDS）。这项调查回顾了可解释的AI（XAI）的最先进的ID，目前的挑战，并讨论了这些挑战如何涉及X-ID的设计。特别是，我们全面讨论了黑匣子和白盒方法。我们还在这些方法之间的性能和产生解释的能力方面提出了权衡。此外，我们提出了一种通用体系结构，该建筑认为人类在循环中，该架构可以用作设计X-ID时的指南。研究建议是从三个关键观点提出的：需要定义ID的解释性，需要为各种利益相关者量身定制的解释以及设计指标来评估解释的需求。

反事实解释是作为一种有吸引力的选择，以便向算法决策提供不利影响的个人的诉讼选择。由于它们在关键应用中部署（例如，执法，财务贷款），确保我们清楚地了解这些方法的漏洞并找到解决这些方法的漏洞是重要的。但是，对反事实解释的脆弱性和缺点几乎没有了解。在这项工作中，我们介绍了第一个框架，它描述了反事解释的漏洞，并显示了如何操纵它们。更具体地，我们显示反事实解释可能会聚到众所周知的不同反应性，指示它们不稳健。利用这种洞察力，我们介绍了一部小说目标来培训看似公平的模特，反事实解释在轻微的扰动下发现了更低的成本追索。我们描述了这些模型如何在对审计师出现公平的情况下为数据中的特定子组提供低成本追索。我们对贷款和暴力犯罪预测数据集进行实验，其中某些子组在扰动下达到高达20倍的成本追索性。这些结果提高了关于当前反事实解释技术的可靠性的担忧，我们希望在强大的反事实解释中激发调查。

大多数机器学习算法由一个或多个超参数配置，必须仔细选择并且通常会影响性能。为避免耗时和不可递销的手动试验和错误过程来查找性能良好的超参数配置，可以采用各种自动超参数优化（HPO）方法，例如，基于监督机器学习的重新采样误差估计。本文介绍了HPO后，本文审查了重要的HPO方法，如网格或随机搜索，进化算法，贝叶斯优化，超带和赛车。它给出了关于进行HPO的重要选择的实用建议，包括HPO算法本身，性能评估，如何将HPO与ML管道，运行时改进和并行化结合起来。这项工作伴随着附录，其中包含关于R和Python的特定软件包的信息，以及用于特定学习算法的信息和推荐的超参数搜索空间。我们还提供笔记本电脑，这些笔记本展示了这项工作的概念作为补充文件。

背景信息：在过去几年中，机器学习（ML）一直是许多创新的核心。然而，包括在所谓的“安全关键”系统中，例如汽车或航空的系统已经被证明是非常具有挑战性的，因为ML的范式转变为ML带来完全改变传统认证方法。目的：本文旨在阐明与ML为基础的安全关键系统认证有关的挑战，以及文献中提出的解决方案，以解决它们，回答问题的问题如何证明基于机器学习的安全关键系统？'方法：我们开展2015年至2020年至2020年之间发布的研究论文的系统文献综述（SLR），涵盖了与ML系统认证有关的主题。总共确定了217篇论文涵盖了主题，被认为是ML认证的主要支柱：鲁棒性，不确定性，解释性，验证，安全强化学习和直接认证。我们分析了每个子场的主要趋势和问题，并提取了提取的论文的总结。结果：单反结果突出了社区对该主题的热情，以及在数据集和模型类型方面缺乏多样性。它还强调需要进一步发展学术界和行业之间的联系，以加深域名研究。最后，它还说明了必须在上面提到的主要支柱之间建立连接的必要性，这些主要柱主要主要研究。结论：我们强调了目前部署的努力，以实现ML基于ML的软件系统，并讨论了一些未来的研究方向。

异构表格数据是最常用的数据形式，对于众多关键和计算要求的应用程序至关重要。在同质数据集上，深度神经网络反复显示出卓越的性能，因此被广泛采用。但是，它们适应了推理或数据生成任务的表格数据仍然具有挑战性。为了促进该领域的进一步进展，这项工作概述了表格数据的最新深度学习方法。我们将这些方法分为三组：数据转换，专业体系结构和正则化模型。对于每个小组，我们的工作提供了主要方法的全面概述。此外，我们讨论了生成表格数据的深度学习方法，并且还提供了有关解释对表格数据的深层模型的策略的概述。因此，我们的第一个贡献是解决上述领域中的主要研究流和现有方法，同时强调相关的挑战和开放研究问题。我们的第二个贡献是在传统的机器学习方法中提供经验比较，并在五个流行的现实世界中的十种深度学习方法中，具有不同规模和不同的学习目标的经验比较。我们已将作为竞争性基准公开提供的结果表明，基于梯度增强的树合奏的算法仍然大多在监督学习任务上超过了深度学习模型，这表明对表格数据的竞争性深度学习模型的研究进度停滞不前。据我们所知，这是对表格数据深度学习方法的第一个深入概述。因此，这项工作可以成为有价值的起点，以指导对使用表格数据深入学习感兴趣的研究人员和从业人员。

机器学习（ML）模型在许多软件工程任务中起着越来越普遍的作用。然而，由于大多数模型现在由不透明的深度神经网络供电，因此开发人员可能很难理解为什么该模型的结论以及如何对模型的预测作用。这一问题的激励，本文探讨了源代码模型的反事实解释。这种反事实解释构成了模型“改变其思想”的源代码的最小变化。我们将反事实解释生成整合到真实世界中的源代码的模型。我们描述了影响能够找到现实和合理的反事工艺解释的能力，以及对模型用户的这种解释的有用性。在一系列实验中，我们研究了我们对三种不同模型的方法的功效，每个模型都是基于在源代码上运行的伯特式架构。

在本文中，标题为基于模型的SAT方法，用于符合符号解释列举，我们提出了一种通用的不可知论方法，允许生成不同和互补的符号解释。更确切地说，我们通过分析特征与输出之间的关系来生成解释以在本地解释单个预测。我们的方法使用预测模型的命题编码和基于SAT的设置来生成两种类型的符号解释，这些解释是足够的原因和反事实。图像分类任务的实验结果表明，拟议方法的可行性及其在提供充分的原因和反事实解释方面的有效性。

反事实示例（CFS）是将事后解释附加到机器学习（ML）模型的最流行方法之一。但是，现有的CF生成方法要么利用特定模型的内部或取决于每个样本的邻域，因此很难对复杂模型进行推广，并且对于大型数据集而言效率低下。这项工作旨在克服这些局限性并引入放松身心，这是一种模型不足的算法，旨在生成最佳的反事实解释。具体而言，我们制定了将CFS作为顺序决策任务的问题，然后通过深入加固学习（DRL）使用离散连续的混合动作空间找到最佳CFS。在几个表格数据集上进行的广泛实验表明，放松胜过现有的CF生成基线，因为它会产生更稀疏的反事实，更可扩展到复杂的目标模型以解释，并且可以概括地分类和回归任务。最后，为了证明我们方法在现实世界中的用例中的有用性，我们利用了Rase产生的CFS来建议一个国家应采取的行动，以减少COVID-19引起的死亡风险。有趣的是，我们的方法推荐的行动与许多国家实际实施的策略相对应，以对抗COVID-19-19的大流行。

Explainability has been widely stated as a cornerstone of the responsible and trustworthy use of machine learning models. With the ubiquitous use of Deep Neural Network (DNN) models expanding to risk-sensitive and safety-critical domains, many methods have been proposed to explain the decisions of these models. Recent years have also seen concerted efforts that have shown how such explanations can be distorted (attacked) by minor input perturbations. While there have been many surveys that review explainability methods themselves, there has been no effort hitherto to assimilate the different methods and metrics proposed to study the robustness of explanations of DNN models. In this work, we present a comprehensive survey of methods that study, understand, attack, and defend explanations of DNN models. We also present a detailed review of different metrics used to evaluate explanation methods, as well as describe attributional attack and defense methods. We conclude with lessons and take-aways for the community towards ensuring robust explanations of DNN model predictions.

由于算法决策对人类的影响增加，模型解释性已成为机器学习（ML）的重要问题。反事实解释可以帮助用户不仅可以理解为什么ML模型做出某些决定，还可以改变这些决定。我们框架以梯度为基础的优化任务查找反事实解释的问题，并扩展了只能应用于可微分模型的先前工作。为了适应非微弱的模型，例如树集合，我们在优化框架中使用概率模型近似。我们介绍了一种近似技术，可以有效地查找原始模型的预测的反事实解释，并表明我们的反事实示例明显更接近原始实例，而不是由专门为树集合设计的其他方法产生的实例。