机器学习技术的不断增长的复杂性在实践中越来越多地使用，因此需要解释这些模型的预测和决策，通常用作黑盒。可解释的AI方法要么是基于数值的特征，旨在量化每个功能在预测或符号中提供某些形式的符号解释（例如反事实）的贡献。本文提出了一种名为asteryx的通用不可知论方法，允许同时生成符号解释和基于分数的解释。我们的方法是声明性的，它基于在等效符号表示中进行解释的模型的编码，后者用于生成特定两种类型的符号解释，这些解释是足够的原因和反事实。然后，我们将反映解释和特征W.R.T功能的相关性与某些属性相关联。我们的实验结果表明，拟议方法的可行性及其在提供符号和基于得分的解释方面的有效性。

在本文中，标题为基于模型的SAT方法，用于符合符号解释列举，我们提出了一种通用的不可知论方法，允许生成不同和互补的符号解释。更确切地说，我们通过分析特征与输出之间的关系来生成解释以在本地解释单个预测。我们的方法使用预测模型的命题编码和基于SAT的设置来生成两种类型的符号解释，这些解释是足够的原因和反事实。图像分类任务的实验结果表明，拟议方法的可行性及其在提供充分的原因和反事实解释方面的有效性。

在本文的标题为反事实解释的符号方法中，我们提出了一种新颖的符号方法，以提供分类器预测的反事实解释。与大多数解释方法相反，目标是了解数据的哪些部分以及在多大程度上有助于提出预测，反事实说明表明必须在数据中更改哪些功能才能更改此分类器预测。我们的方法是象征性的，因为它基于在等效的CNF公式中编码分类器的决策功能。在这种方法中，反事实解释被视为最小校正子集（MCS），这是知识基础赔偿中众所周知的概念。因此，这种方法利用了已经存在的MCS生成的已经存在和经过验证的解决方案的优势。我们对贝叶斯分类器的初步实验研究表明，这种方法在几个数据集上的潜力。

The most widely studied explainable AI (XAI) approaches are unsound. This is the case with well-known model-agnostic explanation approaches, and it is also the case with approaches based on saliency maps. One solution is to consider intrinsic interpretability, which does not exhibit the drawback of unsoundness. Unfortunately, intrinsic interpretability can display unwieldy explanation redundancy. Formal explainability represents the alternative to these non-rigorous approaches, with one example being PI-explanations. Unfortunately, PI-explanations also exhibit important drawbacks, the most visible of which is arguably their size. Recently, it has been observed that the (absolute) rigor of PI-explanations can be traded off for a smaller explanation size, by computing the so-called relevant sets. Given some positive {\delta}, a set S of features is {\delta}-relevant if, when the features in S are fixed, the probability of getting the target class exceeds {\delta}. However, even for very simple classifiers, the complexity of computing relevant sets of features is prohibitive, with the decision problem being NPPP-complete for circuit-based classifiers. In contrast with earlier negative results, this paper investigates practical approaches for computing relevant sets for a number of widely used classifiers that include Decision Trees (DTs), Naive Bayes Classifiers (NBCs), and several families of classifiers obtained from propositional languages. Moreover, the paper shows that, in practice, and for these families of classifiers, relevant sets are easy to compute. Furthermore, the experiments confirm that succinct sets of relevant features can be obtained for the families of classifiers considered.

In the last years many accurate decision support systems have been constructed as black boxes, that is as systems that hide their internal logic to the user. This lack of explanation constitutes both a practical and an ethical issue. The literature reports many approaches aimed at overcoming this crucial weakness sometimes at the cost of scarifying accuracy for interpretability. The applications in which black box decision systems can be used are various, and each approach is typically developed to provide a solution for a specific problem and, as a consequence, delineating explicitly or implicitly its own definition of interpretability and explanation. The aim of this paper is to provide a classification of the main problems addressed in the literature with respect to the notion of explanation and the type of black box system. Given a problem definition, a black box type, and a desired explanation this survey should help the researcher to find the proposals more useful for his own work. The proposed classification of approaches to open black box models should also be useful for putting the many research open questions in perspective.

最近已经提出了几个查询和分数来解释对ML模型的个人预测。鉴于ML型号的灵活，可靠和易于应用的可解释性方法，我们预见了需要开发声明语言以自然地指定不同的解释性查询。我们以原则的方式通过源于逻辑，称为箔，允许表达许多简单但重要的解释性查询，并且可以作为更具表现力解释性语言的核心来实现这一语言。我们研究箔片查询的两类ML模型的计算复杂性经常被视为容易解释：决策树和OBDD。由于ML模型的可能输入的数量是尺寸的指数，因此箔评估问题的易易性是精细的，但是可以通过限制模型的结构或正在评估的箔片段来实现。我们还以高级声明语言包装的箔片的原型实施，并执行实验，表明可以在实践中使用这种语言。

Artificial intelligence(AI) systems based on deep neural networks (DNNs) and machine learning (ML) algorithms are increasingly used to solve critical problems in bioinformatics, biomedical informatics, and precision medicine. However, complex DNN or ML models that are unavoidably opaque and perceived as black-box methods, may not be able to explain why and how they make certain decisions. Such black-box models are difficult to comprehend not only for targeted users and decision-makers but also for AI developers. Besides, in sensitive areas like healthcare, explainability and accountability are not only desirable properties of AI but also legal requirements -- especially when AI may have significant impacts on human lives. Explainable artificial intelligence (XAI) is an emerging field that aims to mitigate the opaqueness of black-box models and make it possible to interpret how AI systems make their decisions with transparency. An interpretable ML model can explain how it makes predictions and which factors affect the model's outcomes. The majority of state-of-the-art interpretable ML methods have been developed in a domain-agnostic way and originate from computer vision, automated reasoning, or even statistics. Many of these methods cannot be directly applied to bioinformatics problems, without prior customization, extension, and domain adoption. In this paper, we discuss the importance of explainability with a focus on bioinformatics. We analyse and comprehensively overview of model-specific and model-agnostic interpretable ML methods and tools. Via several case studies covering bioimaging, cancer genomics, and biomedical text mining, we show how bioinformatics research could benefit from XAI methods and how they could help improve decision fairness.

我们提出了答案设置的程序，该程序指定和计算在分类模型上输入的实体的反事实干预。关于模型的结果，生成的反事实作为定义和计算分类所在实体的特征值的基于因果的解释分数的基础，即“责任分数”。方法和程序可以应用于黑盒式模型，也可以使用可以指定为逻辑程序的模型，例如基于规则的分类器。这项工作的主要重点是“最佳”反事实体的规范和计算，即导致最大责任分数的人。从它们中可以从原始实体中读取解释作为最大责任特征值。我们还扩展程序以引入图片语义或域知识。我们展示如何通过概率方法扩展方法，以及如何通过使用约束来修改潜在的概率分布。示出了在DLV ASP-Solver的语法中写入的若干程序，并与其运行。

由于它们在建模复杂的问题和处理高维数据集的有效性，因此已显示深神网络（DNN）在广泛的应用领域中的传统机器学习算法优于传统的机器学习算法。但是，许多现实生活数据集具有越来越高的维度，其中大量功能可能与手头的任务无关。包含此类功能不仅会引入不必要的噪声，还会提高计算复杂性。此外，由于许多特征之间的非线性和依赖性高，DNN模型往往不可避免地是不透明的，并且被视为黑盒方法，因为它们的内部功能不佳。解释良好的模型可以识别具有统计学意义的特征，并解释其影响模型结果的方式。在本文中，我们提出了一种有效的方法，可以在高维数据集的情况下提高黑框模型的分类任务。为此，我们首先在高维数据集上训练黑框模型，以了解执行分类的嵌入。为了分解黑框模型的内部工作原理并确定TOP-K重要特征，我们采用了不同的探测和扰动技术。然后，我们通过在TOP-K特征空间上通过可解释的替代模型来近似黑框模型的行为。最后，我们从替代模型中得出决策规则和本地解释，以解释个人决策。当在不同数据集上测试，尺寸在50到20,000之间的不同数据集上进行测试时，我们的方法优于最先进的方法，例如TABNET，XGBOOST和基于Shap的可解释性技术。

与此同时，在可解释的人工智能（XAI）的研究领域中，已经开发了各种术语，动机，方法和评估标准。随着XAI方法的数量大大增长，研究人员以及从业者以及从业者需要一种方法：掌握主题的广度，比较方法，并根据特定用例所需的特征选择正确的XAI方法语境。在文献中，可以找到许多不同细节水平和深度水平的XAI方法分类。虽然他们经常具有不同的焦点，但它们也表现出许多重叠点。本文统一了这些努力，并提供了XAI方法的分类，这是关于目前研究中存在的概念的概念。在结构化文献分析和元研究中，我们识别并审查了XAI方法，指标和方法特征的50多个最引用和最新的调查。总结在调查调查中，我们将文章的术语和概念合并为统一的结构化分类。其中的单一概念总计超过50个不同的选择示例方法，我们相应地分类。分类学可以为初学者，研究人员和从业者提供服务作为XAI方法特征和方面的参考和广泛概述。因此，它提供了针对有针对性的，用例导向的基础和上下文敏感的未来研究。

本文介绍了一种基于Prolog的推理模块，以产生鉴于由黑盒分类器计算的预测的反事实解释。建议的符号推理模块还可以解决使用地面真实标签而不是预测的if查询。总的来说，我们的方法包括四个明确定义的阶段，可以应用于任何结构化模式分类问题。首先，我们通过抵消缺失值并归一化数值特征来预先处理给定的数据集。其次，我们使用模糊群集将数值特征转换为象征性的，使得提取的模糊簇映射到有序的预定义符号集。第三，我们使用标称值，预定义符号，决策类和置信度值将实例编码为Prolog规则。第四，我们使用模糊粗糙集理论来计算每个Prolog规则的整体置信度，以处理通过将数值转变为符号而引起的不确定性。此步骤对新的相似性功能进行了额外的理论贡献，以比较涉及置信度值的先前定义的Prolog规则。最后，我们在人类之间实现了聊天栏和基于Prolog的推理模块，以解决自然语言查询并生成反事实解释。在使用合成数据集的数值模拟期间，我们在使用不同的模糊运算符和相似性功能时研究我们的系统的性能。在结束时，我们说明了我们的推理模块如何使用不同的用例工作。

众所周知，端到端的神经NLP体系结构很难理解，这引起了近年来为解释性建模的许多努力。模型解释的基本原则是忠诚，即，解释应准确地代表模型预测背后的推理过程。这项调查首先讨论了忠诚的定义和评估及其对解释性的意义。然后，我们通过将方法分为五类来介绍忠实解释的最新进展：相似性方法，模型内部结构的分析，基于反向传播的方法，反事实干预和自我解释模型。每个类别将通过其代表性研究，优势和缺点来说明。最后，我们从它们的共同美德和局限性方面讨论了上述所有方法，并反思未来的工作方向忠实的解释性。对于有兴趣研究可解释性的研究人员，这项调查将为该领域提供可访问且全面的概述，为进一步探索提供基础。对于希望更好地了解自己的模型的用户，该调查将是一项介绍性手册，帮助选择最合适的解释方法。

增压树是主要的ML模型，表现出高度精度。但是，增压树几乎不可理解，每当将它们用于安全至关重要的应用中时，这都是一个问题。确实，在这种情况下，预期对所做预测的严格解释。最近的工作已经表明，如何使用自动推理技术来推导升压树的小节最小绑架解释。但是，在一般情况下，这种结合的解释的产生是棘手的。为了提高他们这一代的可扩展性，我们介绍了树木特定的解释的概念。我们表明，特定于树的解释是可以在多项式时间内计算的绑架解释。我们还解释了如何从特定于树的解释中得出亚群最小绑架性解释。各种数据集上的实验显示了利用树特定解释的计算益处，以得出亚群最小的绑架解释。

在本文中，我们提出了一种新的可解释性形式主义，旨在阐明测试集的每个输入变量如何影响机器学习模型的预测。因此，我们根据训练有素的机器学习决策规则提出了一个群体的解释性形式，它们是根据其对输入变量分布的可变性的反应。为了强调每个输入变量的影响，这种形式主义使用信息理论框架，该框架量化了基于熵投影的所有输入输出观测值的影响。因此，这是第一个统一和模型不可知的形式主义，使数据科学家能够解释输入变量之间的依赖性，它们对预测错误的影响以及它们对输出预测的影响。在大型样本案例中提供了熵投影的收敛速率。最重要的是，我们证明，计算框架中的解释具有低算法的复杂性，使其可扩展到现实生活中的大数据集。我们通过解释通过在各种数据集上使用XGBoost，随机森林或深层神经网络分类器（例如成人收入，MNIST，CELEBA，波士顿住房，IRIS以及合成的）上使用的复杂决策规则来说明我们的策略。最终，我们明确了基于单个观察结果的解释性策略石灰和摇摆的差异。可以通过使用自由分布的Python工具箱https://gems-ai.aniti.fr/来复制结果。

即使有效，模型的使用也必须伴随着转换数据的各个级别的理解（上游和下游）。因此，需求增加以定义单个数据与算法可以根据其分析可以做出的选择（例如，一种产品或一种促销报价的建议，或代表风险的保险费率）。模型用户必须确保模型不会区分，并且也可以解释其结果。本文介绍了模型解释的重要性，并解决了模型透明度的概念。在保险环境中，它专门说明了如何使用某些工具来强制执行当今可以利用机器学习的精算模型的控制。在一个简单的汽车保险中损失频率估计的示例中，我们展示了一些解释性方法的兴趣，以适应目标受众的解释。

人工智能（AI）和机器学习（ML）在网络安全挑战中的应用已在行业和学术界的吸引力，部分原因是对关键系统（例如云基础架构和政府机构）的广泛恶意软件攻击。入侵检测系统（IDS）使用某些形式的AI，由于能够以高预测准确性处理大量数据，因此获得了广泛的采用。这些系统托管在组织网络安全操作中心（CSOC）中，作为一种防御工具，可监视和检测恶意网络流，否则会影响机密性，完整性和可用性（CIA）。 CSOC分析师依靠这些系统来决定检测到的威胁。但是，使用深度学习（DL）技术设计的IDS通常被视为黑匣子模型，并且没有为其预测提供理由。这为CSOC分析师造成了障碍，因为他们无法根据模型的预测改善决策。解决此问题的一种解决方案是设计可解释的ID（X-IDS）。这项调查回顾了可解释的AI（XAI）的最先进的ID，目前的挑战，并讨论了这些挑战如何涉及X-ID的设计。特别是，我们全面讨论了黑匣子和白盒方法。我们还在这些方法之间的性能和产生解释的能力方面提出了权衡。此外，我们提出了一种通用体系结构，该建筑认为人类在循环中，该架构可以用作设计X-ID时的指南。研究建议是从三个关键观点提出的：需要定义ID的解释性，需要为各种利益相关者量身定制的解释以及设计指标来评估解释的需求。

为了提高模型透明度并允许用户形成训练有素的ML模型的心理模型，解释对AI和机器学习（ML）社区的兴趣越来越高。但是，解释可以超越这种方式通信作为引起用户控制的机制，因为一旦用户理解，他们就可以提供反馈。本文的目的是介绍研究概述，其中解释与交互式功能相结合，是从头开始学习新模型并编辑和调试现有模型的手段。为此，我们绘制了最先进的概念图，根据其预期目的以及它们如何构建相互作用，突出它们之间的相似性和差异来分组相关方法。我们还讨论开放研究问题并概述可能的方向，希望促使人们对这个开花研究主题进行进一步的研究。

本文研究了与可解释的AI（XAI）实践有关的两个不同但相关的问题。机器学习（ML）在金融服务中越来越重要，例如预批准，信用承销，投资以及各种前端和后端活动。机器学习可以自动检测培训数据中的非线性和相互作用，从而促进更快，更准确的信用决策。但是，机器学习模型是不透明的，难以解释，这是建立可靠技术所需的关键要素。该研究比较了各种机器学习模型，包括单个分类器（逻辑回归，决策树，LDA，QDA），异质集合（Adaboost，随机森林）和顺序神经网络。结果表明，整体分类器和神经网络的表现优于表现。此外，使用基于美国P2P贷款平台Lending Club提供的开放式访问数据集评估了两种先进的事后不可解释能力 - 石灰和外形来评估基于ML的信用评分模型。对于这项研究，我们还使用机器学习算法来开发新的投资模型，并探索可以最大化盈利能力同时最大程度地降低风险的投资组合策略。

我们详细阐述了布尔分类器$ \ sigma $的纠正概念。给定$ \ sigma $和某些背景知识$ t $，表征$ \ sigma $的方式必须更改为符合$ t $的新分类器$ \ sigma \ star t $。我们在这里重点关注单标签布尔分类器的特定情况，即有一个单个目标概念，任何实例都被分类为正（概念的元素）或负面（互补概念的元素）。在这种特定情况下，我们的主要贡献是双重的：（1）我们证明有一个独特的整流操作员$ \ star $满足假设，并且（2）当$ \ sigma $和$ t $是布尔电路时，我们会显示如何在$ \ sigma $和$ t $的大小上计算出相当于$ \ sigma \ star t $的分类电路；当$ \ sigma $和$ t $是决策树时，可以按$ \ sigma $和$ t $的大小计算出相当于$ \ sigma \ star t $的决策树。

多标签分类是一项具有挑战性的任务，尤其是在要预测的标签数量很大的域中。深度神经网络通常在图像和文本数据的多标签分类方面有效。但是，在处理表格数据时，传统的机器学习算法（例如树形合奏）似乎超过了竞争。随机森林是一种流行的合奏算法，在各种现实世界中发现了使用。此类问题包括金融领域的欺诈检测，法律部门的犯罪热点检测以及生物医学领域，当患者记录可访问时疾病概率预测。由于它们对人们的生活有影响，因此这些领域通常需要可以解释决策系统。随机森林缺乏该特性，尤其是当使用大量树预测变量时。该问题在最近的一项名为Lionforests的研究中解决了有关单标签分类和回归。在这项工作中，我们通过对解释所涵盖的标签采用三种不同的策略来使该技术适应多标签分类问题。最后，我们提供了一组定性和定量实验，以评估该方法的功效。