与单个决策树相比，Tree Ensemble（TE）模型（例如，增强的树木和随机森林）通常提供更高的预测性能。但是，由于人类难以理解其决策逻辑，因此TE模型通常缺乏透明度和可解释性。本文提出了一种新颖的方法，可以将经过训练的二进制分类任务的TE转换为规则列表（RL），该规则列表（RL）等同于TE，对于人类来说是可理解的。该RL捕获了TE决策的所有必要条件。基准数据集上的实验表明，与最先进的方法相比，（i）TE2RULES生成的RL的预测相对于原始TE具有很高的保真度，（ii）TE2RULES的RL具有高的解释性，由高可解释性衡量。决策规则的数量和长度，（iii）TE2RULES算法的运行时间可以大大减少，以稍低的保真度，（iv）RL是最新的替代品的快速替代 - 基于ART规则的实例级结果解释技术。

In the last years many accurate decision support systems have been constructed as black boxes, that is as systems that hide their internal logic to the user. This lack of explanation constitutes both a practical and an ethical issue. The literature reports many approaches aimed at overcoming this crucial weakness sometimes at the cost of scarifying accuracy for interpretability. The applications in which black box decision systems can be used are various, and each approach is typically developed to provide a solution for a specific problem and, as a consequence, delineating explicitly or implicitly its own definition of interpretability and explanation. The aim of this paper is to provide a classification of the main problems addressed in the literature with respect to the notion of explanation and the type of black box system. Given a problem definition, a black box type, and a desired explanation this survey should help the researcher to find the proposals more useful for his own work. The proposed classification of approaches to open black box models should also be useful for putting the many research open questions in perspective.

多标签分类是一项具有挑战性的任务，尤其是在要预测的标签数量很大的域中。深度神经网络通常在图像和文本数据的多标签分类方面有效。但是，在处理表格数据时，传统的机器学习算法（例如树形合奏）似乎超过了竞争。随机森林是一种流行的合奏算法，在各种现实世界中发现了使用。此类问题包括金融领域的欺诈检测，法律部门的犯罪热点检测以及生物医学领域，当患者记录可访问时疾病概率预测。由于它们对人们的生活有影响，因此这些领域通常需要可以解释决策系统。随机森林缺乏该特性，尤其是当使用大量树预测变量时。该问题在最近的一项名为Lionforests的研究中解决了有关单标签分类和回归。在这项工作中，我们通过对解释所涵盖的标签采用三种不同的策略来使该技术适应多标签分类问题。最后，我们提供了一组定性和定量实验，以评估该方法的功效。

由于它们在建模复杂的问题和处理高维数据集的有效性，因此已显示深神网络（DNN）在广泛的应用领域中的传统机器学习算法优于传统的机器学习算法。但是，许多现实生活数据集具有越来越高的维度，其中大量功能可能与手头的任务无关。包含此类功能不仅会引入不必要的噪声，还会提高计算复杂性。此外，由于许多特征之间的非线性和依赖性高，DNN模型往往不可避免地是不透明的，并且被视为黑盒方法，因为它们的内部功能不佳。解释良好的模型可以识别具有统计学意义的特征，并解释其影响模型结果的方式。在本文中，我们提出了一种有效的方法，可以在高维数据集的情况下提高黑框模型的分类任务。为此，我们首先在高维数据集上训练黑框模型，以了解执行分类的嵌入。为了分解黑框模型的内部工作原理并确定TOP-K重要特征，我们采用了不同的探测和扰动技术。然后，我们通过在TOP-K特征空间上通过可解释的替代模型来近似黑框模型的行为。最后，我们从替代模型中得出决策规则和本地解释，以解释个人决策。当在不同数据集上测试，尺寸在50到20,000之间的不同数据集上进行测试时，我们的方法优于最先进的方法，例如TABNET，XGBOOST和基于Shap的可解释性技术。

We introduce a new rule-based optimization method for classification with constraints. The proposed method takes advantage of linear programming and column generation, and hence, is scalable to large datasets. Moreover, the method returns a set of rules along with their optimal weights indicating the importance of each rule for learning. Through assigning cost coefficients to the rules and introducing additional constraints, we show that one can also consider interpretability and fairness of the results. We test the performance of the proposed method on a collection of datasets and present two case studies to elaborate its different aspects. Our results show that a good compromise between interpretability and fairness on the one side, and accuracy on the other side, can be obtained by the proposed rule-based learning method.

我们如何识别培训示例，这些培训示例为最多贡献的树集合的预测？在本文中，我们介绍了TREX，这是一个解释系统，它为树合奏提供了实例归因解释，例如随机林和渐变增强树。 TREX在以前为解释深神经网络开发的代表点框架构建。由于树合奏是非可差的，我们定义了一个捕获特定树集合的结构的内核。通过在内核逻辑回归或支持向量机中使用此内核，TREX构建一个近似于原始树集合的代理模型。代理模型的内核扩展中的权重用于定义每个训练示例的全局或本地重要性。我们的实验表明，TREX的代理模型准确地逼近树合奏;其全球重要性在数据集调试方面比以前的最先进的方式更有效;其解释识别比删除和培训评估框架下的替代方法更具影响力的样品;它比替代方法运行数量幅度;其本地解释可以识别和解释由于域不匹配导致的错误。

稀疏决策树优化是AI自成立以来的最基本问题之一，并且是可解释机器学习核心的挑战。稀疏的决策树优化是计算地的艰难，尽管自1960年代以来稳定的努力，但在过去几年中才突破问题，主要是在找到最佳稀疏决策树的问题上。然而，目前最先进的算法通常需要不切实际的计算时间和内存，以找到一些真实世界数据集的最佳或近最优树，特别是那些具有多个连续值的那些。鉴于这些决策树优化问题的搜索空间是大规模的，我们可以实际上希望找到一个稀疏的决策树，用黑盒机学习模型的准确性竞争吗？我们通过智能猜测策略来解决这个问题，可以应用于基于任何最优分支和绑定的决策树算法。我们表明，通过使用这些猜测，我们可以通过多个数量级来减少运行时间，同时提供所得树木可以偏离黑匣子的准确性和表现力的界限。我们的方法可以猜测如何在最佳决策树错误的持续功能，树的大小和下限上进行换算。我们的实验表明，在许多情况下，我们可以迅速构建符合黑匣子型号精度的稀疏决策树。总结：当您在优化时遇到困难时，就猜测。

本文考虑了在分解正常形式（DNF，ANDS的DNF，ANDS，相当于判定规则集）或联合正常形式（CNF，ORS）作为分类模型的联合正常形式的学习。为规则简化，将整数程序配制成最佳贸易分类准确性。我们还考虑公平设定，并扩大制定，以包括对两种不同分类措施的明确限制：机会平等和均等的赔率。列生成（CG）用于有效地搜索候选条款（连词或剖钉）的指数数量，而不需要启发式规则挖掘。此方法还会绑定所选规则集之间的间隙和培训数据上的最佳规则集。要处理大型数据集，我们建议使用随机化的近似CG算法。与三个最近提出的替代方案相比，CG算法主导了16个数据集中的8个中的精度简单折衷。当最大限度地提高精度时，CG与为此目的设计的规则学习者具有竞争力，有时发现明显更简单的解决方案，这些解决方案不太准确。与其他公平和可解释的分类器相比，我们的方法能够找到符合较严格的公平概念的规则集，以适度的折衷准确性。

Multi-label classification is becoming increasingly ubiquitous, but not much attention has been paid to interpretability. In this paper, we develop a multi-label classifier that can be represented as a concise set of simple "if-then" rules, and thus, it offers better interpretability compared to black-box models. Notably, our method is able to find a small set of relevant patterns that lead to accurate multi-label classification, while existing rule-based classifiers are myopic and wasteful in searching rules,requiring a large number of rules to achieve high accuracy. In particular, we formulate the problem of choosing multi-label rules to maximize a target function, which considers not only discrimination ability with respect to labels, but also diversity. Accounting for diversity helps to avoid redundancy, and thus, to control the number of rules in the solution set. To tackle the said maximization problem we propose a 2-approximation algorithm, which relies on a novel technique to sample high-quality rules. In addition to our theoretical analysis, we provide a thorough experimental evaluation, which indicates that our approach offers a trade-off between predictive performance and interpretability that is unmatched in previous work.

The decision tree is one of the most popular and classical machine learning models from the 1980s. However, in many practical applications, decision trees tend to generate decision paths with excessive depth. Long decision paths often cause overfitting problems, and make models difficult to interpret. With longer decision paths, inference is also more likely to fail when the data contain missing values. In this work, we propose a new tree model called Cascading Decision Trees to alleviate this problem. The key insight of Cascading Decision Trees is to separate the decision path and the explanation path. Our experiments show that on average, Cascading Decision Trees generate 63.38% shorter explanation paths, avoiding overfitting and thus achieve higher test accuracy. We also empirically demonstrate that Cascading Decision Trees have advantages in the robustness against missing values.

一方面，人工神经网络（ANNS）通常被标记为黑匣子，缺乏可解释性;阻碍了人类对ANNS行为的理解的问题。存在需要生成ANN的有意义的顺序逻辑，用于解释特定输出的生产过程。另一方面，决策树由于它们的代表语言和有效算法的存在而导致更好的可解释性和表现力，以将树木转化为规则。然而，基于可用数据生长决策树可能会产生大于不概括的必要树木或树木。在本文中，我们介绍了来自ANN的规则提取的两种新的多变量决策树（MDT）算法：精确可转换决策树（EC-DT）和扩展的C-NET算法。它们都将纠正的线性单元激活函数转换为代表树的神经网络，这可以进一步用于提取多元规则以进行推理。虽然EC-DT以层式方式转换ANN以表示由网络的隐藏层内隐式学习的决策边界，但扩展的C-Net将来自EC-DT的分解方法与C5树学习算法相结合形成决策规则。结果表明，虽然EC-DT在保持结构和ANN的保真度方面优越，但扩展的C-Net产生了来自ANN的最紧凑且高效的树木。两者都建议的MDT算法生成规则，包括多个属性的组合，以便决策的精确解释。

近年来，通过提取基于规则的模型，提高了深度神经网络（DNN）的可解释性和调试性，这一直有很大的努力，该模型近似于其决策边界。然而，当前DNN规则提取方法在提取DNN的潜在空间时，当提取称为分解算法时，要么限制为单层DNN或难以称为DNN或数据的大小。在本文中，我们通过介绍EclaIRE来解决这些限制，这是一种能够缩放到大型DNN架构和大型训练数据集的新型多项式规则提取算法。我们在各种任务中评估乳房，从乳腺癌预后到粒子检测，并表明它一直提取比当前最先进的方法提取更准确和可理解的规则集，同时使用数量级的计算资源。我们通过开源混音库（https://github.com/mateoespinosa/remix），使我们的所有方法包括规则集可视化接口，包括规则集可视化接口。

我们在数字世界中采取的每一步都会落后于我们行为的记录;数字足迹。研究表明，算法可以将这些数字足迹转化为精确的心理特征估计，包括人格特质，心理健康或情报。然而，AI产生这些见解的机制通常保持不透明。在本文中，我们展示了如何解释AI（XAI）可以帮助域专家和数据主体验证，问题和改进分类数字足迹的心理特征的模型。我们在来自金融交易数据的大五个人格预测（特征和方面）的范围内，详细说明了两个流行的XAI方法（规则提取和反事实解释）（n = 6,408）。首先，我们展示了全球规则提取在模型中标识的消费模式中如何阐明了最重要的人格，并讨论这些规则如何用于解释，验证和改进模型。其次，我们实施当地规则提取，以表明，由于其独特的财务行为，个人分配给个性课程，并且模型的预测信心与促进预测的特征数量之间存在积极的联系。我们的实验突出了全球和本地XAI方法的重要性。通过更好地了解预测模型如何工作，以及他们如何获得特定人的结果，Xai促进了一个世界的问责制，其中AI影响了世界各地数十亿人的生命。

大多数机器学习算法由一个或多个超参数配置，必须仔细选择并且通常会影响性能。为避免耗时和不可递销的手动试验和错误过程来查找性能良好的超参数配置，可以采用各种自动超参数优化（HPO）方法，例如，基于监督机器学习的重新采样误差估计。本文介绍了HPO后，本文审查了重要的HPO方法，如网格或随机搜索，进化算法，贝叶斯优化，超带和赛车。它给出了关于进行HPO的重要选择的实用建议，包括HPO算法本身，性能评估，如何将HPO与ML管道，运行时改进和并行化结合起来。这项工作伴随着附录，其中包含关于R和Python的特定软件包的信息，以及用于特定学习算法的信息和推荐的超参数搜索空间。我们还提供笔记本电脑，这些笔记本展示了这项工作的概念作为补充文件。

借助大量可用数据，许多企业寻求实施以数据为驱动的规范分析，以帮助他们做出明智的决定。这些规定的政策需要满足操作约束，并主动消除规则冲突，这两者在实践中无处不在。他们也需要简单且可解释，因此可以轻松地验证和实施它们。文献中的现有方法围绕构建规定决策树的变体以生成可解释的政策。但是，现有方法都无法处理约束。在本文中，我们提出了一种可扩展的方法，该方法解决了受限的规定政策生成问题。我们介绍了一种新型的基于路径的混合智能程序（MIP）公式，该计划通过列生成有效地标识了（接近）最佳策略。生成的策略可以表示为多道路拆分树，由于其较短的规则，它比二进制树更容易解释和信息。我们通过对合成数据集和真实数据集进行了广泛的实验来证明我们方法的功效。

机器学习已随着医疗，法律和运输等各种安全领域的应用而无所不在。在这些领域中，机器学习提供的高风险决策需要研究人员设计可解释的模型，在该模型中，预测对人类是可以理解的。在可解释的机器学习中，基于规则的分类器在通过包含输入功能的一组规则来表示决策边界方面特别有效。基于规则的分类器的解释性通常与规则的规模有关，其中较小的规则被认为更容易解释。要学习这样的分类器，蛮力的直接方法是考虑一个优化问题，该问题试图学习具有接近最大准确性的最小分类规则。由于其组合性质，该优化问题在计算上是可悲的，因此，在大型数据集中，该问题无法扩展。为此，在本文中，我们研究了基于学习规则的分类器的准确性，可解释性和可伸缩性之间的三角关系。本文的贡献是一个可解释的学习框架IMLI，这是基于最大的满意度（MAXSAT），用于在命题逻辑中表达的合成分类规则。尽管在过去十年中MaxSat解决方案取得了进展，但基于最直接的MaxSat解决方案仍无法扩展。因此，我们通过整合迷你批次学习和迭代规则学习，将有效的增量学习技术纳入了MaxSAT公式中。在我们的实验中，IMLI在预测准确性，可解释性和可伸缩性之间取得了最佳平衡。作为一个应用程序，我们将IMLI部署在学习流行的可解释分类器（例如决策清单和决策集）中。

集群中的依赖性意识性工作计划是NP-HARD。最近的工作表明，深入的强化学习（DRL）能够解决它。管理员很难理解基于DRL的策略，即使它取得了显着的绩效增长。因此，基于复杂的模型调度程序并不容易获得对简单性的系统的信任。在本文中，我们提供了多层次的解释框架来解释基于DRL的调度的策略。我们将其决策过程剖析到工作级别和任务级别，并使用可解释的模型和规则近似于操作实践。我们表明，该框架为系统管理员的洞察力提供了对最先进的调度程序的见解，并揭示了有关其行为模式的鲁棒性问题。

规则集是高度可解释的逻辑模型，其中决策的谓词以分离的正常形式（DNF或ands）表达，或者等效地，总体模型包括无序的决策规则集合。在本文中，我们考虑了一种基于基于学习规则集的基于superdular优化的方法。学习问题被构成一个子集选择任务，其中所有可能的规则的子集需要选择以形成准确且可解释的规则集。我们采用了表现出表达性的目标函数，因此可以适合于次管的优化技术。为了克服难以处理指数尺寸的地面规则集的难度，搜索规则的子问题被抛弃为另一个询问特征子集的子集选择任务。我们表明，可以为子问题编写诱导的目标函数，作为两个子模函数（DS）函数的差，以使其通过DS优化算法近似解决。总体而言，所提出的方法是简单，可扩展的，并且可能会从进一步研究子解体优化中受益。实际数据集上的实验证明了我们方法的有效性。

在文献中提出了各种各样的公平度量和可解释的人工智能（XAI）方法，以确定在关键现实环境中使用的机器学习模型中的偏差。但是，仅报告模型的偏差，或使用现有XAI技术生成解释不足以定位并最终减轻偏差源。在这项工作中，我们通过识别对这种行为的根本原因的训练数据的连贯子集来引入Gopher，该系统产生紧凑，可解释和意外模型行为的偏差或意外模型行为。具体而言，我们介绍了因果责任的概念，这些责任通过删除或更新其数据集来解决培训数据的程度可以解决偏差。建立在这一概念上，我们开发了一种有效的方法，用于生成解释模型偏差的顶级模式，该模型偏置利用来自ML社区的技术来实现因果责任，并使用修剪规则来管理模式的大搜索空间。我们的实验评估表明了Gopher在为识别和调试偏置来源产生可解释解释时的有效性。

最先进的深度学习方法在许多任务上实现了类似人类的表现，但仍会犯错。用易于解释的术语表征这些错误，可以深入了解分类器是否容易出现系统错误，但也提供了一种行动和改善分类器的方法。我们建议发现与正确响应密切相关的那些特征值组合（即模式）。错误的预测，以获取任意分类器的全局和可解释的描述。我们证明这是更通用的标签描述问题的实例，我们根据最小描述长度原理提出了这一点。要发现一个良好的模式集，我们开发了有效的前提算法。通过大量的实验，我们表明它在合成数据和现实世界中的实践中表现出色。与现有的解决方案不同，即使在许多功能上的高度不平衡数据上，它也可以恢复地面真相模式。通过两个有关视觉问题答案和命名实体识别的案例研究，我们确认前提可以清楚且可行的见解对现代NLP分类器的系统错误。