近年来，在许多工业领域引入了机器学习和AI。在诸如金融，医学和自主驾驶的领域，其中模型的推理结果可能具有严重后果，需要高的可解释性以及预测准确性。在这项研究中，我们提出了CGA2M +，其基于广义添加剂2模型（GA2M），并以两种主要方式不同。首先是单调性引入。基于分析师的知识基于某些功能对某些功能进行体重，而且预计不仅可以改善可解释性，而且还改善了概括性表现。第二个是引入高阶项：鉴于Ga2m仅考虑二阶交互，我们旨在通过引入可以捕获更高阶交互的更高阶项来平衡解释性和预测准确性。通过这种方式，我们可以通过应用学习创新来改善预测性能而不会影响可解释性。数值实验表明，该模型具有高预测性能和可解释性。此外，我们证实通过引入单调性来改善泛化性能。

即使有效，模型的使用也必须伴随着转换数据的各个级别的理解（上游和下游）。因此，需求增加以定义单个数据与算法可以根据其分析可以做出的选择（例如，一种产品或一种促销报价的建议，或代表风险的保险费率）。模型用户必须确保模型不会区分，并且也可以解释其结果。本文介绍了模型解释的重要性，并解决了模型透明度的概念。在保险环境中，它专门说明了如何使用某些工具来强制执行当今可以利用机器学习的精算模型的控制。在一个简单的汽车保险中损失频率估计的示例中，我们展示了一些解释性方法的兴趣，以适应目标受众的解释。

目前，在统计严格的方法（如线性回归或添加剂花纹）与使用神经网络的强大深度方法之间的性能差距很大。以前试图缩小此差距的工作未能完全研究成倍增长的功能组合数量，这些功能组合在训练过程中会自动考虑这些组合。在这项工作中，我们开发了一种可拖动的选择算法，以通过利用特征交互检测中的技术来有效地识别必要的特征组合。我们提出的稀疏互动添加剂网络（Sian）构建了从这些简单且可解释的模型到完全连接的神经网络的桥梁。Sian在多个大规模表格数据集中对最先进的方法实现了竞争性能，并始终发现神经网络的建模能力与更简单方法的普遍性之间的最佳权衡。

在真正的高风险环境中部署机器学习模型（例如医疗保健）通常不仅取决于模型的准确性，而且还取决于其公平性，鲁棒性和可解释性。广义添加剂模型（Gams）是一类具有悠久的可解释模型，这些模型在这些高风险域中使用了悠久的使用，但它们缺乏深度学习的理想特征，例如可分利用和可扩展性。在这项工作中，我们提出了一个神经游戏（Node-Gam）和神经GA $ ^ 2 $ m（node-ga $ ^ 2 $ m），比展出良好，而不是大型数据集上的其他gam更好，同时剩下可解释其他集合和深层学习模式。我们展示了我们的模型在数据中找到了有趣的模式。最后，我们表明我们通过自我监督的预培训提高了模型准确性，这是不可分辨性的游戏不可能的改进。

Building an accurate model of travel behaviour based on individuals' characteristics and built environment attributes is of importance for policy-making and transportation planning. Recent experiments with big data and Machine Learning (ML) algorithms toward a better travel behaviour analysis have mainly overlooked socially disadvantaged groups. Accordingly, in this study, we explore the travel behaviour responses of low-income individuals to transit investments in the Greater Toronto and Hamilton Area, Canada, using statistical and ML models. We first investigate how the model choice affects the prediction of transit use by the low-income group. This step includes comparing the predictive performance of traditional and ML algorithms and then evaluating a transit investment policy by contrasting the predicted activities and the spatial distribution of transit trips generated by vulnerable households after improving accessibility. We also empirically investigate the proposed transit investment by each algorithm and compare it with the city of Brampton's future transportation plan. While, unsurprisingly, the ML algorithms outperform classical models, there are still doubts about using them due to interpretability concerns. Hence, we adopt recent local and global model-agnostic interpretation tools to interpret how the model arrives at its predictions. Our findings reveal the great potential of ML algorithms for enhanced travel behaviour predictions for low-income strata without considerably sacrificing interpretability.

在人类循环机器学习应用程序的背景下，如决策支持系统，可解释性方法应在不使用户等待的情况下提供可操作的见解。在本文中，我们提出了加速的模型 - 不可知论解释（ACME），一种可解释的方法，即在全球和本地层面迅速提供特征重要性分数。可以将acme应用于每个回归或分类模型的后验。 ACME计算功能排名不仅提供了一个什么，但它还提供了一个用于评估功能值的变化如何影响模型预测的原因 - 如果分析工具。我们评估了综合性和现实世界数据集的建议方法，同时也与福芙添加剂解释（Shap）相比，我们制作了灵感的方法，目前是最先进的模型无关的解释性方法。我们在生产解释的质量方面取得了可比的结果，同时急剧减少计算时间并为全局和局部解释提供一致的可视化。为了促进该领域的研究，为重复性，我们还提供了一种存储库，其中代码用于实验。

可解释的机器学习（IML）在与人类健康和安全或基本权利有关的高度监管的行业方面变得越来越重要。通常，由于它们的透明度和解释性，应采用固有的IML模型，而具有模型无关的解释性的黑匣子型号可能更难以在监管审查下抵御。为了评估机器学习模型的固有可解释性，我们提出了一种基于特征效果和模型架构约束的定性模板。它为高性能IML模型开发提供了设计原则，其中通过审查我们最近的exnn，gami-net，simtree和aletheia工具包的实例，以实现深度Relu网络的局部线性解释性。我们进一步展示了如何设计一种可解释的Relu DNN模型，评估概念性的概念性研究，用于预测家庭贷款中的信用违约。我们希望这项工作将在银行业的高风险应用中，以及其他行业提供实用的IML模型的实用指导。

在决策过程中使用机器学习技术时，模型的可解释性很重要。在本文中，我们采用了福利添加剂解释（Shap），这是根据许多利益相关者之间的公平利润分配，根据其贡献，用于解释使用医院数据的渐变升级决策树模型。为了更好地解释，我们提出了如下的三种新技术：（1）使用SHAC和（2）所谓的特征包的特征重要性的新度量，该技术被称为一个分组的特征，以允许更容易地了解模型没有模型的重建。然后，将解释结果与Shap框架和现有方法进行比较。此外，我们展示了A / G比如何使用医院数据和所提出的技术作为脑梗死的重要预后因素。

由于在现实世界应用中广泛使用复杂的机器学习模型，解释模型预测变得至关重要。但是，这些模型通常是黑盒深神经网络，通过具有已知忠实限制的方法来解释事后。广义添加剂模型（GAM）是一种可解释的模型类别，通过分别学习每个功能的非线性形状函数来解决此限制，然后在顶部进行线性模型。但是，这些模型通常很难训练，需要许多参数，并且难以扩展。我们提出了一个全新的游戏亚家族，以利用形状函数的基础分解。在所有功能之间共享少数基础函数，并共同用于给定任务，因此使我们的模型比例更好地到具有高维功能的大规模数据，尤其是当功能稀疏时。我们提出了一种表示是神经基依据（NBM）的体系结构，该模型使用单个神经网络来学习这些基础。在各种表格和图像数据集上，我们证明，对于可解释的机器学习，NBMS是准确性，模型大小和吞吐量的最先进，并且可以轻松模拟所有高阶特征交互。源代码可在https://github.com/facebookresearch/nbm-pam上获得。

广义添加剂模型（GAM）迅速成为完全解释的机器学习的主要选择。但是，与不可解释的方法（例如DNNS）不同，它们缺乏表达能力和易于可扩展性，因此对于实际任务而言并不是可行的替代方法。我们提出了一个新的游戏类，该类别使用多项式的张量秩分解来学习功能强大的，{\ em完全解释}模型。我们的方法标题为“可扩展多项式添加剂模型（垃圾邮件”）是毫不舒服的可扩展性，并且模型{\ em all}的高阶特征交互没有组合参数爆炸。垃圾邮件的表现优于所有当前可解释的方法，并在一系列现实世界的基准测试中匹配DNN/XGBoost性能，并具有多达数十万个功能。我们通过人类主题评估证明，垃圾邮件在实践中明显更容易解释，因此是DNN毫不费力的替代者，用于创建适合大规模机器学习的可解释和高性能系统。源代码可在https://github.com/facebookresearch/nbm-pam上获得。

PV power forecasting models are predominantly based on machine learning algorithms which do not provide any insight into or explanation about their predictions (black boxes). Therefore, their direct implementation in environments where transparency is required, and the trust associated with their predictions may be questioned. To this end, we propose a two stage probabilistic forecasting framework able to generate highly accurate, reliable, and sharp forecasts yet offering full transparency on both the point forecasts and the prediction intervals (PIs). In the first stage, we exploit natural gradient boosting (NGBoost) for yielding probabilistic forecasts, while in the second stage, we calculate the Shapley additive explanation (SHAP) values in order to fully comprehend why a prediction was made. To highlight the performance and the applicability of the proposed framework, real data from two PV parks located in Southern Germany are employed. Comparative results with two state-of-the-art algorithms, namely Gaussian process and lower upper bound estimation, manifest a significant increase in the point forecast accuracy and in the overall probabilistic performance. Most importantly, a detailed analysis of the model's complex nonlinear relationships and interaction effects between the various features is presented. This allows interpreting the model, identifying some learned physical properties, explaining individual predictions, reducing the computational requirements for the training without jeopardizing the model accuracy, detecting possible bugs, and gaining trust in the model. Finally, we conclude that the model was able to develop complex nonlinear relationships which follow known physical properties as well as human logic and intuition.

Besides accuracy, recent studies on machine learning models have been addressing the question on how the obtained results can be interpreted. Indeed, while complex machine learning models are able to provide very good results in terms of accuracy even in challenging applications, it is difficult to interpret them. Aiming at providing some interpretability for such models, one of the most famous methods, called SHAP, borrows the Shapley value concept from game theory in order to locally explain the predicted outcome of an instance of interest. As the SHAP values calculation needs previous computations on all possible coalitions of attributes, its computational cost can be very high. Therefore, a SHAP-based method called Kernel SHAP adopts an efficient strategy that approximate such values with less computational effort. In this paper, we also address local interpretability in machine learning based on Shapley values. Firstly, we provide a straightforward formulation of a SHAP-based method for local interpretability by using the Choquet integral, which leads to both Shapley values and Shapley interaction indices. Moreover, we also adopt the concept of $k$-additive games from game theory, which contributes to reduce the computational effort when estimating the SHAP values. The obtained results attest that our proposal needs less computations on coalitions of attributes to approximate the SHAP values.

In the last years many accurate decision support systems have been constructed as black boxes, that is as systems that hide their internal logic to the user. This lack of explanation constitutes both a practical and an ethical issue. The literature reports many approaches aimed at overcoming this crucial weakness sometimes at the cost of scarifying accuracy for interpretability. The applications in which black box decision systems can be used are various, and each approach is typically developed to provide a solution for a specific problem and, as a consequence, delineating explicitly or implicitly its own definition of interpretability and explanation. The aim of this paper is to provide a classification of the main problems addressed in the literature with respect to the notion of explanation and the type of black box system. Given a problem definition, a black box type, and a desired explanation this survey should help the researcher to find the proposals more useful for his own work. The proposed classification of approaches to open black box models should also be useful for putting the many research open questions in perspective.

本文研究了与可解释的AI（XAI）实践有关的两个不同但相关的问题。机器学习（ML）在金融服务中越来越重要，例如预批准，信用承销，投资以及各种前端和后端活动。机器学习可以自动检测培训数据中的非线性和相互作用，从而促进更快，更准确的信用决策。但是，机器学习模型是不透明的，难以解释，这是建立可靠技术所需的关键要素。该研究比较了各种机器学习模型，包括单个分类器（逻辑回归，决策树，LDA，QDA），异质集合（Adaboost，随机森林）和顺序神经网络。结果表明，整体分类器和神经网络的表现优于表现。此外，使用基于美国P2P贷款平台Lending Club提供的开放式访问数据集评估了两种先进的事后不可解释能力 - 石灰和外形来评估基于ML的信用评分模型。对于这项研究，我们还使用机器学习算法来开发新的投资模型，并探索可以最大化盈利能力同时最大程度地降低风险的投资组合策略。

这项研究重点是探索局部可解释性方法来解释时间序列聚类模型。许多最先进的聚类模型无法直接解释。为了提供这些聚类算法的解释，我们训练分类模型以估计群集标签。然后，我们使用可解释性方法来解释分类模型的决策。这些解释用于获得对聚类模型的见解。我们执行一项详细的数值研究，以测试多个数据集，聚类模型和分类模型上所提出的方法。结果的分析表明，所提出的方法可用于解释时间序列聚类模型，特别是当基础分类模型准确时。最后，我们对结果进行了详细的分析，讨论了如何在现实生活中使用我们的方法。

人工智能（AI）和机器学习（ML）在网络安全挑战中的应用已在行业和学术界的吸引力，部分原因是对关键系统（例如云基础架构和政府机构）的广泛恶意软件攻击。入侵检测系统（IDS）使用某些形式的AI，由于能够以高预测准确性处理大量数据，因此获得了广泛的采用。这些系统托管在组织网络安全操作中心（CSOC）中，作为一种防御工具，可监视和检测恶意网络流，否则会影响机密性，完整性和可用性（CIA）。 CSOC分析师依靠这些系统来决定检测到的威胁。但是，使用深度学习（DL）技术设计的IDS通常被视为黑匣子模型，并且没有为其预测提供理由。这为CSOC分析师造成了障碍，因为他们无法根据模型的预测改善决策。解决此问题的一种解决方案是设计可解释的ID（X-IDS）。这项调查回顾了可解释的AI（XAI）的最先进的ID，目前的挑战，并讨论了这些挑战如何涉及X-ID的设计。特别是，我们全面讨论了黑匣子和白盒方法。我们还在这些方法之间的性能和产生解释的能力方面提出了权衡。此外，我们提出了一种通用体系结构，该建筑认为人类在循环中，该架构可以用作设计X-ID时的指南。研究建议是从三个关键观点提出的：需要定义ID的解释性，需要为各种利益相关者量身定制的解释以及设计指标来评估解释的需求。

社交媒体的健康错误信息使身心健康造成的身心健康，使健康收益无效，并且潜在的成本生命。了解如何传播健康错误信息是研究人员，社交媒体平台，卫生部门和政策制定者来减轻这些后果的紧迫目标。已经部署了深度学习方法以预测错误信息的传播。在实现最先进的预测性能的同时，深度学习方法缺乏由于他们的黑箱性质而缺乏可解释性。为了解决这个差距，本研究提出了一种新的可解释的深度学习方法，基于生成的对抗网络的分段广泛和注意力深入学习（GaN-Piwad），以预测社交媒体中的健康错误信息传播。 GaN-PIWAD的最先进的可解释方法改善了多模态数据之间的交互，提供了对每个功能的总效果的无偏见估计，并且在其值变化时为每个功能的动态总效果模拟了每个功能的动态总效果。我们根据社交交流理论选择特征，并在4,445个错误信息上评估Gan-Piwad。建议的方法表现出强大的基准。 GaN-PIWAD的解释表示视频描述，负视频内容和渠道可信度是驱动误导性病毒传输的关键特征。本研究有助于具有新颖的可解释的深度学习方法，可以概括地理解其他人类决策因素。我们的调查结果为社交媒体平台和政策制定者提供了直接影响，以设计主动干预措施，以识别错误信息，控制传输和管理Inodemics。

模型的可解释性对于许多实际应用是必不可少的，例如临床决策支持系统。在本文中，提出了一种新的可解释机学习方法，可以模拟人类理解规则中的输入变量与响应之间的关系。该方法是通过将热带几何形状应用于模糊推理系统构建的，其中通过监督学习可以发现可变编码功能和突出规则。进行了使用合成数据集的实验，以研究所提出的算法在分类和规则发现中的性能和容量。此外，将所提出的方法应用于鉴定心力衰竭患者的临床应用，这些患者将受益于心脏移植或耐用的机械循环支撑等先进的疗法。实验结果表明，该网络在分类任务方面取得了很大的表现。除了从数据集中学习人类可理解的规则外，现有的模糊域知识可以很容易地转移到网络中，并用于促进模型培训。从我们的结果，所提出的模型和学习现有领域知识的能力可以显着提高模型的概括性。所提出的网络的特征使其在需要模型可靠性和理由的应用中承诺。

We introduce a new rule-based optimization method for classification with constraints. The proposed method takes advantage of linear programming and column generation, and hence, is scalable to large datasets. Moreover, the method returns a set of rules along with their optimal weights indicating the importance of each rule for learning. Through assigning cost coefficients to the rules and introducing additional constraints, we show that one can also consider interpretability and fairness of the results. We test the performance of the proposed method on a collection of datasets and present two case studies to elaborate its different aspects. Our results show that a good compromise between interpretability and fairness on the one side, and accuracy on the other side, can be obtained by the proposed rule-based learning method.

Artificial intelligence(AI) systems based on deep neural networks (DNNs) and machine learning (ML) algorithms are increasingly used to solve critical problems in bioinformatics, biomedical informatics, and precision medicine. However, complex DNN or ML models that are unavoidably opaque and perceived as black-box methods, may not be able to explain why and how they make certain decisions. Such black-box models are difficult to comprehend not only for targeted users and decision-makers but also for AI developers. Besides, in sensitive areas like healthcare, explainability and accountability are not only desirable properties of AI but also legal requirements -- especially when AI may have significant impacts on human lives. Explainable artificial intelligence (XAI) is an emerging field that aims to mitigate the opaqueness of black-box models and make it possible to interpret how AI systems make their decisions with transparency. An interpretable ML model can explain how it makes predictions and which factors affect the model's outcomes. The majority of state-of-the-art interpretable ML methods have been developed in a domain-agnostic way and originate from computer vision, automated reasoning, or even statistics. Many of these methods cannot be directly applied to bioinformatics problems, without prior customization, extension, and domain adoption. In this paper, we discuss the importance of explainability with a focus on bioinformatics. We analyse and comprehensively overview of model-specific and model-agnostic interpretable ML methods and tools. Via several case studies covering bioimaging, cancer genomics, and biomedical text mining, we show how bioinformatics research could benefit from XAI methods and how they could help improve decision fairness.