数十年来，对信用违约风险的预测一直是一个积极的研究领域。从历史上看，逻辑回归由于遵守法规要求而被用作主要工具：透明度，解释性和公平性。近年来，研究人员越来越多地使用复杂和先进的机器学习方法来提高预测准确性。即使机器学习方法可以潜在地提高模型的准确性，但它会使简单的逻辑回归复杂化，会使解释性恶化并经常违反公平性。在没有法规要求的情况下，公司即使是高度准确的机器学习方法也不太可能被公司接受信用评分。在本文中，我们介绍了一类新颖的单调神经添加剂模型，这些模型通过简化神经网络体系结构并实施单调性来满足调节要求。通过利用神经添加剂模型的特殊体系结构特征，单调神经添加剂模型有效地违反了单调性。因此，训练的计算成本单调神经添加剂模型类似于训练神经添加剂模型的计算成本，作为免费午餐。我们通过经验结果证明，我们的新模型与Black-Box完全连接的神经网络一样准确，提供了一种高度准确且受调节的机器学习方法。

多年来，机器学习方法一直在各种领域（包括计算机视觉和自然语言处理）中使用。尽管机器学习方法比传统方法显着改善了模型性能，但它们的黑盒结构使研究人员难以解释结果。对于高度监管的金融行业，透明度，解释性和公平性同样重要，甚至比准确性重要。没有满足受管制要求的情况，即使是高度准确的机器学习方法也不太可能被接受。我们通过引入一种新颖的透明和可解释的机器学习算法来解决这个问题，称为神经添加剂模型的通用手套。神经添加剂模型的广义手套将特征分为三类：线性特征，单个非线性特征和相互作用的非线性特征。此外，最后类别中的交互仅是本地的。线性和非线性组件通过逐步选择算法区分，并通过应用加法分离标准仔细验证相互作用的组。经验结果表明，神经添加剂模型的广义手套可通过最简单的体系结构提供最佳的精度，从而可以采用高度准确，透明且可解释的机器学习方法。

几十年来，对信用违约风险的预测一直是一个重要的研究领域。传统上，由于其准确性和解释性，逻辑回归被广泛认为是解决方案。作为最近的趋势，研究人员倾向于使用更复杂和高级的机器学习方法来提高预测的准确性。尽管某些非线性机器学习方法具有更好的预测能力，但通常认为它们缺乏金融监管机构的解释性。因此，它们尚未被广泛应用于信用风险评估中。我们引入了一个具有选择性选项的神经网络，以通过区分数据集来通过线性模型来解释，以提高可解释性。我们发现，对于大多数数据集，逻辑回归将足够，准确性合理。同时，对于某些特定的数据部分，浅神经网络模型可以提高精确度，而无需显着牺牲可解释性。

神经网络的使用在各种应用中都非常成功。但是，最近已经观察到，在分布转移的条件下，很难概括神经网络的性能。已经做出了几项努力，以确定潜在的分数输入。尽管现有文献在图像和文本数据方面取得了重大进展，但财务已被忽略。本文的目的是调查信用评分问题的分配变化，这是金融最重要的应用之一。对于潜在的分布转移问题，我们提出了一个新颖的两阶段模型。使用分布外检测方法，首先将数据分为自信和不自信的集合。作为第二步，我们利用均值优化的域知识来为不自信的样本提供可靠的界限。使用经验结果，我们证明了我们的模型为绝大多数数据集提供了可靠的预测。只是数据集的一小部分很难判断，我们将其留在了人类的判断中。基于两阶段模型，已经做出了高度自信的预测，并且与该模型相关的潜在风险已大大降低。

目的：我们研究使用机器学习（ML）模型的可解释的累入预测，并在预测能力，稀疏性和公平性方面分析性能。与以前的作品不同，本研究列举了输出概率而不是二进制预测的可解释模型，并使用定量公平定义来评估模型。本研究还研究了模型是否可以横跨地理位置概括。方法：我们在佛罗里达州和肯塔基州的两个不同的刑事核查数据集上生成了黑盒和可解释的ML模型。我们将这些模型的预测性能和公平与目前用于司法系统中使用的两种方法进行了比较，以预测审前常规率：Arnold PSA和Compas。我们评估了所有模型的预测性能，可以在两次跨越两次预测六种不同类型犯罪的模型。结果：几种可解释的ML模型可以预测常规和黑盒ML模型，比Compas或Arnold PSA更准确。这些模型在实践中可能有用。类似于Arnold PSA，这些可解释模型中的一些可以作为一个简单的表格写入。其他可以使用一组可视化显示。我们的地理分析表明ML模型应分开培训，以便单独的位置并随时间更新。我们还为可​​解释模型提供了公平分析。结论：可解释的机器学习模型可以在预测准确性和公平性方面表现，也可以表现，也可以表现，也可以执行不可解释的方法和目前使用的风险评估尺度。机器学习模型对于单独培训，可以更准确地进行不同的位置，并保持最新。

本文研究了与可解释的AI（XAI）实践有关的两个不同但相关的问题。机器学习（ML）在金融服务中越来越重要，例如预批准，信用承销，投资以及各种前端和后端活动。机器学习可以自动检测培训数据中的非线性和相互作用，从而促进更快，更准确的信用决策。但是，机器学习模型是不透明的，难以解释，这是建立可靠技术所需的关键要素。该研究比较了各种机器学习模型，包括单个分类器（逻辑回归，决策树，LDA，QDA），异质集合（Adaboost，随机森林）和顺序神经网络。结果表明，整体分类器和神经网络的表现优于表现。此外，使用基于美国P2P贷款平台Lending Club提供的开放式访问数据集评估了两种先进的事后不可解释能力 - 石灰和外形来评估基于ML的信用评分模型。对于这项研究，我们还使用机器学习算法来开发新的投资模型，并探索可以最大化盈利能力同时最大程度地降低风险的投资组合策略。

可解释的机器学习（IML）在与人类健康和安全或基本权利有关的高度监管的行业方面变得越来越重要。通常，由于它们的透明度和解释性，应采用固有的IML模型，而具有模型无关的解释性的黑匣子型号可能更难以在监管审查下抵御。为了评估机器学习模型的固有可解释性，我们提出了一种基于特征效果和模型架构约束的定性模板。它为高性能IML模型开发提供了设计原则，其中通过审查我们最近的exnn，gami-net，simtree和aletheia工具包的实例，以实现深度Relu网络的局部线性解释性。我们进一步展示了如何设计一种可解释的Relu DNN模型，评估概念性的概念性研究，用于预测家庭贷款中的信用违约。我们希望这项工作将在银行业的高风险应用中，以及其他行业提供实用的IML模型的实用指导。

In the last years many accurate decision support systems have been constructed as black boxes, that is as systems that hide their internal logic to the user. This lack of explanation constitutes both a practical and an ethical issue. The literature reports many approaches aimed at overcoming this crucial weakness sometimes at the cost of scarifying accuracy for interpretability. The applications in which black box decision systems can be used are various, and each approach is typically developed to provide a solution for a specific problem and, as a consequence, delineating explicitly or implicitly its own definition of interpretability and explanation. The aim of this paper is to provide a classification of the main problems addressed in the literature with respect to the notion of explanation and the type of black box system. Given a problem definition, a black box type, and a desired explanation this survey should help the researcher to find the proposals more useful for his own work. The proposed classification of approaches to open black box models should also be useful for putting the many research open questions in perspective.

人工智能（AI）使机器能够从人类经验中学习，适应新的输入，并执行人类的人类任务。 AI正在迅速发展，从过程自动化到认知增强任务和智能流程/数据分析的方式转换业务方式。然而，人类用户的主要挑战是理解和适当地信任AI算法和方法的结果。在本文中，为了解决这一挑战，我们研究并分析了最近在解释的人工智能（XAI）方法和工具中所做的最新工作。我们介绍了一种新颖的XAI进程，便于生产可解释的模型，同时保持高水平的学习性能。我们提出了一种基于互动的证据方法，以帮助人类用户理解和信任启用AI的算法创建的结果和输出。我们在银行域中采用典型方案进行分析客户交易。我们开发数字仪表板以促进与算法的互动结果，并讨论如何提出的XAI方法如何显着提高数据科学家对理解启用AI的算法结果的置信度。

学术研究和金融业最近引起了机器学习算法，因为他们的权力解决了复杂的学习任务。然而，在公司的默认预测领域，缺乏可解释性阻止了广泛采用了黑箱类型的模型。为了克服这一缺点并保持黑盒的高性能，本文依赖于模型 - 无症方法。累计的本地效果和福芙值用于塑造预测因子对默认可能性的影响，并根据其对模型结果的贡献进行排名。与三种标准判别模型相比，通过两个机器学习算法（极端梯度升压和前馈神经网络）实现了预测。结果表明，我们对意大利中小企业制造业的分析通过极端梯度提升算法从整体最高分类功率的优势，而不放弃丰富的解释框架。

We introduce the XPER (eXplainable PERformance) methodology to measure the specific contribution of the input features to the predictive or economic performance of a model. Our methodology offers several advantages. First, it is both model-agnostic and performance metric-agnostic. Second, XPER is theoretically founded as it is based on Shapley values. Third, the interpretation of the benchmark, which is inherent in any Shapley value decomposition, is meaningful in our context. Fourth, XPER is not plagued by model specification error, as it does not require re-estimating the model. Fifth, it can be implemented either at the model level or at the individual level. In an application based on auto loans, we find that performance can be explained by a surprisingly small number of features. XPER decompositions are rather stable across metrics, yet some feature contributions switch sign across metrics. Our analysis also shows that explaining model forecasts and model performance are two distinct tasks.

Black box machine learning models are currently being used for high stakes decision-making throughout society, causing problems throughout healthcare, criminal justice, and in other domains. People have hoped that creating methods for explaining these black box models will alleviate some of these problems, but trying to explain black box models, rather than creating models that are interpretable in the first place, is likely to perpetuate bad practices and can potentially cause catastrophic harm to society. There is a way forward -it is to design models that are inherently interpretable. This manuscript clarifies the chasm between explaining black boxes and using inherently interpretable models, outlines several key reasons why explainable black boxes should be avoided in high-stakes decisions, identifies challenges to interpretable machine learning, and provides several example applications where interpretable models could potentially replace black box models in criminal justice, healthcare, and computer vision. IntroductionThere has been an increasing trend in healthcare and criminal justice to leverage machine learning (ML) for high-stakes prediction applications that deeply impact human lives. Many of the ML models are black boxes that do not explain their predictions in a way that humans can understand. The lack of transparency and accountability of predictive models can have (and has already had) severe consequences; there have been cases of people incorrectly denied parole [1], poor bail decisions leading to the release of dangerous criminals, ML-based pollution models stating that highly polluted air was safe to breathe [2], and generally poor use of limited valuable resources in criminal justice, medicine, energy reliability, finance, and in other domains [3].Rather than trying to create models that are inherently interpretable, there has been a recent explosion of work on "Explainable ML," where a second (posthoc) model is created to explain the first black box model. This is problematic. Explanations are often not reliable, and can be misleading, as we discuss below. If we instead use models that are inherently interpretable, they provide their own explanations, which are faithful to what the model actually computes.In what follows, we discuss the problems with Explainable ML, followed by the challenges in Interpretable ML. This document is mainly relevant to high-stakes decision making and troubleshooting models, which are the main two reasons one might require an interpretable or explainable model. Interpretability is a domain-specific notion [4,5,6,7], so there cannot be an all-purpose definition. Usually, however, an interpretable machine learning model is constrained in model form so that it is either useful to someone, or obeys structural knowledge of the domain, such as monotonicity [e.g., 8], causality, structural (generative) constraints, additivity [9], or physical constraints that come from domain knowledge. Interpretable mo

Learning monotonic models with respect to a subset of the inputs is a desirable feature to effectively address the fairness, interpretability, and generalization issues in practice. Existing methods for learning monotonic neural networks either require specifically designed model structures to ensure monotonicity, which can be too restrictive/complicated, or enforce monotonicity by adjusting the learning process, which cannot provably guarantee the learned model is monotonic on selected features. In this work, we propose to certify the monotonicity of the general piece-wise linear neural networks by solving a mixed integer linear programming problem.This provides a new general approach for learning monotonic neural networks with arbitrary model structures. Our method allows us to train neural networks with heuristic monotonicity regularizations, and we can gradually increase the regularization magnitude until the learned network is certified monotonic. Compared to prior works, our approach does not require human-designed constraints on the weight space and also yields more accurate approximation. Empirical studies on various datasets demonstrate the efficiency of our approach over the state-of-the-art methods, such as Deep Lattice Networks.

由于决策越来越依赖机器学习和（大）数据，数据驱动AI系统的公平问题正在接受研究和行业的增加。已经提出了各种公平知识的机器学习解决方案，该解决方案提出了数据，学习算法和/或模型输出中的公平相关的干预措施。然而，提出新方法的重要组成部分正在经验上对其进行验证在代表现实和不同的设置的基准数据集上。因此，在本文中，我们概述了用于公平知识机器学习的真实数据集。我们专注于表格数据作为公平感知机器学习的最常见的数据表示。我们通过识别不同属性之间的关系，特别是w.r.t.来开始分析。受保护的属性和类属性，使用贝叶斯网络。为了更深入地了解数据集中的偏见和公平性，我们调查使用探索性分析的有趣关系。

我们在数字世界中采取的每一步都会落后于我们行为的记录;数字足迹。研究表明，算法可以将这些数字足迹转化为精确的心理特征估计，包括人格特质，心理健康或情报。然而，AI产生这些见解的机制通常保持不透明。在本文中，我们展示了如何解释AI（XAI）可以帮助域专家和数据主体验证，问题和改进分类数字足迹的心理特征的模型。我们在来自金融交易数据的大五个人格预测（特征和方面）的范围内，详细说明了两个流行的XAI方法（规则提取和反事实解释）（n = 6,408）。首先，我们展示了全球规则提取在模型中标识的消费模式中如何阐明了最重要的人格，并讨论这些规则如何用于解释，验证和改进模型。其次，我们实施当地规则提取，以表明，由于其独特的财务行为，个人分配给个性课程，并且模型的预测信心与促进预测的特征数量之间存在积极的联系。我们的实验突出了全球和本地XAI方法的重要性。通过更好地了解预测模型如何工作，以及他们如何获得特定人的结果，Xai促进了一个世界的问责制，其中AI影响了世界各地数十亿人的生命。

由于算法预测对人类的影响增加，模型解释性已成为机器学习（ML）的重要问题。解释不仅可以帮助用户了解为什么ML模型做出某些预测，还可以帮助用户了解这些预测如何更改。在本论文中，我们研究了从三个有利位置的ML模型的解释性：算法，用户和教学法，并为解释性问题贡献了一些新颖的解决方案。

We introduce a new rule-based optimization method for classification with constraints. The proposed method takes advantage of linear programming and column generation, and hence, is scalable to large datasets. Moreover, the method returns a set of rules along with their optimal weights indicating the importance of each rule for learning. Through assigning cost coefficients to the rules and introducing additional constraints, we show that one can also consider interpretability and fairness of the results. We test the performance of the proposed method on a collection of datasets and present two case studies to elaborate its different aspects. Our results show that a good compromise between interpretability and fairness on the one side, and accuracy on the other side, can be obtained by the proposed rule-based learning method.

算法决策的兴起催生了许多关于公平机器学习（ML）的研究。金融机构使用ML来建立支持一系列与信贷有关的决定的风险记分卡。然而，关于信用评分的公平ML的文献很少。该论文做出了三项贡献。首先，我们重新审视统计公平标准，并检查其对信用评分的适当性。其次，我们对将公平目标纳入ML模型开发管道中的算法选项进行了分类。最后，我们从经验上比较了使用现实世界数据以利润为导向的信用评分上下文中的不同公平处理器。经验结果证实了对公平措施的评估，确定了实施公平信用评分的合适选择，并阐明了贷款决策中的利润权衡。我们发现，可以立即达到多个公平标准，并建议分离作为衡量记分卡的公平性的适当标准。我们还发现公平的过程中，可以在利润和公平之间实现良好的平衡，并表明算法歧视可以以相对较低的成本降低到合理的水平。与该论文相对应的代码可在GitHub上获得。

公平测试旨在减轻数据驱动的AI系统决策过程中的意外歧视。当AI模型为仅根据受保护属性（例如年龄和种族）区分的两个不同的个体做出不同的决定时，可能会发生个人歧视。这样的实例揭示了偏见的AI行为，被称为个人歧视实例（IDI）。在本文中，我们提出了一种选择初始种子以生成IDI进行公平测试的方法。先前的研究主要使用随机的初始种子来实现这一目标。但是，这个阶段至关重要，因为这些种子是后续IDIS生成的基础。我们称我们提出的种子选择方法I＆D。它产生了大量的初始IDI，表现出极大的多样性，旨在提高公平测试的整体性能。我们的实证研究表明，I＆D能够就四种最先进的种子生成方法产生更多的IDI，平均产生1.68倍的IDI。此外，我们比较I＆D在训练机器学习模型中的使用，并发现与最先进的ART相比，使用I＆D将剩余IDI的数量减少了29％，因此表明I＆D有效地改善了模型公平性

解释的人工智能（XAI）被视为制作AI系统更少黑匣子的解决方案。必须确保透明度，公平和问责制，这在金融部门特别倾向于普及。本研究的目的是初步调查监管机构和监管实体有关Xai在五公园部门的申请方面的观点。在荷兰的三家银行和两个监督当局在三家银行和两个监督当局使用半结构化访谈，检查了三种用例（消费者信贷，信用风险和反洗钱）。我们发现，对于调查的用例，监督机构和银行之间存在关于AI系统解释性的所需范围的差异。我们认为，金融部门可以从技术AI（型号）以外的可明确要求之间的明确差异中受益于更广泛的AI系统与适用法律法规的明确差异化。