几十年来,对信用违约风险的预测一直是一个重要的研究领域。传统上,由于其准确性和解释性,逻辑回归被广泛认为是解决方案。作为最近的趋势,研究人员倾向于使用更复杂和高级的机器学习方法来提高预测的准确性。尽管某些非线性机器学习方法具有更好的预测能力,但通常认为它们缺乏金融监管机构的解释性。因此,它们尚未被广泛应用于信用风险评估中。我们引入了一个具有选择性选项的神经网络,以通过区分数据集来通过线性模型来解释,以提高可解释性。我们发现,对于大多数数据集,逻辑回归将足够,准确性合理。同时,对于某些特定的数据部分,浅神经网络模型可以提高精确度,而无需显着牺牲可解释性。
translated by 谷歌翻译
数十年来,对信用违约风险的预测一直是一个积极的研究领域。从历史上看,逻辑回归由于遵守法规要求而被用作主要工具:透明度,解释性和公平性。近年来,研究人员越来越多地使用复杂和先进的机器学习方法来提高预测准确性。即使机器学习方法可以潜在地提高模型的准确性,但它会使简单的逻辑回归复杂化,会使解释性恶化并经常违反公平性。在没有法规要求的情况下,公司即使是高度准确的机器学习方法也不太可能被公司接受信用评分。在本文中,我们介绍了一类新颖的单调神经添加剂模型,这些模型通过简化神经网络体系结构并实施单调性来满足调节要求。通过利用神经添加剂模型的特殊体系结构特征,单调神经添加剂模型有效地违反了单调性。因此,训练的计算成本单调神经添加剂模型类似于训练神经添加剂模型的计算成本,作为免费午餐。我们通过经验结果证明,我们的新模型与Black-Box完全连接的神经网络一样准确,提供了一种高度准确且受调节的机器学习方法。
translated by 谷歌翻译
多年来,机器学习方法一直在各种领域(包括计算机视觉和自然语言处理)中使用。尽管机器学习方法比传统方法显着改善了模型性能,但它们的黑盒结构使研究人员难以解释结果。对于高度监管的金融行业,透明度,解释性和公平性同样重要,甚至比准确性重要。没有满足受管制要求的情况,即使是高度准确的机器学习方法也不太可能被接受。我们通过引入一种新颖的透明和可解释的机器学习算法来解决这个问题,称为神经添加剂模型的通用手套。神经添加剂模型的广义手套将特征分为三类:线性特征,单个非线性特征和相互作用的非线性特征。此外,最后类别中的交互仅是本地的。线性和非线性组件通过逐步选择算法区分,并通过应用加法分离标准仔细验证相互作用的组。经验结果表明,神经添加剂模型的广义手套可通过最简单的体系结构提供最佳的精度,从而可以采用高度准确,透明且可解释的机器学习方法。
translated by 谷歌翻译
本文研究了与可解释的AI(XAI)实践有关的两个不同但相关的问题。机器学习(ML)在金融服务中越来越重要,例如预批准,信用承销,投资以及各种前端和后端活动。机器学习可以自动检测培训数据中的非线性和相互作用,从而促进更快,更准确的信用决策。但是,机器学习模型是不透明的,难以解释,这是建立可靠技术所需的关键要素。该研究比较了各种机器学习模型,包括单个分类器(逻辑回归,决策树,LDA,QDA),异质集合(Adaboost,随机森林)和顺序神经网络。结果表明,整体分类器和神经网络的表现优于表现。此外,使用基于美国P2P贷款平台Lending Club提供的开放式访问数据集评估了两种先进的事后不可解释能力 - 石灰和外形来评估基于ML的信用评分模型。对于这项研究,我们还使用机器学习算法来开发新的投资模型,并探索可以最大化盈利能力同时最大程度地降低风险的投资组合策略。
translated by 谷歌翻译
神经网络的使用在各种应用中都非常成功。但是,最近已经观察到,在分布转移的条件下,很难概括神经网络的性能。已经做出了几项努力,以确定潜在的分数输入。尽管现有文献在图像和文本数据方面取得了重大进展,但财务已被忽略。本文的目的是调查信用评分问题的分配变化,这是金融最重要的应用之一。对于潜在的分布转移问题,我们提出了一个新颖的两阶段模型。使用分布外检测方法,首先将数据分为自信和不自信的集合。作为第二步,我们利用均值优化的域知识来为不自信的样本提供可靠的界限。使用经验结果,我们证明了我们的模型为绝大多数数据集提供了可靠的预测。只是数据集的一小部分很难判断,我们将其留在了人类的判断中。基于两阶段模型,已经做出了高度自信的预测,并且与该模型相关的潜在风险已大大降低。
translated by 谷歌翻译
Black box machine learning models are currently being used for high stakes decision-making throughout society, causing problems throughout healthcare, criminal justice, and in other domains. People have hoped that creating methods for explaining these black box models will alleviate some of these problems, but trying to explain black box models, rather than creating models that are interpretable in the first place, is likely to perpetuate bad practices and can potentially cause catastrophic harm to society. There is a way forward -it is to design models that are inherently interpretable. This manuscript clarifies the chasm between explaining black boxes and using inherently interpretable models, outlines several key reasons why explainable black boxes should be avoided in high-stakes decisions, identifies challenges to interpretable machine learning, and provides several example applications where interpretable models could potentially replace black box models in criminal justice, healthcare, and computer vision. IntroductionThere has been an increasing trend in healthcare and criminal justice to leverage machine learning (ML) for high-stakes prediction applications that deeply impact human lives. Many of the ML models are black boxes that do not explain their predictions in a way that humans can understand. The lack of transparency and accountability of predictive models can have (and has already had) severe consequences; there have been cases of people incorrectly denied parole [1], poor bail decisions leading to the release of dangerous criminals, ML-based pollution models stating that highly polluted air was safe to breathe [2], and generally poor use of limited valuable resources in criminal justice, medicine, energy reliability, finance, and in other domains [3].Rather than trying to create models that are inherently interpretable, there has been a recent explosion of work on "Explainable ML," where a second (posthoc) model is created to explain the first black box model. This is problematic. Explanations are often not reliable, and can be misleading, as we discuss below. If we instead use models that are inherently interpretable, they provide their own explanations, which are faithful to what the model actually computes.In what follows, we discuss the problems with Explainable ML, followed by the challenges in Interpretable ML. This document is mainly relevant to high-stakes decision making and troubleshooting models, which are the main two reasons one might require an interpretable or explainable model. Interpretability is a domain-specific notion [4,5,6,7], so there cannot be an all-purpose definition. Usually, however, an interpretable machine learning model is constrained in model form so that it is either useful to someone, or obeys structural knowledge of the domain, such as monotonicity [e.g., 8], causality, structural (generative) constraints, additivity [9], or physical constraints that come from domain knowledge. Interpretable mo
translated by 谷歌翻译
人工智能(AI)使机器能够从人类经验中学习,适应新的输入,并执行人类的人类任务。 AI正在迅速发展,从过程自动化到认知增强任务和智能流程/数据分析的方式转换业务方式。然而,人类用户的主要挑战是理解和适当地信任AI算法和方法的结果。在本文中,为了解决这一挑战,我们研究并分析了最近在解释的人工智能(XAI)方法和工具中所做的最新工作。我们介绍了一种新颖的XAI进程,便于生产可解释的模型,同时保持高水平的学习性能。我们提出了一种基于互动的证据方法,以帮助人类用户理解和信任启用AI的算法创建的结果和输出。我们在银行域中采用典型方案进行分析客户交易。我们开发数字仪表板以促进与算法的互动结果,并讨论如何提出的XAI方法如何显着提高数据科学家对理解启用AI的算法结果的置信度。
translated by 谷歌翻译
机器学习中最困难的任务是解释训练有素的浅神经网络。深度神经网络(DNNS)为更多的任务提供了令人印象深刻的结果,但是通常不清楚这种训练有素的深神经网络如何做出决策。提供特征重要性是浅层神经网络中使用的最重要和流行的解释技术。在本文中,我们开发了一种算法,扩展了Garson算法的思想,以解释基于信念网络的自动编码器(DBNA)。它用于确定DBN中每个输入特征的贡献。它可用于具有许多隐藏层的任何神经网络。该方法的有效性在分类和从文献中获取的回归数据集进行了测试。将此方法鉴定出的重要特征与Wald Chi Square(\ c {hi} 2)获得的特征进行了比较。对于4个分类数据集中的2个和5个回归数据集中的2个,我们提出的方法导致识别更好质量的特征,从而导致统计上更重要的结果,相对于wald \ c {hi} 2。
translated by 谷歌翻译
We introduce the XPER (eXplainable PERformance) methodology to measure the specific contribution of the input features to the predictive or economic performance of a model. Our methodology offers several advantages. First, it is both model-agnostic and performance metric-agnostic. Second, XPER is theoretically founded as it is based on Shapley values. Third, the interpretation of the benchmark, which is inherent in any Shapley value decomposition, is meaningful in our context. Fourth, XPER is not plagued by model specification error, as it does not require re-estimating the model. Fifth, it can be implemented either at the model level or at the individual level. In an application based on auto loans, we find that performance can be explained by a surprisingly small number of features. XPER decompositions are rather stable across metrics, yet some feature contributions switch sign across metrics. Our analysis also shows that explaining model forecasts and model performance are two distinct tasks.
translated by 谷歌翻译
学术研究和金融业最近引起了机器学习算法,因为他们的权力解决了复杂的学习任务。然而,在公司的默认预测领域,缺乏可解释性阻止了广泛采用了黑箱类型的模型。为了克服这一缺点并保持黑盒的高性能,本文依赖于模型 - 无症方法。累计的本地效果和福芙值用于塑造预测因子对默认可能性的影响,并根据其对模型结果的贡献进行排名。与三种标准判别模型相比,通过两个机器学习算法(极端梯度升压和前馈神经网络)实现了预测。结果表明,我们对意大利中小企业制造业的分析通过极端梯度提升算法从整体最高分类功率的优势,而不放弃丰富的解释框架。
translated by 谷歌翻译
机器学习渗透到许多行业,这为公司带来了新的利益来源。然而,在人寿保险行业中,机器学习在实践中并未被广泛使用,因为在过去几年中,统计模型表明了它们的风险评估效率。因此,保险公司可能面临评估人工智能价值的困难。随着时间的流逝,专注于人寿保险行业的修改突出了将机器学习用于保险公司的利益以及通过释放数据价值带来的利益。本文回顾了传统的生存建模方法论,并通过机器学习技术扩展了它们。它指出了与常规机器学习模型的差异,并强调了特定实现在与机器学习模型家族中面对审查数据的重要性。在本文的补充中,已经开发了Python库。已经调整了不同的开源机器学习算法,以适应人寿保险数据的特殊性,即检查和截断。此类模型可以轻松地从该SCOR库中应用,以准确地模拟人寿保险风险。
translated by 谷歌翻译
目的:我们研究使用机器学习(ML)模型的可解释的累入预测,并在预测能力,稀疏性和公平性方面分析性能。与以前的作品不同,本研究列举了输出概率而不是二进制预测的可解释模型,并使用定量公平定义来评估模型。本研究还研究了模型是否可以横跨地理位置概括。方法:我们在佛罗里达州和肯塔基州的两个不同的刑事核查数据集上生成了黑盒和可解释的ML模型。我们将这些模型的预测性能和公平与目前用于司法系统中使用的两种方法进行了比较,以预测审前常规率:Arnold PSA和Compas。我们评估了所有模型的预测性能,可以在两次跨越两次预测六种不同类型犯罪的模型。结果:几种可解释的ML模型可以预测常规和黑盒ML模型,比Compas或Arnold PSA更准确。这些模型在实践中可能有用。类似于Arnold PSA,这些可解释模型中的一些可以作为一个简单的表格写入。其他可以使用一组可视化显示。我们的地理分析表明ML模型应分开培训,以便单独的位置并随时间更新。我们还为可​​解释模型提供了公平分析。结论:可解释的机器学习模型可以在预测准确性和公平性方面表现,也可以表现,也可以表现,也可以执行不可解释的方法和目前使用的风险评估尺度。机器学习模型对于单独培训,可以更准确地进行不同的位置,并保持最新。
translated by 谷歌翻译
我们在数字世界中采取的每一步都会落后于我们行为的记录;数字足迹。研究表明,算法可以将这些数字足迹转化为精确的心理特征估计,包括人格特质,心理健康或情报。然而,AI产生这些见解的机制通常保持不透明。在本文中,我们展示了如何解释AI(XAI)可以帮助域专家和数据主体验证,问题和改进分类数字足迹的心理特征的模型。我们在来自金融交易数据的大五个人格预测(特征和方面)的范围内,详细说明了两个流行的XAI方法(规则提取和反事实解释)(n = 6,408)。首先,我们展示了全球规则提取在模型中标识的消费模式中如何阐明了最重要的人格,并讨论这些规则如何用于解释,验证和改进模型。其次,我们实施当地规则提取,以表明,由于其独特的财务行为,个人分配给个性课程,并且模型的预测信心与促进预测的特征数量之间存在积极的联系。我们的实验突出了全球和本地XAI方法的重要性。通过更好地了解预测模型如何工作,以及他们如何获得特定人的结果,Xai促进了一个世界的问责制,其中AI影响了世界各地数十亿人的生命。
translated by 谷歌翻译
In the last years many accurate decision support systems have been constructed as black boxes, that is as systems that hide their internal logic to the user. This lack of explanation constitutes both a practical and an ethical issue. The literature reports many approaches aimed at overcoming this crucial weakness sometimes at the cost of scarifying accuracy for interpretability. The applications in which black box decision systems can be used are various, and each approach is typically developed to provide a solution for a specific problem and, as a consequence, delineating explicitly or implicitly its own definition of interpretability and explanation. The aim of this paper is to provide a classification of the main problems addressed in the literature with respect to the notion of explanation and the type of black box system. Given a problem definition, a black box type, and a desired explanation this survey should help the researcher to find the proposals more useful for his own work. The proposed classification of approaches to open black box models should also be useful for putting the many research open questions in perspective.
translated by 谷歌翻译
可解释的机器学习(IML)在与人类健康和安全或基本权利有关的高度监管的行业方面变得越来越重要。通常,由于它们的透明度和解释性,应采用固有的IML模型,而具有模型无关的解释性的黑匣子型号可能更难以在监管审查下抵御。为了评估机器学习模型的固有可解释性,我们提出了一种基于特征效果和模型架构约束的定性模板。它为高性能IML模型开发提供了设计原则,其中通过审查我们最近的exnn,gami-net,simtree和aletheia工具包的实例,以实现深度Relu网络的局部线性解释性。我们进一步展示了如何设计一种可解释的Relu DNN模型,评估概念性的概念性研究,用于预测家庭贷款中的信用违约。我们希望这项工作将在银行业的高风险应用中,以及其他行业提供实用的IML模型的实用指导。
translated by 谷歌翻译
随着AI系统表现出越来越强烈的预测性能,它们的采用已经在许多域中种植。然而,在刑事司法和医疗保健等高赌场域中,由于安全,道德和法律问题,往往是完全自动化的,但是完全手工方法可能是不准确和耗时的。因此,对研究界的兴趣日益增长,以增加人力决策。除了为此目的开发AI技术之外,人民AI决策的新兴领域必须采用实证方法,以形成对人类如何互动和与AI合作做出决定的基础知识。为了邀请和帮助结构研究努力了解理解和改善人为 - AI决策的研究,我们近期对本课题的实证人体研究的文献。我们总结了在三个重要方面的100多篇论文中的研究设计选择:(1)决定任务,(2)AI模型和AI援助要素,以及(3)评估指标。对于每个方面,我们总结了当前的趋势,讨论了现场当前做法中的差距,并列出了未来研究的建议。我们的调查强调了开发共同框架的需要考虑人类 - AI决策的设计和研究空间,因此研究人员可以在研究设计中进行严格的选择,研究界可以互相构建并产生更广泛的科学知识。我们还希望这项调查将成为HCI和AI社区的桥梁,共同努力,相互塑造人类决策的经验科学和计算技术。
translated by 谷歌翻译
算法决策的兴起催生了许多关于公平机器学习(ML)的研究。金融机构使用ML来建立支持一系列与信贷有关的决定的风险记分卡。然而,关于信用评分的公平ML的文献很少。该论文做出了三项贡献。首先,我们重新审视统计公平标准,并检查其对信用评分的适当性。其次,我们对将公平目标纳入ML模型开发管道中的算法选项进行了分类。最后,我们从经验上比较了使用现实世界数据以利润为导向的信用评分上下文中的不同公平处理器。经验结果证实了对公平措施的评估,确定了实施公平信用评分的合适选择,并阐明了贷款决策中的利润权衡。我们发现,可以立即达到多个公平标准,并建议分离作为衡量记分卡的公平性的适当标准。我们还发现公平的过程中,可以在利润和公平之间实现良好的平衡,并表明算法歧视可以以相对较低的成本降低到合理的水平。与该论文相对应的代码可在GitHub上获得。
translated by 谷歌翻译
在本文中,我们研究了中途公司,即在市场资本化少于100亿美元的公开交易公司。在30年内使用美国中载公司的大型数据集,我们期望通过中期预测默认的概率术语结构,了解哪些数据源(即基本,市场或定价数据)对违约风险贡献最多。然而,现有方法通常要求来自不同时间段的数据首先聚合并转变为横截面特征,我们将问题框架作为多标签时间级分类问题。我们适应变压器模型,从自然语言处理领域发出的最先进的深度学习模型,以信用风险建模设置。我们还使用注意热图解释这些模型的预测。为了进一步优化模型,我们为多标签分类和新型多通道架构提供了一种自定义损耗功能,具有差异训练,使模型能够有效地使用所有输入数据。我们的结果表明,拟议的深度学习架构的卓越性能,导致传统模型的AUC(接收器运行特征曲线下的区域)提高了13%。我们还展示了如何使用特定于这些模型的福利方法生成不同数据源和时间关系的重要性排名。
translated by 谷歌翻译
We introduce a family of interpretable machine learning models, with two broad additions: Linearised Additive Models (LAMs) which replace the ubiquitous logistic link function in General Additive Models (GAMs); and SubscaleHedge, an expert advice algorithm for combining base models trained on subsets of features called subscales. LAMs can augment any additive binary classification model equipped with a sigmoid link function. Moreover, they afford direct global and local attributions of additive components to the model output in probability space. We argue that LAMs and SubscaleHedge improve the interpretability of their base algorithms. Using rigorous null-hypothesis significance testing on a broad suite of financial modelling data, we show that our algorithms do not suffer from large performance penalties in terms of ROC-AUC and calibration.
translated by 谷歌翻译
我们在分类的背景下研究公平,其中在接收器的曲线下的区域(AUC)下的区域测量的性能。当I型(误报)和II型(假阴性)错误都很重要时,通常使用AUC。然而,相同的分类器可以针对不同的保护组具有显着变化的AUC,并且在现实世界中,通常希望减少这种交叉组差异。我们解决如何选择其他功能,以便最大地改善弱势群体的AUC。我们的结果表明,功能的无条件方差不会通知我们关于AUC公平,而是类条件方差。使用此连接,我们基于功能增强(添加功能)来开发一种新颖的方法Fairauc,以减轻可识别组之间的偏差。我们评估综合性和现实世界(Compas)数据集的Fairauc,并发现它对于相对于基准,最大限度地提高了总体AUC并最大限度地减少了组之间的偏见的基准,它显着改善了弱势群体的AUC。
translated by 谷歌翻译