尽管它们的准确性很高,但由于未知的决策过程和潜在的偏见,现代复杂的图像分类器不能被敏感任务受到信任。反事实解释非常有效地为这些黑盒算法提供透明度。然而,生成可能对分类器输出产生一致影响并揭示可解释的特征更改的反事实是一项非常具有挑战性的任务。我们介绍了一种新颖的方法,可以使用验证的生成模型为图像分类器生成因果关系但可解释的反事实解释,而无需进行任何重新训练或调节。该技术中的生成模型不可能在与目标分类器相同的数据上进行训练。我们使用此框架来获得对比度和因果关系,并作为黑盒分类器的全球解释。在面部属性分类的任务上,我们通过提供因果和对比特征属性以及相应的反事实图像来展示不同属性如何影响分类器输出。
translated by 谷歌翻译
特征属性是用于模型解释的常见范例,因为它们在为模型分配每个输入特征的单个数字分数时是简单的。在可操作的追索范围中,其中解释的目标是改善模型消费者的结果,通常不清楚应该如何正确使用特征归因。通过这项工作,我们的目标是加强和澄清可操作追索和特征归因之间的联系。具体地,我们提出了一种Shap,CoShap的变种,它使用反事实生成技术来生产背景数据集以便在边缘(A.K.a.介入)福利价值框架内使用。我们在使用朔芙值的特征归属时仔细考虑的可动手追索程序设置中的需求,同时涉及单调的要求,具有许多合成示例。此外,我们通过提出和证明要素归属,反事实能力的定量评分来展示COSHAP的功效,表明如通过该指标测量,Coshap优于使用单调树集合在公共数据集上进行评估时的现有方法。
translated by 谷歌翻译
在机器学习中的解释性的重要性继续增长,因为神经网络架构和它们模型的数据变得越来越复杂。当模型的输入功能变为高维时,出现独特的挑战:一方面,解释性的原则性模型可靠性方法变得过于计算昂贵;另一方面,更高效的解释性算法缺乏对普通用户的自然解释。在这项工作中,我们在高维数据上介绍了用于人类可解释的解释性的框架,由两个模块组成。首先,我们应用一个语义上有意义的潜在表示,以降低数据的原始维度,并确保其人的解释性。可以学习这些潜在的特征,例如,通过图像到图像转换明确地解散表示或隐含地解散表示,或者它们可以基于用户选择的任何可计算量。其次,我们适应福利范式以进行模型 - 无人释放能力,以在这些潜在特征上运行。这导致理论上控制和计算易解释的可解释模型解释。我们在合成数据上基准测试我们的方法,并展示其对几种图像分类任务的效果。
translated by 谷歌翻译
现有的可解释AI和可解释的ML的方法无法解释统计单元的输出变量值的变化,以说明输入值的变化以及“机制”的变化(将输入转换为输出的函数)的变化。我们提出了两种基于反事实的方法,用于使用游戏理论中的沙普利值的概念来解释各种输入粒度的单位级变化。这些方法满足了对任何单位级别更改归因方法所需的两个关键公理。通过模拟,我们研究了所提出方法的可靠性和可扩展性。我们从案例研究中获得了明智的结果,该案例研究确定了美国个人收入变化的驱动力。
translated by 谷歌翻译
图像分类模型可以取决于图像的多个不同语义属性。对分类器的决定的说明需要对这些属性进行发现和可视化这些属性。在这里,我们通过训练生成模型来具体解释基于分类器决策的多个属性来实现这一点的样式x。此类属性的自然来源是样式语的风格,已知在图像中生成语义有意义的维度。但是,由于标准GaN训练不依赖于分类器,所以它可能不代表对分类器决定很重要的这些属性,并且风格的尺寸可以表示无关属性。为了克服这一点,我们提出了一种培训程序,该培训程序包括分类器模型,以便学习特定于分类器的风格。然后从该空间中选择解释性属性。这些可用于可视化每个图像改变多个属性的效果,从而提供特定于图像的解释。我们将风格x应用于多个域,包括动物,叶子,面和视网膜图像。为此,我们展示了如何以不同方式修改图像以改变其分类器输出。我们的结果表明,该方法发现与语义上保持良好的属性,生成有意义的图像特定的解释,并且是在用户研究中测量的人为解释。
translated by 谷歌翻译
越来越多的电子健康记录(EHR)数据和深度学习技术进步的越来越多的可用性(DL)已经引发了在开发基于DL的诊断,预后和治疗的DL临床决策支持系统中的研究兴趣激增。尽管承认医疗保健的深度学习的价值,但由于DL的黑匣子性质,实际医疗环境中进一步采用的障碍障碍仍然存在。因此,有一个可解释的DL的新兴需求,它允许最终用户评估模型决策,以便在采用行动之前知道是否接受或拒绝预测和建议。在这篇综述中,我们专注于DL模型在医疗保健中的可解释性。我们首先引入深入解释性的方法,并作为该领域的未来研究人员或临床从业者的方法参考。除了这些方法的细节之外,我们还包括对这些方法的优缺点以及它们中的每个场景都适合的讨论,因此感兴趣的读者可以知道如何比较和选择它们供使用。此外,我们讨论了这些方法,最初用于解决一般域问题,已经适应并应用于医疗保健问题以及如何帮助医生更好地理解这些数据驱动技术。总的来说,我们希望这项调查可以帮助研究人员和从业者在人工智能(AI)和临床领域了解我们为提高其DL模型的可解释性并相应地选择最佳方法。
translated by 谷歌翻译
基于Shapley值的功能归因在解释机器学习模型中很受欢迎。但是,从理论和计算的角度来看,它们的估计是复杂的。我们将这种复杂性分解为两个因素:(1)〜删除特征信息的方法,以及(2)〜可拖动估计策略。这两个因素提供了一种天然镜头,我们可以更好地理解和比较24种不同的算法。基于各种特征删除方法,我们描述了多种类型的Shapley值特征属性和计算每个类型的方法。然后,基于可进行的估计策略,我们表征了两个不同的方法家族:模型 - 不合时宜的和模型特定的近似值。对于模型 - 不合稳定的近似值,我们基准了广泛的估计方法,并将其与Shapley值的替代性但等效的特征联系起来。对于特定于模型的近似值,我们阐明了对每种方法的线性,树和深模型的障碍至关重要的假设。最后,我们确定了文献中的差距以及有希望的未来研究方向。
translated by 谷歌翻译
深度学习的显着成功引起了人们对医学成像诊断的应用的兴趣。尽管最新的深度学习模型在分类不同类型的医学数据方面已经达到了人类水平的准确性,但这些模型在临床工作流程中几乎不采用,这主要是由于缺乏解释性。深度学习模型的黑盒子性提出了制定策略来解释这些模型的决策过程的必要性,从而导致了可解释的人工智能(XAI)主题的创建。在这种情况下,我们对应用于医学成像诊断的XAI进行了详尽的调查,包括视觉,基于示例和基于概念的解释方法。此外,这项工作回顾了现有的医学成像数据集和现有的指标,以评估解释的质量。此外,我们还包括一组基于报告生成的方法的性能比较。最后,还讨论了将XAI应用于医学成像以及有关该主题的未来研究指示的主要挑战。
translated by 谷歌翻译
元学习用于通过组合数据和先验知识来有效地自动选择机器学习模型。由于传统的元学习技术缺乏解释性,并且在透明度和公平性方面存在缺点,因此实现元学习的解释性至关重要。本文提出了一个可解释的元学习框架,该框架不仅可以解释元学习算法选择的建议结果,而且还可以对建议算法在特定数据集中的性能和业务场景中更完整,更准确地解释。通过广泛的实验证明了该框架的有效性和正确性。
translated by 谷歌翻译
我们提出了CX-TOM,简短于与理论的理论,一种新的可解释的AI(XAI)框架,用于解释深度卷积神经网络(CNN)制定的决定。与生成解释的XAI中的当前方法形成对比,我们将说明作为迭代通信过程,即对话框,机器和人类用户之间。更具体地说,我们的CX-TOM框架通过调解机器和人类用户的思想之间的差异,在对话中生成解释顺序。为此,我们使用思想理论(汤姆),帮助我们明确地建模人类的意图,通过人类的推断,通过机器推断出人类的思想。此外,大多数最先进的XAI框架提供了基于注意的(或热图)的解释。在我们的工作中,我们表明,这些注意力的解释不足以增加人类信任在潜在的CNN模型中。在CX-TOM中,我们使用命名为您定义的故障行的反事实解释:给定CNN分类模型M预测C_PRED的CNN分类模型M的输入图像I,错误线识别最小的语义级别特征(例如,斑马上的条纹,狗的耳朵),称为可解释的概念,需要从I添加或删除,以便将m的分类类别改变为另一个指定的c_alt。我们认为,由于CX-TOM解释的迭代,概念和反事本质,我们的框架对于专家和非专家用户来说是实用的,更加自然,以了解复杂的深度学习模式的内部运作。广泛的定量和定性实验验证了我们的假设,展示了我们的CX-TOM显着优于最先进的可解释的AI模型。
translated by 谷歌翻译
鉴于部署更可靠的机器学习系统的重要性,研究界内的机器学习模型的解释性得到了相当大的关注。在计算机视觉应用中,生成反事实方法表示如何扰乱模型的输入来改变其预测,提供有关模型决策的详细信息。目前的方法倾向于产生关于模型决策的琐碎的反事实,因为它们通常建议夸大或消除所分类的属性的存在。对于机器学习从业者,这些类型的反事件提供了很少的价值,因为它们没有提供有关不期望的模型或数据偏差的新信息。在这项工作中,我们确定了琐碎的反事实生成问题,我们建议潜水以缓解它。潜水在使用多样性强制损失限制的解除印章潜在空间中学习扰动,以发现关于模型预测的多个有价值的解释。此外,我们介绍一种机制,以防止模型产生微不足道的解释。 Celeba和Synbols的实验表明,与先前的最先进的方法相比,我们的模型提高了生产高质量有价值解释的成功率。代码可在https://github.com/elementai/beyond- trial-explanations获得。
translated by 谷歌翻译
机器学习模型,尤其是人工神经网络,越来越多地用于为在各个领域的高风险场景中(从金融服务,公共安全和医疗保健服务)提供信息。尽管神经网络在许多情况下都取得了出色的性能,但它们的复杂性质引起了人们对现实情况下的可靠性,可信赖性和公平性的关注。结果,已经提出了几种A-tostori解释方法来突出影响模型预测的特征。值得注意的是,Shapley的价值 - 一种满足几种理想特性的游戏理论数量 - 在机器学习解释性文献中获得了知名度。然而,更传统上,在统计学习中的特征是通过有条件独立性正式化的,而对其进行测试的标准方法是通过有条件的随机测试(CRT)。到目前为止,有关解释性和特征重要性的这两个观点已被认为是独特的和独立的。在这项工作中,我们表明基于沙普利的解释方法和针对特征重要性的有条件独立性测试密切相关。更确切地说,我们证明,通过类似于CRT的程序实现了一组特定的条件独立性测试,评估了Shapley系数量,以执行特定的条件独立性测试,但用于不同的零假设。此外,获得的游戏理论值上限限制了此类测试的$ p $值。结果,我们授予大型Shapley系数具有精确的统计意义,并具有控制I型错误。
translated by 谷歌翻译
由于深度学习模型越来越多地用于安全关键应用,可解释性和可信度成为主要问题。对于简单的图像,例如低分辨率面部肖像,最近已经提出了综合视觉反事实解释作为揭示训练分类模型的决策机制的一种方法。在这项工作中,我们解决了为高质量图像和复杂场景产生了反事实解释的问题。利用最近的语义到图像模型,我们提出了一种新的生成反事实解释框架,可以产生卓越的稀疏修改,该框架可以保护整体场景结构。此外,我们介绍了“区域目标反事实解释”的概念和相应的框架,其中用户可以通过指定查询图像的一组语义区域来指导反事实的生成说明必须是关于的。在具有挑战性的数据集中进行了广泛的实验,包括高质量的肖像(Celebamask-HQ)和驾驶场景(BDD100K)。
translated by 谷歌翻译
深度神经网络的成功严重依赖于他们在其投入和其产出之间编码复杂关系的能力。虽然此属性适用于培训数据,但它也掩盖了驱动预测的机制。本研究旨在通过采用基于离散变分的自动化器来改变预测类的干预机制来揭示隐藏的概念。然后,解释模型从任何隐藏层和相应的介入表示可视化编码信息。通过评估原始代表与介入代表之间的差异,可以确定可以改变该类的概念,从而提供可解释性。我们展示了我们在Celeba上的方法的有效性,在那里我们对数据中的偏见显示了各种可视化,并建议揭示和改变偏见的不同干预措施。
translated by 谷歌翻译
改变特定特征但不是其他特性的输入扰动的反事实示例 - 已经显示用于评估机器学习模型的偏差,例如,对特定的人口组。然而,由于图像的各种特征上的底层的因果结构,生成用于图像的反事实示例是非琐碎的。为了有意义,生成的扰动需要满足因果模型所暗示的约束。我们通过在前瞻性学习推断(ALI)的改进变型中结合结构因果模型(SCM)来提出一种方法,该方法是根据图像的属性之间的因果关系生成反事实。基于所生成的反事实,我们展示了如何解释预先训练的机器学习分类器,评估其偏置,并使用反事实程序缓解偏差。在Morpho-Mnist DataSet上,我们的方法会在质量上产生与基于SCM的Factficuls(DeepScm)的质量相当的反功能,而在更复杂的Celeba DataSet上,我们的方法优于DeepScm在产生高质量的有效反应性时。此外,生成的反事件难以从人类评估实验中的重建图像中无法区分,并且随后使用它们来评估在Celeba数据上培训的标准分类器的公平性。我们表明分类器是偏见的w.r.t.皮肤和头发颜色,以及反事实规则化如何消除这些偏差。
translated by 谷歌翻译
除了机器学习(ML)模型的令人印象深刻的预测力外,最近还出现了解释方法,使得能够解释诸如深神经网络的复杂非线性学习模型。获得更好的理解尤其重要。对于安全 - 关键的ML应用或医学诊断等。虽然这种可解释的AI(XAI)技术对分类器达到了重大普及,但到目前为止对XAI的重点进行了很少的关注(Xair)。在这篇综述中,我们澄清了XAI对回归和分类任务的基本概念差异,为Xair建立了新的理论见解和分析,为Xair提供了真正的实际回归问题的示范,最后讨论了该领域仍然存在的挑战。
translated by 谷歌翻译
可解释的人工智能(XAI)是一系列技术,可以理解人工智能(AI)系统的技术和非技术方面。 Xai至关重要,帮助满足\ emph {可信赖}人工智能的日益重要的需求,其特点是人类自主,防止危害,透明,问责制等的基本特征,反事实解释旨在提供最终用户需要更改的一组特征(及其对应的值)以实现所需的结果。目前的方法很少考虑到实现建议解释所需的行动的可行性,特别是他们缺乏考虑这些行为的因果影响。在本文中,我们将反事实解释作为潜在空间(CEILS)的干预措施,一种方法来生成由数据从数据设计潜在的因果关系捕获的反事实解释,并且同时提供可行的建议,以便到达所提出的配置文件。此外,我们的方法具有以下优点,即它可以设置在现有的反事实发生器算法之上,从而最小化施加额外的因果约束的复杂性。我们展示了我们使用合成和实际数据集的一组不同实验的方法的有效性(包括金融领域的专有数据集)。
translated by 谷歌翻译
福利值广泛用作模型不可知的解释框架,以解释复杂的预测机器学习模型。福利值具有理想的理论特性和声音数学基础。精确的福芙值估计依赖数据依赖于所有特征组合之间的依赖性的准确建模。在本文中,我们使用具有任意调节(VAEAC)的变形AutoEncoder来同时建模所有特征依赖性。我们通过全面的仿真研究证明了VAEAC对于连续和混合依赖特征的各种环境来说,VAEAC优于最先进的方法。最后,我们将VAEAC应用于从UCI机器学习存储库中的鲍鱼数据集。
translated by 谷歌翻译
当前的大多数解释性技术都集中在捕获输入空间中特征的重要性。但是,鉴于模型和数据生成过程的复杂性,由此产生的解释远非“完整”,因为它们缺乏特征相互作用和可视化其“效应”的指示。在这项工作中,我们提出了一个新颖的双流式解释性框架,以解释任何基于CNN的图像分类器(架构不考虑)做出的决定。为此,我们首先将潜在特征从分类器中解开,然后将这些功能与观察到的/人为定义的“上下文”功能保持一致。这些对齐特征形成了具有语义上有意义的概念,用于提取描述“感知”数据生成过程的因果图,描述了未观察到的潜在特征和观察到的“上下文”特征之间的功能间和内部内部和内部内部相互作用。该因果图是一个全局模型,可以从中提取不同形式的局部解释。具体而言,我们提供了一个生成器来可视化潜在空间中特征之间交互的“效果”,并从其作为局部解释中提取特征的重要性。我们的框架利用对抗性知识蒸馏来忠实地从分类器的潜在空间中学习表示形式,并将其用于提取视觉解释。我们使用带有附加正规化术语的stylegan-v2体系结构来执行分解和对齐。我们证明并评估了通过关于Morpho-Mnist和FFHQ人脸数据集获得的解释。我们的框架可在\ url {https://github.com/koriavinash1/glance-explanations}上获得。
translated by 谷歌翻译
随着现代复杂的神经网络不断破坏记录并解决更严重的问题,它们的预测也变得越来越少。目前缺乏解释性通常会破坏敏感设置中精确的机器学习工具的部署。在这项工作中,我们提出了一种基于Shapley系数的层次扩展的图像分类的模型 - 不足的解释方法 - 层次结构(H-SHAP)(H-SHAP) - 解决了当前方法的某些局限性。与其他基于沙普利的解释方法不同,H-shap是可扩展的,并且可以计算而无需近似。在某些分布假设下,例如在多个实例学习中常见的假设,H-shap检索了确切的Shapley系数,并具有指数改善的计算复杂性。我们将我们的分层方法与基于Shapley的流行基于Shapley和基于Shapley的方法进行比较,而基于Shapley的方法,医学成像方案以及一般的计算机视觉问题,表明H-Shap在准确性和运行时都超过了最先进的状态。代码和实验已公开可用。
translated by 谷歌翻译