当前的大多数解释性技术都集中在捕获输入空间中特征的重要性。但是,鉴于模型和数据生成过程的复杂性,由此产生的解释远非“完整”,因为它们缺乏特征相互作用和可视化其“效应”的指示。在这项工作中,我们提出了一个新颖的双流式解释性框架,以解释任何基于CNN的图像分类器(架构不考虑)做出的决定。为此,我们首先将潜在特征从分类器中解开,然后将这些功能与观察到的/人为定义的“上下文”功能保持一致。这些对齐特征形成了具有语义上有意义的概念,用于提取描述“感知”数据生成过程的因果图,描述了未观察到的潜在特征和观察到的“上下文”特征之间的功能间和内部内部和内部内部相互作用。该因果图是一个全局模型,可以从中提取不同形式的局部解释。具体而言,我们提供了一个生成器来可视化潜在空间中特征之间交互的“效果”,并从其作为局部解释中提取特征的重要性。我们的框架利用对抗性知识蒸馏来忠实地从分类器的潜在空间中学习表示形式,并将其用于提取视觉解释。我们使用带有附加正规化术语的stylegan-v2体系结构来执行分解和对齐。我们证明并评估了通过关于Morpho-Mnist和FFHQ人脸数据集获得的解释。我们的框架可在\ url {https://github.com/koriavinash1/glance-explanations}上获得。
translated by 谷歌翻译
\ emph {black-box}模型的说明有助于我们了解模型决策,并提供有关模型偏见和不一致之处的信息。当前的大多数解释性技术通常就特征重要性得分或输入空间中的特征注意图提供了单一的解释。我们的重点是从细粒度到完全抽象的解释中解释\ emph {多个级别的抽象}处的深层歧视模型。我们通过使用\ emph {双曲几何}的自然特性来更有效地对符号特征的层次结构进行建模,并生成\ emph {层次结构符号规则}作为解释的一部分。具体而言,对于任何给定的深层歧视模型,我们通过使用矢量定量对连续的潜在空间的离散化来提炼基础知识,以形成符号,然后是\ emph {双曲线推理块},以诱导\ emph {抽象{抽象树}。我们遍历树以根据符号规则及其相应的视觉语义提取解释。我们证明了我们方法对MNIST和AFHQ高分辨率动物面孔数据集的有效性。我们的框架可在\ url {https://github.com/koriavinash1/symbolicinterpretability}中获得。
translated by 谷歌翻译
尽管它们的准确性很高,但由于未知的决策过程和潜在的偏见,现代复杂的图像分类器不能被敏感任务受到信任。反事实解释非常有效地为这些黑盒算法提供透明度。然而,生成可能对分类器输出产生一致影响并揭示可解释的特征更改的反事实是一项非常具有挑战性的任务。我们介绍了一种新颖的方法,可以使用验证的生成模型为图像分类器生成因果关系但可解释的反事实解释,而无需进行任何重新训练或调节。该技术中的生成模型不可能在与目标分类器相同的数据上进行训练。我们使用此框架来获得对比度和因果关系,并作为黑盒分类器的全球解释。在面部属性分类的任务上,我们通过提供因果和对比特征属性以及相应的反事实图像来展示不同属性如何影响分类器输出。
translated by 谷歌翻译
鉴于部署更可靠的机器学习系统的重要性,研究界内的机器学习模型的解释性得到了相当大的关注。在计算机视觉应用中,生成反事实方法表示如何扰乱模型的输入来改变其预测,提供有关模型决策的详细信息。目前的方法倾向于产生关于模型决策的琐碎的反事实,因为它们通常建议夸大或消除所分类的属性的存在。对于机器学习从业者,这些类型的反事件提供了很少的价值,因为它们没有提供有关不期望的模型或数据偏差的新信息。在这项工作中,我们确定了琐碎的反事实生成问题,我们建议潜水以缓解它。潜水在使用多样性强制损失限制的解除印章潜在空间中学习扰动,以发现关于模型预测的多个有价值的解释。此外,我们介绍一种机制,以防止模型产生微不足道的解释。 Celeba和Synbols的实验表明,与先前的最先进的方法相比,我们的模型提高了生产高质量有价值解释的成功率。代码可在https://github.com/elementai/beyond- trial-explanations获得。
translated by 谷歌翻译
深度神经网络的成功严重依赖于他们在其投入和其产出之间编码复杂关系的能力。虽然此属性适用于培训数据,但它也掩盖了驱动预测的机制。本研究旨在通过采用基于离散变分的自动化器来改变预测类的干预机制来揭示隐藏的概念。然后,解释模型从任何隐藏层和相应的介入表示可视化编码信息。通过评估原始代表与介入代表之间的差异,可以确定可以改变该类的概念,从而提供可解释性。我们展示了我们在Celeba上的方法的有效性,在那里我们对数据中的偏见显示了各种可视化,并建议揭示和改变偏见的不同干预措施。
translated by 谷歌翻译
改变特定特征但不是其他特性的输入扰动的反事实示例 - 已经显示用于评估机器学习模型的偏差,例如,对特定的人口组。然而,由于图像的各种特征上的底层的因果结构,生成用于图像的反事实示例是非琐碎的。为了有意义,生成的扰动需要满足因果模型所暗示的约束。我们通过在前瞻性学习推断(ALI)的改进变型中结合结构因果模型(SCM)来提出一种方法,该方法是根据图像的属性之间的因果关系生成反事实。基于所生成的反事实,我们展示了如何解释预先训练的机器学习分类器,评估其偏置,并使用反事实程序缓解偏差。在Morpho-Mnist DataSet上,我们的方法会在质量上产生与基于SCM的Factficuls(DeepScm)的质量相当的反功能,而在更复杂的Celeba DataSet上,我们的方法优于DeepScm在产生高质量的有效反应性时。此外,生成的反事件难以从人类评估实验中的重建图像中无法区分,并且随后使用它们来评估在Celeba数据上培训的标准分类器的公平性。我们表明分类器是偏见的w.r.t.皮肤和头发颜色,以及反事实规则化如何消除这些偏差。
translated by 谷歌翻译
Explainability has been widely stated as a cornerstone of the responsible and trustworthy use of machine learning models. With the ubiquitous use of Deep Neural Network (DNN) models expanding to risk-sensitive and safety-critical domains, many methods have been proposed to explain the decisions of these models. Recent years have also seen concerted efforts that have shown how such explanations can be distorted (attacked) by minor input perturbations. While there have been many surveys that review explainability methods themselves, there has been no effort hitherto to assimilate the different methods and metrics proposed to study the robustness of explanations of DNN models. In this work, we present a comprehensive survey of methods that study, understand, attack, and defend explanations of DNN models. We also present a detailed review of different metrics used to evaluate explanation methods, as well as describe attributional attack and defense methods. We conclude with lessons and take-aways for the community towards ensuring robust explanations of DNN model predictions.
translated by 谷歌翻译
Causal learning has attracted much attention in recent years because causality reveals the essential relationship between things and indicates how the world progresses. However, there are many problems and bottlenecks in traditional causal learning methods, such as high-dimensional unstructured variables, combinatorial optimization problems, unknown intervention, unobserved confounders, selection bias and estimation bias. Deep causal learning, that is, causal learning based on deep neural networks, brings new insights for addressing these problems. While many deep learning-based causal discovery and causal inference methods have been proposed, there is a lack of reviews exploring the internal mechanism of deep learning to improve causal learning. In this article, we comprehensively review how deep learning can contribute to causal learning by addressing conventional challenges from three aspects: representation, discovery, and inference. We point out that deep causal learning is important for the theoretical extension and application expansion of causal science and is also an indispensable part of general artificial intelligence. We conclude the article with a summary of open issues and potential directions for future work.
translated by 谷歌翻译
图像分类模型可以取决于图像的多个不同语义属性。对分类器的决定的说明需要对这些属性进行发现和可视化这些属性。在这里,我们通过训练生成模型来具体解释基于分类器决策的多个属性来实现这一点的样式x。此类属性的自然来源是样式语的风格,已知在图像中生成语义有意义的维度。但是,由于标准GaN训练不依赖于分类器,所以它可能不代表对分类器决定很重要的这些属性,并且风格的尺寸可以表示无关属性。为了克服这一点,我们提出了一种培训程序,该培训程序包括分类器模型,以便学习特定于分类器的风格。然后从该空间中选择解释性属性。这些可用于可视化每个图像改变多个属性的效果,从而提供特定于图像的解释。我们将风格x应用于多个域,包括动物,叶子,面和视网膜图像。为此,我们展示了如何以不同方式修改图像以改变其分类器输出。我们的结果表明,该方法发现与语义上保持良好的属性,生成有意义的图像特定的解释,并且是在用户研究中测量的人为解释。
translated by 谷歌翻译
Machine learning models rely on various assumptions to attain high accuracy. One of the preliminary assumptions of these models is the independent and identical distribution, which suggests that the train and test data are sampled from the same distribution. However, this assumption seldom holds in the real world due to distribution shifts. As a result models that rely on this assumption exhibit poor generalization capabilities. Over the recent years, dedicated efforts have been made to improve the generalization capabilities of these models collectively known as -- \textit{domain generalization methods}. The primary idea behind these methods is to identify stable features or mechanisms that remain invariant across the different distributions. Many generalization approaches employ causal theories to describe invariance since causality and invariance are inextricably intertwined. However, current surveys deal with the causality-aware domain generalization methods on a very high-level. Furthermore, we argue that it is possible to categorize the methods based on how causality is leveraged in that method and in which part of the model pipeline is it used. To this end, we categorize the causal domain generalization methods into three categories, namely, (i) Invariance via Causal Data Augmentation methods which are applied during the data pre-processing stage, (ii) Invariance via Causal representation learning methods that are utilized during the representation learning stage, and (iii) Invariance via Transferring Causal mechanisms methods that are applied during the classification stage of the pipeline. Furthermore, this survey includes in-depth insights into benchmark datasets and code repositories for domain generalization methods. We conclude the survey with insights and discussions on future directions.
translated by 谷歌翻译
众所周知,端到端的神经NLP体系结构很难理解,这引起了近年来为解释性建模的许多努力。模型解释的基本原则是忠诚,即,解释应准确地代表模型预测背后的推理过程。这项调查首先讨论了忠诚的定义和评估及其对解释性的意义。然后,我们通过将方法分为五类来介绍忠实解释的最新进展:相似性方法,模型内部结构的分析,基于反向传播的方法,反事实干预和自我解释模型。每个类别将通过其代表性研究,优势和缺点来说明。最后,我们从它们的共同美德和局限性方面讨论了上述所有方法,并反思未来的工作方向忠实的解释性。对于有兴趣研究可解释性的研究人员,这项调查将为该领域提供可访问且全面的概述,为进一步探索提供基础。对于希望更好地了解自己的模型的用户,该调查将是一项介绍性手册,帮助选择最合适的解释方法。
translated by 谷歌翻译
与此同时,在可解释的人工智能(XAI)的研究领域中,已经开发了各种术语,动机,方法和评估标准。随着XAI方法的数量大大增长,研究人员以及从业者以及从业者需要一种方法:掌握主题的广度,比较方法,并根据特定用例所需的特征选择正确的XAI方法语境。在文献中,可以找到许多不同细节水平和深度水平的XAI方法分类。虽然他们经常具有不同的焦点,但它们也表现出许多重叠点。本文统一了这些努力,并提供了XAI方法的分类,这是关于目前研究中存在的概念的概念。在结构化文献分析和元研究中,我们识别并审查了XAI方法,指标和方法特征的50多个最引用和最新的调查。总结在调查调查中,我们将文章的术语和概念合并为统一的结构化分类。其中的单一概念总计超过50个不同的选择示例方法,我们相应地分类。分类学可以为初学者,研究人员和从业者提供服务作为XAI方法特征和方面的参考和广泛概述。因此,它提供了针对有针对性的,用例导向的基础和上下文敏感的未来研究。
translated by 谷歌翻译
代表学习者认为,解开变异的因素已经证明是在解决各种现实世界的关切方面是重要的,如公平和可意识。最初由具有独立假设的无监督模型组成,最近,监督和相关特征较弱,但没有生成过程的因果关系。相比之下,我们在原因生成过程的制度下工作,因为生成因子是独立的,或者可能被一组观察或未观察到的混乱困惑。我们通过解散因果过程的概念对解开表示的分析。我们激励对新指标和数据集进行研究,以研究因果解剖和提出两个评估指标和数据集。我们展示了我们的指标捕获了解开了因果过程的探索。最后,我们利用我们的指标和数据集对艺术艺术状态的实证研究进行了脱扣代表学习者,以从因果角度来评估它们。
translated by 谷歌翻译
可解释的人工智能(XAI)的新兴领域旨在为当今强大但不透明的深度学习模型带来透明度。尽管本地XAI方法以归因图的形式解释了个体预测,从而确定了重要特征的发生位置(但没有提供有关其代表的信息),但全局解释技术可视化模型通常学会的编码的概念。因此,两种方法仅提供部分见解,并留下将模型推理解释的负担。只有少数当代技术旨在将本地和全球XAI背后的原则结合起来,以获取更多信息的解释。但是,这些方法通常仅限于特定的模型体系结构,或对培训制度或数据和标签可用性施加其他要求,这实际上使事后应用程序成为任意预训练的模型。在这项工作中,我们介绍了概念相关性传播方法(CRP)方法,该方法结合了XAI的本地和全球观点,因此允许回答“何处”和“ where”和“什么”问题,而没有其他约束。我们进一步介绍了相关性最大化的原则,以根据模型对模型的有用性找到代表性的示例。因此,我们提高了对激活最大化及其局限性的共同实践的依赖。我们证明了我们方法在各种环境中的能力,展示了概念相关性传播和相关性最大化导致了更加可解释的解释,并通过概念图表,概念组成分析和概念集合和概念子区和概念子区和概念子集和定量研究对模型的表示和推理提供了深刻的见解。它们在细粒度决策中的作用。
translated by 谷歌翻译
这项调查回顾了对基于视觉的自动驾驶系统进行行为克隆训练的解释性方法。解释性的概念具有多个方面,并且需要解释性的驾驶强度是一种安全至关重要的应用。从几个研究领域收集贡献,即计算机视觉,深度学习,自动驾驶,可解释的AI(X-AI),这项调查可以解决几点。首先,它讨论了从自动驾驶系统中获得更多可解释性和解释性的定义,上下文和动机,以及该应用程序特定的挑战。其次,以事后方式为黑盒自动驾驶系统提供解释的方法是全面组织和详细的。第三,详细介绍和讨论了旨在通过设计构建更容易解释的自动驾驶系统的方法。最后,确定并检查了剩余的开放挑战和潜在的未来研究方向。
translated by 谷歌翻译
可解释的人工智能(XAI)是一系列技术,可以理解人工智能(AI)系统的技术和非技术方面。 Xai至关重要,帮助满足\ emph {可信赖}人工智能的日益重要的需求,其特点是人类自主,防止危害,透明,问责制等的基本特征,反事实解释旨在提供最终用户需要更改的一组特征(及其对应的值)以实现所需的结果。目前的方法很少考虑到实现建议解释所需的行动的可行性,特别是他们缺乏考虑这些行为的因果影响。在本文中,我们将反事实解释作为潜在空间(CEILS)的干预措施,一种方法来生成由数据从数据设计潜在的因果关系捕获的反事实解释,并且同时提供可行的建议,以便到达所提出的配置文件。此外,我们的方法具有以下优点,即它可以设置在现有的反事实发生器算法之上,从而最小化施加额外的因果约束的复杂性。我们展示了我们使用合成和实际数据集的一组不同实验的方法的有效性(包括金融领域的专有数据集)。
translated by 谷歌翻译
人工智能被出现为众多临床应用诊断和治疗决策的有用援助。由于可用数据和计算能力的快速增加,深度神经网络的性能与许多任务中的临床医生相同或更好。为了符合信任AI的原则,AI系统至关重要的是透明,强大,公平和确保责任。由于对决策过程的具体细节缺乏了解,目前的深神经系统被称为黑匣子。因此,需要确保在常规临床工作流中纳入常规神经网络之前的深度神经网络的可解释性。在这一叙述审查中,我们利用系统的关键字搜索和域专业知识来确定已经基于所产生的解释和技术相似性的类型的医学图像分析应用的深度学习模型来确定九种不同类型的可解释方法。此外,我们报告了评估各种可解释方法产生的解释的进展。最后,我们讨论了局限性,提供了利用可解释性方法和未来方向的指导,了解医学成像分析深度神经网络的解释性。
translated by 谷歌翻译
自解释深层模型旨在在训练期间隐含地学习基于潜在的概念的解释,从而消除了任何HOC后期解释生成技术的要求。在这项工作中,我们提出了一种这样的模型,该模型将解释生成模块附加在任何基本网络的顶部,并共同列举显示出高预测性能的整个模块,并在概念方面产生有意义的解释。与基线方法相比,我们的培训策略适用于无监督的概念学习,与基线方法相比具有更大的参数空间要求。我们拟议的模式还规定了利用自我监督对概念来提取更好的解释。然而,通过完整的概念监督,与最近提出的基于概念的可解释模型相比,我们实现了最佳预测性能。我们通过我们的方法报告了定性和定量结果,这表明了比最近提出的基于概念的解释方法更好的性能。我们报告了一个没有地面真理概念的两个数据集,即CiFar10,ImageNet和两个具有地面真理概念的数据集,即AWA2,Cub-200,以显示我们两种情况的方法。据我们所知,我们是第一批展示诸如ImageNet的大规模数据集的结果。
translated by 谷歌翻译
由于它们在建模复杂的问题和处理高维数据集的有效性,因此已显示深神网络(DNN)在广泛的应用领域中的传统机器学习算法优于传统的机器学习算法。但是,许多现实生活数据集具有越来越高的维度,其中大量功能可能与手头的任务无关。包含此类功能不仅会引入不必要的噪声,还会提高计算复杂性。此外,由于许多特征之间的非线性和依赖性高,DNN模型往往不可避免地是不透明的,并且被视为黑盒方法,因为它们的内部功能不佳。解释良好的模型可以识别具有统计学意义的特征,并解释其影响模型结果的方式。在本文中,我们提出了一种有效的方法,可以在高维数据集的情况下提高黑框模型的分类任务。为此,我们首先在高维数据集上训练黑框模型,以了解执行分类的嵌入。为了分解黑框模型的内部工作原理并确定TOP-K重要特征,我们采用了不同的探测和扰动技术。然后,我们通过在TOP-K特征空间上通过可解释的替代模型来近似黑框模型的行为。最后,我们从替代模型中得出决策规则和本地解释,以解释个人决策。当在不同数据集上测试,尺寸在50到20,000之间的不同数据集上进行测试时,我们的方法优于最先进的方法,例如TABNET,XGBOOST和基于Shap的可解释性技术。
translated by 谷歌翻译
学习分离旨在寻找低维表示,该表示由观察数据的多个解释性和生成因素组成。变异自动编码器(VAE)的框架通常用于将独立因素从观察中解散。但是,在实际情况下,具有语义的因素不一定是独立的。取而代之的是,可能存在基本的因果结构,从而使这些因素取决于这些因素。因此,我们提出了一个名为Causalvae的新的基于VAE的框架,该框架包括一个因果层,将独立的外源性因子转化为因果内源性因素,这些因子与数据中的因果关系相关概念相对应。我们进一步分析了模型,表明从观测值中学到的拟议模型可以在一定程度上恢复真实的模型。实验是在各种数据集上进行的,包括合成和真实的基准Celeba。结果表明,因果关系学到的因果表示是可以解释的,并且其因果关系作为定向无环形图(DAG)的因果关系良好地鉴定出来。此外,我们证明了所提出的Causalvae模型能够通过因果因素的“操作”来生成反事实数据。
translated by 谷歌翻译