尽管它们的准确性很高,但由于未知的决策过程和潜在的偏见,现代复杂的图像分类器不能被敏感任务受到信任。反事实解释非常有效地为这些黑盒算法提供透明度。然而,生成可能对分类器输出产生一致影响并揭示可解释的特征更改的反事实是一项非常具有挑战性的任务。我们介绍了一种新颖的方法,可以使用验证的生成模型为图像分类器生成因果关系但可解释的反事实解释,而无需进行任何重新训练或调节。该技术中的生成模型不可能在与目标分类器相同的数据上进行训练。我们使用此框架来获得对比度和因果关系,并作为黑盒分类器的全球解释。在面部属性分类的任务上,我们通过提供因果和对比特征属性以及相应的反事实图像来展示不同属性如何影响分类器输出。
translated by 谷歌翻译
随着在敏感应用中广泛使用复杂的机器学习模型,了解他们的决策已成为一项重要任务。对表格数据进行培训的模型在解释其基本决策过程的解释方面取得了重大进展,该过程具有少量的离散功能。但是,将这些方法应用于高维输入(例如图像)并不是一项琐碎的任务。图像由原子水平的像素组成,并不具有任何解释性。在这项工作中,我们试图使用带注释的图像的高级可解释特征来提供解释。我们利用游戏理论的Shapley价值框架,该框架在XAI问题中广泛接受。通过开发一条管道来生成反事实并随后使用它来估计莎普利值,我们获得了具有强大的公理保证的对比度和可解释的解释。
translated by 谷歌翻译
改变特定特征但不是其他特性的输入扰动的反事实示例 - 已经显示用于评估机器学习模型的偏差,例如,对特定的人口组。然而,由于图像的各种特征上的底层的因果结构,生成用于图像的反事实示例是非琐碎的。为了有意义,生成的扰动需要满足因果模型所暗示的约束。我们通过在前瞻性学习推断(ALI)的改进变型中结合结构因果模型(SCM)来提出一种方法,该方法是根据图像的属性之间的因果关系生成反事实。基于所生成的反事实,我们展示了如何解释预先训练的机器学习分类器,评估其偏置,并使用反事实程序缓解偏差。在Morpho-Mnist DataSet上,我们的方法会在质量上产生与基于SCM的Factficuls(DeepScm)的质量相当的反功能,而在更复杂的Celeba DataSet上,我们的方法优于DeepScm在产生高质量的有效反应性时。此外,生成的反事件难以从人类评估实验中的重建图像中无法区分,并且随后使用它们来评估在Celeba数据上培训的标准分类器的公平性。我们表明分类器是偏见的w.r.t.皮肤和头发颜色,以及反事实规则化如何消除这些偏差。
translated by 谷歌翻译
鉴于部署更可靠的机器学习系统的重要性,研究界内的机器学习模型的解释性得到了相当大的关注。在计算机视觉应用中,生成反事实方法表示如何扰乱模型的输入来改变其预测,提供有关模型决策的详细信息。目前的方法倾向于产生关于模型决策的琐碎的反事实,因为它们通常建议夸大或消除所分类的属性的存在。对于机器学习从业者,这些类型的反事件提供了很少的价值,因为它们没有提供有关不期望的模型或数据偏差的新信息。在这项工作中,我们确定了琐碎的反事实生成问题,我们建议潜水以缓解它。潜水在使用多样性强制损失限制的解除印章潜在空间中学习扰动,以发现关于模型预测的多个有价值的解释。此外,我们介绍一种机制,以防止模型产生微不足道的解释。 Celeba和Synbols的实验表明,与先前的最先进的方法相比,我们的模型提高了生产高质量有价值解释的成功率。代码可在https://github.com/elementai/beyond- trial-explanations获得。
translated by 谷歌翻译
图像分类模型可以取决于图像的多个不同语义属性。对分类器的决定的说明需要对这些属性进行发现和可视化这些属性。在这里,我们通过训练生成模型来具体解释基于分类器决策的多个属性来实现这一点的样式x。此类属性的自然来源是样式语的风格,已知在图像中生成语义有意义的维度。但是,由于标准GaN训练不依赖于分类器,所以它可能不代表对分类器决定很重要的这些属性,并且风格的尺寸可以表示无关属性。为了克服这一点,我们提出了一种培训程序,该培训程序包括分类器模型,以便学习特定于分类器的风格。然后从该空间中选择解释性属性。这些可用于可视化每个图像改变多个属性的效果,从而提供特定于图像的解释。我们将风格x应用于多个域,包括动物,叶子,面和视网膜图像。为此,我们展示了如何以不同方式修改图像以改变其分类器输出。我们的结果表明,该方法发现与语义上保持良好的属性,生成有意义的图像特定的解释,并且是在用户研究中测量的人为解释。
translated by 谷歌翻译
当前的大多数解释性技术都集中在捕获输入空间中特征的重要性。但是,鉴于模型和数据生成过程的复杂性,由此产生的解释远非“完整”,因为它们缺乏特征相互作用和可视化其“效应”的指示。在这项工作中,我们提出了一个新颖的双流式解释性框架,以解释任何基于CNN的图像分类器(架构不考虑)做出的决定。为此,我们首先将潜在特征从分类器中解开,然后将这些功能与观察到的/人为定义的“上下文”功能保持一致。这些对齐特征形成了具有语义上有意义的概念,用于提取描述“感知”数据生成过程的因果图,描述了未观察到的潜在特征和观察到的“上下文”特征之间的功能间和内部内部和内部内部相互作用。该因果图是一个全局模型,可以从中提取不同形式的局部解释。具体而言,我们提供了一个生成器来可视化潜在空间中特征之间交互的“效果”,并从其作为局部解释中提取特征的重要性。我们的框架利用对抗性知识蒸馏来忠实地从分类器的潜在空间中学习表示形式,并将其用于提取视觉解释。我们使用带有附加正规化术语的stylegan-v2体系结构来执行分解和对齐。我们证明并评估了通过关于Morpho-Mnist和FFHQ人脸数据集获得的解释。我们的框架可在\ url {https://github.com/koriavinash1/glance-explanations}上获得。
translated by 谷歌翻译
可解释的人工智能(XAI)是一系列技术,可以理解人工智能(AI)系统的技术和非技术方面。 Xai至关重要,帮助满足\ emph {可信赖}人工智能的日益重要的需求,其特点是人类自主,防止危害,透明,问责制等的基本特征,反事实解释旨在提供最终用户需要更改的一组特征(及其对应的值)以实现所需的结果。目前的方法很少考虑到实现建议解释所需的行动的可行性,特别是他们缺乏考虑这些行为的因果影响。在本文中,我们将反事实解释作为潜在空间(CEILS)的干预措施,一种方法来生成由数据从数据设计潜在的因果关系捕获的反事实解释,并且同时提供可行的建议,以便到达所提出的配置文件。此外,我们的方法具有以下优点,即它可以设置在现有的反事实发生器算法之上,从而最小化施加额外的因果约束的复杂性。我们展示了我们使用合成和实际数据集的一组不同实验的方法的有效性(包括金融领域的专有数据集)。
translated by 谷歌翻译
尽管深度神经网络(DNNS)具有很大的概括和预测能力,但它们的功能不允许对其行为进行详细的解释。不透明的深度学习模型越来越多地用于在关键环境中做出重要的预测,而危险在于,它们做出和使用不能合理或合法化的预测。已经出现了几种可解释的人工智能(XAI)方法,这些方法与机器学习模型分开了,但对模型的实际功能和鲁棒性具有忠诚的缺点。结果,就具有解释能力的深度学习模型的重要性达成了广泛的协议,因此他们自己可以为为什么做出特定的预测提供答案。首先,我们通过形式化解释是什么是缺乏XAI的普遍标准的问题。我们还引入了一组公理和定义,以从数学角度阐明XAI。最后,我们提出了Greybox XAI,该框架由于使用了符号知识库(KB)而构成DNN和透明模型。我们从数据集中提取KB,并使用它来训练透明模型(即逻辑回归)。在RGB图像上训练了编码器 - 编码器架构,以产生类似于透明模型使用的KB的输出。一旦两个模型被独立训练,它们就会在组合上使用以形成可解释的预测模型。我们展示了这种新体系结构在几个数据集中如何准确且可解释的。
translated by 谷歌翻译
深度神经网络的成功严重依赖于他们在其投入和其产出之间编码复杂关系的能力。虽然此属性适用于培训数据,但它也掩盖了驱动预测的机制。本研究旨在通过采用基于离散变分的自动化器来改变预测类的干预机制来揭示隐藏的概念。然后,解释模型从任何隐藏层和相应的介入表示可视化编码信息。通过评估原始代表与介入代表之间的差异,可以确定可以改变该类的概念,从而提供可解释性。我们展示了我们在Celeba上的方法的有效性,在那里我们对数据中的偏见显示了各种可视化,并建议揭示和改变偏见的不同干预措施。
translated by 谷歌翻译
由于深度学习模型越来越多地用于安全关键应用,可解释性和可信度成为主要问题。对于简单的图像,例如低分辨率面部肖像,最近已经提出了综合视觉反事实解释作为揭示训练分类模型的决策机制的一种方法。在这项工作中,我们解决了为高质量图像和复杂场景产生了反事实解释的问题。利用最近的语义到图像模型,我们提出了一种新的生成反事实解释框架,可以产生卓越的稀疏修改,该框架可以保护整体场景结构。此外,我们介绍了“区域目标反事实解释”的概念和相应的框架,其中用户可以通过指定查询图像的一组语义区域来指导反事实的生成说明必须是关于的。在具有挑战性的数据集中进行了广泛的实验,包括高质量的肖像(Celebamask-HQ)和驾驶场景(BDD100K)。
translated by 谷歌翻译
这项调查回顾了对基于视觉的自动驾驶系统进行行为克隆训练的解释性方法。解释性的概念具有多个方面,并且需要解释性的驾驶强度是一种安全至关重要的应用。从几个研究领域收集贡献,即计算机视觉,深度学习,自动驾驶,可解释的AI(X-AI),这项调查可以解决几点。首先,它讨论了从自动驾驶系统中获得更多可解释性和解释性的定义,上下文和动机,以及该应用程序特定的挑战。其次,以事后方式为黑盒自动驾驶系统提供解释的方法是全面组织和详细的。第三,详细介绍和讨论了旨在通过设计构建更容易解释的自动驾驶系统的方法。最后,确定并检查了剩余的开放挑战和潜在的未来研究方向。
translated by 谷歌翻译
科学研究的基本目标是了解因果关系。然而,尽管因果关系在生活和社会科学中的重要作用,但在自然语言处理(NLP)中并不具有相同的重要性,而自然语言处理(NLP)传统上更加重视预测任务。这种区别开始逐渐消失,随着因果推理和语言处理的融合,跨学科研究的新兴领域。尽管如此,关于NLP因果关系的研究仍然散布在没有统一的定义,基准数据集的情况下,并清楚地表达了将因果推论应用于文本领域的挑战和机遇,并具有其独特的属性。在这项调查中,我们巩固了整个学术领域的研究,并将其置于更广泛的NLP景观中。我们介绍了用文本估算因果效应的统计挑战,其中包含文本用作结果,治疗或解决混杂问题的设置。此外,我们探讨了因果推理的潜在用途,以提高NLP模型的鲁棒性,公平性和解释性。因此,我们提供了NLP社区因果推断的统一概述。
translated by 谷歌翻译
为了提高模型透明度并允许用户形成训练有素的ML模型的心理模型,解释对AI和机器学习(ML)社区的兴趣越来越高。但是,解释可以超越这种方式通信作为引起用户控制的机制,因为一旦用户理解,他们就可以提供反馈。本文的目的是介绍研究概述,其中解释与交互式功能相结合,是从头开始学习新模型并编辑和调试现有模型的手段。为此,我们绘制了最先进的概念图,根据其预期目的以及它们如何构建相互作用,突出它们之间的相似性和差异来分组相关方法。我们还讨论开放研究问题并概述可能的方向,希望促使人们对这个开花研究主题进行进一步的研究。
translated by 谷歌翻译
In the last years many accurate decision support systems have been constructed as black boxes, that is as systems that hide their internal logic to the user. This lack of explanation constitutes both a practical and an ethical issue. The literature reports many approaches aimed at overcoming this crucial weakness sometimes at the cost of scarifying accuracy for interpretability. The applications in which black box decision systems can be used are various, and each approach is typically developed to provide a solution for a specific problem and, as a consequence, delineating explicitly or implicitly its own definition of interpretability and explanation. The aim of this paper is to provide a classification of the main problems addressed in the literature with respect to the notion of explanation and the type of black box system. Given a problem definition, a black box type, and a desired explanation this survey should help the researcher to find the proposals more useful for his own work. The proposed classification of approaches to open black box models should also be useful for putting the many research open questions in perspective.
translated by 谷歌翻译
反事实可以以人类的可解释方式解释神经网络的分类决策。我们提出了一种简单但有效的方法来产生这种反事实。更具体地说,我们执行合适的差异坐标转换,然后在这些坐标中执行梯度上升,以查找反事实,这些反事实是由置信度良好的指定目标类别分类的。我们提出了两种方法来利用生成模型来构建完全或大约差异的合适坐标系。我们使用Riemannian差异几何形状分析了生成过程,并使用各种定性和定量测量方法验证了生成的反事实质量。
translated by 谷歌翻译
代表学习者认为,解开变异的因素已经证明是在解决各种现实世界的关切方面是重要的,如公平和可意识。最初由具有独立假设的无监督模型组成,最近,监督和相关特征较弱,但没有生成过程的因果关系。相比之下,我们在原因生成过程的制度下工作,因为生成因子是独立的,或者可能被一组观察或未观察到的混乱困惑。我们通过解散因果过程的概念对解开表示的分析。我们激励对新指标和数据集进行研究,以研究因果解剖和提出两个评估指标和数据集。我们展示了我们的指标捕获了解开了因果过程的探索。最后,我们利用我们的指标和数据集对艺术艺术状态的实证研究进行了脱扣代表学习者,以从因果角度来评估它们。
translated by 谷歌翻译
Despite being responsible for state-of-the-art results in several computer vision and natural language processing tasks, neural networks have faced harsh criticism due to some of their current shortcomings. One of them is that neural networks are correlation machines prone to model biases within the data instead of focusing on actual useful causal relationships. This problem is particularly serious in application domains affected by aspects such as race, gender, and age. To prevent models from incurring on unfair decision-making, the AI community has concentrated efforts in correcting algorithmic biases, giving rise to the research area now widely known as fairness in AI. In this survey paper, we provide an in-depth overview of the main debiasing methods for fairness-aware neural networks in the context of vision and language research. We propose a novel taxonomy to better organize the literature on debiasing methods for fairness, and we discuss the current challenges, trends, and important future work directions for the interested researcher and practitioner.
translated by 谷歌翻译
可解释的人工智能(XAI)中方法的动机通常包括检测,量化和缓解偏见,并为使机器学习模型更加公平而做出贡献。但是,确切的XAI方法可以如何帮助打击偏见。在本文中,我们简要回顾了NLP研究中的解释性和公平性的趋势,确定了当前的实践,其中采用了解释性方法来检测和减轻偏见,并调查了阻止XAI方法在解决公平问题中更广泛使用的障碍。
translated by 谷歌翻译
能够分析和量化人体或行为特征的系统(称为生物识别系统)正在使用和应用变异性增长。由于其从手工制作的功能和传统的机器学习转变为深度学习和自动特征提取,因此生物识别系统的性能增加到了出色的价值。尽管如此,这种快速进步的成本仍然尚不清楚。由于其不透明度,深层神经网络很难理解和分析,因此,由错误动机动机动机的隐藏能力或决定是潜在的风险。研究人员已经开始将注意力集中在理解深度神经网络及其预测的解释上。在本文中,我们根据47篇论文的研究提供了可解释生物识别技术的当前状态,并全面讨论了该领域的发展方向。
translated by 谷歌翻译
Machine learning can impact people with legal or ethical consequences when it is used to automate decisions in areas such as insurance, lending, hiring, and predictive policing. In many of these scenarios, previous decisions have been made that are unfairly biased against certain subpopulations, for example those of a particular race, gender, or sexual orientation. Since this past data may be biased, machine learning predictors must account for this to avoid perpetuating or creating discriminatory practices. In this paper, we develop a framework for modeling fairness using tools from causal inference. Our definition of counterfactual fairness captures the intuition that a decision is fair towards an individual if it is the same in (a) the actual world and (b) a counterfactual world where the individual belonged to a different demographic group. We demonstrate our framework on a real-world problem of fair prediction of success in law school. * Equal contribution. This work was done while JL was a Research Fellow at the Alan Turing Institute. 2 https://obamawhitehouse.archives.gov/blog/2016/05/04/big-risks-big-opportunities-intersection-big-dataand-civil-rights 31st Conference on Neural Information Processing Systems (NIPS 2017),
translated by 谷歌翻译