在本文中，我们将分析如何在某些非线性模型中计算每个输入值对其汇总输出的贡献。提出了回归和分类应用，以及有关深神经网络的相关算法。所提出的方法合并了文献中目前存在的两种方法：综合梯度和深泰勒分解。与深置和深度的外形相比，它提供了自然选择使用模型所特有的参考点。
translated by 谷歌翻译
Nonlinear methods such as Deep Neural Networks (DNNs) are the gold standard for various challenging machine learning problems, e.g., image classification, natural language processing or human action recognition. Although these methods perform impressively well, they have a significant disadvantage, the lack of transparency, limiting the interpretability of the solution and thus the scope of application in practice. Especially DNNs act as black boxes due to their multilayer nonlinear structure. In this paper we introduce a novel methodology for interpreting generic multilayer neural networks by decomposing the network classification decision into contributions of its input elements. Although our focus is on image classification, the method is applicable to a broad set of input data, learning tasks and network architectures. Our method is based on deep Taylor decomposition and efficiently utilizes the structure of the network by backpropagating the explanations from the output to the input layer. We evaluate the proposed method empirically on the MNIST and ILSVRC data sets.
translated by 谷歌翻译
除了机器学习（ML）模型的令人印象深刻的预测力外，最近还出现了解释方法，使得能够解释诸如深神经网络的复杂非线性学习模型。获得更好的理解尤其重要。对于安全 - 关键的ML应用或医学诊断等。虽然这种可解释的AI（XAI）技术对分类器达到了重大普及，但到目前为止对XAI的重点进行了很少的关注（Xair）。在这篇综述中，我们澄清了XAI对回归和分类任务的基本概念差异，为Xair建立了新的理论见解和分析，为Xair提供了真正的实际回归问题的示范，最后讨论了该领域仍然存在的挑战。
translated by 谷歌翻译
这项调查的目的是介绍对深神经网络的近似特性的解释性回顾。具体而言，我们旨在了解深神经网络如何以及为什么要优于其他经典线性和非线性近似方法。这项调查包括三章。在第1章中，我们回顾了深层网络及其组成非线性结构的关键思想和概念。我们通过在解决回归和分类问题时将其作为优化问题来形式化神经网络问题。我们简要讨论用于解决优化问题的随机梯度下降算法以及用于解决优化问题的后传播公式，并解决了与神经网络性能相关的一些问题，包括选择激活功能，成本功能，过度适应问题和正则化。在第2章中，我们将重点转移到神经网络的近似理论上。我们首先介绍多项式近似中的密度概念，尤其是研究实现连续函数的Stone-WeierStrass定理。然后，在线性近似的框架内，我们回顾了馈电网络的密度和收敛速率的一些经典结果，然后在近似Sobolev函数中进行有关深网络复杂性的最新发展。在第3章中，利用非线性近似理论，我们进一步详细介绍了深度和近似网络与其他经典非线性近似方法相比的近似优势。
translated by 谷歌翻译
卷积神经网络（CNN）最近由于捕获非线性系统行为并提取预测性时空模式而引起了地球科学的极大关注。然而，鉴于其黑盒的性质以及预测性的重要性，可解释的人工智能方法（XAI）已成为解释CNN决策策略的一种手段。在这里，我们建立了一些最受欢迎的XAI方法的比较，并研究了它们在解释CNN的地球科学应用决策方面的保真度。我们的目标是提高对这些方法的理论局限性的认识，并深入了解相对优势和缺点，以帮助指导最佳实践。所考虑的XAI方法首先应用于理想化的归因基准，在该基准中，该网络解释的基础真实是先验，以帮助客观地评估其性能。其次，我们将XAI应用于与气候相关的预测设置，即解释CNN，该CNN经过训练，可以预测气候模拟每日快照中的大气河流数量。我们的结果突出了XAI方法的几个重要问题（例如，梯度破碎，无法区分归因的迹象，对零输入的无知），这些迹象以前在我们的领域被忽略了，如果不谨慎地考虑，可能会导致扭曲的图片CNN决策策略。我们设想，我们的分析将激发对XAI保真度的进一步调查，并将有助于在地球科学中谨慎地实施XAI，这可能导致进一步剥削CNN和深入学习预测问题。
translated by 谷歌翻译
In the last years many accurate decision support systems have been constructed as black boxes, that is as systems that hide their internal logic to the user. This lack of explanation constitutes both a practical and an ethical issue. The literature reports many approaches aimed at overcoming this crucial weakness sometimes at the cost of scarifying accuracy for interpretability. The applications in which black box decision systems can be used are various, and each approach is typically developed to provide a solution for a specific problem and, as a consequence, delineating explicitly or implicitly its own definition of interpretability and explanation. The aim of this paper is to provide a classification of the main problems addressed in the literature with respect to the notion of explanation and the type of black box system. Given a problem definition, a black box type, and a desired explanation this survey should help the researcher to find the proposals more useful for his own work. The proposed classification of approaches to open black box models should also be useful for putting the many research open questions in perspective.
translated by 谷歌翻译
Artificial intelligence is creating one of the biggest revolution across technology driven application fields. For the finance sector, it offers many opportunities for significant market innovation and yet broad adoption of AI systems heavily relies on our trust in their outputs. Trust in technology is enabled by understanding the rationale behind the predictions made. To this end, the concept of eXplainable AI emerged introducing a suite of techniques attempting to explain to users how complex models arrived at a certain decision. For cross-sectional data classical XAI approaches can lead to valuable insights about the models' inner workings, but these techniques generally cannot cope well with longitudinal data (time series) in the presence of dependence structure and non-stationarity. We here propose a novel XAI technique for deep learning methods which preserves and exploits the natural time ordering of the data.
translated by 谷歌翻译
即使有效，模型的使用也必须伴随着转换数据的各个级别的理解（上游和下游）。因此，需求增加以定义单个数据与算法可以根据其分析可以做出的选择（例如，一种产品或一种促销报价的建议，或代表风险的保险费率）。模型用户必须确保模型不会区分，并且也可以解释其结果。本文介绍了模型解释的重要性，并解决了模型透明度的概念。在保险环境中，它专门说明了如何使用某些工具来强制执行当今可以利用机器学习的精算模型的控制。在一个简单的汽车保险中损失频率估计的示例中，我们展示了一些解释性方法的兴趣，以适应目标受众的解释。
translated by 谷歌翻译
众所周知，端到端的神经NLP体系结构很难理解，这引起了近年来为解释性建模的许多努力。模型解释的基本原则是忠诚，即，解释应准确地代表模型预测背后的推理过程。这项调查首先讨论了忠诚的定义和评估及其对解释性的意义。然后，我们通过将方法分为五类来介绍忠实解释的最新进展：相似性方法，模型内部结构的分析，基于反向传播的方法，反事实干预和自我解释模型。每个类别将通过其代表性研究，优势和缺点来说明。最后，我们从它们的共同美德和局限性方面讨论了上述所有方法，并反思未来的工作方向忠实的解释性。对于有兴趣研究可解释性的研究人员，这项调查将为该领域提供可访问且全面的概述，为进一步探索提供基础。对于希望更好地了解自己的模型的用户，该调查将是一项介绍性手册，帮助选择最合适的解释方法。
translated by 谷歌翻译
人工智能（AI）和机器学习（ML）在网络安全挑战中的应用已在行业和学术界的吸引力，部分原因是对关键系统（例如云基础架构和政府机构）的广泛恶意软件攻击。入侵检测系统（IDS）使用某些形式的AI，由于能够以高预测准确性处理大量数据，因此获得了广泛的采用。这些系统托管在组织网络安全操作中心（CSOC）中，作为一种防御工具，可监视和检测恶意网络流，否则会影响机密性，完整性和可用性（CIA）。 CSOC分析师依靠这些系统来决定检测到的威胁。但是，使用深度学习（DL）技术设计的IDS通常被视为黑匣子模型，并且没有为其预测提供理由。这为CSOC分析师造成了障碍，因为他们无法根据模型的预测改善决策。解决此问题的一种解决方案是设计可解释的ID（X-IDS）。这项调查回顾了可解释的AI（XAI）的最先进的ID，目前的挑战，并讨论了这些挑战如何涉及X-ID的设计。特别是，我们全面讨论了黑匣子和白盒方法。我们还在这些方法之间的性能和产生解释的能力方面提出了权衡。此外，我们提出了一种通用体系结构，该建筑认为人类在循环中，该架构可以用作设计X-ID时的指南。研究建议是从三个关键观点提出的：需要定义ID的解释性，需要为各种利益相关者量身定制的解释以及设计指标来评估解释的需求。
translated by 谷歌翻译
深度学习表明了视觉识别和某些人工智能任务的成功应用。深度学习也被认为是一种强大的工具，具有近似功能的高度灵活性。在本工作中，设计具有所需属性的功能，以近似PDE的解决方案。我们的方法基于后验误差估计，其中解决了错误定位以在神经网络框架内制定误差估计器的伴随问题。开发了一种高效且易于实现的算法，以通过采用双重加权剩余方法来获得多个目标功能的后验误差估计，然后使用神经网络计算原始和伴随解决方案。本研究表明，即使具有相对较少的训练数据，这种基于数据驱动的模型的学习具有卓越的感兴趣量的近似。用数值测试实施例证实了新颖的算法发展。证明了在浅神经网络上使用深神经网络的优点，并且还呈现了收敛增强技术
translated by 谷歌翻译
机器学习技术越来越多地用于预测科学应用中的材料行为，并比常规数值方法具有显着优势。在这项工作中，将人工神经网络（ANN）模型用于有限元公式中，以定义金属材料的流量定律是塑性应变，塑性应变速率和温度的函数。首先，我们介绍了神经网络的一般结构，其运作和关注网络在没有事先学习的情况下推导的能力，即相对于模型输入的流量定律的衍生物。为了验证所提出模型的鲁棒性和准确性，我们就42CRMO4钢的Johnson-Cook行为定律的分析公式进行了比较和分析几个网络体系结构的性能。在第二部分中，在选择了带有$ 2 $隐藏层的人工神经网络体系结构之后，我们以Vuhard Subroutine的形式在Abaqus显式计算代码中介绍了该模型的实现。然后在两个测试用例的数值模拟过程中证明了所提出模型的预测能力：圆形条的颈部和泰勒冲击试验。获得的结果表明，ANN具有很高的能力，可以在有限的元素代码中替换约翰逊 - 库克行为定律的分析公式，同时与经典方法相比，在数值模拟时间方面保持竞争力。
translated by 谷歌翻译
在本文中，我们提出了一种新的可解释性形式主义，旨在阐明测试集的每个输入变量如何影响机器学习模型的预测。因此，我们根据训练有素的机器学习决策规则提出了一个群体的解释性形式，它们是根据其对输入变量分布的可变性的反应。为了强调每个输入变量的影响，这种形式主义使用信息理论框架，该框架量化了基于熵投影的所有输入输出观测值的影响。因此，这是第一个统一和模型不可知的形式主义，使数据科学家能够解释输入变量之间的依赖性，它们对预测错误的影响以及它们对输出预测的影响。在大型样本案例中提供了熵投影的收敛速率。最重要的是，我们证明，计算框架中的解释具有低算法的复杂性，使其可扩展到现实生活中的大数据集。我们通过解释通过在各种数据集上使用XGBoost，随机森林或深层神经网络分类器（例如成人收入，MNIST，CELEBA，波士顿住房，IRIS以及合成的）上使用的复杂决策规则来说明我们的策略。最终，我们明确了基于单个观察结果的解释性策略石灰和摇摆的差异。可以通过使用自由分布的Python工具箱https://gems-ai.aniti.fr/来复制结果。
translated by 谷歌翻译
These notes were compiled as lecture notes for a course developed and taught at the University of the Southern California. They should be accessible to a typical engineering graduate student with a strong background in Applied Mathematics. The main objective of these notes is to introduce a student who is familiar with concepts in linear algebra and partial differential equations to select topics in deep learning. These lecture notes exploit the strong connections between deep learning algorithms and the more conventional techniques of computational physics to achieve two goals. First, they use concepts from computational physics to develop an understanding of deep learning algorithms. Not surprisingly, many concepts in deep learning can be connected to similar concepts in computational physics, and one can utilize this connection to better understand these algorithms. Second, several novel deep learning algorithms can be used to solve challenging problems in computational physics. Thus, they offer someone who is interested in modeling a physical phenomena with a complementary set of tools.
translated by 谷歌翻译
神经网络的可解释性及其潜在的理论行为仍然是一个开放的学习领域，即使在实际应用的巨大成功之后，特别是在深度学习的出现。在这项工作中，提出了NN2Poly：一种理论方法，允许获得提供已经训练的深神经网络的替代表示的多项式。这扩展了ARXIV中提出的先前想法：2102.03865，其仅限于单个隐藏层神经网络，以便在回归和分类任务中使用任意深度前馈神经网络。本文的目的是通过在每层的激活函数上使用泰勒膨胀来实现，然后使用若干组合性质，允许识别所需多项式的系数。讨论了实现本理论方法时的主要计算限制，并介绍了NN2POLY工作所必需的神经网络权重的约束的示例。最后，呈现了一些模拟，得出结论，使用NN2Poly可以获得给定神经网络的表示，并且在所获得的预测之间具有低误差。
translated by 谷歌翻译
本文研究了与可解释的AI（XAI）实践有关的两个不同但相关的问题。机器学习（ML）在金融服务中越来越重要，例如预批准，信用承销，投资以及各种前端和后端活动。机器学习可以自动检测培训数据中的非线性和相互作用，从而促进更快，更准确的信用决策。但是，机器学习模型是不透明的，难以解释，这是建立可靠技术所需的关键要素。该研究比较了各种机器学习模型，包括单个分类器（逻辑回归，决策树，LDA，QDA），异质集合（Adaboost，随机森林）和顺序神经网络。结果表明，整体分类器和神经网络的表现优于表现。此外，使用基于美国P2P贷款平台Lending Club提供的开放式访问数据集评估了两种先进的事后不可解释能力 - 石灰和外形来评估基于ML的信用评分模型。对于这项研究，我们还使用机器学习算法来开发新的投资模型，并探索可以最大化盈利能力同时最大程度地降低风险的投资组合策略。
translated by 谷歌翻译
多项式扩张对于神经网络非线性的分析很重要。他们已应用于验证，解释性和安全性的众所周知的困难。现有方法跨度古典泰勒和切苯齐夫方法，渐近学和许多数值方法。我们发现，虽然这些单独具有有用的属性，如确切的错误公式，可调域和鲁棒性对未定义的衍生物，但没有提供一致方法，其具有所有这些属性的扩展。为解决此问题，我们开发了一个分析修改的积分变换扩展（AMITE），通过使用派生标准进行修改的整体变换的新型扩展。我们展示了一般的扩展，然后展示了两个流行的激活功能，双曲线切线和整流线性单位的应用。与本端使用的现有扩展（即Chebyshev，Taylor和Numerical）相比，Amite是第一个提供六个以前相互排斥的膨胀性能，例如系数的精确公式和精确的膨胀误差（表II）。我们展示了两种案例研究中Amite的有效性。首先，多变量多项式形式从单个隐藏层黑盒子多层Perceptron（MLP）有效地提取，以促进从嘈杂的刺激响应对的等效测试。其次，在3到7层之间的各种前馈神经网络（FFNN）架构是使用由Amite多项式和误差公式改善的泰勒模型的范围。 Amite呈现了一种新的扩展方法维度，适用于神经网络中的非线性的分析/近似，打开新的方向和机会，了解神经网络的理论分析和系统测试。
translated by 谷歌翻译
去年的特征是不透明的自动决策支持系统（例如深神经网络（DNNS））激增。尽管它们具有出色的概括和预测技能，但其功能不允许对其行为获得详细的解释。由于不透明的机器学习模型越来越多地用于在关键环境中做出重要的预测，因此危险是创建和使用不合理或合法的决策。因此，关于赋予机器学习模型具有解释性的重要性有一个普遍的共识。可解释的人工智能（XAI）技术可以用来验证和认证模型输出，并以可信赖，问责制，透明度和公平等理想的概念来增强它们。本指南旨在成为任何具有计算机科学背景的受众的首选手册，旨在获得对机器学习模型的直观见解，并伴随着笔直，快速和直观的解释。本文旨在通过在其特定的日常型号，数据集和用例中应用XAI技术来填补缺乏引人注目的XAI指南。图1充当读者的流程图/地图，应帮助他根据自己的数据类型找到理想的使用方法。在每章中，读者将找到所提出的方法的描述，以及在生物医学应用程序和Python笔记本上使用的示例。它可以轻松修改以应用于特定应用程序。
translated by 谷歌翻译
这是一门专门针对STEM学生开发的介绍性机器学习课程。我们的目标是为有兴趣的读者提供基础知识，以在自己的项目中使用机器学习，并将自己熟悉术语作为进一步阅读相关文献的基础。在这些讲义中，我们讨论受监督，无监督和强化学习。注释从没有神经网络的机器学习方法的说明开始，例如原理分析，T-SNE，聚类以及线性回归和线性分类器。我们继续介绍基本和先进的神经网络结构，例如密集的进料和常规神经网络，经常性的神经网络，受限的玻尔兹曼机器，（变性）自动编码器，生成的对抗性网络。讨论了潜在空间表示的解释性问题，并使用梦和对抗性攻击的例子。最后一部分致力于加强学习，我们在其中介绍了价值功能和政策学习的基本概念。
translated by 谷歌翻译
与经典的统计学习方法相比，机器和深度学习生存模型表现出相似甚至改进事件的预测能力，但太复杂了，无法被人类解释。有几种模型不合时宜的解释可以克服这个问题。但是，没有一个直接解释生存函数预测。在本文中，我们介绍了Survhap（t），这是第一个允许解释生存黑盒模型的解释。它基于Shapley添加性解释，其理论基础稳定，并在机器学习从业人员中广泛采用。拟议的方法旨在增强精确诊断和支持领域的专家做出决策。关于合成和医学数据的实验证实，survhap（t）可以检测具有时间依赖性效果的变量，并且其聚集是对变量对预测的重要性的决定因素，而不是存活。 survhap（t）是模型不可屈服的，可以应用于具有功能输出的所有型号。我们在http://github.com/mi2datalab/survshap中提供了python中时间相关解释的可访问实现。
translated by 谷歌翻译