目前在社会和工业中广泛部署了模式分类问题的机器学习解决方案。然而，缺乏最准确的模型的透明度和问责制经常阻碍他们的安全使用。因此，显然需要开发可解释的人工智能机制。存在总结特征贡献的模型 - 不可知方法，但其可解释性仅限于由黑匣子型号制作的预测。开放挑战是开发具有内在解释性的模型，并产生自己的解释，即使对于传统上被视为（经常性）神经网络等黑匣子的模型的类别。在本文中，我们向结构化数据的可解释模式分类提出了一种长期认知网络。我们的方法通过量化决策过程中每个特征的相关性来提供自己的机制来提供解释。为了在不影响性能的情况下支持解释性，该模型通过允许控制非线性的准非线性推理规则来包含更多的灵活性。此外，我们提出了一种重复感知的决策模型，避免了独特的定点所带来的问题，同时引入确定性学习算法来计算可调参数。模拟表明，与最先进的白色和黑匣子型号相比，我们的可解释模型获得了竞争力。
translated by 谷歌翻译
本文介绍了一个模糊认知地图模型，用于量化结构化数据集中的隐式偏置，其中特征可以是数字或离散的。在我们的建议中，问题特征被映射到在运行什么时专家最初由专家激活的神经概念，而连接神经概念的权重表示特征之间的绝对相关/关联模式。此外，我们介绍一种配备的新推理机制，配备有标准化的转移功能，可防止神经元饱和。这种新推理机制的另一个优点是它可以通过在更新每个迭代中的神经元激活值时来调节非线性来容易地控制。最后，我们研究了我们模型的融合和源于定点吸引子的存在和单性的分析条件。
translated by 谷歌翻译
在时间序列预测的各种软计算方法中，模糊认知地图（FCM）已经显示出显着的结果作为模拟和分析复杂系统动态的工具。 FCM具有与经常性神经网络的相似之处，可以被分类为神经模糊方法。换句话说，FCMS是模糊逻辑，神经网络和专家系统方面的混合，它作为模拟和研究复杂系统的动态行为的强大工具。最有趣的特征是知识解释性，动态特征和学习能力。本调查纸的目标主要是在文献中提出的最相关和最近的基于FCCM的时间序列预测模型概述。此外，本文认为介绍FCM模型和学习方法的基础。此外，该调查提供了一些旨在提高FCM的能力的一些想法，以便在处理非稳定性数据和可扩展性问题等现实实验中涵盖一些挑战。此外，具有快速学习算法的FCMS是该领域的主要问题之一。
translated by 谷歌翻译
本文介绍了一种基于Prolog的推理模块，以产生鉴于由黑盒分类器计算的预测的反事实解释。建议的符号推理模块还可以解决使用地面真实标签而不是预测的if查询。总的来说，我们的方法包括四个明确定义的阶段，可以应用于任何结构化模式分类问题。首先，我们通过抵消缺失值并归一化数值特征来预先处理给定的数据集。其次，我们使用模糊群集将数值特征转换为象征性的，使得提取的模糊簇映射到有序的预定义符号集。第三，我们使用标称值，预定义符号，决策类和置信度值将实例编码为Prolog规则。第四，我们使用模糊粗糙集理论来计算每个Prolog规则的整体置信度，以处理通过将数值转变为符号而引起的不确定性。此步骤对新的相似性功能进行了额外的理论贡献，以比较涉及置信度值的先前定义的Prolog规则。最后，我们在人类之间实现了聊天栏和基于Prolog的推理模块，以解决自然语言查询并生成反事实解释。在使用合成数据集的数值模拟期间，我们在使用不同的模糊运算符和相似性功能时研究我们的系统的性能。在结束时，我们说明了我们的推理模块如何使用不同的用例工作。
translated by 谷歌翻译
In the last years many accurate decision support systems have been constructed as black boxes, that is as systems that hide their internal logic to the user. This lack of explanation constitutes both a practical and an ethical issue. The literature reports many approaches aimed at overcoming this crucial weakness sometimes at the cost of scarifying accuracy for interpretability. The applications in which black box decision systems can be used are various, and each approach is typically developed to provide a solution for a specific problem and, as a consequence, delineating explicitly or implicitly its own definition of interpretability and explanation. The aim of this paper is to provide a classification of the main problems addressed in the literature with respect to the notion of explanation and the type of black box system. Given a problem definition, a black box type, and a desired explanation this survey should help the researcher to find the proposals more useful for his own work. The proposed classification of approaches to open black box models should also be useful for putting the many research open questions in perspective.
translated by 谷歌翻译
本文提出了一种称为前向组合传播（FCP）的算法，以说明在结构化模式识别问题上运行的前馈神经网络的预测。在所提出的FCP算法中，每个神经元由表示该神经元中的每个问题特征的作用的组合载体描述。使用给定的输入实例初始化构成向量，随后通过整个网络传播，直到我们到达输出层。值得一提的是，一旦完成网络的训练网络，就会执行该算法。每个组成值的符号指示相应的特征是否激发或抑制神经元，而绝对值会定量这种影响。旨在验证FCP算法的正确性，我们开发了一个关于偏见检测的案例研究，在其最先进的问题中，地面真理是已知的。仿真结果表明，构图值与保护特征的预期行为密切对齐。
translated by 谷歌翻译
人工智能（AI）和机器学习（ML）在网络安全挑战中的应用已在行业和学术界的吸引力，部分原因是对关键系统（例如云基础架构和政府机构）的广泛恶意软件攻击。入侵检测系统（IDS）使用某些形式的AI，由于能够以高预测准确性处理大量数据，因此获得了广泛的采用。这些系统托管在组织网络安全操作中心（CSOC）中，作为一种防御工具，可监视和检测恶意网络流，否则会影响机密性，完整性和可用性（CIA）。 CSOC分析师依靠这些系统来决定检测到的威胁。但是，使用深度学习（DL）技术设计的IDS通常被视为黑匣子模型，并且没有为其预测提供理由。这为CSOC分析师造成了障碍，因为他们无法根据模型的预测改善决策。解决此问题的一种解决方案是设计可解释的ID（X-IDS）。这项调查回顾了可解释的AI（XAI）的最先进的ID，目前的挑战，并讨论了这些挑战如何涉及X-ID的设计。特别是，我们全面讨论了黑匣子和白盒方法。我们还在这些方法之间的性能和产生解释的能力方面提出了权衡。此外，我们提出了一种通用体系结构，该建筑认为人类在循环中，该架构可以用作设计X-ID时的指南。研究建议是从三个关键观点提出的：需要定义ID的解释性，需要为各种利益相关者量身定制的解释以及设计指标来评估解释的需求。
translated by 谷歌翻译
如今，人工智能（AI）已成为临床和远程医疗保健应用程序的基本组成部分，但是最佳性能的AI系统通常太复杂了，无法自我解释。可解释的AI（XAI）技术被定义为揭示系统的预测和决策背后的推理，并且在处理敏感和个人健康数据时，它们变得更加至关重要。值得注意的是，XAI并未在不同的研究领域和数据类型中引起相同的关注，尤其是在医疗保健领域。特别是，许多临床和远程健康应用程序分别基于表格和时间序列数据，而XAI并未在这些数据类型上进行分析，而计算机视觉和自然语言处理（NLP）是参考应用程序。为了提供最适合医疗领域表格和时间序列数据的XAI方法的概述，本文提供了过去5年中文献的审查，说明了生成的解释的类型以及为评估其相关性所提供的努力和质量。具体而言，我们确定临床验证，一致性评估，客观和标准化质量评估以及以人为本的质量评估作为确保最终用户有效解释的关键特征。最后，我们强调了该领域的主要研究挑战以及现有XAI方法的局限性。
translated by 谷歌翻译
天然气管道中的泄漏检测是石油和天然气行业的一个重要且持续的问题。这尤其重要，因为管道是运输天然气的最常见方法。这项研究旨在研究数据驱动的智能模型使用基本操作参数检测天然气管道的小泄漏的能力，然后使用现有的性能指标比较智能模型。该项目应用观察者设计技术，使用回归分类层次模型来检测天然气管道中的泄漏，其中智能模型充当回归器，并且修改后的逻辑回归模型充当分类器。该项目使用四个星期的管道数据流研究了五个智能模型（梯度提升，决策树，随机森林，支持向量机和人工神经网络）。结果表明，虽然支持向量机和人工神经网络比其他网络更好，但由于其内部复杂性和所使用的数据量，它们并未提供最佳的泄漏检测结果。随机森林和决策树模型是最敏感的，因为它们可以在大约2小时内检测到标称流量的0.1％的泄漏。所有智能模型在测试阶段中具有高可靠性，错误警报率为零。将所有智能模型泄漏检测的平均时间与文献中的实时短暂模型进行了比较。结果表明，智能模型在泄漏检测问题中的表现相对较好。该结果表明，可以与实时瞬态模型一起使用智能模型，以显着改善泄漏检测结果。
translated by 谷歌翻译
与此同时，在可解释的人工智能（XAI）的研究领域中，已经开发了各种术语，动机，方法和评估标准。随着XAI方法的数量大大增长，研究人员以及从业者以及从业者需要一种方法：掌握主题的广度，比较方法，并根据特定用例所需的特征选择正确的XAI方法语境。在文献中，可以找到许多不同细节水平和深度水平的XAI方法分类。虽然他们经常具有不同的焦点，但它们也表现出许多重叠点。本文统一了这些努力，并提供了XAI方法的分类，这是关于目前研究中存在的概念的概念。在结构化文献分析和元研究中，我们识别并审查了XAI方法，指标和方法特征的50多个最引用和最新的调查。总结在调查调查中，我们将文章的术语和概念合并为统一的结构化分类。其中的单一概念总计超过50个不同的选择示例方法，我们相应地分类。分类学可以为初学者，研究人员和从业者提供服务作为XAI方法特征和方面的参考和广泛概述。因此，它提供了针对有针对性的，用例导向的基础和上下文敏感的未来研究。
translated by 谷歌翻译
神经网络（NNS）和决策树（DTS）都是机器学习的流行模型，但具有相互排斥的优势和局限性。为了带来两个世界中的最好，提出了各种方法来明确或隐式地集成NN和DTS。在这项调查中，这些方法是在我们称为神经树（NTS）的学校中组织的。这项调查旨在对NTS进行全面审查，并尝试确定它们如何增强模型的解释性。我们首先提出了NTS的彻底分类学，该分类法表达了NNS和DTS的逐步整合和共同进化。之后，我们根据NTS的解释性和绩效分析，并建议解决其余挑战的可能解决方案。最后，这项调查以讨论有条件计算和向该领域的有希望的方向进行讨论结束。该调查中审查的论文列表及其相应的代码可在以下网址获得：https：//github.com/zju-vipa/awesome-neural-trees
translated by 谷歌翻译
本文研究了与可解释的AI（XAI）实践有关的两个不同但相关的问题。机器学习（ML）在金融服务中越来越重要，例如预批准，信用承销，投资以及各种前端和后端活动。机器学习可以自动检测培训数据中的非线性和相互作用，从而促进更快，更准确的信用决策。但是，机器学习模型是不透明的，难以解释，这是建立可靠技术所需的关键要素。该研究比较了各种机器学习模型，包括单个分类器（逻辑回归，决策树，LDA，QDA），异质集合（Adaboost，随机森林）和顺序神经网络。结果表明，整体分类器和神经网络的表现优于表现。此外，使用基于美国P2P贷款平台Lending Club提供的开放式访问数据集评估了两种先进的事后不可解释能力 - 石灰和外形来评估基于ML的信用评分模型。对于这项研究，我们还使用机器学习算法来开发新的投资模型，并探索可以最大化盈利能力同时最大程度地降低风险的投资组合策略。
translated by 谷歌翻译
众所周知，端到端的神经NLP体系结构很难理解，这引起了近年来为解释性建模的许多努力。模型解释的基本原则是忠诚，即，解释应准确地代表模型预测背后的推理过程。这项调查首先讨论了忠诚的定义和评估及其对解释性的意义。然后，我们通过将方法分为五类来介绍忠实解释的最新进展：相似性方法，模型内部结构的分析，基于反向传播的方法，反事实干预和自我解释模型。每个类别将通过其代表性研究，优势和缺点来说明。最后，我们从它们的共同美德和局限性方面讨论了上述所有方法，并反思未来的工作方向忠实的解释性。对于有兴趣研究可解释性的研究人员，这项调查将为该领域提供可访问且全面的概述，为进一步探索提供基础。对于希望更好地了解自己的模型的用户，该调查将是一项介绍性手册，帮助选择最合适的解释方法。
translated by 谷歌翻译
背景信息：在过去几年中，机器学习（ML）一直是许多创新的核心。然而，包括在所谓的“安全关键”系统中，例如汽车或航空的系统已经被证明是非常具有挑战性的，因为ML的范式转变为ML带来完全改变传统认证方法。目的：本文旨在阐明与ML为基础的安全关键系统认证有关的挑战，以及文献中提出的解决方案，以解决它们，回答问题的问题如何证明基于机器学习的安全关键系统？'方法：我们开展2015年至2020年至2020年之间发布的研究论文的系统文献综述（SLR），涵盖了与ML系统认证有关的主题。总共确定了217篇论文涵盖了主题，被认为是ML认证的主要支柱：鲁棒性，不确定性，解释性，验证，安全强化学习和直接认证。我们分析了每个子场的主要趋势和问题，并提取了提取的论文的总结。结果：单反结果突出了社区对该主题的热情，以及在数据集和模型类型方面缺乏多样性。它还强调需要进一步发展学术界和行业之间的联系，以加深域名研究。最后，它还说明了必须在上面提到的主要支柱之间建立连接的必要性，这些主要柱主要主要研究。结论：我们强调了目前部署的努力，以实现ML基于ML的软件系统，并讨论了一些未来的研究方向。
translated by 谷歌翻译
无论是在功能选择的领域还是可解释的AI领域，都有基于其重要性的“排名”功能的愿望。然后可以将这种功能重要的排名用于：（1）减少数据集大小或（2）解释机器学习模型。但是，在文献中，这种特征排名没有以系统的，一致的方式评估。许多论文都有不同的方式来争论哪些具有重要性排名最佳的特征。本文通过提出一种新的评估方法来填补这一空白。通过使用合成数据集，可以事先知道特征重要性得分，从而可以进行更系统的评估。为了促进使用新方法的大规模实验，在Python建造了一个名为FSEVAL的基准测定框架。该框架允许并行运行实验，并在HPC系统上的计算机上分布。通过与名为“权重和偏见”的在线平台集成，可以在实时仪表板上进行交互探索图表。该软件作为开源软件发布，并在PYPI平台上以包裹发行。该研究结束时，探索了一个这样的大规模实验，以在许多方面找到参与算法的优势和劣势。
translated by 谷歌翻译
最近，在以结果为导向的预测过程监测（OOPPM）的领域进行了转变，以使用可解释的人工智能范式中的模型，但是评估仍然主要是通过基于绩效的指标来进行的，而不是考虑到启示性和缺乏可行性。解释。在本文中，我们通过解释的解释性（通过广泛使用的XAI属性和功能复杂性）和解释性模型的忠诚（通过单调性和分歧的水平）来定义解释性。沿事件，情况和控制流透视图分析了引入的属性，这些视角是基于过程的分析的典型代表。这允许定量比较，除其他外，固有地创建了用事后解释（例如Shapley值）（例如Shapley值）的固有创建的解释（例如逻辑回归系数）。此外，本文通过洞悉如何在OOPPM中典型的OOPPM中典型的变化预处理，模型的复杂性和事后解释性技术来撰写基于事件日志和手头的任务的准则，以根据事件日志规范和手头的任务选择适当的模型，以根据事件日志规范和手头任务选择适当的模型。影响模型的解释性。为此，我们在13个现实生活事件日志上基准了七个分类器。
translated by 谷歌翻译
We introduce a new rule-based optimization method for classification with constraints. The proposed method takes advantage of linear programming and column generation, and hence, is scalable to large datasets. Moreover, the method returns a set of rules along with their optimal weights indicating the importance of each rule for learning. Through assigning cost coefficients to the rules and introducing additional constraints, we show that one can also consider interpretability and fairness of the results. We test the performance of the proposed method on a collection of datasets and present two case studies to elaborate its different aspects. Our results show that a good compromise between interpretability and fairness on the one side, and accuracy on the other side, can be obtained by the proposed rule-based learning method.
translated by 谷歌翻译
模型的可解释性对于许多实际应用是必不可少的，例如临床决策支持系统。在本文中，提出了一种新的可解释机学习方法，可以模拟人类理解规则中的输入变量与响应之间的关系。该方法是通过将热带几何形状应用于模糊推理系统构建的，其中通过监督学习可以发现可变编码功能和突出规则。进行了使用合成数据集的实验，以研究所提出的算法在分类和规则发现中的性能和容量。此外，将所提出的方法应用于鉴定心力衰竭患者的临床应用，这些患者将受益于心脏移植或耐用的机械循环支撑等先进的疗法。实验结果表明，该网络在分类任务方面取得了很大的表现。除了从数据集中学习人类可理解的规则外，现有的模糊域知识可以很容易地转移到网络中，并用于促进模型培训。从我们的结果，所提出的模型和学习现有领域知识的能力可以显着提高模型的概括性。所提出的网络的特征使其在需要模型可靠性和理由的应用中承诺。
translated by 谷歌翻译
深度学习（DL）技术被回归问题所接受。最近在该领域发表的论文数量越来越多，包括调查和评论，表明，由于效率和具有高维数据的系统的良好精度，深层回归引起了社区的关注。但是，许多DL方法具有复杂的结构，这些结构对人类用户不易透明。访问这些模型的可解释性是解决敏感领域问题（例如网络安全系统，医疗，金融监视和工业过程）的重要因素。模糊逻辑系统（FLS）是可解释的模型，在文献中众所周知，能够通过具有成员资格学位的语言术语对复杂系统使用非线性表示，模仿了人类的思想。在可解释的人工智能的气氛中，有必要考虑开发智能模型的准确性和可解释性之间的权衡。本文旨在调查结合DL和FL的现有方法的最新方法，即深度模糊系统，以解决回归问题，配置当前在文献中尚不充分探索的主题，因此应进行全面调查。
translated by 谷歌翻译
这是一门专门针对STEM学生开发的介绍性机器学习课程。我们的目标是为有兴趣的读者提供基础知识，以在自己的项目中使用机器学习，并将自己熟悉术语作为进一步阅读相关文献的基础。在这些讲义中，我们讨论受监督，无监督和强化学习。注释从没有神经网络的机器学习方法的说明开始，例如原理分析，T-SNE，聚类以及线性回归和线性分类器。我们继续介绍基本和先进的神经网络结构，例如密集的进料和常规神经网络，经常性的神经网络，受限的玻尔兹曼机器，（变性）自动编码器，生成的对抗性网络。讨论了潜在空间表示的解释性问题，并使用梦和对抗性攻击的例子。最后一部分致力于加强学习，我们在其中介绍了价值功能和政策学习的基本概念。
translated by 谷歌翻译