虽然数据驱动的材料科学和化学方法采用了令人兴奋的，早期的阶段，实现了机器学习模型的真正潜力，以实现科学发现，它们必须具有超出纯粹预测力的品质。模型的预测和内在工作应由人类专家提供一定程度的解释性，允许识别潜在的模型问题或限制，建立对模型预测的信任和揭示可能导致科学洞察力的意外相关性。在这项工作中，我们总结了对材料科学和化学的可解释性和解释性技术的应用，并讨论了这些技术如何改善科学研究的结果。我们讨论了材料科学中可解释机器学习的各种挑战，更广泛地在科学环境中。特别是，我们强调通过纯粹解释机器学习模型和模型解释的不确定性估计的不确定估计来强调推断因果关系或达到泛化的风险。最后，我们在其他领域展示了一些可能会使物质科学和化学问题的可解释性的令人兴奋的发展。

Artificial intelligence(AI) systems based on deep neural networks (DNNs) and machine learning (ML) algorithms are increasingly used to solve critical problems in bioinformatics, biomedical informatics, and precision medicine. However, complex DNN or ML models that are unavoidably opaque and perceived as black-box methods, may not be able to explain why and how they make certain decisions. Such black-box models are difficult to comprehend not only for targeted users and decision-makers but also for AI developers. Besides, in sensitive areas like healthcare, explainability and accountability are not only desirable properties of AI but also legal requirements -- especially when AI may have significant impacts on human lives. Explainable artificial intelligence (XAI) is an emerging field that aims to mitigate the opaqueness of black-box models and make it possible to interpret how AI systems make their decisions with transparency. An interpretable ML model can explain how it makes predictions and which factors affect the model's outcomes. The majority of state-of-the-art interpretable ML methods have been developed in a domain-agnostic way and originate from computer vision, automated reasoning, or even statistics. Many of these methods cannot be directly applied to bioinformatics problems, without prior customization, extension, and domain adoption. In this paper, we discuss the importance of explainability with a focus on bioinformatics. We analyse and comprehensively overview of model-specific and model-agnostic interpretable ML methods and tools. Via several case studies covering bioimaging, cancer genomics, and biomedical text mining, we show how bioinformatics research could benefit from XAI methods and how they could help improve decision fairness.

可解释的人工智能和可解释的机器学习是重要性越来越重要的研究领域。然而，潜在的概念仍然难以捉摸，并且缺乏普遍商定的定义。虽然社会科学最近的灵感已经重新分为人类受助人的需求和期望的工作，但该领域仍然错过了具体的概念化。通过审查人类解释性的哲学和社会基础，我们采取措施来解决这一挑战，然后我们转化为技术领域。特别是，我们仔细审查了算法黑匣子的概念，并通过解释过程确定的理解频谱并扩展了背景知识。这种方法允许我们将可解释性（逻辑）推理定义为在某些背景知识下解释的透明洞察（进入黑匣子）的解释 - 这是一个从事在Admoleis中理解的过程。然后，我们采用这种概念化来重新审视透明度和预测权力之间的争议权差异，以及对安特 - 人穴和后宫后解释者的影响，以及可解释性发挥的公平和问责制。我们还讨论机器学习工作流程的组件，可能需要可解释性，从以人为本的可解释性建立一系列思想，重点介绍声明，对比陈述和解释过程。我们的讨论调整并补充目前的研究，以帮助更好地导航开放问题 - 而不是试图解决任何个人问题 - 从而为实现的地面讨论和解释的人工智能和可解释的机器学习的未来进展奠定了坚实的基础。我们结束了我们的研究结果，重新审视了实现所需的算法透明度水平所需的人以人为本的解释过程。

我们概述了新兴机会和挑战，以提高AI对科学发现的效用。AI为行业的独特目标与AI科学的目标创造了识别模式中的识别模式与来自数据的发现模式之间的紧张。如果我们解决了与域驱动的科学模型和数据驱动的AI学习机之间的“弥补差距”相关的根本挑战，那么我们预计这些AI模型可以改变假说发电，科学发现和科学过程本身。

Explainability is a vibrant research topic in the artificial intelligence community, with growing interest across methods and domains. Much has been written about the topic, yet explainability still lacks shared terminology and a framework capable of providing structural soundness to explanations. In our work, we address these issues by proposing a novel definition of explanation that is a synthesis of what can be found in the literature. We recognize that explanations are not atomic but the product of evidence stemming from the model and its input-output and the human interpretation of this evidence. Furthermore, we fit explanations into the properties of faithfulness (i.e., the explanation being a true description of the model's decision-making) and plausibility (i.e., how much the explanation looks convincing to the user). Using our proposed theoretical framework simplifies how these properties are ope rationalized and provide new insight into common explanation methods that we analyze as case studies.

如今，人工智能（AI）已成为临床和远程医疗保健应用程序的基本组成部分，但是最佳性能的AI系统通常太复杂了，无法自我解释。可解释的AI（XAI）技术被定义为揭示系统的预测和决策背后的推理，并且在处理敏感和个人健康数据时，它们变得更加至关重要。值得注意的是，XAI并未在不同的研究领域和数据类型中引起相同的关注，尤其是在医疗保健领域。特别是，许多临床和远程健康应用程序分别基于表格和时间序列数据，而XAI并未在这些数据类型上进行分析，而计算机视觉和自然语言处理（NLP）是参考应用程序。为了提供最适合医疗领域表格和时间序列数据的XAI方法的概述，本文提供了过去5年中文献的审查，说明了生成的解释的类型以及为评估其相关性所提供的努力和质量。具体而言，我们确定临床验证，一致性评估，客观和标准化质量评估以及以人为本的质量评估作为确保最终用户有效解释的关键特征。最后，我们强调了该领域的主要研究挑战以及现有XAI方法的局限性。

越来越多的电子健康记录（EHR）数据和深度学习技术进步的越来越多的可用性（DL）已经引发了在开发基于DL的诊断，预后和治疗的DL临床决策支持系统中的研究兴趣激增。尽管承认医疗保健的深度学习的价值，但由于DL的黑匣子性质，实际医疗环境中进一步采用的障碍障碍仍然存在。因此，有一个可解释的DL的新兴需求，它允许最终用户评估模型决策，以便在采用行动之前知道是否接受或拒绝预测和建议。在这篇综述中，我们专注于DL模型在医疗保健中的可解释性。我们首先引入深入解释性的方法，并作为该领域的未来研究人员或临床从业者的方法参考。除了这些方法的细节之外，我们还包括对这些方法的优缺点以及它们中的每个场景都适合的讨论，因此感兴趣的读者可以知道如何比较和选择它们供使用。此外，我们讨论了这些方法，最初用于解决一般域问题，已经适应并应用于医疗保健问题以及如何帮助医生更好地理解这些数据驱动技术。总的来说，我们希望这项调查可以帮助研究人员和从业者在人工智能（AI）和临床领域了解我们为提高其DL模型的可解释性并相应地选择最佳方法。

即使有效，模型的使用也必须伴随着转换数据的各个级别的理解（上游和下游）。因此，需求增加以定义单个数据与算法可以根据其分析可以做出的选择（例如，一种产品或一种促销报价的建议，或代表风险的保险费率）。模型用户必须确保模型不会区分，并且也可以解释其结果。本文介绍了模型解释的重要性，并解决了模型透明度的概念。在保险环境中，它专门说明了如何使用某些工具来强制执行当今可以利用机器学习的精算模型的控制。在一个简单的汽车保险中损失频率估计的示例中，我们展示了一些解释性方法的兴趣，以适应目标受众的解释。

尽管有无数的同伴审查的论文，证明了新颖的人工智能（AI）基于大流行期间的Covid-19挑战的解决方案，但很少有临床影响。人工智能在Covid-19大流行期间的影响因缺乏模型透明度而受到极大的限制。这种系统审查考察了在大流行期间使用可解释的人工智能（Xai）以及如何使用它可以克服现实世界成功的障碍。我们发现，Xai的成功使用可以提高模型性能，灌输信任在最终用户，并提供影响用户决策所需的值。我们将读者介绍给常见的XAI技术，其实用程序以及其应用程序的具体例子。 XAI结果的评估还讨论了最大化AI的临床决策支持系统的价值的重要步骤。我们说明了Xai的古典，现代和潜在的未来趋势，以阐明新颖的XAI技术的演变。最后，我们在最近出版物支持的实验设计过程中提供了建议的清单。潜在解决方案的具体示例也解决了AI解决方案期间的共同挑战。我们希望本次审查可以作为提高未来基于AI的解决方案的临床影响的指导。

过去十年已经看到人工智能（AI）的显着进展，这导致了用于解决各种问题的算法。然而，通过增加模型复杂性并采用缺乏透明度的黑匣子AI模型来满足这种成功。为了响应这种需求，已经提出了说明的AI（Xai）以使AI更透明，从而提高关键结构域中的AI。虽然有几个关于Xai主题的Xai主题的评论，但在Xai中发现了挑战和潜在的研究方向，这些挑战和研究方向被分散。因此，本研究为Xai组织的挑战和未来的研究方向提出了系统的挑战和未来研究方向：（1）基于机器学习生命周期的Xai挑战和研究方向，基于机器的挑战和研究方向阶段：设计，开发和部署。我们认为，我们的META调查通过为XAI地区的未来探索指导提供了XAI文学。

与此同时，在可解释的人工智能（XAI）的研究领域中，已经开发了各种术语，动机，方法和评估标准。随着XAI方法的数量大大增长，研究人员以及从业者以及从业者需要一种方法：掌握主题的广度，比较方法，并根据特定用例所需的特征选择正确的XAI方法语境。在文献中，可以找到许多不同细节水平和深度水平的XAI方法分类。虽然他们经常具有不同的焦点，但它们也表现出许多重叠点。本文统一了这些努力，并提供了XAI方法的分类，这是关于目前研究中存在的概念的概念。在结构化文献分析和元研究中，我们识别并审查了XAI方法，指标和方法特征的50多个最引用和最新的调查。总结在调查调查中，我们将文章的术语和概念合并为统一的结构化分类。其中的单一概念总计超过50个不同的选择示例方法，我们相应地分类。分类学可以为初学者，研究人员和从业者提供服务作为XAI方法特征和方面的参考和广泛概述。因此，它提供了针对有针对性的，用例导向的基础和上下文敏感的未来研究。

在本文中，我们提供了针对深度学习（DL）模型的结构化文献分析，该模型用于支持癌症生物学的推论，并特别强调了多词分析。这项工作着重于现有模型如何通过先验知识，生物学合理性和解释性，生物医学领域的基本特性来解决更好的对话。我们讨论了DL模型的最新进化拱门沿整合先前的生物关系和网络知识的方向，以支持更好的概括（例如途径或蛋白质 - 蛋白质相互作用网络）和解释性。这代表了向模型的基本功能转变，该模型可以整合机械和统计推断方面。我们讨论了在此类模型中整合域先验知识的代表性方法。该论文还为解释性和解释性的当代方法提供了关键的看法。该分析指向编码先验知识和改善解释性之间的融合方向。

这项调查回顾了对基于视觉的自动驾驶系统进行行为克隆训练的解释性方法。解释性的概念具有多个方面，并且需要解释性的驾驶强度是一种安全至关重要的应用。从几个研究领域收集贡献，即计算机视觉，深度学习，自动驾驶，可解释的AI（X-AI），这项调查可以解决几点。首先，它讨论了从自动驾驶系统中获得更多可解释性和解释性的定义，上下文和动机，以及该应用程序特定的挑战。其次，以事后方式为黑盒自动驾驶系统提供解释的方法是全面组织和详细的。第三，详细介绍和讨论了旨在通过设计构建更容易解释的自动驾驶系统的方法。最后，确定并检查了剩余的开放挑战和潜在的未来研究方向。

人工智能（AI）和机器学习（ML）在网络安全挑战中的应用已在行业和学术界的吸引力，部分原因是对关键系统（例如云基础架构和政府机构）的广泛恶意软件攻击。入侵检测系统（IDS）使用某些形式的AI，由于能够以高预测准确性处理大量数据，因此获得了广泛的采用。这些系统托管在组织网络安全操作中心（CSOC）中，作为一种防御工具，可监视和检测恶意网络流，否则会影响机密性，完整性和可用性（CIA）。 CSOC分析师依靠这些系统来决定检测到的威胁。但是，使用深度学习（DL）技术设计的IDS通常被视为黑匣子模型，并且没有为其预测提供理由。这为CSOC分析师造成了障碍，因为他们无法根据模型的预测改善决策。解决此问题的一种解决方案是设计可解释的ID（X-IDS）。这项调查回顾了可解释的AI（XAI）的最先进的ID，目前的挑战，并讨论了这些挑战如何涉及X-ID的设计。特别是，我们全面讨论了黑匣子和白盒方法。我们还在这些方法之间的性能和产生解释的能力方面提出了权衡。此外，我们提出了一种通用体系结构，该建筑认为人类在循环中，该架构可以用作设计X-ID时的指南。研究建议是从三个关键观点提出的：需要定义ID的解释性，需要为各种利益相关者量身定制的解释以及设计指标来评估解释的需求。

背景信息：在过去几年中，机器学习（ML）一直是许多创新的核心。然而，包括在所谓的“安全关键”系统中，例如汽车或航空的系统已经被证明是非常具有挑战性的，因为ML的范式转变为ML带来完全改变传统认证方法。目的：本文旨在阐明与ML为基础的安全关键系统认证有关的挑战，以及文献中提出的解决方案，以解决它们，回答问题的问题如何证明基于机器学习的安全关键系统？'方法：我们开展2015年至2020年至2020年之间发布的研究论文的系统文献综述（SLR），涵盖了与ML系统认证有关的主题。总共确定了217篇论文涵盖了主题，被认为是ML认证的主要支柱：鲁棒性，不确定性，解释性，验证，安全强化学习和直接认证。我们分析了每个子场的主要趋势和问题，并提取了提取的论文的总结。结果：单反结果突出了社区对该主题的热情，以及在数据集和模型类型方面缺乏多样性。它还强调需要进一步发展学术界和行业之间的联系，以加深域名研究。最后，它还说明了必须在上面提到的主要支柱之间建立连接的必要性，这些主要柱主要主要研究。结论：我们强调了目前部署的努力，以实现ML基于ML的软件系统，并讨论了一些未来的研究方向。

异构表格数据是最常用的数据形式，对于众多关键和计算要求的应用程序至关重要。在同质数据集上，深度神经网络反复显示出卓越的性能，因此被广泛采用。但是，它们适应了推理或数据生成任务的表格数据仍然具有挑战性。为了促进该领域的进一步进展，这项工作概述了表格数据的最新深度学习方法。我们将这些方法分为三组：数据转换，专业体系结构和正则化模型。对于每个小组，我们的工作提供了主要方法的全面概述。此外，我们讨论了生成表格数据的深度学习方法，并且还提供了有关解释对表格数据的深层模型的策略的概述。因此，我们的第一个贡献是解决上述领域中的主要研究流和现有方法，同时强调相关的挑战和开放研究问题。我们的第二个贡献是在传统的机器学习方法中提供经验比较，并在五个流行的现实世界中的十种深度学习方法中，具有不同规模和不同的学习目标的经验比较。我们已将作为竞争性基准公开提供的结果表明，基于梯度增强的树合奏的算法仍然大多在监督学习任务上超过了深度学习模型，这表明对表格数据的竞争性深度学习模型的研究进度停滞不前。据我们所知，这是对表格数据深度学习方法的第一个深入概述。因此，这项工作可以成为有价值的起点，以指导对使用表格数据深入学习感兴趣的研究人员和从业人员。

Artificial Intelligence (AI) and its data-centric branch of machine learning (ML) have greatly evolved over the last few decades. However, as AI is used increasingly in real world use cases, the importance of the interpretability of and accessibility to AI systems have become major research areas. The lack of interpretability of ML based systems is a major hindrance to widespread adoption of these powerful algorithms. This is due to many reasons including ethical and regulatory concerns, which have resulted in poorer adoption of ML in some areas. The recent past has seen a surge in research on interpretable ML. Generally, designing a ML system requires good domain understanding combined with expert knowledge. New techniques are emerging to improve ML accessibility through automated model design. This paper provides a review of the work done to improve interpretability and accessibility of machine learning in the context of global problems while also being relevant to developing countries. We review work under multiple levels of interpretability including scientific and mathematical interpretation, statistical interpretation and partial semantic interpretation. This review includes applications in three areas, namely food processing, agriculture and health.

为了提高模型透明度并允许用户形成训练有素的ML模型的心理模型，解释对AI和机器学习（ML）社区的兴趣越来越高。但是，解释可以超越这种方式通信作为引起用户控制的机制，因为一旦用户理解，他们就可以提供反馈。本文的目的是介绍研究概述，其中解释与交互式功能相结合，是从头开始学习新模型并编辑和调试现有模型的手段。为此，我们绘制了最先进的概念图，根据其预期目的以及它们如何构建相互作用，突出它们之间的相似性和差异来分组相关方法。我们还讨论开放研究问题并概述可能的方向，希望促使人们对这个开花研究主题进行进一步的研究。

人工智能（AI）模型的黑框性质不允许用户理解和有时信任该模型创建的输出。在AI应用程序中，不仅结果，而且结果的决策路径至关重要，此类Black-Box AI模型还不够。可解释的人工智能（XAI）解决了此问题，并定义了用户可解释的一组AI模型。最近，有几种XAI模型是通过在医疗保健，军事，能源，金融和工业领域等各个应用领域的黑盒模型缺乏可解释性和解释性来解决有关的问题。尽管XAI的概念最近引起了广泛关注，但它与物联网域的集成尚未完全定义。在本文中，我们在物联网域范围内使用XAI模型对最近的研究进行了深入和系统的综述。我们根据其方法和应用领域对研究进行分类。此外，我们旨在专注于具有挑战性的问题和开放问题，并为未来的方向指导开发人员和研究人员进行未来的未来调查。

众所周知，端到端的神经NLP体系结构很难理解，这引起了近年来为解释性建模的许多努力。模型解释的基本原则是忠诚，即，解释应准确地代表模型预测背后的推理过程。这项调查首先讨论了忠诚的定义和评估及其对解释性的意义。然后，我们通过将方法分为五类来介绍忠实解释的最新进展：相似性方法，模型内部结构的分析，基于反向传播的方法，反事实干预和自我解释模型。每个类别将通过其代表性研究，优势和缺点来说明。最后，我们从它们的共同美德和局限性方面讨论了上述所有方法，并反思未来的工作方向忠实的解释性。对于有兴趣研究可解释性的研究人员，这项调查将为该领域提供可访问且全面的概述，为进一步探索提供基础。对于希望更好地了解自己的模型的用户，该调查将是一项介绍性手册，帮助选择最合适的解释方法。