Approximately 1.25 million people in the United States are treated each year for burn injuries. Precise burn injury classification is an important aspect of the medical AI field. In this work, we propose an explainable human-in-the-loop framework for improving burn ultrasound classification models. Our framework leverages an explanation system based on the LIME classification explainer to corroborate and integrate a burn expert's knowledge -- suggesting new features and ensuring the validity of the model. Using this framework, we discover that B-mode ultrasound classifiers can be enhanced by supplying textural features. More specifically, we confirm that texture features based on the Gray Level Co-occurance Matrix (GLCM) of ultrasound frames can increase the accuracy of transfer learned burn depth classifiers. We test our hypothesis on real data from porcine subjects. We show improvements in the accuracy of burn depth classification -- from ~88% to ~94% -- once modified according to our framework.

卷积神经网络（CNN）以其出色的功能提取能力而闻名，可以从数据中学习模型，但被用作黑匣子。对卷积滤液和相关特征的解释可以帮助建立对CNN的理解，以区分各种类别。在这项工作中，我们关注的是CNN模型的解释性，称为CNNexplain，该模型用于COVID-19和非CoVID-19分类，重点是卷积过滤器的特征解释性，以及这些功能如何有助于分类。具体而言，我们使用了各种可解释的人工智能（XAI）方法，例如可视化，SmoothGrad，Grad-Cam和Lime来提供卷积滤液的解释及相关特征及其在分类中的作用。我们已经分析了使用干咳嗽光谱图的这些方法的解释。从石灰，光滑果实和GRAD-CAM获得的解释结果突出了不同频谱图的重要特征及其与分类的相关性。

人工智能被出现为众多临床应用诊断和治疗决策的有用援助。由于可用数据和计算能力的快速增加，深度神经网络的性能与许多任务中的临床医生相同或更好。为了符合信任AI的原则，AI系统至关重要的是透明，强大，公平和确保责任。由于对决策过程的具体细节缺乏了解，目前的深神经系统被称为黑匣子。因此，需要确保在常规临床工作流中纳入常规神经网络之前的深度神经网络的可解释性。在这一叙述审查中，我们利用系统的关键字搜索和域专业知识来确定已经基于所产生的解释和技术相似性的类型的医学图像分析应用的深度学习模型来确定九种不同类型的可解释方法。此外，我们报告了评估各种可解释方法产生的解释的进展。最后，我们讨论了局限性，提供了利用可解释性方法和未来方向的指导，了解医学成像分析深度神经网络的解释性。

人工智能（AI）模型的黑框性质不允许用户理解和有时信任该模型创建的输出。在AI应用程序中，不仅结果，而且结果的决策路径至关重要，此类Black-Box AI模型还不够。可解释的人工智能（XAI）解决了此问题，并定义了用户可解释的一组AI模型。最近，有几种XAI模型是通过在医疗保健，军事，能源，金融和工业领域等各个应用领域的黑盒模型缺乏可解释性和解释性来解决有关的问题。尽管XAI的概念最近引起了广泛关注，但它与物联网域的集成尚未完全定义。在本文中，我们在物联网域范围内使用XAI模型对最近的研究进行了深入和系统的综述。我们根据其方法和应用领域对研究进行分类。此外，我们旨在专注于具有挑战性的问题和开放问题，并为未来的方向指导开发人员和研究人员进行未来的未来调查。

深度学习的显着成功引起了人们对医学成像诊断的应用的兴趣。尽管最新的深度学习模型在分类不同类型的医学数据方面已经达到了人类水平的准确性，但这些模型在临床工作流程中几乎不采用，这主要是由于缺乏解释性。深度学习模型的黑盒子性提出了制定策略来解释这些模型的决策过程的必要性，从而导致了可解释的人工智能（XAI）主题的创建。在这种情况下，我们对应用于医学成像诊断的XAI进行了详尽的调查，包括视觉，基于示例和基于概念的解释方法。此外，这项工作回顾了现有的医学成像数据集和现有的指标，以评估解释的质量。此外，我们还包括一组基于报告生成的方法的性能比较。最后，还讨论了将XAI应用于医学成像以及有关该主题的未来研究指示的主要挑战。

尽管有无数的同伴审查的论文，证明了新颖的人工智能（AI）基于大流行期间的Covid-19挑战的解决方案，但很少有临床影响。人工智能在Covid-19大流行期间的影响因缺乏模型透明度而受到极大的限制。这种系统审查考察了在大流行期间使用可解释的人工智能（Xai）以及如何使用它可以克服现实世界成功的障碍。我们发现，Xai的成功使用可以提高模型性能，灌输信任在最终用户，并提供影响用户决策所需的值。我们将读者介绍给常见的XAI技术，其实用程序以及其应用程序的具体例子。 XAI结果的评估还讨论了最大化AI的临床决策支持系统的价值的重要步骤。我们说明了Xai的古典，现代和潜在的未来趋势，以阐明新颖的XAI技术的演变。最后，我们在最近出版物支持的实验设计过程中提供了建议的清单。潜在解决方案的具体示例也解决了AI解决方案期间的共同挑战。我们希望本次审查可以作为提高未来基于AI的解决方案的临床影响的指导。

人工智能（AI）和机器学习（ML）在网络安全挑战中的应用已在行业和学术界的吸引力，部分原因是对关键系统（例如云基础架构和政府机构）的广泛恶意软件攻击。入侵检测系统（IDS）使用某些形式的AI，由于能够以高预测准确性处理大量数据，因此获得了广泛的采用。这些系统托管在组织网络安全操作中心（CSOC）中，作为一种防御工具，可监视和检测恶意网络流，否则会影响机密性，完整性和可用性（CIA）。 CSOC分析师依靠这些系统来决定检测到的威胁。但是，使用深度学习（DL）技术设计的IDS通常被视为黑匣子模型，并且没有为其预测提供理由。这为CSOC分析师造成了障碍，因为他们无法根据模型的预测改善决策。解决此问题的一种解决方案是设计可解释的ID（X-IDS）。这项调查回顾了可解释的AI（XAI）的最先进的ID，目前的挑战，并讨论了这些挑战如何涉及X-ID的设计。特别是，我们全面讨论了黑匣子和白盒方法。我们还在这些方法之间的性能和产生解释的能力方面提出了权衡。此外，我们提出了一种通用体系结构，该建筑认为人类在循环中，该架构可以用作设计X-ID时的指南。研究建议是从三个关键观点提出的：需要定义ID的解释性，需要为各种利益相关者量身定制的解释以及设计指标来评估解释的需求。

对深度学习应用的兴趣增加，以及他们的难以检测的偏见导致需要验证和解释复杂模型。然而，目前的说明方法是有限的，只要对推理过程和预测结果的解释来说都是如此。它们通常只显示模型预测很重要的图像中的位置。缺乏与解释互动的可能性使得难以确切地验证和理解模型如何工作。使用模型时，这会产生重大风险。通过解释不考虑解释的物体的语义含义，它变得复杂。为了逃避静态说明的陷阱，我们提出了一种称为Limecraft的方法，该方法允许用户交互地选择语义一致区域，并彻底检查图像实例的预测，在许多图像特征中。几种模型的实验表明，我们的方法通过检查可能表示模型偏差的图像片的模型公平来提高模型安全性。该代码可用于：http：//github.com/mi2datalab/limecraft

越来越多的电子健康记录（EHR）数据和深度学习技术进步的越来越多的可用性（DL）已经引发了在开发基于DL的诊断，预后和治疗的DL临床决策支持系统中的研究兴趣激增。尽管承认医疗保健的深度学习的价值，但由于DL的黑匣子性质，实际医疗环境中进一步采用的障碍障碍仍然存在。因此，有一个可解释的DL的新兴需求，它允许最终用户评估模型决策，以便在采用行动之前知道是否接受或拒绝预测和建议。在这篇综述中，我们专注于DL模型在医疗保健中的可解释性。我们首先引入深入解释性的方法，并作为该领域的未来研究人员或临床从业者的方法参考。除了这些方法的细节之外，我们还包括对这些方法的优缺点以及它们中的每个场景都适合的讨论，因此感兴趣的读者可以知道如何比较和选择它们供使用。此外，我们讨论了这些方法，最初用于解决一般域问题，已经适应并应用于医疗保健问题以及如何帮助医生更好地理解这些数据驱动技术。总的来说，我们希望这项调查可以帮助研究人员和从业者在人工智能（AI）和临床领域了解我们为提高其DL模型的可解释性并相应地选择最佳方法。

在临床工作流程中成功部署AI的计算机辅助诊断（CAD）系统的一个主要障碍是它们缺乏透明决策。虽然常用可解释的AI方法提供了一些对不透明算法的洞察力，但除了高度训练的专家外，这种解释通常是复杂的，而不是易于理解的。关于皮肤病图像的皮肤病病变恶性的决定的解释需要特别清晰，因为潜在的医疗问题定义本身是模棱两可的。这项工作提出了exaid（可解释的ai用于皮肤科），是生物医学图像分析的新框架，提供了由易于理解的文本解释组成的多模态概念的解释，该概念由可视地图证明预测的视觉映射。 Exap依赖于概念激活向量，将人类概念映射到潜在空间中的任意深度学习模型学习的人，以及概念本地化地图，以突出输入空间中的概念。然后，这种相关概念的识别将用于构建由概念 - 明智地点信息补充的细粒度文本解释，以提供全面和相干的多模态解释。所有信息都在诊断界面中全面呈现，用于临床常规。教育模式为数据和模型探索提供数据集级别解释统计和工具，以帮助医学研究和教育。通过严谨的exaid定量和定性评估，即使在错误的预测情况下，我们展示了CAD辅助情景的多模态解释的效用。我们认为突然将为皮肤科医生提供一种有效的筛查工具，他们都理解和信任。此外，它将是其他生物医学成像领域的类似应用的基础。

无法解释的黑框模型创建场景，使异常引起有害响应，从而造成不可接受的风险。这些风险促使可解释的人工智能（XAI）领域通过评估黑盒神经网络中的局部解释性来改善信任。不幸的是，基本真理对于模型的决定不可用，因此评估仅限于定性评估。此外，可解释性可能导致有关模型或错误信任感的不准确结论。我们建议通过探索Black-Box模型的潜在特征空间来从用户信任的有利位置提高XAI。我们提出了一种使用典型的几弹网络的Protoshotxai方法，该方法探索了不同类别的非线性特征之间的对比歧管。用户通过扰动查询示例的输入功能并记录任何类的示例子集的响应来探索多种多样。我们的方法是第一个可以将其扩展到很少的网络的本地解释的XAI模型。我们将ProtoShotxai与MNIST，Omniglot和Imagenet的最新XAI方法进行了比较，以进行定量和定性，Protoshotxai为模型探索提供了更大的灵活性。最后，Protoshotxai还展示了对抗样品的新颖解释和检测。

诸如医学诊断的关键背景下的关键问题是决策系统采用的深度学习模型的可解释性。解释的人工智能（XAI）在试图解决这个问题。然而，通常XAI方法仅在通用分类器上进行测试，并且不代表诸如医学诊断等现实问题。在本文中，我们分析了对皮肤病变图像的案例研究，我们定制了一种现有的XAI方法，以解释能够识别不同类型的皮肤病变的深度学习模型。通过综合示例和皮肤病变的相反示例图像形成的解释，并为从业者提供一种突出负责分类决策的关键性状的方法。通过域专家，初学者和非熟练的人进行了一项调查，证明了解释的使用增加了自动决策系统的信任和信心。此外，解释器采用的潜在空间的分析推出了一些最常见的皮肤病变类是明显分开的。这种现象可以得出每个班级的内在特征，希望能够在解决人类专家的最常见的错误分类中提供支持。

能够分析和量化人体或行为特征的系统（称为生物识别系统）正在使用和应用变异性增长。由于其从手工制作的功能和传统的机器学习转变为深度学习和自动特征提取，因此生物识别系统的性能增加到了出色的价值。尽管如此，这种快速进步的成本仍然尚不清楚。由于其不透明度，深层神经网络很难理解和分析，因此，由错误动机动机动机的隐藏能力或决定是潜在的风险。研究人员已经开始将注意力集中在理解深度神经网络及其预测的解释上。在本文中，我们根据47篇论文的研究提供了可解释生物识别技术的当前状态，并全面讨论了该领域的发展方向。

使用深神经网络算法分析振动数据是检测早期旋转机械损害的有效方法。但是，这些方法的黑框方法通常无法提供令人满意的解决方案，因为人类无法理解分类的原因。因此，这项工作调查了可解释的AI（XAI）算法在基于振动状态监测的卷积神经网络中的应用。为此，将各种XAI算法应用于基于傅立叶变换以及振动信号的顺序分析的分类。将结果可视化，是每分钟旋转（rpm）的函数，频率-RPM映射和订单RPM映射的形状。这允许评估取决于旋转速度和恒定频率的功能的显着性。为了比较XAI方法的解释能力，首先使用具有已知类别特异性特征的合成数据集进行了研究。然后，使用了针对电动机上基于振动的不平衡分类的现实世界数据集，该数据集以广泛的旋转速度运行。特别重点放在数据的可变周期性的一致性上，这转化为现实世界机器的不同旋转速度。这项工作旨在显示此用例的方法的不同优势和劣势：Gradcam，LRP和Lime具有新的扰动策略。

如今，人工智能（AI）已成为临床和远程医疗保健应用程序的基本组成部分，但是最佳性能的AI系统通常太复杂了，无法自我解释。可解释的AI（XAI）技术被定义为揭示系统的预测和决策背后的推理，并且在处理敏感和个人健康数据时，它们变得更加至关重要。值得注意的是，XAI并未在不同的研究领域和数据类型中引起相同的关注，尤其是在医疗保健领域。特别是，许多临床和远程健康应用程序分别基于表格和时间序列数据，而XAI并未在这些数据类型上进行分析，而计算机视觉和自然语言处理（NLP）是参考应用程序。为了提供最适合医疗领域表格和时间序列数据的XAI方法的概述，本文提供了过去5年中文献的审查，说明了生成的解释的类型以及为评估其相关性所提供的努力和质量。具体而言，我们确定临床验证，一致性评估，客观和标准化质量评估以及以人为本的质量评估作为确保最终用户有效解释的关键特征。最后，我们强调了该领域的主要研究挑战以及现有XAI方法的局限性。

可解释的人工智能（XAI）方法旨在帮助人类用户更好地了解AI代理的决策。但是，许多现代的XAI方法对最终用户，尤其是那些没有先前AI或ML知识的用户都不纯粹。在本文中，我们提出了一种新颖的XAI方法，我们称为责任，标识了特定决定的最负责任的培训示例。然后可以将此示例显示为一个解释：“这是我（AI）学到的使我做到的。”我们介绍了许多领域的实验结果，以及亚马逊机械Turk用户研究的结果，比较了责任和图像分类任务上的现有XAI方法。我们的结果表明，责任可以帮助提高人类最终用户和次要ML模型的准确性。

Artificial Intelligence (AI) and its data-centric branch of machine learning (ML) have greatly evolved over the last few decades. However, as AI is used increasingly in real world use cases, the importance of the interpretability of and accessibility to AI systems have become major research areas. The lack of interpretability of ML based systems is a major hindrance to widespread adoption of these powerful algorithms. This is due to many reasons including ethical and regulatory concerns, which have resulted in poorer adoption of ML in some areas. The recent past has seen a surge in research on interpretable ML. Generally, designing a ML system requires good domain understanding combined with expert knowledge. New techniques are emerging to improve ML accessibility through automated model design. This paper provides a review of the work done to improve interpretability and accessibility of machine learning in the context of global problems while also being relevant to developing countries. We review work under multiple levels of interpretability including scientific and mathematical interpretation, statistical interpretation and partial semantic interpretation. This review includes applications in three areas, namely food processing, agriculture and health.

机器学习（ml）越来越多地用于通知高赌注决策。作为复杂的ML模型（例如，深神经网络）通常被认为是黑匣子，已经开发了丰富的程序，以阐明其内在的工作和他们预测来的方式，定义“可解释的AI”（ xai）。显着性方法根据“重要性”的某种尺寸等级等级。由于特征重要性的正式定义是缺乏的，因此难以验证这些方法。已经证明，一些显着性方法可以突出显示与预测目标（抑制变量）没有统计关联的特征。为了避免由于这种行为而误解，我们提出了这种关联的实际存在作为特征重要性的必要条件和客观初步定义。我们仔细制作了一个地面真实的数据集，其中所有统计依赖性都是明确的和线性的，作为研究抑制变量问题的基准。我们评估了关于我们的客观定义的常见解释方法，包括LRP，DTD，Patternet，图案化，石灰，锚，Shap和基于置换的方法。我们表明，大多数这些方法无法区分此设置中的抑制器的重要功能。

Despite widespread adoption, machine learning models remain mostly black boxes. Understanding the reasons behind predictions is, however, quite important in assessing trust, which is fundamental if one plans to take action based on a prediction, or when choosing whether to deploy a new model. Such understanding also provides insights into the model, which can be used to transform an untrustworthy model or prediction into a trustworthy one.In this work, we propose LIME, a novel explanation technique that explains the predictions of any classifier in an interpretable and faithful manner, by learning an interpretable model locally around the prediction. We also propose a method to explain models by presenting representative individual predictions and their explanations in a non-redundant way, framing the task as a submodular optimization problem. We demonstrate the flexibility of these methods by explaining different models for text (e.g. random forests) and image classification (e.g. neural networks). We show the utility of explanations via novel experiments, both simulated and with human subjects, on various scenarios that require trust: deciding if one should trust a prediction, choosing between models, improving an untrustworthy classifier, and identifying why a classifier should not be trusted.

多参数磁共振成像（MPMRI）在检测前列腺癌病变中的作用越来越大。因此，解释这些扫描的医学专业人员通过使用计算机辅助检测系统来减少人为错误的风险。但是，系统实施中使用的各种算法产生了不同的结果。在这里，我们研究了每个前列腺区域的最佳机器学习分类器。我们还发现了明显的功能，以阐明模型的分类原理。在提供的数据中，我们收集并增强了T2加权图像和明显的扩散系数MAP图像，以首先通过三阶统计特征提取作为机器学习分类器的输入。对于我们的深度学习分类器，我们使用卷积神经网（CNN）体系结构进行自动提取和分类。通过显着映射以了解内部的分类机制，可以改善CNN结果的可解释性。最终，我们得出的结论是，有效检测周围和前纤维肌间基质（AS）病变更多地取决于统计分布特征，而过渡区（TZ）的病变更多地取决于纹理特征。合奏算法最适合PZ和TZ区域，而CNN在AS区域中最好。这些分类器可用于验证放射科医生的预测，并减少怀疑患有前列腺癌的患者的阅读差异。还可以进一步研究这项研究中报告的显着特征，以更好地了解使用mpMRI的前列腺病变的隐藏特征和生物标志物。