人工智能在医学成像，尤其是组织病理学成像方面具有巨大的希望。但是，人工智能算法无法完全解释决策过程中的思维过程。这种情况带来了解释性的问题，即黑匣子问题，人工智能应用程序的议程：一种算法只是在没有说明给定图像的原因的情况下做出响应。为了克服问题并提高解释性，可解释的人工智能（XAI）脱颖而出，并激发了许多研究人员的利益。在此背景下，本研究使用深度学习算法检查了一个新的原始数据集，并使用XAI应用程序之一（GRAD-CAM）可视化输出。之后，对这些图像的病理学家进行了详细的问卷调查。决策过程和解释都已验证，并测试了输出的准确性。这项研究的结果极大地帮助病理学家诊断旁结核病。

人工智能（AI）模型的黑框性质不允许用户理解和有时信任该模型创建的输出。在AI应用程序中，不仅结果，而且结果的决策路径至关重要，此类Black-Box AI模型还不够。可解释的人工智能（XAI）解决了此问题，并定义了用户可解释的一组AI模型。最近，有几种XAI模型是通过在医疗保健，军事，能源，金融和工业领域等各个应用领域的黑盒模型缺乏可解释性和解释性来解决有关的问题。尽管XAI的概念最近引起了广泛关注，但它与物联网域的集成尚未完全定义。在本文中，我们在物联网域范围内使用XAI模型对最近的研究进行了深入和系统的综述。我们根据其方法和应用领域对研究进行分类。此外，我们旨在专注于具有挑战性的问题和开放问题，并为未来的方向指导开发人员和研究人员进行未来的未来调查。

人工智能（AI）和机器学习（ML）在网络安全挑战中的应用已在行业和学术界的吸引力，部分原因是对关键系统（例如云基础架构和政府机构）的广泛恶意软件攻击。入侵检测系统（IDS）使用某些形式的AI，由于能够以高预测准确性处理大量数据，因此获得了广泛的采用。这些系统托管在组织网络安全操作中心（CSOC）中，作为一种防御工具，可监视和检测恶意网络流，否则会影响机密性，完整性和可用性（CIA）。 CSOC分析师依靠这些系统来决定检测到的威胁。但是，使用深度学习（DL）技术设计的IDS通常被视为黑匣子模型，并且没有为其预测提供理由。这为CSOC分析师造成了障碍，因为他们无法根据模型的预测改善决策。解决此问题的一种解决方案是设计可解释的ID（X-IDS）。这项调查回顾了可解释的AI（XAI）的最先进的ID，目前的挑战，并讨论了这些挑战如何涉及X-ID的设计。特别是，我们全面讨论了黑匣子和白盒方法。我们还在这些方法之间的性能和产生解释的能力方面提出了权衡。此外，我们提出了一种通用体系结构，该建筑认为人类在循环中，该架构可以用作设计X-ID时的指南。研究建议是从三个关键观点提出的：需要定义ID的解释性，需要为各种利益相关者量身定制的解释以及设计指标来评估解释的需求。

能够分析和量化人体或行为特征的系统（称为生物识别系统）正在使用和应用变异性增长。由于其从手工制作的功能和传统的机器学习转变为深度学习和自动特征提取，因此生物识别系统的性能增加到了出色的价值。尽管如此，这种快速进步的成本仍然尚不清楚。由于其不透明度，深层神经网络很难理解和分析，因此，由错误动机动机动机的隐藏能力或决定是潜在的风险。研究人员已经开始将注意力集中在理解深度神经网络及其预测的解释上。在本文中，我们根据47篇论文的研究提供了可解释生物识别技术的当前状态，并全面讨论了该领域的发展方向。

尽管有无数的同伴审查的论文，证明了新颖的人工智能（AI）基于大流行期间的Covid-19挑战的解决方案，但很少有临床影响。人工智能在Covid-19大流行期间的影响因缺乏模型透明度而受到极大的限制。这种系统审查考察了在大流行期间使用可解释的人工智能（Xai）以及如何使用它可以克服现实世界成功的障碍。我们发现，Xai的成功使用可以提高模型性能，灌输信任在最终用户，并提供影响用户决策所需的值。我们将读者介绍给常见的XAI技术，其实用程序以及其应用程序的具体例子。 XAI结果的评估还讨论了最大化AI的临床决策支持系统的价值的重要步骤。我们说明了Xai的古典，现代和潜在的未来趋势，以阐明新颖的XAI技术的演变。最后，我们在最近出版物支持的实验设计过程中提供了建议的清单。潜在解决方案的具体示例也解决了AI解决方案期间的共同挑战。我们希望本次审查可以作为提高未来基于AI的解决方案的临床影响的指导。

每年医生对患者的基于形象的诊断需求越来越大，是最近的人工智能方法可以解决的问题。在这种情况下，我们在医学图像的自动报告领域进行了调查，重点是使用深神经网络的方法，了解：（1）数据集，（2）架构设计，（3）解释性和（4）评估指标。我们的调查确定了有趣的发展，也是留下挑战。其中，目前对生成的报告的评估尤为薄弱，因为它主要依赖于传统的自然语言处理（NLP）指标，这不准确地捕获医疗正确性。

如今，人工智能（AI）已成为临床和远程医疗保健应用程序的基本组成部分，但是最佳性能的AI系统通常太复杂了，无法自我解释。可解释的AI（XAI）技术被定义为揭示系统的预测和决策背后的推理，并且在处理敏感和个人健康数据时，它们变得更加至关重要。值得注意的是，XAI并未在不同的研究领域和数据类型中引起相同的关注，尤其是在医疗保健领域。特别是，许多临床和远程健康应用程序分别基于表格和时间序列数据，而XAI并未在这些数据类型上进行分析，而计算机视觉和自然语言处理（NLP）是参考应用程序。为了提供最适合医疗领域表格和时间序列数据的XAI方法的概述，本文提供了过去5年中文献的审查，说明了生成的解释的类型以及为评估其相关性所提供的努力和质量。具体而言，我们确定临床验证，一致性评估，客观和标准化质量评估以及以人为本的质量评估作为确保最终用户有效解释的关键特征。最后，我们强调了该领域的主要研究挑战以及现有XAI方法的局限性。

近年来，可解释的人工智能（XAI）已成为一个非常适合的框架，可以生成人类对“黑盒”模型的可理解解释。在本文中，一种新颖的XAI视觉解释算法称为相似性差异和唯一性（SIDU）方法，该方法可以有效地定位负责预测的整个对象区域。通过各种计算和人类主题实验分析了SIDU算法的鲁棒性和有效性。特别是，使用三种不同类型的评估（应用，人类和功能地面）评估SIDU算法以证明其出色的性能。在对“黑匣子”模型的对抗性攻击的情况下，进一步研究了Sidu的鲁棒性，以更好地了解其性能。我们的代码可在：https：//github.com/satyamahesh84/sidu_xai_code上找到。

过去十年已经看到人工智能（AI）的显着进展，这导致了用于解决各种问题的算法。然而，通过增加模型复杂性并采用缺乏透明度的黑匣子AI模型来满足这种成功。为了响应这种需求，已经提出了说明的AI（Xai）以使AI更透明，从而提高关键结构域中的AI。虽然有几个关于Xai主题的Xai主题的评论，但在Xai中发现了挑战和潜在的研究方向，这些挑战和研究方向被分散。因此，本研究为Xai组织的挑战和未来的研究方向提出了系统的挑战和未来研究方向：（1）基于机器学习生命周期的Xai挑战和研究方向，基于机器的挑战和研究方向阶段：设计，开发和部署。我们认为，我们的META调查通过为XAI地区的未来探索指导提供了XAI文学。

Artificial Intelligence (AI) and its data-centric branch of machine learning (ML) have greatly evolved over the last few decades. However, as AI is used increasingly in real world use cases, the importance of the interpretability of and accessibility to AI systems have become major research areas. The lack of interpretability of ML based systems is a major hindrance to widespread adoption of these powerful algorithms. This is due to many reasons including ethical and regulatory concerns, which have resulted in poorer adoption of ML in some areas. The recent past has seen a surge in research on interpretable ML. Generally, designing a ML system requires good domain understanding combined with expert knowledge. New techniques are emerging to improve ML accessibility through automated model design. This paper provides a review of the work done to improve interpretability and accessibility of machine learning in the context of global problems while also being relevant to developing countries. We review work under multiple levels of interpretability including scientific and mathematical interpretation, statistical interpretation and partial semantic interpretation. This review includes applications in three areas, namely food processing, agriculture and health.

与此同时，在可解释的人工智能（XAI）的研究领域中，已经开发了各种术语，动机，方法和评估标准。随着XAI方法的数量大大增长，研究人员以及从业者以及从业者需要一种方法：掌握主题的广度，比较方法，并根据特定用例所需的特征选择正确的XAI方法语境。在文献中，可以找到许多不同细节水平和深度水平的XAI方法分类。虽然他们经常具有不同的焦点，但它们也表现出许多重叠点。本文统一了这些努力，并提供了XAI方法的分类，这是关于目前研究中存在的概念的概念。在结构化文献分析和元研究中，我们识别并审查了XAI方法，指标和方法特征的50多个最引用和最新的调查。总结在调查调查中，我们将文章的术语和概念合并为统一的结构化分类。其中的单一概念总计超过50个不同的选择示例方法，我们相应地分类。分类学可以为初学者，研究人员和从业者提供服务作为XAI方法特征和方面的参考和广泛概述。因此，它提供了针对有针对性的，用例导向的基础和上下文敏感的未来研究。

人工智能在学科和领域之间普遍存在，生物医学图像和信号处理也不例外。对该主题的增长和广泛的兴趣引发了一项巨大的研究活动，这反映在指数的研究工作中。通过研究大规模和多样化的生物医学数据，机器和深度学习模型彻底改变了各种任务，例如建模，分割，注册，分类和合成，并优于传统技术。但是，将结果转化为生物学/临床解释信息的困难是阻止其在现场的全部剥削。可解释的AI（XAI）试图通过提供使模型可解释并提供解释的手段来填补这一翻译差距。到目前为止，已经提出了不同的解决方案，并且正在增强社区的兴趣。本文旨在在生物医学数据处理中提供有关XAI的概述，并指出即将在2022年3月出现的IEEE Signal Processing杂志的生物医学图像和信号处理深度学习的特刊。

深度学习的显着成功引起了人们对医学成像诊断的应用的兴趣。尽管最新的深度学习模型在分类不同类型的医学数据方面已经达到了人类水平的准确性，但这些模型在临床工作流程中几乎不采用，这主要是由于缺乏解释性。深度学习模型的黑盒子性提出了制定策略来解释这些模型的决策过程的必要性，从而导致了可解释的人工智能（XAI）主题的创建。在这种情况下，我们对应用于医学成像诊断的XAI进行了详尽的调查，包括视觉，基于示例和基于概念的解释方法。此外，这项工作回顾了现有的医学成像数据集和现有的指标，以评估解释的质量。此外，我们还包括一组基于报告生成的方法的性能比较。最后，还讨论了将XAI应用于医学成像以及有关该主题的未来研究指示的主要挑战。

交通事故预期是自动化驾驶系统（广告）提供安全保证的驾驶体验的重要功能。事故预期模型旨在在发生之前及时准确地预测事故。现有的人工智能（AI）意外预期模型缺乏对其决策的人类可意识形态的解释。虽然这些模型表现良好，但它们仍然是广告用户的黑匣子，因此难以获得他们的信任。为此，本文介绍了一个门控复发单位（GRU）网络，用于了解从Dashcam视频数据的交通事故的早期期间的时空关系特征。名为Grad-CAM的后HOC关注机制被集成到网络中，以产生显着图作为事故预期决策的视觉解释。眼跟踪器捕获人眼固定点以产生人类注意图。与人类注意图相比，评估网络生成的显着性图的解释性。在公共崩溃数据集上的定性和定量结果证实，建议的可解释网络可以平均预期事故，然后在发生之前的4.57秒，平均精度为94.02％。此外，评估各种基于HOC的基于后关注的XAI方法。它证实了本研究选择的渐变凸轮可以产生高质量的人类可解释的显着性图（具有1.23标准化的扫描路径显着性），以解释碰撞预期决定。重要的是，结果证实，拟议的AI模型，具有人类灵感设计，可以在事故期内超越人类。

卷积神经网络（CNN）以其出色的功能提取能力而闻名，可以从数据中学习模型，但被用作黑匣子。对卷积滤液和相关特征的解释可以帮助建立对CNN的理解，以区分各种类别。在这项工作中，我们关注的是CNN模型的解释性，称为CNNexplain，该模型用于COVID-19和非CoVID-19分类，重点是卷积过滤器的特征解释性，以及这些功能如何有助于分类。具体而言，我们使用了各种可解释的人工智能（XAI）方法，例如可视化，SmoothGrad，Grad-Cam和Lime来提供卷积滤液的解释及相关特征及其在分类中的作用。我们已经分析了使用干咳嗽光谱图的这些方法的解释。从石灰，光滑果实和GRAD-CAM获得的解释结果突出了不同频谱图的重要特征及其与分类的相关性。

本文介绍了一种使用旨在解决现实世界应用中CDSS的低适用性和可扩展性问题的数据驱动的预测模型来构建一致和适用的临床决策支持系统（CDSS）的方法。该方法基于域特定和数据驱动的支持程序的三种特定于域和数据驱动的支持程序，该程序将被纳入临床业务流程，具有更高的信任和预测结果和建议的解释性。在考虑的三个阶段，监管策略，数据驱动模式和解释程序被集成，以实现与决策者的自然域特定的互动，具有智能决策支持焦点的连续缩小。该提出的方法能够实现更高水平的自动化，可扩展性和CDSS的语义解释性。该方法是在软件解决方案中实现的，并在T2DM预测中进行了测试，使我们能够改善已知的临床尺度（例如FindRisk），同时保持与现有应用程序类似的特定问题的推理界面。这种继承与三分阶段的方法一起提供了更高的解决方案兼容性，并导致数据驱动的解决方案在现实案件中的信任，有效和解释应用。

Artificial intelligence(AI) systems based on deep neural networks (DNNs) and machine learning (ML) algorithms are increasingly used to solve critical problems in bioinformatics, biomedical informatics, and precision medicine. However, complex DNN or ML models that are unavoidably opaque and perceived as black-box methods, may not be able to explain why and how they make certain decisions. Such black-box models are difficult to comprehend not only for targeted users and decision-makers but also for AI developers. Besides, in sensitive areas like healthcare, explainability and accountability are not only desirable properties of AI but also legal requirements -- especially when AI may have significant impacts on human lives. Explainable artificial intelligence (XAI) is an emerging field that aims to mitigate the opaqueness of black-box models and make it possible to interpret how AI systems make their decisions with transparency. An interpretable ML model can explain how it makes predictions and which factors affect the model's outcomes. The majority of state-of-the-art interpretable ML methods have been developed in a domain-agnostic way and originate from computer vision, automated reasoning, or even statistics. Many of these methods cannot be directly applied to bioinformatics problems, without prior customization, extension, and domain adoption. In this paper, we discuss the importance of explainability with a focus on bioinformatics. We analyse and comprehensively overview of model-specific and model-agnostic interpretable ML methods and tools. Via several case studies covering bioimaging, cancer genomics, and biomedical text mining, we show how bioinformatics research could benefit from XAI methods and how they could help improve decision fairness.

AI系统解释性的某些方面将批判地讨论。这尤其是侧重于使每个AI系统可解释的任务的可行性。重点将涉及与高度复杂和高效的AI系统的解释性有关的困难，该系统提供了决策，其解释违背了经典的原因和效果方案。AI系统已被证明提供了不可溶的解决方案，其中回想起来的特征是巧妙（例如，alphano的第2比赛的第37页）。将详细阐述支持该概念的论据，如果由于他们不完全理解，智能系统的潜力将浪费智能系统的潜力。

人工智能（AI）是塑造未来的颠覆性技术之一。它在主要智能城市解决方案中的数据驱动决策越来越多，包括运输，教育，医疗保健，公共治理和电力系统。与此同时，它在保护Cyber​​威胁，攻击，损害或未授权访问中保护关键网络基础设施时越来越受欢迎。然而，那些传统的AI技术的重要问题之一（例如，深度学习）是，复杂性和复杂性的快速进展推进，并原始是不可诠释的黑匣子。在很多场合，了解控制和信任系统意外或看似不可预测的输出的决策和偏见是非常具有挑战性的。承认，对决策可解释性的控制丧失成为许多数据驱动自动化应用的重要问题。但它可能会影响系统的安全性和可信度吗？本章对网络安全的机器学习应用进行了全面的研究，以表示需要解释来解决这个问题。在这样做的同时，本章首先探讨了智能城市智能城市安全应用程序的AI技术的黑匣子问题。后来，考虑到新的技术范式，解释说明的人工智能（XAI），本章讨论了从黑盒到白盒的过渡。本章还讨论了关于智能城市应用不同自治系统在应用基于AI的技术的解释性，透明度，可辨能力和解释性的过渡要求。最后，它介绍了一些商业XAI平台，在提出未来的挑战和机遇之前，对传统的AI技术提供解释性。

随着全球人口越来越多的人口驱动世界各地的快速城市化，有很大的需要蓄意审议值得生活的未来。特别是，随着现代智能城市拥抱越来越多的数据驱动的人工智能服务，值得记住技术可以促进繁荣，福祉，城市居住能力或社会正义，而是只有当它具有正确的模拟补充时（例如竭尽全力，成熟机构，负责任治理）;这些智能城市的最终目标是促进和提高人类福利和社会繁荣。研究人员表明，各种技术商业模式和特征实际上可以有助于极端主义，极化，错误信息和互联网成瘾等社会问题。鉴于这些观察，解决了确保了诸如未来城市技术基岩的安全，安全和可解释性的哲学和道德问题，以为未来城市的技术基岩具有至关重要的。在全球范围内，有能够更加人性化和以人为本的技术。在本文中，我们分析和探索了在人以人为本的应用中成功部署AI的安全，鲁棒性，可解释性和道德（数据和算法）挑战的关键挑战，特别强调这些概念/挑战的融合。我们对这些关键挑战提供了对现有文献的详细审查，并分析了这些挑战中的一个可能导致他人的挑战方式或帮助解决其他挑战。本文还建议了这些域的当前限制，陷阱和未来研究方向，以及如何填补当前的空白并导致更好的解决方案。我们认为，这种严谨的分析将为域名的未来研究提供基准。