Human activity recognition (HAR) using IMU sensors, namely accelerometer and gyroscope, has several applications in smart homes, healthcare and human-machine interface systems. In practice, the IMU-based HAR system is expected to encounter variations in measurement due to sensor degradation, alien environment or sensor noise and will be subjected to unknown activities. In view of practical deployment of the solution, analysis of statistical confidence over the activity class score are important metrics. In this paper, we therefore propose XAI-BayesHAR, an integrated Bayesian framework, that improves the overall activity classification accuracy of IMU-based HAR solutions by recursively tracking the feature embedding vector and its associated uncertainty via Kalman filter. Additionally, XAI-BayesHAR acts as an out of data distribution (OOD) detector using the predictive uncertainty which help to evaluate and detect alien input data distribution. Furthermore, Shapley value-based performance of the proposed framework is also evaluated to understand the importance of the feature embedding vector and accordingly used for model compression

机器学习模型通常会遇到与训练分布不同的样本。无法识别分布（OOD）样本，因此将该样本分配给课堂标签会显着损害模​​型的可靠性。由于其对在开放世界中的安全部署模型的重要性，该问题引起了重大关注。由于对所有可能的未知分布进行建模的棘手性，检测OOD样品是具有挑战性的。迄今为止，一些研究领域解决了检测陌生样本的问题，包括异常检测，新颖性检测，一级学习，开放式识别识别和分布外检测。尽管有相似和共同的概念，但分别分布，开放式检测和异常检测已被独立研究。因此，这些研究途径尚未交叉授粉，创造了研究障碍。尽管某些调查打算概述这些方法，但它们似乎仅关注特定领域，而无需检查不同领域之间的关系。这项调查旨在在确定其共同点的同时，对各个领域的众多著名作品进行跨域和全面的审查。研究人员可以从不同领域的研究进展概述中受益，并协同发展未来的方法。此外，据我们所知，虽然进行异常检测或单级学习进行了调查，但没有关于分布外检测的全面或最新的调查，我们的调查可广泛涵盖。最后，有了统一的跨域视角，我们讨论并阐明了未来的研究线，打算将这些领域更加紧密地融为一体。

尽管基于卷积神经网络（CNN）的组织病理学图像的分类模型，但量化其不确定性是不可行的。此外，当数据偏置时，CNN可以遭受过度装备。我们展示贝叶斯-CNN可以通过自动规范并通过量化不确定性来克服这些限制。我们开发了一种新颖的技术，利用贝叶斯-CNN提供的不确定性，这显着提高了大部分测试数据的性能（约为77％的测试数据的准确性提高了约6％）。此外，我们通过非线性维度降低技术将数据投射到低尺寸空间来提供对不确定性的新颖解释。该维度降低能够通过可视化解释测试数据，并在低维特征空间中揭示数据的结构。我们表明，贝叶斯-CNN可以通过分别将假阴性和假阳性降低11％和7.7％的最先进的转移学习CNN（TL-CNN）来表现出远得更好。它具有仅为186万个参数的这种性能，而TL-CNN的参数仅为134.33亿。此外，我们通过引入随机自适应激活功能来修改贝叶斯-CNN。修改后的贝叶斯-CNN在所有性能指标上的贝叶斯-CNN略胜一筹，并显着降低了误报和误报的数量（两者减少了3％）。我们还表明，通过执行McNemar的统计显着性测试，这些结果具有统计学意义。这项工作显示了贝叶斯-CNN对现有技术的优势，解释并利用组织病理学图像的不确定性。它应该在各种医学图像分类中找到应用程序。

福利值广泛用作模型不可知的解释框架，以解释复杂的预测机器学习模型。福利值具有理想的理论特性和声音数学基础。精确的福芙值估计依赖数据依赖于所有特征组合之间的依赖性的准确建模。在本文中，我们使用具有任意调节（VAEAC）的变形AutoEncoder来同时建模所有特征依赖性。我们通过全面的仿真研究证明了VAEAC对于连续和混合依赖特征的各种环境来说，VAEAC优于最先进的方法。最后，我们将VAEAC应用于从UCI机器学习存储库中的鲍鱼数据集。

如今，人工智能（AI）已成为临床和远程医疗保健应用程序的基本组成部分，但是最佳性能的AI系统通常太复杂了，无法自我解释。可解释的AI（XAI）技术被定义为揭示系统的预测和决策背后的推理，并且在处理敏感和个人健康数据时，它们变得更加至关重要。值得注意的是，XAI并未在不同的研究领域和数据类型中引起相同的关注，尤其是在医疗保健领域。特别是，许多临床和远程健康应用程序分别基于表格和时间序列数据，而XAI并未在这些数据类型上进行分析，而计算机视觉和自然语言处理（NLP）是参考应用程序。为了提供最适合医疗领域表格和时间序列数据的XAI方法的概述，本文提供了过去5年中文献的审查，说明了生成的解释的类型以及为评估其相关性所提供的努力和质量。具体而言，我们确定临床验证，一致性评估，客观和标准化质量评估以及以人为本的质量评估作为确保最终用户有效解释的关键特征。最后，我们强调了该领域的主要研究挑战以及现有XAI方法的局限性。

Recent developments in the methods of explainable AI (XAI) methods allow researchers to explore the inner workings of deep neural networks (DNNs), revealing crucial information about input-output relationships and realizing how data connects with machine learning models. In this paper we explore interpretability of DNN models designed to identify jets coming from top quark decay in high energy proton-proton collisions at the Large Hadron Collider (LHC). We review a subset of existing top tagger models and explore different quantitative methods to identify which features play the most important roles in identifying the top jets. We also investigate how and why feature importance varies across different XAI metrics, how feature correlations impact their explainability, and how latent space representations encode information as well as correlate with physically meaningful quantities. Our studies uncover some major pitfalls of existing XAI methods and illustrate how they can be overcome to obtain consistent and meaningful interpretation of these models. We additionally illustrate the activity of hidden layers as Neural Activation Pattern (NAP) diagrams and demonstrate how they can be used to understand how DNNs relay information across the layers and how this understanding can help to make such models significantly simpler by allowing effective model reoptimization and hyperparameter tuning. By incorporating observations from the interpretability studies, we obtain state-of-the-art top tagging performance from augmented implementation of existing network

机器学习（ML）和深度学习（DL）方法正在迅速采用，尤其是计算机网络安全，如欺诈检测，网络异常检测，入侵检测等等。然而，ML和DL基础模型缺乏透明度是其实施和由于其黑​​匣子性质而受到批评的主要障碍，即使具有如此巨大的结果。可解释的人工智能（XAI）是一个有希望的区域，可以通过给出解释和解释其产出来改善这些模型的可信度。如果ML和基于DL的模型的内部工作是可以理解的，那么它可以进一步帮助改善其性能。本文的目的是表明，Xai如何用于解释DL模型的结果，在这种情况下是AutoEncoder。并且，根据解释，我们改善了计算机网络异常检测的性能。基于福谢值的内核形状方法用作新颖的特征选择技术。此方法用于仅识别实际上导致该组攻击/异常实例的异常行为的那些功能。稍后，这些功能集用于培训和验证AutoEncoder，而是仅在良性数据上验证。最后，基于特征选择方法提出的其他两个模型的内置Shap_Model始终。整个实验是在最新的Cicids2017网络数据集的子集上进行的。 Shap_Model的总体精度和AUC分别为94％和0.969。

最近，在以结果为导向的预测过程监测（OOPPM）的领域进行了转变，以使用可解释的人工智能范式中的模型，但是评估仍然主要是通过基于绩效的指标来进行的，而不是考虑到启示性和缺乏可行性。解释。在本文中，我们通过解释的解释性（通过广泛使用的XAI属性和功能复杂性）和解释性模型的忠诚（通过单调性和分歧的水平）来定义解释性。沿事件，情况和控制流透视图分析了引入的属性，这些视角是基于过程的分析的典型代表。这允许定量比较，除其他外，固有地创建了用事后解释（例如Shapley值）（例如Shapley值）的固有创建的解释（例如逻辑回归系数）。此外，本文通过洞悉如何在OOPPM中典型的OOPPM中典型的变化预处理，模型的复杂性和事后解释性技术来撰写基于事件日志和手头的任务的准则，以根据事件日志规范和手头的任务选择适当的模型，以根据事件日志规范和手头任务选择适当的模型。影响模型的解释性。为此，我们在13个现实生活事件日志上基准了七个分类器。

尽管有无数的同伴审查的论文，证明了新颖的人工智能（AI）基于大流行期间的Covid-19挑战的解决方案，但很少有临床影响。人工智能在Covid-19大流行期间的影响因缺乏模型透明度而受到极大的限制。这种系统审查考察了在大流行期间使用可解释的人工智能（Xai）以及如何使用它可以克服现实世界成功的障碍。我们发现，Xai的成功使用可以提高模型性能，灌输信任在最终用户，并提供影响用户决策所需的值。我们将读者介绍给常见的XAI技术，其实用程序以及其应用程序的具体例子。 XAI结果的评估还讨论了最大化AI的临床决策支持系统的价值的重要步骤。我们说明了Xai的古典，现代和潜在的未来趋势，以阐明新颖的XAI技术的演变。最后，我们在最近出版物支持的实验设计过程中提供了建议的清单。潜在解决方案的具体示例也解决了AI解决方案期间的共同挑战。我们希望本次审查可以作为提高未来基于AI的解决方案的临床影响的指导。

我们介绍了一个简单而直观的框架，该框架通过对输入特征重要性的概率评估来提供统计模型的定量解释。核心思想来自利用Dirichlet分布来定义输入功能的重要性，并通过大致贝叶斯推断学习。学到的重要性具有概率的解释，并提供了每个输入特征与模型输出的相对重要性，从而评估了对其重要性量化的信心。由于在解释上使用了Dirichlet分布，因此我们可以定义封闭形式的差异来衡量不同模型下所学到的重要性之间的相似性。我们利用这种差异来研究特征重要性的解释性权衡，并在现代机器学习中的基本概念（例如隐私和公平）中进行了折衷。此外，BIF可以在两个层面上工作：全局说明（所有数据实例中的特征重要性）和局部说明（每个数据实例的个人特征重要性）。考虑到表格数据集和图像数据集，我们显示了方法对各种合成和真实数据集的有效性。该代码可在https://github.com/kamadforge/featimp_dp上获得。

人工智能（AI）和机器学习（ML）在网络安全挑战中的应用已在行业和学术界的吸引力，部分原因是对关键系统（例如云基础架构和政府机构）的广泛恶意软件攻击。入侵检测系统（IDS）使用某些形式的AI，由于能够以高预测准确性处理大量数据，因此获得了广泛的采用。这些系统托管在组织网络安全操作中心（CSOC）中，作为一种防御工具，可监视和检测恶意网络流，否则会影响机密性，完整性和可用性（CIA）。 CSOC分析师依靠这些系统来决定检测到的威胁。但是，使用深度学习（DL）技术设计的IDS通常被视为黑匣子模型，并且没有为其预测提供理由。这为CSOC分析师造成了障碍，因为他们无法根据模型的预测改善决策。解决此问题的一种解决方案是设计可解释的ID（X-IDS）。这项调查回顾了可解释的AI（XAI）的最先进的ID，目前的挑战，并讨论了这些挑战如何涉及X-ID的设计。特别是，我们全面讨论了黑匣子和白盒方法。我们还在这些方法之间的性能和产生解释的能力方面提出了权衡。此外，我们提出了一种通用体系结构，该建筑认为人类在循环中，该架构可以用作设计X-ID时的指南。研究建议是从三个关键观点提出的：需要定义ID的解释性，需要为各种利益相关者量身定制的解释以及设计指标来评估解释的需求。

机器学习（ml）越来越多地用于通知高赌注决策。作为复杂的ML模型（例如，深神经网络）通常被认为是黑匣子，已经开发了丰富的程序，以阐明其内在的工作和他们预测来的方式，定义“可解释的AI”（ xai）。显着性方法根据“重要性”的某种尺寸等级等级。由于特征重要性的正式定义是缺乏的，因此难以验证这些方法。已经证明，一些显着性方法可以突出显示与预测目标（抑制变量）没有统计关联的特征。为了避免由于这种行为而误解，我们提出了这种关联的实际存在作为特征重要性的必要条件和客观初步定义。我们仔细制作了一个地面真实的数据集，其中所有统计依赖性都是明确的和线性的，作为研究抑制变量问题的基准。我们评估了关于我们的客观定义的常见解释方法，包括LRP，DTD，Patternet，图案化，石灰，锚，Shap和基于置换的方法。我们表明，大多数这些方法无法区分此设置中的抑制器的重要功能。

人工神经网络无法评估其预测的不确定性是对它们广泛使用的障碍。我们区分了两种类型的可学习不确定性：由于缺乏训练数据和噪声引起的观察不确定性而导致的模型不确定性。贝叶斯神经网络使用坚实的数学基础来学习其预测的模型不确定性。观察不确定性可以通过在这些网络中添加一层并增强其损失功能来计算观察不确定性。我们的贡献是将这些不确定性概念应用于预测过程监控任务中，以训练基于不确定性的模型以预测剩余时间和结果。我们的实验表明，不确定性估计值允许分化更多和不准确的预测，并在回归和分类任务中构建置信区间。即使在运行过程的早期阶段，这些结论仍然是正确的。此外，部署的技术是快速的，并产生了更准确的预测。学习的不确定性可以增加用户对其流程预测系统的信心，促进人类与这些系统之间的更好合作，并通过较小的数据集实现早期的实施。

被动射频（RF）感测和对老年护理房屋的人类日常活动监测是一个新兴的话题。微多普勒雷达是一种吸引人的解决方案，考虑到它们的非侵入性，深渗透和高距离范围。尽管在真实情景中未标记或较差的活动的情况下，但是使用多普勒雷达数据的无监督活动识别尚未得到注意。本研究提出了使用多普勒流的人类活动监测的两个无监督特征提取方法。这些包括基于局部离散余弦变换（DCT）的特征提取方法和基于局部熵的特征提取方法。此外，对于多普勒雷达数据，首次采用了卷积变分性自动化器（CVAE）特征提取的新应用。将三种特征提取架构与先前使用的卷积AutoEncoder（CAE）和基于主成分分析（PCA）和2DPCA的线性特征提取进行比较。使用K-Means和K-METOIDS进行无监督的聚类。结果表明，与CAE，PCA和2DPCA相比，基于DCT的方法，基于熵的方法和CVAE特征的优越性，具有超过5 \％-20 \％的平均精度。关于计算时间，两个提出的方法明显比现有的CVAE快得多。此外，对于高维数据可视化，考虑了三种歧管学习技术。比较方法，以对原始数据的投影以及编码的CVAE特征进行比较。当应用于编码的CVAE特征时，所有三种方法都显示出改善的可视化能力。

对训练有素的ML模型进行连续监控，以确定其预测何时应该和不应信任的预测对于他们的安全部署至关重要。这样的框架应该是高性能，可解释的，事后和可行的。我们提出了信任范围，这是连续模型监视的“不信任”评分框架。我们使用一系列潜在空间嵌入序列评估每个输入样本模型预测的可信度。具体而言，（a）我们的潜在空间不信任得分估计了潜在空间中的距离指标（马哈拉氏症距离）和相似性指标（余弦相似性），并且（b）我们的顺序不信任得分决定了过去输入顺序的相关性偏差非参数基于滑动窗口的表示，用于可操作的连续监视。我们通过两个下游任务评估信任量：（1）分布转移的输入检测和（2）数据漂移检测，跨越不同的域 - 使用公共数据集的音频和视觉，并进一步基准了我们在具有挑战性的现实，现实世界中的脑电图（EEG）（EEG）（EEG） ）数据集用于癫痫发作。我们的潜在空间不信任得分以84.1（视觉），73.9（音频），77.1（临床脑电图）的AUROCs获得最新的结果，优于10分以上。我们暴露了对输入语义内容不敏感的流行基线中的关键故障，使它们不适合现实世界模型监视。我们表明，我们的顺序不信任得分达到了高漂移检测率：超过90％的流显示所有域的误差<20％。通过广泛的定性和定量评估，我们表明我们的不信任分数更强大，并为轻松采用实践提供了解释性。

PV power forecasting models are predominantly based on machine learning algorithms which do not provide any insight into or explanation about their predictions (black boxes). Therefore, their direct implementation in environments where transparency is required, and the trust associated with their predictions may be questioned. To this end, we propose a two stage probabilistic forecasting framework able to generate highly accurate, reliable, and sharp forecasts yet offering full transparency on both the point forecasts and the prediction intervals (PIs). In the first stage, we exploit natural gradient boosting (NGBoost) for yielding probabilistic forecasts, while in the second stage, we calculate the Shapley additive explanation (SHAP) values in order to fully comprehend why a prediction was made. To highlight the performance and the applicability of the proposed framework, real data from two PV parks located in Southern Germany are employed. Comparative results with two state-of-the-art algorithms, namely Gaussian process and lower upper bound estimation, manifest a significant increase in the point forecast accuracy and in the overall probabilistic performance. Most importantly, a detailed analysis of the model's complex nonlinear relationships and interaction effects between the various features is presented. This allows interpreting the model, identifying some learned physical properties, explaining individual predictions, reducing the computational requirements for the training without jeopardizing the model accuracy, detecting possible bugs, and gaining trust in the model. Finally, we conclude that the model was able to develop complex nonlinear relationships which follow known physical properties as well as human logic and intuition.

人工智能（AI）模型的黑框性质不允许用户理解和有时信任该模型创建的输出。在AI应用程序中，不仅结果，而且结果的决策路径至关重要，此类Black-Box AI模型还不够。可解释的人工智能（XAI）解决了此问题，并定义了用户可解释的一组AI模型。最近，有几种XAI模型是通过在医疗保健，军事，能源，金融和工业领域等各个应用领域的黑盒模型缺乏可解释性和解释性来解决有关的问题。尽管XAI的概念最近引起了广泛关注，但它与物联网域的集成尚未完全定义。在本文中，我们在物联网域范围内使用XAI模型对最近的研究进行了深入和系统的综述。我们根据其方法和应用领域对研究进行分类。此外，我们旨在专注于具有挑战性的问题和开放问题，并为未来的方向指导开发人员和研究人员进行未来的未来调查。

对不确定性的深入了解是在不确定性下做出有效决策的第一步。深度/机器学习（ML/DL）已被大大利用，以解决处理高维数据所涉及的复杂问题。但是，在ML/DL中，推理和量化不同类型的不确定性的探索少于其他人工智能（AI）领域。特别是，自1960年代以来，在KRR上已经研究了信仰/证据理论，以推理并衡量不确定性以提高决策效率。我们发现，只有少数研究利用了ML/DL中的信念/证据理论中的成熟不确定性研究来解决不同类型的不确定性下的复杂问题。在本调查论文中，我们讨论了一些流行的信念理论及其核心思想，这些理论涉及不确定性原因和类型，并量化它们，并讨论其在ML/DL中的适用性。此外，我们讨论了三种主要方法，这些方法在深度神经网络（DNN）中利用信仰理论，包括证据DNN，模糊DNN和粗糙的DNN，就其不确定性原因，类型和量化方法以及其在多元化问题中的适用性而言。域。根据我们的深入调查，我们讨论了见解，经验教训，对当前最新桥接信念理论和ML/DL的局限性，最后是未来的研究方向。

由于它们在建模复杂的问题和处理高维数据集的有效性，因此已显示深神网络（DNN）在广泛的应用领域中的传统机器学习算法优于传统的机器学习算法。但是，许多现实生活数据集具有越来越高的维度，其中大量功能可能与手头的任务无关。包含此类功能不仅会引入不必要的噪声，还会提高计算复杂性。此外，由于许多特征之间的非线性和依赖性高，DNN模型往往不可避免地是不透明的，并且被视为黑盒方法，因为它们的内部功能不佳。解释良好的模型可以识别具有统计学意义的特征，并解释其影响模型结果的方式。在本文中，我们提出了一种有效的方法，可以在高维数据集的情况下提高黑框模型的分类任务。为此，我们首先在高维数据集上训练黑框模型，以了解执行分类的嵌入。为了分解黑框模型的内部工作原理并确定TOP-K重要特征，我们采用了不同的探测和扰动技术。然后，我们通过在TOP-K特征空间上通过可解释的替代模型来近似黑框模型的行为。最后，我们从替代模型中得出决策规则和本地解释，以解释个人决策。当在不同数据集上测试，尺寸在50到20,000之间的不同数据集上进行测试时，我们的方法优于最先进的方法，例如TABNET，XGBOOST和基于Shap的可解释性技术。

贝叶斯神经网络（BNNS）通过考虑为每个输入的权重和采样不同模型的分布，提供了一种工具来估计神经网络的不确定性。在本文中，我们提出了一种称为变异神经网络的神经网络中不确定性估计的方法，该方法通过使用可学习的子层转换其输入来生成层的输出分布的参数，而是为层的输出分布生成参数。在不确定性质量估计实验中，我们表明VNN与通过反向传播方法相比，VNN比Monte Carlo辍学或贝叶斯获得更好的不确定性质量。