通常在高维生物数据集中发现的最常见的缺陷之一是特征之间的相关性。这可能导致统计和机器学习方法过度或低估这些相关预测因素，而真正相关的则被忽略。在本文中，我们将定义一种名为“成对置换算法}（PPA）的新方法，其目的是在特征重要性值中减轻相关偏差。首先，我们提供了一个理论基础，在以前的工作中建立了折射重要性。然后将PPA应用于玩具数据集，我们展示了校正相关效果的能力。我们进一步测试PPA在微生物霰弹枪数据集上，表明PPA已经能够获得生物相关的生物标志物。

即使有效，模型的使用也必须伴随着转换数据的各个级别的理解（上游和下游）。因此，需求增加以定义单个数据与算法可以根据其分析可以做出的选择（例如，一种产品或一种促销报价的建议，或代表风险的保险费率）。模型用户必须确保模型不会区分，并且也可以解释其结果。本文介绍了模型解释的重要性，并解决了模型透明度的概念。在保险环境中，它专门说明了如何使用某些工具来强制执行当今可以利用机器学习的精算模型的控制。在一个简单的汽车保险中损失频率估计的示例中，我们展示了一些解释性方法的兴趣，以适应目标受众的解释。

模型透明度是许多领域的先决条件和机器学习研究中越来越受欢迎的地区。例如，在医学领域中，揭示疾病背后的机制通常具有比诊断本身更高的优先级，因为它可能决定或引导潜在的治疗和研究方向。解释模型全球预测的最受欢迎方法之一是允许置换数据的性能的置换重要性与基线为基准。然而，这种方法和其他相关方法将低估在协调因子存在中的重要性，因为这些涵盖其提供的信息的一部分。为了解决这个问题，我们提出了涵盖了信息解剖学（CID），一种考虑所有功能信息的方法重叠，以纠正释放重要性提供的值。我们进一步展示了如何在耦合Markov随机字段时有效地计算CID。在受控玩具数据集上首先展示其在调整权释放重要性中的效力，并讨论其对现实世界医疗数据的影响。

科学家经常优先考虑从数据学习，而不是培训最佳模型；但是，机器学习的研究通常优先考虑后者。边际特征重要的方法（例如边际贡献特征重要性（MCI））试图通过提供一个有用的框架来打破这种趋势，以量化以可解释方式量化数据的关系。在这项工作中，我们概括了MCI的框架，同时旨在通过引入超级边界特征的重要性（UMFI）来提高性能和运行时。为此，我们证明可以通过应用AI公平文献中的预处理方法直接计算UMFI来删除功能集中的依赖项。我们在真实和模拟数据上显示了UMFI至少和MCI的性能，在存在相关相互作用和无关特征的情况下，性能明显更好，同时大大降低了MCI的指数运行时间为超线性。

在人类循环机器学习应用程序的背景下，如决策支持系统，可解释性方法应在不使用户等待的情况下提供可操作的见解。在本文中，我们提出了加速的模型 - 不可知论解释（ACME），一种可解释的方法，即在全球和本地层面迅速提供特征重要性分数。可以将acme应用于每个回归或分类模型的后验。 ACME计算功能排名不仅提供了一个什么，但它还提供了一个用于评估功能值的变化如何影响模型预测的原因 - 如果分析工具。我们评估了综合性和现实世界数据集的建议方法，同时也与福芙添加剂解释（Shap）相比，我们制作了灵感的方法，目前是最先进的模型无关的解释性方法。我们在生产解释的质量方面取得了可比的结果，同时急剧减少计算时间并为全局和局部解释提供一致的可视化。为了促进该领域的研究，为重复性，我们还提供了一种存储库，其中代码用于实验。

The aim of this study is to define importance of predictors for black box machine learning methods, where the prediction function can be highly non-additive and cannot be represented by statistical parameters. In this paper we defined a ``Generalized Variable Importance Metric (GVIM)'' using the true conditional expectation function for a continuous or a binary response variable. We further showed that the defined GVIM can be represented as a function of the Conditional Average Treatment Effect (CATE) squared for multinomial and continuous predictors. Then we propose how the metric can be estimated using using any machine learning models. Finally we showed the properties of the estimator using multiple simulations.

机器学习渗透到许多行业，这为公司带来了新的利益来源。然而，在人寿保险行业中，机器学习在实践中并未被广泛使用，因为在过去几年中，统计模型表明了它们的风险评估效率。因此，保险公司可能面临评估人工智能价值的困难。随着时间的流逝，专注于人寿保险行业的修改突出了将机器学习用于保险公司的利益以及通过释放数据价值带来的利益。本文回顾了传统的生存建模方法论，并通过机器学习技术扩展了它们。它指出了与常规机器学习模型的差异，并强调了特定实现在与机器学习模型家族中面对审查数据的重要性。在本文的补充中，已经开发了Python库。已经调整了不同的开源机器学习算法，以适应人寿保险数据的特殊性，即检查和截断。此类模型可以轻松地从该SCOR库中应用，以准确地模拟人寿保险风险。

与经典的统计学习方法相比，机器和深度学习生存模型表现出相似甚至改进事件的预测能力，但太复杂了，无法被人类解释。有几种模型不合时宜的解释可以克服这个问题。但是，没有一个直接解释生存函数预测。在本文中，我们介绍了Survhap（t），这是第一个允许解释生存黑盒模型的解释。它基于Shapley添加性解释，其理论基础稳定，并在机器学习从业人员中广泛采用。拟议的方法旨在增强精确诊断和支持领域的专家做出决策。关于合成和医学数据的实验证实，survhap（t）可以检测具有时间依赖性效果的变量，并且其聚集是对变量对预测的重要性的决定因素，而不是存活。 survhap（t）是模型不可屈服的，可以应用于具有功能输出的所有型号。我们在http://github.com/mi2datalab/survshap中提供了python中时间相关解释的可访问实现。

Building an accurate model of travel behaviour based on individuals' characteristics and built environment attributes is of importance for policy-making and transportation planning. Recent experiments with big data and Machine Learning (ML) algorithms toward a better travel behaviour analysis have mainly overlooked socially disadvantaged groups. Accordingly, in this study, we explore the travel behaviour responses of low-income individuals to transit investments in the Greater Toronto and Hamilton Area, Canada, using statistical and ML models. We first investigate how the model choice affects the prediction of transit use by the low-income group. This step includes comparing the predictive performance of traditional and ML algorithms and then evaluating a transit investment policy by contrasting the predicted activities and the spatial distribution of transit trips generated by vulnerable households after improving accessibility. We also empirically investigate the proposed transit investment by each algorithm and compare it with the city of Brampton's future transportation plan. While, unsurprisingly, the ML algorithms outperform classical models, there are still doubts about using them due to interpretability concerns. Hence, we adopt recent local and global model-agnostic interpretation tools to interpret how the model arrives at its predictions. Our findings reveal the great potential of ML algorithms for enhanced travel behaviour predictions for low-income strata without considerably sacrificing interpretability.

在许多科学应用中出现了从一组共同样本中获得两种（或更多）类型的测量的数据集。此类数据的探索性分析中的一个常见问题是识别有密切相关的不同数据类型的特征组。 Bimodule是来自两种数据类型的特征集的一对（A，B），因此A和B中的特征之间的汇总相关很大。如果A与B中的特征显着相关的特征集合，则BIMODULE（A，B）是稳定的，反之亦然。在本文中，我们提出并研究了基于迭代测试的程序（BSP），以识别Bi-View数据中稳定的双模型。我们进行了一项彻底的模拟研究，以评估BSP的性能，并使用GTEX项目的最新数据提出了表达定量性状基因座（EQTL）分析问题的扩展应用。此外，我们将BSP应用于气候数据，以确定北美地区年温度变化影响降水的区域。

机器学习（ML）应用程序的数据量不断增长。不仅是观察的数量，特别是测量变量的数量（特征）增加了持续的数字化。选择最适合预测建模的功能是ML在商业和研究中取得成功的重要杠杆。特征选择方法（FSM）独立于某种ML算法 - 所谓的过滤方法 - 已毫无意义地建议，但研究人员和定量建模的指导很少，以选择典型ML问题的适当方法。本次审查在特征选择基准上综合了大量文献，并评估了58种方法在广泛使用的R环境中的性能。对于具体的指导，我们考虑了四种典型的数据集方案，这些情况挑战ML模型（嘈杂，冗余，不平衡数据和具有比观察特征更多的案例）。绘制早期基准的经验，该基准测试较少的FSMS，我们根据四个标准进行比较方法的性能（预测性能，所选的相关功能数，功能集和运行时的稳定性）。我们发现依赖于随机森林方法的方法，双输入对称相关滤波器（浪费）和联合杂质滤波器（Jim）是给定的数据集方案的良好性候选方法。

We introduce the XPER (eXplainable PERformance) methodology to measure the specific contribution of the input features to the predictive or economic performance of a model. Our methodology offers several advantages. First, it is both model-agnostic and performance metric-agnostic. Second, XPER is theoretically founded as it is based on Shapley values. Third, the interpretation of the benchmark, which is inherent in any Shapley value decomposition, is meaningful in our context. Fourth, XPER is not plagued by model specification error, as it does not require re-estimating the model. Fifth, it can be implemented either at the model level or at the individual level. In an application based on auto loans, we find that performance can be explained by a surprisingly small number of features. XPER decompositions are rather stable across metrics, yet some feature contributions switch sign across metrics. Our analysis also shows that explaining model forecasts and model performance are two distinct tasks.

医疗保健数据集通常包含一组高度相关的特征，例如来自同一生物系统的特征。当将功能选择应用于这些数据集以识别最重要的功能时，由于相关功能，由于相关特征而引起的某些多变量特征选择器固有的偏差使这些方法难以区分重要的和无关的特征，并且功能选择过程的结果CAN可以解决。不稳定。已经研究了特征选择合奏，该合奏汇总了多个单个基础特征选择器的结果，已被研究为稳定特征选择结果的一种手段，但不能解决相关特征的问题。我们提出了一个新颖的框架，可以从多元特征选择器中创建特征选择集合，同时考虑了相关特征组产生的偏差，并在预处理步骤中使用团聚层次聚类。这些方法从阿尔茨海默氏病（AD）的研究中应用于两个现实世界数据集，这是一种尚未治愈且尚未完全了解的进行性神经退行性疾病。我们的结果表明，在没有聚类的情况下选择在模型中选择的功能的稳定性有明显的改善，并且这些模型选择的功能与广告文献中的发现保持一致。

Recent developments in the methods of explainable AI (XAI) methods allow researchers to explore the inner workings of deep neural networks (DNNs), revealing crucial information about input-output relationships and realizing how data connects with machine learning models. In this paper we explore interpretability of DNN models designed to identify jets coming from top quark decay in high energy proton-proton collisions at the Large Hadron Collider (LHC). We review a subset of existing top tagger models and explore different quantitative methods to identify which features play the most important roles in identifying the top jets. We also investigate how and why feature importance varies across different XAI metrics, how feature correlations impact their explainability, and how latent space representations encode information as well as correlate with physically meaningful quantities. Our studies uncover some major pitfalls of existing XAI methods and illustrate how they can be overcome to obtain consistent and meaningful interpretation of these models. We additionally illustrate the activity of hidden layers as Neural Activation Pattern (NAP) diagrams and demonstrate how they can be used to understand how DNNs relay information across the layers and how this understanding can help to make such models significantly simpler by allowing effective model reoptimization and hyperparameter tuning. By incorporating observations from the interpretability studies, we obtain state-of-the-art top tagging performance from augmented implementation of existing network

捕获基于协变量的多变量响应载体之间的条件协方差或相关性对于包括神经科学，流行病学和生物医学在内的各个领域很重要。我们提出了一种新方法，称为随机森林（covregrf），以使用随机森林框架估算一个多变量响应的协方差矩阵。随机林木的建造具有专门设计的分裂规则，以最大化儿童节点的样本协方差矩阵估计值之间的差异。我们还提出了对协变量子集的部分效应的显着性检验。我们通过一项模拟研究评估了提出的方法和显着性测试的性能，该研究表明该方法提供了准确的协方差矩阵估计值，并且Type-1误差得到了很好的控制。我们还证明了该方法与甲状腺疾病数据集的应用。

近年来，由于其在分析复杂的数据集（例如成像，遗传学，气候和医学数据）方面，深度学习一直是几乎所有学科的关注主题。虽然大多数开发被视为黑盒机器，但人们对适用于广泛应用程序的可解释，可靠和健壮的深度学习模型产生了越来越多的兴趣。事实证明，特征选择的深度学习在这方面是有希望的。但是，除了高噪声水平外，最近的发展并未解决超高维度和高度相关特征选择的情况。在本文中，我们提出了一种新颖的筛查和清洁策略，并在深度学习的帮助下，以控制错误率的高度相关预测指标的集群级别的发现。对广泛的模拟场景进行了彻底的经验评估，通过实现高功率，同时具有最少的错误发现，证明了该方法的有效性。此外，我们在理解与核黄素生产的遗传关联的背景下，在核黄素（维生素$ b_2 $）生产数据集中实施了算法。与其他最新方法相比，通过达到较低的预测误差来说明所提出的方法的增益。

本文研究了与可解释的AI（XAI）实践有关的两个不同但相关的问题。机器学习（ML）在金融服务中越来越重要，例如预批准，信用承销，投资以及各种前端和后端活动。机器学习可以自动检测培训数据中的非线性和相互作用，从而促进更快，更准确的信用决策。但是，机器学习模型是不透明的，难以解释，这是建立可靠技术所需的关键要素。该研究比较了各种机器学习模型，包括单个分类器（逻辑回归，决策树，LDA，QDA），异质集合（Adaboost，随机森林）和顺序神经网络。结果表明，整体分类器和神经网络的表现优于表现。此外，使用基于美国P2P贷款平台Lending Club提供的开放式访问数据集评估了两种先进的事后不可解释能力 - 石灰和外形来评估基于ML的信用评分模型。对于这项研究，我们还使用机器学习算法来开发新的投资模型，并探索可以最大化盈利能力同时最大程度地降低风险的投资组合策略。

在机器学习的许多应用中，不可避免的值是不可避免的，并且在培训和测试时都提出了挑战。当反复出现的模式中缺少变量时，已经提出了单独的图案子模型作为解决方案。但是，独立模型并不能有效利用所有可用数据。相反，将共享模型拟合到完整数据集通常取决于插补，而当丢失度取决于未观察到的因素时，这可能是次优的。我们提出了一种替代方法，称为共享模式子模型，该方法做出了a）在测试时对缺失值的强大预测，b）维持或提高模式子模型的预测能力，c）有一个简短的描述，可改善可解释性。我们确定共享是最佳的情况，即使缺失本身具有预测性以及预测目标取决于未观察到的变量。关于合成数据和两个医疗保健数据集的分类和回归实验表明，我们的模型在模式专业化和信息共享之间实现了良好的权衡。

基于树的算法，如随机森林和渐变增强树，继续成为多学科最受欢迎和强大的机器学习模型之一。估计基于树模型中特征的影响的传统智慧是测量\脑缩小{节目减少损失函数}，（i）仅收集全球重要性措施和（ii）遭受严重影响偏见。条件特征贡献（CFC）通过遵循决策路径并将模型的预期输出的更改归因于路径的每个功能，提供对预测的\ yourceit {local}，逐个案例说明。但是，Lundberg等人。指出了CFC的潜在偏见，这取决于与树根的距离。现在是现在非常受欢迎的替代方案，福芙添加剂解释（Shap）值似乎减轻了这种偏差，但计算得多更昂贵。在这里，我们有助于对两种公开可用的分类问题的两种方法计算的解释进行了彻底的比较，以便向当前研究人员提供数据驱动算法的建议。对于随机森林，我们发现本地和全球形状值和CFC分数的极高相似之处和相关性，导致非常相似的排名和解释。类似的结论对于使用全局特征重要性分数的保真度作为与每个特征相关的预测电力的代理。

医疗保健数据集对机器学习和统计数据都带来了许多挑战，因为它们的数据通常是异质的，审查的，高维的，并且缺少信息。特征选择通常用于识别重要功能，但是当应用于高维数据时，可以产生不稳定的结果，从而在每次迭代中选择一组不同的功能。通过使用特征选择合奏，可以改善特征选择的稳定性，该合奏汇总了多个基本特征选择器的结果。必须将阈值应用于最终的聚合功能集，以将相关功能与冗余功能分开。通常应用的固定阈值不保证最终选定功能仅包含相关功能。这项工作开发了几个数据驱动的阈值，以自动识别集合功能选择器中的相关特征，并评估其预测精度和稳定性。为了证明这些方法对临床数据的适用性，它们被应用于来自两个现实世界中阿尔茨海默氏病（AD）研究的数据。 AD是一种没有已知治愈方法的进行性神经退行性疾病，至少在明显症状出现之前的2-3年开始，为研究人员提供了一个机会，可以鉴定出可能识别有患AD风险的患者的早期生物标志物。通过将这些方法应用于两个数据集来标识的功能反映了广告文献中的当前发现。