Choosing which properties of the data to use as input to multivariate decision algorithms -- a.k.a. feature selection -- is an important step in solving any problem with machine learning. While there is a clear trend towards training sophisticated deep networks on large numbers of relatively unprocessed inputs (so-called automated feature engineering), for many tasks in physics, sets of theoretically well-motivated and well-understood features already exist. Working with such features can bring many benefits, including greater interpretability, reduced training and run time, and enhanced stability and robustness. We develop a new feature selection method based on Distance Correlation (DisCo), and demonstrate its effectiveness on the tasks of boosted top- and $W$-tagging. Using our method to select features from a set of over 7,000 energy flow polynomials, we show that we can match the performance of much deeper architectures, by using only ten features and two orders-of-magnitude fewer model parameters.

Recent developments in the methods of explainable AI (XAI) methods allow researchers to explore the inner workings of deep neural networks (DNNs), revealing crucial information about input-output relationships and realizing how data connects with machine learning models. In this paper we explore interpretability of DNN models designed to identify jets coming from top quark decay in high energy proton-proton collisions at the Large Hadron Collider (LHC). We review a subset of existing top tagger models and explore different quantitative methods to identify which features play the most important roles in identifying the top jets. We also investigate how and why feature importance varies across different XAI metrics, how feature correlations impact their explainability, and how latent space representations encode information as well as correlate with physically meaningful quantities. Our studies uncover some major pitfalls of existing XAI methods and illustrate how they can be overcome to obtain consistent and meaningful interpretation of these models. We additionally illustrate the activity of hidden layers as Neural Activation Pattern (NAP) diagrams and demonstrate how they can be used to understand how DNNs relay information across the layers and how this understanding can help to make such models significantly simpler by allowing effective model reoptimization and hyperparameter tuning. By incorporating observations from the interpretability studies, we obtain state-of-the-art top tagging performance from augmented implementation of existing network

在2015年和2019年之间，地平线的成员2020年资助的创新培训网络名为“Amva4newphysics”，研究了高能量物理问题的先进多变量分析方法和统计学习工具的定制和应用，并开发了完全新的。其中许多方法已成功地用于提高Cern大型Hadron撞机的地图集和CMS实验所执行的数据分析的敏感性;其他几个人，仍然在测试阶段，承诺进一步提高基本物理参数测量的精确度以及新现象的搜索范围。在本文中，在研究和开发的那些中，最相关的新工具以及对其性能的评估。

在背景主导的情况下，通过机器学习和信号和背景之间的可观察者之间的高度重叠来调查LHC在LHC的新物理搜索的敏感性。我们使用两种不同的型号，XGBoost和深度神经网络，利用可观察到之间的相关性，并将这种方法与传统的切割方法进行比较。我们认为不同的方法来分析模型的输出，发现模板拟合通常比简单的切割更好地执行。通过福芙氏分解，我们可以额外了解事件运动学与机器学习模型输出之间的关系。我们认为具有亚霉素的超对称场景作为一个具体示例，但方法可以应用于更广泛的超对称模型。

我们描述了作为黑暗机器倡议和LES Houches 2019年物理学研讨会进行的数据挑战的结果。挑战的目标是使用无监督机器学习算法检测LHC新物理学的信号。首先，我们提出了如何实现异常分数以在LHC搜索中定义独立于模型的信号区域。我们定义并描述了一个大型基准数据集，由> 10亿美元的Muton-Proton碰撞，其中包含> 10亿美元的模拟LHC事件组成。然后，我们在数据挑战的背景下审查了各种异常检测和密度估计算法，我们在一组现实分析环境中测量了它们的性能。我们绘制了一些有用的结论，可以帮助开发无监督的新物理搜索在LHC的第三次运行期间，并为我们的基准数据集提供用于HTTPS://www.phenomldata.org的未来研究。重现分析的代码在https://github.com/bostdiek/darkmachines-unsupervisedChallenge提供。

深度学习方法正在成为高能量物理（HEP）中数据分析的首选方法。尽管如此，大多数以物理启发的现代体系结构在计算上效率低下，缺乏解释性。JET标记算法尤其如此，考虑到现代粒子探测器产生的大量数据，计算效率至关重要。在这项工作中，我们为喷气式代表介绍了一个新颖，多功能和透明的框架。Lorentz Group Boosts不变，这在喷气标记基准测试基准方面具有很高的精度，同时比其他现代方法更快地训练和评估了训练和评估。

机器学习在加强和加速寻求新基本物理学方面发挥着至关重要的作用。我们审查了新物理学的机器学习方法和应用中，在地面高能量物理实验的背景下，包括大型强子撞机，罕见的事件搜索和中微生实验。虽然机器学习在这些领域拥有悠久的历史，但深入学习革命（2010年代初）就研究的范围和雄心而产生了定性转变。这些现代化的机器学习发展是本综述的重点。

从限制黑暗部门的暗物质颗粒的生产可能导致许多新颖的实验签名。根据理论的细节，质子 - 质子碰撞中的黑暗夸克生产可能导致颗粒的半衰期：黑暗强度的准直喷雾，其中颗粒碰撞器实验只有一些。实验签名的特征在于，具有与喷射器的可见部件相结合的重建缺失的动量。这种复杂的拓扑对检测器效率低下和错误重建敏感，从而产生人为缺失的势头。通过这项工作，我们提出了一种信号不可知的策略来拒绝普通喷射，并通过异常检测技术鉴定半衰期喷射。具有喷射子结构变量的深度神经自动化器网络作为输入，证明了对分析异常喷射的非常有用。该研究重点介绍了半意射流签名;然而，该技术可以适用于任何新的物理模型，该模型预测来自非SM粒子的喷射器的签名。

我们使用神经网络研究几种简化的暗物质（DM）模型及其在LHC的签名。我们专注于通常的单声角加上缺失的横向能量通道，但要训练算法我们在2D直方图中组织数据而不是逐个事件阵列。这导致较大的性能提升，以区分标准模型（SM）和SM以及新物理信号。我们使用KineMatic单速仪功能作为输入数据，允许我们描述具有单个数据示例的模型的系列。我们发现神经网络性能不依赖于模拟的后台事件数量，如果它们作为$ s / \ sqrt {b} $函数呈现，其中$ s $和$ b $是信号和背景的数量每直方图的事件分别。这提供了对方法的灵活性，因为在这种情况下测试特定模型只需要了解新物理单次横截面。此外，我们还在关于真实DM性质的错误假设下讨论网络性能。最后，我们提出了多模型分类器以更普遍的方式搜索和识别新信号，对于下一个LHC运行。

特征选择是开发强大而强大的机器学习模型的关键步骤。特征选择技术可以分为两类：过滤器和包装器方法。尽管包装器方法通常会产生强大的预测性能，但它们具有很大的计算复杂性，因此需要大量时间完成，尤其是在处理高维度集合时。或者，滤波器方法的速度要快得多，但是遭受了其他几个缺点，例如（i）需要阈值值，（ii）不考虑特征之间的相互关系，并且（iii）忽略与模型的特征相互作用。为此，我们提出了一种新颖的包装器特征选择方法PowerShap，该方法将统计假设测试和功率计算与Shapley值结合使用，以进行快速和直观的特征选择。 PowerShap建立在核心假设的基础上：与已知的随机功能相比，信息功能将对预测产生更大的影响。基准和仿真表明，PowerShap的表现优于其他过滤器方法，具有与包装器方法相同的预测性能，同时显着更快，甚至达到执行时间的一半或三分之一。因此，PowerShap提供了一种竞争和快速算法，可以在不同域中的各种模型使用。此外，PowerShap是作为插件和开源的Sklearn组件实现的，可以轻松地集成在传统的数据科学管道中。通过提供自动模式，可以自动调整PowerShap算法的超参数，从而进一步增强用户体验，从而可以使用该算法而无需任何配置。

Majorana示威者是一项领先的实验，寻找具有高纯净锗探测器（HPGE）的中性s中性双β衰变。机器学习提供了一种最大化这些检测器提供的信息量的新方法，但是与传统分析相比，数据驱动的性质使其不可解释。一项可解释性研究揭示了机器的决策逻辑，使我们能够从机器中学习以反馈传统分析。在这项工作中，我们介绍了Majorana演示者数据的第一个机器学习分析。这也是对任何锗探测器实验的第一个可解释的机器学习分析。训练了两个梯度增强的决策树模型，以从数据中学习，并进行了基于游戏理论的模型可解释性研究，以了解分类功率的起源。通过从数据中学习，该分析识别重建参数之间的相关性，以进一步增强背景拒绝性能。通过从机器中学习，该分析揭示了新的背景类别对相互利用的标准Majorana分析的重要性。该模型与下一代锗探测器实验（如传说）高度兼容，因为它可以同时在大量探测器上进行训练。

超参数优化构成了典型的现代机器学习工作流程的很大一部分。这是由于这样一个事实，即机器学习方法和相应的预处理步骤通常只有在正确调整超参数时就会产生最佳性能。但是在许多应用中，我们不仅有兴趣仅仅为了预测精度而优化ML管道；确定最佳配置时，必须考虑其他指标或约束，从而导致多目标优化问题。由于缺乏知识和用于多目标超参数优化的知识和容易获得的软件实现，因此通常在实践中被忽略。在这项工作中，我们向读者介绍了多个客观超参数优化的基础知识，并激励其在应用ML中的实用性。此外，我们从进化算法和贝叶斯优化的领域提供了现有优化策略的广泛调查。我们说明了MOO在几个特定ML应用中的实用性，考虑了诸如操作条件，预测时间，稀疏，公平，可解释性和鲁棒性之类的目标。

无论是在功能选择的领域还是可解释的AI领域，都有基于其重要性的“排名”功能的愿望。然后可以将这种功能重要的排名用于：（1）减少数据集大小或（2）解释机器学习模型。但是，在文献中，这种特征排名没有以系统的，一致的方式评估。许多论文都有不同的方式来争论哪些具有重要性排名最佳的特征。本文通过提出一种新的评估方法来填补这一空白。通过使用合成数据集，可以事先知道特征重要性得分，从而可以进行更系统的评估。为了促进使用新方法的大规模实验，在Python建造了一个名为FSEVAL的基准测定框架。该框架允许并行运行实验，并在HPC系统上的计算机上分布。通过与名为“权重和偏见”的在线平台集成，可以在实时仪表板上进行交互探索图表。该软件作为开源软件发布，并在PYPI平台上以包裹发行。该研究结束时，探索了一个这样的大规模实验，以在许多方面找到参与算法的优势和劣势。

尽管机器学习方法已在金融领域广泛使用，但在非常成功的学位上，这些方法仍然可以根据解释性，可比性和可重复性来定制特定研究和不透明。这项研究的主要目的是通过提供一种通用方法来阐明这一领域，该方法是调查 - 不合Snostic且可解释给金融市场从业人员，从而提高了其效率，降低了进入的障碍，并提高了实验的可重复性。提出的方法在两个自动交易平台组件上展示。也就是说，价格水平，众所周知的交易模式和一种新颖的2步特征提取方法。该方法依赖于假设检验，该假设检验在其他社会和科学学科中广泛应用，以有效地评估除简单分类准确性之外的具体结果。提出的主要假设是为了评估所选的交易模式是否适合在机器学习设置中使用。在整个实验中，我们发现在机器学习设置中使用所考虑的交易模式仅由统计数据得到部分支持，从而导致效果尺寸微不足道（反弹7- $ 0.64 \ pm 1.02 $，反弹11 $ 0.38 \ pm 0.98 $，并且篮板15- $ 1.05 \ pm 1.16 $），但允许拒绝零假设。我们展示了美国期货市场工具上的通用方法，并提供了证据表明，通过这种方法，我们可以轻松获得除传统绩效和盈利度指标之外的信息指标。这项工作是最早将这种严格的统计支持方法应用于金融市场领域的工作之一，我们希望这可能是更多研究的跳板。

除了机器学习（ML）模型的令人印象深刻的预测力外，最近还出现了解释方法，使得能够解释诸如深神经网络的复杂非线性学习模型。获得更好的理解尤其重要。对于安全 - 关键的ML应用或医学诊断等。虽然这种可解释的AI（XAI）技术对分类器达到了重大普及，但到目前为止对XAI的重点进行了很少的关注（Xair）。在这篇综述中，我们澄清了XAI对回归和分类任务的基本概念差异，为Xair建立了新的理论见解和分析，为Xair提供了真正的实际回归问题的示范，最后讨论了该领域仍然存在的挑战。

如今，人工智能（AI）已成为临床和远程医疗保健应用程序的基本组成部分，但是最佳性能的AI系统通常太复杂了，无法自我解释。可解释的AI（XAI）技术被定义为揭示系统的预测和决策背后的推理，并且在处理敏感和个人健康数据时，它们变得更加至关重要。值得注意的是，XAI并未在不同的研究领域和数据类型中引起相同的关注，尤其是在医疗保健领域。特别是，许多临床和远程健康应用程序分别基于表格和时间序列数据，而XAI并未在这些数据类型上进行分析，而计算机视觉和自然语言处理（NLP）是参考应用程序。为了提供最适合医疗领域表格和时间序列数据的XAI方法的概述，本文提供了过去5年中文献的审查，说明了生成的解释的类型以及为评估其相关性所提供的努力和质量。具体而言，我们确定临床验证，一致性评估，客观和标准化质量评估以及以人为本的质量评估作为确保最终用户有效解释的关键特征。最后，我们强调了该领域的主要研究挑战以及现有XAI方法的局限性。

最近的机器学习趋势一直是通过解释自己的预测的能力来丰富学习模式。到目前为止，迄今为止，可解释的AI（XAI）的新兴领域主要集中在监督学习，特别是深度神经网络分类器。然而，在许多实际问题中，未给出标签信息，并且目标是发现数据的基础结构，例如，其群集。虽然存在强大的方法来提取数据中的群集结构，但它们通常不会回答为什么已分配给给定群集的某些数据点的原因。我们提出了一种新的框架，它首次以有效可靠的方式在输入特征方面解释群集分配。它基于小说洞察力，即聚类模型可以被重写为神经网络 - 或“神经化”。然后，所获得的网络的集群预测可以快速准确地归因于输入特征。几个陈列室展示了我们的方法评估学习集群质量的能力，并从分析的数据和表示中提取新颖的见解。

The occurrence of vacuum arcs or radio frequency (rf) breakdowns is one of the most prevalent factors limiting the high-gradient performance of normal conducting rf cavities in particle accelerators. In this paper, we search for the existence of previously unrecognized features related to the incidence of rf breakdowns by applying a machine learning strategy to high-gradient cavity data from CERN's test stand for the Compact Linear Collider (CLIC). By interpreting the parameters of the learned models with explainable artificial intelligence (AI), we reverse-engineer physical properties for deriving fast, reliable, and simple rule-based models. Based on 6 months of historical data and dedicated experiments, our models show fractions of data with a high influence on the occurrence of breakdowns. Specifically, it is shown that the field emitted current following an initial breakdown is closely related to the probability of another breakdown occurring shortly thereafter. Results also indicate that the cavity pressure should be monitored with increased temporal resolution in future experiments, to further explore the vacuum activity associated with breakdowns.

Recently methods of graph neural networks (GNNs) have been applied to solving the problems in high energy physics (HEP) and have shown its great potential for quark-gluon tagging with graph representation of jet events. In this paper, we introduce an approach of GNNs combined with a HaarPooling operation to analyze the events, called HaarPooling Message Passing neural network (HMPNet). In HMPNet, HaarPooling not only extract the features of graph, but also embed additional information obtained by clustering of k-means of different particle observables. We construct Haarpooling from three different observables: absolute energy $\log E$, transverse momentum $\log p_T$ , and relative coordinates $(\Delta\eta,\Delta\phi)$, then discuss their impacts on the tagging and compare the results with those obtained via MPNN and ParticleNet (PN). The results show that an appropriate selection of information for HaarPooling enhance the accuracy of quark-gluon tagging, for adding extra information of $\log P_T$ to the HMPNet outperforms all the others, meanwhile adding relative coordinates information $(\Delta\eta,\Delta\phi)$ is not very beneficial.

人工智能（AI）和机器学习（ML）在网络安全挑战中的应用已在行业和学术界的吸引力，部分原因是对关键系统（例如云基础架构和政府机构）的广泛恶意软件攻击。入侵检测系统（IDS）使用某些形式的AI，由于能够以高预测准确性处理大量数据，因此获得了广泛的采用。这些系统托管在组织网络安全操作中心（CSOC）中，作为一种防御工具，可监视和检测恶意网络流，否则会影响机密性，完整性和可用性（CIA）。 CSOC分析师依靠这些系统来决定检测到的威胁。但是，使用深度学习（DL）技术设计的IDS通常被视为黑匣子模型，并且没有为其预测提供理由。这为CSOC分析师造成了障碍，因为他们无法根据模型的预测改善决策。解决此问题的一种解决方案是设计可解释的ID（X-IDS）。这项调查回顾了可解释的AI（XAI）的最先进的ID，目前的挑战，并讨论了这些挑战如何涉及X-ID的设计。特别是，我们全面讨论了黑匣子和白盒方法。我们还在这些方法之间的性能和产生解释的能力方面提出了权衡。此外，我们提出了一种通用体系结构，该建筑认为人类在循环中，该架构可以用作设计X-ID时的指南。研究建议是从三个关键观点提出的：需要定义ID的解释性，需要为各种利益相关者量身定制的解释以及设计指标来评估解释的需求。