大型强子撞机的不稳定沉重粒子的创造是解决物理学中最深处的最深处的最直接方式。碰撞通常产生可变尺寸的观察粒子，其具有固有的歧义，使观察到的颗粒的分配复杂于重质颗粒的腐烂产物。在物理界解决这些挑战的当前策略忽略了腐烂产品的物理对称，并考虑所有可能的分配排列，并不扩展到复杂的配置。基于注意的序列建模的深度学习方法在自然语言处理中取得了最先进的性能，但它们缺乏内置机制来处理物理集分配问题中发现的独特对称性。我们介绍了一种建构对称保护的新方法，用于保护对称保护的网络，反映问题的自然侵略者，以有效地找到任务而不评估所有排列。这种通用方法适用于任意复杂的配置，并且显着优于当前方法，提高了在典型的基准问题上的19 \％-35 \％之间的重建效率，同时在最复杂的事件上将推理时间减少两到五个数量级，使得许多重要和以前顽固的病例易腐烂。包含常规库的完整代码存储库，使用的特定配置和完整的数据集发布，是在https://github.com/alexanders101/spanet的avawaiable

在大型强子对撞机上大量生产的顶级夸克，具有复杂的探测器签名，需要特殊的重建技术。最常见的衰减模式是“全杰”频道，导致6月份的最终状态，由于可能的排列数量大量，因此在$ pp $碰撞中尤其难以重建。我们使用广义注意机制基于神经网络提出了一种新的问题，我们称之为对称性保留注意力网络（SPA-NET）。我们训练一个这样的网络，以明确地识别每个顶级夸克的衰减产品，而无需组合爆炸作为该技术的力量的一个例子。这种方法大大优于现有的最新方法，正确分配了所有喷气机，以$ 93.0％的价格分配了所有喷气机$ 6 $ -JET，$ 87.8％的$ 7 $ -JET $和$ 82.6％的$ \ geq 8 $ -JET活动。

在2015年和2019年之间，地平线的成员2020年资助的创新培训网络名为“Amva4newphysics”，研究了高能量物理问题的先进多变量分析方法和统计学习工具的定制和应用，并开发了完全新的。其中许多方法已成功地用于提高Cern大型Hadron撞机的地图集和CMS实验所执行的数据分析的敏感性;其他几个人，仍然在测试阶段，承诺进一步提高基本物理参数测量的精确度以及新现象的搜索范围。在本文中，在研究和开发的那些中，最相关的新工具以及对其性能的评估。

我们描述了作为黑暗机器倡议和LES Houches 2019年物理学研讨会进行的数据挑战的结果。挑战的目标是使用无监督机器学习算法检测LHC新物理学的信号。首先，我们提出了如何实现异常分数以在LHC搜索中定义独立于模型的信号区域。我们定义并描述了一个大型基准数据集，由> 10亿美元的Muton-Proton碰撞，其中包含> 10亿美元的模拟LHC事件组成。然后，我们在数据挑战的背景下审查了各种异常检测和密度估计算法，我们在一组现实分析环境中测量了它们的性能。我们绘制了一些有用的结论，可以帮助开发无监督的新物理搜索在LHC的第三次运行期间，并为我们的基准数据集提供用于HTTPS://www.phenomldata.org的未来研究。重现分析的代码在https://github.com/bostdiek/darkmachines-unsupervisedChallenge提供。

机器学习在加强和加速寻求新基本物理学方面发挥着至关重要的作用。我们审查了新物理学的机器学习方法和应用中，在地面高能量物理实验的背景下，包括大型强子撞机，罕见的事件搜索和中微生实验。虽然机器学习在这些领域拥有悠久的历史，但深入学习革命（2010年代初）就研究的范围和雄心而产生了定性转变。这些现代化的机器学习发展是本综述的重点。

喷气标记是粒子物理学中的一项关键但具有挑战性的分类任务。尽管深度学习已经改变了喷气标记并显着提高了性能，但缺乏大规模的公共数据集阻碍了进一步的增强。在这项工作中，我们提出了JetClass，这是一种用于喷气标记的新综合数据集。 JETCLASS数据集由100 M喷气机组成，比现有公共数据集大约两个数量级。总共模拟了10种类型的喷气机，包括到目前为止未探索用于标记的几种类型。基于大型数据集，我们提出了一种用于喷射标记的新的基于变压器的体系结构，称为“粒子变压器”（部分）。通过将成对的粒子相互作用纳入注意机制，部分可以达到比普通变压器更高的标记性能，并超过了先前最新的颗粒，颗粒的幅度很大。一旦进行了微调，预先训练的零件模型也大大提高了两个广泛采用的喷气标记基准的性能。数据集，代码和模型可在https://github.com/jet-universe/particle_transformer上公开获得。

在这项工作中，我们提出了一种神经方法，用于重建描述层次相互作用的生根树图，使用新颖的表示，我们将其称为最低的共同祖先世代（LCAG）矩阵。这种紧凑的配方等效于邻接矩阵，但是如果直接使用邻接矩阵，则可以单独从叶子中学习树的结构，而无需先前的假设。因此，采用LCAG启用了第一个端到端的可训练解决方案，该解决方案仅使用末端树叶直接学习不同树大小的层次结构。在高能量粒子物理学的情况下，粒子衰减形成了分层树结构，只能通过实验观察到最终产物，并且可能的树的大型组合空间使分析溶液变得很棘手。我们证明了LCAG用作使用变压器编码器和神经关系编码器编码器图神经网络的模拟粒子物理衰减结构的任务。采用这种方法，我们能够正确预测LCAG纯粹是从叶子特征中的LCAG，最大树深度为$ 8 $ in $ 92.5 \％\％的树木箱子，最高$ 6 $叶子（包括）和$ 59.7 \％\％\％\％的树木$在我们的模拟数据集中$ 10 $。

Many current approaches to machine learning in particle physics use generic architectures that require large numbers of parameters and disregard underlying physics principles, limiting their applicability as scientific modeling tools. In this work, we present a machine learning architecture that uses a set of inputs maximally reduced with respect to the full 6-dimensional Lorentz symmetry, and is fully permutation-equivariant throughout. We study the application of this network architecture to the standard task of top quark tagging and show that the resulting network outperforms all existing competitors despite much lower model complexity. In addition, we present a Lorentz-covariant variant of the same network applied to a 4-momentum regression task.

Pre-publication draft of a book to be published byMorgan & Claypool publishers. Unedited version released with permission. All relevant copyrights held by the author and publisher extend to this pre-publication draft.

我们使用神经网络研究几种简化的暗物质（DM）模型及其在LHC的签名。我们专注于通常的单声角加上缺失的横向能量通道，但要训练算法我们在2D直方图中组织数据而不是逐个事件阵列。这导致较大的性能提升，以区分标准模型（SM）和SM以及新物理信号。我们使用KineMatic单速仪功能作为输入数据，允许我们描述具有单个数据示例的模型的系列。我们发现神经网络性能不依赖于模拟的后台事件数量，如果它们作为$ s / \ sqrt {b} $函数呈现，其中$ s $和$ b $是信号和背景的数量每直方图的事件分别。这提供了对方法的灵活性，因为在这种情况下测试特定模型只需要了解新物理单次横截面。此外，我们还在关于真实DM性质的错误假设下讨论网络性能。最后，我们提出了多模型分类器以更普遍的方式搜索和识别新信号，对于下一个LHC运行。

在背景主导的情况下，通过机器学习和信号和背景之间的可观察者之间的高度重叠来调查LHC在LHC的新物理搜索的敏感性。我们使用两种不同的型号，XGBoost和深度神经网络，利用可观察到之间的相关性，并将这种方法与传统的切割方法进行比较。我们认为不同的方法来分析模型的输出，发现模板拟合通常比简单的切割更好地执行。通过福芙氏分解，我们可以额外了解事件运动学与机器学习模型输出之间的关系。我们认为具有亚霉素的超对称场景作为一个具体示例，但方法可以应用于更广泛的超对称模型。

生成网络正在LHC的快速事件生成中打开新的途径。我们展示了生成的流量网络如何达到运动分布的百分比精度，如何与鉴别器共同培训，以及该鉴别者如何提高生成。我们的联合培训依赖于两种网络的新耦合，这些网络不需要纳什均衡。然后，我们通过贝叶斯网络设置和通过条件数据增强来估计生成的不确定性，而鉴别者确保与培训数据相比没有系统不一致。

我们介绍了Netket的版本3，机器学习工具箱适用于许多身体量子物理学。Netket围绕神经网络量子状态构建，并为其评估和优化提供有效的算法。这个新版本是基于JAX的顶部，一个用于Python编程语言的可差分编程和加速的线性代数框架。最重要的新功能是使用机器学习框架的简明符号来定义纯Python代码中的任意神经网络ANS \“凝固的可能性，这允许立即编译以及渐变的隐式生成自动化。Netket 3还带来了GPU和TPU加速器的支持，对离散对称组的高级支持，块以缩放多程度的自由度，Quantum动态应用程序的驱动程序，以及改进的模块化，允许用户仅使用部分工具箱是他们自己代码的基础。

这本数字本书包含在物理模拟的背景下与深度学习相关的一切实际和全面的一切。尽可能多，所有主题都带有Jupyter笔记本的形式的动手代码示例，以便快速入门。除了标准的受监督学习的数据中，我们将看看物理丢失约束，更紧密耦合的学习算法，具有可微分的模拟，以及加强学习和不确定性建模。我们生活在令人兴奋的时期：这些方法具有从根本上改变计算机模拟可以实现的巨大潜力。

AutoEncoders在异常检测中具有高能物理学中的有用应用，特别是对于喷气机 - 在碰撞中产生的颗粒的准直淋浴，例如Cern大型强子撞机的碰撞。我们探讨了基于图形的AutoEncoders，它们在其“粒子云”表示中的喷射器上运行，并且可以在喷气机内的粒子中利用相互依存的依赖性，用于这种任务。另外，我们通过图形神经网络对能量移动器的距离开发可差的近似，这随后可以用作自动化器的重建损耗函数。

罕见的事件搜索使我们能够通过利用专门的大型探测器来搜索无法与其他方式无法访问的新物理学。机器学习提供了一种新工具来最大化这些检测器提供的信息。信息很少，这迫使这些算法从最低级别的数据开始，并利用检测器中的所有对称性来产生结果。在这项工作中，我们提出了Kamnet，该Kamnet在几何深度学习和时空数据分析中实现了突破，以最大程度地提高Kamland-Zen的物理范围，Kamland-Zen是kiloton量表球形液体闪烁体检测器，以寻找中微子的中微子双β衰减（$ 0 \ beta \ beta \ beta \ beta $） 。使用Kamland的简化背景模型，我们表明Kamnet在基准MC模拟上以较高的鲁棒性水平优于常规CNN。然后，我们使用模拟数据，证明了Kamnet将Kamland-Zen的敏感性提高到$ 0 \ nu \ beta \ beta \ beta $和$ 0 \ nu \ beta \ beta \ beta $的能力。这项工作的一个关键组成部分是增加了注意机制来阐明基础物理Kamnet用于背景排斥。

In this article, we use artificial intelligence algorithms to show how to enhance the resolution of the elementary particle track fitting in inhomogeneous dense detectors, such as plastic scintillators. We use deep learning to replace more traditional Bayesian filtering methods, drastically improving the reconstruction of the interacting particle kinematics. We show that a specific form of neural network, inherited from the field of natural language processing, is very close to the concept of a Bayesian filter that adopts a hyper-informative prior. Such a paradigm change can influence the design of future particle physics experiments and their data exploitation.

深度学习方法正在成为高能量物理（HEP）中数据分析的首选方法。尽管如此，大多数以物理启发的现代体系结构在计算上效率低下，缺乏解释性。JET标记算法尤其如此，考虑到现代粒子探测器产生的大量数据，计算效率至关重要。在这项工作中，我们为喷气式代表介绍了一个新颖，多功能和透明的框架。Lorentz Group Boosts不变，这在喷气标记基准测试基准方面具有很高的精度，同时比其他现代方法更快地训练和评估了训练和评估。

Recent developments in the methods of explainable AI (XAI) methods allow researchers to explore the inner workings of deep neural networks (DNNs), revealing crucial information about input-output relationships and realizing how data connects with machine learning models. In this paper we explore interpretability of DNN models designed to identify jets coming from top quark decay in high energy proton-proton collisions at the Large Hadron Collider (LHC). We review a subset of existing top tagger models and explore different quantitative methods to identify which features play the most important roles in identifying the top jets. We also investigate how and why feature importance varies across different XAI metrics, how feature correlations impact their explainability, and how latent space representations encode information as well as correlate with physically meaningful quantities. Our studies uncover some major pitfalls of existing XAI methods and illustrate how they can be overcome to obtain consistent and meaningful interpretation of these models. We additionally illustrate the activity of hidden layers as Neural Activation Pattern (NAP) diagrams and demonstrate how they can be used to understand how DNNs relay information across the layers and how this understanding can help to make such models significantly simpler by allowing effective model reoptimization and hyperparameter tuning. By incorporating observations from the interpretability studies, we obtain state-of-the-art top tagging performance from augmented implementation of existing network

神经网络和量子蒙特卡罗方法的组合作为前进的高精度电子结构计算的道路出现。以前的建议具有组合具有反对称层的增强的神经网络层，以满足电子波技的反对称要求。但是，迄今为止，如果可以代表物理兴趣的反对称功能，则不清楚尚不清楚，并且难以测量反对称层的富有效果。这项工作通过将明确的防视通用神经网络层作为诊断工具引入明确的防视通用神经网络层来解决这个问题。我们首先介绍一种通用的反对二手（GA）层，我们用于更换称为FEMINET的高精度ANSATZ的整个防反对二层层。我们证明所得到的FERMINET-GA架构可以有效地产生小型系统的确切地位能量。然后，我们考虑一种分解的反对称（FA）层，其通过替换具有反对称神经网络的产品的决定因素的产品更易于推广FERMINET。有趣的是，由此产生的FERMINET-FA架构并不优于FERMINET。这表明抗体产品的总和是Ferminet架构的关键限制方面。为了进一步探索这一点，我们研究了称为全决定性模式的FERMINET的微小修改，其用单一组合的决定蛋白取代了决定因素的每个产物。完整的单决定性Ferminet封闭标准单决定性Ferminet和Ferminet-Ga之间的大部分间隙。令人惊讶的是，在4.0 BoHR的解离键长度的氮素分子上，全单决定性Ferminet可以显着优于标准的64个决定性Ferminet，从而在0.4千卡/摩尔中获得最佳可用计算基准的能量。