AutoEncoders在异常检测中具有高能物理学中的有用应用，特别是对于喷气机 - 在碰撞中产生的颗粒的准直淋浴，例如Cern大型强子撞机的碰撞。我们探讨了基于图形的AutoEncoders，它们在其“粒子云”表示中的喷射器上运行，并且可以在喷气机内的粒子中利用相互依存的依赖性，用于这种任务。另外，我们通过图形神经网络对能量移动器的距离开发可差的近似，这随后可以用作自动化器的重建损耗函数。

There has been significant work recently in developing machine learning models in high energy physics (HEP), for tasks such as classification, simulation, and anomaly detection. Typically, these models are adapted from those designed for datasets in computer vision or natural language processing without necessarily incorporating inductive biases suited to HEP data, such as respecting its inherent symmetries. Such inductive biases can make the model more performant and interpretable, and reduce the amount of training data needed. To that end, we develop the Lorentz group autoencoder (LGAE), an autoencoder model equivariant with respect to the proper, orthochronous Lorentz group $\mathrm{SO}^+(3,1)$, with a latent space living in the representations of the group. We present our architecture and several experimental results on jets at the LHC and find it significantly outperforms a non-Lorentz-equivariant graph neural network baseline on compression and reconstruction, and anomaly detection. We also demonstrate the advantage of such an equivariant model in analyzing the latent space of the autoencoder, which can have a significant impact on the explainability of anomalies found by such black-box machine learning models.

我们描述了作为黑暗机器倡议和LES Houches 2019年物理学研讨会进行的数据挑战的结果。挑战的目标是使用无监督机器学习算法检测LHC新物理学的信号。首先，我们提出了如何实现异常分数以在LHC搜索中定义独立于模型的信号区域。我们定义并描述了一个大型基准数据集，由> 10亿美元的Muton-Proton碰撞，其中包含> 10亿美元的模拟LHC事件组成。然后，我们在数据挑战的背景下审查了各种异常检测和密度估计算法，我们在一组现实分析环境中测量了它们的性能。我们绘制了一些有用的结论，可以帮助开发无监督的新物理搜索在LHC的第三次运行期间，并为我们的基准数据集提供用于HTTPS://www.phenomldata.org的未来研究。重现分析的代码在https://github.com/bostdiek/darkmachines-unsupervisedChallenge提供。

从限制黑暗部门的暗物质颗粒的生产可能导致许多新颖的实验签名。根据理论的细节，质子 - 质子碰撞中的黑暗夸克生产可能导致颗粒的半衰期：黑暗强度的准直喷雾，其中颗粒碰撞器实验只有一些。实验签名的特征在于，具有与喷射器的可见部件相结合的重建缺失的动量。这种复杂的拓扑对检测器效率低下和错误重建敏感，从而产生人为缺失的势头。通过这项工作，我们提出了一种信号不可知的策略来拒绝普通喷射，并通过异常检测技术鉴定半衰期喷射。具有喷射子结构变量的深度神经自动化器网络作为输入，证明了对分析异常喷射的非常有用。该研究重点介绍了半意射流签名;然而，该技术可以适用于任何新的物理模型，该模型预测来自非SM粒子的喷射器的签名。

通过使用机器学习技术的异常检测已成为一种新型强大的工具，可以在标准模型之外寻找新物理学。从历史上看，与JET可观察物的发展相似，理论一致性并不总是在算法和神经网络体系结构的快速发展中扮演核心角色。在这项工作中，我们通过使用能量加权消息传递来构建基于图神经网络的红外和共线安全自动编码器。我们证明，尽管这种方法具有理论上有利的特性，但它也对非QCD结构表现出强大的敏感性。

无监督的异常检测对于未来在大型数据集中搜索稀有现象的分析可能至关重要，例如在LHC收集的。为此，我们介绍了一个受到物理启发的变量自动编码器（VAE）体系结构，该体系结构在LHC奥运会机器学习挑战数据集中竞争性和稳健性。我们证明了如何将某些物理可观察物直接嵌入VAE潜在空间中，同时使分类器显然是不可知的，可以帮助识别和表征测得的光谱中的特征，这是由于数据集中存在异常而引起的。

对异常检测方法的需求不断增长，可以以模型 - 不可知的方式扩大对新颗粒的搜索。大多数新方法的建议专注于信号灵敏度。但是，选择异常事件是不够的 - 还必须有一个策略来为所选事件提供上下文。我们提出了无监督检测的第一个完整的策略，其包括信号灵敏度和用于背景估计的数据驱动方法。我们的技术由两个同时培训的autoencoders建造，被迫彼此去相关。该方法可以脱机用于非共振异常检测，也是第一个完整的在线兼容的异常检测策略。我们表明，我们的方法在为ADC2021数据挑战准备的各种信号上实现了出色的性能。

机器学习在加强和加速寻求新基本物理学方面发挥着至关重要的作用。我们审查了新物理学的机器学习方法和应用中，在地面高能量物理实验的背景下，包括大型强子撞机，罕见的事件搜索和中微生实验。虽然机器学习在这些领域拥有悠久的历史，但深入学习革命（2010年代初）就研究的范围和雄心而产生了定性转变。这些现代化的机器学习发展是本综述的重点。

We present a detailed study on Variational Autoencoders (VAEs) for anomalous jet tagging at the Large Hadron Collider. By taking in low-level jet constituents' information, and training with background QCD jets in an unsupervised manner, the VAE is able to encode important information for reconstructing jets, while learning an expressive posterior distribution in the latent space. When using the VAE as an anomaly detector, we present different approaches to detect anomalies: directly comparing in the input space or, instead, working in the latent space. In order to facilitate general search approaches such as bump-hunt, mass-decorrelated VAEs based on distance correlation regularization are also studied. We find that the naive mass-decorrelated VAEs fail at maintaining proper detection performance, by assigning higher probabilities to some anomalous samples. To build a performant mass-decorrelated anomalous jet tagger, we propose the Outlier Exposed VAE (OE-VAE), for which some outlier samples are introduced in the training process to guide the learned information. OE-VAEs are employed to achieve two goals at the same time: increasing sensitivity of outlier detection and decorrelating jet mass from the anomaly score. We succeed in reaching excellent results from both aspects. Code implementation of this work can be found at https://github.com/taolicheng/VAE-Jet

在2015年和2019年之间，地平线的成员2020年资助的创新培训网络名为“Amva4newphysics”，研究了高能量物理问题的先进多变量分析方法和统计学习工具的定制和应用，并开发了完全新的。其中许多方法已成功地用于提高Cern大型Hadron撞机的地图集和CMS实验所执行的数据分析的敏感性;其他几个人，仍然在测试阶段，承诺进一步提高基本物理参数测量的精确度以及新现象的搜索范围。在本文中，在研究和开发的那些中，最相关的新工具以及对其性能的评估。

In collider-based particle and nuclear physics experiments, data are produced at such extreme rates that only a subset can be recorded for later analysis. Typically, algorithms select individual collision events for preservation and store the complete experimental response. A relatively new alternative strategy is to additionally save a partial record for a larger subset of events, allowing for later specific analysis of a larger fraction of events. We propose a strategy that bridges these paradigms by compressing entire events for generic offline analysis but at a lower fidelity. An optimal-transport-based $\beta$ Variational Autoencoder (VAE) is used to automate the compression and the hyperparameter $\beta$ controls the compression fidelity. We introduce a new approach for multi-objective learning functions by simultaneously learning a VAE appropriate for all values of $\beta$ through parameterization. We present an example use case, a di-muon resonance search at the Large Hadron Collider (LHC), where we show that simulated data compressed by our $\beta$-VAE has enough fidelity to distinguish distinct signal morphologies.

Recently methods of graph neural networks (GNNs) have been applied to solving the problems in high energy physics (HEP) and have shown its great potential for quark-gluon tagging with graph representation of jet events. In this paper, we introduce an approach of GNNs combined with a HaarPooling operation to analyze the events, called HaarPooling Message Passing neural network (HMPNet). In HMPNet, HaarPooling not only extract the features of graph, but also embed additional information obtained by clustering of k-means of different particle observables. We construct Haarpooling from three different observables: absolute energy $\log E$, transverse momentum $\log p_T$ , and relative coordinates $(\Delta\eta,\Delta\phi)$, then discuss their impacts on the tagging and compare the results with those obtained via MPNN and ParticleNet (PN). The results show that an appropriate selection of information for HaarPooling enhance the accuracy of quark-gluon tagging, for adding extra information of $\log P_T$ to the HMPNet outperforms all the others, meanwhile adding relative coordinates information $(\Delta\eta,\Delta\phi)$ is not very beneficial.

许多完善的异常检测方法使用样本到其本地附近的距离：所谓的“本地异常值”，例如LOF和DBSCAN。它们是他们在许多实际应用中的非结构化，基于功能的数据上的简单原则和强大性能的欢迎和强大的性能。但是，由于它们缺乏培训参数，他们无法学会适应特定的数据集。在本文中，我们首先统一本地异常方法，通过表明它们是图形神经网络中使用的更通用消息传递框架的特定情况。这使我们能够以神经网络的形式将可读性引入本地异常值方法，以获得更大的灵活性和表现：特别是，我们提出了新颖的基于图形神经网络的异常检测方法。 Lunar学会以可训练方式使用来自每个节点的最近邻居的信息来查找异常。我们表明，我们的方法比现有的本地异常值方法更好地表现出来，以及最先进的深线。我们还表明，我们的方法的性能更加强大，对本地邻域大小的不同设置更加强大。

Many current approaches to machine learning in particle physics use generic architectures that require large numbers of parameters and disregard underlying physics principles, limiting their applicability as scientific modeling tools. In this work, we present a machine learning architecture that uses a set of inputs maximally reduced with respect to the full 6-dimensional Lorentz symmetry, and is fully permutation-equivariant throughout. We study the application of this network architecture to the standard task of top quark tagging and show that the resulting network outperforms all existing competitors despite much lower model complexity. In addition, we present a Lorentz-covariant variant of the same network applied to a 4-momentum regression task.

最近的工作已经证明了图形神经网络（GNN）等几何深度学习方法非常适合于在高能粒子物理学中解决各种重建问题。特别地，粒子跟踪数据通过识别硅跟踪器命中作为节点和粒子轨迹作为边缘来自然表示为曲线图;给定一组假设的边缘，边缘分类GNN标识与真实粒子轨迹相对应的那些。在这项工作中，我们将物理激励的相互作用网络（IN）GNN调整为与高亮度大强子撞机的预期相似的填充条件中的粒子跟踪问题。假设在各种粒子矩阈值下进行理想化的击中过滤，我们通过在基于GNN的跟踪的每个阶段进行了一系列测量来展示了优异的边缘分类精度和跟踪效率：图形结构，边缘分类和轨道建筑。建议的建筑基本上比以前研究的GNN跟踪架构小幅小;这尤其希望，因为大小的减小对于在受约束的计算环境中实现基于GNN的跟踪至关重要。此外，可以将其表示为一组显式矩阵操作或传递GNN的消息。正在进行努力，以通过异构计算资源朝向高级和低延迟触发应用程序加速每个表示。

了解晕星连接是基本的，以提高我们对暗物质的性质和性质的知识。在这项工作中，我们构建一个模型，鉴于IT主机的星系的位置，速度，恒星群体和半径的位置。为了捕获来自星系属性的相关性及其相位空间的相关信息，我们使用图形神经网络（GNN），该网络设计用于使用不规则和稀疏数据。我们从宇宙学和天体物理学中培训了我们在Galaxies上的模型，从宇宙学和天体物理学与机器学习模拟（骆驼）项目。我们的模型，占宇宙学和天体物理的不确定性，能够用$ \ SIM 0.2欧元的准确度来限制晕群。此外，在一套模拟上培训的GNN能够在用利用不同的代码的模拟上进行测试时保留其精度的一部分精度。 GNN的Pytorch几何实现在HTTPS://github.com/pablovd/halographnet上公开可用于github上

我们介绍了基于深频自动化器的异常检测技术在激光干涉仪中检测重力波信号的问题。在噪声数据上接受训练，这类算法可以使用无监督的策略来检测信号，即，不瞄准特定类型的来源。我们开发了自定义架构，以分析来自两个干涉仪的数据。我们将所获得的性能与其他AutoEncoder架构和卷积分类器进行比较。与更传统的监督技术相比，拟议战略的无监督性质在准确性方面具有成本。另一方面，在预先计算信号模板的集合之外，存在定性增益。经常性AutoEncoder超越基于不同架构的其他AutoEncoder。本文呈现的复发性自动额片的类可以补充用于引力波检测的搜索策略，并延长正在进行的检测活动的范围。

在这项工作中，我们提出了一种神经方法，用于重建描述层次相互作用的生根树图，使用新颖的表示，我们将其称为最低的共同祖先世代（LCAG）矩阵。这种紧凑的配方等效于邻接矩阵，但是如果直接使用邻接矩阵，则可以单独从叶子中学习树的结构，而无需先前的假设。因此，采用LCAG启用了第一个端到端的可训练解决方案，该解决方案仅使用末端树叶直接学习不同树大小的层次结构。在高能量粒子物理学的情况下，粒子衰减形成了分层树结构，只能通过实验观察到最终产物，并且可能的树的大型组合空间使分析溶液变得很棘手。我们证明了LCAG用作使用变压器编码器和神经关系编码器编码器图神经网络的模拟粒子物理衰减结构的任务。采用这种方法，我们能够正确预测LCAG纯粹是从叶子特征中的LCAG，最大树深度为$ 8 $ in $ 92.5 \％\％的树木箱子，最高$ 6 $叶子（包括）和$ 59.7 \％\％\％\％的树木$在我们的模拟数据集中$ 10 $。

图形离群值检测是一项具有许多应用程序的新兴但至关重要的机器学习任务。尽管近年来算法扩散，但缺乏标准和统一的绩效评估设置限制了它们在现实世界应用中的进步和使用。为了利用差距，我们（据我们所知）（据我们所知）第一个全面的无监督节点离群值检测基准为unod，并带有以下亮点：（1）评估骨架从经典矩阵分解到最新图形神经的骨架的14个方法网络； （2）在现实世界数据集上使用不同类型的注射异常值和自然异常值对方法性能进行基准测试； （3）通过在不同尺度的合成图上使用运行时和GPU存储器使用算法的效率和可扩展性。基于广泛的实验结果的分析，我们讨论了当前渠道方法的利弊，并指出了多个关键和有希望的未来研究方向。

与其他图表相比，图形级异常检测（GAD）描述了检测其结构和/或其节点特征的图表的问题。GAD中的一个挑战是制定图表表示，该图表示能够检测本地和全局 - 异常图，即它们的细粒度（节点级）或整体（图级）属性异常的图形，分别。为了解决这一挑战，我们介绍了一种新的深度异常检测方法，用于通过图表和节点表示的联合随机蒸馏学习丰富的全球和局部正常模式信息。通过训练一个GNN来实现随机初始化网络权重的另一GNN来实现随机蒸馏。来自各种域的16个真实图形数据集的广泛实验表明，我们的模型显着优于七种最先进的模型。代码和数据集可以在https://git.io/llocalkd中获得。