Recently methods of graph neural networks (GNNs) have been applied to solving the problems in high energy physics (HEP) and have shown its great potential for quark-gluon tagging with graph representation of jet events. In this paper, we introduce an approach of GNNs combined with a HaarPooling operation to analyze the events, called HaarPooling Message Passing neural network (HMPNet). In HMPNet, HaarPooling not only extract the features of graph, but also embed additional information obtained by clustering of k-means of different particle observables. We construct Haarpooling from three different observables: absolute energy $\log E$, transverse momentum $\log p_T$ , and relative coordinates $(\Delta\eta,\Delta\phi)$, then discuss their impacts on the tagging and compare the results with those obtained via MPNN and ParticleNet (PN). The results show that an appropriate selection of information for HaarPooling enhance the accuracy of quark-gluon tagging, for adding extra information of $\log P_T$ to the HMPNet outperforms all the others, meanwhile adding relative coordinates information $(\Delta\eta,\Delta\phi)$ is not very beneficial.

最近的工作已经证明了图形神经网络（GNN）等几何深度学习方法非常适合于在高能粒子物理学中解决各种重建问题。特别地，粒子跟踪数据通过识别硅跟踪器命中作为节点和粒子轨迹作为边缘来自然表示为曲线图;给定一组假设的边缘，边缘分类GNN标识与真实粒子轨迹相对应的那些。在这项工作中，我们将物理激励的相互作用网络（IN）GNN调整为与高亮度大强子撞机的预期相似的填充条件中的粒子跟踪问题。假设在各种粒子矩阈值下进行理想化的击中过滤，我们通过在基于GNN的跟踪的每个阶段进行了一系列测量来展示了优异的边缘分类精度和跟踪效率：图形结构，边缘分类和轨道建筑。建议的建筑基本上比以前研究的GNN跟踪架构小幅小;这尤其希望，因为大小的减小对于在受约束的计算环境中实现基于GNN的跟踪至关重要。此外，可以将其表示为一组显式矩阵操作或传递GNN的消息。正在进行努力，以通过异构计算资源朝向高级和低延迟触发应用程序加速每个表示。

通过使用机器学习技术的异常检测已成为一种新型强大的工具，可以在标准模型之外寻找新物理学。从历史上看，与JET可观察物的发展相似，理论一致性并不总是在算法和神经网络体系结构的快速发展中扮演核心角色。在这项工作中，我们通过使用能量加权消息传递来构建基于图神经网络的红外和共线安全自动编码器。我们证明，尽管这种方法具有理论上有利的特性，但它也对非QCD结构表现出强大的敏感性。

AutoEncoders在异常检测中具有高能物理学中的有用应用，特别是对于喷气机 - 在碰撞中产生的颗粒的准直淋浴，例如Cern大型强子撞机的碰撞。我们探讨了基于图形的AutoEncoders，它们在其“粒子云”表示中的喷射器上运行，并且可以在喷气机内的粒子中利用相互依存的依赖性，用于这种任务。另外，我们通过图形神经网络对能量移动器的距离开发可差的近似，这随后可以用作自动化器的重建损耗函数。

我们描述了作为黑暗机器倡议和LES Houches 2019年物理学研讨会进行的数据挑战的结果。挑战的目标是使用无监督机器学习算法检测LHC新物理学的信号。首先，我们提出了如何实现异常分数以在LHC搜索中定义独立于模型的信号区域。我们定义并描述了一个大型基准数据集，由> 10亿美元的Muton-Proton碰撞，其中包含> 10亿美元的模拟LHC事件组成。然后，我们在数据挑战的背景下审查了各种异常检测和密度估计算法，我们在一组现实分析环境中测量了它们的性能。我们绘制了一些有用的结论，可以帮助开发无监督的新物理搜索在LHC的第三次运行期间，并为我们的基准数据集提供用于HTTPS://www.phenomldata.org的未来研究。重现分析的代码在https://github.com/bostdiek/darkmachines-unsupervisedChallenge提供。

我们介绍了一种从电磁（EM）采样量热计收集的数据重建多个淋浴的第一算法。这种探测器广泛用于高能量物理中，以测量进入粒子的能量和运动学。在这项工作中，我们考虑许多电子通过乳液云室（ECC）砖的情况，启动电子诱导的电磁淋浴，这可以是长曝光时间或大输入粒子通量的情况。例如，船舶实验计划使用乳液检测器进行暗物质搜索和中微子物理调查。船舶实验的预期完整通量约为10 ^ 20颗粒。为了降低与替换ECC砖和离线数据的实验的成本（乳液扫描），决定增加暴露时间。因此，我们希望观察大量重叠阵雨，将EM淋浴重建变为挑战的点云分割问题。我们的重建管线包括图形神经网络，其预测邻接矩阵和聚类算法。我们提出了一种新的层型（乳液CONV），其考虑了ECC砖中淋浴开发的几何特性。对于重叠阵雨的聚类，我们使用修改后的基于分层密度的聚类算法。我们的方法不使用有关进入粒子的任何先前信息，并识别乳液检测器中的高达87％的电磁淋浴。用于重建电磁淋浴的算法的主要测试台将是SND @ LHC。

在2015年和2019年之间，地平线的成员2020年资助的创新培训网络名为“Amva4newphysics”，研究了高能量物理问题的先进多变量分析方法和统计学习工具的定制和应用，并开发了完全新的。其中许多方法已成功地用于提高Cern大型Hadron撞机的地图集和CMS实验所执行的数据分析的敏感性;其他几个人，仍然在测试阶段，承诺进一步提高基本物理参数测量的精确度以及新现象的搜索范围。在本文中，在研究和开发的那些中，最相关的新工具以及对其性能的评估。

了解晕星连接是基本的，以提高我们对暗物质的性质和性质的知识。在这项工作中，我们构建一个模型，鉴于IT主机的星系的位置，速度，恒星群体和半径的位置。为了捕获来自星系属性的相关性及其相位空间的相关信息，我们使用图形神经网络（GNN），该网络设计用于使用不规则和稀疏数据。我们从宇宙学和天体物理学中培训了我们在Galaxies上的模型，从宇宙学和天体物理学与机器学习模拟（骆驼）项目。我们的模型，占宇宙学和天体物理的不确定性，能够用$ \ SIM 0.2欧元的准确度来限制晕群。此外，在一套模拟上培训的GNN能够在用利用不同的代码的模拟上进行测试时保留其精度的一部分精度。 GNN的Pytorch几何实现在HTTPS://github.com/pablovd/halographnet上公开可用于github上

在这项工作中，我们提出了一种神经方法，用于重建描述层次相互作用的生根树图，使用新颖的表示，我们将其称为最低的共同祖先世代（LCAG）矩阵。这种紧凑的配方等效于邻接矩阵，但是如果直接使用邻接矩阵，则可以单独从叶子中学习树的结构，而无需先前的假设。因此，采用LCAG启用了第一个端到端的可训练解决方案，该解决方案仅使用末端树叶直接学习不同树大小的层次结构。在高能量粒子物理学的情况下，粒子衰减形成了分层树结构，只能通过实验观察到最终产物，并且可能的树的大型组合空间使分析溶液变得很棘手。我们证明了LCAG用作使用变压器编码器和神经关系编码器编码器图神经网络的模拟粒子物理衰减结构的任务。采用这种方法，我们能够正确预测LCAG纯粹是从叶子特征中的LCAG，最大树深度为$ 8 $ in $ 92.5 \％\％的树木箱子，最高$ 6 $叶子（包括）和$ 59.7 \％\％\％\％的树木$在我们的模拟数据集中$ 10 $。

ICECUBE是一种用于检测1 GEV和1 PEV之间大气和天体中微子的光学传感器的立方公斤阵列，该阵列已部署1.45 km至2.45 km的南极的冰盖表面以下1.45 km至2.45 km。来自ICE探测器的事件的分类和重建在ICeCube数据分析中起着核心作用。重建和分类事件是一个挑战，这是由于探测器的几何形状，不均匀的散射和冰中光的吸收，并且低于100 GEV的光，每个事件产生的信号光子数量相对较少。为了应对这一挑战，可以将ICECUBE事件表示为点云图形，并将图形神经网络（GNN）作为分类和重建方法。 GNN能够将中微子事件与宇宙射线背景区分开，对不同的中微子事件类型进行分类，并重建沉积的能量，方向和相互作用顶点。基于仿真，我们提供了1-100 GEV能量范围的比较与当前ICECUBE分析中使用的当前最新最大似然技术，包括已知系统不确定性的影响。对于中微子事件分类，与当前的IceCube方法相比，GNN以固定的假阳性速率（FPR）提高了信号效率的18％。另外，GNN在固定信号效率下将FPR的降低超过8（低于半百分比）。对于能源，方向和相互作用顶点的重建，与当前最大似然技术相比，分辨率平均提高了13％-20％。当在GPU上运行时，GNN能够以几乎是2.7 kHz的中位数ICECUBE触发速率的速率处理ICECUBE事件，这打开了在在线搜索瞬态事件中使用低能量中微子的可能性。

在CERN大强子撞机（LHC）的碰撞中的带电粒子轨迹的测定是一个重要但挑战性的问题，特别是在LHC（HL-LHC）的未来高亮度相期间的高相互作用密度条件下。图形神经网络（GNNS）是一种类型的几何深度学习算法，通过将跟踪器数据嵌入作为图形节点来成功应用于此任务的几何深度学习算法，而边缘表示可能的曲线段 - 并将边缘分类为真实或假轨道段。但是，由于其大量的计算成本，它们在基于硬件或软件的触发器应用中的研究受到限制。在本文中，我们介绍了一个自动翻译工作流程，集成到一个名为$ \ texttt {hls4ml} $的更广泛的工具中，用于将GNN转换为现场可编程门阵列（FPGA）的固件。我们使用此翻译工具实现用于带电粒子跟踪的GNN，使用TrackML挑战DataSet在FPGA上培训，其中设计针对不同的图表大小，任务复杂和延迟/吞吐量要求。该工作可以在HL-LHC实验的触发水平下纳入带电粒子跟踪GNN。

Deep learning has revolutionized many machine learning tasks in recent years, ranging from image classification and video processing to speech recognition and natural language understanding. The data in these tasks are typically represented in the Euclidean space. However, there is an increasing number of applications where data are generated from non-Euclidean domains and are represented as graphs with complex relationships and interdependency between objects. The complexity of graph data has imposed significant challenges on existing machine learning algorithms. Recently, many studies on extending deep learning approaches for graph data have emerged. In this survey, we provide a comprehensive overview of graph neural networks (GNNs) in data mining and machine learning fields. We propose a new taxonomy to divide the state-of-the-art graph neural networks into four categories, namely recurrent graph neural networks, convolutional graph neural networks, graph autoencoders, and spatial-temporal graph neural networks. We further discuss the applications of graph neural networks across various domains and summarize the open source codes, benchmark data sets, and model evaluation of graph neural networks. Finally, we propose potential research directions in this rapidly growing field.

深度学习方法正在成为高能量物理（HEP）中数据分析的首选方法。尽管如此，大多数以物理启发的现代体系结构在计算上效率低下，缺乏解释性。JET标记算法尤其如此，考虑到现代粒子探测器产生的大量数据，计算效率至关重要。在这项工作中，我们为喷气式代表介绍了一个新颖，多功能和透明的框架。Lorentz Group Boosts不变，这在喷气标记基准测试基准方面具有很高的精度，同时比其他现代方法更快地训练和评估了训练和评估。

Many current approaches to machine learning in particle physics use generic architectures that require large numbers of parameters and disregard underlying physics principles, limiting their applicability as scientific modeling tools. In this work, we present a machine learning architecture that uses a set of inputs maximally reduced with respect to the full 6-dimensional Lorentz symmetry, and is fully permutation-equivariant throughout. We study the application of this network architecture to the standard task of top quark tagging and show that the resulting network outperforms all existing competitors despite much lower model complexity. In addition, we present a Lorentz-covariant variant of the same network applied to a 4-momentum regression task.

Graph classification is an important area in both modern research and industry. Multiple applications, especially in chemistry and novel drug discovery, encourage rapid development of machine learning models in this area. To keep up with the pace of new research, proper experimental design, fair evaluation, and independent benchmarks are essential. Design of strong baselines is an indispensable element of such works. In this thesis, we explore multiple approaches to graph classification. We focus on Graph Neural Networks (GNNs), which emerged as a de facto standard deep learning technique for graph representation learning. Classical approaches, such as graph descriptors and molecular fingerprints, are also addressed. We design fair evaluation experimental protocol and choose proper datasets collection. This allows us to perform numerous experiments and rigorously analyze modern approaches. We arrive to many conclusions, which shed new light on performance and quality of novel algorithms. We investigate application of Jumping Knowledge GNN architecture to graph classification, which proves to be an efficient tool for improving base graph neural network architectures. Multiple improvements to baseline models are also proposed and experimentally verified, which constitutes an important contribution to the field of fair model comparison.

神经消息传递是用于图形结构数据的基本功能提取单元，它考虑了相邻节点特征在网络传播中从一层到另一层的影响。我们通过相互作用的粒子系统与具有吸引力和排斥力的相互作用粒子系统以及在相变建模中产生的艾伦 - 卡恩力进行建模。该系统是一个反应扩散过程，可以将颗粒分离为不同的簇。这会导致图形神经网络的艾伦 - 卡恩消息传递（ACMP），其中解决方案的数值迭代构成了消息传播。 ACMP背后的机制是颗粒的相变，该颗粒能够形成多群集，从而实现GNNS预测进行节点分类。 ACMP可以将网络深度推向数百个层，理论上证明了严格的dirichlet能量下限。因此，它提供了GNN的深层模型，该模型避免了GNN过度厚度的常见问题。具有高均匀难度的各种实际节点分类数据集的实验表明，具有ACMP的GNN可以实现最先进的性能，而不会衰减Dirichlet Energy。

Recently, graph neural networks (GNNs) have revolutionized the field of graph representation learning through effectively learned node embeddings, and achieved state-of-the-art results in tasks such as node classification and link prediction. However, current GNN methods are inherently flat and do not learn hierarchical representations of graphs-a limitation that is especially problematic for the task of graph classification, where the goal is to predict the label associated with an entire graph. Here we propose DIFFPOOL, a differentiable graph pooling module that can generate hierarchical representations of graphs and can be combined with various graph neural network architectures in an end-to-end fashion. DIFFPOOL learns a differentiable soft cluster assignment for nodes at each layer of a deep GNN, mapping nodes to a set of clusters, which then form the coarsened input for the next GNN layer. Our experimental results show that combining existing GNN methods with DIFFPOOL yields an average improvement of 5-10% accuracy on graph classification benchmarks, compared to all existing pooling approaches, achieving a new state-of-the-art on four out of five benchmark data sets.

我们将图形神经网络训练来自小工具N体模拟的光晕目录的神经网络，以执行宇宙学参数的无现场级别可能的推断。目录包含$ \ Lessim $ 5,000 HAROS带质量$ \ gtrsim 10^{10} 〜h^{ - 1} m_ \ odot $，定期卷为$（25〜H^{ - 1} {\ rm mpc}）{\ rm mpc}） ^3 $;目录中的每个光环都具有多种特性，例如位置，质量，速度，浓度和最大圆速度。我们的模型构建为置换，翻译和旋转的不变性，不施加最低限度的规模来提取信息，并能够以平均值来推断$ \ omega _ {\ rm m} $和$ \ sigma_8 $的值$ \ sim6 \％$的相对误差分别使用位置加上速度和位置加上质量。更重要的是，我们发现我们的模型非常强大：他们可以推断出使用数千个N-n-Body模拟的Halo目录进行测试时，使用五个不同的N-进行测试时，在使用Halo目录进行测试时，$ \ omega _ {\ rm m} $和$ \ sigma_8 $身体代码：算盘，Cubep $^3 $ M，Enzo，PKDGrav3和Ramses。令人惊讶的是，经过培训的模型推断$ \ omega _ {\ rm m} $在对数千个最先进的骆驼水力动力模拟进行测试时也可以使用，该模拟使用四个不同的代码和子网格物理实现。使用诸如浓度和最大循环速度之类的光环特性允许我们的模型提取更多信息，而牺牲了模型的鲁棒性。这可能会发生，因为不同的N体代码不会在与这些参数相对应的相关尺度上收敛。

机器学习在加强和加速寻求新基本物理学方面发挥着至关重要的作用。我们审查了新物理学的机器学习方法和应用中，在地面高能量物理实验的背景下，包括大型强子撞机，罕见的事件搜索和中微生实验。虽然机器学习在这些领域拥有悠久的历史，但深入学习革命（2010年代初）就研究的范围和雄心而产生了定性转变。这些现代化的机器学习发展是本综述的重点。

Deep learning has been shown to be successful in a number of domains, ranging from acoustics, images, to natural language processing. However, applying deep learning to the ubiquitous graph data is non-trivial because of the unique characteristics of graphs. Recently, substantial research efforts have been devoted to applying deep learning methods to graphs, resulting in beneficial advances in graph analysis techniques. In this survey, we comprehensively review the different types of deep learning methods on graphs. We divide the existing methods into five categories based on their model architectures and training strategies: graph recurrent neural networks, graph convolutional networks, graph autoencoders, graph reinforcement learning, and graph adversarial methods. We then provide a comprehensive overview of these methods in a systematic manner mainly by following their development history. We also analyze the differences and compositions of different methods. Finally, we briefly outline the applications in which they have been used and discuss potential future research directions.