为了促进5G机器学习的使用，国际电信联盟（ITU）在2021年提议的第二版是5G挑战中ITU AI/ML的第二版，来自82个国家/地区的1600多名参与者。这项工作详细介绍了第二位解决方案总体上，这也是图形神经网络挑战2021的获胜解决方案。我们在将模型应用于5G网络时解决了概括问题，该模型可能比观察到的途径更长，链路容量更长且链接能力更大在培训中。为了实现这一目标，我们建议首先提取与排队理论（QT）相关的强大特征，然后使用Routenet Graph神经网络（GNN）模型的修改对分析基线预测进行微调。所提出的解决方案比简单地使用Routenet更好地概括了，并设法将分析基线的10.42平均绝对百分比误差降低到1.45（合奏为1.27）。这表明，对已知鲁棒的近似模型进行小更改可能是提高准确性的有效方法，而不会损害概括。

Network models are an essential block of modern networks. For example, they are widely used in network planning and optimization. However, as networks increase in scale and complexity, some models present limitations, such as the assumption of markovian traffic in queuing theory models, or the high computational cost of network simulators. Recent advances in machine learning, such as Graph Neural Networks (GNN), are enabling a new generation of network models that are data-driven and can learn complex non-linear behaviors. In this paper, we present RouteNet-Fermi, a custom GNN model that shares the same goals as queuing theory, while being considerably more accurate in the presence of realistic traffic models. The proposed model predicts accurately the delay, jitter, and loss in networks. We have tested RouteNet-Fermi in networks of increasing size (up to 300 nodes), including samples with mixed traffic profiles -- e.g., with complex non-markovian models -- and arbitrary routing and queue scheduling configurations. Our experimental results show that RouteNet-Fermi achieves similar accuracy as computationally-expensive packet-level simulators and it is able to accurately scale to large networks. For example, the model produces delay estimates with a mean relative error of 6.24% when applied to a test dataset with 1,000 samples, including network topologies one order of magnitude larger than those seen during training.

网络流问题涉及通过网络分配流量，以便有效地使用基础基础架构，在运输和物流上无处不在。由于数据驱动的优化的吸引力，这些问题已越来越多地使用图形学习方法解决。其中，鉴于其通用性，多商品网络流（MCNF）问题特别感兴趣，因为它涉及多个来源和水槽之间不同大小的多个流量（也称为需求）的分布。我们关注的广泛使用的目标是给定流量需求和路由策略的网络中任何链接的最大利用。在本文中，我们针对MCNF问题提出了一种基于图形神经网络（GNN）的新方法，该方法沿每个链接使用明显的参数化消息函数，类似于所有边缘类型都是唯一的关系模型。我们表明，我们所提出的方法比现有的图形学习方法获得了可观的收益，这些方法不必要地限制了路由。我们使用17个服务提供商拓扑和两个流程路由方案通过互联网路由案例研究广泛评估所提出的方法。我们发现，在许多网络中，MLP与不使用我们机制的通用GNN具有竞争力。此外，我们阐明了图结构与数据驱动的流动路由的难度之间的关系，该方面在该地区现有工作中尚未考虑。

图形神经网络（GNN）在许多领域中显示出优异的应用，其中数据基本上表示为图（例如，化学，生物学，推荐系统）。在该静脉中，通信网络包括许多以图形结构方式（例如，拓扑，配置，交通流量）自然表示的许多基本组件。该职位文章将GNNS作为用于建模，控制和管理通信网络的基本工具。 GNN表示新一代的数据驱动模型，可以准确地学习和再现真实网络后面的复杂行为。因此，这种模型可以应用于各种网络用例，例如规划，在线优化或故障排除。 GNN在传统的神经网络上的主要优点在于在培训期间应用于其他网络和配置时的前所未有的泛化能力，这是实现用于网络实际数据驱动解决方案的关键特征。本文包括关于GNN的简要教程及其对通信网络的可能应用。为了展示这项技术的潜力，我们展示了两种用例，分别应用于有线和无线网络的最先进的GNN模型。最后，我们深入研究了这一小说研究区的关键开放挑战和机会。

随着互联网流量的数量继续增加，路由算法的开发具有明显的重要性。在该调查中，如何采用机器学习技术如何采用更大的研究来提高路由算法的性能和可扩展性。我们调查了集中式和分散的ML路由架构，并使用各种ML技术广泛分为受监督的学习和加固学习。许多论文在他们优化网络路由的某些方面的能力方面表现出承诺。我们还在接受调查的路由算法中实施了两个路由协议，并验证了结果的功效。虽然大多数论文的结果显示了承诺，但其中许多是基于潜在的不切实际的网络配置的模拟。为了为结果提供进一步的效果，需要更多的现实结果。

通信网络是当代社会中的重要基础设施。仍存在许多挑战，在该活性研究区域中不断提出新的解决方案。近年来，为了模拟网络拓扑，基于图形的深度学习在通信网络中的一系列问题中实现了最先进的性能。在本调查中，我们使用基于不同的图形的深度学习模型来审查快速增长的研究机构，例如，使用不同的图形深度学习模型。图表卷积和曲线图注意网络，在不同类型的通信网络中的各种问题中，例如，无线网络，有线网络和软件定义的网络。我们还为每项研究提供了一个有组织的问题和解决方案列表，并确定了未来的研究方向。据我们所知，本文是第一个专注于在涉及有线和无线场景的通信网络中应用基于图形的深度学习方法的调查。要跟踪后续研究，创建了一个公共GitHub存储库，其中相关文件将不断更新。

Graph classification is an important area in both modern research and industry. Multiple applications, especially in chemistry and novel drug discovery, encourage rapid development of machine learning models in this area. To keep up with the pace of new research, proper experimental design, fair evaluation, and independent benchmarks are essential. Design of strong baselines is an indispensable element of such works. In this thesis, we explore multiple approaches to graph classification. We focus on Graph Neural Networks (GNNs), which emerged as a de facto standard deep learning technique for graph representation learning. Classical approaches, such as graph descriptors and molecular fingerprints, are also addressed. We design fair evaluation experimental protocol and choose proper datasets collection. This allows us to perform numerous experiments and rigorously analyze modern approaches. We arrive to many conclusions, which shed new light on performance and quality of novel algorithms. We investigate application of Jumping Knowledge GNN architecture to graph classification, which proves to be an efficient tool for improving base graph neural network architectures. Multiple improvements to baseline models are also proposed and experimentally verified, which constitutes an important contribution to the field of fair model comparison.

动态类型的语言如JavaScript和Python已成为最受欢迎的使用中的使用中。重要的优势可以从动态类型的程序中的类型注释累积。逐渐键入的这种方法是由Querecript编程系统示例，允许程序员指定部分键入的程序，然后使用静态分析来推断剩余类型。然而，通常，静态类型推断的有效性受到限制，取决于程序结构和初始注释的复杂性。结果，对于可以在动态类型的程序中可以在静态预测类型中推进本领域的新​​方法的强大动机，并且该具有可接受的性能用于交互式编程环境。以前的工作表明了使用深度学习的概率类型推断的承诺。在本文中，我们通过引入一系列图形的神经网络（GNN）模型来推进过去的工作，该模型在新型流程图（TFG）表示上运行。 TFG表示输入程序的元素，作为与语法边缘和数据流边缘连接的图表节点，并且我们的GNN模型训练以预测给定输入程序的TFG中的类型标签。我们为我们的评估数据集中的100种最常见类型的GNN模型研究了不同的设计选择，并显示了我们最佳的准确性的两个GNN配置，分别实现了87.76％和86.89％的前1个精度，优于两个最密切相关的深度学习型推断从过去的工作 - 矮人的前进剂，顶级1的精度为84.62％，兰丹特精确为79.45％。此外，这两种配置的平均推理吞吐量为353.8和1,303.9文件/秒，而DeepTyper的186.7个文件/秒和LambDanet的1,050.3文件/秒。

预测网络链路上的带宽利用率对于检测拥塞是非常有用的，以便在发生之前校正它们。在本文中，我们提出了一种解决方案来预测不同网络链路之间的带宽利用，具有非常高的精度。创建模拟网络以收集与每个接口上的网络链路性能相关的数据。使用功能工程处理和扩展这些数据，以便创建培训集。我们评估并比较三种类型的机器学习算法，即Arima（自回归积分移动平均线），MLP（多层Perceptron）和LSTM（长短期存储器），以预测未来的带宽消耗。 LSTM以非常精确的预测表达ARIMA和MLP，很少超过3 \％误差（ARIMA的40 \％，对于MLP为20 \％）。然后，我们表明所提出的解决方案可以实时使用，并通过软件定义的网络（SDN）平台管理的反应实时使用。

在过去的几年中，已经开发了图形绘图技术，目的是生成美学上令人愉悦的节点链接布局。最近，利用可区分损失功能的使用已为大量使用梯度下降和相关优化算法铺平了道路。在本文中，我们提出了一个用于开发图神经抽屉（GND）的新框架，即依靠神经计算来构建有效且复杂的图的机器。 GND是图形神经网络（GNN），其学习过程可以由任何提供的损失函数（例如图形图中通常使用的损失函数）驱动。此外，我们证明，该机制可以由通过前馈神经网络计算的损失函数来指导，并根据表达美容特性的监督提示，例如交叉边缘的最小化。在这种情况下，我们表明GNN可以通过位置功能很好地丰富与未标记的顶点处理。我们通过为边缘交叉构建损失函数来提供概念验证，并在提议的框架下工作的不同GNN模型之间提供定量和定性的比较。

交通优化挑战，如负载平衡，流量调度和提高数据包交付时间，是广域网（WAN）中困难的在线决策问题。例如，需要复杂的启发式方法，以找到改善分组输送时间并最小化可能由链接故障或拥塞引起的中断的最佳路径。最近的加强学习（RL）算法的成功可以提供有用的解决方案，以建立更好的鲁棒系统，这些系统从无模式设置中学习。在这项工作中，我们考虑了一条路径优化问题，专门针对数据包路由，在大型复杂网络中。我们开发和评估一种无模型方法，应用多代理元增强学习（MAMRL），可以确定每个数据包的下一跳，以便将其传递到其目的地，最短的时间整体。具体地，我们建议利用和比较深度策略优化RL算法，以便在通信网络中启用分布式无模型控制，并呈现基于新的Meta学习的框架Mamrl，以便快速适应拓扑变化。为了评估所提出的框架，我们用各种WAN拓扑模拟。我们广泛的数据包级仿真结果表明，与古典最短路径和传统的加强学习方法相比，Mamrl即使网络需求增加也显着降低了平均分组交付时间;与非元深策略优化算法相比，我们的结果显示在连杆故障发生的同时出现相当的平均数据包交付时间时减少较少的剧集中的数据包丢失。

关于组合优化的机器学习的最新作品表明，基于学习的方法可以优于速度和性能方面的启发式方法。在本文中，我们考虑了在定向的无环图上找到最佳拓扑顺序的问题，重点是编译器中出现的记忆最小化问题。我们提出了一种基于端到端的机器学习方法，用于使用编码器框架，用于拓扑排序。我们的编码器是一种基于注意力的新图形神经网络体系结构，称为\ emph {topoformer}，它使用DAG的不同拓扑转换来传递消息。由编码器产生的节点嵌入被转换为节点优先级，解码器使用这些嵌入，以生成概率分布对拓扑顺序。我们在称为分层图的合成生成图的数据集上训练我们的模型。我们表明，我们的模型的表现优于或在PAR上，具有多个拓扑排序基线，同时在最多2K节点的合成图上明显更快。我们还在一组现实世界计算图上训练和测试我们的模型，显示了性能的改进。

深度学习技术的普及更新了能够处理可以使用图形的复杂结构的神经结构的兴趣，由图形神经网络（GNN）的启发。我们将注意力集中在最初提出的Scarselli等人的GNN模型上。 2009，通过迭代扩散过程编码图表的节点的状态，即在学习阶段，必须在每个时期计算，直到达到学习状态转换功能的固定点，传播信息邻近节点。基于拉格朗日框架的约束优化，我们提出了一种在GNNS中学习的新方法。学习转换功能和节点状态是联合过程的结果，其中通过约束满足机制隐含地表达了状态会聚过程，避免了迭代巨头程序和网络展开。我们的计算结构在由权重组成的伴随空间中搜索拉格朗日的马鞍点，节点状态变量和拉格朗日乘法器。通过加速扩散过程的多个约束层进一步增强了该过程。实验分析表明，该方法在几个基准上的流行模型有利地比较。

高吞吐量数据处理应用的高效硬件加速器设计，例如深度神经网络，是计算机架构设计中有挑战性的任务。在这方面，高级合成（HLS）作为快速原型设计的解决方案，从应用程序计算流程的行为描述开始。这种设计空间探索（DSE）旨在识别帕累托最佳的合成配置，其穷举搜索由于设计空间维度和合成过程的禁止计算成本而往往不可行。在该框架内，我们通过提出在文献中，有效和有效地解决了设计问题图形神经网络，该神经网络共同预测了合成的行为规范的加速性能和硬件成本给出了优化指令。考虑到性能和成本估计，学习模型可用于通过引导DSE来快速接近帕累托曲线。所提出的方法优于传统的HLS驱动DSE方法，通过考虑任意长度的计算机程序和输入的不变特性。我们提出了一种新颖的混合控制和数据流图表示，可以在不同硬件加速器的规格上培训图形神经网络;该方法自然地转移到解除数据处理应用程序。此外，我们表明我们的方法实现了与常用模拟器的预测准确性相当，而无需访问HLS编译器和目标FPGA的分析模型，同时是更快的数量级。最后，通过微调来自新目标域的少量样本，可以在未开发的配置空间中解放所学习的表示。

广域网络（WAN）是当今社会的关键基础设施。在过去的几年中，WANS的网络流量和网络应用程序大大增加，对现有网络技术（例如，低延迟和高吞吐量）施加了新的要求。因此，互联网服务提供商（ISP）承受着确保客户服务质量和履行服务水平协议的压力。网络运营商利用交通工程（TE）技术有效地管理网络资源。但是，WAN的流量在时间期间可能会发生巨大变化，并且由于外部因素（例如，链接故障），连通性可能会受到影响。因此，TE解决方案必须能够实时适应动态方案。在本文中，我们提出了基于两阶段优化过程的有效实时TE解决方案。在第一个中，Enero利用深入的强化学习（DRL）通过生成长期的TE策略来优化路由配置。为了在动态网络方案（例如，在链接失败发生时）进行有效的操作，我们将图形神经网络集成到DRL代理中。在第二阶段，Enero使用本地搜索算法来改善DRL的解决方案，而无需将计算开销添加到优化过程中。实验结果表明，Enero能够在4.5秒内平均在现实世界中的动态网络拓扑以100个边缘进行操作。

我们提出了一种基于图形神经网络（GNN）的端到端框架，以平衡通用网格中的功率流。优化被帧为监督的顶点回归任务，其中GNN培训以预测每个网格分支的电流和功率注入，从而产生功率流量平衡。通过将电网表示为与顶点的分支的线图，我们可以培训一个更准确和强大的GNN来改变底层拓扑。此外，通过使用专门的GNN层，我们能够构建一个非常深的架构，该架构占图表上的大街区，同时仅实现本地化操作。我们执行三个不同的实验来评估：i）使用深入GNN模型时使用本地化而不是全球运营的好处和趋势; ii）图形拓扑中对扰动的弹性;和iii）能力同时在多个网格拓扑上同时培训模型以及新的看不见网格的概括性的改进。拟议的框架是有效的，而且与基于深度学习的其他求解器相比，不仅对网格组件上的物理量而且对拓扑的物理量具有鲁棒性。

Classical graph algorithms work well for combinatorial problems that can be thoroughly formalized and abstracted. Once the algorithm is derived, it generalizes to instances of any size. However, developing an algorithm that handles complex structures and interactions in the real world can be challenging. Rather than specifying the algorithm, we can try to learn it from the graph-structured data. Graph Neural Networks (GNNs) are inherently capable of working on graph structures; however, they struggle to generalize well, and learning on larger instances is challenging. In order to scale, we focus on a recurrent architecture design that can learn simple graph problems end to end on smaller graphs and then extrapolate to larger instances. As our main contribution, we identify three essential techniques for recurrent GNNs to scale. By using (i) skip connections, (ii) state regularization, and (iii) edge convolutions, we can guide GNNs toward extrapolation. This allows us to train on small graphs and apply the same model to much larger graphs during inference. Moreover, we empirically validate the extrapolation capabilities of our GNNs on algorithmic datasets.

即使机器学习算法已经在数据科学中发挥了重要作用，但许多当前方法对输入数据提出了不现实的假设。由于不兼容的数据格式，或数据集中的异质，分层或完全缺少的数据片段，因此很难应用此类方法。作为解决方案，我们提出了一个用于样本表示，模型定义和培训的多功能，统一的框架，称为“ Hmill”。我们深入审查框架构建和扩展的机器学习的多个范围范式。从理论上讲，为HMILL的关键组件的设计合理，我们将通用近似定理的扩展显示到框架中实现的模型所实现的所有功能的集合。本文还包含有关我们实施中技术和绩效改进的详细讨论，该讨论将在MIT许可下发布供下载。该框架的主要资产是其灵活性，它可以通过相同的工具对不同的现实世界数据源进行建模。除了单独观察到每个对象的一组属性的标准设置外，我们解释了如何在框架中实现表示整个对象系统的图表中的消息推断。为了支持我们的主张，我们使用框架解决了网络安全域的三个不同问题。第一种用例涉及来自原始网络观察结果的IoT设备识别。在第二个问题中，我们研究了如何使用以有向图表示的操作系统的快照可以对恶意二进制文件进行分类。最后提供的示例是通过网络中实体之间建模域黑名单扩展的任务。在所有三个问题中，基于建议的框架的解决方案可实现与专业方法相当的性能。

Pre-publication draft of a book to be published byMorgan & Claypool publishers. Unedited version released with permission. All relevant copyrights held by the author and publisher extend to this pre-publication draft.

本文研究了辍学图神经网络（DAVERGNNS），一种旨在克服标准GNN框架的局限性的新方法。在DAMPGNNS中，我们在输入图上执行多个GNN运行，其中一些节点随机且独立地在这些运行中丢弃。然后，我们将这些运行的结果结合起来获得最终结果。我们证明DAMPGNN可以区分无法通过GNN的消息分隔的各种图形邻域。我们导出了确保可靠分布辍学所需的运行数量的理论界限，我们证明了有关DACKGNNS的表现能力和限制的若干特性。我们在实验上验证了我们对表现力的理论结果。此外，我们表明DOWNNNS在已建立的GNN基准上表现得很竞争。