最近的反向散射通信技术使超低功耗无线设备使得在没有电池的情况下操作，同时直接与未修饰的商品无线设备互操作。商品设备在提供未调制的载体时，可以在从其环境中收集能量以执行感测，计算和通信任务的同时需要进行通信的未调制载波。未经调制载波的最佳提供限制了网络的大小，因为它是NP硬组合优化问题。因此，以前的作品要么完全忽略载体优化，要么避免次优启发式，浪费宝贵的能量和光谱资源。我们展示了Deepgantt，这是一种与无线商品互通设备的无电池设备的深度学习调度程序。 Deepgantt利用图形神经网络来克服这个问题固有的变量输入和输出大小挑战。我们培养我们的深度学习调度程序，具有从约束优化求解器获得的相对较小的尺寸的最佳时间表。 Deepgantt不仅优于精心制作的启发式解决方案，而且还在训练有素的问题大小的最佳调度器的3％内执行。最后，DeepGantt推广了超过用于训练的最大值的问题超过四倍，因此打破了最佳调度器的可扩展性限制，并为更有效的反向散射网络铺平道路。

关于组合优化的机器学习的最新作品表明，基于学习的方法可以优于速度和性能方面的启发式方法。在本文中，我们考虑了在定向的无环图上找到最佳拓扑顺序的问题，重点是编译器中出现的记忆最小化问题。我们提出了一种基于端到端的机器学习方法，用于使用编码器框架，用于拓扑排序。我们的编码器是一种基于注意力的新图形神经网络体系结构，称为\ emph {topoformer}，它使用DAG的不同拓扑转换来传递消息。由编码器产生的节点嵌入被转换为节点优先级，解码器使用这些嵌入，以生成概率分布对拓扑顺序。我们在称为分层图的合成生成图的数据集上训练我们的模型。我们表明，我们的模型的表现优于或在PAR上，具有多个拓扑排序基线，同时在最多2K节点的合成图上明显更快。我们还在一组现实世界计算图上训练和测试我们的模型，显示了性能的改进。

组合优化是运营研究和计算机科学领域的一个公认领域。直到最近，它的方法一直集中在孤立地解决问题实例，而忽略了它们通常源于实践中的相关数据分布。但是，近年来，人们对使用机器学习，尤其是图形神经网络（GNN）的兴趣激增，作为组合任务的关键构件，直接作为求解器或通过增强确切的求解器。GNN的电感偏差有效地编码了组合和关系输入，因为它们对排列和对输入稀疏性的意识的不变性。本文介绍了对这个新兴领域的最新主要进步的概念回顾，旨在优化和机器学习研究人员。

智能物联网环境（iiote）由可以协作执行半自动的IOT应用的异构装置，其示例包括高度自动化的制造单元或自主交互收获机器。能量效率是这种边缘环境中的关键，因为它们通常基于由无线和电池运行设备组成的基础设施，例如电子拖拉机，无人机，自动引导车辆（AGV）S和机器人。总能源消耗从多种技术技术汲取贡献，使得能够实现边缘计算和通信，分布式学习以及分布式分区和智能合同。本文提供了本技术的最先进的概述，并说明了它们的功能和性能，特别关注资源，延迟，隐私和能源消耗之间的权衡。最后，本文提供了一种在节能IIOTE和路线图中集成这些能力技术的愿景，以解决开放的研究挑战

我们展示了如何使用图形神经网络来解决规范的图形着色问题。我们将颜色框架为多类节点分类问题，并基于统计物理Potts模型利用无监督的培训策略。对其他多级问题（例如社区检测，数据聚类和最低集团封面问题）的概括是简单的。我们提供数值基准结果，并通过端到端的应用程序说明了我们的方法，用于在全面的编码程序框架内实现现实世界调度案例。我们的优化方法在PAR或优于现有求解器上执行，并能够扩展到数百万变量的问题。

This paper presents a methodology for integrating machine learning techniques into metaheuristics for solving combinatorial optimization problems. Namely, we propose a general machine learning framework for neighbor generation in metaheuristic search. We first define an efficient neighborhood structure constructed by applying a transformation to a selected subset of variables from the current solution. Then, the key of the proposed methodology is to generate promising neighbors by selecting a proper subset of variables that contains a descent of the objective in the solution space. To learn a good variable selection strategy, we formulate the problem as a classification task that exploits structural information from the characteristics of the problem and from high-quality solutions. We validate our methodology on two metaheuristic applications: a Tabu Search scheme for solving a Wireless Network Optimization problem and a Large Neighborhood Search heuristic for solving Mixed-Integer Programs. The experimental results show that our approach is able to achieve a satisfactory trade-off between the exploration of a larger solution space and the exploitation of high-quality solution regions on both applications.

本文介绍了基于图形神经网络（GNN）的新的网络入侵检测系统（NID）。 GNN是深度神经网络的一个相对较新的子领域，可以利用基于图形数据的固有结构。 NIDS的培训和评估数据通常表示为流记录，其可以自然地以图形格式表示。这建立了探索网络入侵检测GNN的潜在和动力，这是本文的重点。基于机器的基于机器的NIDS的目前的研究只考虑网络流动，而不是考虑其互连的模式。这是检测复杂的物联网网络攻击的关键限制，例如IOT设备推出的DDOS和分布式端口扫描攻击。在本文中，我们提出了一种克服了这种限制的GNN方法，并允许捕获图形的边缘特征以及IOT网络中网络异常检测的拓扑信息。据我们所知，我们的方法是第一次成功，实用，广泛地评估应用图形神经网络对使用流基于流的数据的网络入侵检测问题的方法。我们在最近的四个NIDS基准数据集上进行了广泛的实验评估，表明我们的方法在关键分类指标方面占据了最先进的，这证明了网络入侵检测中GNN的潜力，并提供了进一步研究的动机。

Graph classification is an important area in both modern research and industry. Multiple applications, especially in chemistry and novel drug discovery, encourage rapid development of machine learning models in this area. To keep up with the pace of new research, proper experimental design, fair evaluation, and independent benchmarks are essential. Design of strong baselines is an indispensable element of such works. In this thesis, we explore multiple approaches to graph classification. We focus on Graph Neural Networks (GNNs), which emerged as a de facto standard deep learning technique for graph representation learning. Classical approaches, such as graph descriptors and molecular fingerprints, are also addressed. We design fair evaluation experimental protocol and choose proper datasets collection. This allows us to perform numerous experiments and rigorously analyze modern approaches. We arrive to many conclusions, which shed new light on performance and quality of novel algorithms. We investigate application of Jumping Knowledge GNN architecture to graph classification, which proves to be an efficient tool for improving base graph neural network architectures. Multiple improvements to baseline models are also proposed and experimentally verified, which constitutes an important contribution to the field of fair model comparison.

Distributed deep learning (DDL) systems strongly depend on network performance. Current electronic packet switched (EPS) network architectures and technologies suffer from variable diameter topologies, low-bisection bandwidth and over-subscription affecting completion time of communication and collective operations. We introduce a near-exascale, full-bisection bandwidth, all-to-all, single-hop, all-optical network architecture with nanosecond reconfiguration called RAMP, which supports large-scale distributed and parallel computing systems (12.8~Tbps per node for up to 65,536 nodes). For the first time, a custom RAMP-x MPI strategy and a network transcoder is proposed to run MPI collective operations across the optical circuit switched (OCS) network in a schedule-less and contention-less manner. RAMP achieves 7.6-171$\times$ speed-up in completion time across all MPI operations compared to realistic EPS and OCS counterparts. It can also deliver a 1.3-16$\times$ and 7.8-58$\times$ reduction in Megatron and DLRM training time respectively} while offering 42-53$\times$ and 3.3-12.4$\times$ improvement in energy consumption and cost respectively.

通信网络是当代社会中的重要基础设施。仍存在许多挑战，在该活性研究区域中不断提出新的解决方案。近年来，为了模拟网络拓扑，基于图形的深度学习在通信网络中的一系列问题中实现了最先进的性能。在本调查中，我们使用基于不同的图形的深度学习模型来审查快速增长的研究机构，例如，使用不同的图形深度学习模型。图表卷积和曲线图注意网络，在不同类型的通信网络中的各种问题中，例如，无线网络，有线网络和软件定义的网络。我们还为每项研究提供了一个有组织的问题和解决方案列表，并确定了未来的研究方向。据我们所知，本文是第一个专注于在涉及有线和无线场景的通信网络中应用基于图形的深度学习方法的调查。要跟踪后续研究，创建了一个公共GitHub存储库，其中相关文件将不断更新。

In the last few years, graph neural networks (GNNs) have become the standard toolkit for analyzing and learning from data on graphs. This emerging field has witnessed an extensive growth of promising techniques that have been applied with success to computer science, mathematics, biology, physics and chemistry. But for any successful field to become mainstream and reliable, benchmarks must be developed to quantify progress. This led us in March 2020 to release a benchmark framework that i) comprises of a diverse collection of mathematical and real-world graphs, ii) enables fair model comparison with the same parameter budget to identify key architectures, iii) has an open-source, easy-to-use and reproducible code infrastructure, and iv) is flexible for researchers to experiment with new theoretical ideas. As of December 2022, the GitHub repository has reached 2,000 stars and 380 forks, which demonstrates the utility of the proposed open-source framework through the wide usage by the GNN community. In this paper, we present an updated version of our benchmark with a concise presentation of the aforementioned framework characteristics, an additional medium-sized molecular dataset AQSOL, similar to the popular ZINC, but with a real-world measured chemical target, and discuss how this framework can be leveraged to explore new GNN designs and insights. As a proof of value of our benchmark, we study the case of graph positional encoding (PE) in GNNs, which was introduced with this benchmark and has since spurred interest of exploring more powerful PE for Transformers and GNNs in a robust experimental setting.

Pre-publication draft of a book to be published byMorgan & Claypool publishers. Unedited version released with permission. All relevant copyrights held by the author and publisher extend to this pre-publication draft.

事件处理是动态和响应互联网（物联网）的基石。该领域的最近方法基于代表性状态转移（REST）原则，其允许将事件处理任务放置在遵循相同原理的任何设备上。但是，任务应在边缘设备之间正确分布，以确保公平资源利用率和保证无缝执行。本文调查了深入学习的使用，以公平分配任务。提出了一种基于关注的神经网络模型，在不同场景下产生有效的负载平衡解决方案。所提出的模型基于变压器和指针网络架构，并通过Advantage演员批评批评学习算法训练。该模型旨在缩放到事件处理任务的数量和边缘设备的数量，不需要重新调整甚至再刷新。广泛的实验结果表明，拟议的模型在许多关键绩效指标中优于传统的启发式。通用设计和所获得的结果表明，所提出的模型可能适用于几个其他负载平衡问题变化，这使得该提案是由于其可扩展性和效率而在现实世界场景中使用的有吸引力的选择。

图形神经网络（GNN）在许多领域中显示出优异的应用，其中数据基本上表示为图（例如，化学，生物学，推荐系统）。在该静脉中，通信网络包括许多以图形结构方式（例如，拓扑，配置，交通流量）自然表示的许多基本组件。该职位文章将GNNS作为用于建模，控制和管理通信网络的基本工具。 GNN表示新一代的数据驱动模型，可以准确地学习和再现真实网络后面的复杂行为。因此，这种模型可以应用于各种网络用例，例如规划，在线优化或故障排除。 GNN在传统的神经网络上的主要优点在于在培训期间应用于其他网络和配置时的前所未有的泛化能力，这是实现用于网络实际数据驱动解决方案的关键特征。本文包括关于GNN的简要教程及其对通信网络的可能应用。为了展示这项技术的潜力，我们展示了两种用例，分别应用于有线和无线网络的最先进的GNN模型。最后，我们深入研究了这一小说研究区的关键开放挑战和机会。

即使机器学习算法已经在数据科学中发挥了重要作用，但许多当前方法对输入数据提出了不现实的假设。由于不兼容的数据格式，或数据集中的异质，分层或完全缺少的数据片段，因此很难应用此类方法。作为解决方案，我们提出了一个用于样本表示，模型定义和培训的多功能，统一的框架，称为“ Hmill”。我们深入审查框架构建和扩展的机器学习的多个范围范式。从理论上讲，为HMILL的关键组件的设计合理，我们将通用近似定理的扩展显示到框架中实现的模型所实现的所有功能的集合。本文还包含有关我们实施中技术和绩效改进的详细讨论，该讨论将在MIT许可下发布供下载。该框架的主要资产是其灵活性，它可以通过相同的工具对不同的现实世界数据源进行建模。除了单独观察到每个对象的一组属性的标准设置外，我们解释了如何在框架中实现表示整个对象系统的图表中的消息推断。为了支持我们的主张，我们使用框架解决了网络安全域的三个不同问题。第一种用例涉及来自原始网络观察结果的IoT设备识别。在第二个问题中，我们研究了如何使用以有向图表示的操作系统的快照可以对恶意二进制文件进行分类。最后提供的示例是通过网络中实体之间建模域黑名单扩展的任务。在所有三个问题中，基于建议的框架的解决方案可实现与专业方法相当的性能。

深度强化学习（DRL）赋予了各种人工智能领域，包括模式识别，机器人技术，推荐系统和游戏。同样，图神经网络（GNN）也证明了它们在图形结构数据的监督学习方面的出色表现。最近，GNN与DRL用于图形结构环境的融合引起了很多关注。本文对这些混合动力作品进行了全面评论。这些作品可以分为两类：（1）算法增强，其中DRL和GNN相互补充以获得更好的实用性； （2）特定于应用程序的增强，其中DRL和GNN相互支持。这种融合有效地解决了工程和生命科学方面的各种复杂问题。基于审查，我们进一步分析了融合这两个领域的适用性和好处，尤其是在提高通用性和降低计算复杂性方面。最后，集成DRL和GNN的关键挑战以及潜在的未来研究方向被突出显示，这将引起更广泛的机器学习社区的关注。

Video, as a key driver in the global explosion of digital information, can create tremendous benefits for human society. Governments and enterprises are deploying innumerable cameras for a variety of applications, e.g., law enforcement, emergency management, traffic control, and security surveillance, all facilitated by video analytics (VA). This trend is spurred by the rapid advancement of deep learning (DL), which enables more precise models for object classification, detection, and tracking. Meanwhile, with the proliferation of Internet-connected devices, massive amounts of data are generated daily, overwhelming the cloud. Edge computing, an emerging paradigm that moves workloads and services from the network core to the network edge, has been widely recognized as a promising solution. The resulting new intersection, edge video analytics (EVA), begins to attract widespread attention. Nevertheless, only a few loosely-related surveys exist on this topic. A dedicated venue for collecting and summarizing the latest advances of EVA is highly desired by the community. Besides, the basic concepts of EVA (e.g., definition, architectures, etc.) are ambiguous and neglected by these surveys due to the rapid development of this domain. A thorough clarification is needed to facilitate a consensus on these concepts. To fill in these gaps, we conduct a comprehensive survey of the recent efforts on EVA. In this paper, we first review the fundamentals of edge computing, followed by an overview of VA. The EVA system and its enabling techniques are discussed next. In addition, we introduce prevalent frameworks and datasets to aid future researchers in the development of EVA systems. Finally, we discuss existing challenges and foresee future research directions. We believe this survey will help readers comprehend the relationship between VA and edge computing, and spark new ideas on EVA.

随着数据生成越来越多地在没有连接连接的设备上进行，因此与机器学习（ML）相关的流量将在无线网络中无处不在。许多研究表明，传统的无线协议高效或不可持续以支持ML，这创造了对新的无线通信方法的需求。在这项调查中，我们对最先进的无线方法进行了详尽的审查，这些方法是专门设计用于支持分布式数据集的ML服务的。当前，文献中有两个明确的主题，模拟的无线计算和针对ML优化的数字无线电资源管理。这项调查对这些方法进行了全面的介绍，回顾了最重要的作品，突出了开放问题并讨论了应用程序方案。

This paper surveys the recent attempts, both from the machine learning and operations research communities, at leveraging machine learning to solve combinatorial optimization problems. Given the hard nature of these problems, state-of-the-art algorithms rely on handcrafted heuristics for making decisions that are otherwise too expensive to compute or mathematically not well defined. Thus, machine learning looks like a natural candidate to make such decisions in a more principled and optimized way. We advocate for pushing further the integration of machine learning and combinatorial optimization and detail a methodology to do so. A main point of the paper is seeing generic optimization problems as data points and inquiring what is the relevant distribution of problems to use for learning on a given task.

图形神经网络（GNNS）将深度神经网络（DNN）的成功扩展到非欧几里德图数据，实现了各种任务的接地性能，例如节点分类和图形属性预测。尽管如此，现有系统效率低，培训数十亿节点和GPU的节点和边缘训练大图。主要瓶颈是准备GPU数据的过程 - 子图采样和特征检索。本文提出了一个分布式GNN培训系统的BGL，旨在解决一些关键思想的瓶颈。首先，我们提出了一种动态缓存引擎，以最小化特征检索流量。通过协同设计缓存政策和抽样顺序，我们发现低开销和高缓存命中率的精美斑点。其次，我们改善了曲线图分区算法，以减少子图采样期间的交叉分区通信。最后，仔细资源隔离减少了不同数据预处理阶段之间的争用。关于各种GNN模型和大图数据集的广泛实验表明，BGL平均明显优于现有的GNN训练系统20.68倍。