Deep learning-based approaches have been developed to solve challenging problems in wireless communications, leading to promising results. Early attempts adopted neural network architectures inherited from applications such as computer vision. They often yield poor performance in large scale networks (i.e., poor scalability) and unseen network settings (i.e., poor generalization). To resolve these issues, graph neural networks (GNNs) have been recently adopted, as they can effectively exploit the domain knowledge, i.e., the graph topology in wireless communications problems. GNN-based methods can achieve near-optimal performance in large-scale networks and generalize well under different system settings, but the theoretical underpinnings and design guidelines remain elusive, which may hinder their practical implementations. This paper endeavors to fill both the theoretical and practical gaps. For theoretical guarantees, we prove that GNNs achieve near-optimal performance in wireless networks with much fewer training samples than traditional neural architectures. Specifically, to solve an optimization problem on an $n$-node graph (where the nodes may represent users, base stations, or antennas), GNNs' generalization error and required number of training samples are $\mathcal{O}(n)$ and $\mathcal{O}(n^2)$ times lower than the unstructured multi-layer perceptrons. For design guidelines, we propose a unified framework that is applicable to general design problems in wireless networks, which includes graph modeling, neural architecture design, and theory-guided performance enhancement. Extensive simulations, which cover a variety of important problems and network settings, verify our theory and the effectiveness of the proposed design framework.
translated by 谷歌翻译
作为图形数据的有效神经网络模型,图形神经网络(GNN)最近找到了针对各种无线优化问题的成功应用程序。鉴于GNN的推理阶段可以自然地以分散的方式实施,因此GNN是下一代无线通信中分散控制/管理的潜在推动力。但是,由于在与GNN的分散推断期间,邻居之间的信息交流可能会发生隐私泄漏。为了解决这个问题,在本文中,我们分析并增强了无线网络中GNN分散推断的隐私。具体来说,我们采用当地的差异隐私作为指标,设计了新颖的隐私信号以及隐私保证的培训算法,以实现保护隐私的推论。我们还定义了SNR私人关系权衡功能,以分析无线网络中使用GNN的分散推理的性能上限。为了进一步提高沟通和计算效率,我们采用了空中计算技术,理论上证明了其在隐私保护方面的优势。通过对合成图数据的大量模拟,我们验证了理论分析,验证提出的隐私无线信号传导和隐私保证培训算法的有效性,并就实际实施提供一些指导。
translated by 谷歌翻译
由于处理非covex公式的能力,深入研究深度学习(DL)技术以优化多用户多输入单输出(MU-MISO)下行链接系统。但是,现有的深神经网络(DNN)的固定计算结构在系统大小(即天线或用户的数量)方面缺乏灵活性。本文开发了一个双方图神经网络(BGNN)框架,这是一种可扩展的DL溶液,旨在多端纳纳波束形成优化。首先,MU-MISO系统以两分图为特征,其中两个不相交的顶点集(由传输天线和用户组成)通过成对边缘连接。这些顶点互连状态是通过通道褪色系数建模的。因此,将通用的光束优化过程解释为重量双分图上的计算任务。这种方法将波束成型的优化过程分为多个用于单个天线顶点和用户顶点的子操作。分离的顶点操作导致可扩展的光束成型计算,这些计算不变到系统大小。顶点操作是由一组DNN模块实现的,这些DNN模块共同构成了BGNN体系结构。在所有天线和用户中都重复使用相同的DNN,以使所得的学习结构变得灵活地适合网络大小。 BGNN的组件DNN在许多具有随机变化的网络尺寸的MU-MISO配置上进行了训练。结果,训练有素的BGNN可以普遍应用于任意的MU-MISO系统。数值结果验证了BGNN框架比常规方法的优势。
translated by 谷歌翻译
Learning precoding policies with neural networks enables low complexity online implementation, robustness to channel impairments, and joint optimization with channel acquisition. However, existing neural networks suffer from high training complexity and poor generalization ability when they are used to learn to optimize precoding for mitigating multi-user interference. This impedes their use in practical systems where the number of users is time-varying. In this paper, we propose a graph neural network (GNN) to learn precoding policies by harnessing both the mathematical model and the property of the policies. We first show that a vanilla GNN cannot well-learn pseudo-inverse of channel matrix when the numbers of antennas and users are large, and is not generalizable to unseen numbers of users. Then, we design a GNN by resorting to the Taylor's expansion of matrix pseudo-inverse, which allows for capturing the importance of the neighbored edges to be aggregated that is crucial for learning precoding policies efficiently. Simulation results show that the proposed GNN can well learn spectral efficient and energy efficient precoding policies in single- and multi-cell multi-user multi-antenna systems with low training complexity, and can be well generalized to the numbers of users.
translated by 谷歌翻译
机器学习(ML)已广泛用于无线网络中的有效资源分配(RA)。虽然在小型和简单的网络上实现了极好的性能,但是当发生异质性并且网络尺寸扩展时,大多数现有的基于ML的方法都面临困难。在本文中,专注于在异构设备到设备(D2D)网络中的功率控制/波束成形(PC / BF)上,我们提出了一种名为异构干扰图神经网络(HIGNN)的新型无监督的学习框架来处理这些挑战。首先,我们将多样化的链接特征和干扰关系与异构图形。然后,建议在与相邻链路的有限信息交换之后授权每个链接以获得其各个传输方案。值得注意的是,HIGNN在小型网络上培训后,HIGNN可扩展到具有稳健性能的尺寸的无线网络。数值结果表明,与最先进的基准相比,HIGNN在提供了强大的性能时实现了更高的执行效率。
translated by 谷歌翻译
As an efficient graph analytical tool, graph neural networks (GNNs) have special properties that are particularly fit for the characteristics and requirements of wireless communications, exhibiting good potential for the advancement of next-generation wireless communications. This article aims to provide a comprehensive overview of the interplay between GNNs and wireless communications, including GNNs for wireless communications (GNN4Com) and wireless communications for GNNs (Com4GNN). In particular, we discuss GNN4Com based on how graphical models are constructed and introduce Com4GNN with corresponding incentives. We also highlight potential research directions to promote future research endeavors for GNNs in wireless communications.
translated by 谷歌翻译
图形神经网络(GNN)是图形数据的有效的神经网络模型,广泛用于不同的领域,包括无线通信。与其他神经网络模型不同,GNN可以以分散的方式实现,其中邻居之间的信息交换,使其成为无线通信系统中分散控制的潜在强大的工具。然而,主要的瓶颈是无线频道损伤,其恶化了GNN的预测稳健性。为了克服这个障碍,我们在本文中分析和增强了不同无线通信系统中分散的GNN的鲁棒性。具体地,使用GNN二进制分类器作为示例,我们首先开发一种方法来验证预测是否稳健。然后,我们在未编码和编码的无线通信系统中分析分散的GNN二进制分类器的性能。为了解决不完美的无线传输并增强预测稳健性,我们进一步提出了用于上述两个通信系统的新型重传机制。通过仿真对合成图数据,我们验证了我们的分析,验证了提出的重传机制的有效性,并为实际实施提供了一些见解。
translated by 谷歌翻译
通信网络是当代社会中的重要基础设施。仍存在许多挑战,在该活性研究区域中不断提出新的解决方案。近年来,为了模拟网络拓扑,基于图形的深度学习在通信网络中的一系列问题中实现了最先进的性能。在本调查中,我们使用基于不同的图形的深度学习模型来审查快速增长的研究机构,例如,使用不同的图形深度学习模型。图表卷积和曲线图注意网络,在不同类型的通信网络中的各种问题中,例如,无线网络,有线网络和软件定义的网络。我们还为每项研究提供了一个有组织的问题和解决方案列表,并确定了未来的研究方向。据我们所知,本文是第一个专注于在涉及有线和无线场景的通信网络中应用基于图形的深度学习方法的调查。要跟踪后续研究,创建了一个公共GitHub存储库,其中相关文件将不断更新。
translated by 谷歌翻译
Graph Neural Networks (GNNs) are an effective framework for representation learning of graphs. GNNs follow a neighborhood aggregation scheme, where the representation vector of a node is computed by recursively aggregating and transforming representation vectors of its neighboring nodes. Many GNN variants have been proposed and have achieved state-of-the-art results on both node and graph classification tasks. However, despite GNNs revolutionizing graph representation learning, there is limited understanding of their representational properties and limitations. Here, we present a theoretical framework for analyzing the expressive power of GNNs to capture different graph structures. Our results characterize the discriminative power of popular GNN variants, such as Graph Convolutional Networks and GraphSAGE, and show that they cannot learn to distinguish certain simple graph structures. We then develop a simple architecture that is provably the most expressive among the class of GNNs and is as powerful as the Weisfeiler-Lehman graph isomorphism test. We empirically validate our theoretical findings on a number of graph classification benchmarks, and demonstrate that our model achieves state-of-the-art performance. * Equal contribution. † Work partially performed while in Tokyo, visiting Prof. Ken-ichi Kawarabayashi.
translated by 谷歌翻译
组合优化是运营研究和计算机科学领域的一个公认领域。直到最近,它的方法一直集中在孤立地解决问题实例,而忽略了它们通常源于实践中的相关数据分布。但是,近年来,人们对使用机器学习,尤其是图形神经网络(GNN)的兴趣激增,作为组合任务的关键构件,直接作为求解器或通过增强确切的求解器。GNN的电感偏差有效地编码了组合和关系输入,因为它们对排列和对输入稀疏性的意识的不变性。本文介绍了对这个新兴领域的最新主要进步的概念回顾,旨在优化和机器学习研究人员。
translated by 谷歌翻译
我们考虑多用户无线网络中的资源管理问题,可以将其视为优化网络范围的公用事业功能,这受到整个网络用户长期平均性能的限制。我们提出了一种以国家功能为算法来解决上述无线电资源管理(RRM)问题的算法,在此问题中,与瞬时网络状态相同,RRM策略将其作为输入的双重变量集,这些变量对应于约束,这些变量取决于多少,这些变量取决于多少,这些变量取决于多少。执行过程中违反约束。从理论上讲,我们表明,拟议的国有算法会导致可行且近乎最佳的RRM决策。此外,着重于使用图神经网络(GNN)参数化的无线功率控制问题,我们证明了所提出的RRM算法优于基线方法的优越性,跨基线方法。
translated by 谷歌翻译
Pre-publication draft of a book to be published byMorgan & Claypool publishers. Unedited version released with permission. All relevant copyrights held by the author and publisher extend to this pre-publication draft.
translated by 谷歌翻译
可重新配置的智能表面(RIS)可以显着增强TERA-HERTZ大量多输入多输出(MIMO)通信系统的服务覆盖范围。但是,获得有限的飞行员和反馈信号开销的准确高维通道状态信息(CSI)具有挑战性,从而严重降低了常规空间分裂多次访问的性能。为了提高针对CSI缺陷的鲁棒性,本文提出了针对RIS辅助TERA-HERTZ多用户MIMO系统的基于深度学习的(DL)基于速率的多访问(RSMA)方案。具体而言,我们首先提出了基于DL的混合数据模型驱动的RSMA预编码方案,包括RIS的被动预编码以及模拟主动编码和基本站(BS)的RSMA数字活动预码。为了实现RIS的被动预码,我们提出了一个基于变压器的数据驱动的RIS反射网络(RRN)。至于BS的模拟主动编码,我们提出了一个基于匹配器的模拟预编码方案,因为BS和RIS采用了Los-Mimo天线阵列结构。至于BS的RSMA数字活动预码,我们提出了一个低复杂性近似加权的最小均方误差(AWMMSE)数字编码方案。此外,为了更好地编码性能以及较低的计算复杂性,模型驱动的深层展开的主动编码网络(DFAPN)也是通过将所提出的AWMMSE方案与DL相结合的。然后,为了在BS处获得准确的CSI,以实现提高光谱效率的RSMA预编码方案,我们提出了一个CSI采集网络(CAN),具有低飞行员和反馈信号开销,下行链接飞行员的传输,CSI在此处使用CSI的CSI反馈。 (UES)和BS处的CSI重建被建模为基于变压器的端到端神经网络。
translated by 谷歌翻译
这项工作将重新审视关节波束形成(BF)和天线选择(AS)问题,以及其在不完美的通道状态信息(CSI)下的稳健光束成型(RBF)版本。在射频链的数量(RF)链的数量小于发射器上的天线元件的情况下,出现了此类问题,这已成为大型阵列时代的关键考虑。关节(r)bf \&作为问题是一个混合整数和非线性程序,因此发现{\ it最佳解决方案}通常是昂贵的,即使不是完全不可能。绝大多数先前的作品都使用基于连续优化的近似来解决这些问题 - 但是这些近似不能确保解决方案的最佳性甚至可行性。这项工作的主要贡献是三倍。首先,提出了一个有效的{\ it分支和绑定}(b \&b)解决感兴趣问题的框架。利用现有的BF和RBF求解器,表明B \&B框架保证了所考虑的问题的全球最优性。其次,为了加快潜在昂贵的B \&B算法,提出了一种基于机器学习(ML)的方案,以帮助跳过B \&B搜索树的中间状态。学习模型具有{\ it图形神经网络}(GNN)的设计,该设计对无线通信中通常遇到的挑战有抵抗力,即,培训和测试中问题大小的变化(例如,用户数量)的变化(例如,用户数量)阶段。第三,提出了全面的性能特征,表明基于GNN的方法在合理的条件下保留了B \&B的全球最佳性,其复杂性可降低。数值模拟还表明,基于ML的加速度通常可以相对于B \&b实现速度的速度。
translated by 谷歌翻译
随着深度学习技术的快速发展,各种最近的工作试图应用图形神经网络(GNN)来解决诸如布尔满足(SAT)之类的NP硬问题,这表明了桥接机器学习与象征性差距的潜力。然而,GNN预测的解决方案的质量并未在文献中进行很好地研究。在本文中,我们研究了GNNS在学习中解决最大可满足性(MaxSAT)问题的能力,从理论和实践角度来看。我们构建了两种GNN模型来学习来自基准的MaxSAT实例的解决方案,并显示GNN通过实验评估解决MaxSAT问题的有吸引力。我们还基于算法对准理论,我们还提出了GNNS可以在一定程度上学会解决MaxSAT问题的影响的理论解释。
translated by 谷歌翻译
近年来,基于Weisfeiler-Leman算法的算法和神经架构,是一个众所周知的Graph同构问题的启发式问题,它成为具有图形和关系数据的机器学习的强大工具。在这里,我们全面概述了机器学习设置中的算法的使用,专注于监督的制度。我们讨论了理论背景,展示了如何将其用于监督的图形和节点表示学习,讨论最近的扩展,并概述算法的连接(置换 - )方面的神经结构。此外,我们概述了当前的应用和未来方向,以刺激进一步的研究。
translated by 谷歌翻译
在过去的几年中,已经开发了图形绘图技术,目的是生成美学上令人愉悦的节点链接布局。最近,利用可区分损失功能的使用已为大量使用梯度下降和相关优化算法铺平了道路。在本文中,我们提出了一个用于开发图神经抽屉(GND)的新框架,即依靠神经计算来构建有效且复杂的图的机器。 GND是图形神经网络(GNN),其学习过程可以由任何提供的损失函数(例如图形图中通常使用的损失函数)驱动。此外,我们证明,该机制可以由通过前馈神经网络计算的损失函数来指导,并根据表达美容特性的监督提示,例如交叉边缘的最小化。在这种情况下,我们表明GNN可以通过位置功能很好地丰富与未标记的顶点处理。我们通过为边缘交叉构建损失函数来提供概念验证,并在提议的框架下工作的不同GNN模型之间提供定量和定性的比较。
translated by 谷歌翻译
联合学习(FL)最近被揭示为有希望的技术,以便在网络边缘启用人工智能(AI),其中分布式移动设备在边缘服务器的协调下协同培训共享AI模型。为了显着提高FL的通信效率,通过利用无线多接入信道的叠加特性,遍布空中计算允许大量的移动设备通过利用无线多接入信道的叠加特性同时上传其本地模型。由于无线信道衰落,边缘服务器的模型聚合误差由所有设备中最弱的通道主导,导致严重的孤立问题。在本文中,我们提出了一种继电器协助的合作液计划,以有效地解决了斯塔格勒问题。特别是,我们部署了多个半双工继电器以协同协作在将本地模型更新上载到边缘服务器时的设备。空中计算的性质构成了与传统继电器通信系统中不同的系统目标和约束。此外,设计变量之间的强耦合使得这种系统具有挑战性的优化。为了解决问题,我们提出了一种基于交替优化的算法来优化收发器和中继操作,具有低复杂度。然后,我们在单个中继盒中分析模型聚合误差,并显示我们的继电器辅助方案实现比没有继电器的中继的误差较小的误差。该分析提供了对协同媒体实施中的继电器部署的关键见解。广泛的数值结果表明,与最先进的方案相比,我们的设计达到了更快的融合。
translated by 谷歌翻译
使用神经网络编码HyperGraphs的HyperGraph神经网络(HNNS)为建模数据中的高阶关系提供了一种有希望的方法,并进一步解决了基于此类高阶关系的相关预测任务。但是,实践中的高阶关系包含复杂的模式,通常是高度不规则的。因此,设计一个足以表达这些关系的HNN在保持计算效率的同时,通常是一项挑战。受到超图扩散算法的启发,这项工作提出了一种名为ED-HNN的新型HNN体系结构,该结构可证明可以代表任何可以建模广泛的高阶关系的连续均值超差扩散算子。 ED-HNN可以通过将超图的星形扩展与传递神经网络的标准消息相结合来有效地实现。 ED-HNN进一步在处理异性超图和建造深层模型方面表现出了极大的优势。我们评估了在9个现实世界中的HyperGraph数据集上进行节点分类的ED-HNN。 ED-HNN均匀地胜过这9个数据集的最佳基线,并在其中四个数据集中获得了超过2 \%$ \ uparrow $的预测准确性。
translated by 谷歌翻译
图表可以模拟实体之间的复杂交互,它在许多重要的应用程序中自然出现。这些应用程序通常可以投入到标准图形学习任务中,其中关键步骤是学习低维图表示。图形神经网络(GNN)目前是嵌入方法中最受欢迎的模型。然而,邻域聚合范例中的标准GNN患有区分\ EMPH {高阶}图形结构的有限辨别力,而不是\ EMPH {低位}结构。为了捕获高阶结构,研究人员求助于主题和开发的基于主题的GNN。然而,现有的基于主基的GNN仍然仍然遭受较少的辨别力的高阶结构。为了克服上述局限性,我们提出了一个新颖的框架,以更好地捕获高阶结构的新框架,铰接于我们所提出的主题冗余最小化操作员和注射主题组合的新颖框架。首先,MGNN生成一组节点表示W.R.T.每个主题。下一阶段是我们在图案中提出的冗余最小化,该主题在彼此相互比较并蒸馏出每个主题的特征。最后,MGNN通过组合来自不同图案的多个表示来执行节点表示的更新。特别地,为了增强鉴别的功率,MGNN利用重新注射功能来组合表示的函数w.r.t.不同的主题。我们进一步表明,我们的拟议体系结构增加了GNN的表现力,具有理论分析。我们展示了MGNN在节点分类和图形分类任务上的七个公共基准上表现出最先进的方法。
translated by 谷歌翻译