虽然可以通过对位渠道进行排序来有效地实现连续策略解码的极性代码，但以有效且可扩展的方式为连续策略列表（SCL）解码找到最佳的极性代码结构，但仍在等待研究。本文提出了一个基于图形神经网络（GNN）基于迭代消息通话（IMP）算法的强化算法，以解决SCL解码的极性代码构建问题。该算法仅在极地代码的生成器矩阵诱导的图的局部结构上运行。 IMP模型的大小独立于区块长度和代码速率，从而使其可扩展到具有长块长度的极性代码。此外，单个受过训练的IMP模型可以直接应用于广泛的目标区块长度，代码速率和渠道条件，并且可以生成相应的极性代码，而无需单独的训练。数值实验表明，IMP算法找到了极性代码构建体，这些构建体在环状划分 - 检查辅助辅助AD的SCL（CA-SCL）解码下显着优于经典构建体。与针对SCL/CA-SCL解码量身定制的其他基于学习的施工方法相比，IMP算法构建具有可比或较低帧错误率的极地代码，同时通过消除每个目标阻止长度的单独训练的需求，从而大大降低了训练的复杂性，代码速率和通道状况。

在这项工作中，我们提出了一个完全可区分的图形神经网络（GNN）的架构，用于用于通道解码和展示各种编码方案的竞争性解码性能，例如低密度奇偶校验检查（LDPC）和BCH代码。这个想法是让神经网络（NN）通过给定图的通用消息传递算法，该算法通过用可训练的函数替换节点和边缘消息更新来代表正向误差校正（FEC）代码结构。与许多其他基于深度学习的解码方法相反，提出的解决方案享有对任意块长度的可扩展性，并且训练不受维数的诅咒的限制。我们在常规渠道解码中对最新的解码以及最近的基于深度学习的结果基准了我们提出的解码器。对于（63,45）BCH代码，我们的解决方案优于加权信念传播（BP）的解码约0.4 dB，而解码迭代率明显较小，甚至对于5G NR LDPC代码，我们观察到与常规BP解码相比，我们观察到竞争性能。对于BCH代码，所得的GNN解码器只能以9640个权重进行完全参数。

在这项工作中，我们提出了Reldec，一种用于顺序解码中等长度低密度奇偶校验（LDPC）代码的新方法。 Reldec背后的主要思想是，基于Markov决策过程（MDP），通过增强学习获得优化的解码策略。与我们以前的工作相比，如果代理学习在每个迭代的CNS的组（群集中）中只学习一个检查节点（CN），我们在这项工作中我们培训代理程序在群集中安排所有CN和所有集群在每一次迭代中。也就是说，在Reldec的每个学习步骤中，代理学会根据与调度特定群集的结果相关联的奖励来顺序地安排CN簇。我们还修改了MDP的状态空间表示，使RELDEC能够适用于比我们之前的工作中研究的更大的块长度LDPC代码。此外，为了在不同信道条件下进行解码，我们提出了两个相关方案，即敏捷元 - Reldec（AM-Reldec）和Meta-Reldec（M-Reldec），这两者都采用了元增强学习。所提出的Reldec计划显着优于各种LDPC代码的标准洪水和随机顺序解码，包括为5G新无线电设计的代码。

已知的信念信念传播解码变体在将不同的权重分配给消息传递边缘后，可以轻松地作为神经网络展开，因为神经网络灵活地传递。在本文中，我们关注如何在深度学习框架内以可训练的参数的形式确定这些权重。首先，提出了一种新方法来通过利用靶向混合物密度的近似值来生成高质量的训练数据。然后，在追踪训练演化曲线后，训练损失和解码指标之间的强正相关已完全暴露。最后，为了促进训练收敛并降低解码的复杂性，我们强调了削减可训练参数的数量的必要性，同时强调这些幸存的参数的位置，这在广泛的模拟中是合理的。

我们考虑在线性符号间干扰通道上使用因子图框架的符号检测的应用。基于Ungerboeck观察模型，可以得出具有吸引人复杂性能的检测算法。但是，由于基础因子图包含循环，因此总和算法（SPA）产生了次优算法。在本文中，我们制定并评估有效的策略，以通过神经增强来提高基于因子图的符号检测的性能。特别是，我们将因子节点的神经信念传播和概括是减轻因子图内周期效应的有效方法。通过将通用预处理器应用于通道输出，我们提出了一种简单的技术来改变每个SPA迭代中的基本因子图。使用这种动态因子图跃迁，我们打算保留水疗消息的外在性质，否则由于周期而受到损害。仿真结果表明，所提出的方法可以大大改善检测性能，甚至可以在各种传输方案中接近最大后验性能，同时保留在块长度和通道内存中线性线性的复杂性。

组合优化是运营研究和计算机科学领域的一个公认领域。直到最近，它的方法一直集中在孤立地解决问题实例，而忽略了它们通常源于实践中的相关数据分布。但是，近年来，人们对使用机器学习，尤其是图形神经网络（GNN）的兴趣激增，作为组合任务的关键构件，直接作为求解器或通过增强确切的求解器。GNN的电感偏差有效地编码了组合和关系输入，因为它们对排列和对输入稀疏性的意识的不变性。本文介绍了对这个新兴领域的最新主要进步的概念回顾，旨在优化和机器学习研究人员。

我们提出了一个通用图形神经网络体系结构，可以作为任何约束满意度问题（CSP）作为末端2端搜索启发式训练。我们的体系结构可以通过政策梯度下降进行无监督的培训，以纯粹的数据驱动方式为任何CSP生成问题的特定启发式方法。该方法基于CSP的新型图表，既是通用又紧凑的，并且使我们能够使用一个GNN处理所有可能的CSP实例，而不管有限的Arity，关系或域大小。与以前的基于RL的方法不同，我们在全局搜索动作空间上运行，并允许我们的GNN在随机搜索的每个步骤中修改任何数量的变量。这使我们的方法能够正确利用GNN的固有并行性。我们进行了彻底的经验评估，从随机数据（包括图形着色，Maxcut，3-SAT和Max-K-Sat）中学习启发式和重要的CSP。我们的方法表现优于先验的神经组合优化的方法。它可以在测试实例上与常规搜索启发式竞争，甚至可以改善几个数量级，结构上比训练中看到的数量级更为复杂。

深度强化学习（DRL）赋予了各种人工智能领域，包括模式识别，机器人技术，推荐系统和游戏。同样，图神经网络（GNN）也证明了它们在图形结构数据的监督学习方面的出色表现。最近，GNN与DRL用于图形结构环境的融合引起了很多关注。本文对这些混合动力作品进行了全面评论。这些作品可以分为两类：（1）算法增强，其中DRL和GNN相互补充以获得更好的实用性； （2）特定于应用程序的增强，其中DRL和GNN相互支持。这种融合有效地解决了工程和生命科学方面的各种复杂问题。基于审查，我们进一步分析了融合这两个领域的适用性和好处，尤其是在提高通用性和降低计算复杂性方面。最后，集成DRL和GNN的关键挑战以及潜在的未来研究方向被突出显示，这将引起更广泛的机器学习社区的关注。

由于处理非covex公式的能力，深入研究深度学习（DL）技术以优化多用户多输入单输出（MU-MISO）下行链接系统。但是，现有的深神经网络（DNN）的固定计算结构在系统大小（即天线或用户的数量）方面缺乏灵活性。本文开发了一个双方图神经网络（BGNN）框架，这是一种可扩展的DL溶液，旨在多端纳纳波束形成优化。首先，MU-MISO系统以两分图为特征，其中两个不相交的顶点集（由传输天线和用户组成）通过成对边缘连接。这些顶点互连状态是通过通道褪色系数建模的。因此，将通用的光束优化过程解释为重量双分图上的计算任务。这种方法将波束成型的优化过程分为多个用于单个天线顶点和用户顶点的子操作。分离的顶点操作导致可扩展的光束成型计算，这些计算不变到系统大小。顶点操作是由一组DNN模块实现的，这些DNN模块共同构成了BGNN体系结构。在所有天线和用户中都重复使用相同的DNN，以使所得的学习结构变得灵活地适合网络大小。 BGNN的组件DNN在许多具有随机变化的网络尺寸的MU-MISO配置上进行了训练。结果，训练有素的BGNN可以普遍应用于任意的MU-MISO系统。数值结果验证了BGNN框架比常规方法的优势。

测试点插入（TPI）是一种可增强可测试性的技术，特别是对于逻辑内置的自我测试（LBIST），由于其相对较低的故障覆盖率。在本文中，我们提出了一种基于DeepTPI的Deep Greatherions学习（DRL）的新型TPI方法。与以前基于学习的解决方案将TPI任务作为监督学习问题不同，我们训练了一种新颖的DRL代理，即实例化为图神经网络（GNN）和深Q学习网络（DQN）的组合，以最大程度地提高测试覆盖范围改进。具体而言，我们将电路模型为有向图并设计基于图的值网络，以估计插入不同测试点的动作值。 DRL代理的策略定义为选择具有最大值的操作。此外，我们将预先训练模型的一般节点嵌入到增强节点特征，并为值网络提出专用的可验证性注意力机制。与商业DFT工具相比，具有各种尺度的电路的实验结果表明，DEEPTPI显着改善了测试覆盖范围。这项工作的代码可在https://github.com/cure-lab/deeptpi上获得。

查找最佳消息量化是低复杂性信念传播（BP）解码的关键要求。为此，我们提出了一个浮点替代模型，该模型模仿量化效果，作为均匀噪声的添加，其幅度是可训练的变量。我们验证替代模型与定点实现的行为非常匹配，并提出了手工制作的损失功能，以实现复杂性和误差率性能之间的权衡。然后，采用一种基于深度学习的方法来优化消息位。此外，我们表明参数共享既可以确保实现友好的解决方案，又比独立参数导致更快的培训收敛。我们为5G低密度均衡检查（LDPC）代码提供模拟结果，并在浮点分解的0.2 dB内报告误差率性能，平均消息量化位低于3.1位。此外，我们表明，学到的位宽也将其推广到其他代码速率和渠道。

这篇简短的评论旨在使读者熟悉与计划，调度和学习有关的最新作品。首先，我们研究最先进的计划算法。我们简要介绍神经网络。然后，我们更详细地探索图形神经网络，这是一种适合处理图形结构输入的神经网络的最新变体。我们简要描述了强化学习算法和迄今为止设计的一些方法的概念。接下来，我们研究了一些成功的方法，结合了用于路径规划的神经网络。最后，我们专注于不确定性的时间计划问题。

最近的进步表明，使用强化学习和搜索来解决NP-HARD相关的任务的成功，例如旅行推销员优化，图表编辑距离计算等。但是，尚不清楚如何有效，准确地检测到如何有效地检测大型目标图中的一个小查询图，它是图数据库搜索，生物医学分析，社交组发现等中的核心操作。此任务称为子图匹配，本质上是在查询图和大型目标图之间执行子图同构检查。解决这个经典问题的一种有前途的方法是“学习进行搜索”范式，其中强化学习（RL）代理人的设计具有学习的政策，以指导搜索算法以快速找到解决方案而无需任何解决方案实例进行监督。但是，对于子图匹配的特定任务，尽管查询图通常由用户作为输入给出，但目标图通常更大。它为神经网络设计带来了挑战，并可能导致解决方案和奖励稀疏性。在本文中，我们提出了两项​​创新的N-BLS来应对挑战：（1）一种新颖的编码器折线神经网络体系结构，以动态计算每个搜索状态下查询和目标图之间的匹配信息； （2）蒙特卡洛树搜索增强了双层搜索框架，用于培训政策和价值网络。在五个大型现实世界目标图上进行的实验表明，N-BLS可以显着改善子图匹配性能。

Deep learning-based approaches have been developed to solve challenging problems in wireless communications, leading to promising results. Early attempts adopted neural network architectures inherited from applications such as computer vision. They often yield poor performance in large scale networks (i.e., poor scalability) and unseen network settings (i.e., poor generalization). To resolve these issues, graph neural networks (GNNs) have been recently adopted, as they can effectively exploit the domain knowledge, i.e., the graph topology in wireless communications problems. GNN-based methods can achieve near-optimal performance in large-scale networks and generalize well under different system settings, but the theoretical underpinnings and design guidelines remain elusive, which may hinder their practical implementations. This paper endeavors to fill both the theoretical and practical gaps. For theoretical guarantees, we prove that GNNs achieve near-optimal performance in wireless networks with much fewer training samples than traditional neural architectures. Specifically, to solve an optimization problem on an $n$-node graph (where the nodes may represent users, base stations, or antennas), GNNs' generalization error and required number of training samples are $\mathcal{O}(n)$ and $\mathcal{O}(n^2)$ times lower than the unstructured multi-layer perceptrons. For design guidelines, we propose a unified framework that is applicable to general design problems in wireless networks, which includes graph modeling, neural architecture design, and theory-guided performance enhancement. Extensive simulations, which cover a variety of important problems and network settings, verify our theory and the effectiveness of the proposed design framework.

Graph mining tasks arise from many different application domains, ranging from social networks, transportation to E-commerce, etc., which have been receiving great attention from the theoretical and algorithmic design communities in recent years, and there has been some pioneering work employing the research-rich Reinforcement Learning (RL) techniques to address graph data mining tasks. However, these graph mining methods and RL models are dispersed in different research areas, which makes it hard to compare them. In this survey, we provide a comprehensive overview of RL and graph mining methods and generalize these methods to Graph Reinforcement Learning (GRL) as a unified formulation. We further discuss the applications of GRL methods across various domains and summarize the method descriptions, open-source codes, and benchmark datasets of GRL methods. Furthermore, we propose important directions and challenges to be solved in the future. As far as we know, this is the latest work on a comprehensive survey of GRL, this work provides a global view and a learning resource for scholars. In addition, we create an online open-source for both interested scholars who want to enter this rapidly developing domain and experts who would like to compare GRL methods.

社交机器人被称为社交网络上的自动帐户，这些帐户试图像人类一样行事。尽管图形神经网络（GNNS）已大量应用于社会机器人检测领域，但大量的领域专业知识和先验知识大量参与了最先进的方法，以设计专门的神经网络体系结构，以设计特定的神经网络体系结构。分类任务。但是，在模型设计中涉及超大的节点和网络层，通常会导致过度平滑的问题和缺乏嵌入歧视。在本文中，我们提出了罗斯加斯（Rosgas），这是一种新颖的加强和自我监督的GNN Architecture搜索框架，以适应性地指出了最合适的多跳跃社区和GNN体系结构中的层数。更具体地说，我们将社交机器人检测问题视为以用户为中心的子图嵌入和分类任务。我们利用异构信息网络来通过利用帐户元数据，关系，行为特征和内容功能来展示用户连接。 Rosgas使用多代理的深钢筋学习（RL）机制来导航最佳邻域和网络层的搜索，以分别学习每个目标用户的子图嵌入。开发了一种用于加速RL训练过程的最接近的邻居机制，Rosgas可以借助自我监督的学习来学习更多的判别子图。 5个Twitter数据集的实验表明，Rosgas在准确性，训练效率和稳定性方面优于最先进的方法，并且在处理看不见的样本时具有更好的概括。

近年来在自动编码器（AE）框架中自动化频道编码器和解码器的设计越来越感兴趣，以便在噪声通道上可靠地传输数据。在本文中，我们为此目的展示了设计AES的新框架。特别地，我们介绍了AE框架，即Listae，其中解码器网络输出解码的消息字候选列表。假设在解码器的输出中可在解码器的输出处获得Genie，并且提出了特定损耗功能，以优化Genie-Aided（GA）-Listae的性能。 Listae是普通AE框架，可以与任何网络架构一起使用。我们提出了一种特定的端到端网络架构，其在一系列组件代码上解码接收的单词，其速率降低。基于所提出的架构的Listae称为增量冗余列表（IR-Listae），在GA解码下的低块误差速率下通过1 dB提高了最先进的AE性能。然后，我们使用循环冗余检查（CRC）代码来替换解码器的Genie，与GA-Listae相比，使CRC-Aided（CA）-Listae具有可忽略的性能损失。由于将CRC附加到消息字，CA-Listae以略微降低的价格显示有意义的编码增益。

显示用于误差校正的小型神经网络（NNS）可改善经典通道代码并解决通道模型更改。我们通过多次使用相同的NN使用相同的NN扩展了任何此类结构的代码维度，这些NN与外部经典代码串行串联。我们设计具有相同网络参数的NN，其中每个REED - Solomon CodeWord符号都是对其他NN的输入。与小型神经代码相比，增加了加斯噪声通道的块误差概率的显着改善，以及通道模型变化的稳健性。

我们提出了一个新的图形神经网络，我们称为AgentNet，该网络专为图形级任务而设计。 AgentNet的灵感来自子宫性算法，具有独立于图形大小的计算复杂性。代理Net的体系结构从根本上与已知图神经网络的体系结构不同。在AgentNet中，一些受过训练的\ textit {神经代理}智能地行走图，然后共同决定输出。我们提供了对AgentNet的广泛理论分析：我们表明，代理可以学会系统地探索其邻居，并且AgentNet可以区分某些甚至3-WL无法区分的结构。此外，AgentNet能够将任何两个图形分开，这些图在子图方面完全不同。我们通过在难以辨认的图和现实图形分类任务上进行合成实验来确认这些理论结果。在这两种情况下，我们不仅与标准GNN相比，而且与计算更昂贵的GNN扩展相比。

纠错码是现代通信系统中的基本组件，要求极高的吞吐量，超可靠性和低延迟。随着解码器的近期使用机器学习（ML）模型的方法提供了改进的性能和对未知环境的巨大适应性，传统的解码器斗争。我们介绍了一般框架，以进一步提高ML模型的性能和适用性。我们建议将ML解码器与竞争鉴别器网络组合，该网络试图区分码字和嘈杂的单词，因此，指导解码模型以恢复传输的码字。我们的框架是游戏理论，由生成的对抗网络（GANS）有动力，解码器和鉴别者在零和游戏中竞争。解码器学习同时解码和生成码字，而鉴别器学会讲述解码输出和码字之间的差异。因此，解码器能够将嘈杂的接收信号解码为码字，增加成功解码的概率。我们通过证明这解码器定义了我们游戏的NASH均衡点，我们与最佳最大可能性解码器展示了我们的框架的强烈连接。因此，培训均衡具有实现最佳最大可能性性能的良好可能性。此外，我们的框架不需要培训标签，这些标签通常在通信期间通常不可用，因此似乎可以在线培训并适应频道动态。为了展示我们框架的表现，我们将其与最近的神经解码器相结合，并与各种代码上的原始模型和传统解码算法相比，表现出改进的性能。