Steiner树问题（STP）在图中旨在在连接给定的顶点集的图表中找到一个最小权重的树。它是一种经典的NP - 硬组合优化问题，具有许多现实世界应用（例如，VLSI芯片设计，运输网络规划和无线传感器网络）。为STP开发了许多精确和近似算法，但它们分别遭受高计算复杂性和弱案例解决方案保证。还开发了启发式算法。但是，它们中的每一个都需要应用域知识来设计，并且仅适用于特定方案。最近报道的观察结果，同一NP-COLLECLIAL问题的情况可能保持相同或相似的组合结构，但主要在其数据中不同，我们调查将机器学习技术应用于STP的可行性和益处。为此，我们基于新型图形神经网络和深增强学习设计了一种新型模型瓦坎。 Vulcan的核心是一种新颖的紧凑型图形嵌入，将高瞻度图形结构数据（即路径改变信息）转换为低维矢量表示。鉴于STP实例，Vulcan使用此嵌入来对其路径相关的信息进行编码，并基于双层Q网络（DDQN）将编码的图形发送到深度加强学习组件，以找到解决方案。除了STP之外，Vulcan还可以通过将解决方案（例如，SAT，MVC和X3C）来减少到STP来找到解决方案。我们使用现实世界和合成数据集进行广泛的实验，展示了vulcan的原型，并展示了它的功效和效率。

The design of good heuristics or approximation algorithms for NP-hard combinatorial optimization problems often requires significant specialized knowledge and trial-and-error. Can we automate this challenging, tedious process, and learn the algorithms instead? In many real-world applications, it is typically the case that the same optimization problem is solved again and again on a regular basis, maintaining the same problem structure but differing in the data. This provides an opportunity for learning heuristic algorithms that exploit the structure of such recurring problems. In this paper, we propose a unique combination of reinforcement learning and graph embedding to address this challenge. The learned greedy policy behaves like a meta-algorithm that incrementally constructs a solution, and the action is determined by the output of a graph embedding network capturing the current state of the solution. We show that our framework can be applied to a diverse range of optimization problems over graphs, and learns effective algorithms for the Minimum Vertex Cover, Maximum Cut and Traveling Salesman problems.

组合优化是运营研究和计算机科学领域的一个公认领域。直到最近，它的方法一直集中在孤立地解决问题实例，而忽略了它们通常源于实践中的相关数据分布。但是，近年来，人们对使用机器学习，尤其是图形神经网络（GNN）的兴趣激增，作为组合任务的关键构件，直接作为求解器或通过增强确切的求解器。GNN的电感偏差有效地编码了组合和关系输入，因为它们对排列和对输入稀疏性的意识的不变性。本文介绍了对这个新兴领域的最新主要进步的概念回顾，旨在优化和机器学习研究人员。

Influence Maximization (IM) is a classical combinatorial optimization problem, which can be widely used in mobile networks, social computing, and recommendation systems. It aims at selecting a small number of users such that maximizing the influence spread across the online social network. Because of its potential commercial and academic value, there are a lot of researchers focusing on studying the IM problem from different perspectives. The main challenge comes from the NP-hardness of the IM problem and \#P-hardness of estimating the influence spread, thus traditional algorithms for overcoming them can be categorized into two classes: heuristic algorithms and approximation algorithms. However, there is no theoretical guarantee for heuristic algorithms, and the theoretical design is close to the limit. Therefore, it is almost impossible to further optimize and improve their performance. With the rapid development of artificial intelligence, the technology based on Machine Learning (ML) has achieved remarkable achievements in many fields. In view of this, in recent years, a number of new methods have emerged to solve combinatorial optimization problems by using ML-based techniques. These methods have the advantages of fast solving speed and strong generalization ability to unknown graphs, which provide a brand-new direction for solving combinatorial optimization problems. Therefore, we abandon the traditional algorithms based on iterative search and review the recent development of ML-based methods, especially Deep Reinforcement Learning, to solve the IM problem and other variants in social networks. We focus on summarizing the relevant background knowledge, basic principles, common methods, and applied research. Finally, the challenges that need to be solved urgently in future IM research are pointed out.

图形上的组合优化问题（COP）是优化的基本挑战。强化学习（RL）最近成为解决这些问题的新框架，并证明了令人鼓舞的结果。但是，大多数RL解决方案都采用贪婪的方式来逐步构建解决方案，因此不可避免地对动作序列构成不必要的依赖性，并且需要许多特定于问题的设计。我们提出了一个通用的RL框架，该框架不仅表现出最先进的经验表现，而且还推广到各种各样的警察。具体而言，我们将状态定义为解决问题实例的解决方案，并将操作作为对该解决方案的扰动。我们利用图形神经网络（GNN）为给定的问题实例提取潜在表示，然后应用深Q学习以获得通过翻转或交换顶点标签逐渐完善解决方案的策略。实验是在最大$ k $ cut和旅行推销员问题上进行的，并且针对一系列基于学习的启发式基线实现了绩效改善。

我们提出了一个通用图形神经网络体系结构，可以作为任何约束满意度问题（CSP）作为末端2端搜索启发式训练。我们的体系结构可以通过政策梯度下降进行无监督的培训，以纯粹的数据驱动方式为任何CSP生成问题的特定启发式方法。该方法基于CSP的新型图表，既是通用又紧凑的，并且使我们能够使用一个GNN处理所有可能的CSP实例，而不管有限的Arity，关系或域大小。与以前的基于RL的方法不同，我们在全局搜索动作空间上运行，并允许我们的GNN在随机搜索的每个步骤中修改任何数量的变量。这使我们的方法能够正确利用GNN的固有并行性。我们进行了彻底的经验评估，从随机数据（包括图形着色，Maxcut，3-SAT和Max-K-Sat）中学习启发式和重要的CSP。我们的方法表现优于先验的神经组合优化的方法。它可以在测试实例上与常规搜索启发式竞争，甚至可以改善几个数量级，结构上比训练中看到的数量级更为复杂。

在社交网络中找到有影响力的用户是一个基本问题，具有许多可能的应用程序。将社交网络视为图形，可以通过位于网络中给定数量的跳数内的邻居的数量来测量一组用户的影响，其中每个跳标标记了影响扩散的步骤。在本文中，我们将IM的问题减少到预算受限的D-Hop主导集合问题（KDDSP）。我们提出了一个统一的机器学习（ML）框架，FastCover，通过以无人监督的方式学习高效的贪婪策略来解决KDDSP。作为框架的一个关键组成部分，我们设计了一种新颖的图形神经网络（GNN）架构，图反转关注网络（GRAT），其捕获邻居之间的扩散过程。与用于组合优化问题的大多数启发式算法和并发ML框架不同，FastCover确定从GNN的一个正向传播的节点的分数确定整个种子集，并且在图形大小中具有时间复杂性准线性。综合图和现实世界社交网络的实验表明，FastCover通过并发算法呈现的更好或相当的质量来找到解决方案，同时实现超过1000x的加速。

Graph mining tasks arise from many different application domains, ranging from social networks, transportation to E-commerce, etc., which have been receiving great attention from the theoretical and algorithmic design communities in recent years, and there has been some pioneering work employing the research-rich Reinforcement Learning (RL) techniques to address graph data mining tasks. However, these graph mining methods and RL models are dispersed in different research areas, which makes it hard to compare them. In this survey, we provide a comprehensive overview of RL and graph mining methods and generalize these methods to Graph Reinforcement Learning (GRL) as a unified formulation. We further discuss the applications of GRL methods across various domains and summarize the method descriptions, open-source codes, and benchmark datasets of GRL methods. Furthermore, we propose important directions and challenges to be solved in the future. As far as we know, this is the latest work on a comprehensive survey of GRL, this work provides a global view and a learning resource for scholars. In addition, we create an online open-source for both interested scholars who want to enter this rapidly developing domain and experts who would like to compare GRL methods.

随着深度学习技术的快速发展，各种最近的工作试图应用图形神经网络（GNN）来解决诸如布尔满足（SAT）之类的NP硬问题，这表明了桥接机器学习与象征性差距的潜力。然而，GNN预测的解决方案的质量并未在文献中进行很好地研究。在本文中，我们研究了GNNS在学习中解决最大可满足性（MaxSAT）问题的能力，从理论和实践角度来看。我们构建了两种GNN模型来学习来自基准的MaxSAT实例的解决方案，并显示GNN通过实验评估解决MaxSAT问题的有吸引力。我们还基于算法对准理论，我们还提出了GNNS可以在一定程度上学会解决MaxSAT问题的影响的理论解释。

回溯搜索算法通常用于解决约束满足问题（CSP）。回溯搜索的效率在很大程度上取决于可变排序启发式。目前，最常用的启发式是根据专家知识进行手工制作的。在本文中，我们提出了一种基于深度的加强学习方法，可以自动发现新的变量订购启发式，更好地适用于给定类CSP实例。我们显示，直接优化搜索成本很难用于自动启动，并建议优化在搜索树中到达叶节点的预期成本。为了捕获变量和约束之间的复杂关系，我们设计基于图形神经网络的表示方案，可以处理具有不同大小和约束的CSP实例。随机CSP实例上的实验结果表明，学习的政策在最小化搜索树大小的方面优于古典手工制作的启发式，并且可以有效地推广到比训练中使用的实例。

在许多领域，包括计算机视觉和模式识别的许多领域，图形匹配（GM）一直是一个基础。尽管最近取得了令人印象深刻的进展，但现有的深入GM方法通常在处理这两个图中的异常值方面都有困难，这在实践中无处不在。我们提出了基于加权图匹配的基于深的增强学习（RL）方法RGM，其顺序节点匹配方案自然适合选择性嵌入式匹配与异常值的策略。设计了可撤销的动作方案，以提高代理商在复杂受约束的匹配任务上的灵活性。此外，我们提出了一种二次近似技术，以在存在异常值的情况下使亲和力矩阵正常化。因此，当目标得分停止增长时，RL代理可以及时完成匹配，否则，否则会有额外的超参数，即需要常见的嵌入式数量来避免匹配异常值。在本文中，我们专注于学习最通用的GM形式的后端求解器：Lawler's QAP，其输入是亲和力矩阵。我们的方法还可以使用亲和力输入来增强其他求解器。合成和现实世界数据集的实验结果展示了其在匹配准确性和鲁棒性方面的出色性能。

社交机器人被称为社交网络上的自动帐户，这些帐户试图像人类一样行事。尽管图形神经网络（GNNS）已大量应用于社会机器人检测领域，但大量的领域专业知识和先验知识大量参与了最先进的方法，以设计专门的神经网络体系结构，以设计特定的神经网络体系结构。分类任务。但是，在模型设计中涉及超大的节点和网络层，通常会导致过度平滑的问题和缺乏嵌入歧视。在本文中，我们提出了罗斯加斯（Rosgas），这是一种新颖的加强和自我监督的GNN Architecture搜索框架，以适应性地指出了最合适的多跳跃社区和GNN体系结构中的层数。更具体地说，我们将社交机器人检测问题视为以用户为中心的子图嵌入和分类任务。我们利用异构信息网络来通过利用帐户元数据，关系，行为特征和内容功能来展示用户连接。 Rosgas使用多代理的深钢筋学习（RL）机制来导航最佳邻域和网络层的搜索，以分别学习每个目标用户的子图嵌入。开发了一种用于加速RL训练过程的最接近的邻居机制，Rosgas可以借助自我监督的学习来学习更多的判别子图。 5个Twitter数据集的实验表明，Rosgas在准确性，训练效率和稳定性方面优于最先进的方法，并且在处理看不见的样本时具有更好的概括。

深度强化学习（DRL）赋予了各种人工智能领域，包括模式识别，机器人技术，推荐系统和游戏。同样，图神经网络（GNN）也证明了它们在图形结构数据的监督学习方面的出色表现。最近，GNN与DRL用于图形结构环境的融合引起了很多关注。本文对这些混合动力作品进行了全面评论。这些作品可以分为两类：（1）算法增强，其中DRL和GNN相互补充以获得更好的实用性； （2）特定于应用程序的增强，其中DRL和GNN相互支持。这种融合有效地解决了工程和生命科学方面的各种复杂问题。基于审查，我们进一步分析了融合这两个领域的适用性和好处，尤其是在提高通用性和降低计算复杂性方面。最后，集成DRL和GNN的关键挑战以及潜在的未来研究方向被突出显示，这将引起更广泛的机器学习社区的关注。

This paper surveys the recent attempts, both from the machine learning and operations research communities, at leveraging machine learning to solve combinatorial optimization problems. Given the hard nature of these problems, state-of-the-art algorithms rely on handcrafted heuristics for making decisions that are otherwise too expensive to compute or mathematically not well defined. Thus, machine learning looks like a natural candidate to make such decisions in a more principled and optimized way. We advocate for pushing further the integration of machine learning and combinatorial optimization and detail a methodology to do so. A main point of the paper is seeing generic optimization problems as data points and inquiring what is the relevant distribution of problems to use for learning on a given task.

用于图形组合优化问题的神经网络溶剂的端到端培训，例如旅行销售人员问题（TSP）最近看到了感兴趣的激增，但在几百节节点的图表中保持棘手和效率低下。虽然最先进的学习驱动的方法对于TSP在培训的古典索引时与古典求解器密切相关，但它们无法通过实际尺度的实际情况概括到更大的情况。这项工作提出了一个端到端的神经组合优化流水线，统一几个卷纸，以确定促进比在训练中看到的实例的概括的归纳偏差，模型架构和学习算法。我们的受控实验提供了第一个原则上调查这种零拍摄的概括，揭示了超越训练数据的推断需要重新思考从网络层和学习范例到评估协议的神经组合优化流水线。此外，我们分析了深入学习的最近进步，通过管道的镜头路由问题，并提供新的方向，以刺激未来的研究。

本文介绍了一种增强的元启发式（ML-ACO），将机器学习（ML）和蚁群优化（ACO）结合起来解决组合优化问题。为了说明我们ML-ACO算法的底层机制，我们首先描述测试问题，定向问题。在这个问题中，目的是找到一个路线，该路线在时间预算中在图中访问顶点的子集，以最大化收集的分数。在我们ML-ACO算法的第一阶段，使用一组小问题实例训练ML模型，其中已知最佳解决方案。具体地，分类模型用于将边缘分类为最佳路由的一部分，或不使用特定于问题的特征和统计测量。然后，训练模型用于预测测试问题实例图表中的边缘所属的概率属于相应的最优路由。在第二阶段，我们将预测的概率纳入我们算法的ACO组件，即，使用概率值作为启发式权重或者热启动信息素矩阵。这里，在构建可行的路线时偏向有利于这些预测的高质量边缘的概率值。我们已经测试了多种分类模型，包括图形神经网络，逻辑回归和支持向量机，实验结果表明，我们的解决方案预测方法一直促进ACO的性能。此外，我们经验证明我们在小型合成实例上培训的ML模型概括为大型合成和现实世界的情况。我们将ML与META-HEURISTIC集成的方法是通用的，可以应用于各种优化问题。

图表神经网络（GNNS）在行业中，由于各种预测任务的表现令人印象深刻，在行业中获得了显着的采用。然而，单独的性能是不够的。任何广泛部署的机器学习算法都必须强大到对抗性攻击。在这项工作中，我们调查了GNN的这个方面，识别漏洞，并将它们链接到图形属性，可能导致更安全和强大的GNN的开发。具体而言，我们制定任务和模型不可知逃避攻击问题，其中对手修改了测试图以影响任何未知下游任务的性能。提出的算法，盛大（$ GR $ APH $ A $ TTACK通过$ N $ eighbors $ D $ Istorration）显示节点邻域的失真在急剧损害预测性能方面是有效的。虽然邻里失真是一个NP难题，但是宏伟设计了通过具有深入$ Q $ -Learning的图形同构网络的新组合的启发式。关于实际数据集的广泛实验表明，平均而言，盛大的速度高达50美元，而不是最先进的技术，同时速度超过100美元。

近年来，在平衡（超级）图分配算法的设计和评估中取得了重大进展。我们调查了过去十年的实用算法的趋势，用于平衡（超级）图形分区以及未来的研究方向。我们的工作是对先前有关该主题的调查的更新。特别是，该调查还通过涵盖了超图形分区和流算法来扩展先前的调查，并额外关注并行算法。

在过去十年中，图形内核引起了很多关注，并在结构化数据上发展成为一种快速发展的学习分支。在过去的20年中，该领域发生的相当大的研究活动导致开发数十个图形内核，每个图形内核都对焦于图形的特定结构性质。图形内核已成功地成功地在广泛的域中，从社交网络到生物信息学。本调查的目标是提供图形内核的文献的统一视图。特别是，我们概述了各种图形内核。此外，我们对公共数据集的几个内核进行了实验评估，并提供了比较研究。最后，我们讨论图形内核的关键应用，并概述了一些仍有待解决的挑战。

动态作业车间调度问题（DJSP）是一类是专门考虑固有的不确定性，如切换顺序要求和现实的智能制造的设置可能机器故障调度任务。因为传统方法不能动态生成环境的扰动面有效调度策略，我们制定DJSP马尔可夫决策过程（MDP）通过强化学习（RL）加以解决。为此，我们提出了一个灵活的混合架构，采用析取图的状态和一组通用的调度规则与之前最小的领域知识的行动空间。注意机制被用作状态的特征提取的图形表示学习（GRL）模块，并且采用双决斗深Q-网络与优先重放和嘈杂的网络（D3QPN）到每个状态映射到最适当的调度规则。此外，我们提出Gymjsp，基于众所周知的或图书馆公共标杆，提供了RL和DJSP研究社区标准化现成的现成工具。各种DJSP实例综合实验证实，我们提出的框架是优于基准算法可在所有情况下，较小的完工时间，并提供了在混合架构的各个组成部分的有效性实证理由。