组合优化问题在许多实际情况（例如物流和生产）中遇到，但是精确的解决方案尤其难以找到，通常对于大量的问题大小而言，通常是NP-HARD。为了计算近似解决方案，通常使用局部搜索的通用和特定问题的动物园。但是，哪种变体适用于哪种特定问题，即使对于专家来说也很难决定。在本文中，我们确定了这种本地搜索算法的三个独立算法方面，并将其在优化过程中正式选择为马尔可夫决策过程（MDP）。我们将深图神经网络设计为该MDP的策略模型，为当地搜索提供了一个名为Neurols的局部搜索控制器。充分的实验证据表明，神经元能够胜过操作研究和最新基于机器学习的方法的众所周知的通用本地搜索控制器。

In recent years, methods based on deep neural networks, and especially Neural Improvement (NI) models, have led to a revolution in the field of combinatorial optimization. Given an instance of a graph-based problem and a candidate solution, they are able to propose a modification rule that improves its quality. However, existing NI approaches only consider node features and node-wise positional encodings to extract the instance and solution information, respectively. Thus, they are not suitable for problems where the essential information is encoded in the edges. In this paper, we present a NI model to solve graph-based problems where the information is stored either in the nodes, in the edges, or in both of them. We incorporate the NI model as a building block of hill-climbing-based algorithms to efficiently guide the election of neighborhood operations considering the solution at that iteration. Conducted experiments show that the model is able to recommend neighborhood operations that are in the $99^{th}$ percentile for the Preference Ranking Problem. Moreover, when incorporated to hill-climbing algorithms, such as Iterated or Multi-start Local Search, the NI model systematically outperforms the conventional versions. Finally, we demonstrate the flexibility of the model by extending the application to two well-known problems: the Traveling Salesman Problem and the Graph Partitioning Problem.

组合优化的神经方法（CO）配备了一种学习机制，以发现解决复杂现实世界问题的强大启发式方法。尽管出现了能够在单一镜头中使用高质量解决方案的神经方法，但最先进的方法通常无法充分利用他们可用的解决时间。相比之下，手工制作的启发式方法可以很好地执行高效的搜索并利用给他们的计算时间，但包含启发式方法，这些启发式方法很难适应要解决的数据集。为了为神经CO方法提供强大的搜索程序，我们提出了模拟引导的光束搜索（SGB），该搜索（SGB）在固定宽度的树搜索中检查了候选解决方案，既是神经网络学习的政策又是模拟（推出）确定有希望的。我们将SGB与有效的主动搜索（EAS）进一步融合，其中SGB提高了EAS中反向传播的解决方案的质量，EAS提高了SGB中使用的策略的质量。我们评估了有关众所周知的CO基准的方法，并表明SGB可显着提高在合理的运行时假设下发现的解决方案的质量。

组合优化是运营研究和计算机科学领域的一个公认领域。直到最近，它的方法一直集中在孤立地解决问题实例，而忽略了它们通常源于实践中的相关数据分布。但是，近年来，人们对使用机器学习，尤其是图形神经网络（GNN）的兴趣激增，作为组合任务的关键构件，直接作为求解器或通过增强确切的求解器。GNN的电感偏差有效地编码了组合和关系输入，因为它们对排列和对输入稀疏性的意识的不变性。本文介绍了对这个新兴领域的最新主要进步的概念回顾，旨在优化和机器学习研究人员。

图形上的组合优化问题（COP）是优化的基本挑战。强化学习（RL）最近成为解决这些问题的新框架，并证明了令人鼓舞的结果。但是，大多数RL解决方案都采用贪婪的方式来逐步构建解决方案，因此不可避免地对动作序列构成不必要的依赖性，并且需要许多特定于问题的设计。我们提出了一个通用的RL框架，该框架不仅表现出最先进的经验表现，而且还推广到各种各样的警察。具体而言，我们将状态定义为解决问题实例的解决方案，并将操作作为对该解决方案的扰动。我们利用图形神经网络（GNN）为给定的问题实例提取潜在表示，然后应用深Q学习以获得通过翻转或交换顶点标签逐渐完善解决方案的策略。实验是在最大$ k $ cut和旅行推销员问题上进行的，并且针对一系列基于学习的启发式基线实现了绩效改善。

学习解决组合优化问题，例如车辆路径问题，提供古典运营研究求解器和启发式的巨大计算优势。最近开发的深度加强学习方法迭代或顺序地构建一组个别旅游的最初给定的解决方案。然而，大多数现有的基于学习的方法都无法为固定数量的车辆工作，从而将客户的复杂分配问题绕过APRIORI给定数量的可用车辆。另一方面，这使得它们不太适合真实应用程序，因为许多物流服务提供商依赖于提供的解决方案提供了特定的界限船队规模，并且无法适应车辆数量的短期更改。相比之下，我们提出了一个强大的监督深度学习框架，在尊重APRiori固定数量的可用车辆的同时构建完整的旅游计划。与高效的后处理方案结合，我们的监督方法不仅要快得多，更容易训练，而且还实现了包含车辆成本的实际方面的竞争结果。在彻底的控制实验中，我们将我们的方法与我们展示稳定性能的多种最先进的方法进行比较，同时利用较少的车辆并在相关工作的实验协议中存在一些亮点。

本文介绍了一种增强学习方法，以更好地概括有关工作店调度问题（JSP）的启发式调度规则。 JSP上的当前模型并不关注概括，尽管正如我们在这项工作中所显示的那样，这是对问题进行更好的启发式方法的关键。改善概括的一种众所周知的技术是使用课程学习（CL）学习日益复杂的实例。但是，正如文献中许多作品所表明的那样，在不同问题大小之间传递学习技能时，这种技术可能会遭受灾难性的遗忘。为了解决这个问题，我们引入了一种新颖的对抗性课程学习（ACL）策略，该策略在学习过程中动态调整了难度级别以重新审视最坏情况的实例。这项工作还提出了一个深度学习模型来解决JSP，这是e var的W.R.T.作业定义和尺寸不可能。对Taillard和Demirkol的实例进行了实验，表明所提出的方法显着改善了JSP上的最新模型。它的平均最佳差距从Taillard的实例中的平均最佳差距从19.35 \％降低到10.46 \％，而Demirkol的实例中的平均最佳差距从38.43 \％降低到18.85％。我们的实施可在线提供。

动态作业车间调度问题（DJSP）是一类是专门考虑固有的不确定性，如切换顺序要求和现实的智能制造的设置可能机器故障调度任务。因为传统方法不能动态生成环境的扰动面有效调度策略，我们制定DJSP马尔可夫决策过程（MDP）通过强化学习（RL）加以解决。为此，我们提出了一个灵活的混合架构，采用析取图的状态和一组通用的调度规则与之前最小的领域知识的行动空间。注意机制被用作状态的特征提取的图形表示学习（GRL）模块，并且采用双决斗深Q-网络与优先重放和嘈杂的网络（D3QPN）到每个状态映射到最适当的调度规则。此外，我们提出Gymjsp，基于众所周知的或图书馆公共标杆，提供了RL和DJSP研究社区标准化现成的现成工具。各种DJSP实例综合实验证实，我们提出的框架是优于基准算法可在所有情况下，较小的完工时间，并提供了在混合架构的各个组成部分的有效性实证理由。

由于货运车数量的增加，在城市地区采用了电动汽车（EV），以减少环境污染和全球变暖。但是，路由最后一英里物流的轨迹仍在继续影响社会和经济可持续性时仍然存在缺陷。因此，在本文中，提出了一种称为超高神性自适应模拟退火的超增压性（HH）方法，并提出了增强学习（HHASA $ _ {RL} $）。它由多军匪徒方法和自适应模拟退火（SA）元启示术算法组成，用于解决该问题称为电容的电动汽车路由问题（CEVRP）。由于充电站数量有限和电动汽车的旅行范围，因此电动汽车必须提前为电池充电时刻，并减少旅行时间和成本。 HH实施的HH改善了多个最低最低知名解决方案，并为IEEE WCCI2020竞赛的拟议基准测试获得了一些高维实例的最佳平均值。

This paper surveys the recent attempts, both from the machine learning and operations research communities, at leveraging machine learning to solve combinatorial optimization problems. Given the hard nature of these problems, state-of-the-art algorithms rely on handcrafted heuristics for making decisions that are otherwise too expensive to compute or mathematically not well defined. Thus, machine learning looks like a natural candidate to make such decisions in a more principled and optimized way. We advocate for pushing further the integration of machine learning and combinatorial optimization and detail a methodology to do so. A main point of the paper is seeing generic optimization problems as data points and inquiring what is the relevant distribution of problems to use for learning on a given task.

回溯搜索算法通常用于解决约束满足问题（CSP）。回溯搜索的效率在很大程度上取决于可变排序启发式。目前，最常用的启发式是根据专家知识进行手工制作的。在本文中，我们提出了一种基于深度的加强学习方法，可以自动发现新的变量订购启发式，更好地适用于给定类CSP实例。我们显示，直接优化搜索成本很难用于自动启动，并建议优化在搜索树中到达叶节点的预期成本。为了捕获变量和约束之间的复杂关系，我们设计基于图形神经网络的表示方案，可以处理具有不同大小和约束的CSP实例。随机CSP实例上的实验结果表明，学习的政策在最小化搜索树大小的方面优于古典手工制作的启发式，并且可以有效地推广到比训练中使用的实例。

最近，变压器已成为解决车辆路由问题（VRP）的盛行深度建筑。但是，它在学习VRP的学习改进模型方面的有效性较小，因为其位置编码（PE）方法不适合表示VRP解决方案。本文介绍了一种新颖的双重协作变压器（DACT），以分别学习节点和位置特征的嵌入，而不是像现有的那样将它们融合在一起，以避免潜在的噪音和不相容的相关性。此外，位置特征通过新型的循环位置编码（CPE）方法嵌入，以使变压器有效捕获VRP溶液（即环状序列）的圆形性和对称性。我们使用近端政策优化训练DACT，并设计一种课程学习策略，以提高样本效率。我们应用DACT来解决旅行推销员问题（TSP）和电容的车辆路由问题（CVRP）。结果表明，我们的DACT优于现有的基于变压器的改进模型，并且在合成和基准实例上分别在不同问题大小上表现出更好的概括性能。

路由问题是许多实际应用的一类组合问题。最近，已经提出了端到端的深度学习方法，以了解这些问题的近似解决方案启发式。相比之下，经典动态编程（DP）算法保证最佳解决方案，但与问题大小严重规模。我们提出了深入的政策动态规划（DPDP），旨在将学习神经启发式的优势与DP算法结合起来。 DPDP优先确定并限制DP状态空间，使用来自深度神经网络的策略进行培训，以预测示例解决方案的边缘。我们在旅行推销员问题（TSP）上评估我们的框架，车辆路由问题（VRP）和TSP与时间窗口（TSPTW），并表明神经政策提高了（限制性）DP算法的性能，使其对强有力的替代品具有竞争力如LKH，同时也优于求解TSP，VRP和TSPTWS的大多数其他“神经方法”，其中包含100个节点。

The design of good heuristics or approximation algorithms for NP-hard combinatorial optimization problems often requires significant specialized knowledge and trial-and-error. Can we automate this challenging, tedious process, and learn the algorithms instead? In many real-world applications, it is typically the case that the same optimization problem is solved again and again on a regular basis, maintaining the same problem structure but differing in the data. This provides an opportunity for learning heuristic algorithms that exploit the structure of such recurring problems. In this paper, we propose a unique combination of reinforcement learning and graph embedding to address this challenge. The learned greedy policy behaves like a meta-algorithm that incrementally constructs a solution, and the action is determined by the output of a graph embedding network capturing the current state of the solution. We show that our framework can be applied to a diverse range of optimization problems over graphs, and learns effective algorithms for the Minimum Vertex Cover, Maximum Cut and Traveling Salesman problems.

This paper presents a methodology for integrating machine learning techniques into metaheuristics for solving combinatorial optimization problems. Namely, we propose a general machine learning framework for neighbor generation in metaheuristic search. We first define an efficient neighborhood structure constructed by applying a transformation to a selected subset of variables from the current solution. Then, the key of the proposed methodology is to generate promising neighbors by selecting a proper subset of variables that contains a descent of the objective in the solution space. To learn a good variable selection strategy, we formulate the problem as a classification task that exploits structural information from the characteristics of the problem and from high-quality solutions. We validate our methodology on two metaheuristic applications: a Tabu Search scheme for solving a Wireless Network Optimization problem and a Large Neighborhood Search heuristic for solving Mixed-Integer Programs. The experimental results show that our approach is able to achieve a satisfactory trade-off between the exploration of a larger solution space and the exploitation of high-quality solution regions on both applications.

钢筋学习最近在许多组合优化问题中显示了学习质量解决方案的承诺。特别地，基于注意的编码器 - 解码器模型在各种路由问题上显示出高效率，包括旅行推销员问题（TSP）。不幸的是，它们对具有无人机（TSP-D）的TSP表现不佳，需要在协调中路由车辆的异构队列 - 卡车和无人机。在TSP-D中，这两个车辆正在串联移动，并且可能需要在用于其他车辆的节点上等待加入。不那么关注的基于关注的解码器无法在车辆之间进行这种协调。我们提出了一种注意力编码器-LSTM解码器混合模型，其中解码器的隐藏状态可以代表所做的动作序列。我们经验证明，这种混合模型可提高基于纯粹的关注的模型，用于解决方案质量和计算效率。我们对MIN-MAX电容车辆路由问题（MMCVRP）的实验还确认混合模型更适合于多车辆的协调路由而不是基于注意的模型。

深度强化学习（DRL）赋予了各种人工智能领域，包括模式识别，机器人技术，推荐系统和游戏。同样，图神经网络（GNN）也证明了它们在图形结构数据的监督学习方面的出色表现。最近，GNN与DRL用于图形结构环境的融合引起了很多关注。本文对这些混合动力作品进行了全面评论。这些作品可以分为两类：（1）算法增强，其中DRL和GNN相互补充以获得更好的实用性； （2）特定于应用程序的增强，其中DRL和GNN相互支持。这种融合有效地解决了工程和生命科学方面的各种复杂问题。基于审查，我们进一步分析了融合这两个领域的适用性和好处，尤其是在提高通用性和降低计算复杂性方面。最后，集成DRL和GNN的关键挑战以及潜在的未来研究方向被突出显示，这将引起更广泛的机器学习社区的关注。

蒙特卡洛树搜索（MCT）是设计游戏机器人或解决顺序决策问题的强大方法。该方法依赖于平衡探索和开发的智能树搜索。MCT以模拟的形式进行随机抽样，并存储动作的统计数据，以在每个随后的迭代中做出更有教育的选择。然而，该方法已成为组合游戏的最新技术，但是，在更复杂的游戏（例如那些具有较高的分支因素或实时系列的游戏）以及各种实用领域（例如，运输，日程安排或安全性）有效的MCT应用程序通常需要其与问题有关的修改或与其他技术集成。这种特定领域的修改和混合方法是本调查的主要重点。最后一项主要的MCT调查已于2012年发布。自发布以来出现的贡献特别感兴趣。

近年来，机器学习（ML）所证明的权力越来越吸引优化社区的兴趣，该界开始利用ML来增强和自动化最佳和近似算法的设计。 ML解决的一个组合优化问题是车间调度问题（JSP）。重点关注JSP和ML的大多数作品都是基于深入的强化学习（DRL），并且只有少数人利用监督的学习技术。避免有监督学习的反复出现的原因似乎是施放正确的学习任务的困难，即预测的有意义以及如何获得标签。因此，我们首先提出了一项新颖的监督学习任务，旨在预测机器排列的质量。然后，我们设计了一种原始方法来估算这种质量，以创建准确的顺序深度学习模型（二进制精度高于95％）。最后，我们通过凭经验证明了通过提高受文献作品启发的简单禁忌搜索算法的性能来预测机器排列质量的价值。

Influence Maximization (IM) is a classical combinatorial optimization problem, which can be widely used in mobile networks, social computing, and recommendation systems. It aims at selecting a small number of users such that maximizing the influence spread across the online social network. Because of its potential commercial and academic value, there are a lot of researchers focusing on studying the IM problem from different perspectives. The main challenge comes from the NP-hardness of the IM problem and \#P-hardness of estimating the influence spread, thus traditional algorithms for overcoming them can be categorized into two classes: heuristic algorithms and approximation algorithms. However, there is no theoretical guarantee for heuristic algorithms, and the theoretical design is close to the limit. Therefore, it is almost impossible to further optimize and improve their performance. With the rapid development of artificial intelligence, the technology based on Machine Learning (ML) has achieved remarkable achievements in many fields. In view of this, in recent years, a number of new methods have emerged to solve combinatorial optimization problems by using ML-based techniques. These methods have the advantages of fast solving speed and strong generalization ability to unknown graphs, which provide a brand-new direction for solving combinatorial optimization problems. Therefore, we abandon the traditional algorithms based on iterative search and review the recent development of ML-based methods, especially Deep Reinforcement Learning, to solve the IM problem and other variants in social networks. We focus on summarizing the relevant background knowledge, basic principles, common methods, and applied research. Finally, the challenges that need to be solved urgently in future IM research are pointed out.