组合优化的神经方法（CO）配备了一种学习机制，以发现解决复杂现实世界问题的强大启发式方法。尽管出现了能够在单一镜头中使用高质量解决方案的神经方法，但最先进的方法通常无法充分利用他们可用的解决时间。相比之下，手工制作的启发式方法可以很好地执行高效的搜索并利用给他们的计算时间，但包含启发式方法，这些启发式方法很难适应要解决的数据集。为了为神经CO方法提供强大的搜索程序，我们提出了模拟引导的光束搜索（SGB），该搜索（SGB）在固定宽度的树搜索中检查了候选解决方案，既是神经网络学习的政策又是模拟（推出）确定有希望的。我们将SGB与有效的主动搜索（EAS）进一步融合，其中SGB提高了EAS中反向传播的解决方案的质量，EAS提高了SGB中使用的策略的质量。我们评估了有关众所周知的CO基准的方法，并表明SGB可显着提高在合理的运行时假设下发现的解决方案的质量。

路由问题是许多实际应用的一类组合问题。最近，已经提出了端到端的深度学习方法，以了解这些问题的近似解决方案启发式。相比之下，经典动态编程（DP）算法保证最佳解决方案，但与问题大小严重规模。我们提出了深入的政策动态规划（DPDP），旨在将学习神经启发式的优势与DP算法结合起来。 DPDP优先确定并限制DP状态空间，使用来自深度神经网络的策略进行培训，以预测示例解决方案的边缘。我们在旅行推销员问题（TSP）上评估我们的框架，车辆路由问题（VRP）和TSP与时间窗口（TSPTW），并表明神经政策提高了（限制性）DP算法的性能，使其对强有力的替代品具有竞争力如LKH，同时也优于求解TSP，VRP和TSPTWS的大多数其他“神经方法”，其中包含100个节点。

蒙特卡洛树搜索（MCT）是设计游戏机器人或解决顺序决策问题的强大方法。该方法依赖于平衡探索和开发的智能树搜索。MCT以模拟的形式进行随机抽样，并存储动作的统计数据，以在每个随后的迭代中做出更有教育的选择。然而，该方法已成为组合游戏的最新技术，但是，在更复杂的游戏（例如那些具有较高的分支因素或实时系列的游戏）以及各种实用领域（例如，运输，日程安排或安全性）有效的MCT应用程序通常需要其与问题有关的修改或与其他技术集成。这种特定领域的修改和混合方法是本调查的主要重点。最后一项主要的MCT调查已于2012年发布。自发布以来出现的贡献特别感兴趣。

Monte Carlo Tree Search (MCTS) is a recently proposed search method that combines the precision of tree search with the generality of random sampling. It has received considerable interest due to its spectacular success in the difficult problem of computer Go, but has also proved beneficial in a range of other domains. This paper is a survey of the literature to date, intended to provide a snapshot of the state of the art after the first five years of MCTS research. We outline the core algorithm's derivation, impart some structure on the many variations and enhancements that have been proposed, and summarise the results from the key game and non-game domains to which MCTS methods have been applied. A number of open research questions indicate that the field is ripe for future work.

组合优化是运营研究和计算机科学领域的一个公认领域。直到最近，它的方法一直集中在孤立地解决问题实例，而忽略了它们通常源于实践中的相关数据分布。但是，近年来，人们对使用机器学习，尤其是图形神经网络（GNN）的兴趣激增，作为组合任务的关键构件，直接作为求解器或通过增强确切的求解器。GNN的电感偏差有效地编码了组合和关系输入，因为它们对排列和对输入稀疏性的意识的不变性。本文介绍了对这个新兴领域的最新主要进步的概念回顾，旨在优化和机器学习研究人员。

组合优化问题在许多实际情况（例如物流和生产）中遇到，但是精确的解决方案尤其难以找到，通常对于大量的问题大小而言，通常是NP-HARD。为了计算近似解决方案，通常使用局部搜索的通用和特定问题的动物园。但是，哪种变体适用于哪种特定问题，即使对于专家来说也很难决定。在本文中，我们确定了这种本地搜索算法的三个独立算法方面，并将其在优化过程中正式选择为马尔可夫决策过程（MDP）。我们将深图神经网络设计为该MDP的策略模型，为当地搜索提供了一个名为Neurols的局部搜索控制器。充分的实验证据表明，神经元能够胜过操作研究和最新基于机器学习的方法的众所周知的通用本地搜索控制器。

2048 is a single-player stochastic puzzle game. This intriguing and addictive game has been popular worldwide and has attracted researchers to develop game-playing programs. Due to its simplicity and complexity, 2048 has become an interesting and challenging platform for evaluating the effectiveness of machine learning methods. This dissertation conducts comprehensive research on reinforcement learning and computer game algorithms for 2048. First, this dissertation proposes optimistic temporal difference learning, which significantly improves the quality of learning by employing optimistic initialization to encourage exploration for 2048. Furthermore, based on this approach, a state-of-the-art program for 2048 is developed, which achieves the highest performance among all learning-based programs, namely an average score of 625377 points and a rate of 72% for reaching 32768-tiles. Second, this dissertation investigates several techniques related to 2048, including the n-tuple network ensemble learning, Monte Carlo tree search, and deep reinforcement learning. These techniques are promising for further improving the performance of the current state-of-the-art program. Finally, this dissertation discusses pedagogical applications related to 2048 by proposing course designs and summarizing the teaching experience. The proposed course designs use 2048-like games as materials for beginners to learn reinforcement learning and computer game algorithms. The courses have been successfully applied to graduate-level students and received well by student feedback.

The design of good heuristics or approximation algorithms for NP-hard combinatorial optimization problems often requires significant specialized knowledge and trial-and-error. Can we automate this challenging, tedious process, and learn the algorithms instead? In many real-world applications, it is typically the case that the same optimization problem is solved again and again on a regular basis, maintaining the same problem structure but differing in the data. This provides an opportunity for learning heuristic algorithms that exploit the structure of such recurring problems. In this paper, we propose a unique combination of reinforcement learning and graph embedding to address this challenge. The learned greedy policy behaves like a meta-algorithm that incrementally constructs a solution, and the action is determined by the output of a graph embedding network capturing the current state of the solution. We show that our framework can be applied to a diverse range of optimization problems over graphs, and learns effective algorithms for the Minimum Vertex Cover, Maximum Cut and Traveling Salesman problems.

This paper surveys the recent attempts, both from the machine learning and operations research communities, at leveraging machine learning to solve combinatorial optimization problems. Given the hard nature of these problems, state-of-the-art algorithms rely on handcrafted heuristics for making decisions that are otherwise too expensive to compute or mathematically not well defined. Thus, machine learning looks like a natural candidate to make such decisions in a more principled and optimized way. We advocate for pushing further the integration of machine learning and combinatorial optimization and detail a methodology to do so. A main point of the paper is seeing generic optimization problems as data points and inquiring what is the relevant distribution of problems to use for learning on a given task.

我们提出了一种称为钢筋混合遗传算法（RHGA）的新型方法，用于解决着名的NP-Hard Travel推销员问题（TSP）。具体地，我们将加强学习技术与众所周知的边缘组装交叉遗传算法（EAX-GA）和Lin-Kernighan-Helsgaun（LKH）本地搜索启发式组合。借助拟议的混合机制，EAX-GA的遗传演进和LKH的本地搜索可以促进彼此的性能。基于Q学习的加强学习技术进一步促进了混合遗传算法。在138众名知名度和广泛使用的TSP基准测试中的实验结果与1,000至85,900的城市数量呈现出rhGA的优异性能，显着优于EAX-GA和LKH。

回溯搜索算法通常用于解决约束满足问题（CSP）。回溯搜索的效率在很大程度上取决于可变排序启发式。目前，最常用的启发式是根据专家知识进行手工制作的。在本文中，我们提出了一种基于深度的加强学习方法，可以自动发现新的变量订购启发式，更好地适用于给定类CSP实例。我们显示，直接优化搜索成本很难用于自动启动，并建议优化在搜索树中到达叶节点的预期成本。为了捕获变量和约束之间的复杂关系，我们设计基于图形神经网络的表示方案，可以处理具有不同大小和约束的CSP实例。随机CSP实例上的实验结果表明，学习的政策在最小化搜索树大小的方面优于古典手工制作的启发式，并且可以有效地推广到比训练中使用的实例。

用于图形组合优化问题的神经网络溶剂的端到端培训，例如旅行销售人员问题（TSP）最近看到了感兴趣的激增，但在几百节节点的图表中保持棘手和效率低下。虽然最先进的学习驱动的方法对于TSP在培训的古典索引时与古典求解器密切相关，但它们无法通过实际尺度的实际情况概括到更大的情况。这项工作提出了一个端到端的神经组合优化流水线，统一几个卷纸，以确定促进比在训练中看到的实例的概括的归纳偏差，模型架构和学习算法。我们的受控实验提供了第一个原则上调查这种零拍摄的概括，揭示了超越训练数据的推断需要重新思考从网络层和学习范例到评估协议的神经组合优化流水线。此外，我们分析了深入学习的最近进步，通过管道的镜头路由问题，并提供新的方向，以刺激未来的研究。

在各种现实世界应用中，组合优化问题作为混合整数线性程序（MILP）无处不在。规范的分支和结合算法通过构建越来越约束的子问题的搜索树来寻求精确解决MILP。实际上，其解决时间性能取决于启发式方法，例如选择下一个变量来约束（“分支”）。最近，机器学习（ML）已成为分支的有希望的范式。但是，先前的工作一直在努力应用强化学习（RL），理由是稀疏的奖励，艰难的探索和部分可观察性是重大挑战。取而代之的是，领先的ML方法论通过模仿学习（IL）近似高质量的手工启发式方法，这排除了新型政策的发现并需要昂贵的数据标签。在这项工作中，我们提出了复古分支。一种简单而有效的分支RL方法。通过回顾性将搜索树解构为子树中包含的多个路径，我们使代理能够从更短的轨迹中学习具有更可预测的下一步状态。在对四个组合任务的实验中，我们的方法可以在没有任何专家指导或预培训的情况下学习分支。我们的表现优于当前最新的RL分支算法，比最佳IL方法在MILPS上具有500个约束和1000个变量的最佳性能的20％以内，并验证了我们的回顾性构建轨迹对于实现的必要这些结果。

符合使用机器学习的不断增长的趋势，帮助解决组合优化问题，一个有希望的想法是通过使用学习的策略来改善混合整数编程（MIP）分支和绑定树内的节点选择。以前使用模仿学习的工作指示通过学习自适应节点搜索顺序来获取节点选择策略的可行性。相比之下，我们的模仿学习策略仅专注于学习节点的孩子中的哪一个选择。我们介绍了一个脱机方法，用于在两个设置中学习这样的策略：一个通过致力于修剪节点的启发式;一个是从叶子精确和背溯以保证找到最佳整数解决方案的备用。前一个设置对应于困扰期间的儿童选择器，而后者则类似于潜水启发式。我们在热情和确切的设置中将策略应用于流行的开源求解器SCIP。五个MIP数据集的经验结果表明，我们的节点选择策略比文献中最先进的先例更快地导致解决方案。虽然我们在精确解决方案的时间内没有击败高度优化的SCIP状态基准节点选择器，但如果预测模型的准确性足够，我们的启发式政策比所有基线都具有始终如一的最佳最优性差距。此外，结果还表明，当应用时间限制时，我们的启发式方法发现比测试大多数问题中所有基线的更好的解决方案。我们通过表明学习的政策模仿了SCIP基线来解释结果，但没有后者早期的暴跌中止。我们的建议是，尽管对文献的清晰改进，但这种MIP儿童选择器在更广泛的方法中更好地使用MIP分支和束缚树决策。

解决组合优化（CO）问题的传统求解器通常是由人类专家设计的。最近，人们对利用深度学习，尤其是深度强化学习的兴趣激增，自动为CO学习有效的求解器。由此产生的新范式称为神经组合优化（NCO）。但是，在经验或理论上，NCO的优势和缺点与其他方法的优势尚未得到很好的研究。在这项工作中，我们介绍了NCO求解器和替代求解器的全面比较研究。具体而言，将旅行推销员问题作为测试床问题，我们根据五个方面（即有效性，效率，稳定性，可扩展性和概括能力）评估求解器的性能。我们的结果表明，通常，NCO方法学到的求解器几乎在所有这些方面仍然没有传统求解器。前者的潜在好处将是在有足够的培训实例时，他们在小规模的问题实例上的卓越时间和能源效率。我们希望这项工作将有助于更好地理解NCO的优势和劣势，并提供全面的评估协议，以进一步对NCO进行针对其他方法的基准测试。

本文介绍了一种增强学习方法，以更好地概括有关工作店调度问题（JSP）的启发式调度规则。 JSP上的当前模型并不关注概括，尽管正如我们在这项工作中所显示的那样，这是对问题进行更好的启发式方法的关键。改善概括的一种众所周知的技术是使用课程学习（CL）学习日益复杂的实例。但是，正如文献中许多作品所表明的那样，在不同问题大小之间传递学习技能时，这种技术可能会遭受灾难性的遗忘。为了解决这个问题，我们引入了一种新颖的对抗性课程学习（ACL）策略，该策略在学习过程中动态调整了难度级别以重新审视最坏情况的实例。这项工作还提出了一个深度学习模型来解决JSP，这是e var的W.R.T.作业定义和尺寸不可能。对Taillard和Demirkol的实例进行了实验，表明所提出的方法显着改善了JSP上的最新模型。它的平均最佳差距从Taillard的实例中的平均最佳差距从19.35 \％降低到10.46 \％，而Demirkol的实例中的平均最佳差距从38.43 \％降低到18.85％。我们的实施可在线提供。

在混合整数线性编程（MIP）中，A（强）后门是实例的整数变量的“小”子集，具有以下属性：在分支和结合过程中，可以通过仅通过分支来求解该实例到全局最优性。在后门中的变量上。为广泛使用的MIP基准集或特定问题构建预计的后门数据集，家庭可以在MIP的新结构属性上引起新的问题，或者解释为什么在理论上很难在实践中有效解决问题的问题。现有用于查找后门的算法依赖于以各种方式对候选变量子集进行采样，这种方法证明了MIPLIB2003和MIPLIB2010的某些实例的后门存在。但是，由于勘探和剥削之间的不平衡，这些算法在任务中始终取得成功。我们建议BAMCTS，这是一个蒙特卡洛树搜索框架，用于寻找MIPS的后门。广泛的算法工程，与传统MIP概念的杂交以及与CPLEX求解器的密切集成使我们的方法能够超过MIPLIB2017实例的基础线，从而更频繁，更有效地找到后门。

算法配置（AC）与对参数化算法最合适的参数配置的自动搜索有关。目前，文献中提出了各种各样的交流问题变体和方法。现有评论没有考虑到AC问题的所有衍生物，也没有提供完整的分类计划。为此，我们引入分类法以分别描述配置方法的交流问题和特征。我们回顾了分类法的镜头中现有的AC文献，概述相关的配置方法的设计选择，对比方法和问题变体相互对立，并描述行业中的AC状态。最后，我们的评论为研究人员和从业人员提供了AC领域的未来研究方向。

学习解决组合优化问题，例如车辆路径问题，提供古典运营研究求解器和启发式的巨大计算优势。最近开发的深度加强学习方法迭代或顺序地构建一组个别旅游的最初给定的解决方案。然而，大多数现有的基于学习的方法都无法为固定数量的车辆工作，从而将客户的复杂分配问题绕过APRIORI给定数量的可用车辆。另一方面，这使得它们不太适合真实应用程序，因为许多物流服务提供商依赖于提供的解决方案提供了特定的界限船队规模，并且无法适应车辆数量的短期更改。相比之下，我们提出了一个强大的监督深度学习框架，在尊重APRiori固定数量的可用车辆的同时构建完整的旅游计划。与高效的后处理方案结合，我们的监督方法不仅要快得多，更容易训练，而且还实现了包含车辆成本的实际方面的竞争结果。在彻底的控制实验中，我们将我们的方法与我们展示稳定性能的多种最先进的方法进行比较，同时利用较少的车辆并在相关工作的实验协议中存在一些亮点。

旅行推销员问题（TSP）是许多实用变体的经典NP-HARD组合优化问题。 Lin-Kernighan-Helsgaun（LKH）算法是TSP的最先进的本地搜索算法之一，LKH-3是LKH的强大扩展，可以解决许多TSP变体。 LKH和LKH-3都将一个候选人与每个城市相关联，以提高算法效率，并具有两种不同的方法，称为$ \ alpha $ - 计算和Popmusic，以决定候选人集。在这项工作中，我们首先提出了一种可变策略加强LKH（VSR-LKH）算法，该算法将三种强化学习方法（Q-Learning，SARSA和Monte Carlo）与LKH算法结合在一起，以解决TSP。我们进一步提出了一种称为VSR-LKH-3的新算法，该算法将可变策略强化学习方法与LKH-3结合在一起，用于典型的TSP变体，包括带有时间窗口（TSPTW）和彩色TSP（CTSP）的TSP。所提出的算法取代了LKH和LKH-3中的不灵活的遍历操作，并让算法学会通过增强学习在每个搜索步骤中做出选择。 LKH和LKH-3都具有$ \ alpha $量或Popmusic方法，我们的方法都可以显着改善。具体而言，对236个公共和广泛使用的TSP基准的经验结果具有多达85,900个城市，证明了VSR-LKH的出色表现，扩展的VSR-LKH-3也显着超过了TSPTW和TSPTW和TSPTW和TSPTW的最新启发式方法CTSP。