Large Neighborhood Search (LNS) is a popular heuristic algorithm for solving combinatorial optimization problems (COP). It starts with an initial solution to the problem and iteratively improves it by searching a large neighborhood around the current best solution. LNS relies on heuristics to select neighborhoods to search in. In this paper, we focus on designing effective and efficient heuristics in LNS for integer linear programs (ILP) since a wide range of COPs can be represented as ILPs. Local Branching (LB) is a heuristic that selects the neighborhood that leads to the largest improvement over the current solution in each iteration of LNS. LB is often slow since it needs to solve an ILP of the same size as input. Our proposed heuristics, LB-RELAX and its variants, use the linear programming relaxation of LB to select neighborhoods. Empirically, LB-RELAX and its variants compute as effective neighborhoods as LB but run faster. They achieve state-of-the-art anytime performance on several ILP benchmarks.

为混合整数线性编程问题（MILLS）找到高质量解决方案对于许多实际应用非常重要。在这方面，提出了精炼启发式局部分支（LB）来生产改进解决方案，并且对MILP中的本地搜索方法的开发产生了高度影响力。该算法迭代地探索由所谓的本地分支约束定义的一系列解决方案邻域，即，限制与参考解决方案的距离的线性不等式。对于LB算法，邻域大小的选择对于性能至关重要。虽然它是由原始LB方案中的保守值初始化的，但我们的新观察是最佳规模强烈依赖于特定的MILP实例。在这项工作中，我们调查搜索附近的大小与底层LB算法的行为之间的关系，我们设计了一种基于倾斜的框架，用于引导LB启发式的邻居搜索。该框架由两阶段战略组成。对于第一阶段，训练缩放的回归模型以通过回归任务在第一迭代中预测LB邻域的大小。在第二阶段，我们利用加强学习和设计加强的邻域搜索策略，以动态调整随后的迭代处的大小。我们计算地表明，确实可以学习邻域大小，导致改进的性能，并且整个算法在实例大小相对于实例大小概括，并且显着地跨越实例概括。

我们为2022年MIP竞争开发的混合整数程序（MIP）提供了一个求解器。鉴于竞争规则确定的计算时间限制了10分钟，我们的方法着重于找到可行的解决方案，并通过分支机构进行改进 - 和结合算法。竞争的另一个规则允许最多使用8个线程。为每个线程提供了不同的原始启发式，该启发式是通过超参数调整的，以找到可行的解决方案。在每个线程中，一旦找到了可行的解决方案，我们就会停止，然后使用嵌入本地搜索启发式方法的分支和结合方法来改善现有解决方案。我们实施的潜水启发式方法的三种变体设法为培训数据集的10个实例找到了可行的解决方案。这些启发式方法是我们实施的启发式方法中表现最好的。我们的分支机构和结合算法在培训数据集的一小部分中有效，并且它设法找到了一个可行的解决方案，以解决我们无法通过潜水启发式方法解决的实例。总体而言，当用广泛的计算能力实施时，我们的组合方法可以在时间限制内解决训练数据集的19个问题中的11个。我们对MIP竞赛的提交被授予“杰出学生提交”荣誉奖。

符合使用机器学习的不断增长的趋势，帮助解决组合优化问题，一个有希望的想法是通过使用学习的策略来改善混合整数编程（MIP）分支和绑定树内的节点选择。以前使用模仿学习的工作指示通过学习自适应节点搜索顺序来获取节点选择策略的可行性。相比之下，我们的模仿学习策略仅专注于学习节点的孩子中的哪一个选择。我们介绍了一个脱机方法，用于在两个设置中学习这样的策略：一个通过致力于修剪节点的启发式;一个是从叶子精确和背溯以保证找到最佳整数解决方案的备用。前一个设置对应于困扰期间的儿童选择器，而后者则类似于潜水启发式。我们在热情和确切的设置中将策略应用于流行的开源求解器SCIP。五个MIP数据集的经验结果表明，我们的节点选择策略比文献中最先进的先例更快地导致解决方案。虽然我们在精确解决方案的时间内没有击败高度优化的SCIP状态基准节点选择器，但如果预测模型的准确性足够，我们的启发式政策比所有基线都具有始终如一的最佳最优性差距。此外，结果还表明，当应用时间限制时，我们的启发式方法发现比测试大多数问题中所有基线的更好的解决方案。我们通过表明学习的政策模仿了SCIP基线来解释结果，但没有后者早期的暴跌中止。我们的建议是，尽管对文献的清晰改进，但这种MIP儿童选择器在更广泛的方法中更好地使用MIP分支和束缚树决策。

柱生成（CG）是解决大规模优化问题的有效方法。CG通过求解列（即变量）的子集并逐渐包括可以改善当前子问题的解决方案的新列。通过反复解决定价问题，根据需要产生新列，这通常是NP - 硬的并且是CG方法的瓶颈。为了解决这个问题，我们提出了一种基于机器学习的定价启发式（MLPH），可以有效地产生许多高质量的柱。在CG的每次迭代中，我们的MLPH利用ML模型来预测定价问题的最佳解决方案，然后用于引导采样方法以有效地产生多个高质量柱。使用图形着色问题，我们经验证明，与六种最先进的方法相比，MLPH显着增强，并且CG的改善可能导致分支和价格精确方法的显着更好的性能。

在各种现实世界应用中，组合优化问题作为混合整数线性程序（MILP）无处不在。规范的分支和结合算法通过构建越来越约束的子问题的搜索树来寻求精确解决MILP。实际上，其解决时间性能取决于启发式方法，例如选择下一个变量来约束（“分支”）。最近，机器学习（ML）已成为分支的有希望的范式。但是，先前的工作一直在努力应用强化学习（RL），理由是稀疏的奖励，艰难的探索和部分可观察性是重大挑战。取而代之的是，领先的ML方法论通过模仿学习（IL）近似高质量的手工启发式方法，这排除了新型政策的发现并需要昂贵的数据标签。在这项工作中，我们提出了复古分支。一种简单而有效的分支RL方法。通过回顾性将搜索树解构为子树中包含的多个路径，我们使代理能够从更短的轨迹中学习具有更可预测的下一步状态。在对四个组合任务的实验中，我们的方法可以在没有任何专家指导或预培训的情况下学习分支。我们的表现优于当前最新的RL分支算法，比最佳IL方法在MILPS上具有500个约束和1000个变量的最佳性能的20％以内，并验证了我们的回顾性构建轨迹对于实现的必要这些结果。

分支机构是一种用于组合优化的系统枚举方法，在该方法中，性能高度依赖于可变选择策略。最先进的手工启发式策略的推理时间相对较慢，而当前的机器学习方法需要大量的标记数据。我们提出了一种新方法，以根据使用强化学习（RL）范式来解决组合优化中的数据标记和推理潜伏期问题。我们使用模仿学习来引导RL代理，然后使用近端策略优化（PPO）进一步探索全球最佳动作。然后，一个值网络用于运行蒙特卡洛树搜索（MCT）以增强策略网络。我们评估了我们在四个不同类别的组合优化问题上的方法的性能，并表明我们的方法与最先进的机器学习和基于启发式方法的方法相比表现强劲。

切割平面对于解决混合企业线性问题（MILP）至关重要，因为它们促进了最佳解决方案值的界限。为了选择切割，现代求解器依靠手动设计的启发式方法来评估切割的潜在有效性。我们表明，一项贪婪的选择规则明确地寻求选择的剪裁，从而产生最佳的界限可以为切割选择提供强大的决策 - 但太贵了，无法在实践中部署。作为回应，我们提出了一种新的神经体系结构（神经曲），以模仿LookAhead专家。我们的模型优于标准基准，用于在几个合成的MILP基准上进行切割选择。使用B＆C求解器进行神经网络验证的实验进一步验证了我们的方法，并在这种情况下展示了学习方法的潜力。

在分支机构和结合中得出良好的可变选择策略对于现代混合编程（MIP）求解器的效率至关重要。通过在先前的解决方案过程中收集的MIP分支数据，学习分支方法最近变得比启发式方法更好。由于分支机构自然是一项顺序决策任务，因此应该学会优化整个MIP求解过程的实用性，而不是在每个步骤上都是近视。在这项工作中，我们将学习作为离线增强学习（RL）问题进行分支，并提出了一种长期视线的混合搜索方案来构建离线MIP数据集，该数据集对分支决策的长期实用程序。在政策培训阶段，我们部署了基于排名的奖励分配计划，以将有希望的样本与长期或短期视图区分开，并通过离线政策学习训练名为分支排名的分支模型。合成MIP基准和现实世界任务的实验表明，与广泛使用的启发式方法和基于先进的学习分支模型相比，分支rankink更有效，更健壮，并且可以更好地概括为MIP实例的大型MIP实例。

组合优化是运营研究和计算机科学领域的一个公认领域。直到最近，它的方法一直集中在孤立地解决问题实例，而忽略了它们通常源于实践中的相关数据分布。但是，近年来，人们对使用机器学习，尤其是图形神经网络（GNN）的兴趣激增，作为组合任务的关键构件，直接作为求解器或通过增强确切的求解器。GNN的电感偏差有效地编码了组合和关系输入，因为它们对排列和对输入稀疏性的意识的不变性。本文介绍了对这个新兴领域的最新主要进步的概念回顾，旨在优化和机器学习研究人员。

对于组合优化（ML4CO）竞争的2021个内潜冲潮羊件机器学习是为了通过用机器学习模型替换关键启发式组件来改善最先进的组合优化求解器的目的。竞争的主要科学问题是以下内容：机器是在历史数据可用的特定问题分布时改进传统组合优化求解器的可行选择，是一种可行的选择这是因为在许多实际情况中，数据在组合优化问题的重复之间只会略微发生变化，这是机器学习模型特别强大的区域。本文总结了华为EI-ORAS团队在竞争对手的双重任务中汲取的解决方案和经验教训。我们团队的提交在最终排名中实现了第二位，距离第一点非常近距离。此外，在最终评估之前，我们的解决方案首先是持续的几周排行榜更新。我们提供从大量实验中获得的见解，并争辩说简单的图形卷积神经网络（GCNNS）可以在训练和调整正确的情况下实现最先进的结果。

This paper surveys the recent attempts, both from the machine learning and operations research communities, at leveraging machine learning to solve combinatorial optimization problems. Given the hard nature of these problems, state-of-the-art algorithms rely on handcrafted heuristics for making decisions that are otherwise too expensive to compute or mathematically not well defined. Thus, machine learning looks like a natural candidate to make such decisions in a more principled and optimized way. We advocate for pushing further the integration of machine learning and combinatorial optimization and detail a methodology to do so. A main point of the paper is seeing generic optimization problems as data points and inquiring what is the relevant distribution of problems to use for learning on a given task.

The design of good heuristics or approximation algorithms for NP-hard combinatorial optimization problems often requires significant specialized knowledge and trial-and-error. Can we automate this challenging, tedious process, and learn the algorithms instead? In many real-world applications, it is typically the case that the same optimization problem is solved again and again on a regular basis, maintaining the same problem structure but differing in the data. This provides an opportunity for learning heuristic algorithms that exploit the structure of such recurring problems. In this paper, we propose a unique combination of reinforcement learning and graph embedding to address this challenge. The learned greedy policy behaves like a meta-algorithm that incrementally constructs a solution, and the action is determined by the output of a graph embedding network capturing the current state of the solution. We show that our framework can be applied to a diverse range of optimization problems over graphs, and learns effective algorithms for the Minimum Vertex Cover, Maximum Cut and Traveling Salesman problems.

In the last years, there has been a great interest in machine-learning-based heuristics for solving NP-hard combinatorial optimization problems. The developed methods have shown potential on many optimization problems. In this paper, we present a learned heuristic for the reoptimization of a problem after a minor change in its data. We focus on the case of the capacited vehicle routing problem with static clients (i.e., same client locations) and changed demands. Given the edges of an original solution, the goal is to predict and fix the ones that have a high chance of remaining in an optimal solution after a change of client demands. This partial prediction of the solution reduces the complexity of the problem and speeds up its resolution, while yielding a good quality solution. The proposed approach resulted in solutions with an optimality gap ranging from 0\% to 1.7\% on different benchmark instances within a reasonable computing time.

This paper presents a methodology for integrating machine learning techniques into metaheuristics for solving combinatorial optimization problems. Namely, we propose a general machine learning framework for neighbor generation in metaheuristic search. We first define an efficient neighborhood structure constructed by applying a transformation to a selected subset of variables from the current solution. Then, the key of the proposed methodology is to generate promising neighbors by selecting a proper subset of variables that contains a descent of the objective in the solution space. To learn a good variable selection strategy, we formulate the problem as a classification task that exploits structural information from the characteristics of the problem and from high-quality solutions. We validate our methodology on two metaheuristic applications: a Tabu Search scheme for solving a Wireless Network Optimization problem and a Large Neighborhood Search heuristic for solving Mixed-Integer Programs. The experimental results show that our approach is able to achieve a satisfactory trade-off between the exploration of a larger solution space and the exploitation of high-quality solution regions on both applications.

混合成员非线性优化是具有组合结构和非线性的广泛问题。典型的精确方法将分支和结合的方案与放松和分离子例程相结合。我们研究了基于此设置的Frank-Wolfe算法的错误自适应一阶方法的属性和优势，仅需要梯度甲骨文来实现目标函数和可行集合上的线性优化。特别是，我们将研究通过分支和结合方法进行优化的算法后果，在这种方法中，由于Frank-Wolfe线性甲骨文而引起的混合构件的凸面上的子问题与解决连续放松上的子问题相比同一组。这种新颖的方法在处理多面体约束的单个表示时计算可行的解决方案，利用了没有外近似方案的混合智能编程（MIP）求解器的全部范围。

Cutting planes are a crucial component of state-of-the-art mixed-integer programming solvers, with the choice of which subset of cuts to add being vital for solver performance. We propose new distance-based measures to qualify the value of a cut by quantifying the extent to which it separates relevant parts of the relaxed feasible set. For this purpose, we use the analytic centers of the relaxation polytope or of its optimal face, as well as alternative optimal solutions of the linear programming relaxation. We assess the impact of the choice of distance measure on root node performance and throughout the whole branch-and-bound tree, comparing our measures against those prevalent in the literature. Finally, by a multi-output regression, we predict the relative performance of each measure, using static features readily available before the separation process. Our results indicate that analytic center-based methods help to significantly reduce the number of branch-and-bound nodes needed to explore the search space and that our multiregression approach can further improve on any individual method.

组合优化的神经方法（CO）配备了一种学习机制，以发现解决复杂现实世界问题的强大启发式方法。尽管出现了能够在单一镜头中使用高质量解决方案的神经方法，但最先进的方法通常无法充分利用他们可用的解决时间。相比之下，手工制作的启发式方法可以很好地执行高效的搜索并利用给他们的计算时间，但包含启发式方法，这些启发式方法很难适应要解决的数据集。为了为神经CO方法提供强大的搜索程序，我们提出了模拟引导的光束搜索（SGB），该搜索（SGB）在固定宽度的树搜索中检查了候选解决方案，既是神经网络学习的政策又是模拟（推出）确定有希望的。我们将SGB与有效的主动搜索（EAS）进一步融合，其中SGB提高了EAS中反向传播的解决方案的质量，EAS提高了SGB中使用的策略的质量。我们评估了有关众所周知的CO基准的方法，并表明SGB可显着提高在合理的运行时假设下发现的解决方案的质量。

本文介绍了一种增强的元启发式（ML-ACO），将机器学习（ML）和蚁群优化（ACO）结合起来解决组合优化问题。为了说明我们ML-ACO算法的底层机制，我们首先描述测试问题，定向问题。在这个问题中，目的是找到一个路线，该路线在时间预算中在图中访问顶点的子集，以最大化收集的分数。在我们ML-ACO算法的第一阶段，使用一组小问题实例训练ML模型，其中已知最佳解决方案。具体地，分类模型用于将边缘分类为最佳路由的一部分，或不使用特定于问题的特征和统计测量。然后，训练模型用于预测测试问题实例图表中的边缘所属的概率属于相应的最优路由。在第二阶段，我们将预测的概率纳入我们算法的ACO组件，即，使用概率值作为启发式权重或者热启动信息素矩阵。这里，在构建可行的路线时偏向有利于这些预测的高质量边缘的概率值。我们已经测试了多种分类模型，包括图形神经网络，逻辑回归和支持向量机，实验结果表明，我们的解决方案预测方法一直促进ACO的性能。此外，我们经验证明我们在小型合成实例上培训的ML模型概括为大型合成和现实世界的情况。我们将ML与META-HEURISTIC集成的方法是通用的，可以应用于各种优化问题。

表达性和计算便宜的两分图神经网络（GNN）已被证明是基于深度学习的混合成分线性程序（MILP）求解器的重要组成部分。最近的工作证明了此类GNN在分支结合（B＆B）求解器中取代分支（可变选择）启发式方面的有效性。这些GNN经过训练，离线和集合，以模仿一个非常好但计算昂贵的分支启发式，强大的分支。鉴于B＆B会导致子隔间树，我们问（a）目标启发式启发式在B＆B树的邻近节点之间是否存在很强的依赖性，并且（b）如果是这样，我们是否可以将它们合并到我们的培训程序。具体来说，我们发现，有了强大的分支启发式，孩子节点的最佳选择通常是父母的第二好的选择。我们将其称为“回顾”现象。令人惊讶的是，Gasse等人的典型分支GNN。 （2019年）经常错过这个简单的“答案”。为了通过将回顾现象纳入GNN来更紧密地模仿目标行为，我们提出了两种方法：（a）标准跨凝性损失函数的目标平滑，（b）添加父级（PAT）target（PAT）回顾量学期。最后，我们提出了一个模型选择框架，以结合更难构建的目标，例如在最终模型中解决时间。通过对标准基准实例进行广泛的实验，我们表明我们的提案导致B＆B树大小的22％减少，并且在解决时间的解决方案中提高了15％。