This paper presents a methodology for integrating machine learning techniques into metaheuristics for solving combinatorial optimization problems. Namely, we propose a general machine learning framework for neighbor generation in metaheuristic search. We first define an efficient neighborhood structure constructed by applying a transformation to a selected subset of variables from the current solution. Then, the key of the proposed methodology is to generate promising neighbors by selecting a proper subset of variables that contains a descent of the objective in the solution space. To learn a good variable selection strategy, we formulate the problem as a classification task that exploits structural information from the characteristics of the problem and from high-quality solutions. We validate our methodology on two metaheuristic applications: a Tabu Search scheme for solving a Wireless Network Optimization problem and a Large Neighborhood Search heuristic for solving Mixed-Integer Programs. The experimental results show that our approach is able to achieve a satisfactory trade-off between the exploration of a larger solution space and the exploitation of high-quality solution regions on both applications.

In the last years, there has been a great interest in machine-learning-based heuristics for solving NP-hard combinatorial optimization problems. The developed methods have shown potential on many optimization problems. In this paper, we present a learned heuristic for the reoptimization of a problem after a minor change in its data. We focus on the case of the capacited vehicle routing problem with static clients (i.e., same client locations) and changed demands. Given the edges of an original solution, the goal is to predict and fix the ones that have a high chance of remaining in an optimal solution after a change of client demands. This partial prediction of the solution reduces the complexity of the problem and speeds up its resolution, while yielding a good quality solution. The proposed approach resulted in solutions with an optimality gap ranging from 0\% to 1.7\% on different benchmark instances within a reasonable computing time.

We address interactive panoptic annotation, where one segment all object and stuff regions in an image. We investigate two graph-based segmentation algorithms that both enforce connectivity of each region, with a notable class-aware Integer Linear Programming (ILP) formulation that ensures global optimum. Both algorithms can take RGB, or utilize the feature maps from any DCNN, whether trained on the target dataset or not, as input. We then propose an interactive, scribble-based annotation framework.

通知飞行员（NOTAM）包含重要的飞行路线相关信息。为了搜索和过滤它们，将NOTAMS分组为称为QCodes的类别。在本文中，我们开发了一种工具来预测notam的qcode。我们提出了一种使用DASH，Gunluk和Wei（2018）中提出的列生成扩展可解释的二进制分类的方法。我们描述了用于解决与一个VS-REST分类有关的问题，例如多个输出和类失衡。此外，我们介绍了一些启发式方法，包括使用CP-SAT求解器用于子问题，以减少训练时间。最后，我们表明我们的方法与最先进的机器学习算法（如线性SVM和小型神经网络）相比，同时添加了所需的可解释性组件。

表达性和计算便宜的两分图神经网络（GNN）已被证明是基于深度学习的混合成分线性程序（MILP）求解器的重要组成部分。最近的工作证明了此类GNN在分支结合（B＆B）求解器中取代分支（可变选择）启发式方面的有效性。这些GNN经过训练，离线和集合，以模仿一个非常好但计算昂贵的分支启发式，强大的分支。鉴于B＆B会导致子隔间树，我们问（a）目标启发式启发式在B＆B树的邻近节点之间是否存在很强的依赖性，并且（b）如果是这样，我们是否可以将它们合并到我们的培训程序。具体来说，我们发现，有了强大的分支启发式，孩子节点的最佳选择通常是父母的第二好的选择。我们将其称为“回顾”现象。令人惊讶的是，Gasse等人的典型分支GNN。 （2019年）经常错过这个简单的“答案”。为了通过将回顾现象纳入GNN来更紧密地模仿目标行为，我们提出了两种方法：（a）标准跨凝性损失函数的目标平滑，（b）添加父级（PAT）target（PAT）回顾量学期。最后，我们提出了一个模型选择框架，以结合更难构建的目标，例如在最终模型中解决时间。通过对标准基准实例进行广泛的实验，我们表明我们的提案导致B＆B树大小的22％减少，并且在解决时间的解决方案中提高了15％。

在机器学习中，人工神经网络（ANN）是一种非常强大的工具，广泛用于许多应用程序。通常，所选的（深）架构包括许多层，因此包括大量参数，这使培训，存储和推理变得昂贵。这激发了有关将原始网络压缩为较小网络的一系列研究，而不会过分牺牲性能。在许多提出的压缩方法中，最受欢迎的方法之一是\ emph {Pruning}，该方法的整个元素（链接，节点，通道，\ ldots）和相应的权重删除。由于该问题的性质本质上是组合的（要修剪的要素，什么不是），因此我们提出了一种基于操作研究工具的新修剪方法。我们从为该问题的天然混合组编程模型开始，然后使用透视化重新制作技术来增强其持续放松。从该重新制定中投射指标变量产生了一个新的正则化术语，我们称之为结构化的正则化，从而导致初始体系结构的结构化修剪。我们测试了应用于CIFAR-10，CIFAR-100和Imagenet数据集的一些重新NET架构，获得了竞争性能W.R.T.

我们考虑培训具有非平滑正则化的深神经网络以检索稀疏有效的子结构的问题。我们的常规化器仅被认为是较低的半连续和限制的。我们将一种自适应二次正则方法与近端随机梯度原理相结合，以得出一个名为SR2的新求解器，该求解器的收敛性和最差的复杂性是在没有知识或近似梯度的Lipschitz常数的情况下建立的。我们制定了一个停止标准，以确保在某些条件下合适的一阶平稳性度量收敛到零。我们建立了$ \ mathcal {o}（\ epsilon^{ - 2}）$的最坏情况的迭代复杂性，该$与Proxgen这样的相关方法匹配，其中学习率与Lipschitz常数有关。我们对在CIFAR-10和CIFAR-100进行培训的网络实例实验，并使用$ \ ell_1 $和$ \ ell_0 $正则化表明，SR2始终比Proxgen和Proxsgd等相关方法始终达到更高的稀疏性和准确性。

我们介绍了基于框架的本体设计渠道（Frodo），这是一种自动从能力问题起草本体论的新方法和工具。能力问题表示为自然语言，是代表许多敏捷本体工程方法（例如极端设计（XD）或SAMOD）中需求的常见解决方案。Frodo在弗雷德（Fred）的顶部建造。实际上，它利用框架语义来绘制弗雷德（Fred）从能力问题中产生的RDF围绕域相关的边界，从而起草了域本体。我们进行了一项基于用户的研究，用于评估Frodo，以支持工程师的本体设计任务。研究表明，Frodo在这方面有效，由此产生的本体学草案是定性的。

我们在运营研究和机器学习（ML）的Nexus中提出了一种方法，该方法利用了从ML提供的通用近似器，以加速混合智能线性两阶段随机程序的解决方案。我们旨在解决第二阶段高度要求的问题。我们的核心思想是通过用快速而准确的监督ML预测替换确切的第二阶段解决方案，从而在在线解决方案时间中大量减少，同时，在第一阶段解决方案准确性中略有降低。当随着时间的推移反复解决类似问题时，在与车队管理，路由和集装箱院子管理有关的运输计划中反复解决类似问题时，对ML的前期投资将是合理的。我们的数值结果集中在与整数和连续L形切口中的问题类别解决的问题类别。我们的广泛的经验分析基于从随机服务器位置（SSLP）和随机多主背包（SMKP）问题的标准化家族基础。所提出的方法可以在不到9％的时间内解决SSLP的最难实例，而在SMKP的情况下，同一图为20％。在大多数情况下，平均最佳差距少于0.1％。

列生成是一种用于解决各种优化问题的迭代方法。它将问题分解为两部分：主问题，以及一个或多个定价问题（PP）。该方法采取的总计计算时间在这两个部分之间划分。在路由或调度应用程序中，问题主要在网络上定义，并且PP通常是具有资源约束的NP-难以最短的路径问题。在这项工作中，我们提出了一种基于机器学习的新的启发式定价算法。通过利用先前执行期间收集的数据，目标是减小网络的大小并加速PP，仅保持具有高机会的弧形成为线性松弛解决方案的一部分。该方法已应用于两个特定问题：在公共交通中的车辆和船员调度问题以及时间窗口的车辆路由问题。可以获得高达40％的计算时间的减少。