我们研究了通过具有整流线性单元（Relu）激活的前馈神经网络建模目标函数的优化问题。最近的文献已经探讨了单一神经网络的使用来模拟目标函数内的不确定或复杂元素。然而，众所周知，神经网络的集合产生更稳定的预测，并且具有比具有单个神经网络的模型更好的普遍性，这表明在决策管道中应用神经网络的集合。我们研究如何将神经网络集合纳入优化模型的客观函数，并探索随后的问题的计算方法。我们基于现有流行的大量M $配方提供了一种混合整数线性程序，以优化单个神经网络。我们为我们的模型开发了两个加速技术，首先是一种预处理程序，用于拧紧神经网络中的关键神经元的界限，而第二个是基于弯曲分解的一组有效的不等式。我们解决方案方法的实验评估在一个全球优化问题和两个现实世界数据集中进行;结果表明，我们的优化算法在计算时间和最优性间隙方面优于最先进的方法的适应。
translated by 谷歌翻译
我们考虑非线性优化问题，涉及神经网络代表代理模型。我们首先展示了如何直接将神经网络评估嵌入优化模型中，突出难以防止收敛的方法，然后表征这些模型的平稳性。然后，我们在具有Relu激活的前馈神经网络的特定情况下存在两种替代配方，其具有recu激活：作为混合整数优化问题，作为具有互补限制的数学程序。对于后一种制剂，我们证明了在该问题的点处的有同性，对应于嵌入式制剂的实质性。这些配方中的每一个都可以用最先进的优化方法来解决，并且我们展示了如何为这些方法获得良好的初始可行解决方案。我们将三种实际应用的配方进行比较，在燃烧发动机的设计和控制中产生的三种实际应用，在对分类器网络的对抗攻击中产生的产生，以及在油井网中的最佳流动确定。
translated by 谷歌翻译
许多现实生活中的优化问题通常包含一个或多个没有明确公式的约束或目标。但是，如果可用数据，这些数据可用于学习约束。清楚地看到了这种方法的好处，但是需要以结构化的方式进行此过程。因此，本文提供了一个使用约束学习（OCL）进行优化的框架，我们认为这将有助于正式化和指导从数据中学习的过程。该框架包括以下步骤：（i）设置概念优化模型，（ii）数据收集和预处理，（iii）选择和培训预测模型，（iv）解决优化模型以及（v）验证和验证和验证和验证改进优化模型。然后，我们根据该框架回顾了最近的OCL文献，并强调了当前的趋势以及未来研究的领域。
translated by 谷歌翻译
当与分支和界限结合使用时，结合的传播方法是正式验证深神经网络（例如正确性，鲁棒性和安全性）的最有效方法之一。但是，现有作品无法处理在传统求解器中广泛接受的切割平面限制的一般形式，这对于通过凸出凸松弛的加强验证者至关重要。在本文中，我们概括了结合的传播程序，以允许添加任意切割平面的约束，包括涉及放宽整数变量的限制，这些变量未出现在现有的结合传播公式中。我们的广义结合传播方法GCP-crown为应用一般切割平面方法}开辟了一个机会进行神经网络验证，同时受益于结合传播方法的效率和GPU加速。作为案例研究，我们研究了由现成的混合整数编程（MIP）求解器生成的切割平面的使用。我们发现，MIP求解器可以生成高质量的切割平面，以使用我们的新配方来增强基于界限的验证者。由于以分支为重点的绑定传播程序和切削平面的MIP求解器可以使用不同类型的硬件（GPU和CPU）并行运行，因此它们的组合可以迅速探索大量具有强切割平面的分支，从而导致强大的分支验证性能。实验表明，与VNN-Comp 2021中最佳工具相比，我们的方法是第一个可以完全求解椭圆形的基准并验证椭圆21基准的两倍的验证者，并且在oval21基准测试中的最佳工具也明显超过了最先进的验证器。广泛的基准。 GCP-Crown是$ \ alpha $，$ \ beta $ -Crown验证者，VNN-COMP 2022获奖者的一部分。代码可在http://papercode.cc/gcp-crown上获得
translated by 谷歌翻译
我们为学习限制建立了混合整数优化的广泛方法论基础。我们提出了一种用于数据驱动决策的端到端管道，其中使用机器学习直接从数据中学习限制和目标，并且培训的模型嵌入在优化配方中。我们利用许多机器学习方法的混合整数优化 - 焦点，包括线性模型，决策树，集合和多层的感知。对多种方法的考虑允许我们捕获决策，上下文变量和结果之间的各种潜在关系。我们还使用观察结果的凸船体来表征决策信任区域，以确保可信的建议并避免推断。我们有效地使用列生成和聚类来纳入这个表示。结合域驱动的约束和客观术语，嵌入式模型和信任区域定义了处方生成的混合整数优化问题。我们将此框架实施为从业者的Python包（OptiCl）。我们展示了化疗优化和世界食物计划规划中的方法。案例研究说明了在生成高质量处方的框架中的框架，由信任区域添加的值，加入多个机器学习方法以及包含多个学习约束的框架。
translated by 谷歌翻译
Neural networks are increasingly applied in safety critical domains, their verification thus is gaining importance. A large class of recent algorithms for proving input-output relations of feed-forward neural networks are based on linear relaxations and symbolic interval propagation. However, due to variable dependencies, the approximations deteriorate with increasing depth of the network. In this paper we present DPNeurifyFV, a novel branch-and-bound solver for ReLU networks with low dimensional input-space that is based on symbolic interval propagation with fresh variables and input-splitting. A new heuristic for choosing the fresh variables allows to ameliorate the dependency problem, while our novel splitting heuristic, in combination with several other improvements, speeds up the branch-and-bound procedure. We evaluate our approach on the airborne collision avoidance networks ACAS Xu and demonstrate runtime improvements compared to state-of-the-art tools.
translated by 谷歌翻译
2021-02-18
组合优化是运营研究和计算机科学领域的一个公认领域。直到最近，它的方法一直集中在孤立地解决问题实例，而忽略了它们通常源于实践中的相关数据分布。但是，近年来，人们对使用机器学习，尤其是图形神经网络（GNN）的兴趣激增，作为组合任务的关键构件，直接作为求解器或通过增强确切的求解器。GNN的电感偏差有效地编码了组合和关系输入，因为它们对排列和对输入稀疏性的意识的不变性。本文介绍了对这个新兴领域的最新主要进步的概念回顾，旨在优化和机器学习研究人员。
translated by 谷歌翻译
基于基于不完整的神经网络验证如冠的绑定传播非常有效，可以显着加速基于神经网络的分支和绑定（BAB）。然而，绑定的传播不能完全处理由昂贵的线性编程（LP）求解器的BAB常规引入的神经元分割限制，导致界限和损伤验证效率。在这项工作中，我们开发了一种基于$ \ beta $ -cra所做的，一种基于新的绑定传播方法，可以通过从原始或双空间构造的可优化参数$ \ beta $完全编码神经元分割。当在中间层中联合优化时，$ \ Beta $ -CROWN通常会产生比具有神经元分裂约束的典型LP验证更好的界限，同时像GPU上的皇冠一样高效且并行化。适用于完全稳健的验证基准，使用BAB的$ \ Beta $ -CROWN比基于LP的BAB方法快三个数量级，并且比所有现有方法更快，同时产生较低的超时率。通过早期终止BAB，我们的方法也可用于有效的不完整验证。与强大的不完整验证者相比，我们始终如一地在许多设置中获得更高的验证准确性，包括基于凸屏障破碎技术的验证技术。与最严重但非常昂贵的Semidefinite编程（SDP）的不完整验证者相比，我们获得了更高的验证精度，验证时间较少三个级。我们的算法授权$ \ alpha，\ \β$ -craft（Alpha-Beta-Crown）验证者，VNN-Comp 2021中的获胜工具。我们的代码可在http://papercode.cc/betacrown提供
translated by 谷歌翻译
最近关于机器学习和优化集成的研究的扩散。该研究流中的一个膨胀区域是预测模型嵌入式优化，其使用预先接受训练的预测模型来实现优化问题的目标函数，因此预测模型的特征成为优化问题中的决策变量。尽管该领域最近出版物飙升，但这一决策管道的一个方面已经很大程度上被忽视的是培训相关性，即确保对优化问题的解决方案应该类似于用于训练预测模型的数据。在本文中，我们提出了旨在实施培训相关性的限制，并通过集合来展示添加建议的约束显着提高所获得的溶液质量。
translated by 谷歌翻译
通过边界估计可以显着简化求解约束优化问题（COP），即提供成本函数的紧密边界。通过使用由已知边界的数据组成的数据以及COMPS提取的特征来馈送监督机器学习（ML）模型，可以训练模型以估计新COP实例的边界。在本文中，我们首先概述了来自问题实例的约束编程（CP）的ML的现有知识体系。其次，我们介绍了应用于支持CP解算器的工具的边界估计框架。在该框架内，讨论并评估了不同的ML模型，并评估其对边界估计的适用性，并避免避免求解器找到最佳解决方案的不可行估计的对策。第三，我们在七个警察中提出了一种实验研究，与不同的CP溶剂。我们的结果表明，可以仅限于这些警察的近似最佳边界。这些估计的边界将客观域大小减少60-88％，可以帮助求解器在搜索期间提前找到近乎最佳解决方案。
translated by 谷歌翻译
我们研究组合分配域，其中包括组合拍卖和课程分配。该域中的主要挑战是捆绑空间在项目数中呈指数增长。为了解决这一问题，最近有几篇论文提出了基于机器学习的偏好启发算法，旨在仅获取代理商最重要的信息。但是，这项先前工作的主要缺点是，它没有建模机制对尚未引起的捆绑的不确定性。在本文中，我们通过提出基于贝叶斯优化的组合分配（BOCA）机制来解决这一缺点。我们的主要技术贡献是将捕获模型不确定性捕获到迭代组合拍卖机制中的方法。具体而言，我们设计了一种新方法，用于估计可以用作采集函数的上部不确定性结合，以确定对代理的下一个查询。这使该机制能够在其偏好启发阶段正确探索（而不仅仅是利用）束空间。我们在几个频谱拍卖域中运行计算实验，以评估BOCA的性能。我们的结果表明，BOCA比最先进的方法提高了分配效率。
translated by 谷歌翻译
在处理现实世界优化问题时，决策者通常会面临与部分信息，未知参数或这些问题之间的复杂关系与问题决策变量相关的高度不确定性。在这项工作中，我们开发了一种新颖的机会限制学习（CCL）方法，重点是混合组合线性优化问题，该问题结合了机会约束和约束学习文献的思想。机会约束为要实现的单个或一组约束设定了概率置信度，而约束学习方法旨在通过预测模型对问题变量之间的功能关系进行建模。当我们需要为其响应变量设定进一步的界限时，就会出现一个主要问题之一：实现这些变量直接与预测模型的准确性及其概率行为有关。从这个意义上讲，CCL利用可线化的机器学习模型来估计学习变量的条件分位数，从而为机会约束提供了数据驱动的解决方案。已经开发了一个开放式软件，可以由从业人员使用。此外，在两个现实世界中的案例研究中已经测试了CCL的益处，证明当设定概率界限以进行学习的约束时，如何将鲁棒性添加到最佳解决方案中。
translated by 谷歌翻译
This paper surveys the recent attempts, both from the machine learning and operations research communities, at leveraging machine learning to solve combinatorial optimization problems. Given the hard nature of these problems, state-of-the-art algorithms rely on handcrafted heuristics for making decisions that are otherwise too expensive to compute or mathematically not well defined. Thus, machine learning looks like a natural candidate to make such decisions in a more principled and optimized way. We advocate for pushing further the integration of machine learning and combinatorial optimization and detail a methodology to do so. A main point of the paper is seeing generic optimization problems as data points and inquiring what is the relevant distribution of problems to use for learning on a given task.
translated by 谷歌翻译
在这项研究中，我们提出了一个深入的学习优化框架，以解决动态的混合企业计划。具体而言，我们开发了双向长期内存（LSTM）框架，可以及时向前和向后处理信息，以学习最佳解决方案，以解决顺序决策问题。我们展示了我们在预测单项电容批号问题（CLSP）的最佳决策方面的方法，其中二进制变量表示是否在一个时期内产生。由于问题的动态性质，可以将CLSP视为序列标记任务，在该任务中，复发性神经网络可以捕获问题的时间动力学。计算结果表明，我们的LSTM优化（LSTM-OPT）框架大大减少了基准CLSP问题的解决方案时间，而没有太大的可行性和最佳性。例如，对于240,000多个测试实例，在85 \％级别的预测平均将CPLEX溶液的时间减少了9倍，最佳差距小于0.05 \％\％和0.4 \％\％\％\％\％的不可行性。此外，使用较短的计划范围训练的模型可以成功预测具有更长计划范围的实例的最佳解决方案。对于最困难的数据集，LSTM在25 \％级别的LSTM预测将70 CPU小时的溶液时间降低至小于2 CPU分钟，最佳差距为0.8 \％，而没有任何不可行。 LSTM-OPT框架在解决方案质量和精确方法方面，诸如Logistic回归和随机森林之类的经典ML算法（例如（$ \ ell $，s）和基于动态编程的不平等，解决方案时间的改进。我们的机器学习方法可能有益于解决类似于CLSP的顺序决策问题，CLSP需要重复，经常和快速地解决。
translated by 谷歌翻译
最近的工作表明，使用混合整数编程（MIP）求解器来优化神经网络（NNS）的某些方面的潜力。但是，用MIP求解器训练NNS的有趣方法尚未探索。训练NNS的最先进的方法通常基于梯度，需要大量数据，GPU计算以及广泛的超参数调整。相比之下，使用MIP求解器的培训不需要GPU或重型参数调整，但目前除了少量数据外无法处理任何事情。本文以最新的进步为基础，该进步使用MIP求解器训练NNS。我们通过制定新的MIP模型来超越当前的工作，从而提高训练效率，并可以培训重要的整数值为值的神经网络（INNS）。我们提供了两种新型方法，以进一步使用MIP训练NNS的潜在意义。第一种方法在训练时优化了NN中神经元的数量。这减少了在培训之前确定网络体系结构的需求。第二种方法解决了MIP可以处理的训练数据量：我们提供了一种批处理培训方法，该方法可大大增加MIP求解器可以用来训练的数据量。因此，我们为使用MIP模型训练NNS时提供了比以前更多的数据的有希望的步骤。关于两个现实世界中数据限制数据集的实验结果表明，就准确性，训练时间和数据数量而言，我们的方法在用MIP训练NN中强烈优于先前的最新技术。当可获得最小的培训数据以及具有最小内存要求的培训时，我们的方法精通培训NNS，这对于部署到低内存设备而言可能是有价值的。
translated by 谷歌翻译
最小的平方和群集（MSSC）或K-Means型聚类，传统上被认为是无监督的学习任务。近年来，使用背景知识来提高集群质量，促进聚类过程的可解释性已成为数学优化和机器学习研究的热门研究课题。利用数据群集中的背景信息的问题称为半监督或约束群集。在本文中，我们为半监控MSSC提供了一种新的分支和绑定算法，其中背景知识被包含为成对必须 - 链接和无法链接约束。对于较低的界限，我们解决了MSSC离散优化模型的Semidefinite编程宽松，并使用了用于加强界限的纤维平面程序。相反，通过使用整数编程工具，我们提出了将K-Means算法适应受约束的情况。这是第一次，所提出的全局优化算法有效地管理，以解决现实世界的情况，最高可达800个数据点，具有必要的必须 - 链接和无法链接约束以及通用数量的功能。这个问题大小大约比最先进的精确算法解决的实例大约四倍。
translated by 谷歌翻译
最近已扩展了最小方形聚类（MSSC）或K-均值类型聚类的最小总和，以利用每个群集的基数的先验知识。这种知识用于提高性能以及解决方案质量。在本文中，我们提出了一种基于分支和切割技术的精确方法，以解决基数受限的MSSC。对于下边界的例程，我们使用Rujeerapaiboon等人最近提出的半决赛编程（SDP）放松。 [Siam J. Optim。 29（2），1211-1239，（2019）]。但是，这种放松只能用于小型实例中的分支和切割方法。因此，我们得出了一种新的SDP松弛，该松弛随着实例大小和簇的数量更好。在这两种情况下，我们都通过添加多面体切割来增强结合。从量身定制的分支策略中受益，该策略会实施成对的约束，我们减少了儿童节点中出现的问题的复杂性。相反，对于上限，我们提出了一个本地搜索过程，该过程利用在每个节点上求解的SDP松弛的解。计算结果表明，所提出的算法在全球范围内首次求解了大小的现实实例，比通过最新精确方法求解的算法大10倍。
translated by 谷歌翻译
由于其损耗函数的无限性，经典的铰链损耗支撑矢量机（SVM）模型对异常观测值敏感。为了解决这个问题，最近的研究集中在非凸损失函数上，例如硬质量损失，该损失将恒定的罚款与任何错误分类或细边样品内的样本相关联。应用此损失函数可为关键应用带来急需的鲁棒性，但它也导致NP硬化模型，这使训练变得困难，因为当前的精确优化算法显示有限的可伸缩性，而启发式方法无法始终找到高质量的解决方案。在这种背景下，我们提出了新的整数编程策略，这些策略可显着提高我们将硬利润SVM模型培训为全球最优性的能力。我们引入了一种迭代采样和分解方法，其中使用较小的子问题来分离组合弯曲器的切割。这些切割量在分支和切割算法中的使用，可以更快地收敛到全球最佳。通过对经典基准数据集的大量数值分析，我们的解决方案算法首次求解了117个新数据集，以达到最佳性，并在基准最困难的数据集的平均最佳差距中降低了50％。
translated by 谷歌翻译
我们在运营研究和机器学习（ML）的Nexus中提出了一种方法，该方法利用了从ML提供的通用近似器，以加速混合智能线性两阶段随机程序的解决方案。我们旨在解决第二阶段高度要求的问题。我们的核心思想是通过用快速而准确的监督ML预测替换确切的第二阶段解决方案，从而在在线解决方案时间中大量减少，同时，在第一阶段解决方案准确性中略有降低。当随着时间的推移反复解决类似问题时，在与车队管理，路由和集装箱院子管理有关的运输计划中反复解决类似问题时，对ML的前期投资将是合理的。我们的数值结果集中在与整数和连续L形切口中的问题类别解决的问题类别。我们的广泛的经验分析基于从随机服务器位置（SSLP）和随机多主背包（SMKP）问题的标准化家族基础。所提出的方法可以在不到9％的时间内解决SSLP的最难实例，而在SMKP的情况下，同一图为20％。在大多数情况下，平均最佳差距少于0.1％。
translated by 谷歌翻译
预订控制问题是收入管理领域中发生的顺序决策问题。更确切地说，货运预订控制重点是决定接受或拒绝预订的问题：鉴于有限的能力，接受预订请求或拒绝其保留能力，以预订可能更高收入的未来预订。该问题可以作为有限的摩尼斯随机动态程序提出，其中接受一组请求会在预订期结束时获得利润，取决于履行公认的预订的成本。对于许多货运申请，可以通过解决操作决策问题来获得满足请求的成本，该问题通常需要解决混合组织线性计划的解决方案。在部署强化学习算法时，通常会常规地解决此类操作问题，这可能太耗时了。大多数预订控制策略是通过解决特定问题的数学编程松弛来获得的，这些松弛通常是不宽松的，无法推广到新问题，并且在某些情况下提供了相当粗糙的近似值。在这项工作中，我们提出了一种两阶段的方法：我们首先训练一个监督的学习模型来预测操作问题的目标，然后我们将模型部署在加固学习算法中以计算控制政策。这种方法是一般的：每当可以预测Horizon操作问题的目标函数时，都可以使用它，并且特别适合那些此类问题在计算上很难的情况。此外，它允许人们利用加强学习的最新进展，因为常规解决操作问题被单个预测所取代。我们的方法对文献中的两个预订控制问题进行了评估，即分销物流和航空公司货物管理。
translated by 谷歌翻译