我们介绍了一种大规模的LAGRAGE分解方法，用于解决在结构预测中发生的0-1整数线性程序。我们提出了一种新的迭代更新方案，用于解决Lagrangean双重和用于解码原始解决方案的扰动技术。对于代表子问题，我们关注lange等。 （2021）并使用二进制决策图（BDD）。我们的原始和双算法需要在子问题和通过BDDS上的优化之间的同步只需要基本操作而没有复杂的控制流程。这使我们能够利用GPU提供的PPU所提供的并行性。我们在马尔可夫随机字段，二次分配和发育生物学跟踪中提出了从MAP推断的组合问题的实验结果。我们的高度平行GPU实现可提高Lange等人的算法的运行时间。 （2021）高达一个数量级。特别是，我们接近或优于一些最先进的专业启发式，同时存在不可知论。
translated by 谷歌翻译
2021-02-18
组合优化是运营研究和计算机科学领域的一个公认领域。直到最近，它的方法一直集中在孤立地解决问题实例，而忽略了它们通常源于实践中的相关数据分布。但是，近年来，人们对使用机器学习，尤其是图形神经网络（GNN）的兴趣激增，作为组合任务的关键构件，直接作为求解器或通过增强确切的求解器。GNN的电感偏差有效地编码了组合和关系输入，因为它们对排列和对输入稀疏性的意识的不变性。本文介绍了对这个新兴领域的最新主要进步的概念回顾，旨在优化和机器学习研究人员。
translated by 谷歌翻译
通过简明地表示许多变量的联合功能作为小功能的组合，离散图形模型（GMS）提供了一个强大的框架来分析交互变量的随机和确定性系统。这些模型的主要查询之一是识别该联合功能的极值。这被称为在确定性成本函数网络上的加权约束满足问题（WCSP），以及在随机马尔可夫随机字段上的最大后验（MAP）推断。近似WCSP推理的算法通常依赖于局部一致性算法或信念传播。这些方法与线性编程（LP）弛豫密切相关，并且通常与由相关LP的双解定义的Reparamization耦合。自从Goemans和Williamson的开创性工作以来，据了解，凸软膏放松可以为LP提供优质的保证。但内部点方法的固有计算成本限制了他们的应用。这种情况有所改善，引入了非凸毛蒙特罗风格方法，这些方法非常适合处理与二进制变量的组合问题的SDP放松（例如MaxCut，MaxSAT或地图/ ising）。我们将低等级SDP上限和下限计算具有任意数量的数量和任意二进制成本函数的离散对图形模型，通过基于逐行的更新扩展毛刺蒙特罗样式方法。我们考虑一种传统的两化约束方法和专用块坐标序列方法，避免对配方引入大的惩罚系数。在越来越坚硬和致密的WCSP / CFN实例上，我们观察到BCD方法可以优于两种方法，并提供比本地常量/收敛消息传递方法更严格的边界。
translated by 谷歌翻译
图形匹配优化问题是计算机视觉中许多任务的重要组成部分，例如在通信中带来两个可变形对象。自然，在过去的几十年中，已经提出了广泛的适用算法。由于尚未开发出通用的标准基准，因此由于对不同的问题实例的评估和标准使结果无与伦比，因此通常很难验证其绩效主张。为了解决这些缺点，我们提出了匹配算法的比较研究。我们创建了一个统一的基准测试标准，在其中收集和分类了一组现有和公开可用的计算机视觉图形匹配问题，以通用格式。同时，我们收集和分类图形匹配算法的最流行的开源实现。它们的性能以与比较优化算法的最佳实践相符的方式进行评估。该研究旨在可再现和扩展，以作为未来的宝贵资源。我们的研究提供了三个值得注意的见解：1。）流行问题实例在少于1秒的时间内完全可以解决，因此不足以进行将来的经验评估； 2.）最受欢迎的基线方法高于最佳可用方法； 3.）尽管该问题存在NP硬度，但即使对于具有超过500个顶点的图形，也可以在几秒钟内求解来自视力应用程序的实例。
translated by 谷歌翻译
最近已扩展了最小方形聚类（MSSC）或K-均值类型聚类的最小总和，以利用每个群集的基数的先验知识。这种知识用于提高性能以及解决方案质量。在本文中，我们提出了一种基于分支和切割技术的精确方法，以解决基数受限的MSSC。对于下边界的例程，我们使用Rujeerapaiboon等人最近提出的半决赛编程（SDP）放松。 [Siam J. Optim。 29（2），1211-1239，（2019）]。但是，这种放松只能用于小型实例中的分支和切割方法。因此，我们得出了一种新的SDP松弛，该松弛随着实例大小和簇的数量更好。在这两种情况下，我们都通过添加多面体切割来增强结合。从量身定制的分支策略中受益，该策略会实施成对的约束，我们减少了儿童节点中出现的问题的复杂性。相反，对于上限，我们提出了一个本地搜索过程，该过程利用在每个节点上求解的SDP松弛的解。计算结果表明，所提出的算法在全球范围内首次求解了大小的现实实例，比通过最新精确方法求解的算法大10倍。
translated by 谷歌翻译
混合成员非线性优化是具有组合结构和非线性的广泛问题。典型的精确方法将分支和结合的方案与放松和分离子例程相结合。我们研究了基于此设置的Frank-Wolfe算法的错误自适应一阶方法的属性和优势，仅需要梯度甲骨文来实现目标函数和可行集合上的线性优化。特别是，我们将研究通过分支和结合方法进行优化的算法后果，在这种方法中，由于Frank-Wolfe线性甲骨文而引起的混合构件的凸面上的子问题与解决连续放松上的子问题相比同一组。这种新颖的方法在处理多面体约束的单个表示时计算可行的解决方案，利用了没有外近似方案的混合智能编程（MIP）求解器的全部范围。
translated by 谷歌翻译
当与分支和界限结合使用时，结合的传播方法是正式验证深神经网络（例如正确性，鲁棒性和安全性）的最有效方法之一。但是，现有作品无法处理在传统求解器中广泛接受的切割平面限制的一般形式，这对于通过凸出凸松弛的加强验证者至关重要。在本文中，我们概括了结合的传播程序，以允许添加任意切割平面的约束，包括涉及放宽整数变量的限制，这些变量未出现在现有的结合传播公式中。我们的广义结合传播方法GCP-crown为应用一般切割平面方法}开辟了一个机会进行神经网络验证，同时受益于结合传播方法的效率和GPU加速。作为案例研究，我们研究了由现成的混合整数编程（MIP）求解器生成的切割平面的使用。我们发现，MIP求解器可以生成高质量的切割平面，以使用我们的新配方来增强基于界限的验证者。由于以分支为重点的绑定传播程序和切削平面的MIP求解器可以使用不同类型的硬件（GPU和CPU）并行运行，因此它们的组合可以迅速探索大量具有强切割平面的分支，从而导致强大的分支验证性能。实验表明，与VNN-Comp 2021中最佳工具相比，我们的方法是第一个可以完全求解椭圆形的基准并验证椭圆21基准的两倍的验证者，并且在oval21基准测试中的最佳工具也明显超过了最先进的验证器。广泛的基准。 GCP-Crown是$ \ alpha $，$ \ beta $ -Crown验证者，VNN-COMP 2022获奖者的一部分。代码可在http://papercode.cc/gcp-crown上获得
translated by 谷歌翻译
最小的平方和群集（MSSC）或K-Means型聚类，传统上被认为是无监督的学习任务。近年来，使用背景知识来提高集群质量，促进聚类过程的可解释性已成为数学优化和机器学习研究的热门研究课题。利用数据群集中的背景信息的问题称为半监督或约束群集。在本文中，我们为半监控MSSC提供了一种新的分支和绑定算法，其中背景知识被包含为成对必须 - 链接和无法链接约束。对于较低的界限，我们解决了MSSC离散优化模型的Semidefinite编程宽松，并使用了用于加强界限的纤维平面程序。相反，通过使用整数编程工具，我们提出了将K-Means算法适应受约束的情况。这是第一次，所提出的全局优化算法有效地管理，以解决现实世界的情况，最高可达800个数据点，具有必要的必须 - 链接和无法链接约束以及通用数量的功能。这个问题大小大约比最先进的精确算法解决的实例大约四倍。
translated by 谷歌翻译
近年来，在平衡（超级）图分配算法的设计和评估中取得了重大进展。我们调查了过去十年的实用算法的趋势，用于平衡（超级）图形分区以及未来的研究方向。我们的工作是对先前有关该主题的调查的更新。特别是，该调查还通过涵盖了超图形分区和流算法来扩展先前的调查，并额外关注并行算法。
translated by 谷歌翻译
我们考虑了提高柱生成效率（CG）方法的方法，以解决车辆路由问题。我们介绍了CG配方中常用的NG-Route松弛度和降低状态空间松弛（DSSR）的替代/补充，我们引入了局部区域（LA）路线。 LA路线是NG路由的子集和基本路线的超级集合。通常，CG的定价阶段必须产生基本路线，这些路线是没有重复客户的路线，使用可能在计算上昂贵的流程。非元素路线至少访问至少一个客户，创建一个周期。 LA路线以允许有效定价的方式放松成为基本途径的约束。从NG-Route放松方面，最好理解LA路线。 NG路由是允许在空间中具有非定位循环的路线。这意味着周期中至少有一个中间客户（称为断路器）必须考虑到周期中的起始客户在空间上远离。使用一组特殊索引来描述LA路线，该特殊索引与从开始到路线尽头的路线上的客户相对应。 LA路线的松弛进一步限制了一组允许的周期，除了强制执行断路器必须位于特殊索引中，该循环均超出了NG路由，其中一组特殊索引被递归地定义为如下。该路线中的第一个特殊索引是索引1，这意味着它与路线中的第一个客户关联。 K'th特殊索引对应于K-1第三个特殊索引之后的第一个客户，该索引并非被认为是（在空间上被认为是远离K-1'TEXPATEX的客户）的邻居。我们证明，与标准DSSR相比，LA路线松弛可以显着提高定价的计算速度。
translated by 谷歌翻译
给定数据点之间的一组差异测量值，确定哪种度量表示与输入测量最“一致”或最能捕获数据相关几何特征的度量是许多机器学习算法的关键步骤。现有方法仅限于特定类型的指标或小问题大小，因为在此类问题中有大量的度量约束。在本文中，我们提供了一种活跃的集合算法，即项目和忘记，该算法使用Bregman的预测，以解决许多（可能是指数）不平等约束的度量约束问题。我们提供了\ textsc {project and Hoses}的理论分析，并证明我们的算法会收敛到全局最佳解决方案，并以指数速率渐近地渐近地衰减了当前迭代的$ L_2 $距离。我们证明，使用我们的方法，我们可以解决三种类型的度量约束问题的大型问题实例：一般体重相关聚类，度量近距离和度量学习；在每种情况下，就CPU时间和问题尺寸而言，超越了艺术方法的表现。
translated by 谷歌翻译
符合使用机器学习的不断增长的趋势，帮助解决组合优化问题，一个有希望的想法是通过使用学习的策略来改善混合整数编程（MIP）分支和绑定树内的节点选择。以前使用模仿学习的工作指示通过学习自适应节点搜索顺序来获取节点选择策略的可行性。相比之下，我们的模仿学习策略仅专注于学习节点的孩子中的哪一个选择。我们介绍了一个脱机方法，用于在两个设置中学习这样的策略：一个通过致力于修剪节点的启发式;一个是从叶子精确和背溯以保证找到最佳整数解决方案的备用。前一个设置对应于困扰期间的儿童选择器，而后者则类似于潜水启发式。我们在热情和确切的设置中将策略应用于流行的开源求解器SCIP。五个MIP数据集的经验结果表明，我们的节点选择策略比文献中最先进的先例更快地导致解决方案。虽然我们在精确解决方案的时间内没有击败高度优化的SCIP状态基准节点选择器，但如果预测模型的准确性足够，我们的启发式政策比所有基线都具有始终如一的最佳最优性差距。此外，结果还表明，当应用时间限制时，我们的启发式方法发现比测试大多数问题中所有基线的更好的解决方案。我们通过表明学习的政策模仿了SCIP基线来解释结果，但没有后者早期的暴跌中止。我们的建议是，尽管对文献的清晰改进，但这种MIP儿童选择器在更广泛的方法中更好地使用MIP分支和束缚树决策。
translated by 谷歌翻译
加权CSP（WCSP）的重新定义（WCSP）的重新定位概念（也称为WCSPS的等价 - 保存的变换）是众所周知的并且在许多算法中找到其使用以近似或绑定最佳WCSP值。相比之下，已经提出了超级reparamureIzations的概念（这是保留或增加每个任务的WCSP目标的权重的变化），但从未详细研究过。为了填补这一差距，我们展示了一些超级reparamizations的理论属性，并将它们与重新定位化的差异进行比较。此外，我们提出了一种用于使用超级Reparamizations计算（最大化版本）WCSP的最佳值的上限的框架。我们表明原则上可以采用任意（在某些技术条件下）约束传播规则来改善绑定。特别是对于电弧一致性，该方法减少到已知的虚拟AC（VAC）算法。新的，我们实施了Singleton ARC一致性（SAC）的方法，并将其与WCSPS在公共基准上的其他强大局部常量进行比较。结果表明，从SAC获得的界限对于许多实例组优越。
translated by 谷歌翻译
在本文中，我们提出了一种解决网络对齐问题的新算法。它受到了Bayati等人的先前消息传递框架。[2]并包括旨在显着加快消息更新以及强制增长的修改。实验表明，我们所提出的模型优于其他最先进的求解器。最后，我们建议应用我们的方法，以解决二元困难问题。我们展示我们的解决方案提供的优于几乎所有提交的实例的参考，并概述了利用二进制程序的图形结构的重要性。
translated by 谷歌翻译
图表匹配是一个重要的问题，它受到了广泛的关注，特别是在计算机视野领域。最近，最先进的方法寻求将图形与深度学习融合。然而，没有研究可以解释图形匹配算法在模型中播放的角色。因此，我们提出了一种积分对匹配问题的MILP制定的方法。该配方解决了最佳，它提供固有的基线。同时，通过释放图形匹配求解器的最佳保证并通过引入质量水平来导出类似的方法。这种质量级别控制了图形匹配求解器提供的解决方案的质量。此外，图表匹配问题的几个放松将进行测试。我们的实验评估提供了若干理论上的见解，并指导深图匹配方法的方向。
translated by 谷歌翻译
Perturb-and-MAP offers an elegant approach to approximately sample from an energy-based model (EBM) by computing the maximum-a-posteriori (MAP) configuration of a perturbed version of the model. Sampling in turn enables learning. However, this line of research has been hindered by the general intractability of the MAP computation. Very few works venture outside tractable models, and when they do, they use linear programming approaches, which as we show, have several limitations. In this work, we present perturb-and-max-product (PMP), a parallel and scalable mechanism for sampling and learning in discrete EBMs. Models can be arbitrary as long as they are built using tractable factors. We show that (a) for Ising models, PMP is orders of magnitude faster than Gibbs and Gibbs-with-Gradients (GWG) at learning and generating samples of similar or better quality; (b) PMP is able to learn and sample from RBMs; (c) in a large, entangled graphical model in which Gibbs and GWG fail to mix, PMP succeeds.Preprint. Under review.
translated by 谷歌翻译
该博士学位论文的中心对象是在计算机科学和统计力学领域的不同名称中以不同名称而闻名的。在计算机科学中，它被称为“最大切割问题”，这是著名的21个KARP的原始NP硬性问题之一，而物理学的相同物体称为Ising Spin Glass模型。这种丰富的结构的模型通常是减少或重新制定计算机科学，物理和工程学的现实问题。但是，准确地求解此模型（查找最大剪切或基态）可能会留下一个棘手的问题（除非$ \ textit {p} = \ textit {np} $），并且需要为每一个开发临时启发式学特定的实例家庭。离散和连续优化之间的明亮而美丽的连接之一是一种基于半限定编程的圆形方案，以最大程度地切割。此过程使我们能够找到一个近乎最佳的解决方案。此外，该方法被认为是多项式时间中最好的。在本论文的前两章中，我们研究了旨在改善舍入方案的局部非凸照。在本文的最后一章中，我们迈出了一步，并旨在控制我们想要在前几章中解决的问题的解决方案。我们在Ising模型上制定了双层优化问题，在该模型中，我们希望尽可能少地调整交互作用，以使所得ISING模型的基态满足所需的标准。大流行建模出现了这种问题。我们表明，当相互作用是非负的时，我们的双层优化是在多项式时间内使用凸编程来解决的。
translated by 谷歌翻译
在确定性优化中，通常假定问题的所有参数都是固定和已知的。但是，实际上，某些参数可能是未知的先验参数，但可以从历史数据中估算。典型的预测 - 优化方法将预测和优化分为两个阶段。最近，端到端的预测到优化已成为有吸引力的替代方法。在这项工作中，我们介绍了PYEPO软件包，这是一个基于Pytorch的端到端预测，然后在Python中进行了优化的库。据我们所知，PYEPO（发音为“带有静音” n“”的“菠萝”）是线性和整数编程的第一个通用工具，具有预测的目标函数系数。它提供了两种基本算法：第一种基于Elmachtoub＆Grigas（2021）的开创性工作的凸替代损失函数，第二个基于Vlastelica等人的可区分黑盒求解器方法。 （2019）。 PYEPO提供了一个简单的接口，用于定义新的优化问题，最先进的预测 - 优化训练算法，自定义神经网络体系结构的使用以及端到端方法与端到端方法与与端到端方法的比较两阶段的方法。 PYEPO使我们能够进行一系列全面的实验，以比较沿轴上的多种端到端和两阶段方法，例如预测准确性，决策质量和运行时间，例如最短路径，多个背包和旅行等问题销售人员问题。我们讨论了这些实验中的一些经验见解，这些见解可以指导未来的研究。 PYEPO及其文档可在https://github.com/khalil-research/pyepo上找到。
translated by 谷歌翻译
分析深神经网络对输入扰动的最坏情况的性能等于解决一个大规模的非凸优化问题，过去的几项工作提出了凸出的放松作为有希望的替代方案。但是，即使对于合理的神经网络，这些放松也无法处理，因此必须在实践中被较弱的放松所取代。在这项工作中，我们提出了一种新型的操作员分裂方法，该方法可以将问题直接解决至高精度的凸松弛，从而将其拆分为经常具有分析溶液的较小的子问题。该方法是模块化的，范围为非常大的问题实例，并损害了与GPU加速的快速并行化的操作。我们展示了我们在图像分类和强化学习设置以及神经网络动力学系统的可及性分析中界定大型卷积网络最差的方法的方法。
translated by 谷歌翻译
\ textit {约束路径发现}的经典问题是一个经过充分研究但充满挑战的主题，在各个领域，例如沟通和运输等各个领域的应用。权重限制了最短路径问题（WCSPP），作为仅具有一个侧面约束的约束路径查找的基本形式，旨在计划成本最佳路径，其权重/资源使用受到限制。鉴于问题的双标准性质（即处理路径的成本和权重），解决WCSPP的方法具有一些带有双目标搜索的共同属性。本文在约束路径查找和双目标搜索中利用了最新的基于A*的最新技术，并为WCSPP提供了两种精确的解决方案方法，两者都可以在非常大的图表上解决硬性问题实例。我们从经验上评估了算法在新的大型和现实的问题实例上的性能，并在时空指标中显示出它们比最新算法的优势。本文还调查了优先级队列在被a*的约束搜索中的重要性。我们通过对逼真的和随机图进行了广泛的实验来展示，基于桶的队列没有打破打盘的方式可以有效地改善详尽的双标准搜索的算法性能。
translated by 谷歌翻译