最近的工作``与物理启发的图形神经网络的组合优化'[Nat Mach Intell 4（2022）367]引入了物理启发的无监督图形神经网络（GNN），以求解稀疏图上的组合优化问题。为了测试这些GNN的性能，工作的作者显示了两个基本问题的数值结果：最大切割和最大独立集（MIS）。他们得出的结论是，“图形神经网络优化器在标准杆或胜过现有的求解器上的性能，并且能够超越最新技术的状态，以达到数百万变量的问题。”在此评论中，我们表明，一种简单的贪婪算法在几乎线性的时间内运行，可以找到与GNN质量好得多的MIS问题的解决方案。对于GNN而言，对于一百万个变量的问题，贪婪的算法的速度更快为10^4美元。我们看不出有任何充分的理由解决这些GNN的MIS，以及使用大锤破裂螺母的理由。通常，许多关于神经网络在解决组合问题方面的优势的主张有没有足够稳定的风险，因为我们基于真正的严重问题缺乏标准的基准。我们提出了这样的硬基准之一，我们希望在提出任何优越性的主张之前对未来的神经网络优化者进行测试。
translated by 谷歌翻译
我们展示了如何使用图形神经网络来解决规范的图形着色问题。我们将颜色框架为多类节点分类问题，并基于统计物理Potts模型利用无监督的培训策略。对其他多级问题（例如社区检测，数据聚类和最低集团封面问题）的概括是简单的。我们提供数值基准结果，并通过端到端的应用程序说明了我们的方法，用于在全面的编码程序框架内实现现实世界调度案例。我们的优化方法在PAR或优于现有求解器上执行，并能够扩展到数百万变量的问题。
translated by 谷歌翻译
Steiner树问题（STP）在图中旨在在连接给定的顶点集的图表中找到一个最小权重的树。它是一种经典的NP - 硬组合优化问题，具有许多现实世界应用（例如，VLSI芯片设计，运输网络规划和无线传感器网络）。为STP开发了许多精确和近似算法，但它们分别遭受高计算复杂性和弱案例解决方案保证。还开发了启发式算法。但是，它们中的每一个都需要应用域知识来设计，并且仅适用于特定方案。最近报道的观察结果，同一NP-COLLECLIAL问题的情况可能保持相同或相似的组合结构，但主要在其数据中不同，我们调查将机器学习技术应用于STP的可行性和益处。为此，我们基于新型图形神经网络和深增强学习设计了一种新型模型瓦坎。 Vulcan的核心是一种新颖的紧凑型图形嵌入，将高瞻度图形结构数据（即路径改变信息）转换为低维矢量表示。鉴于STP实例，Vulcan使用此嵌入来对其路径相关的信息进行编码，并基于双层Q网络（DDQN）将编码的图形发送到深度加强学习组件，以找到解决方案。除了STP之外，Vulcan还可以通过将解决方案（例如，SAT，MVC和X3C）来减少到STP来找到解决方案。我们使用现实世界和合成数据集进行广泛的实验，展示了vulcan的原型，并展示了它的功效和效率。
translated by 谷歌翻译
优化在离散变量上的高度复杂的成本/能源功能是不同科学学科和行业的许多公开问题的核心。一个主要障碍是在硬实例中的某些变量子集之间的出现，导致临界减慢或集体冻结了已知的随机本地搜索策略。通常需要指数计算工作来解冻这种变量，并探索配置空间的其他看不见的区域。在这里，我们通过开发自适应梯度的策略来介绍一个量子启发的非本球非识别蒙特卡罗（NMC）算法，可以有效地学习成本函数的关键实例的几何特征。该信息随行使用，以构造空间不均匀的热波动，用于以各种长度尺度集体未填充变量，规避昂贵的勘探与开发权衡。我们将算法应用于两个最具挑战性的组合优化问题：随机k可满足（K-SAT）附近计算阶段转换和二次分配问题（QAP）。我们在专业的确定性求解器和通用随机求解器上观察到显着的加速和鲁棒性。特别是，对于90％的随机4-SAT实例，我们发现了最佳专用确定性算法无法访问的解决方案，该算法（SP）具有最强的10％实例的解决方案质量的大小提高。我们还通过最先进的通用随机求解器（APT）显示出在最先进的通用随机求解器（APT）上的时间到溶液的两个数量级改善。
translated by 谷歌翻译
用于图形组合优化问题的神经网络溶剂的端到端培训，例如旅行销售人员问题（TSP）最近看到了感兴趣的激增，但在几百节节点的图表中保持棘手和效率低下。虽然最先进的学习驱动的方法对于TSP在培训的古典索引时与古典求解器密切相关，但它们无法通过实际尺度的实际情况概括到更大的情况。这项工作提出了一个端到端的神经组合优化流水线，统一几个卷纸，以确定促进比在训练中看到的实例的概括的归纳偏差，模型架构和学习算法。我们的受控实验提供了第一个原则上调查这种零拍摄的概括，揭示了超越训练数据的推断需要重新思考从网络层和学习范例到评估协议的神经组合优化流水线。此外，我们分析了深入学习的最近进步，通过管道的镜头路由问题，并提供新的方向，以刺激未来的研究。
translated by 谷歌翻译
近似组合优化已成为量子计算机最有前途的应用领域之一，特别是近期的应用领域之一。在这项工作中，我们专注于求解最大切割问题的量子近似优化算法（QAOA）。具体而言，我们解决了QAOA中的两个问题，如何选择初始参数，以及如何随后培训参数以找到最佳解决方案。对于前者来说，我们将图形神经网络（GNN）作为QAOA参数的初始化例程，在热启动技术中添加到文献。我们不仅显示了GNN方法概括，而且不仅可以增加图形尺寸，还可以增加图形大小，这是其他热启动技术无法使用的功能。为了培训QAOA，我们测试了几个优化员以获得MaxCut问题。这些包括在文献中提出的量子感知/不可知论者，我们还包括机器学习技术，如加强和元学习。通过纳入这些初始化和优化工具包，我们展示了如何培训QAOA作为端到端可分散的管道。
translated by 谷歌翻译
在社交网络中找到有影响力的用户是一个基本问题，具有许多可能的应用程序。将社交网络视为图形，可以通过位于网络中给定数量的跳数内的邻居的数量来测量一组用户的影响，其中每个跳标标记了影响扩散的步骤。在本文中，我们将IM的问题减少到预算受限的D-Hop主导集合问题（KDDSP）。我们提出了一个统一的机器学习（ML）框架，FastCover，通过以无人监督的方式学习高效的贪婪策略来解决KDDSP。作为框架的一个关键组成部分，我们设计了一种新颖的图形神经网络（GNN）架构，图反转关注网络（GRAT），其捕获邻居之间的扩散过程。与用于组合优化问题的大多数启发式算法和并发ML框架不同，FastCover确定从GNN的一个正向传播的节点的分数确定整个种子集，并且在图形大小中具有时间复杂性准线性。综合图和现实世界社交网络的实验表明，FastCover通过并发算法呈现的更好或相当的质量来找到解决方案，同时实现超过1000x的加速。
translated by 谷歌翻译
2021-02-18
组合优化是运营研究和计算机科学领域的一个公认领域。直到最近，它的方法一直集中在孤立地解决问题实例，而忽略了它们通常源于实践中的相关数据分布。但是，近年来，人们对使用机器学习，尤其是图形神经网络（GNN）的兴趣激增，作为组合任务的关键构件，直接作为求解器或通过增强确切的求解器。GNN的电感偏差有效地编码了组合和关系输入，因为它们对排列和对输入稀疏性的意识的不变性。本文介绍了对这个新兴领域的最新主要进步的概念回顾，旨在优化和机器学习研究人员。
translated by 谷歌翻译
随着深度学习技术的快速发展，各种最近的工作试图应用图形神经网络（GNN）来解决诸如布尔满足（SAT）之类的NP硬问题，这表明了桥接机器学习与象征性差距的潜力。然而，GNN预测的解决方案的质量并未在文献中进行很好地研究。在本文中，我们研究了GNNS在学习中解决最大可满足性（MaxSAT）问题的能力，从理论和实践角度来看。我们构建了两种GNN模型来学习来自基准的MaxSAT实例的解决方案，并显示GNN通过实验评估解决MaxSAT问题的有吸引力。我们还基于算法对准理论，我们还提出了GNNS可以在一定程度上学会解决MaxSAT问题的影响的理论解释。
translated by 谷歌翻译
组合优化的硬度（CO）问题阻碍收集用于监督学习的解决方案。但是，由于缺乏标记的数据，因此很难学习CO问题的神经网络，因为训练很容易被捕获到本地Optima。在这项工作中，我们为CO问题提出了一个简单但有效的退火培训框架。特别是，我们将CO问题转化为公正的基于能量的模型（EBM）。我们仔细选择了罚款条款，以使EBM尽可能平滑。然后，我们训练图形神经网络以近似EBM。为了防止训练在初始化附近被卡在本地Optima上，我们引入了退火损失功能。实验评估表明，我们的退火训练框架获得了实质性改进。在四种类型的CO问题中，我们的方法在合成图和现实世界图上都比其他无监督神经方法更好地达到了性能。
translated by 谷歌翻译
关于组合优化的机器学习的最新作品表明，基于学习的方法可以优于速度和性能方面的启发式方法。在本文中，我们考虑了在定向的无环图上找到最佳拓扑顺序的问题，重点是编译器中出现的记忆最小化问题。我们提出了一种基于端到端的机器学习方法，用于使用编码器框架，用于拓扑排序。我们的编码器是一种基于注意力的新图形神经网络体系结构，称为\ emph {topoformer}，它使用DAG的不同拓扑转换来传递消息。由编码器产生的节点嵌入被转换为节点优先级，解码器使用这些嵌入，以生成概率分布对拓扑顺序。我们在称为分层图的合成生成图的数据集上训练我们的模型。我们表明，我们的模型的表现优于或在PAR上，具有多个拓扑排序基线，同时在最多2K节点的合成图上明显更快。我们还在一组现实世界计算图上训练和测试我们的模型，显示了性能的改进。
translated by 谷歌翻译
This paper surveys the recent attempts, both from the machine learning and operations research communities, at leveraging machine learning to solve combinatorial optimization problems. Given the hard nature of these problems, state-of-the-art algorithms rely on handcrafted heuristics for making decisions that are otherwise too expensive to compute or mathematically not well defined. Thus, machine learning looks like a natural candidate to make such decisions in a more principled and optimized way. We advocate for pushing further the integration of machine learning and combinatorial optimization and detail a methodology to do so. A main point of the paper is seeing generic optimization problems as data points and inquiring what is the relevant distribution of problems to use for learning on a given task.
translated by 谷歌翻译
The design of good heuristics or approximation algorithms for NP-hard combinatorial optimization problems often requires significant specialized knowledge and trial-and-error. Can we automate this challenging, tedious process, and learn the algorithms instead? In many real-world applications, it is typically the case that the same optimization problem is solved again and again on a regular basis, maintaining the same problem structure but differing in the data. This provides an opportunity for learning heuristic algorithms that exploit the structure of such recurring problems. In this paper, we propose a unique combination of reinforcement learning and graph embedding to address this challenge. The learned greedy policy behaves like a meta-algorithm that incrementally constructs a solution, and the action is determined by the output of a graph embedding network capturing the current state of the solution. We show that our framework can be applied to a diverse range of optimization problems over graphs, and learns effective algorithms for the Minimum Vertex Cover, Maximum Cut and Traveling Salesman problems.
translated by 谷歌翻译
我们提出了一个通用图形神经网络体系结构，可以作为任何约束满意度问题（CSP）作为末端2端搜索启发式训练。我们的体系结构可以通过政策梯度下降进行无监督的培训，以纯粹的数据驱动方式为任何CSP生成问题的特定启发式方法。该方法基于CSP的新型图表，既是通用又紧凑的，并且使我们能够使用一个GNN处理所有可能的CSP实例，而不管有限的Arity，关系或域大小。与以前的基于RL的方法不同，我们在全局搜索动作空间上运行，并允许我们的GNN在随机搜索的每个步骤中修改任何数量的变量。这使我们的方法能够正确利用GNN的固有并行性。我们进行了彻底的经验评估，从随机数据（包括图形着色，Maxcut，3-SAT和Max-K-Sat）中学习启发式和重要的CSP。我们的方法表现优于先验的神经组合优化的方法。它可以在测试实例上与常规搜索启发式竞争，甚至可以改善几个数量级，结构上比训练中看到的数量级更为复杂。
translated by 谷歌翻译
在处理大规模网络和关系数据时，降低图是基本的。它们可以通过在粗糙的结构中求解它们来缩小高度计算影响的尺寸。同时，图减少起着在图神经网络中合并层的作用，从结构中提取多分辨率表示。在这些情况下，还原机制保留距离关系和拓扑特性的能力似乎是基本的，以及可扩展性，使其能够应用于实际大小的问题。在本文中，我们基于最大重量$ k $独立的集合的图理论概念引入了图形粗化机制，从而提供了一种贪婪的算法，该算法允许在GPU上有效地并行实现。我们的方法是常规数据（图像，序列）中的第一个图形结构化对应物。我们证明了在路径长度上的失真界限的理论保证，以及在污垢图中保留关键拓扑特性的能力。我们利用这些概念来定义我们在图形分类任务中经验评估的图表合并机制，表明它与文献中的合并方法进行了比较。
translated by 谷歌翻译
近年来，在平衡（超级）图分配算法的设计和评估中取得了重大进展。我们调查了过去十年的实用算法的趋势，用于平衡（超级）图形分区以及未来的研究方向。我们的工作是对先前有关该主题的调查的更新。特别是，该调查还通过涵盖了超图形分区和流算法来扩展先前的调查，并额外关注并行算法。
translated by 谷歌翻译
随着组合优化的机器学习领域，通过这种新的视角，传统问题重新敷设和重新进行了折叠。大多数文献中的绝大多数侧重于小的图形问题，而几个真实问题致力于大图。在这里，我们专注于两个这样的问题：影响估计，＃p-coll counting问题，以及影响最大化，np-colly问题。我们开发Glie，一个图形神经网络（GNN），其固有地参数化影响估计的上限并在小模拟图上培训。实验表明，Glie为真正的图表提供了精确的影响，该估计比列车集大10倍。更重要的是，它可以用于对大大更大图的影响最大化，因为预测排名不受精度降低的影响。我们使用Glie制定一个Cely Optimization，而不是模拟的影响估计，超越了影响最大化的基准，尽管具有计算开销。为了平衡时间复杂性和影响质量，我们提出了两种不同的方法。第一个是Q-Network，学会使用Glie的预测顺序选择种子。第二种基于Glie的表示在构建种子集的同时，基于Glie的表示来定义一个可怕的子模块功能。后者提供了时间效率和影响的最佳组合，表现优于SOTA基准。
translated by 谷歌翻译
We present the Neural Satisfiability Network (NSNet), a general neural framework that models satisfiability problems as probabilistic inference and meanwhile exhibits proper explainability. Inspired by the Belief Propagation (BP), NSNet uses a novel graph neural network (GNN) to parameterize BP in the latent space, where its hidden representations maintain the same probabilistic interpretation as BP. NSNet can be flexibly configured to solve both SAT and #SAT problems by applying different learning objectives. For SAT, instead of directly predicting a satisfying assignment, NSNet performs marginal inference among all satisfying solutions, which we empirically find is more feasible for neural networks to learn. With the estimated marginals, a satisfying assignment can be efficiently generated by rounding and executing a stochastic local search. For #SAT, NSNet performs approximate model counting by learning the Bethe approximation of the partition function. Our evaluations show that NSNet achieves competitive results in terms of inference accuracy and time efficiency on multiple SAT and #SAT datasets.
translated by 谷歌翻译
深度学习技术的普及更新了能够处理可以使用图形的复杂结构的神经结构的兴趣，由图形神经网络（GNN）的启发。我们将注意力集中在最初提出的Scarselli等人的GNN模型上。 2009，通过迭代扩散过程编码图表的节点的状态，即在学习阶段，必须在每个时期计算，直到达到学习状态转换功能的固定点，传播信息邻近节点。基于拉格朗日框架的约束优化，我们提出了一种在GNNS中学习的新方法。学习转换功能和节点状态是联合过程的结果，其中通过约束满足机制隐含地表达了状态会聚过程，避免了迭代巨头程序和网络展开。我们的计算结构在由权重组成的伴随空间中搜索拉格朗日的马鞍点，节点状态变量和拉格朗日乘法器。通过加速扩散过程的多个约束层进一步增强了该过程。实验分析表明，该方法在几个基准上的流行模型有利地比较。
translated by 谷歌翻译
组合优化问题可以通过启发式算法（例如模拟退火（SA））来解决，该算法旨在通过热搜索空间在大型搜索空间中找到全局最小值溶液。该算法通过马尔可夫链蒙特卡洛技术生成新的解决方案。后者可能会导致严重的局限性，例如缓慢的收敛性和在较小温度下保持在同一局部搜索空间内的趋势。为了克服这些缺点，我们使用了变异经典退火（VCA）框架，该框架将自回归复发性神经网络（RNN）与传统退火相结合来彼此独立于样品解决方案。在本文中，我们证明了使用VCA作为解决现实世界优化问题的方法的潜力。与SA相比，我们探索了VCA的性能，以解决三个流行的优化问题：最大切割问题（最大切割），护士调度问题（NSP）和旅行推销员问题（TSP）。对于所有三个问题，我们发现VCA在渐近极限中的平均表现要优于SA。有趣的是，我们达到了TSP最高可达256美元的城市的大型系统尺寸。我们得出的结论是，在最佳情况下，当SA无法找到最佳解决方案时，VCA可以作为一个很好的选择。
translated by 谷歌翻译