在本文中，我们提出了一种解决网络对齐问题的新算法。它受到了Bayati等人的先前消息传递框架。[2]并包括旨在显着加快消息更新以及强制增长的修改。实验表明，我们所提出的模型优于其他最先进的求解器。最后，我们建议应用我们的方法，以解决二元困难问题。我们展示我们的解决方案提供的优于几乎所有提交的实例的参考，并概述了利用二进制程序的图形结构的重要性。
translated by 谷歌翻译
2021-12-31
在本文中，我们解决了在二进制形式中的两个程序的函数之间找到了对应或匹配的问题，这是二进制不同的最常见任务之一。我们将此问题的新配方作为图表编辑问题的特定实例通过程序的呼叫图。在该配方中，关于函数内容和呼叫图相似度同时评估映射的质量。我们表明该配方相当于网络对齐问题。基于MAX-Product信念传播，我们提出了解决这个问题的解决策略。最后，我们实施了我们的方法的原型，称为QBindiff，并提出了一个广泛的评估，表明我们的方法优于艺术的态度而不是工具。
translated by 谷歌翻译
We present the Neural Satisfiability Network (NSNet), a general neural framework that models satisfiability problems as probabilistic inference and meanwhile exhibits proper explainability. Inspired by the Belief Propagation (BP), NSNet uses a novel graph neural network (GNN) to parameterize BP in the latent space, where its hidden representations maintain the same probabilistic interpretation as BP. NSNet can be flexibly configured to solve both SAT and #SAT problems by applying different learning objectives. For SAT, instead of directly predicting a satisfying assignment, NSNet performs marginal inference among all satisfying solutions, which we empirically find is more feasible for neural networks to learn. With the estimated marginals, a satisfying assignment can be efficiently generated by rounding and executing a stochastic local search. For #SAT, NSNet performs approximate model counting by learning the Bethe approximation of the partition function. Our evaluations show that NSNet achieves competitive results in terms of inference accuracy and time efficiency on multiple SAT and #SAT datasets.
translated by 谷歌翻译
图表匹配是一个重要的问题，它受到了广泛的关注，特别是在计算机视野领域。最近，最先进的方法寻求将图形与深度学习融合。然而，没有研究可以解释图形匹配算法在模型中播放的角色。因此，我们提出了一种积分对匹配问题的MILP制定的方法。该配方解决了最佳，它提供固有的基线。同时，通过释放图形匹配求解器的最佳保证并通过引入质量水平来导出类似的方法。这种质量级别控制了图形匹配求解器提供的解决方案的质量。此外，图表匹配问题的几个放松将进行测试。我们的实验评估提供了若干理论上的见解，并指导深图匹配方法的方向。
translated by 谷歌翻译
2021-02-18
组合优化是运营研究和计算机科学领域的一个公认领域。直到最近，它的方法一直集中在孤立地解决问题实例，而忽略了它们通常源于实践中的相关数据分布。但是，近年来，人们对使用机器学习，尤其是图形神经网络（GNN）的兴趣激增，作为组合任务的关键构件，直接作为求解器或通过增强确切的求解器。GNN的电感偏差有效地编码了组合和关系输入，因为它们对排列和对输入稀疏性的意识的不变性。本文介绍了对这个新兴领域的最新主要进步的概念回顾，旨在优化和机器学习研究人员。
translated by 谷歌翻译
通过简明地表示许多变量的联合功能作为小功能的组合，离散图形模型（GMS）提供了一个强大的框架来分析交互变量的随机和确定性系统。这些模型的主要查询之一是识别该联合功能的极值。这被称为在确定性成本函数网络上的加权约束满足问题（WCSP），以及在随机马尔可夫随机字段上的最大后验（MAP）推断。近似WCSP推理的算法通常依赖于局部一致性算法或信念传播。这些方法与线性编程（LP）弛豫密切相关，并且通常与由相关LP的双解定义的Reparamization耦合。自从Goemans和Williamson的开创性工作以来，据了解，凸软膏放松可以为LP提供优质的保证。但内部点方法的固有计算成本限制了他们的应用。这种情况有所改善，引入了非凸毛蒙特罗风格方法，这些方法非常适合处理与二进制变量的组合问题的SDP放松（例如MaxCut，MaxSAT或地图/ ising）。我们将低等级SDP上限和下限计算具有任意数量的数量和任意二进制成本函数的离散对图形模型，通过基于逐行的更新扩展毛刺蒙特罗样式方法。我们考虑一种传统的两化约束方法和专用块坐标序列方法，避免对配方引入大的惩罚系数。在越来越坚硬和致密的WCSP / CFN实例上，我们观察到BCD方法可以优于两种方法，并提供比本地常量/收敛消息传递方法更严格的边界。
translated by 谷歌翻译
近年来，在平衡（超级）图分配算法的设计和评估中取得了重大进展。我们调查了过去十年的实用算法的趋势，用于平衡（超级）图形分区以及未来的研究方向。我们的工作是对先前有关该主题的调查的更新。特别是，该调查还通过涵盖了超图形分区和流算法来扩展先前的调查，并额外关注并行算法。
translated by 谷歌翻译
图形匹配优化问题是计算机视觉中许多任务的重要组成部分，例如在通信中带来两个可变形对象。自然，在过去的几十年中，已经提出了广泛的适用算法。由于尚未开发出通用的标准基准，因此由于对不同的问题实例的评估和标准使结果无与伦比，因此通常很难验证其绩效主张。为了解决这些缺点，我们提出了匹配算法的比较研究。我们创建了一个统一的基准测试标准，在其中收集和分类了一组现有和公开可用的计算机视觉图形匹配问题，以通用格式。同时，我们收集和分类图形匹配算法的最流行的开源实现。它们的性能以与比较优化算法的最佳实践相符的方式进行评估。该研究旨在可再现和扩展，以作为未来的宝贵资源。我们的研究提供了三个值得注意的见解：1。）流行问题实例在少于1秒的时间内完全可以解决，因此不足以进行将来的经验评估； 2.）最受欢迎的基线方法高于最佳可用方法； 3.）尽管该问题存在NP硬度，但即使对于具有超过500个顶点的图形，也可以在几秒钟内求解来自视力应用程序的实例。
translated by 谷歌翻译
我们提供了传递用于使用图形模型推断的新消息传递算法。我们的方法是为最困难的推理问题而设计的，即循环信念传播和其他启发式方法无法融合。当基础图形模型是无环时，信念的传播可以保证会收敛，但是当基础图具有复杂的拓扑结构时，可能会收敛，并且对初始化敏感。本文描述了对标准信念传播算法的修改，这些算法导致方法会收敛到具有任意拓扑和潜在功能的图形模型上的独特解决方案。
translated by 谷歌翻译
该博士学位论文的中心对象是在计算机科学和统计力学领域的不同名称中以不同名称而闻名的。在计算机科学中，它被称为“最大切割问题”，这是著名的21个KARP的原始NP硬性问题之一，而物理学的相同物体称为Ising Spin Glass模型。这种丰富的结构的模型通常是减少或重新制定计算机科学，物理和工程学的现实问题。但是，准确地求解此模型（查找最大剪切或基态）可能会留下一个棘手的问题（除非$ \ textit {p} = \ textit {np} $），并且需要为每一个开发临时启发式学特定的实例家庭。离散和连续优化之间的明亮而美丽的连接之一是一种基于半限定编程的圆形方案，以最大程度地切割。此过程使我们能够找到一个近乎最佳的解决方案。此外，该方法被认为是多项式时间中最好的。在本论文的前两章中，我们研究了旨在改善舍入方案的局部非凸照。在本文的最后一章中，我们迈出了一步，并旨在控制我们想要在前几章中解决的问题的解决方案。我们在Ising模型上制定了双层优化问题，在该模型中，我们希望尽可能少地调整交互作用，以使所得ISING模型的基态满足所需的标准。大流行建模出现了这种问题。我们表明，当相互作用是非负的时，我们的双层优化是在多项式时间内使用凸编程来解决的。
translated by 谷歌翻译
我们提出了一个通用图形神经网络体系结构，可以作为任何约束满意度问题（CSP）作为末端2端搜索启发式训练。我们的体系结构可以通过政策梯度下降进行无监督的培训，以纯粹的数据驱动方式为任何CSP生成问题的特定启发式方法。该方法基于CSP的新型图表，既是通用又紧凑的，并且使我们能够使用一个GNN处理所有可能的CSP实例，而不管有限的Arity，关系或域大小。与以前的基于RL的方法不同，我们在全局搜索动作空间上运行，并允许我们的GNN在随机搜索的每个步骤中修改任何数量的变量。这使我们的方法能够正确利用GNN的固有并行性。我们进行了彻底的经验评估，从随机数据（包括图形着色，Maxcut，3-SAT和Max-K-Sat）中学习启发式和重要的CSP。我们的方法表现优于先验的神经组合优化的方法。它可以在测试实例上与常规搜索启发式竞争，甚至可以改善几个数量级，结构上比训练中看到的数量级更为复杂。
translated by 谷歌翻译
大多数以前的基于学习的图形匹配算法通过丢弃一个或多个匹配约束并采用放宽的分配求解器来获取次优关卡的\ Textit {二次分配问题}（QAP）。这种放松可能实际上削弱了原始的图形匹配问题，反过来伤害了匹配的性能。在本文中，我们提出了一种基于深度学习的图形匹配框架，其适用于原始QAP而不会影响匹配约束。特别地，我们设计一个亲和分分配预测网络，共同学习一对亲和力并估计节点分配，然后我们开发由概率亲和力的可分辨率的求解器，其灵感来自对成对亲和力的概率视角。旨在获得更好的匹配结果，概率求解器以迭代方式精制估计的分配，以施加离散和一对一的匹配约束。所提出的方法是在三个普遍测试的基准（Pascal VOC，Willow Object和Spair-71K）上进行评估，并且在所有基准上表现出所有先前的最先进。
translated by 谷歌翻译
比较图形等结构的对象是许多学习任务中涉及的基本操作。为此，基于最优传输（OT）的Gromov-Wasserstein（GW）距离已被证明可以成功处理相关对象的特定性质。更具体地说，通过节点连接关系，GW在图表上运行，视为特定空间上的概率测量。在OT的核心处是质量守恒的想法，这在两个被认为的图表中的所有节点之间施加了耦合。我们在本文中争辩说，这种财产可能对图形字典或分区学习等任务有害，我们通过提出新的半轻松的Gromov-Wasserstein发散来放松它。除了立即计算福利之外，我们讨论其属性，并表明它可以导致有效的图表字典学习算法。我们经验展示其对图形上的复杂任务的相关性，例如分区，聚类和完成。
translated by 谷歌翻译
信仰传播（BP）是针对图形模型的各种推理任务的重要消息算法，包括解决约束优化问题（COPS）。已经表明，BP可以通过在发送新消息（即抑制作用）之前将旧消息和新消息混合在各种基准测试中实现最先进的性能。但是，现有的调整BP静态阻尼因子的方法不仅在费力，而且损害其性能。此外，现有的BP算法在撰写新消息时平均处理每个变量节点的邻居，这也限制了其探索能力。为了解决这些问题，我们无缝地集成了BP，封闭式复发单元（GRU）和图形注意网络（GATS），以推理构成新的BP消息的动态权重和阻尼因子，以推理有关动态权重和阻尼因子。我们的模型，深切的信念传播（DABP），将因子图和每次迭代中的BP消息作为输入，并通过GRUS和GATs渗透最佳权重和阻尼因子，然后是多头注意力层。此外，与现有的基于神经的BP变体不同，我们提出了一种新颖的DABP的自我监督学习算法，其解决方案成本不需要昂贵的培训标签，并且还可以通过有效的在线学习避免常见的分发问题。广泛的实验表明，我们的模型大大优于最先进的基线。
translated by 谷歌翻译
匹配问题的图表寻求在两个图形的节点之间找到对齐，这最小化了邻接分歧的数量。解决图表匹配越来越重要，因为它在运营研究，计算机视觉，神经科学等中的应用程序。然而，当前最先进的算法效率低，匹配非常大的图形，尽管它们产生了良好的准确性。这些算法的主要计算瓶颈是线性分配问题，必须在每次迭代时解决。在本文中，我们利用最近的最佳运输领域的进步来取代接受的线性分配算法的使用。我们呈现山羊，对最先进的图形匹配近似算法“常见问题”（Vogelstein，2015）的修改，用CuSuri（2013）的“光速最优传输”方法替换其线性和分配步骤。该修改提供了对速度和经验匹配精度的改进。在模拟和实际数据示例中匹配图表中对该方法的有效性进行了说明。
translated by 谷歌翻译
近年来，基于Weisfeiler-Leman算法的算法和神经架构，是一个众所周知的Graph同构问题的启发式问题，它成为具有图形和关系数据的机器学习的强大工具。在这里，我们全面概述了机器学习设置中的算法的使用，专注于监督的制度。我们讨论了理论背景，展示了如何将其用于监督的图形和节点表示学习，讨论最近的扩展，并概述算法的连接（置换 - ）方面的神经结构。此外，我们概述了当前的应用和未来方向，以刺激进一步的研究。
translated by 谷歌翻译
Perturb-and-MAP offers an elegant approach to approximately sample from an energy-based model (EBM) by computing the maximum-a-posteriori (MAP) configuration of a perturbed version of the model. Sampling in turn enables learning. However, this line of research has been hindered by the general intractability of the MAP computation. Very few works venture outside tractable models, and when they do, they use linear programming approaches, which as we show, have several limitations. In this work, we present perturb-and-max-product (PMP), a parallel and scalable mechanism for sampling and learning in discrete EBMs. Models can be arbitrary as long as they are built using tractable factors. We show that (a) for Ising models, PMP is orders of magnitude faster than Gibbs and Gibbs-with-Gradients (GWG) at learning and generating samples of similar or better quality; (b) PMP is able to learn and sample from RBMs; (c) in a large, entangled graphical model in which Gibbs and GWG fail to mix, PMP succeeds.Preprint. Under review.
translated by 谷歌翻译
我们介绍了一种大规模的LAGRAGE分解方法，用于解决在结构预测中发生的0-1整数线性程序。我们提出了一种新的迭代更新方案，用于解决Lagrangean双重和用于解码原始解决方案的扰动技术。对于代表子问题，我们关注lange等。 （2021）并使用二进制决策图（BDD）。我们的原始和双算法需要在子问题和通过BDDS上的优化之间的同步只需要基本操作而没有复杂的控制流程。这使我们能够利用GPU提供的PPU所提供的并行性。我们在马尔可夫随机字段，二次分配和发育生物学跟踪中提出了从MAP推断的组合问题的实验结果。我们的高度平行GPU实现可提高Lange等人的算法的运行时间。 （2021）高达一个数量级。特别是，我们接近或优于一些最先进的专业启发式，同时存在不可知论。
translated by 谷歌翻译
优化在离散变量上的高度复杂的成本/能源功能是不同科学学科和行业的许多公开问题的核心。一个主要障碍是在硬实例中的某些变量子集之间的出现，导致临界减慢或集体冻结了已知的随机本地搜索策略。通常需要指数计算工作来解冻这种变量，并探索配置空间的其他看不见的区域。在这里，我们通过开发自适应梯度的策略来介绍一个量子启发的非本球非识别蒙特卡罗（NMC）算法，可以有效地学习成本函数的关键实例的几何特征。该信息随行使用，以构造空间不均匀的热波动，用于以各种长度尺度集体未填充变量，规避昂贵的勘探与开发权衡。我们将算法应用于两个最具挑战性的组合优化问题：随机k可满足（K-SAT）附近计算阶段转换和二次分配问题（QAP）。我们在专业的确定性求解器和通用随机求解器上观察到显着的加速和鲁棒性。特别是，对于90％的随机4-SAT实例，我们发现了最佳专用确定性算法无法访问的解决方案，该算法（SP）具有最强的10％实例的解决方案质量的大小提高。我们还通过最先进的通用随机求解器（APT）显示出在最先进的通用随机求解器（APT）上的时间到溶液的两个数量级改善。
translated by 谷歌翻译
识别变量之间的原因关系是决策过程的关键步骤。虽然因果推断需要随机实验，但研究人员和政策制定者越来越多地利用观测研究由于观察数据的广泛可用性和实验的不可行性而导致的因果假设。匹配方法是对观察数据进行因果推断的最常用技术。然而，由于实验者制造的不同选择，一对一匹配中的对分配过程在推论中产生不确定性。最近，提出了离散优化模型来解决这种不确定性。虽然具有离散优化模型可能的强大推断，但它们产生非线性问题并缺乏可扩展性。在这项工作中，我们提出了贪婪的算法来解决与持续结果的观测数据的强大因果推断测试实例。我们提出了一个独特的框架，可以重新设计非线性二进制优化问题作为可行性问题。通过利用可行性制定的结构，我们开发贪婪方案，以求解稳健的测试问题。在许多情况下，所提出的算法实现全球最佳解决方案。我们在三个现实世界数据集上执行实验，以展示所提出的算法的有效性，并将我们的结果与最先进的求解器进行比较。我们的实验表明，所提出的算法在计算时间方面显着优于精确的方法，同时实现了同样的因果试验结论。两个数值实验和复杂性分析都表明所提出的算法确保在决策过程中利用大数据的力量所需的可扩展性。
translated by 谷歌翻译