尽管实用的求解器在各种NP完整域中取得了成功，例如SAT和CSP以及使用深度强化学习来解决诸如GO之类的两人游戏，但某些类别的Pspace-Hard计划问题仍然遥不可及。由于硬实例的指数搜索空间，即使是精心设计的域专用求解器也可能会迅速失败。结合了传统搜索方法的最新作品，例如最佳优先搜索和蒙特卡洛树搜索，以及深度神经网络（DNN）的启发式方法，已经显示出有希望的进步，并且可以解决超出专业求解器以外的大量艰苦计划实例。为了更好地理解这些方法为何起作用，我们研究了基于DNN的最佳优先搜索的政策和价值网络的相互作用，并展示了该策略网络的惊人有效性，并通过价值网络进一步增强了价值网络，作为指导启发式的启发式启发式程序。搜索。为了进一步理解现象，我们研究了搜索算法的成本分布，发现索科巴实例可以具有重尾的运行时分布，左侧和右侧都有尾巴。特别是，我们首次展示了\ textit {左尾巴}的存在，并提出了一个抽象的树模型，可以从经验上解释这些尾巴的外观。该实验表明，政策网络是一种强大的启发式指导搜索的关键作用，这可以通过避免探索成倍的尺寸的子树来导致左尾部具有多项式缩放。我们的结果还证明了与传统组合求解器中广泛使用的随机重新启动的重要性，用于避免左和右重尾巴的基于DNN的搜索方法。
translated by 谷歌翻译
近年来，深入的强化学习（RL）在各种组合搜索领域（例如两人游戏和科学发现）中都取得了成功。但是，直接在计划域中应用深度RL仍然具有挑战性。一个主要的困难是，如果没有人工制作的启发式功能，奖励信号除非学习框架发现任何解决方案计划，否则奖励信号将保持零。随着计划的最小长度的增长，搜索空间变为\ emph {指数更大}，这是计划实例的严重限制，该实例的计划最小计划长度为数百到数千步。以前的学习框架可以增强使用深神经网络和额外生成的子观念的图形搜索在各种具有挑战性的计划域中取得了成功。但是，生成有用的子目标需要广泛的领域知识。我们提出了一种独立于域的方法，该方法可以通过图值迭代来增强图形搜索，以求解针对域特有的求解器无法实现的硬计划实例。特别是，我们的方法还没有仅从发现的计划中获得学习信号，而是从未达到目标状态的失败尝试中学习。图值迭代组件可以利用本地搜索空间的图形结构并提供更有信息的学习信号。我们还展示了如何使用课程策略来平滑学习过程并对图形值迭代量表的完整分析并实现学习。
translated by 谷歌翻译
Monte Carlo Tree Search (MCTS) is a recently proposed search method that combines the precision of tree search with the generality of random sampling. It has received considerable interest due to its spectacular success in the difficult problem of computer Go, but has also proved beneficial in a range of other domains. This paper is a survey of the literature to date, intended to provide a snapshot of the state of the art after the first five years of MCTS research. We outline the core algorithm's derivation, impart some structure on the many variations and enhancements that have been proposed, and summarise the results from the key game and non-game domains to which MCTS methods have been applied. A number of open research questions indicate that the field is ripe for future work.
translated by 谷歌翻译
蒙特卡洛树搜索（MCT）是设计游戏机器人或解决顺序决策问题的强大方法。该方法依赖于平衡探索和开发的智能树搜索。MCT以模拟的形式进行随机抽样，并存储动作的统计数据，以在每个随后的迭代中做出更有教育的选择。然而，该方法已成为组合游戏的最新技术，但是，在更复杂的游戏（例如那些具有较高的分支因素或实时系列的游戏）以及各种实用领域（例如，运输，日程安排或安全性）有效的MCT应用程序通常需要其与问题有关的修改或与其他技术集成。这种特定领域的修改和混合方法是本调查的主要重点。最后一项主要的MCT调查已于2012年发布。自发布以来出现的贡献特别感兴趣。
translated by 谷歌翻译
回溯搜索算法通常用于解决约束满足问题（CSP）。回溯搜索的效率在很大程度上取决于可变排序启发式。目前，最常用的启发式是根据专家知识进行手工制作的。在本文中，我们提出了一种基于深度的加强学习方法，可以自动发现新的变量订购启发式，更好地适用于给定类CSP实例。我们显示，直接优化搜索成本很难用于自动启动，并建议优化在搜索树中到达叶节点的预期成本。为了捕获变量和约束之间的复杂关系，我们设计基于图形神经网络的表示方案，可以处理具有不同大小和约束的CSP实例。随机CSP实例上的实验结果表明，学习的政策在最小化搜索树大小的方面优于古典手工制作的启发式，并且可以有效地推广到比训练中使用的实例。
translated by 谷歌翻译
冲突驱动的子句学习（CDCL）是解决命题逻辑令人满意问题的非常成功的范式。这种求解器不是简单的深度优先回溯方法，而是以其他条款的形式了解了发生冲突的原因。但是，尽管CDCL求解器取得了巨大的成功，但仍然对以什么方式影响这些求解器的性能有限。考虑到不同的措施，本文非常令人惊讶地证明，从句学习（不摆脱某些条款）不仅可以帮助求解器，而且可能会大大恶化解决方案过程。通过进行广泛的经验分析，我们进一步发现，CDCL求解器的运行时分布是多模式的。这种多模式可以看作是上面描述的恶化现象的原因。同时，这也表明了为什么从条款删除结合条款学习的原因实际上是SAT解决的事实标准，尽管存在这种现象。作为最终贡献，我们表明Weibull混合物分布可以准确描述多模式分布。因此，在基本实例中添加新的子句具有长期运行时间的固有效果。该洞察力提供了一个解释，即为什么忘记条款的技术在CDCL求解器中有用，除了单位传播速度的优化。
translated by 谷歌翻译
2021-02-18
组合优化是运营研究和计算机科学领域的一个公认领域。直到最近，它的方法一直集中在孤立地解决问题实例，而忽略了它们通常源于实践中的相关数据分布。但是，近年来，人们对使用机器学习，尤其是图形神经网络（GNN）的兴趣激增，作为组合任务的关键构件，直接作为求解器或通过增强确切的求解器。GNN的电感偏差有效地编码了组合和关系输入，因为它们对排列和对输入稀疏性的意识的不变性。本文介绍了对这个新兴领域的最新主要进步的概念回顾，旨在优化和机器学习研究人员。
translated by 谷歌翻译
在混合整数线性编程（MIP）中，A（强）后门是实例的整数变量的“小”子集，具有以下属性：在分支和结合过程中，可以通过仅通过分支来求解该实例到全局最优性。在后门中的变量上。为广泛使用的MIP基准集或特定问题构建预计的后门数据集，家庭可以在MIP的新结构属性上引起新的问题，或者解释为什么在理论上很难在实践中有效解决问题的问题。现有用于查找后门的算法依赖于以各种方式对候选变量子集进行采样，这种方法证明了MIPLIB2003和MIPLIB2010的某些实例的后门存在。但是，由于勘探和剥削之间的不平衡，这些算法在任务中始终取得成功。我们建议BAMCTS，这是一个蒙特卡洛树搜索框架，用于寻找MIPS的后门。广泛的算法工程，与传统MIP概念的杂交以及与CPLEX求解器的密切集成使我们的方法能够超过MIPLIB2017实例的基础线，从而更频繁，更有效地找到后门。
translated by 谷歌翻译
通过深度神经网络实现的A*算法的启发式函数的优化通常是通过最大程度地减少正方形根损失的目标成本估计值来完成的。本文认为，这不一定会导致对A*算法的更快搜索，因为其执行依赖于相对值而不是绝对值。作为缓解措施，我们提出了L*损失，该损失是A*搜索中过度扩展状态的数量上限。当用于优化最先进的深度神经网络的L*损失，用于在索科班等迷宫领域的自动化计划和带有传送的迷宫，可显着改善解决问题的比例，基础计划的质量，并降低扩大状态的数量达到约50％
translated by 谷歌翻译
组合优化的神经方法（CO）配备了一种学习机制，以发现解决复杂现实世界问题的强大启发式方法。尽管出现了能够在单一镜头中使用高质量解决方案的神经方法，但最先进的方法通常无法充分利用他们可用的解决时间。相比之下，手工制作的启发式方法可以很好地执行高效的搜索并利用给他们的计算时间，但包含启发式方法，这些启发式方法很难适应要解决的数据集。为了为神经CO方法提供强大的搜索程序，我们提出了模拟引导的光束搜索（SGB），该搜索（SGB）在固定宽度的树搜索中检查了候选解决方案，既是神经网络学习的政策又是模拟（推出）确定有希望的。我们将SGB与有效的主动搜索（EAS）进一步融合，其中SGB提高了EAS中反向传播的解决方案的质量，EAS提高了SGB中使用的策略的质量。我们评估了有关众所周知的CO基准的方法，并表明SGB可显着提高在合理的运行时假设下发现的解决方案的质量。
translated by 谷歌翻译
学习一项难以捉摸的问题域的知情启发式功能是一个难以捉摸的问题。虽然有了已知的神经网络架构来代表这种启发式知识，但它不明显地了解了哪些具体信息以及针对理解结构的技术有助于提高启发式的质量。本文介绍了一种网络模型，用于学习一种能够通过使用注意机制通过最佳计划模仿与状态空间的遥远部分相互关联的启发式机制，这大幅提高了一种良好的启发式功能的学习。为了抵消制定难度越来越困难问题的方法的限制，我们展示了课程学习的使用，其中新解决的问题实例被添加到培训集中，反过来有助于解决更高复杂性的问题和远远超出所有现有基线的表演，包括古典规划启发式。我们展示了其对网格型PDDL结构域的有效性。
translated by 谷歌翻译
2020-07-07
命题模型计数或#SAT是计算布尔公式满足分配数量的问题。来自不同应用领域的许多问题，包括许多离散的概率推理问题，可以将#SAT求解器解决的模型计数问题转化为模型计数问题。但是，确切的#sat求解器通常无法扩展到工业规模实例。在本文中，我们提出了Neuro＃，这是一种学习分支启发式方法，以提高特定问题家族中的实例的精确#sat求解器的性能。我们通过实验表明，我们的方法减少了类似分布的持有实例的步骤，并将其推广到同一问题家族的更大实例。它能够在具有截然不同的结构的许多不同问题家族上实现这些结果。除了步骤计数的改进外，Neuro＃还可以在某些问题家族的较大实例上在较大的实例上实现壁式锁定速度的订单，尽管开头查询了模型。
translated by 谷歌翻译
优化在离散变量上的高度复杂的成本/能源功能是不同科学学科和行业的许多公开问题的核心。一个主要障碍是在硬实例中的某些变量子集之间的出现，导致临界减慢或集体冻结了已知的随机本地搜索策略。通常需要指数计算工作来解冻这种变量，并探索配置空间的其他看不见的区域。在这里，我们通过开发自适应梯度的策略来介绍一个量子启发的非本球非识别蒙特卡罗（NMC）算法，可以有效地学习成本函数的关键实例的几何特征。该信息随行使用，以构造空间不均匀的热波动，用于以各种长度尺度集体未填充变量，规避昂贵的勘探与开发权衡。我们将算法应用于两个最具挑战性的组合优化问题：随机k可满足（K-SAT）附近计算阶段转换和二次分配问题（QAP）。我们在专业的确定性求解器和通用随机求解器上观察到显着的加速和鲁棒性。特别是，对于90％的随机4-SAT实例，我们发现了最佳专用确定性算法无法访问的解决方案，该算法（SP）具有最强的10％实例的解决方案质量的大小提高。我们还通过最先进的通用随机求解器（APT）显示出在最先进的通用随机求解器（APT）上的时间到溶液的两个数量级改善。
translated by 谷歌翻译
当前独立于域的经典计划者需要问题域和实例作为输入的符号模型，从而导致知识采集瓶颈。同时，尽管深度学习在许多领域都取得了重大成功，但知识是在与符号系统（例如计划者）不兼容的亚符号表示中编码的。我们提出了Latplan，这是一种无监督的建筑，结合了深度学习和经典计划。只有一组未标记的图像对，显示了环境中允许的过渡子集（训练输入），Latplan学习了环境的完整命题PDDL动作模型。稍后，当给出代表初始状态和目标状态（计划输入）的一对图像时，Latplan在符号潜在空间中找到了目标状态的计划，并返回可视化的计划执行。我们使用6个计划域的基于图像的版本来评估LATPLAN：8个插头，15个式嘴，Blockworld，Sokoban和两个LightsOut的变体。
translated by 谷歌翻译
复杂的推理问题包含确定良好行动计划所需的计算成本各不相同的状态。利用此属性，我们提出了自适应亚go搜索（ADASUBS），这是一种适应性地调整计划范围的搜索方法。为此，ADASUBS在不同距离上产生了不同的子目标。采用验证机制来迅速滤除无法到达的子目标，从而使人专注于可行的进一步子目标。通过这种方式，ADASUBS受益于计划的效率更长的子目标，以及对较短的计划的良好控制。我们表明，ADASUB在三个复杂的推理任务上大大超过了层次规划算法：Sokoban，The Rubik的Cube和不平等现象证明了基准INT，为INT设定了新的最先进。
translated by 谷歌翻译
Alphazero，Leela Chess Zero和Stockfish Nnue革新了计算机国际象棋。本书对此类引擎的技术内部工作进行了完整的介绍。该书分为四个主要章节 - 不包括第1章（简介）和第6章（结论）：第2章引入神经网络，涵盖了所有用于构建深层网络的基本构建块，例如Alphazero使用的网络。内容包括感知器，后传播和梯度下降，分类，回归，多层感知器，矢量化技术，卷积网络，挤压网络，挤压和激发网络，完全连接的网络，批处理归一化和横向归一化和跨性线性单位，残留层，剩余层，过度效果和底漆。第3章介绍了用于国际象棋发动机以及Alphazero使用的经典搜索技术。内容包括minimax，alpha-beta搜索和蒙特卡洛树搜索。第4章展示了现代国际象棋发动机的设计。除了开创性的Alphago，Alphago Zero和Alphazero我们涵盖Leela Chess Zero，Fat Fritz，Fat Fritz 2以及有效更新的神经网络（NNUE）以及MAIA。第5章是关于实施微型α。 Shexapawn是国际象棋的简约版本，被用作为此的示例。 Minimax搜索可以解决六ap峰，并产生了监督学习的培训位置。然后，作为比较，实施了类似Alphazero的训练回路，其中通过自我游戏进行训练与强化学习结合在一起。最后，比较了类似α的培训和监督培训。
translated by 谷歌翻译
我们提出了一个通用图形神经网络体系结构，可以作为任何约束满意度问题（CSP）作为末端2端搜索启发式训练。我们的体系结构可以通过政策梯度下降进行无监督的培训，以纯粹的数据驱动方式为任何CSP生成问题的特定启发式方法。该方法基于CSP的新型图表，既是通用又紧凑的，并且使我们能够使用一个GNN处理所有可能的CSP实例，而不管有限的Arity，关系或域大小。与以前的基于RL的方法不同，我们在全局搜索动作空间上运行，并允许我们的GNN在随机搜索的每个步骤中修改任何数量的变量。这使我们的方法能够正确利用GNN的固有并行性。我们进行了彻底的经验评估，从随机数据（包括图形着色，Maxcut，3-SAT和Max-K-Sat）中学习启发式和重要的CSP。我们的方法表现优于先验的神经组合优化的方法。它可以在测试实例上与常规搜索启发式竞争，甚至可以改善几个数量级，结构上比训练中看到的数量级更为复杂。
translated by 谷歌翻译
表达性和计算便宜的两分图神经网络（GNN）已被证明是基于深度学习的混合成分线性程序（MILP）求解器的重要组成部分。最近的工作证明了此类GNN在分支结合（B＆B）求解器中取代分支（可变选择）启发式方面的有效性。这些GNN经过训练，离线和集合，以模仿一个非常好但计算昂贵的分支启发式，强大的分支。鉴于B＆B会导致子隔间树，我们问（a）目标启发式启发式在B＆B树的邻近节点之间是否存在很强的依赖性，并且（b）如果是这样，我们是否可以将它们合并到我们的培训程序。具体来说，我们发现，有了强大的分支启发式，孩子节点的最佳选择通常是父母的第二好的选择。我们将其称为“回顾”现象。令人惊讶的是，Gasse等人的典型分支GNN。 （2019年）经常错过这个简单的“答案”。为了通过将回顾现象纳入GNN来更紧密地模仿目标行为，我们提出了两种方法：（a）标准跨凝性损失函数的目标平滑，（b）添加父级（PAT）target（PAT）回顾量学期。最后，我们提出了一个模型选择框架，以结合更难构建的目标，例如在最终模型中解决时间。通过对标准基准实例进行广泛的实验，我们表明我们的提案导致B＆B树大小的22％减少，并且在解决时间的解决方案中提高了15％。
translated by 谷歌翻译
算法配置（AC）与对参数化算法最合适的参数配置的自动搜索有关。目前，文献中提出了各种各样的交流问题变体和方法。现有评论没有考虑到AC问题的所有衍生物，也没有提供完整的分类计划。为此，我们引入分类法以分别描述配置方法的交流问题和特征。我们回顾了分类法的镜头中现有的AC文献，概述相关的配置方法的设计选择，对比方法和问题变体相互对立，并描述行业中的AC状态。最后，我们的评论为研究人员和从业人员提供了AC领域的未来研究方向。
translated by 谷歌翻译
最近的进步表明，使用强化学习和搜索来解决NP-HARD相关的任务的成功，例如旅行推销员优化，图表编辑距离计算等。但是，尚不清楚如何有效，准确地检测到如何有效地检测大型目标图中的一个小查询图，它是图数据库搜索，生物医学分析，社交组发现等中的核心操作。此任务称为子图匹配，本质上是在查询图和大型目标图之间执行子图同构检查。解决这个经典问题的一种有前途的方法是“学习进行搜索”范式，其中强化学习（RL）代理人的设计具有学习的政策，以指导搜索算法以快速找到解决方案而无需任何解决方案实例进行监督。但是，对于子图匹配的特定任务，尽管查询图通常由用户作为输入给出，但目标图通常更大。它为神经网络设计带来了挑战，并可能导致解决方案和奖励稀疏性。在本文中，我们提出了两项创新的N-BLS来应对挑战：（1）一种新颖的编码器折线神经网络体系结构，以动态计算每个搜索状态下查询和目标图之间的匹配信息； （2）蒙特卡洛树搜索增强了双层搜索框架，用于培训政策和价值网络。在五个大型现实世界目标图上进行的实验表明，N-BLS可以显着改善子图匹配性能。
translated by 谷歌翻译