传统上，启发式搜索一直依赖于手工制作或编程派生的启发式方法。神经网络（NNS）是更新的强大工具，可用于从州学习复杂的映射到成本到启发式方法。但是，他们缓慢的单个推理时间是一个很大的开销，可以在优化的启发式搜索实现中大大减少计划时间。最近的一些作品描述了利用NN的批处理计算的方法，以减少计划中的开销，同时保持（子）最优性的界限。但是，所有这些方法在建立批处理的同时以“阻止”方式使用了NN启发式方法，并且忽略了通常可以使用的快速计算可接受的启发式方法（例如现有的经典启发式启发术）。我们介绍了一种非阻滞批次A*（NBBA*），这是一种有界的次优方法，它懒洋洋地分批计算NN启发式方法，同时允许通过非NN启发式启发术告知扩展。我们展示了与当前的阻止替代方案相比，这种微妙但重要的变化如何导致扩展大幅减少，并看到该性能与计算出的NN和快速非NN启发式的批处理差异有关。

基于冲突的搜索（CBS）是一种流行的多试路径查找（MAPF）求解器，该求解器采用低级单位代理计划者和高级约束树来解决冲突。绝大多数现代MAPF求解器都专注于通过各种策略减少这棵树的大小来改善CB，几乎没有修改低级计划者的方法。现有CBS方法中的所有低级计划者都使用未加权的启发式启发式方法，次优的CBS方法还使用冲突启发式启发式启发式来帮助高级搜索。与普遍的信念相反，我们表明，通过以特定方式加权冲突，可以更有效地使用启发式成本的启发式。我们介绍了这样做的两个变体，并证明这种变化在某些情况下可以导致2-100倍的加速。此外，据我们所知，我们展示了优先规划和有限的次优的CB的第一个理论关系，并证明我们的方法是它们的自然概括。

\ textit {约束路径发现}的经典问题是一个经过充分研究但充满挑战的主题，在各个领域，例如沟通和运输等各个领域的应用。权重限制了最短路径问题（WCSPP），作为仅具有一个侧面约束的约束路径查找的基本形式，旨在计划成本最佳路径，其权重/资源使用受到限制。鉴于问题的双标准性质（即处理路径的成本和权重），解决WCSPP的方法具有一些带有双目标搜索的共同属性。本文在约束路径查找和双目标搜索中利用了最新的基于A*的最新技术，并为WCSPP提供了两种精确的解决方案方法，两者都可以在非常大的图表上解决硬性问题实例。我们从经验上评估了算法在新的大型和现实的问题实例上的性能，并在时空指标中显示出它们比最新算法的优势。本文还调查了优先级队列在被a*的约束搜索中的重要性。我们通过对逼真的和随机图进行了广泛的实验来展示，基于桶的队列没有打破打盘的方式可以有效地改善详尽的双标准搜索的算法性能。

Heuristic search algorithms, e.g. A*, are the commonly used tools for pathfinding on grids, i.e. graphs of regular structure that are widely employed to represent environments in robotics, video games etc. Instance-independent heuristics for grid graphs, e.g. Manhattan distance, do not take the obstacles into account and, thus, the search led by such heuristics performs poorly in the obstacle-rich environments. To this end, we suggest learning the instance-dependent heuristic proxies that are supposed to notably increase the efficiency of the search. The first heuristic proxy we suggest to learn is the correction factor, i.e. the ratio between the instance independent cost-to-go estimate and the perfect one (computed offline at the training phase). Unlike learning the absolute values of the cost-to-go heuristic function, which was known before, when learning the correction factor the knowledge of the instance-independent heuristic is utilized. The second heuristic proxy is the path probability, which indicates how likely the grid cell is lying on the shortest path. This heuristic can be utilized in the Focal Search framework as the secondary heuristic, allowing us to preserve the guarantees on the bounded sub-optimality of the solution. We learn both suggested heuristics in a supervised fashion with the state-of-the-art neural networks containing attention blocks (transformers). We conduct a thorough empirical evaluation on a comprehensive dataset of planning tasks, showing that the suggested techniques i) reduce the computational effort of the A* up to a factor of $4$x while producing the solutions, which costs exceed the costs of the optimal solutions by less than $0.3$% on average; ii) outperform the competitors, which include the conventional techniques from the heuristic search, i.e. weighted A*, as well as the state-of-the-art learnable planners.

Searching for a path between two nodes in a graph is one of the most well-studied and fundamental problems in computer science. In numerous domains such as robotics, AI, or biology, practitioners develop search heuristics to accelerate their pathfinding algorithms. However, it is a laborious and complex process to hand-design heuristics based on the problem and the structure of a given use case. Here we present PHIL (Path Heuristic with Imitation Learning), a novel neural architecture and a training algorithm for discovering graph search and navigation heuristics from data by leveraging recent advances in imitation learning and graph representation learning. At training time, we aggregate datasets of search trajectories and ground-truth shortest path distances, which we use to train a specialized graph neural network-based heuristic function using backpropagation through steps of the pathfinding process. Our heuristic function learns graph embeddings useful for inferring node distances, runs in constant time independent of graph sizes, and can be easily incorporated in an algorithm such as A* at test time. Experiments show that PHIL reduces the number of explored nodes compared to state-of-the-art methods on benchmark datasets by 58.5\% on average, can be directly applied in diverse graphs ranging from biological networks to road networks, and allows for fast planning in time-critical robotics domains.

我们提出了一种新的算法A * + BFHS，用于解决单位成本运算符的问题，其中A *和IDA *由于内存限制和/或存在同一对节点之间的许多不同路径而失败。a * + bfhs基于*和广度的启发式搜索（bfhs）。a * + bfhs与算法中的优点相结合，即*的节点订购，bfhs的内存节省以及算法重复检测。在简单的问题上，a * + bfhs与a相同。在艰难问题上，它比*慢，但节省了大量的内存。与BFIDA *相比，A * + BFHS在各种规划域上减少了几次搜索时间和/或内存要求。

顺序决策的一种流行方法是，以机器学习（ML）方法（如策略学习）进行基于模拟器的搜索。另一方面，如果有完整的声明模型，模型放松启发式方法可以有效地指导搜索。在这项工作中，我们考虑了从业人员如何在无法使用完整符号模型的设置上改善基于ML的黑盒计划。我们表明，指定一个不完整的条带模型，该模型仅描述了问题的一部分，才能使用放松启发式方法。我们对几个计划域的发现表明，这是改善基于ML的黑盒计划的有效方法，而不是收集更多数据或调整ML架构。

最佳路径规划是在优化目标的起始和目标之间找到有效状态的问题。知情路径规划算法顺序他们的搜索与特定于问题的知识表达为启发式，并且可以比未表现算法更有效的数量级。启发式最有效的是，当他们准确且计算地廉价才能评估，但这些通常是矛盾的特征。这使得适当的启发式难以满足许多问题。本文提出了两个几乎肯定的渐近最优采样的路径规划算法，以解决这一挑战，自适应地通知的树木（AIT *）和精力知的树木（EIT *）。这些算法使用非对称双向搜索，其中两个搜索彼此连续通知。这允许AIT *和EIT *通过同时计算和利用越来越准确，特定于问题的启发式来改善规划性能。 AIT *和EIT *相对于其他基于样品的算法的好处是在优化路径长度和障碍物间隙的十二个问题上进行了十二个问题。实验表明，AIT *和EIT *优于优化障碍物清除的问题的其他算法，其中先验成本启发式往往是无效的，并且仍然对最小化路径长度的问题表现良好，这种启发式通常是有效的。

通过深度神经网络实现的A*算法的启发式函数的优化通常是通过最大程度地减少正方形根损失的目标成本估计值来完成的。本文认为，这不一定会导致对A*算法的更快搜索，因为其执行依赖于相对值而不是绝对值。作为缓解措施，我们提出了L*损失，该损失是A*搜索中过度扩展状态的数量上限。当用于优化最先进的深度神经网络的L*损失，用于在索科班等迷宫领域的自动化计划和带有传送的迷宫，可显着改善解决问题的比例，基础计划的质量，并降低扩大状态的数量达到约50％

基于冲突的搜索（CBS）是一种广泛使用的算法，用于最佳地求解多代理探路（MAPF）问题。 CBS的核心思想是运行层次搜索，当在高级别的解决方案树上探索候选者的树时，在低级别上进行了针对特定代理的个人计划（受某些约束）进行。为了使运行时间的权衡取得最佳性，设计了有限的子最佳CB的不同变体，这改变了CBS的高级和低级搜索程序。此外，CBS的任何时间变体都存在将焦点搜索（FS）应用于CBS的高级搜索 - 任何时间BCB。然而，当我们简单地重新启动cbs的cbs与较低的亚XB绑定时，没有对这种算法的性能的全面分析。这项工作旨在填补这一空白。此外，我们介绍并评估了另一个在CBS上使用FS的CBS的随时随地。从经验上讲，我们证明其行为主要与任何时间BCB所证明的行为不同。最后，我们比较这两种算法从头开始，并表明在两个级别的CBS上使用焦点搜索在广泛的设置中可能是有益的。

我们从理论和算法的观点正式化和研究多目标任务分配和路径发现（MG-TAPF）问题。MG-TAPF问题是要计算到代理的任务分配，每个任务都由一系列目标位置组成，并为代理的无碰撞路径组成，这些代理商访问其分配任务的所有目标位置。从理论上讲，我们证明MG-TAPF问题是最佳解决的NP问题。我们提出算法，这些算法基于用于多代理路径的算法技术，发现问题并最佳地解决MG-TAPF问题。我们通过实验将这些算法在各种不同的基准域上进行比较。

路由问题是许多实际应用的一类组合问题。最近，已经提出了端到端的深度学习方法，以了解这些问题的近似解决方案启发式。相比之下，经典动态编程（DP）算法保证最佳解决方案，但与问题大小严重规模。我们提出了深入的政策动态规划（DPDP），旨在将学习神经启发式的优势与DP算法结合起来。 DPDP优先确定并限制DP状态空间，使用来自深度神经网络的策略进行培训，以预测示例解决方案的边缘。我们在旅行推销员问题（TSP）上评估我们的框架，车辆路由问题（VRP）和TSP与时间窗口（TSPTW），并表明神经政策提高了（限制性）DP算法的性能，使其对强有力的替代品具有竞争力如LKH，同时也优于求解TSP，VRP和TSPTWS的大多数其他“神经方法”，其中包含100个节点。

增量图诸如D * Lite重用之前的算法，并且可能部分搜索，以加快后续路径规划任务。在本文中，我们有兴趣开发增量图搜索算法，以便寻找问题，同时优化旅行风险，到达时间等的多个目标。这是具有挑战性的，因为在多目标设置中，“帕累托 - 最优” “解决方案可以对图表的大小呈指数级增长。本文提出了一种新的多目标增量搜索算法，称为基于多目标路径的D * Lite（MOPBD *），它利用基于路径的扩展策略来修剪主导的解决方案。此外，我们介绍了MOPBD *的两个变体，以进一步提高搜索效率，并近似帕累托最优的前沿。我们在数值上评估了MOPBD *及其在各种地图中的变体的性能，其中包括两个和三个目标。结果表明，我们的方法比从头开始搜索的方法更有效，并且比多目标路径规划的现有增量方法快速升至幅度速度快。

复杂的推理问题包含确定良好行动计划所需的计算成本各不相同的状态。利用此属性，我们提出了自适应亚go搜索（ADASUBS），这是一种适应性地调整计划范围的搜索方法。为此，ADASUBS在不同距离上产生了不同的子目标。采用验证机制来迅速滤除无法到达的子目标，从而使人专注于可行的进一步子目标。通过这种方式，ADASUBS受益于计划的效率更长的子目标，以及对较短的计划的良好控制。我们表明，ADASUB在三个复杂的推理任务上大大超过了层次规划算法：Sokoban，The Rubik的Cube和不平等现象证明了基准INT，为INT设定了新的最先进。

组合优化的神经方法（CO）配备了一种学习机制，以发现解决复杂现实世界问题的强大启发式方法。尽管出现了能够在单一镜头中使用高质量解决方案的神经方法，但最先进的方法通常无法充分利用他们可用的解决时间。相比之下，手工制作的启发式方法可以很好地执行高效的搜索并利用给他们的计算时间，但包含启发式方法，这些启发式方法很难适应要解决的数据集。为了为神经CO方法提供强大的搜索程序，我们提出了模拟引导的光束搜索（SGB），该搜索（SGB）在固定宽度的树搜索中检查了候选解决方案，既是神经网络学习的政策又是模拟（推出）确定有希望的。我们将SGB与有效的主动搜索（EAS）进一步融合，其中SGB提高了EAS中反向传播的解决方案的质量，EAS提高了SGB中使用的策略的质量。我们评估了有关众所周知的CO基准的方法，并表明SGB可显着提高在合理的运行时假设下发现的解决方案的质量。

双向运动规划与其单向对应物相比，平均地减少计划时间。在单次查询可行的运动规划中，使用双向搜索来查找连续运动计划需要前向和反向搜索树之间的边缘连接。这样的树木连接需要解决两点边值问题问题（BVP）。然而，两点BVP解决方案可能是困难的或不可能计算许多系统。我们提出了一种新的双向搜索策略，不需要解决两点BVP。反向树的成本信息而不是直接连接前向和反向树木，而是用作前向搜索的指导启发式。这使得前向搜索能够快速收敛到可行的解决方案而不解决两点BVP。我们提出了两个新的算法（GBRRT和GABRRT），使用此策略并使用多种动态系统和现实世界硬件实验运行多个软件模拟，以表明我们的算法表现出对现有最先进的方法进行的或更好在快速找到初始可行的解决方案时。

我们介绍了一种新的算法，基于回归的监督学习（RSL），用于每个实例神经网络（NN）为经典计划问题定义的启发式功能。RSL使用回归来选择与目标不同距离的相关状态集。然后，RSL制定了一个监督的学习问题，以获取定义NN启发式的参数，并使用标记为目标状态的精确或估计距离的选定状态。我们的实验研究表明，RSL在覆盖范围内优于先前的经典计划NN启发式功能，同时需要减少两个数量级的训练时间。

Monte Carlo Tree Search (MCTS) is a recently proposed search method that combines the precision of tree search with the generality of random sampling. It has received considerable interest due to its spectacular success in the difficult problem of computer Go, but has also proved beneficial in a range of other domains. This paper is a survey of the literature to date, intended to provide a snapshot of the state of the art after the first five years of MCTS research. We outline the core algorithm's derivation, impart some structure on the many variations and enhancements that have been proposed, and summarise the results from the key game and non-game domains to which MCTS methods have been applied. A number of open research questions indicate that the field is ripe for future work.

尽管实用的求解器在各种NP完整域中取得了成功，例如SAT和CSP以及使用深度强化学习来解决诸如GO之类的两人游戏，但某些类别的Pspace-Hard计划问题仍然遥不可及。由于硬实例的指数搜索空间，即使是精心设计的域专用求解器也可能会迅速失败。结合了传统搜索方法的最新作品，例如最佳优先搜索和蒙特卡洛树搜索，以及深度神经网络（DNN）的启发式方法，已经显示出有希望的进步，并且可以解决超出专业求解器以外的大量艰苦计划实例。为了更好地理解这些方法为何起作用，我们研究了基于DNN的最佳优先搜索的政策和价值网络的相互作用，并展示了该策略网络的惊人有效性，并通过价值网络进一步增强了价值网络，作为指导启发式的启发式启发式程序。搜索。为了进一步理解现象，我们研究了搜索算法的成本分布，发现索科巴实例可以具有重尾的运行时分布，左侧和右侧都有尾巴。特别是，我们首次展示了\ textit {左尾巴}的存在，并提出了一个抽象的树模型，可以从经验上解释这些尾巴的外观。该实验表明，政策网络是一种强大的启发式指导搜索的关键作用，这可以通过避免探索成倍的尺寸的子树来导致左尾部具有多项式缩放。我们的结果还证明了与传统组合求解器中广泛使用的随机重新启动的重要性，用于避免左和右重尾巴的基于DNN的搜索方法。

自主驾驶的车辆必须能够以无碰撞的方式在动态和不可预测的环境中导航。到目前为止，这仅是在无人驾驶汽车和仓库装置中部分实现的，在该装置中，诸如道路，车道和交通标志之类的标记结构简化了运动计划和避免碰撞问题。我们正在为类似汽车的车辆提供一种新的控制方法，该方法基于前所未有的快节奏A*实现，该方法允许控制周期以30 Hz的频率运行。这个频率使我们能够将A*算法作为低级重型控制器，非常适合在几乎任何动态环境中导航和避免碰撞。由于有效的启发式方法由沿着目标最短路径铺设的旋转 - 翻译 - 旋转运动运动，因此我们的短期流产A*（staa*）会快速收敛，并可以尽早中止，以确保高而稳定的控制速度。尽管我们的staa*沿着最短路径扩展状态，但它会照顾与环境的碰撞检查，包括预测的移动障碍状态，并返回计算时间用完时找到的最佳解决方案。尽管计算时间有限，但由于最短路径的以下路径，我们的staa*并未被困在拐角处。在模拟和实体机器人实验中，我们证明了我们的控制方法几乎完全消除了碰撞，并且具有改进的动态窗口方法的改进版本，并具有预测性的避免功能。