在现实世界应用中，推理不完整的知识，传感，时间概念和数字约束的能力至关重要。尽管几个AI计划者能够处理其中一些要求，但它们主要限于特定类型的约束问题。本文提出了一种新的计划方法，该方法将临时计划构建结合在时间计划框架中，提供考虑数字约束和不完整知识的解决方案。我们建议对计划域定义语言（PDDL）进行较小的扩展，以模型（i）不完整，（ii）通过未知命题进行操作的知识传感动作，以及（iii）非确定性感应效应的可能结果。我们还引入了一组新的计划域来评估我们的求解器，该求解器在各种问题上表现出良好的性能。

行为树（BT）是一种在自主代理中（例如机器人或计算机游戏中的虚拟实体）之间在不同任务之间进行切换的方法。 BT是创建模块化和反应性的复杂系统的一种非常有效的方法。这些属性在许多应用中至关重要，这导致BT从计算机游戏编程到AI和机器人技术的许多分支。在本书中，我们将首先对BTS进行介绍，然后我们描述BTS与早期切换结构的关系，并且在许多情况下如何概括。然后，这些想法被用作一套高效且易于使用的设计原理的基础。安全性，鲁棒性和效率等属性对于自主系统很重要，我们描述了一套使用BTS的状态空间描述正式分析这些系统的工具。借助新的分析工具，我们可以对BTS如何推广早期方法的形式形式化。我们还显示了BTS在自动化计划和机器学习中的使用。最后，我们描述了一组扩展的工具，以捕获随机BT的行为，其中动作的结果由概率描述。这些工具可以计算成功概率和完成时间。

在以并发方式解决团队范围的任务时，多机构系统可能非常有效。但是，如果没有正确的同步，则很难保证合并行为的正确性，例如遵循子任务的特定顺序或同时进行协作。这项工作解决了在复杂的全球任务下，将最低时间的任务计划问题称为线性时间逻辑（LTL）公式。这些任务包括独立本地动作和直接子团队合作的时间和空间要求。提出的解决方案是一种随时随地的算法，结合了对任务分解的基础任务自动机的部分顺序分析，以及用于任务分配的分支和绑定（BNB）搜索方法。提供最小的完成时间的合理性，完整性和最佳性分析。还表明，在搜索范围内持续在时间预算之内，可以迅速达成可行且近乎最佳的解决方案。此外，为了处理在线执行期间任务持续时间和代理失败的波动，提出了适应算法来同步执行状态并动态地重新分配未完成的子任务以保持正确性和最佳性。两种算法通过数值模拟和硬件实验在大规模系统上进行了严格的验证，该算法对几个强基地进行了验证。

机器人通常需要解决路径规划问题，而环境的基本和离散方面则可以观察到。这引入了多模式，机器人必须能够观察并推断其环境状态。为了解决这个问题，我们介绍了计划在信仰空间中的路径树的路径优化（PTO）算法。路径树是一种类似树状的运动，具有分支点，机器人会收到可导致信仰状态更新的观察结果。机器人取决于收到的观察结果。该算法有三个主要步骤。首先，在状态空间上生长了快速探索的随机图（RRG）。其次，通过查询观察模型，将RRG扩展到信仰空间图。在第三步中，在信仰空间图上执行动态编程以提取路径树。最终的路径树结合了探索与剥削，即它平衡了获得有关环境的知识的需求，并需要达到目标。我们在导航和移动操作任务上演示了算法功能，并在最佳和运行时使用任务和运动计划方法（TAMP）表现出比基线的优势。

我们提出了多机器人任务（Kanoa）的正式任务分配和调度方法。Kanoa支持两种重要类型的任务约束类型：任务排序，这需要按指定顺序执行多个任务；和联合任务，指示必须由多个机器人执行的任务。为了减轻机器人任务计划的复杂性，卡诺阿（Kanoa）处理任务分配给机器人，并分别处理分配的任务。为此，任务分配问题以一阶逻辑形式化，并使用合金模型分析仪解决，并将任务调度问题编码为马尔可夫决策过程，并使用Prism Promabilistic模型检查器解决。我们通过一个案例研究说明了Kanoa的应用，该案例研究将分配了一个异质机器人团队的医院维护任务。

嘈杂的传感，不完美的控制和环境变化是许多现实世界机器人任务的定义特征。部分可观察到的马尔可夫决策过程（POMDP）提供了一个原则上的数学框架，用于建模和解决不确定性下的机器人决策和控制任务。在过去的十年中，它看到了许多成功的应用程序，涵盖了本地化和导航，搜索和跟踪，自动驾驶，多机器人系统，操纵和人类机器人交互。这项调查旨在弥合POMDP模型的开发与算法之间的差距，以及针对另一端的不同机器人决策任务的应用。它分析了这些任务的特征，并将它们与POMDP框架的数学和算法属性联系起来，以进行有效的建模和解决方案。对于从业者来说，调查提供了一些关键任务特征，以决定何时以及如何成功地将POMDP应用于机器人任务。对于POMDP算法设计师，该调查为将POMDP应用于机器人系统的独特挑战提供了新的见解，并指出了有希望的新方向进行进一步研究。

机器人中的任务和运动规划问题通常将符号规划与连续状态和动作变量相处的运动优化相结合，从而满足满足在任务变量上强加的逻辑约束的轨迹。符号规划可以用任务变量的数量呈指数级级，因此最近的工作诸如PDDLSTREAM的工作侧重于乐观规划，以逐步增长的对象和事实，直到找到可行的轨迹。然而，这种设置以宽度第一的方式被彻底地且均匀地扩展，无论手头的问题的几何结构如何，这使得具有大量物体的长时间地理推理，这令人难以耗时。为了解决这个问题，我们提出了一个几何通知的符号规划员，以最佳的方式扩展了一组对象和事实，优先由从现有搜索计算中学到的基于神经网络的基于神经网络的分数。我们在各种问题上评估我们的方法，并展示了在大型或困难情景中规划的提高能力。我们还在几个块堆叠操作任务中将算法应用于7DOF机器人手臂。

This paper presents a new approach for analyzing and identifying potentially useful generalized plans. It presents a new conceptual framework along with an algorithmic process for assessing termination and reachability related properties of generalized plans. The presented framework builds upon classic results on the analysis of graphs to decompose generalized plans into smaller components in a novel algorithm for conducting a hierarchical analysis for termination of arbitrary generalized plans. Theoretical analysis of the new framework establishes soundness of the presented algorithms and shows how it goes beyond existing approaches; empirical analysis illustrates the scope of this approach. Our analysis shows that this new approach can effectively identify termination for a significantly larger class of generalized plans than was possible using existing methods.

有效计划的能力对于生物体和人造系统都是至关重要的。在认知神经科学和人工智能（AI）中广泛研究了基于模型的计划和假期，但是从不同的角度来看，以及难以调和的考虑（生物现实主义与可伸缩性）的不同意见（生物现实主义与可伸缩性）。在这里，我们介绍了一种新颖的方法来计划大型POMDP（Active Tree search（ACT）），该方法结合了神经科学中领先的计划理论的规范性特征和生物学现实主义（主动推论）和树木搜索方法的可扩展性AI。这种统一对两种方法都是有益的。一方面，使用树搜索可以使生物学接地的第一原理，主动推断的方法可应用于大规模问题。另一方面，主动推理为探索 - 开发困境提供了一种原则性的解决方案，该解决方案通常在树搜索方法中以启发性解决。我们的模拟表明，ACT成功地浏览了对基于抽样的方法，需要自适应探索的问题以及大型POMDP问题“ RockSample”的二进制树，其中ACT近似于最新的POMDP解决方案。此外，我们说明了如何使用ACT来模拟人类和其他解决大型计划问题的人类和其他动物的神经生理反应（例如，在海马和前额叶皮层）。这些数值分析表明，主动树搜索是神经科学和AI计划理论的原则性实现，既具有生物现实主义和可扩展性。

Representing and reasoning about uncertainty is crucial for autonomous agents acting in partially observable environments with noisy sensors. Partially observable Markov decision processes (POMDPs) serve as a general framework for representing problems in which uncertainty is an important factor. Online sample-based POMDP methods have emerged as efficient approaches to solving large POMDPs and have been shown to extend to continuous domains. However, these solutions struggle to find long-horizon plans in problems with significant uncertainty. Exploration heuristics can help guide planning, but many real-world settings contain significant task-irrelevant uncertainty that might distract from the task objective. In this paper, we propose STRUG, an online POMDP solver capable of handling domains that require long-horizon planning with significant task-relevant and task-irrelevant uncertainty. We demonstrate our solution on several temporally extended versions of toy POMDP problems as well as robotic manipulation of articulated objects using a neural perception frontend to construct a distribution of possible models. Our results show that STRUG outperforms the current sample-based online POMDP solvers on several tasks.

分层任务网络（HTN）计划者使用具有额外域知识的分解过程生成计划，以指导搜索计划任务。尽管域专家会开发HTN描述，但他们可能会反复描述相同的先决条件或很少使用或可能被分解的方法。通过利用三阶段的编译器设计，我们可以轻松地支持更多的语言描述和预处理优化，这些优化可以极大地提高此类域中的运行时效率。在本文中，我们使用HTN IPC 2020中使用的高血压HTN计划者评估了这种优化。

在AI研究中，合成动作计划通常使用了抽象地指定由于动作而导致的动作的描述性模型，并针对有效计算状态转换来定制。然而，执行计划的动作已经需要运行模型，其中使用丰富的计算控制结构和闭环在线决策来指定如何在非预定的执行上下文中执行动作，对事件作出反应并适应展开情况。整合行动和规划的审议演员通常需要将这两种模型一起使用 - 在尝试开发不同的型号时会导致问题，验证它们的一致性，并顺利交错和规划。作为替代方案，我们定义和实施综合作用和规划系统，其中规划和行为使用相同的操作模型。这些依赖于提供丰富的控制结构的分层任务导向的细化方法。称为反应作用发动机（RAE）的作用组件由众所周知的PRS系统启发。在每个决定步骤中，RAE可以从计划者获取建议，以获得关于效用功能的近乎最佳选择。随时计划使用像UPOM的UCT类似的蒙特卡罗树搜索程序，其推出是演员操作模型的模拟。我们还提供与RAE和UPOM一起使用的学习策略，从在线代理体验和/或模拟计划结果，从决策背景下映射到方法实例以及引导UPOM的启发式函数。我们展示了富豪朝向静态域的最佳方法的渐近融合，并在实验上展示了UPOM和学习策略显着提高了作用效率和鲁棒性。

为了使机器人能够实现高级目标，工程师通常会编写应用现有专业技能的脚本，例如导航，对象检测和操纵以实现这些目标。编写好的脚本是具有挑战性的，因为它们必须智能平衡物理机器人的动作和传感器的固有随机性以及它拥有的有限信息。原则上，AI计划可用于应对这一挑战并自动生成良好的行为策略。但这需要通过三个障碍。首先，AI必须了解每个技能对世界的影响。其次，我们必须弥合了解技能的作用和其代码中使用的低级状态变量之间更抽象的级别之间的差距。第三，将所有组件绑在一起需要大量的集成工作。我们描述了一种将机器人技能集成到工作的自主机器人控制器中的方法，该机器人的机器人控制器计划其技能以完成指定任务并具有四个关键优势。 1）使用概率编程语言中的想法，我们的生成技能文档语言（GSDL）使代码文档更简单，紧凑，更具表现力。 2）表达抽象映射（AM）桥接了低级机器人代码和抽象AI计划模型之间的差距。 3）控制器可以使用任何正确记录的技能，而无需任何额外的编程工作，提供插头的经验。 4）POMDP求解器计划执行技能，同时适当地平衡了部分可观察性，随机行为和嘈杂的传感。

Robotic planning in real-world scenarios typically requires joint optimization of logic and continuous variables. A core challenge to combine the strengths of logic planners and continuous solvers is the design of an efficient interface that informs the logical search about continuous infeasibilities. In this paper we present a novel iterative algorithm that connects logic planning with nonlinear optimization through a bidirectional interface, achieved by the detection of minimal subsets of nonlinear constraints that are infeasible. The algorithm continuously builds a database of graphs that represent (in)feasible subsets of continuous variables and constraints, and encodes this knowledge in the logical description. As a foundation for this algorithm, we introduce Planning with Nonlinear Transition Constraints (PNTC), a novel planning formulation that clarifies the exact assumptions our algorithm requires and can be applied to model Task and Motion Planning (TAMP) efficiently. Our experimental results show that our framework significantly outperforms alternative optimization-based approaches for TAMP.

有关行动成本的信息对于现实世界中的AI规划应用程序至关重要。最近的方法不仅依靠声明性的行动模型，还使用了在计划阶段应用的黑框外部动作成本估算器，通常是从数据中学到的。但是，这些可能在计算上很昂贵，并产生不确定的值。在本文中，我们建议对确定性计划的概括，并允许在多个估计器之间选择动作成本，以平衡计算时间与有限估计不确定性。这使问题表示能力更丰富，并且相应地更现实。重要的是，它允许计划者限制计划的准确性，从而提高可靠性，同时减少不必要的计算负担，这对于扩展到大问题至关重要。我们介绍了一种搜索算法，概括了$ a^*$，该算法解决了此类计划问题和其他算法扩展。除了理论保证外，与替代方案相比，广泛的实验还显示出大量的运行时节省节省。

移动机器人的推理和计划是一个具有挑战性的问题，随着世界的发展，机器人的目标可能会改变。解决这个问题的一种技术是目标推理，代理人不仅原因是其行动的原因，而且还要实现哪些目标。尽管已经对单个代理的目标推理进行了广泛的研究，但分布式，多代理目标推理带来了其他挑战，尤其是在分布式环境中。在这种情况下，必须进行某种形式的协调以实现合作行为。先前的目标推理方法与其他代理商共享代理商的世界模型，这已经实现了基本的合作。但是，代理商的目标及其意图通常没有共享。在本文中，我们提出了一种解决此限制的方法。扩展了现有的目标推理框架，我们建议通过承诺在多个代理之间实现合作行为，在这种情况下，代理商可能会保证某些事实在将来的某个时候将是正确的。分享这些诺言使其他代理人不仅可以考虑世界的当前状态，而且还可以在决定下一步追求哪个目标时其他代理商的意图。我们描述了如何将承诺纳入目标生命周期，这是一种常用的目标改进机制。然后，我们通过将PDDL计划的定时初始文字（TIL）连接到计划特定目标时如何使用承诺。最后，我们在简化的物流方案中评估了我们的原型实现。

我们概述了在其知识表示和声明问题解决的应用中的视角下的时间逻辑编程。这些程序是将通常规则与时间模态运算符组合的结果，如线性时间时间逻辑（LTL）。我们专注于最近的非单调形式主义的结果​​称为时间平衡逻辑（电话），该逻辑（电话）为LTL的全语法定义，但是基于平衡逻辑执行模型选择标准，答案集编程的众所周知的逻辑表征（ASP ）。我们获得了稳定模型语义的适当延伸，以进行任意时间公式的一般情况。我们记得电话和单调基础的基本定义，这里的时间逻辑 - 和那里（THT），并研究无限和有限迹线之间的差异。我们还提供其他有用的结果，例如将转换成其他形式主义，如量化的平衡逻辑或二阶LTL，以及用于基于自动机计算的时间稳定模型的一些技术。在第二部分中，我们专注于实际方面，定义称为较近ASP的时间逻辑程序的句法片段，并解释如何在求解器Telingo的构建中被利用。

本文介绍了在公开不确定域中描述和解释机器人目标的问题的集成解决方案。鉴于所需情况的正式规范，其中仅通过其性质描述了对象，通用规划和推理工具用于导出机器人的适当行动。这些目标是通过在线组合的分层规划，状态估计和执行，其在具有实质上闭塞和传感误差的真实机器人域中运行的鲁棒性。

蒙特卡洛树搜索（MCT）是设计游戏机器人或解决顺序决策问题的强大方法。该方法依赖于平衡探索和开发的智能树搜索。MCT以模拟的形式进行随机抽样，并存储动作的统计数据，以在每个随后的迭代中做出更有教育的选择。然而，该方法已成为组合游戏的最新技术，但是，在更复杂的游戏（例如那些具有较高的分支因素或实时系列的游戏）以及各种实用领域（例如，运输，日程安排或安全性）有效的MCT应用程序通常需要其与问题有关的修改或与其他技术集成。这种特定领域的修改和混合方法是本调查的主要重点。最后一项主要的MCT调查已于2012年发布。自发布以来出现的贡献特别感兴趣。

多机器人运动计划（MRMP）是在运动动力学约束下针对在环境中作用的多个机器人的非缩进轨迹的基本问题。由于其复杂性，现有算法要么利用简化的假设或不完整。这项工作引入了基于动力学冲突的搜索（K-CB），这是一种分散的（分离）MRMP算法，是一般，可扩展性和概率完成的。该算法从成功的解决方案到MRMP的离散类似物（被称为多试路径查找（MAPF））具有灵感。具体来说，我们将基于冲突的搜索（CBS）（一种流行的分散MAPF算法）调整为MRMP设置。这种适应的新颖性是我们直接在连续领域工作，而无需离散化。特别是，动力动力学的约束在本地进行治疗。 K-CBS计划使用低级规划师分别为每个机器人计划，并通过定义单个机器人的约束来解决机器人之间的冲突树以解决机器人之间的碰撞。低水平的计划者可以是用于运动动力学机器人的任何基于采样的树搜索算法，从而将单个机器人的现有计划者提升为多机器人设置。我们表明，K-CBS继承了低级计划者的（概率）完整性。我们说明了在几个案例研究和基准测试中K-CB的一般性和性能。