任务规划的挑战之一是找出导致计划失败的原因以及如何智能地处理失败。本文展示了如何实现这一目标。该想法是由连接的图形的启发：每个verticle表示一组兼容的\ extent {状态}，每个边缘表示\ textit {action}。对于任何给定的初始状态和目标，我们构建虚拟操作以确保我们始终通过任务规划获得计划。本文展示了如何引入虚拟操作以扩展操作模型以使要连接的图形：i）显式定义静态谓词（类型，永久属性等）或动态谓词（状态）;ii）为每个状态构建一个完整的虚拟动作或半虚拟动作;iii）通过逐步规划方法找到规划失败的原因。实施是在三种典型方案中进行评估。

分层任务网络（HTN）计划者使用具有额外域知识的分解过程生成计划，以指导搜索计划任务。尽管域专家会开发HTN描述，但他们可能会反复描述相同的先决条件或很少使用或可能被分解的方法。通过利用三阶段的编译器设计，我们可以轻松地支持更多的语言描述和预处理优化，这些优化可以极大地提高此类域中的运行时效率。在本文中，我们使用HTN IPC 2020中使用的高血压HTN计划者评估了这种优化。

行为树（BT）是一种在自主代理中（例如机器人或计算机游戏中的虚拟实体）之间在不同任务之间进行切换的方法。 BT是创建模块化和反应性的复杂系统的一种非常有效的方法。这些属性在许多应用中至关重要，这导致BT从计算机游戏编程到AI和机器人技术的许多分支。在本书中，我们将首先对BTS进行介绍，然后我们描述BTS与早期切换结构的关系，并且在许多情况下如何概括。然后，这些想法被用作一套高效且易于使用的设计原理的基础。安全性，鲁棒性和效率等属性对于自主系统很重要，我们描述了一套使用BTS的状态空间描述正式分析这些系统的工具。借助新的分析工具，我们可以对BTS如何推广早期方法的形式形式化。我们还显示了BTS在自动化计划和机器学习中的使用。最后，我们描述了一组扩展的工具，以捕获随机BT的行为，其中动作的结果由概率描述。这些工具可以计算成功概率和完成时间。

该项目提出了一种自动生成视频游戏动态描述的动作模型的方法，以及与计划代理的集成，以执行和监控计划。规划者使用这些动作模型来获得许多不同视频游戏中的代理的审议行为，并与反应模块组合，解决确定性和无确定级别。实验结果验证了该方法的方法，并证明了知识工程师的努力在这种复杂域的定义中可以大大减少。此外，域名的基准已经制定，这可能对国际规划社会评估国际规划竞赛中的规划者感兴趣。

在AI研究中，合成动作计划通常使用了抽象地指定由于动作而导致的动作的描述性模型，并针对有效计算状态转换来定制。然而，执行计划的动作已经需要运行模型，其中使用丰富的计算控制结构和闭环在线决策来指定如何在非预定的执行上下文中执行动作，对事件作出反应并适应展开情况。整合行动和规划的审议演员通常需要将这两种模型一起使用 - 在尝试开发不同的型号时会导致问题，验证它们的一致性，并顺利交错和规划。作为替代方案，我们定义和实施综合作用和规划系统，其中规划和行为使用相同的操作模型。这些依赖于提供丰富的控制结构的分层任务导向的细化方法。称为反应作用发动机（RAE）的作用组件由众所周知的PRS系统启发。在每个决定步骤中，RAE可以从计划者获取建议，以获得关于效用功能的近乎最佳选择。随时计划使用像UPOM的UCT类似的蒙特卡罗树搜索程序，其推出是演员操作模型的模拟。我们还提供与RAE和UPOM一起使用的学习策略，从在线代理体验和/或模拟计划结果，从决策背景下映射到方法实例以及引导UPOM的启发式函数。我们展示了富豪朝向静态域的最佳方法的渐近融合，并在实验上展示了UPOM和学习策略显着提高了作用效率和鲁棒性。

PDDLStream solvers have recently emerged as viable solutions for Task and Motion Planning (TAMP) problems, extending PDDL to problems with continuous action spaces. Prior work has shown how PDDLStream problems can be reduced to a sequence of PDDL planning problems, which can then be solved using off-the-shelf planners. However, this approach can suffer from long runtimes. In this paper we propose LAZY, a solver for PDDLStream problems that maintains a single integrated search over action skeletons, which gets progressively more geometrically informed as samples of possible motions are lazily drawn during motion planning. We explore how learned models of goal-directed policies and current motion sampling data can be incorporated in LAZY to adaptively guide the task planner. We show that this leads to significant speed-ups in the search for a feasible solution evaluated over unseen test environments of varying numbers of objects, goals, and initial conditions. We evaluate our TAMP approach by comparing to existing solvers for PDDLStream problems on a range of simulated 7DoF rearrangement/manipulation problems.

我们提出了多机器人任务（Kanoa）的正式任务分配和调度方法。Kanoa支持两种重要类型的任务约束类型：任务排序，这需要按指定顺序执行多个任务；和联合任务，指示必须由多个机器人执行的任务。为了减轻机器人任务计划的复杂性，卡诺阿（Kanoa）处理任务分配给机器人，并分别处理分配的任务。为此，任务分配问题以一阶逻辑形式化，并使用合金模型分析仪解决，并将任务调度问题编码为马尔可夫决策过程，并使用Prism Promabilistic模型检查器解决。我们通过一个案例研究说明了Kanoa的应用，该案例研究将分配了一个异质机器人团队的医院维护任务。

从制造环境到个人房屋的最终用户任务的巨大多样性使得预编程机器人非常具有挑战性。事实上，教学机器人从划痕的新行动可以重复使用以前看不见的任务仍然是一个艰难的挑战，一般都留给了机器人专家。在这项工作中，我们展示了Iropro，这是一个交互式机器人编程框架，允许最终用户没有技术背景，以教授机器人新的可重用行动。我们通过演示和自动规划技术将编程结合起来，以允许用户通过通过动力学示范教授新的行动来构建机器人的知识库。这些行动是概括的，并重用任务计划程序来解决用户定义的先前未经调查的问题。我们将iropro作为Baxter研究机器人的端到端系统实施，同时通过演示通过示范来教授低级和高级操作，以便用户可以通过图形用户界面自定义以适应其特定用例。为了评估我们的方法的可行性，我们首先进行了预设计实验，以更好地了解用户采用所涉及的概念和所提出的机器人编程过程。我们将结果与设计后实验进行比较，在那里我们进行了用户学习，以验证我们对真实最终用户的方法的可用性。总体而言，我们展示了具有不同编程水平和教育背景的用户可以轻松学习和使用Iropro及其机器人编程过程。

本文介绍了广义计划（GP）问题及其解决方案的新颖代表，作为C ++程序。我们的C ++表示允许正式证明广义计划的终止，并指定其渐近复杂性W.R.T.世界对象的数量。表征C ++广义计划的复杂性，可以应用组合搜索，该搜索以复杂性顺序列举了可能的GP解决方案的空间。实验结果表明，我们称之为BFGP ++的实施，我们的实施优于先前的GP作为启发式搜索方法，用于计算以编译器式程序为代表的通用计划。最后但并非最不重要的一点是，在经典计划实例上执行C ++程序是一个无确定性的无基接地过程，因此我们的C ++表示允许我们自动在数千个对象的大型测试实例上自动验证计算的解决方案，其中有数千个对象，其中现成的古典规划人员会陷入预处理或搜索中。

移动机器人的推理和计划是一个具有挑战性的问题，随着世界的发展，机器人的目标可能会改变。解决这个问题的一种技术是目标推理，代理人不仅原因是其行动的原因，而且还要实现哪些目标。尽管已经对单个代理的目标推理进行了广泛的研究，但分布式，多代理目标推理带来了其他挑战，尤其是在分布式环境中。在这种情况下，必须进行某种形式的协调以实现合作行为。先前的目标推理方法与其他代理商共享代理商的世界模型，这已经实现了基本的合作。但是，代理商的目标及其意图通常没有共享。在本文中，我们提出了一种解决此限制的方法。扩展了现有的目标推理框架，我们建议通过承诺在多个代理之间实现合作行为，在这种情况下，代理商可能会保证某些事实在将来的某个时候将是正确的。分享这些诺言使其他代理人不仅可以考虑世界的当前状态，而且还可以在决定下一步追求哪个目标时其他代理商的意图。我们描述了如何将承诺纳入目标生命周期，这是一种常用的目标改进机制。然后，我们通过将PDDL计划的定时初始文字（TIL）连接到计划特定目标时如何使用承诺。最后，我们在简化的物流方案中评估了我们的原型实现。

我们提出了Rapid-Learn：学习再次恢复和计划，即一种混合计划和学习方法，以解决适应代理环境中突然和意外变化（即新颖性）的问题。 Rapid-Learn旨在实时制定和求解任务的Markov决策过程（MDPS），并能够利用域知识来学习由环境变化引起的任何新动态。它能够利用域知识来学习行动执行者，这可以进一步用于解决执行智能，从而成功执行了计划。这种新颖信息反映在其更新的域模型中。我们通过在受到Minecraft启发的环境环境中引入各种新颖性来证明其功效，并将我们的算法与文献中的转移学习基线进行比较。我们的方法是（1）即使在存在多个新颖性的情况下，（2）比转移学习RL基准的样本有效，以及（3）与不完整的模型信息相比，与纯净的符号计划方法相反。

大型语言模型（LLM）的最新进展已改变了自然语言处理（NLP）的领域。从GPT-3到Palm，每种新的大型语言模型都在推动自然语言任务的最新表现。除了自然语言的能力外，人们还对理解这种模型（接受大量数据，具有推理能力的培训）也引起了重大兴趣。因此，人们有兴趣为各种推理任务开发基准，并且在此类基准测试中测试LLM的初步结果似乎主要是积极的。但是，目前的基准相对简单，这些基准的性能不能用作支持的证据，很多时候是古怪的，对LLMS的推理能力提出了主张。截至目前，这些基准仅代表了一组非常有限的简单推理任务集，如果我们要衡量此类基于LLM的系统的真实限制，我们需要研究更复杂的推理问题。通过这种动机，我们提出了一个可扩展的评估框架，以测试LLM在人类智能的中心方面的能力，这是关于行动和变化的推理。我们提供的多个测试案例比任何先前建立的推理基准都更重要，并且每个测试案例都评估了有关行动和变化的推理的某些方面。对GPT-3（Davinci）基本版本的初步评估结果，在这些基准测试中显示了Subpar的性能。

教深入的强化学习（RL）代理在多任务环境中遵循说明是一个挑战性的问题。我们认为用户通过线性时间逻辑（LTL）公式定义了每个任务。但是，用户可能未知的复杂环境中的某些因果关系依赖性未知。因此，当人类用户指定说明时，机器人无法通过简单地按照给定的说明来解决任务。在这项工作中，我们提出了一个分层增强学习（HRL）框架，其中学习了符号过渡模型，以有效地制定高级计划，以指导代理有效地解决不同的任务。具体而言，符号过渡模型是通过归纳逻辑编程（ILP）学习的，以捕获状态过渡的逻辑规则。通过计划符号过渡模型的乘积和从LTL公式得出的自动机的乘积，代理可以解决因果关系依赖性，并将因果复杂问题分解为一系列简单的低级子任务。我们在离散和连续域中的三个环境上评估了提出的框架，显示了比以前的代表性方法的优势。

3D场景图（3DSG）是新兴的描述；统一符号，拓扑和度量场景表示。但是，典型的3DSG即使在小环境中包含数百个对象和符号。完整图上的任务计划是不切实际的。我们构建任务法，这是第一个大规模的机器人任务计划基准3DSGS。尽管大多数基准在该领域的基准努力都集中在基于愿景的计划上，但我们系统地研究了符号计划，以使计划绩效与视觉表示学习相结合。我们观察到，在现有方法中，基于经典和学习的计划者都不能在完整的3DSG上实时计划。实现实时计划需要（a）稀疏3DSG进行可拖动计划的进展，以及（b）设计更好利用3DSG层次结构的计划者。针对前一个目标，我们提出了磨砂膏，这是一种由任务条件的3DSG稀疏方法。使经典计划者能够匹配，在某些情况下可以超过最新的学习计划者。我们提出寻求后一个目标，这是一种使学习计划者能够利用3DSG结构的程序，从而减少了当前最佳方法所需的重型查询数量的数量级。我们将开放所有代码和基线，以刺激机器人任务计划，学习和3DSGS的交叉点进行进一步的研究。

我们提出了一种新颖的通用方法，该方法可以找到动作的，离散的对象和效果类别，并为非平凡的行动计划建立概率规则。我们的机器人使用原始操作曲目与对象进行交互，该曲目被认为是早先获取的，并观察到它在环境中可以产生的效果。为了形成动作界面的对象，效果和关系类别，我们在预测性的，深的编码器折线网络中采用二进制瓶颈层，该网络以场景的形象和应用为输入应用的动作，并在场景中生成结果效果在像素坐标中。学习后，二进制潜在向量根据机器人的相互作用体验代表动作驱动的对象类别。为了将神经网络代表的知识提炼成对符号推理有用的规则，对决策树进行了训练以复制其解码器功能。概率规则是从树的决策路径中提取的，并在概率计划域定义语言（PPDDL）中表示，允许现成的计划者根据机器人的感觉运动体验所提取的知识进行操作。模拟机器人操纵器的建议方法的部署使发现对象属性的离散表示，例如``滚动''和``插入''。反过来，将这些表示形式用作符号可以生成有效的计划来实现目标，例如建造所需高度的塔楼，证明了多步物体操纵方法的有效性。最后，我们证明了系统不仅通过评估其对MNIST 8个式式域的适用性来限于机器人域域，在该域​​中，学习的符号允许生成将空图块移至任何给定位置的计划。

Rearrangement puzzles are variations of rearrangement problems in which the elements of a problem are potentially logically linked together. To efficiently solve such puzzles, we develop a motion planning approach based on a new state space that is logically factored, integrating the capabilities of the robot through factors of simultaneously manipulatable joints of an object. Based on this factored state space, we propose less-actions RRT (LA-RRT), a planner which optimizes for a low number of actions to solve a puzzle. At the core of our approach lies a new path defragmentation method, which rearranges and optimizes consecutive edges to minimize action cost. We solve six rearrangement scenarios with a Fetch robot, involving planar table puzzles and an escape room scenario. LA-RRT significantly outperforms the next best asymptotically-optimal planner by 4.01 to 6.58 times improvement in final action cost.

我们提出了一个新问题：代理可以学习如何将以前任务中的动作结合起来，以完成新任务，就像人类一样？与模仿学习相反，没有专家数据，只有通过环境探索收集的数据。与离线增强学习相比，数据分配转移的问题更为严重。由于解决新任务的动作顺序可能是多个培训任务的轨迹段的组合，换句话说，测试任务和求解策略不直接存在于培训数据中。这使问题更加困难。我们提出了一种与内存相关的多任务方法（M3）来解决此问题。该方法包括三个阶段。首先，进行任务不足的探索以收集数据。与以前的方法不同，我们将探索数据组织到知识图中。我们根据勘探数据设计一个模型，以提取动作效果功能并将其保存在记忆中，同时训练了动作预测模型。其次，对于新任务，存储在内存中的动作效应特征用于通过基于特征分解的方法来生成候选动作。最后，一个多尺度的候选动作池和动作预测模型融合在一起，以生成完成任务的策略。实验结果表明，与基线相比，我们提出的方法的性能得到了显着提高。

在对关节对象表示表示的工作之后，引入了面向对象的网络（FOON）作为机器人的知识图表示。以双方图的形式，Foon包含符号（高级）概念，可用于机器人对任务及其对象级别计划的环境的理解及其环境。在本文之前，几乎没有做任何事情来证明如何通过任务树检索从FOON获取的任务计划如何由机器人执行，因为Foon中的概念太抽象了，无法立即执行。我们提出了一种分层任务计划方法，该方法将FOON图转换为基于PDDL的域知识表示操作计划的表示。由于这个过程，可以获取一个任务计划，即机器人可以从头到尾执行，以利用动态运动原始功能（DMP）的形式使用动作上下文和技能。我们演示了从计划到使用Coppeliasim执行的整个管道，并展示如何将学习的动作上下文扩展到从未见过的场景。

在机器人域中，学习和计划因连续的状态空间，连续的动作空间和较长的任务范围而变得复杂。在这项工作中，我们通过神经符号关系过渡模型（NSRTS）解决了这些挑战，这是一种具有数据效率学习的新型模型，与强大的机器人计划方法兼容，并且可以推广到对象上。NSRT具有符号和神经成分，实现了双重计划方案，其中外循环中的符号AI规划指导内部循环中的神经模型的连续计划。四个机器人计划域中的实验表明，仅在数十或数百个培训情节之后就可以学习NSRT，然后用于快速规划的新任务，这些任务需要高达60个动作，并且涉及比培训期间看到的更多物体。视频：https：//tinyurl.com/chitnis-nsrts

机器人中的任务和运动规划问题通常将符号规划与连续状态和动作变量相处的运动优化相结合，从而满足满足在任务变量上强加的逻辑约束的轨迹。符号规划可以用任务变量的数量呈指数级级，因此最近的工作诸如PDDLSTREAM的工作侧重于乐观规划，以逐步增长的对象和事实，直到找到可行的轨迹。然而，这种设置以宽度第一的方式被彻底地且均匀地扩展，无论手头的问题的几何结构如何，这使得具有大量物体的长时间地理推理，这令人难以耗时。为了解决这个问题，我们提出了一个几何通知的符号规划员，以最佳的方式扩展了一组对象和事实，优先由从现有搜索计算中学到的基于神经网络的基于神经网络的分数。我们在各种问题上评估我们的方法，并展示了在大型或困难情景中规划的提高能力。我们还在几个块堆叠操作任务中将算法应用于7DOF机器人手臂。