基于采样的运动计划者，例如RRT*和BIT*，当应用于运动动力运动计划时，依靠转向功能来生成连接采样状态的时间优势解决方案。实施精确的转向功能需要针对时间最佳控制问题的分析解决方案，或者非线性编程（NLP）求解器以鉴于系统的动力学方程式解决边界值问题。不幸的是，对于许多实际域而言，分析解决方案不可用，而NLP求解器在计算上非常昂贵，因此快速且最佳的动力动力运动计划仍然是一个开放的问题。我们通过引入状态监督转向功能（S3F）来提供解决此问题的解决方案，这是一种学习时间优势转向功能的新方法。 S3F能够比其NLP对应物更快地为转向函数的数量级产生近乎最佳的解决方案。在三个具有挑战性的机器人域进行的实验表明，使用S3F的RRT*在解决方案成本和运行时都显着优于最先进的计划方法。我们进一步提供了RRT*修改以使用S3F的概率完整性的证明。

本文提出了一个基于抽样的运动计划者，该计划将RRT*（迅速探索随机树星）集成到预计运动原始图的数据库中，以减轻其计算负载，并允许在动态或部分已知的环境中进行运动计划。该数据库是通过在某些网格空间中考虑一组初始状态和最终状态对来构建的，并确定每个对与系统动力学和约束兼容的最佳轨迹，同时最小化成本。通过在网格状态空间中提取样品并在数据库中选择将其连接到现有节点的数据库中的最佳无障碍运动原始性，将节点逐渐添加到RRT*算法中可行轨迹树中的节点。如果可以通过无障碍的运动原始的原始较低的成本从新的采样状态达到一些节点，则树将重新接线。因此，运动计划的计算更密集的部分被移至数据库构建的初步离线阶段（以网格造成的某些性能退化为代价。可以对网格分辨率进行调整，以便在数据库的最优性和大小之间妥协。由于网格分辨率为零，并且采样状态的数量增长到无穷大，因此规划器被证明是渐近的最佳选择。

双向运动规划与其单向对应物相比，平均地减少计划时间。在单次查询可行的运动规划中，使用双向搜索来查找连续运动计划需要前向和反向搜索树之间的边缘连接。这样的树木连接需要解决两点边值问题问题（BVP）。然而，两点BVP解决方案可能是困难的或不可能计算许多系统。我们提出了一种新的双向搜索策略，不需要解决两点BVP。反向树的成本信息而不是直接连接前向和反向树木，而是用作前向搜索的指导启发式。这使得前向搜索能够快速收敛到可行的解决方案而不解决两点BVP。我们提出了两个新的算法（GBRRT和GABRRT），使用此策略并使用多种动态系统和现实世界硬件实验运行多个软件模拟，以表明我们的算法表现出对现有最先进的方法进行的或更好在快速找到初始可行的解决方案时。

本文旨在提高用于车辆系统的Kinodynamic规划师的路径质量和计算效率。它提出了一个学习框架，用于在具有动态的系统的基于采样的运动规划仪的扩展过程中识别有前途的控制。离线，学习过程训练，以返回最高质量控制，以便在没有来自其当前状态和局部目标状态之间的输入差异矢量的障碍物的情况下达到局部目标状态（即航点）。数据生成方案在目标色散上提供界限，并使用状态空间修剪以确保高质量控制。通过专注于系统的动态，该过程是数据高效并发生一次动态系统，使其可用于具有模块化扩展功能的不同环境。这项工作与a）将所提出的学习过程集成了一个）探索性扩展功能，该探索性扩展函数在可到达空间上生成有偏见的覆盖范围，B）为移动机器人提出了一种利用的扩展功能，其使用内侧轴信息生成航点。本文评估了第一和二阶差分驱动系统的学习过程和相应的规划仪。结果表明，拟议的学习和规划的整合可以产生比Kinodynamic规划更好的质量路径，随机控制在较少的迭代和计算时间。

我们考虑针对翻译不变的动态系统的时间 - 最佳运动计划，该属性适用于许多移动机器人，例如差速器，汽车，飞机和多旋转器。我们的关键见解是，当与优化共生时，我们可以将图形搜索算法扩展到连续情况。对于图形搜索，我们引入了不连续性的A*（DB-A*），这是A*算法的概括，该算法使用了基于采样计划者的概念和数据结构。 db-a*重复使用短轨迹，所谓的运动原语作为边缘，并允许在顶点处最大的用户指定的不连续性。这些轨迹是通过轨迹优化在局部修复的，这也提供了新的改进的运动原语。我们的新型动力学运动计划者KMP-DB-A*几乎具有渐近的最佳行为，并迅速计算了近乎最佳的解决方案。对于我们的经验验证，我们提供了第一个基准，该基准测试在不同设置中的多个动态系统上比较搜索，采样和基于优化的时间 - 最佳运动计划。与基线相比，KMP-DB-A*始终求解更多的问题实例，找到较低成本的初始解决方案并更快地收敛。

This paper addresses the kinodynamic motion planning for non-holonomic robots in dynamic environments with both static and dynamic obstacles -- a challenging problem that lacks a universal solution yet. One of the promising approaches to solve it is decomposing the problem into the smaller sub problems and combining the local solutions into the global one. The crux of any planning method for non-holonomic robots is the generation of motion primitives that generates solutions to local planning sub-problems. In this work we introduce a novel learnable steering function (policy), which takes into account kinodynamic constraints of the robot and both static and dynamic obstacles. This policy is efficiently trained via the policy optimization. Empirically, we show that our steering function generalizes well to unseen problems. We then plug in the trained policy into the sampling-based and lattice-based planners, and evaluate the resultant POLAMP algorithm (Policy Optimization that Learns Adaptive Motion Primitives) in a range of challenging setups that involve a car-like robot operating in the obstacle-rich parking-lot environments. We show that POLAMP is able to plan collision-free kinodynamic trajectories with success rates higher than 92%, when 50 simultaneously moving obstacles populate the environment showing better performance than the state-of-the-art competitors.

多机器人运动计划（MRMP）是在运动动力学约束下针对在环境中作用的多个机器人的非缩进轨迹的基本问题。由于其复杂性，现有算法要么利用简化的假设或不完整。这项工作引入了基于动力学冲突的搜索（K-CB），这是一种分散的（分离）MRMP算法，是一般，可扩展性和概率完成的。该算法从成功的解决方案到MRMP的离散类似物（被称为多试路径查找（MAPF））具有灵感。具体来说，我们将基于冲突的搜索（CBS）（一种流行的分散MAPF算法）调整为MRMP设置。这种适应的新颖性是我们直接在连续领域工作，而无需离散化。特别是，动力动力学的约束在本地进行治疗。 K-CBS计划使用低级规划师分别为每个机器人计划，并通过定义单个机器人的约束来解决机器人之间的冲突树以解决机器人之间的碰撞。低水平的计划者可以是用于运动动力学机器人的任何基于采样的树搜索算法，从而将单个机器人的现有计划者提升为多机器人设置。我们表明，K-CBS继承了低级计划者的（概率）完整性。我们说明了在几个案例研究和基准测试中K-CB的一般性和性能。

在本文中，我们通过概率保证解决了基于采样的运动计划和测量不确定性的问题。我们概括了基于基于树的基于树木的运动计划算法，以确定性系统并提出信念-USHAMCAL {a} $，该框架将任何基于动力学的树的计划者扩展到线性（或可线化）系统的信念空间。我们为信仰空间介绍了适当的抽样技术和距离指标，以保留基础规划师的概率完整性和渐近最佳性能。我们证明了我们在模拟方面对自动化和非全面系统有效和渐近地找到安全低成本路径的疗效。

勘探是基于深入强化学习（DRL）的无模型导航控制的基本挑战，因为针对目标驱动的导航任务的典型勘探技术依赖于噪声或贪婪的政策，这些策略对奖励的密度敏感。实际上，机器人总是在复杂的混乱环境中部署，其中包含密集的障碍和狭窄的通道，从而提高了很难探索训练的自然备用奖励。当预定义的任务复杂并且具有丰富的表现力时，这种问题变得更加严重。在本文中，我们专注于这两个方面，并为任务指导的机器人提供了一种深层的政策梯度算法，该机器人在复杂的混乱环境中部署了未知的动态系统。线性时间逻辑（LTL）用于表达丰富的机器人规范。为了克服训练期间探索的环境挑战，我们提出了一种新颖的路径计划引导奖励方案，该方案在状态空间上密集，并且至关重要的是，由于黑盒动力学而导致计算的几何路径的不可行性。为了促进LTL满意度，我们的方法将LTL任务分解为使用分布式DRL解决的子任务，在该子任务中，可以使用深层政策梯度算法并行培训子任务。我们的框架被证明可显着提高性能（有效性，效率）和对大规模复杂环境中复杂任务的机器人的探索。可以在YouTube频道上找到视频演示：https：//youtu.be/yqrq2-ymtik。

路径计划是设计机器人行为的关键算法方法。基于抽样的方法，例如快速探索随机树（RRT）或概率路线图，是针对路径计划问题的突出算法解决方案。尽管其指数收敛速率，RRT只能找到次优路径。另一方面，$ \ textrm {rrt}^*$是RRT广泛​​使用的扩展名，保证了寻找最佳路径的概率完整性，但在复杂环境中缓慢收敛而在实践中遭受痛苦。此外，现实世界中的机器人环境通常是可观察到的，或者描述的动力学不好，施放了$ \ textrm {rrt}^*$在复杂任务中的应用。本文研究了用于机器人路径计划的流行蒙特卡洛树搜索（MCTS）算法的新型算法公式。值得注意的是，我们通过分析和证明其指数的收敛速率（MCPP）在完全可观察到的马尔可夫决策过程（MDP）的一部分中，并证明其指数收敛速率，而另一部分则是其概率的完整性假设有限的距离可观察性（证明草图），在部分可观察的MDP（POMDP）中找到可行的路径。我们的算法贡献使我们能够采用最近提出的MCT的变体，并具有不同的勘探策略来进行机器人路径计划。我们在模拟的2D和3D环境中进行了7度自由度（DOF）操纵器以及现实世界机器人路径计划任务中的实验评估，证明了MCPP在POMDP任务中的优势。

对机器人在现实世界中的准确控制需要一个控制系统，该控制系统能够考虑机器人与环境的动力学相互作用。在高速度下，机器人对这些运动动力学相互作用的运动依赖性变得更加明显，使高速，准确的机器人控制一个具有挑战性的问题。先前的工作表明，学习机器人的逆动力动力学（IKD）可能有助于高速机器人控制。但是，学习的逆运动动力学模型只能应用于有限的控制问题类别，不同的控制问题需要学习新的IKD模型。在这项工作中，我们提出了一种新的公式，用于精确，高速机器人控制，该配方利用了学习的前进运动动力学（FKD）模型和非线性最小二乘优化。从公式的本质上讲，这种方法可以扩展到各种各样的控制问题，而无需重新培训新模型。我们证明了这种方法在高速上准确控制刻度的十分之一机器人车的能力，并显示出比基线相比的结果。

基于采样的运动计划算法广泛用于机器人，因为它们在高维空间中非常有效。 However, the success rate and quality of the solutions are determined by an adequate selection of their parameters such as the distance between states, the local planner, and the sampling distribution.对于具有大配置空间或动态限制的机器人，选择这些参数是一个具有挑战性的任务。本文提出了一种通过调整采样方法来提高对基于最流行的采样的算法，快速探索随机树（RRT）的性能的方法。该想法是用自定义分布（C-PDF）替换均匀概率密度函数（U-PDF）从类似任务中的先前成功查询中获取。通过一些示例，我们的方法构建了一种自定义分布，允许RRT成长为承诺将导致解决方案的国家。我们在几种自主驾驶任务中测试了我们的方法，例如停车演习，障碍物间隙和狭窄的通道场景。结果表明，所提出的方法在成功率，树密度和计算时间方面优于原始的RRT和几种改进版本。另外，所提出的方法需要相对较小的示例，与需要大量示例的当前深度学习技术不同。

最佳路径规划是在优化目标的起始和目标之间找到有效状态的问题。知情路径规划算法顺序他们的搜索与特定于问题的知识表达为启发式，并且可以比未表现算法更有效的数量级。启发式最有效的是，当他们准确且计算地廉价才能评估，但这些通常是矛盾的特征。这使得适当的启发式难以满足许多问题。本文提出了两个几乎肯定的渐近最优采样的路径规划算法，以解决这一挑战，自适应地通知的树木（AIT *）和精力知的树木（EIT *）。这些算法使用非对称双向搜索，其中两个搜索彼此连续通知。这允许AIT *和EIT *通过同时计算和利用越来越准确，特定于问题的启发式来改善规划性能。 AIT *和EIT *相对于其他基于样品的算法的好处是在优化路径长度和障碍物间隙的十二个问题上进行了十二个问题。实验表明，AIT *和EIT *优于优化障碍物清除的问题的其他算法，其中先验成本启发式往往是无效的，并且仍然对最小化路径长度的问题表现良好，这种启发式通常是有效的。

通常，可以将最佳运动计划作为本地和全球执行。在这样的计划中，支持本地或全球计划技术的选择主要取决于环境条件是动态的还是静态的。因此，最适当的选择是与全球计划一起使用本地计划或本地计划。当设计最佳运动计划是本地或全球的时，要记住的关键指标是执行时间，渐近最优性，对动态障碍的快速反应。与其他方法相比，这种计划方法可以更有效地解决上述目标指标，例如路径计划，然后进行平滑。因此，这项研究的最重要目标是分析相关文献，以了解运动计划，特别轨迹计划，问题，当应用于实时生成最佳轨迹的多局部航空车（MAV），影响力（MAV）时如何提出问题。列出的指标。作为研究的结果，轨迹计划问题被分解为一组子问题，详细列出了解决每个问题的方法列表。随后，总结了2010年至2022年最突出的结果，并以时间表的形式呈现。

我们向连续状态马尔可夫决策过程（MDP）提出了一种扩散近似方法，该方法可用于解决非结构化的越野环境中的自主导航和控制。与呈现完全已知的状态转换模型的大多数决策定理计划框架相比，我们设计了一种方法，该方法消除了这种强烈假设，这些假设通常非常难以在现实中工程师。我们首先采用价值函数的二阶泰勒扩展。然后通过部分微分方程近似贝尔曼的最优性方程，其仅依赖于转换模型的第一和第二矩。通过组合价值函数的内核表示，然后设计一种有效的策略迭代算法，其策略评估步骤可以表示为特征的方程式的线性系统，其特征是由有限组支持状态。我们首先通过大量的仿真以2D美元的$ 2D $避让和2.5d $地形导航问题进行验证。结果表明，拟议的方法在几个基线上导致了卓越的性能。然后，我们开发一个系统，该系统将我们的决策框架整合，与船上感知，并在杂乱的室内和非结构化的户外环境中进行现实世界的实验。物理系统的结果进一步展示了我们在挑战现实世界环境中的方法的适用性。

A simple and efficient randomized algorithm is presented for solving single-query path planning problems in high-dimensional configuration spaces. The method works by incrementally building two Rapidly-exploring Random Trees (RRTs) rooted at the start and the goal configurations. The trees each explore space around them and also advance towards each other through the use of a simple greedy heuristic. Although originally designed to plan motions for a human arm (modeled as a 7-DOF kinematic chain) for the automatic graphic animation of collision-free grasping and manipulation tasks, the algorithm has been successfully applied to a variety of path planning problems. Computed examples include generating collision-free motions for rigid objects in 2D and 3D, and collision-free manipulation motions for a 6-DOF PUMA arm in a 3D workspace. Some basic theoretical analysis is also presented.

多机器人系统通过整体对应物提供增强的能力，但它们以增加的协调复杂化。为了减少复杂性并使文献中的多机器人运动规划（MRMP）方法采用牺牲最优性或动态可行性的解耦方法采用解耦方法。在本文中，我们提出了一种凸起方法，即“抛物线弛豫”，为所有机器人的耦合关节空间中MRMP产生最佳和动态可行的轨迹。我们利用建议的放松来解决问题复杂性，并在极端集群环境中规划超过一百个机器人的计算途径。我们采取了一种多级优化方法，包括i）数学地配制MRMP作为非凸优化，II）将问题提升到更高的尺寸空间，III）通过所提出的计算有效的抛物线松弛和IV凸出问题。使用迭代搜索惩罚，以确保对原始问题的可行性和近最佳解决方案的可行性和恢复。我们的数值实验表明，所提出的方法能够在比最先进的成功率上具有更高成功率的挑战运动规划问题的最佳和动态可行的轨迹，但在高度密集的环境中，在一百个机器人中仍然在计算上仍然在计算上。 。

工业机器人操纵器（例如柯机）的应用可能需要在具有静态和非静态障碍物组合的环境中有效的在线运动计划。当可用的计算时间受到限制或无法完全产生解决方案时，现有的通用计划方法通常会产生较差的质量解决方案。我们提出了一个新的运动计划框架，旨在在用户定义的任务空间中运行，而不是机器人的工作空间，该框架有意将工作空间一般性交易，以计划和执行时间效率。我们的框架自动构建在线查询的轨迹库，类似于利用离线计算的以前方法。重要的是，我们的方法还提供了轨迹长度上有限的次级优势保证。关键的想法是建立称为$ \ epsilon $ -Gromov-Hausdorff近似值的近似异构体，以便在任务空间附近的点也很接近配置空间。这些边界关系进一步意味着可以平稳地串联轨迹，这使我们的框架能够解决批次查询方案，目的是找到最小长度的轨迹顺序，这些轨迹访问一组无序的目标。我们通过几种运动型配置评估了模拟框架，包括安装在移动基础上的操纵器。结果表明，我们的方法可实现可行的实时应用，并为扩展其功能提供了有趣的机会。

本文着重于影响弹性的移动机器人的碰撞运动计划和控制的新兴范式转移，并开发了一个统一的层次结构框架，用于在未知和部分观察的杂物空间中导航。在较低级别上，我们开发了一种变形恢复控制和轨迹重新启动策略，该策略处理可能在本地运行时发生的碰撞。低级系统会积极检测碰撞（通过内部内置的移动机器人上的嵌入式霍尔效应传感器），使机器人能够从其内部恢复，并在本地调整后影响后的轨迹。然后，在高层，我们提出了一种基于搜索的计划算法，以确定如何最好地利用潜在的碰撞来改善某些指标，例如控制能量和计算时间。我们的方法建立在A*带有跳跃点的基础上。我们生成了一种新颖的启发式功能，并进行了碰撞检查和调整技术，从而使A*算法通过利用和利用可能的碰撞来更快地收敛到达目标。通过将全局A*算法和局部变形恢复和重新融合策略以及该框架的各个组件相结合而生成的整体分层框架在模拟和实验中都经过了广泛的测试。一项消融研究借鉴了与基于搜索的最先进的避免碰撞计划者（用于整体框架）的链接，以及基于搜索的避免碰撞和基于采样的碰撞 - 碰撞 - 全球规划师（对于更高的较高的碰撞 - 等级）。结果证明了我们的方法在未知环境中具有碰撞的运动计划和控制的功效，在2D中运行的一类撞击弹性机器人具有孤立的障碍物。

我们提出并通过实验证明了双层机器人的反应性规划系统，在未开发，具有挑战性的地形上。该系统由低频规划线（5Hz）组成，用于找到渐近最佳路径和高频无功螺纹（300Hz）以适应机器人偏差。规划线程包括：多层本地地图，以计算地形上机器人的拖拉性;任何时间的全向控制Lyapunov函数（CLF），用于快速探索随机树星（RRT *），它会生成一个矢量字段，用于指定节点之间的运动;当最终目标位于当前地图之外时，子目标查找器;和一个有限状态的机器来处理高级任务决策。该系统还包括反应线，以避免在执行路径后用传统的RRT *算法出现的非平滑运动。具有机器人偏差的反应线应对，同时通过矢量字段（由闭环反馈策略定义）消除非平滑运动，其为机器人的步态控制器提供实时控制命令作为瞬时机器人姿势的函数。该系统在Cassie Blue的模拟和实验中进行了各种具有挑战性的户外地形和杂乱的室内场景，这是一个具有20个自由度的双模型机器人。所有实现在C ++中编码了机器人操作系统（ROS），可在https://github.com/umich-bipedlab/clf_reactive_planning_system中获得。