由于NN模型的强大学习能力及其固有的高平行性，基于神经网络（NN）的方法已成为机器人运动计划的有吸引力的方法。尽管目前朝这个方向发展，但以直接和同时的方式对重要的顺序和空间信息的有效捕获和处理仍然相对较小。为了克服挑战并释放神经网络对运动计划任务的潜力，在本文中，我们提出了STP-NET，这是一个端到端的学习框架，可以充分提取并利用重要的时空信息来形成有效的神经信息运动计划者。通过将机器人的移动解释为视频剪辑，机器人运动计划被转换为视频预测任务，STP-NET可以在空间和时间上有效的方式执行。 STP-NET在不同的和看不见的环境之间进行了经验评估，表明，凭借近100％的准确性（又称成功率），STP-NET在计划速度和路径成本方面表现出非常有希望的性能。与现有的基于NN的运动计划者相比，STP-NET在2D随机森林，2D迷宫和3D随机森林环境中至少达到5倍，2.6倍和1.8倍的速度，速度较低。此外，STP-NET可以快速，同时计算多机手运动计划任务中的多个近乎最佳路径

基于采样的路径规划算法通常实现均匀的采样方法来搜索状态空间。然而，统一的采样可能导致许多情况下不必要的探索，例如具有几个死角的环境。我们以前的工作建议使用有希望的区域来指导采样过程来解决问题。然而，预测的有希望区域通常是断开连接，这意味着它们无法连接到开始和目标状态，导致缺乏概率完整性。这项工作侧重于提高预测有前途地区的连通性。我们所提出的方法在x和y方向上回归边缘的连接概率。此外，它可以计算丢失中有希望的边缘的重量，以引导神经网络更加关注有前景区域的连通性。我们进行一系列仿真实验，结果表明，有前途地区的连接性显着提高。此外，我们分析了连接基于采样的路径规划算法的影响，并得出结论，连接在维护算法性能方面发挥着重要作用。

科学界能够为实践问题提供一套新的解决方案，这些解决方案由于神经网络体系结构的进步而在效率和计算速度方面显着改善了现代技术的性能。考虑到机器人路径计划中神经网络的利用，我们介绍了最新作品。我们的调查显示了考虑不同输入，输出和环境的问题的不同公式之间的对比，以及不同的神经网络架构如何为所有提出的问题提供解决方案。

对于旨在提供家庭服务，搜索和救援，狭窄的检查和医疗援助的机器人来说，在未知，混乱的环境中进行积极的感测和计划是一个公开挑战。尽管存在许多主动感应方法，但它们通常考虑开放空间，假设已知设置，或者大多不概括为现实世界的场景。我们介绍了活跃的神经传感方法，该方法通过手持摄像头生成机器人操纵器的运动学可行视点序列，以收集重建基础环境所需的最小观测值。我们的框架积极收集视觉RGBD观测值，将它们汇总到场景表示中，并执行对象形状推断，以避免与环境的不必要的机器人相互作用。我们使用域随机化训练我们的合成数据方法，并通过SIM到实现的传递成功地执行了其成功执行，以重建狭窄，覆盖的，现实的机柜环境，这些环境杂乱无章。由于周围的障碍物和环境较低的照明条件，自然机柜场景对机器人运动和场景重建构成了重大挑战。然而，尽管设置不利，但就各种环境重建指标（包括计划速度，观点数量和整体场景覆盖）而言，我们的方法与基线相比表现出高性能。

这项工作研究了图像目标导航问题，需要通过真正拥挤的环境引导具有嘈杂传感器和控制的机器人。最近的富有成效的方法依赖于深度加强学习，并学习模拟环境中的导航政策，这些环境比真实环境更简单。直接将这些训练有素的策略转移到真正的环境可能非常具有挑战性甚至危险。我们用由四个解耦模块组成的分层导航方法来解决这个问题。第一模块在机器人导航期间维护障碍物映射。第二个将定期预测实时地图上的长期目标。第三个计划碰撞命令集以导航到长期目标，而最终模块将机器人正确靠近目标图像。四个模块是单独开发的，以适应真实拥挤的情景中的图像目标导航。此外，分层分解对导航目标规划，碰撞避免和导航结束预测的学习进行了解耦，这在导航训练期间减少了搜索空间，并有助于改善以前看不见的真实场景的概括。我们通过移动机器人评估模拟器和现实世界中的方法。结果表明，我们的方法优于多种导航基线，可以在这些方案中成功实现导航任务。

Despite recent progress on trajectory planning of multiple robots and path planning of a single tethered robot, planning of multiple tethered robots to reach their individual targets without entanglements remains a challenging problem. In this paper, we present a complete approach to address this problem. Firstly, we propose a multi-robot tether-aware representation of homotopy, using which we can efficiently evaluate the feasibility and safety of a potential path in terms of (1) the cable length required to reach a target following the path, and (2) the risk of entanglements with the cables of other robots. Then, the proposed representation is applied in a decentralized and online planning framework that includes a graph-based kinodynamic trajectory finder and an optimization-based trajectory refinement, to generate entanglement-free, collision-free and dynamically feasible trajectories. The efficiency of the proposed homotopy representation is compared against existing single and multiple tethered robot planning approaches. Simulations with up to 8 UAVs show the effectiveness of the approach in entanglement prevention and its real-time capabilities. Flight experiments using 3 tethered UAVs verify the practicality of the presented approach.

这篇简短的评论旨在使读者熟悉与计划，调度和学习有关的最新作品。首先，我们研究最先进的计划算法。我们简要介绍神经网络。然后，我们更详细地探索图形神经网络，这是一种适合处理图形结构输入的神经网络的最新变体。我们简要描述了强化学习算法和迄今为止设计的一些方法的概念。接下来，我们研究了一些成功的方法，结合了用于路径规划的神经网络。最后，我们专注于不确定性的时间计划问题。

工业机器人操纵器（例如柯机）的应用可能需要在具有静态和非静态障碍物组合的环境中有效的在线运动计划。当可用的计算时间受到限制或无法完全产生解决方案时，现有的通用计划方法通常会产生较差的质量解决方案。我们提出了一个新的运动计划框架，旨在在用户定义的任务空间中运行，而不是机器人的工作空间，该框架有意将工作空间一般性交易，以计划和执行时间效率。我们的框架自动构建在线查询的轨迹库，类似于利用离线计算的以前方法。重要的是，我们的方法还提供了轨迹长度上有限的次级优势保证。关键的想法是建立称为$ \ epsilon $ -Gromov-Hausdorff近似值的近似异构体，以便在任务空间附近的点也很接近配置空间。这些边界关系进一步意味着可以平稳地串联轨迹，这使我们的框架能够解决批次查询方案，目的是找到最小长度的轨迹顺序，这些轨迹访问一组无序的目标。我们通过几种运动型配置评估了模拟框架，包括安装在移动基础上的操纵器。结果表明，我们的方法可实现可行的实时应用，并为扩展其功能提供了有趣的机会。

我们提出了一种具有动态障碍的生物学启发方法，以避免动态障碍。路径计划是在自组织神经网络（SONN）产生的机器人的凝结配置空间中进行的。机器人本身和静态障碍物以及动态障碍物通过笛卡尔任务空间映射到构造空间，并通过预报的运动学绘制到配置空间。冷凝空间代表了环境的认知图，该图是受位置细胞和哺乳动物大脑认知图的概念的启发。培训数据的产生以及评估是在伴随模拟的实际工业机器人上进行的。为了评估不断变化的环境中无动碰撞在线计划，实现了演示者。然后，对基于样本的计划者进行了比较研究。因此，我们可以证明该机器人能够在动态变化的环境中运行，并在印象0.02秒内重新计划其运动轨迹，从而证明我们概念的实时能力。

本文旨在提高用于车辆系统的Kinodynamic规划师的路径质量和计算效率。它提出了一个学习框架，用于在具有动态的系统的基于采样的运动规划仪的扩展过程中识别有前途的控制。离线，学习过程训练，以返回最高质量控制，以便在没有来自其当前状态和局部目标状态之间的输入差异矢量的障碍物的情况下达到局部目标状态（即航点）。数据生成方案在目标色散上提供界限，并使用状态空间修剪以确保高质量控制。通过专注于系统的动态，该过程是数据高效并发生一次动态系统，使其可用于具有模块化扩展功能的不同环境。这项工作与a）将所提出的学习过程集成了一个）探索性扩展功能，该探索性扩展函数在可到达空间上生成有偏见的覆盖范围，B）为移动机器人提出了一种利用的扩展功能，其使用内侧轴信息生成航点。本文评估了第一和二阶差分驱动系统的学习过程和相应的规划仪。结果表明，拟议的学习和规划的整合可以产生比Kinodynamic规划更好的质量路径，随机控制在较少的迭代和计算时间。

多机器人运动计划（MRMP）是在运动动力学约束下针对在环境中作用的多个机器人的非缩进轨迹的基本问题。由于其复杂性，现有算法要么利用简化的假设或不完整。这项工作引入了基于动力学冲突的搜索（K-CB），这是一种分散的（分离）MRMP算法，是一般，可扩展性和概率完成的。该算法从成功的解决方案到MRMP的离散类似物（被称为多试路径查找（MAPF））具有灵感。具体来说，我们将基于冲突的搜索（CBS）（一种流行的分散MAPF算法）调整为MRMP设置。这种适应的新颖性是我们直接在连续领域工作，而无需离散化。特别是，动力动力学的约束在本地进行治疗。 K-CBS计划使用低级规划师分别为每个机器人计划，并通过定义单个机器人的约束来解决机器人之间的冲突树以解决机器人之间的碰撞。低水平的计划者可以是用于运动动力学机器人的任何基于采样的树搜索算法，从而将单个机器人的现有计划者提升为多机器人设置。我们表明，K-CBS继承了低级计划者的（概率）完整性。我们说明了在几个案例研究和基准测试中K-CB的一般性和性能。

过去的十年充分证明了通过学习复杂的输入/输出关系可以实现的显着功能。从算法上讲，最重要，最不透明的关系之一是问题的结构与有效的解决方案方法之间。在这里，我们将计划问题的结构定量地连接到基于给定抽样的运动计划（SBMP）算法的性能。我们证明，运动计划问题的几何关系可以通过图神经网络（GNN）很好地捕获，以预测SBMP运行时。通过使用算法投资组合，我们表明可以利用GNN对特定问题的运行时预测，以在导航和操纵任务中加速在线运动计划。此外，可以倒置问题到倒及地图，以识别易于通过特定SBMP求解的子问题。我们提供了一个激励人物的例子，说明如何使用这些知识来改善模拟示例的集成任务和运动计划。这些成功依赖于GNN的关系结构来捕获从低维导航任务到3D环境中高度自由度操纵任务的可扩展概括。

我们提出了一种新的四管齐下的方法，在文献中首次建立消防员的情境意识。我们构建了一系列深度学习框架，彼此之叠，以提高消防员在紧急首次响应设置中进行的救援任务的安全性，效率和成功完成。首先，我们使用深度卷积神经网络（CNN）系统，以实时地分类和识别来自热图像的感兴趣对象。接下来，我们将此CNN框架扩展了对象检测，跟踪，分割与掩码RCNN框架，以及具有多模级自然语言处理（NLP）框架的场景描述。第三，我们建立了一个深入的Q学习的代理，免受压力引起的迷失方向和焦虑，能够根据现场消防环境中观察和存储的事实来制定明确的导航决策。最后，我们使用了一种低计算无监督的学习技术，称为张量分解，在实时对异常检测进行有意义的特征提取。通过这些临时深度学习结构，我们建立了人工智能系统的骨干，用于消防员的情境意识。要将设计的系统带入消防员的使用，我们设计了一种物理结构，其中处理后的结果被用作创建增强现实的投入，这是一个能够建议他们所在地的消防员和周围的关键特征，这对救援操作至关重要在手头，以及路径规划功能，充当虚拟指南，以帮助迷彩的第一个响应者恢复安全。当组合时，这四种方法呈现了一种新颖的信息理解，转移和综合方法，这可能会大大提高消防员响应和功效，并降低寿命损失。

我们考虑将移动机器人导航到具有视觉传感器的未知环境中的问题，在该环境中，机器人和传感器都无法访问全局定位信息，并且仅使用第一人称视图图像。虽然基于传感器网络的先前工作使用明确的映射和计划技术，并且经常得到外部定位系统的帮助，但我们提出了一种基于视觉的学习方法，该方法利用图形神经网络（GNN）来编码和传达相关的视点信息到移动机器人。在导航期间，机器人以模型为指导，我们通过模仿学习训练以近似最佳的运动原语，从而预测有效的成本（目标）。在我们的实验中，我们首先证明了具有各种传感器布局的以前看不见的环境的普遍性。仿真结果表明，通过利用传感器和机器人之间的通信，我们可以达到$ 18.1 \％$ $的成功率，同时将路径弯路的平均值降低$ 29.3 \％$，并且可变性降低了$ 48.4 \％$ $。这是在不需要全局地图，定位数据或传感器网络预校准的情况下完成的。其次，我们将模型从模拟到现实世界进行零拍传输。为此，我们训练一个“翻译器”模型，该模型在{}真实图像和模拟图像之间转换，以便可以直接在真实的机器人上使用导航策略（完全在模拟中训练），而无需其他微调。 。物理实验证明了我们在各种混乱的环境中的有效性。

为了安全，有效地与人合作，工业机器人需要改变它们的运动迅速在环境突然变化，如出现跨规划的轨迹障碍反应的能力。在实时运动规划，是实时通过视觉系统检测到的障碍物，以及新的轨迹规划针对的障碍的当前位置，并立即对机器人执行。现有的实时运动规划师，但是，缺乏处理后的平滑步骤 - 这是在抽样为基础的运动规划的关键 - 导致计划的轨迹是生涩的，因此效率低下和更少的人力友好。在这里，我们提出了基于shortcutting技术来解决这个问题的实时轨迹平滑。通过一种新颖的神经网络利用快速清除推断，所提出的方法是能够始终如一地均匀涂抹于商用的GPU中200ms的6-DOF工业机器人臂的轨迹。我们整合所提出的平滑成一个完整的视觉 - 运动规划 - 执行循环中，证明实时，流畅，工业机器人进行动态障碍的表现。

在本文中，我们关注将基于能量的模型（EBM）作为运动优化的指导先验的问题。 EBM是一组神经网络，可以用合适的能量函数参数为参数的GIBBS分布来表示表达概率密度分布。由于其隐含性，它们可以轻松地作为优化因素或运动优化问题中的初始采样分布整合在一起，从而使它们成为良好的候选者，以将数据驱动的先验集成在运动优化问题中。在这项工作中，我们提出了一组所需的建模和算法选择，以使EBMS适应运动优化。我们调查了将其他正规化器在学习EBM中的好处，以将它们与基于梯度的优化器一起使用，并提供一组EBM架构，以学习用于操纵任务的可通用分布。我们提出了多种情况，可以将EBM集成以进行运动优化，并评估学到的EBM的性能，以指导模拟和真实机器人实验的指导先验。

Visual Teach and Repeat 3 (VT&R3), a generalization of stereo VT&R, achieves long-term autonomous path-following using topometric mapping and localization from a single rich sensor stream. In this paper, we improve the capabilities of a LiDAR implementation of VT&R3 to reliably detect and avoid obstacles in changing environments. Our architecture simplifies the obstacle-perception problem to that of place-dependent change detection. We then extend the behaviour of generic sample-based motion planners to better suit the teach-and-repeat problem structure by introducing a new edge-cost metric paired with a curvilinear planning space. The resulting planner generates naturally smooth paths that avoid local obstacles while minimizing lateral path deviation to best exploit prior terrain knowledge. While we use the method with VT&R, it can be generalized to suit arbitrary path-following applications. Experimental results from online run-time analysis, unit testing, and qualitative experiments on a differential drive robot show the promise of the technique for reliable long-term autonomous operation in complex unstructured environments.

我们介绍了一个目标驱动的导航系统，以改善室内场景中的Fapless视觉导航。我们的方法在每次步骤中都将机器人和目标的多视图观察为输入，以提供将机器人移动到目标的一系列动作，而不依赖于运行时在运行时。通过优化包含三个关键设计的组合目标来了解该系统。首先，我们建议代理人在做出行动决定之前构建下一次观察。这是通过从专家演示中学习变分生成模块来实现的。然后，我们提出预测预先预测静态碰撞，作为辅助任务，以改善导航期间的安全性。此外，为了减轻终止动作预测的训练数据不平衡问题，我们还介绍了一个目标检查模块来区分与终止动作的增强导航策略。这三种建议的设计都有助于提高培训数据效率，静态冲突避免和导航泛化性能，从而产生了一种新颖的目标驱动的FLASES导航系统。通过对Turtlebot的实验，我们提供了证据表明我们的模型可以集成到机器人系统中并在现实世界中导航。视频和型号可以在补充材料中找到。

我们提出了一种分层骨骼引导的运动计划算法来指导移动机器人。良好的骨骼绘制了C空间子空间的连接性，该子空间包含显着的自由度，并能够引导计划者快速找到所需的解决方案。但是，有时骨骼并不能密切代表自由的C空间，这通常会误导当前的骨架引导的计划者。分层骨骼指导的计划策略逐渐放松其对工作区骨骼的依赖，因为C空间被采样，从而逐渐返回了一条次优路径，该路径在标准骨架引导的算法中无法保证。与标准骨骼指导计划者和其他懒惰计划策略的实验比较显示了路线图施工时间的显着改善，同时保持混乱环境中多电量问题的路径质量。

基于最佳抽样的运动计划和轨迹优化是两个竞争框架，以生成最佳运动计划。这两个框架都有互补的属性：基于抽样的计划者通常会趋于趋势，但提供最佳保证。但是，轨迹优化器通常很快就可以收敛，但在非凸问题中不提供全局最佳保证，例如场景有障碍。为了达到两全其美，我们介绍了一个新的计划者Bitkomo，该计划者将渐近最佳的批处理知识树（BIT*）计划者与K-order Markov优化（KOMO）轨迹优化框架集成在一起。我们的计划者随时随地，并保持BIT*提供的相同的渐近优化性保证，同时还利用KOMO轨迹优化器的快速收敛性。我们在实验中评估了我们的计划者在涉及高维配置空间的操作场景方面，最多有两个7-DOF操纵器，障碍物和狭窄的通道。即使Komo失败，Bitkomo的表现也比Komo更好，并且在收敛到最佳解决方案方面，它的表现优于Bit*。