这项工作提出了利用对机器人周围环境的逐步改善的象征感知知识的一步，以证明适用于自动驾驶问题的正确反应性控制合成。结合了运动控制和信息收集的抽象模型，我们表明假设保证规范（线性时间逻辑的子类）可用于定义和解决谨慎计划的流量规则。我们提出了一种新颖的表示，称为符号改进树，以捕获有关环境的增量知识，并体现了各种符号感知输入之间的关系。利用增量知识来合成机器人的验证反应性计划。案例研究表明，即使在部分遮挡的环境中，拟议方法在合成控制输入方面的疗效。

本研究提出了一种具有动态障碍物和不均匀地形的部分可观察环境中的BipeDal运动的安全任务和运动计划（夯实）的分层综合框架。高级任务规划师采用线性时间逻辑（LTL），用于机器人及其环境之间的反应游戏合成，并为导航安全和任务完成提供正式保证。为了解决环境部分可观察性，在高级导航计划者采用信仰抽象，以估计动态障碍的位置。因此，合成的动作规划器向中级运动规划器发送一组运动动作，同时基于运动过程的阶数模型（ROM）结合从安全定理提取的安全机置规范。运动计划程序采用ROM设计安全标准和采样算法，以生成准确跟踪高级动作的非周期性运动计划。为了解决外部扰动，本研究还调查了关键帧运动状态的安全顺序组成，通过可达性分析实现了对外部扰动的强大转变。最终插值一组基于ROM的超参数，以设计由轨迹优化生成的全身运动机器，并验证基于ROM的可行部署，以敏捷机器人设计的20多个自由的Cassie机器人。

基于联系的决策和规划方法越来越重要，无法为腿机器人提供更高的自主性。源自符号系统的正式合成方法具有巨大的推理潜力，了解高级机器决策，并以正确的担保实现复杂的机动行动。本研究迈出了一种正式设计由受约束和动态变化环境中的任务规划和控制全身动态运动行为的架构组成的架构。在高级别，我们在多肢运动策划器和其动态环境之间制定了两个玩家时间逻辑游戏，以综合提供符号机置操作的获胜策略。这些运动动作满足时间逻辑片段中的所需高级任务规范。这些操作被发送到强大的有限转换系统，该过渡系统合成了满足状态可达性限制的运动控制器。该控制器进一步通过低级运动规划器执行，所述低级运动计划产生可行的机器人轨迹。我们构建一组动态运动模型，可用于腿机器人，作为用于处理各种环境事件的模板库。我们设计了一种重新调整策略，考虑到突然的环境变化或大状态干扰，以增加所产生的机器行为的鲁棒性。我们正式证明分层运动框架的正确性，保证了运动规划层的强大实现。在各种环境中的反应运动行为模拟表明我们的框架具有潜在的智能机置行为的理论基础。

本文在具有部分未知语义的环境中解决了多机器人规划问题。假设环境具有已知的几何结构（例如，墙壁），并且由具有不确定位置和类的静态标记的地标占用。这种建模方法引发了语义SLAM算法生成的不确定语义地图。我们的目标是为配备有嘈杂感知系统的机器人设计控制策略，以便他们可以完成全局时间逻辑规范捕获的协同任务。为了指定考虑环境和感知不确定性的任务，我们采用了线性时间逻辑（LTL）的片段，称为CO-Safe LTL，定义了基于感知的原子谓性建模概率满意度要求。基于感知的LTL规划问题产生了通过新型采样的算法解决的最佳控制问题，它产生了在线更新的开环控制策略，以适应连续学习的语义地图。我们提供广泛的实验，以证明拟议的规划架构的效率。

嘈杂的传感，不完美的控制和环境变化是许多现实世界机器人任务的定义特征。部分可观察到的马尔可夫决策过程（POMDP）提供了一个原则上的数学框架，用于建模和解决不确定性下的机器人决策和控制任务。在过去的十年中，它看到了许多成功的应用程序，涵盖了本地化和导航，搜索和跟踪，自动驾驶，多机器人系统，操纵和人类机器人交互。这项调查旨在弥合POMDP模型的开发与算法之间的差距，以及针对另一端的不同机器人决策任务的应用。它分析了这些任务的特征，并将它们与POMDP框架的数学和算法属性联系起来，以进行有效的建模和解决方案。对于从业者来说，调查提供了一些关键任务特征，以决定何时以及如何成功地将POMDP应用于机器人任务。对于POMDP算法设计师，该调查为将POMDP应用于机器人系统的独特挑战提供了新的见解，并指出了有希望的新方向进行进一步研究。

本文研究了运动和环境不确定性的最佳运动规划。通过将系统建模作为概率标记的马尔可夫决策过程（PL-MDP），控制目标是合成有限内存策略，在该策略下，该代理满足具有所需满足的线性时间逻辑（LTL）的高级复杂任务可能性。特别地，考虑了满足无限地平线任务的轨迹的成本优化，分析了降低预期平均成本和最大化任务满意度概率之间的权衡。而不是使用传统的Rabin Automata，LTL公式被转换为限制确定性的B \“UCHI自动机（LDBA），其具有更直接的接受条件和更紧凑的图形结构。这项工作的新颖性在于考虑案件LTL规范可能是不可行的，并且在PL-MDP和LDBA之间的轻松产品MDP的开发可能是不可行的和开发。放松的产品MDP允许代理在任务不完全可行的情况下进行修改其运动计划，并量化修订计划的违规测量。然后配制多目标优化问题，共同考虑任务满意度的概率，违反原始任务限制的违规以及策略执行的实施成本，通过耦合的线性计划解决。据最好我们的知识，它是第一个弥合规划修订版和计划前缀和计划的最佳控制合成之间的差距的工作在无限地平线上修复代理轨迹。提供实验结果以证明所提出的框架的有效性。

本文解决了不确定和动态环境中的新语义多机器人计划问题。特别是，环境被不合作，移动，不确定的标记目标占据。这些目标受随机动力学的控制，而它们的当前和未来位置及其语义标签尚不确定。我们的目标是控制移动传感机器人，以便他们可以完成根据这些目标的当前/未来位置和标签定义的协作语义任务。我们使用线性时间逻辑（LTL）表达这些任务。我们提出了一种基于抽样的方法，该方法探讨了机器人运动空间，任务规范空间以及标记目标的未来配置，以设计最佳路径。这些路径在线修订以适应不确定的感知反馈。据我们所知，这是解决不确定和动态语义环境中语义任务计划问题的第一项工作。我们提供了广泛的实验，以证明该方法的效率

Robots such as autonomous vehicles and assistive manipulators are increasingly operating in dynamic environments and close physical proximity to people. In such scenarios, the robot can leverage a human motion predictor to predict their future states and plan safe and efficient trajectories. However, no model is ever perfect -- when the observed human behavior deviates from the model predictions, the robot might plan unsafe maneuvers. Recent works have explored maintaining a confidence parameter in the human model to overcome this challenge, wherein the predicted human actions are tempered online based on the likelihood of the observed human action under the prediction model. This has opened up a new research challenge, i.e., \textit{how to compute the future human states online as the confidence parameter changes?} In this work, we propose a Hamilton-Jacobi (HJ) reachability-based approach to overcome this challenge. Treating the confidence parameter as a virtual state in the system, we compute a parameter-conditioned forward reachable tube (FRT) that provides the future human states as a function of the confidence parameter. Online, as the confidence parameter changes, we can simply query the corresponding FRT, and use it to update the robot plan. Computing parameter-conditioned FRT corresponds to an (offline) high-dimensional reachability problem, which we solve by leveraging recent advances in data-driven reachability analysis. Overall, our framework enables online maintenance and updates of safety assurances in human-robot interaction scenarios, even when the human prediction model is incorrect. We demonstrate our approach in several safety-critical autonomous driving scenarios, involving a state-of-the-art deep learning-based prediction model.

强化学习（RL）是一种有希望的方法，对现实世界的应用程序取得有限，因为确保安全探索或促进充分利用是控制具有未知模型和测量不确定性的机器人系统的挑战。这种学习问题对于连续空间（状态空间和动作空间）的复杂任务变得更加棘手。在本文中，我们提出了一种由几个方面组成的基于学习的控制框架：（1）线性时间逻辑（LTL）被利用，以便于可以通过无限视野的复杂任务转换为新颖的自动化结构; （2）我们为RL-Agent提出了一种创新的奖励计划，正式保证，使全球最佳政策最大化满足LTL规范的概率; （3）基于奖励塑造技术，我们开发了利用自动机构结构的好处进行了模块化的政策梯度架构来分解整体任务，并促进学习控制器的性能; （4）通过纳入高斯过程（GPS）来估计不确定的动态系统，我们使用指数控制屏障功能（ECBF）综合基于模型的保障措施来解决高阶相对度的问题。此外，我们利用LTL自动化和ECBF的性质来构建引导过程，以进一步提高勘探效率。最后，我们通过多个机器人环境展示了框架的有效性。我们展示了这种基于ECBF的模块化深RL算法在训练期间实现了近乎完美的成功率和保护安全性，并且在训练期间具有很高的概率信心。

具有高级别规格的自治系统的运动规划具有广泛的应用。然而，涉及定时时间逻辑的正式语言的研究仍在调查中。此外，许多现有结果依赖于用户指定的任务在给定环境中可行的关键假设。当操作环境是动态和未知的挑战时，由于环境可以找到禁止，导致预先定时定时任务无法完全满足潜在冲突的任务。在考虑时间束缚要求时，这些问题变得更具挑战性。为了解决这些挑战，这项工作提出了一种控制框架，其考虑了强制限制来强制执行安全要求和软限制，以启用任务放松。使用度量间隔时间逻辑（MITL）规范来处理时间限制约束。通过构建轻松的定时产品自动机，在线运动规划策略与后退地平线控制器合成以产生政策，以减少优先顺序的降低方式实现多重目标1）正式保证了对硬安全限制的满足感; 2）主要满足软定时任务; 3）尽可能收集时变奖励。放松结构的另一个新颖性是考虑违反时间和任务的不可行情况。提供仿真结果以验证所提出的方法。

Autonomous vehicles must often contend with conflicting planning requirements, e.g., safety and comfort could be at odds with each other if avoiding a collision calls for slamming the brakes. To resolve such conflicts, assigning importance ranking to rules (i.e., imposing a rule hierarchy) has been proposed, which, in turn, induces rankings on trajectories based on the importance of the rules they satisfy. On one hand, imposing rule hierarchies can enhance interpretability, but introduce combinatorial complexity to planning; while on the other hand, differentiable reward structures can be leveraged by modern gradient-based optimization tools, but are less interpretable and unintuitive to tune. In this paper, we present an approach to equivalently express rule hierarchies as differentiable reward structures amenable to modern gradient-based optimizers, thereby, achieving the best of both worlds. We achieve this by formulating rank-preserving reward functions that are monotonic in the rank of the trajectories induced by the rule hierarchy; i.e., higher ranked trajectories receive higher reward. Equipped with a rule hierarchy and its corresponding rank-preserving reward function, we develop a two-stage planner that can efficiently resolve conflicting planning requirements. We demonstrate that our approach can generate motion plans in ~7-10 Hz for various challenging road navigation and intersection negotiation scenarios.

然而，由于各种交通/道路结构方案以及人类驾驶员行为的长时间分布，自动驾驶的感应，感知和本地化取得了重大进展，因此，对于智能车辆来说，这仍然是一个持开放态度的挑战始终知道如何在有可用的传感 /感知 /本地化信息的道路上做出和执行最佳决定。在本章中，我们讨论了人工智能，更具体地说，强化学习如何利用运营知识和安全反射来做出战略性和战术决策。我们讨论了一些与强化学习解决方案的鲁棒性及其对自动驾驶驾驶策略的实践设计有关的具有挑战性的问题。我们专注于在高速公路上自动驾驶以及增强学习，车辆运动控制和控制屏障功能的整合，从而实现了可靠的AI驾驶策略，可以安全地学习和适应。

为了实现安全的自动驾驶汽车（AV）操作，至关重要的是，AV的障碍检测模块可以可靠地检测出构成安全威胁的障碍物（即是安全至关重要的）。因此，希望对感知系统的评估指标捕获对象的安全性 - 临界性。不幸的是，现有的感知评估指标倾向于对物体做出强烈的假设，而忽略了代理之间的动态相互作用，因此不能准确地捕获现实中的安全风险。为了解决这些缺点，我们通过考虑自我车辆和现场障碍之间的闭环动态相互作用来引入互动障碍感知障碍检测评估度量指标。通过从最佳控制理论借用现有理论，即汉密尔顿 - 雅各比的可达性，我们提出了一种可构造``安全区域''的计算障碍方法：一个国家空间中的一个区域，该区域定义了安全 - 关键障碍为了定义安全目的的位置指标。我们提出的安全区已在数学上完成，并且可以轻松计算以反映各种安全要求。使用Nuscenes检测挑战排行榜的现成检测算法，我们证明我们的方法是计算轻量级，并且可以更好地捕获与基线方法更好地捕获关键的安全感知错误。

信号时间逻辑的鲁棒性不仅评估信号是否遵守规范，而且还提供了对公式的满足或违反的量度。鲁棒性的计算基于评估潜在谓词的鲁棒性。但是，通常以无模型方式（即不包括系统动力学）定义谓词的鲁棒性。此外，精确定义复杂谓词的鲁棒性通常是不平凡的。为了解决这些问题，我们提出了模型预测鲁棒性的概念，该概念通过考虑基于模型的预测，它与以前的方法相比提供了一种更系统的评估鲁棒性的方法。特别是，我们使用高斯过程回归来基于预定的预测来学习鲁棒性，以便可以在线上有效地计算鲁棒性值。我们评估了对自动驾驶用例的方法，该案例用在记录的数据集上使用形式的交通规则中使用的谓词来评估我们的方法，这与传统方法相比，在表达性方面相比，我们的方法优势。通过将我们的鲁棒性定义纳入轨迹规划师，自动驾驶汽车比数据集中的人类驾驶员更强大地遵守交通规则。

创建复杂机器人行为的一种典型方法是组成原子控制器或技能，以使所产生的行为满足高级任务；但是，当无法使用一组技能完成任务时，很难知道如何修改技能以使任务成为可能。我们提出了一种将符号维修与身体可行性检查和实现相结合的方法，以自动修改现有技能，以便机器人可以执行以前不可行的任务。我们在线性时间逻辑（LTL）公式中编码机器人技能，以捕获安全性任务的安全限制和目标。此外，我们的编码捕获了完整的技能执行，而不是先前的工作，而在执行技能之前和之后只有世界状态才被考虑。我们的维修算法提出了符号修改，然后尝试通过修改受符号修复的LTL约束的原始技能来物理实施建议。如果技能不可能，我们会自动为符号维修提供其他约束。我们用巴克斯特和一个清晰的jack狼展示了我们的方法。

一个高度自主的系统（HAS）必须评估其所处的情况并得出信念，它决定下一步该怎么做。这些信念并不仅仅基于到目前为止所做的观察，而是基于对世界的一般见解。这些见解是在设计过程中建立的，或者在其任务过程中由可信赖的来源提供。尽管它的信念可能不精确并且可能存在缺陷，但它必须推断可能的未来才能评估其行动的后果，然后自主做出决定。在本文中，我们将一个自主决定性系统形式化为一种系统，总是选择目前认为是最好的行动。我们证明，可以检查是否可以在应用程序领域，动态变化的知识库和LTL任务目标列表中检查自主决定性系统。此外，我们可以为自主决定性系统综合信仰形成。对于形式的表征，我们使用Doxastic框架来安全至关重要的HASS，其中信仰形成支持HAS的外推。

一般而言，融合是人类驱动因素和自治车辆的具有挑战性的任务，特别是在密集的交通中，因为合并的车辆通常需要与其他车辆互动以识别或创造间隙并安全合并。在本文中，我们考虑了强制合并方案的自主车辆控制问题。我们提出了一种新的游戏 - 理论控制器，称为领导者跟随者游戏控制器（LFGC），其中自主EGO车辆和其他具有先验不确定驾驶意图的车辆之间的相互作用被建模为部分可观察到的领导者 - 跟随游戏。 LFGC估计基于观察到的轨迹的其他车辆在线在线，然后预测其未来的轨迹，并计划使用模型预测控制（MPC）来同时实现概率保证安全性和合并目标的自我车辆自己的轨迹。为了验证LFGC的性能，我们在模拟和NGSIM数据中测试它，其中LFGC在合并中展示了97.5％的高成功率。

在本文中，我们介绍了一个高级控制器合成框架，该框架使异构代理团队能够相互协助解决运行时出现的环境冲突。这种冲突解决方法是基于基于时间逻辑的反应性综合，以确保在特定环境假设下的安全性和任务完成。在异质的多机构系统中，每个代理都有望完成自己的任务，以服务全球团队的目标。但是，在运行时，代理商可能会遇到未建模的障碍物（例如门或墙壁），以阻止其完成自己的任务。为了解决这个问题，我们利用其他异质代理解决障碍的能力。提出了一个控制器框架，以在检测到这种情况时将适当的障碍物解决到所需目标的能力重定向。一组涉及双足机器人数字和四轮驱动器的案例研究用于评估行动中的控制器性能。此外，我们在物理多代理机器人系统上实施了拟议的框架，以证明其对现实世界应用的生存能力。

这项工作研究了以下假设：与人类驾驶状态的部分可观察到的马尔可夫决策过程（POMDP）计划可以显着提高自动高速公路驾驶的安全性和效率。我们在模拟场景中评估了这一假设，即自动驾驶汽车必须在快速连续中安全执行三个车道变化。通过观测扩大（POMCPOW）算法，通过部分可观察到的蒙特卡洛计划获得了近似POMDP溶液。这种方法的表现优于过度自信和保守的MDP基准，匹配或匹配效果优于QMDP。相对于MDP基准，POMCPOW通常将不安全情况的速率降低了一半或将成功率提高50％。

行为树（BT）是一种在自主代理中（例如机器人或计算机游戏中的虚拟实体）之间在不同任务之间进行切换的方法。 BT是创建模块化和反应性的复杂系统的一种非常有效的方法。这些属性在许多应用中至关重要，这导致BT从计算机游戏编程到AI和机器人技术的许多分支。在本书中，我们将首先对BTS进行介绍，然后我们描述BTS与早期切换结构的关系，并且在许多情况下如何概括。然后，这些想法被用作一套高效且易于使用的设计原理的基础。安全性，鲁棒性和效率等属性对于自主系统很重要，我们描述了一套使用BTS的状态空间描述正式分析这些系统的工具。借助新的分析工具，我们可以对BTS如何推广早期方法的形式形式化。我们还显示了BTS在自动化计划和机器学习中的使用。最后，我们描述了一组扩展的工具，以捕获随机BT的行为，其中动作的结果由概率描述。这些工具可以计算成功概率和完成时间。