将规则无缝整合到学习中（LFD）策略是启用AI代理的现实部署的关键要求。最近，信号时间逻辑（STL）已被证明是将规则作为时空约束的有效语言。这项工作使用蒙特卡洛树搜索（MCT）作为将STL规范集成到香草LFD策略中以提高约束满意度的一种手段。我们建议以STL鲁棒性值来增强MCT启发式，以使树的搜索偏向具有更高限制满意度的分支。虽然无域的方法可以应用于将STL规则在线整合到任何预训练的LFD算法中，但我们选择目标条件的生成对抗性模仿学习作为离线LFD策略。我们将提出的方法应用于规划轨迹的领域，用于在非较低机场周围的通用航空飞机。使用对现实世界数据进行训练的模拟器的结果显示了60％的性能比不使用STL启发式方法的基线LFD方法提高了性能。

In the learning from demonstration (LfD) paradigm, understanding and evaluating the demonstrated behaviors plays a critical role in extracting control policies for robots. Without this knowledge, a robot may infer incorrect reward functions that lead to undesirable or unsafe control policies. Recent work has proposed an LfD framework where a user provides a set of formal task specifications to guide LfD, to address the challenge of reward shaping. However, in this framework, specifications are manually ordered in a performance graph (a partial order that specifies relative importance between the specifications). The main contribution of this paper is an algorithm to learn the performance graph directly from the user-provided demonstrations, and show that the reward functions generated using the learned performance graph generate similar policies to those from manually specified performance graphs. We perform a user study that shows that priorities specified by users on behaviors in a simulated highway driving domain match the automatically inferred performance graph. This establishes that we can accurately evaluate user demonstrations with respect to task specifications without expert criteria.

尽管在为一般网络物理系统指定和学习目标方面取得了显着进展，但将这些方法应用于分布式多代理系统仍带来重大挑战。其中包括（a）允许允许本地目标和全球目标表达和相互作用的工艺规范基础，（b）国家和行动空间的驯服爆炸以实现有效的学习，以及（c）最小化协调频率和集合频率参与全球目标的参与者。为了应对这些挑战，我们提出了一个新颖的规范框架，该框架允许自然组成用于指导多代理系统培训的本地和全球目标。我们的技术使学习表达性策略可以使代理人以无协调的方式为本地目标运作，同时使用分散的通信协议来强制执行全球。实验结果支持我们的主张，即使用规范指导的学习可以有效地实现复杂的多代理分布式计划问题。

In inverse reinforcement learning (IRL), a learning agent infers a reward function encoding the underlying task using demonstrations from experts. However, many existing IRL techniques make the often unrealistic assumption that the agent has access to full information about the environment. We remove this assumption by developing an algorithm for IRL in partially observable Markov decision processes (POMDPs). We address two limitations of existing IRL techniques. First, they require an excessive amount of data due to the information asymmetry between the expert and the learner. Second, most of these IRL techniques require solving the computationally intractable forward problem -- computing an optimal policy given a reward function -- in POMDPs. The developed algorithm reduces the information asymmetry while increasing the data efficiency by incorporating task specifications expressed in temporal logic into IRL. Such specifications may be interpreted as side information available to the learner a priori in addition to the demonstrations. Further, the algorithm avoids a common source of algorithmic complexity by building on causal entropy as the measure of the likelihood of the demonstrations as opposed to entropy. Nevertheless, the resulting problem is nonconvex due to the so-called forward problem. We solve the intrinsic nonconvexity of the forward problem in a scalable manner through a sequential linear programming scheme that guarantees to converge to a locally optimal policy. In a series of examples, including experiments in a high-fidelity Unity simulator, we demonstrate that even with a limited amount of data and POMDPs with tens of thousands of states, our algorithm learns reward functions and policies that satisfy the task while inducing similar behavior to the expert by leveraging the provided side information.

Learning long-horizon tasks such as navigation has presented difficult challenges for successfully applying reinforcement learning. However, from another perspective, under a known environment model, methods such as sampling-based planning can robustly find collision-free paths in environments without learning. In this work, we propose Control Transformer which models return-conditioned sequences from low-level policies guided by a sampling-based Probabilistic Roadmap (PRM) planner. Once trained, we demonstrate that our framework can solve long-horizon navigation tasks using only local information. We evaluate our approach on partially-observed maze navigation with MuJoCo robots, including Ant, Point, and Humanoid, and show that Control Transformer can successfully navigate large mazes and generalize to new, unknown environments. Additionally, we apply our method to a differential drive robot (Turtlebot3) and show zero-shot sim2real transfer under noisy observations.

离线强化学习（RL）为从离线数据提供学习决策的框架，因此构成了现实世界应用程序作为自动驾驶的有希望的方法。自动驾驶车辆（SDV）学习策略，这甚至可能甚至优于次优数据集中的行为。特别是在安全关键应用中，作为自动化驾驶，解释性和可转换性是成功的关键。这激发了使用基于模型的离线RL方法，该方法利用规划。然而，目前的最先进的方法往往忽视了多种子体系统随机行为引起的溶液不确定性的影响。这项工作提出了一种新的基于不确定感知模型的离线强化学习利用规划（伞）的新方法，其解决了以可解释的基于学习的方式共同的预测，规划和控制问题。训练有素的动作调节的随机动力学模型捕获了交通场景的独特不同的未来演化。分析为我们在挑战自动化驾驶模拟中的效力和基于现实世界的公共数据集的方法提供了经验证据。

嘈杂的传感，不完美的控制和环境变化是许多现实世界机器人任务的定义特征。部分可观察到的马尔可夫决策过程（POMDP）提供了一个原则上的数学框架，用于建模和解决不确定性下的机器人决策和控制任务。在过去的十年中，它看到了许多成功的应用程序，涵盖了本地化和导航，搜索和跟踪，自动驾驶，多机器人系统，操纵和人类机器人交互。这项调查旨在弥合POMDP模型的开发与算法之间的差距，以及针对另一端的不同机器人决策任务的应用。它分析了这些任务的特征，并将它们与POMDP框架的数学和算法属性联系起来，以进行有效的建模和解决方案。对于从业者来说，调查提供了一些关键任务特征，以决定何时以及如何成功地将POMDP应用于机器人任务。对于POMDP算法设计师，该调查为将POMDP应用于机器人系统的独特挑战提供了新的见解，并指出了有希望的新方向进行进一步研究。

With the development of deep representation learning, the domain of reinforcement learning (RL) has become a powerful learning framework now capable of learning complex policies in high dimensional environments. This review summarises deep reinforcement learning (DRL) algorithms and provides a taxonomy of automated driving tasks where (D)RL methods have been employed, while addressing key computational challenges in real world deployment of autonomous driving agents. It also delineates adjacent domains such as behavior cloning, imitation learning, inverse reinforcement learning that are related but are not classical RL algorithms. The role of simulators in training agents, methods to validate, test and robustify existing solutions in RL are discussed.

Reinforcement learning can enable robots to navigate to distant goals while optimizing user-specified reward functions, including preferences for following lanes, staying on paved paths, or avoiding freshly mowed grass. However, online learning from trial-and-error for real-world robots is logistically challenging, and methods that instead can utilize existing datasets of robotic navigation data could be significantly more scalable and enable broader generalization. In this paper, we present ReViND, the first offline RL system for robotic navigation that can leverage previously collected data to optimize user-specified reward functions in the real-world. We evaluate our system for off-road navigation without any additional data collection or fine-tuning, and show that it can navigate to distant goals using only offline training from this dataset, and exhibit behaviors that qualitatively differ based on the user-specified reward function.

In this paper, we propose a control synthesis method for signal temporal logic (STL) specifications with neural networks (NNs). Most of the previous works consider training a controller for only a given STL specification. These approaches, however, require retraining the NN controller if a new specification arises and needs to be satisfied, which results in large consumption of memory and inefficient training. To tackle this problem, we propose to construct NN controllers by introducing encoder-decoder structured NNs with an attention mechanism. The encoder takes an STL formula as input and encodes it into an appropriate vector, and the decoder outputs control signals that will meet the given specification. As the encoder, we consider three NN structures: sequential, tree-structured, and graph-structured NNs. All the model parameters are trained in an end-to-end manner to maximize the expected robustness that is known to be a quantitative semantics of STL formulae. We compare the control performances attained by the above NN structures through a numerical experiment of the path planning problem, showing the efficacy of the proposed approach.

Reinforcement Learning (RL) can solve complex tasks but does not intrinsically provide any guarantees on system behavior. For real-world systems that fulfill safety-critical tasks, such guarantees on safety specifications are necessary. To bridge this gap, we propose a verifiably safe RL procedure with probabilistic guarantees. First, our approach probabilistically verifies a candidate controller with respect to a temporal logic specification, while randomizing the controller's inputs within a bounded set. Then, we use RL to improve the performance of this probabilistically verified, i.e. safe, controller and explore in the same bounded set around the controller's input as was randomized over in the verification step. Finally, we calculate probabilistic safety guarantees with respect to temporal logic specifications for the learned agent. Our approach is efficient for continuous action and state spaces and separates safety verification and performance improvement into two independent steps. We evaluate our approach on a safe evasion task where a robot has to evade a dynamic obstacle in a specific manner while trying to reach a goal. The results show that our verifiably safe RL approach leads to efficient learning and performance improvements while maintaining safety specifications.

强化学习（RL）是一种有希望的方法，对现实世界的应用程序取得有限，因为确保安全探索或促进充分利用是控制具有未知模型和测量不确定性的机器人系统的挑战。这种学习问题对于连续空间（状态空间和动作空间）的复杂任务变得更加棘手。在本文中，我们提出了一种由几个方面组成的基于学习的控制框架：（1）线性时间逻辑（LTL）被利用，以便于可以通过无限视野的复杂任务转换为新颖的自动化结构; （2）我们为RL-Agent提出了一种创新的奖励计划，正式保证，使全球最佳政策最大化满足LTL规范的概率; （3）基于奖励塑造技术，我们开发了利用自动机构结构的好处进行了模块化的政策梯度架构来分解整体任务，并促进学习控制器的性能; （4）通过纳入高斯过程（GPS）来估计不确定的动态系统，我们使用指数控制屏障功能（ECBF）综合基于模型的保障措施来解决高阶相对度的问题。此外，我们利用LTL自动化和ECBF的性质来构建引导过程，以进一步提高勘探效率。最后，我们通过多个机器人环境展示了框架的有效性。我们展示了这种基于ECBF的模块化深RL算法在训练期间实现了近乎完美的成功率和保护安全性，并且在训练期间具有很高的概率信心。

本文介绍了一个名为STLCG的技术，使用计算图计算信号时间逻辑（STL）公式的定量语义。 STLCG提供了一个平台，它可以将逻辑规范纳入从基于梯度的解决方案中受益的机器人问题。具体而言，STL是一种强大且表现力的正式语言，可以指定连续和混合系统产生的信号的空间和时间特性。 STL的定量语义提供了鲁棒性度量，即，信号满足或违反STL规范的量。在这项工作中，我们设计了一种系统方法，用于将STL鲁棒性公式转化为计算图形。通过这种表示，通过利用现成的自动差异化工具，我们能够通过STL稳健性公式有效地反向，因此可以实现具有许多基于梯度的方法的STL规范的自然且易于使用的STL规范集成。通过各种机器人应用的许多示例，我们证明STLCG是多功能的，计算效率，并且能够将人域知识纳入问题制定中。

教深入的强化学习（RL）代理在多任务环境中遵循说明是一个挑战性的问题。我们认为用户通过线性时间逻辑（LTL）公式定义了每个任务。但是，用户可能未知的复杂环境中的某些因果关系依赖性未知。因此，当人类用户指定说明时，机器人无法通过简单地按照给定的说明来解决任务。在这项工作中，我们提出了一个分层增强学习（HRL）框架，其中学习了符号过渡模型，以有效地制定高级计划，以指导代理有效地解决不同的任务。具体而言，符号过渡模型是通过归纳逻辑编程（ILP）学习的，以捕获状态过渡的逻辑规则。通过计划符号过渡模型的乘积和从LTL公式得出的自动机的乘积，代理可以解决因果关系依赖性，并将因果复杂问题分解为一系列简单的低级子任务。我们在离散和连续域中的三个环境上评估了提出的框架，显示了比以前的代表性方法的优势。

从演示（LFD）方法中学习显示了解决多步任务的希望；但是，这些方法不能保证在给定干扰的情况下成功复制任务。在这项工作中，我们确定了这一挑战的根源，例如学习的连续政策失败无法满足演示中隐含的离散计划。通过利用模式（而不是子观念）作为具有模式不变性和目标达到性能属性的离散抽象和运动策略，我们证明我们所学的连续策略可以模拟由线性时间逻辑（LTL）公式指定的任何离散计划。因此，模仿者对任务和运动级别的干扰都具有鲁棒性，并保证取得任务成功。项目页面：https：//sites.google.com/view/ltl-ds

蒙特卡洛树搜索（MCT）是设计游戏机器人或解决顺序决策问题的强大方法。该方法依赖于平衡探索和开发的智能树搜索。MCT以模拟的形式进行随机抽样，并存储动作的统计数据，以在每个随后的迭代中做出更有教育的选择。然而，该方法已成为组合游戏的最新技术，但是，在更复杂的游戏（例如那些具有较高的分支因素或实时系列的游戏）以及各种实用领域（例如，运输，日程安排或安全性）有效的MCT应用程序通常需要其与问题有关的修改或与其他技术集成。这种特定领域的修改和混合方法是本调查的主要重点。最后一项主要的MCT调查已于2012年发布。自发布以来出现的贡献特别感兴趣。

本研究提出了一种具有动态障碍物和不均匀地形的部分可观察环境中的BipeDal运动的安全任务和运动计划（夯实）的分层综合框架。高级任务规划师采用线性时间逻辑（LTL），用于机器人及其环境之间的反应游戏合成，并为导航安全和任务完成提供正式保证。为了解决环境部分可观察性，在高级导航计划者采用信仰抽象，以估计动态障碍的位置。因此，合成的动作规划器向中级运动规划器发送一组运动动作，同时基于运动过程的阶数模型（ROM）结合从安全定理提取的安全机置规范。运动计划程序采用ROM设计安全标准和采样算法，以生成准确跟踪高级动作的非周期性运动计划。为了解决外部扰动，本研究还调查了关键帧运动状态的安全顺序组成，通过可达性分析实现了对外部扰动的强大转变。最终插值一组基于ROM的超参数，以设计由轨迹优化生成的全身运动机器，并验证基于ROM的可行部署，以敏捷机器人设计的20多个自由的Cassie机器人。

我们研究了从机器人交互的大型离线数据集学习一系列基于视觉的操纵任务的问题。为了实现这一目标，人类需要简单有效地将任务指定给机器人。目标图像是一种流行的任务规范形式，因为它们已经在机器人的观察空间接地。然而，目标图像也有许多缺点：它们对人类提供的不方便，它们可以通过提供导致稀疏奖励信号的所需行为，或者在非目标达到任务的情况下指定任务信息。自然语言为任务规范提供了一种方便而灵活的替代方案，而是随着机器人观察空间的接地语言挑战。为了可扩展地学习此基础，我们建议利用具有人群源语言标签的离线机器人数据集（包括高度最佳，自主收集的数据）。使用此数据，我们学习一个简单的分类器，该分类器预测状态的更改是否完成了语言指令。这提供了一种语言调节奖励函数，然后可以用于离线多任务RL。在我们的实验中，我们发现，在语言条件的操作任务中，我们的方法优于目标 - 图像规格和语言条件仿制技术超过25％，并且能够从自然语言中执行Visuomotor任务，例如“打开右抽屉“和”移动订书机“，在弗兰卡·埃米卡熊猫机器人上。

本文提出了一种用于从演示中学习逻辑任务规范和成本函数的方法。线性时间逻辑（LTL）公式广泛用于表达自主系统的复杂目标和约束。然而，这些规范可能是充满挑战的手工构造。相反，我们考虑展示任务执行，其时间逻辑结构和转换成本需要由自主代理推断。我们采用光谱学习方法来提取加权有限自动机（WFA），近似于任务的未知逻辑结构。此后，我们在WFA之间定义了用于高级任务指导的产品和用于低级控制的标记的Markov决策过程。反向增强学习（IRL）问题被认为是通过通过规划算法反复制造代理和专家行为之间的损失来学习成本函数。我们所提出的模型称为WFA-IRL，能够在一套杂种环境中概括推断的任务规范。

勘探是基于深入强化学习（DRL）的无模型导航控制的基本挑战，因为针对目标驱动的导航任务的典型勘探技术依赖于噪声或贪婪的政策，这些策略对奖励的密度敏感。实际上，机器人总是在复杂的混乱环境中部署，其中包含密集的障碍和狭窄的通道，从而提高了很难探索训练的自然备用奖励。当预定义的任务复杂并且具有丰富的表现力时，这种问题变得更加严重。在本文中，我们专注于这两个方面，并为任务指导的机器人提供了一种深层的政策梯度算法，该机器人在复杂的混乱环境中部署了未知的动态系统。线性时间逻辑（LTL）用于表达丰富的机器人规范。为了克服训练期间探索的环境挑战，我们提出了一种新颖的路径计划引导奖励方案，该方案在状态空间上密集，并且至关重要的是，由于黑盒动力学而导致计算的几何路径的不可行性。为了促进LTL满意度，我们的方法将LTL任务分解为使用分布式DRL解决的子任务，在该子任务中，可以使用深层政策梯度算法并行培训子任务。我们的框架被证明可显着提高性能（有效性，效率）和对大规模复杂环境中复杂任务的机器人的探索。可以在YouTube频道上找到视频演示：https：//youtu.be/yqrq2-ymtik。