尽管深度强化学习（DRL）为控制机器人和自主系统（RAS）的控制提供了变革能力，但DRL的黑盒性质和不确定的RAS部署环境对其可靠性构成了新的挑战。尽管现有的作品对DRL政策施加了限制，以确保成功完成任务，但考虑到所有可靠性的属性，以整体方式评估DRL驱动的RA远远不足。在本文中，我们正式定义了时间逻辑中的一组可靠性属性，并构建离散时间马尔可夫链（DTMC），以建模DRL驱动的RAS的风险/失败动力学与随机环境相互作用。然后，我们在设计的DTMC上进行概率模型检查（PMC）以验证这些属性。我们的实验结果表明，所提出的方法是作为整体评估框架有效的，同时发现可能需要在培训中需要权衡取舍的物业之间的冲突。此外，我们发现标准DRL培训无法提高可靠性属性，因此需要定制优化目标。最后，我们的方法对环境的干扰水平的可靠性分析提供了敏感性分析，从而提供了保证实际RA的见解。

在自动车辆，健康和航空等安全关键系统领域中越来越多的加强学习引发了确保其安全的必要性。现有的安全机制，如对抗性训练，对抗性检测和强大的学习并不总是适应代理部署的所有干扰。这些干扰包括移动的对手，其行为可能无法预测的代理人，并且作为对其学习有害的事实问题。确保关键系统的安全性也需要提供正式保障对扰动环境中的代理人的行为的正式保障。因此，有必要提出适应代理人面临的学习挑战的新解决方案。在本文中，首先，我们通过提出移动对手，产生对代理人政策中的缺陷的对抗性代理人。其次，我们使用奖励塑造和修改的Q学习算法作为防御机制，在面临对抗扰动时改善代理人的政策。最后，采用概率模型检查来评估两种机制的有效性。我们在离散网格世界进行了实验，其中一个面临非学习和学习对手的单一代理人。我们的结果表明，代理商与对手之间的碰撞次数减少。概率模型检查提供了关于对普遍环境中的代理安全性的较低和上部概率范围。

马尔可夫决策过程通常用于不确定性下的顺序决策。然而，对于许多方面，从受约束或安全规范到任务和奖励结构中的各种时间（非Markovian）依赖性，需要扩展。为此，近年来，兴趣已经发展成为强化学习和时间逻辑的组合，即灵活的行为学习方法的组合，具有稳健的验证和保证。在本文中，我们描述了最近引入的常规决策过程的实验调查，该过程支持非马洛维亚奖励功能以及过渡职能。特别是，我们为常规决策过程，与在线，增量学习有关的算法扩展，对无模型和基于模型的解决方案算法的实证评估，以及以常规但非马尔维亚，网格世界的应用程序的算法扩展。

勘探是基于深入强化学习（DRL）的无模型导航控制的基本挑战，因为针对目标驱动的导航任务的典型勘探技术依赖于噪声或贪婪的政策，这些策略对奖励的密度敏感。实际上，机器人总是在复杂的混乱环境中部署，其中包含密集的障碍和狭窄的通道，从而提高了很难探索训练的自然备用奖励。当预定义的任务复杂并且具有丰富的表现力时，这种问题变得更加严重。在本文中，我们专注于这两个方面，并为任务指导的机器人提供了一种深层的政策梯度算法，该机器人在复杂的混乱环境中部署了未知的动态系统。线性时间逻辑（LTL）用于表达丰富的机器人规范。为了克服训练期间探索的环境挑战，我们提出了一种新颖的路径计划引导奖励方案，该方案在状态空间上密集，并且至关重要的是，由于黑盒动力学而导致计算的几何路径的不可行性。为了促进LTL满意度，我们的方法将LTL任务分解为使用分布式DRL解决的子任务，在该子任务中，可以使用深层政策梯度算法并行培训子任务。我们的框架被证明可显着提高性能（有效性，效率）和对大规模复杂环境中复杂任务的机器人的探索。可以在YouTube频道上找到视频演示：https：//youtu.be/yqrq2-ymtik。

强化学习（RL）是一种有希望的方法，对现实世界的应用程序取得有限，因为确保安全探索或促进充分利用是控制具有未知模型和测量不确定性的机器人系统的挑战。这种学习问题对于连续空间（状态空间和动作空间）的复杂任务变得更加棘手。在本文中，我们提出了一种由几个方面组成的基于学习的控制框架：（1）线性时间逻辑（LTL）被利用，以便于可以通过无限视野的复杂任务转换为新颖的自动化结构; （2）我们为RL-Agent提出了一种创新的奖励计划，正式保证，使全球最佳政策最大化满足LTL规范的概率; （3）基于奖励塑造技术，我们开发了利用自动机构结构的好处进行了模块化的政策梯度架构来分解整体任务，并促进学习控制器的性能; （4）通过纳入高斯过程（GPS）来估计不确定的动态系统，我们使用指数控制屏障功能（ECBF）综合基于模型的保障措施来解决高阶相对度的问题。此外，我们利用LTL自动化和ECBF的性质来构建引导过程，以进一步提高勘探效率。最后，我们通过多个机器人环境展示了框架的有效性。我们展示了这种基于ECBF的模块化深RL算法在训练期间实现了近乎完美的成功率和保护安全性，并且在训练期间具有很高的概率信心。

Besides the recent impressive results on reinforcement learning (RL), safety is still one of the major research challenges in RL. RL is a machine-learning approach to determine near-optimal policies in Markov decision processes (MDPs). In this paper, we consider the setting where the safety-relevant fragment of the MDP together with a temporal logic safety specification is given and many safety violations can be avoided by planning ahead a short time into the future. We propose an approach for online safety shielding of RL agents. During runtime, the shield analyses the safety of each available action. For any action, the shield computes the maximal probability to not violate the safety specification within the next $k$ steps when executing this action. Based on this probability and a given threshold, the shield decides whether to block an action from the agent. Existing offline shielding approaches compute exhaustively the safety of all state-action combinations ahead of time, resulting in huge computation times and large memory consumption. The intuition behind online shielding is to compute at runtime the set of all states that could be reached in the near future. For each of these states, the safety of all available actions is analysed and used for shielding as soon as one of the considered states is reached. Our approach is well suited for high-level planning problems where the time between decisions can be used for safety computations and it is sustainable for the agent to wait until these computations are finished. For our evaluation, we selected a 2-player version of the classical computer game SNAKE. The game represents a high-level planning problem that requires fast decisions and the multiplayer setting induces a large state space, which is computationally expensive to analyse exhaustively.

值得信赖的强化学习算法应有能力解决挑战性的现实问题，包括{Robustly}处理不确定性，满足{安全}的限制以避免灾难性的失败，以及在部署过程中{prencepentiming}以避免灾难性的失败}。这项研究旨在概述这些可信赖的强化学习的主要观点，即考虑其在鲁棒性，安全性和概括性上的内在脆弱性。特别是，我们给出严格的表述，对相应的方法进行分类，并讨论每个观点的基准。此外，我们提供了一个前景部分，以刺激有希望的未来方向，并简要讨论考虑人类反馈的外部漏洞。我们希望这项调查可以在统一的框架中将单独的研究汇合在一起，并促进强化学习的可信度。

在过去的十年中，深入的强化学习（DRL）算法已经越来越多地使用，以解决各种决策问题，例如自动驾驶和机器人技术。但是，这些算法在部署在安全至关重要的环境中时面临着巨大的挑战，因为它们经常表现出错误的行为，可能导致潜在的关键错误。评估DRL代理的安全性的一种方法是测试它们，以检测可能导致执行过程中严重失败的故障。这就提出了一个问题，即我们如何有效测试DRL政策以确保其正确性和遵守安全要求。测试DRL代理的大多数现有作品都使用扰动代理的对抗性攻击。但是，这种攻击通常会导致环境的不切实际状态。他们的主要目标是测试DRL代理的鲁棒性，而不是测试代理商在要求方面的合规性。由于DRL环境的巨大状态空间，测试执行的高成本以及DRL算法的黑盒性质，因此不可能对DRL代理进行详尽的测试。在本文中，我们提出了一种基于搜索的强化学习代理（Starla）的测试方法，以通过有效地在有限的测试预算中寻找无法执行的代理执行，以测试DRL代理的策略。我们使用机器学习模型和专用的遗传算法来缩小搜索错误的搜索。我们将Starla应用于深Q学习剂，该Qualla被广泛用作基准测试，并表明它通过检测到与代理商策略相关的更多故障来大大优于随机测试。我们还研究了如何使用我们的搜索结果提取表征DRL代理的错误事件的规则。这些规则可用于了解代理失败的条件，从而评估其部署风险。

With the development of deep representation learning, the domain of reinforcement learning (RL) has become a powerful learning framework now capable of learning complex policies in high dimensional environments. This review summarises deep reinforcement learning (DRL) algorithms and provides a taxonomy of automated driving tasks where (D)RL methods have been employed, while addressing key computational challenges in real world deployment of autonomous driving agents. It also delineates adjacent domains such as behavior cloning, imitation learning, inverse reinforcement learning that are related but are not classical RL algorithms. The role of simulators in training agents, methods to validate, test and robustify existing solutions in RL are discussed.

通过直接将感知输入映射到机器人控制命令中，深入的强化学习（DRL）算法已被证明在机器人导航中有效，尤其是在未知环境中。但是，大多数现有方法忽略导航中的局部最小问题，从而无法处理复杂的未知环境。在本文中，我们提出了第一个基于DRL的导航方法，该方法由具有连续动作空间，自适应向前模拟时间（AFST）的SMDP建模，以克服此问题。具体而言，我们通过修改其GAE来更好地估计SMDP中的策略梯度，改善了指定SMDP问题的分布式近端策略优化（DPPO）算法。我们在模拟器和现实世界中评估了我们的方法。

本文解决了以未知的马尔可夫决策过程（MDP）建模的移动机器人的学习控制策略的问题，该问题负责为时间逻辑任务，例如测序，覆盖或监视。 MDP捕获工作空间结构的不确定性和控制决策的结果。控制目标是合成一个控制策略，该策略最大化完成高级任务的可能性，该任务指定为线性时间逻辑（LTL）公式。为了解决这个问题，我们提出了一种针对LTL控制目标的新型基于模型的增强算法（RL）算法，该算法能够比相关方法更快地学习控制策略。它的样本效率依赖于偏见探索可能导致任务满意度的方向。这是通过利用LTL任务的自动机表示以及连续学习的MDP模型来完成的。最后，我们提供了比较实验，这些实验证明了针对LTL目标的最新RL方法的样本效率。

深度加强学习是一种越来越流行的技术，用于综合政策以控制代理商与其环境的互动。正式验证此类策略是否正确并安全执行，并且安全地执行兴趣。通过建立现有工作来验证深神经网络和连续状态动态系统的现有工作，已经在这方面取得了进展。在本文中，我们解决了验证深度加强学习的概率政策的问题，这些政策用于例如解决对抗性环境，破坏对称和管理权衡。我们提出了一种基于间隔马尔可夫决策过程的抽象方法，它会产生策略的执行上的概率保证，并使用抽象解释，混合整数线性编程，基于熵的细化和概率模型检查来构建和解决这些模型的概率保证。我们实施了我们的方法，并说明了它在选择加强学习基准的效力。

Safe Reinforcement Learning can be defined as the process of learning policies that maximize the expectation of the return in problems in which it is important to ensure reasonable system performance and/or respect safety constraints during the learning and/or deployment processes. We categorize and analyze two approaches of Safe Reinforcement Learning. The first is based on the modification of the optimality criterion, the classic discounted finite/infinite horizon, with a safety factor. The second is based on the modification of the exploration process through the incorporation of external knowledge or the guidance of a risk metric. We use the proposed classification to survey the existing literature, as well as suggesting future directions for Safe Reinforcement Learning.

在本文中，我们研究了加强学习问题的安全政策的学习。这是，我们的目标是控制我们不知道过渡概率的马尔可夫决策过程（MDP），但我们通过经验访问样品轨迹。我们将安全性定义为在操作时间内具有高概率的期望安全集中的代理。因此，我们考虑受限制的MDP，其中限制是概率。由于没有直接的方式来优化关于加强学习框架中的概率约束的政策，因此我们提出了对问题的遍历松弛。拟议的放松的优点是三倍。 （i）安全保障在集界任务的情况下保持，并且它们保持在一个给定的时间范围内，以继续进行任务。 （ii）如果政策的参数化足够丰富，则约束优化问题尽管其非凸起具有任意小的二元间隙。 （iii）可以使用标准策略梯度结果和随机近似工具容易地计算与安全学习问题相关的拉格朗日的梯度。利用这些优势，我们建立了原始双算法能够找到安全和最佳的政策。我们在连续域中的导航任务中测试所提出的方法。数值结果表明，我们的算法能够将策略动态调整到环境和所需的安全水平。

马尔可夫决策过程（MDP）是在顺序决策中常用的正式模型。 MDP捕获了可能出现的随机性，例如，通过过渡函数中的概率从不精确的执行器中捕获。但是，在数据驱动的应用程序中，从（有限）数据中得出精确的概率引入了可能导致意外或不良结果的统计错误。不确定的MDP（UMDP）不需要精确的概率，而是在过渡中使用所谓的不确定性集，占此类有限的数据。正式验证社区中的工具有效地计算了强大的政策，这些政策在不确定性集中最坏的情况下，可以证明遵守正式规格，例如安全限制。我们不断地以强大的学习方法与将专用的贝叶斯推理方案与强大策略的计算结合在一起的任何时间学习方法中不断学习MDP的过渡概率。特别是，我们的方法（1）将概率近似为间隔，（2）适应可能与中间模型不一致的新数据，并且可以随时停止（3），以在UMDP上计算强大的策略，以忠实地捕获稳健的策略到目前为止的数据。我们展示了我们的方法的有效性，并将其与在几个基准的实验评估中对UMDP计算出的UMDP进行了比较。

逃生加强学习系统的越来越趋势使其进入现实世界应用的进入现实应用程序的伴随着对他们的安全和鲁棒性的担忧越来越伴随着。近年来，已经提出了各种方法来解决安全意识的加强学习的挑战;然而，这些方法通常需要预先提供要提供的环境的手绘模型，或者环境相对简单且低维度。我们在称为潜在屏蔽的高维环境中提出了一种新的安全意识深度增强学习方法。潜在的屏蔽利用模型的代理学到的环境的内部表示，以“想象”未来的轨迹，避免被视为不安全的人。我们通过实验证明这种方法导致改善对正式定义的安全规范的依从性。

当环境稀疏和非马克维亚奖励时，使用标量奖励信号的训练加强学习（RL）代理通常是不可行的。此外，在训练之前对这些奖励功能进行手工制作很容易指定，尤其是当环境的动态仅部分知道时。本文提出了一条新型的管道，用于学习非马克维亚任务规格，作为简洁的有限状态“任务自动机”，从未知环境中的代理体验情节中。我们利用两种关键算法的见解。首先，我们通过将其视为部分可观察到的MDP并为隐藏的Markov模型使用现成的算法，从而学习了由规范的自动机和环境MDP组成的产品MDP，该模型是由规范的自动机和环境MDP组成的。其次，我们提出了一种从学习的产品MDP中提取任务自动机（假定为确定性有限自动机）的新方法。我们学到的任务自动机可以使任务分解为其组成子任务，从而提高了RL代理以后可以合成最佳策略的速率。它还提供了高级环境和任务功能的可解释编码，因此人可以轻松地验证代理商是否在没有错误的情况下学习了连贯的任务。此外，我们采取步骤确保学识渊博的自动机是环境不可静止的，使其非常适合用于转移学习。最后，我们提供实验结果，以说明我们在不同环境和任务中的算法的性能及其合并先前的领域知识以促进更有效学习的能力。

Safety is still one of the major research challenges in reinforcement learning (RL). In this paper, we address the problem of how to avoid safety violations of RL agents during exploration in probabilistic and partially unknown environments. Our approach combines automata learning for Markov Decision Processes (MDPs) and shield synthesis in an iterative approach. Initially, the MDP representing the environment is unknown. The agent starts exploring the environment and collects traces. From the collected traces, we passively learn MDPs that abstractly represent the safety-relevant aspects of the environment. Given a learned MDP and a safety specification, we construct a shield. For each state-action pair within a learned MDP, the shield computes exact probabilities on how likely it is that executing the action results in violating the specification from the current state within the next $k$ steps. After the shield is constructed, the shield is used during runtime and blocks any actions that induce a too large risk from the agent. The shielded agent continues to explore the environment and collects new data on the environment. Iteratively, we use the collected data to learn new MDPs with higher accuracy, resulting in turn in shields able to prevent more safety violations. We implemented our approach and present a detailed case study of a Q-learning agent exploring slippery Gridworlds. In our experiments, we show that as the agent explores more and more of the environment during training, the improved learned models lead to shields that are able to prevent many safety violations.

深度强化学习（DRL）是一种仅从演示和经验中学习机器人控制政策的有前途的方法。为了涵盖机器人的整个动态行为，DRL训练是通常在仿真环境中得出的主动探索过程。尽管这种模拟培训廉价且快速，但将DRL算法应用于现实世界的设置很困难。如果对代理进行训练直到它们在模拟中安全执行，则由于模拟动力学和物理机器人之间的差异引起的SIM到真实差距，将其传输到物理系统很困难。在本文中，我们提出了一种在线培训DRL代理的方法，可以使用基于模型的安全主管在实体车辆上自动驾驶。我们的解决方案使用监督系统检查代理选择的操作是安全还是不安全，并确保在车辆上始终采取安全措施。这样，我们可以在安全，快速，有效地训练DRL算法的同时绕过SIM到现实的问题。我们提供各种现实世界实验，在线培训一辆小型实体车辆，可以自动驾驶，没有事先模拟培训。评估结果表明，我们的方法在未崩溃的同时提高了样品效率的训练代理，并且受过训练的代理比在模拟中训练的代理表现出更好的驾驶性能。

在狭窄的空间中，基于传统层次自治系统的运动计划可能会导致映射，定位和控制噪声引起碰撞。此外，当无映射时，它将被禁用。为了解决这些问题，我们利用深厚的加强学习，可以证明可以有效地进行自我决策，从而在狭窄的空间中自探索而无需地图，同时避免碰撞。具体而言，基于我们的Ackermann-Steering矩形Zebrat机器人及其凉亭模拟器，我们建议矩形安全区域来表示状态并检测矩形形状的机器人的碰撞，以及无需精心制作的奖励功能，不需要增强功能。目的地信息。然后，我们在模拟的狭窄轨道中基准了五种增强学习算法，包括DDPG，DQN，SAC，PPO和PPO-DISCRETE。经过训练，良好的DDPG和DQN型号可以转移到三个全新的模拟轨道上，然后转移到三个现实世界中。