Automated synthesis of provably correct controllers for cyber-physical systems is crucial for deploying these systems in safety-critical scenarios. However, their hybrid features and stochastic or unknown behaviours make this synthesis problem challenging. In this paper, we propose a method for synthesizing controllers for Markov jump linear systems (MJLSs), a particular class of cyber-physical systems, that certifiably satisfy a requirement expressed as a specification in probabilistic computation tree logic (PCTL). An MJLS consists of a finite set of linear dynamics with unknown additive disturbances, where jumps between these modes are governed by a Markov decision process (MDP). We consider both the case where the transition function of this MDP is given by probability intervals or where it is completely unknown. Our approach is based on generating a finite-state abstraction which captures both the discrete and the continuous behaviour of the original system. We formalise such abstraction as an interval Markov decision process (iMDP): intervals of transition probabilities are computed using sampling techniques from the so-called "scenario approach", resulting in a probabilistically sound approximation of the MJLS. This iMDP abstracts both the jump dynamics between modes, as well as the continuous dynamics within the modes. To demonstrate the efficacy of our technique, we apply our method to multiple realistic benchmark problems, in particular, temperature control, and aerial vehicle delivery problems.

在安全关键设置中运行的自治系统的控制器必须考虑随机扰动。这种干扰通常被建模为过程噪声，并且常见的假设是底层分布是已知的和/或高斯的。然而，在实践中，这些假设可能是不现实的并且可以导致真正噪声分布的近似值。我们提出了一种新的规划方法，不依赖于噪声分布的任何明确表示。特别是，我们解决了计算控制器的控制器，该控制器提供了安全地到达目标的概率保证。首先，我们将连续系统摘要进入一个离散状态模型，通过状态之间的概率转换捕获噪声。作为关键贡献，我们根据噪声的有限数量的样本来调整这些过渡概率的方案方法中的工具。我们在所谓的间隔马尔可夫决策过程（IMDP）的转换概率间隔中捕获这些界限。该IMDP在过渡概率中的不确定性稳健，并且可以通过样本的数量来控制概率间隔的紧张性。我们使用最先进的验证技术在IMDP上提供保证，并计算这些保证对自主系统的控制器。即使IMDP有数百万个州或过渡，也表明了我们方法的实际适用性。

Capturing uncertainty in models of complex dynamical systems is crucial to designing safe controllers. Stochastic noise causes aleatoric uncertainty, whereas imprecise knowledge of model parameters leads to epistemic uncertainty. Several approaches use formal abstractions to synthesize policies that satisfy temporal specifications related to safety and reachability. However, the underlying models exclusively capture aleatoric but not epistemic uncertainty, and thus require that model parameters are known precisely. Our contribution to overcoming this restriction is a novel abstraction-based controller synthesis method for continuous-state models with stochastic noise and uncertain parameters. By sampling techniques and robust analysis, we capture both aleatoric and epistemic uncertainty, with a user-specified confidence level, in the transition probability intervals of a so-called interval Markov decision process (iMDP). We synthesize an optimal policy on this iMDP, which translates (with the specified confidence level) to a feedback controller for the continuous model with the same performance guarantees. Our experimental benchmarks confirm that accounting for epistemic uncertainty leads to controllers that are more robust against variations in parameter values.

我们研究了由测量和过程噪声引起的不确定性的动态系统的规划问题。测量噪声导致系统状态可观察性有限，并且过程噪声在给定控制的结果中导致不确定性。问题是找到一个控制器，保证系统在有限时间内达到所需的目标状态，同时避免障碍物，至少需要一些所需的概率。由于噪音，此问题不承认一般的精确算法或闭合性解决方案。我们的主要贡献是一种新颖的规划方案，采用卡尔曼滤波作为状态估计器，以获得动态系统的有限状态抽象，我们将作为马尔可夫决策过程（MDP）正式化。通过延长概率间隔的MDP，我们可以增强模型对近似过渡概率的数值不精确的鲁棒性。对于这种所谓的间隔MDP（IMDP），我们采用最先进的验证技术来有效地计算最大化目标状态概率的计划。我们展示了抽象的正确性，并提供了几种优化，旨在平衡计划的质量和方法的可扩展性。我们展示我们的方法能够处理具有6维状态的系统，该系统导致具有数万个状态和数百万个过渡的IMDP。

在安全关键方案中利用自主系统需要在存在影响系统动态的不确定性和黑匣子组件存在下验证其行为。在本文中，我们开发了一个框架，用于验证部分可观察到的离散时间动态系统，从给定的输入输出数据集中具有针对时间逻辑规范的未暗模式可分散的动态系统。验证框架采用高斯进程（GP）回归，以了解数据集中的未知动态，并将连续空间系统抽象为有限状态，不确定的马尔可夫决策过程（MDP）。这种抽象依赖于通过使用可重复的内核Hilbert空间分析以及通过离散化引起的不确定性来捕获由于GP回归中的错误而捕获不确定性的过渡概率间隔。该框架利用现有的模型检查工具来验证对给定时间逻辑规范的不确定MDP抽象。我们建立将验证结果扩展到潜在部分可观察系统的抽象结果的正确性。我们表明框架的计算复杂性在数据集和离散抽象的大小中是多项式。复杂性分析说明了验证结果质量与处理较大数据集和更精细抽象的计算负担之间的权衡。最后，我们展示了我们的学习和验证框架在具有线性，非线性和切换动力系统的几种案例研究中的功效。

深度加强学习是一种越来越流行的技术，用于综合政策以控制代理商与其环境的互动。正式验证此类策略是否正确并安全执行，并且安全地执行兴趣。通过建立现有工作来验证深神经网络和连续状态动态系统的现有工作，已经在这方面取得了进展。在本文中，我们解决了验证深度加强学习的概率政策的问题，这些政策用于例如解决对抗性环境，破坏对称和管理权衡。我们提出了一种基于间隔马尔可夫决策过程的抽象方法，它会产生策略的执行上的概率保证，并使用抽象解释，混合整数线性编程，基于熵的细化和概率模型检查来构建和解决这些模型的概率保证。我们实施了我们的方法，并说明了它在选择加强学习基准的效力。

马尔可夫决策过程（MDP）是在顺序决策中常用的正式模型。 MDP捕获了可能出现的随机性，例如，通过过渡函数中的概率从不精确的执行器中捕获。但是，在数据驱动的应用程序中，从（有限）数据中得出精确的概率引入了可能导致意外或不良结果的统计错误。不确定的MDP（UMDP）不需要精确的概率，而是在过渡中使用所谓的不确定性集，占此类有限的数据。正式验证社区中的工具有效地计算了强大的政策，这些政策在不确定性集中最坏的情况下，可以证明遵守正式规格，例如安全限制。我们不断地以强大的学习方法与将专用的贝叶斯推理方案与强大策略的计算结合在一起的任何时间学习方法中不断学习MDP的过渡概率。特别是，我们的方法（1）将概率近似为间隔，（2）适应可能与中间模型不一致的新数据，并且可以随时停止（3），以在UMDP上计算强大的策略，以忠实地捕获稳健的策略到目前为止的数据。我们展示了我们的方法的有效性，并将其与在几个基准的实验评估中对UMDP计算出的UMDP进行了比较。

已经开发了概率模型检查，用于验证具有随机和非季度行为的验证系统。鉴于概率系统，概率模型检查器占用属性并检查该系统中的属性是否保持。因此，概率模型检查提供严谨的保证。然而，到目前为止，概率模型检查专注于所谓的模型，其中一个状态由符号表示。另一方面，通常需要在规划和强化学习中进行关系抽象。各种框架处理关系域，例如条带规划和关系马尔可夫决策过程。使用命题模型检查关系设置需要一个地接地模型，这导致了众所周知的状态爆炸问题和难以承承性。我们提出了PCTL-Rebel，一种用于验证关系MDP的PCTL属性的提升模型检查方法。它延长了基于关系模型的强化学习技术的反叛者，朝着关系PCTL模型检查。 PCTL-REBEL被提升，这意味着而不是接地，模型利用对称在关系层面上整体的一组对象。从理论上讲，我们表明PCTL模型检查对于具有可能无限域的关系MDP可判定，条件是该状态具有有界大小。实际上，我们提供算法和提升关系模型检查的实现，并且我们表明提升方法提高了模型检查方法的可扩展性。

Besides the recent impressive results on reinforcement learning (RL), safety is still one of the major research challenges in RL. RL is a machine-learning approach to determine near-optimal policies in Markov decision processes (MDPs). In this paper, we consider the setting where the safety-relevant fragment of the MDP together with a temporal logic safety specification is given and many safety violations can be avoided by planning ahead a short time into the future. We propose an approach for online safety shielding of RL agents. During runtime, the shield analyses the safety of each available action. For any action, the shield computes the maximal probability to not violate the safety specification within the next $k$ steps when executing this action. Based on this probability and a given threshold, the shield decides whether to block an action from the agent. Existing offline shielding approaches compute exhaustively the safety of all state-action combinations ahead of time, resulting in huge computation times and large memory consumption. The intuition behind online shielding is to compute at runtime the set of all states that could be reached in the near future. For each of these states, the safety of all available actions is analysed and used for shielding as soon as one of the considered states is reached. Our approach is well suited for high-level planning problems where the time between decisions can be used for safety computations and it is sustainable for the agent to wait until these computations are finished. For our evaluation, we selected a 2-player version of the classical computer game SNAKE. The game represents a high-level planning problem that requires fast decisions and the multiplayer setting induces a large state space, which is computationally expensive to analyse exhaustively.

当环境稀疏和非马克维亚奖励时，使用标量奖励信号的训练加强学习（RL）代理通常是不可行的。此外，在训练之前对这些奖励功能进行手工制作很容易指定，尤其是当环境的动态仅部分知道时。本文提出了一条新型的管道，用于学习非马克维亚任务规格，作为简洁的有限状态“任务自动机”，从未知环境中的代理体验情节中。我们利用两种关键算法的见解。首先，我们通过将其视为部分可观察到的MDP并为隐藏的Markov模型使用现成的算法，从而学习了由规范的自动机和环境MDP组成的产品MDP，该模型是由规范的自动机和环境MDP组成的。其次，我们提出了一种从学习的产品MDP中提取任务自动机（假定为确定性有限自动机）的新方法。我们学到的任务自动机可以使任务分解为其组成子任务，从而提高了RL代理以后可以合成最佳策略的速率。它还提供了高级环境和任务功能的可解释编码，因此人可以轻松地验证代理商是否在没有错误的情况下学习了连贯的任务。此外，我们采取步骤确保学识渊博的自动机是环境不可静止的，使其非常适合用于转移学习。最后，我们提供实验结果，以说明我们在不同环境和任务中的算法的性能及其合并先前的领域知识以促进更有效学习的能力。

强化学习（RL）是一种有希望的方法，对现实世界的应用程序取得有限，因为确保安全探索或促进充分利用是控制具有未知模型和测量不确定性的机器人系统的挑战。这种学习问题对于连续空间（状态空间和动作空间）的复杂任务变得更加棘手。在本文中，我们提出了一种由几个方面组成的基于学习的控制框架：（1）线性时间逻辑（LTL）被利用，以便于可以通过无限视野的复杂任务转换为新颖的自动化结构; （2）我们为RL-Agent提出了一种创新的奖励计划，正式保证，使全球最佳政策最大化满足LTL规范的概率; （3）基于奖励塑造技术，我们开发了利用自动机构结构的好处进行了模块化的政策梯度架构来分解整体任务，并促进学习控制器的性能; （4）通过纳入高斯过程（GPS）来估计不确定的动态系统，我们使用指数控制屏障功能（ECBF）综合基于模型的保障措施来解决高阶相对度的问题。此外，我们利用LTL自动化和ECBF的性质来构建引导过程，以进一步提高勘探效率。最后，我们通过多个机器人环境展示了框架的有效性。我们展示了这种基于ECBF的模块化深RL算法在训练期间实现了近乎完美的成功率和保护安全性，并且在训练期间具有很高的概率信心。

本文在具有部分未知语义的环境中解决了多机器人规划问题。假设环境具有已知的几何结构（例如，墙壁），并且由具有不确定位置和类的静态标记的地标占用。这种建模方法引发了语义SLAM算法生成的不确定语义地图。我们的目标是为配备有嘈杂感知系统的机器人设计控制策略，以便他们可以完成全局时间逻辑规范捕获的协同任务。为了指定考虑环境和感知不确定性的任务，我们采用了线性时间逻辑（LTL）的片段，称为CO-Safe LTL，定义了基于感知的原子谓性建模概率满意度要求。基于感知的LTL规划问题产生了通过新型采样的算法解决的最佳控制问题，它产生了在线更新的开环控制策略，以适应连续学习的语义地图。我们提供广泛的实验，以证明拟议的规划架构的效率。

本文研究了运动和环境不确定性的最佳运动规划。通过将系统建模作为概率标记的马尔可夫决策过程（PL-MDP），控制目标是合成有限内存策略，在该策略下，该代理满足具有所需满足的线性时间逻辑（LTL）的高级复杂任务可能性。特别地，考虑了满足无限地平线任务的轨迹的成本优化，分析了降低预期平均成本和最大化任务满意度概率之间的权衡。而不是使用传统的Rabin Automata，LTL公式被转换为限制确定性的B \“UCHI自动机（LDBA），其具有更直接的接受条件和更紧凑的图形结构。这项工作的新颖性在于考虑案件LTL规范可能是不可行的，并且在PL-MDP和LDBA之间的轻松产品MDP的开发可能是不可行的和开发。放松的产品MDP允许代理在任务不完全可行的情况下进行修改其运动计划，并量化修订计划的违规测量。然后配制多目标优化问题，共同考虑任务满意度的概率，违反原始任务限制的违规以及策略执行的实施成本，通过耦合的线性计划解决。据最好我们的知识，它是第一个弥合规划修订版和计划前缀和计划的最佳控制合成之间的差距的工作在无限地平线上修复代理轨迹。提供实验结果以证明所提出的框架的有效性。

We study the problem of learning controllers for discrete-time non-linear stochastic dynamical systems with formal reach-avoid guarantees. This work presents the first method for providing formal reach-avoid guarantees, which combine and generalize stability and safety guarantees, with a tolerable probability threshold $p\in[0,1]$ over the infinite time horizon. Our method leverages advances in machine learning literature and it represents formal certificates as neural networks. In particular, we learn a certificate in the form of a reach-avoid supermartingale (RASM), a novel notion that we introduce in this work. Our RASMs provide reachability and avoidance guarantees by imposing constraints on what can be viewed as a stochastic extension of level sets of Lyapunov functions for deterministic systems. Our approach solves several important problems -- it can be used to learn a control policy from scratch, to verify a reach-avoid specification for a fixed control policy, or to fine-tune a pre-trained policy if it does not satisfy the reach-avoid specification. We validate our approach on $3$ stochastic non-linear reinforcement learning tasks.

概率模型检查是一种有用的技术，用于指定和验证随机系统的属性，包括随机协议和增强学习模型。现有方法依赖于某些系统过渡的假定结构和概率。这些假设可能是不正确的，甚至可能因对系统组件的控制而违反。在本文中，我们在模型以离散时间马尔可夫链（DTMC）为模型的系统中开发了一个正式的框架。我们将框架基于验证概率时间逻辑属性的现有方法，并将其扩展到包括在马尔可夫决策过程（MDP）中作用的确定性，无内存策略。我们的框架包括一种灵活的方法，用于指定结构保护和非结构的对抗模型。我们概述了一类威胁模型，在这些模型下，对手可以在原始过渡概率周围受到$ \ varepsilon $ ball的约束。我们定义三个主要DTMC对抗鲁棒性问题：对抗性鲁棒性验证，最大$ \ delta $综合和最坏情况攻击合成。我们为这三个问题提供了两个基于优化的解决方案，利用传统和参数概率模型检查技术。然后，我们在两个随机方案和一系列网格世界案例研究上评估我们的解决方案，该案例研究模拟了在称为MDP的环境中作用的代理。我们发现参数解决方案会导致小参数空间的快速计算。在限制性较小（更强）的对手的情况下，参数数量增加，直接计算属性满意度概率更可扩展。我们通过比较有关各种属性，威胁模型和案例研究的系统结果来证明我们的定义和解决方案的有用性。

马尔可夫决策过程通常用于不确定性下的顺序决策。然而，对于许多方面，从受约束或安全规范到任务和奖励结构中的各种时间（非Markovian）依赖性，需要扩展。为此，近年来，兴趣已经发展成为强化学习和时间逻辑的组合，即灵活的行为学习方法的组合，具有稳健的验证和保证。在本文中，我们描述了最近引入的常规决策过程的实验调查，该过程支持非马洛维亚奖励功能以及过渡职能。特别是，我们为常规决策过程，与在线，增量学习有关的算法扩展，对无模型和基于模型的解决方案算法的实证评估，以及以常规但非马尔维亚，网格世界的应用程序的算法扩展。

我们使用线性时间逻辑（LTL）约束研究策略优化问题（PO）。LTL的语言允许灵活描述可能不自然的任务，以编码为标量成本函数。我们将LTL受限的PO视为系统框架，将任务规范与策略选择解耦，以及成本塑造标准的替代方案。通过访问生成模型，我们开发了一种基于模型的方法，该方法享有样本复杂性分析，以确保任务满意度和成本最佳性（通过减少到可达性问题）。从经验上讲，即使在低样本制度中，我们的算法也可以实现强大的性能。

基于联系的决策和规划方法越来越重要，无法为腿机器人提供更高的自主性。源自符号系统的正式合成方法具有巨大的推理潜力，了解高级机器决策，并以正确的担保实现复杂的机动行动。本研究迈出了一种正式设计由受约束和动态变化环境中的任务规划和控制全身动态运动行为的架构组成的架构。在高级别，我们在多肢运动策划器和其动态环境之间制定了两个玩家时间逻辑游戏，以综合提供符号机置操作的获胜策略。这些运动动作满足时间逻辑片段中的所需高级任务规范。这些操作被发送到强大的有限转换系统，该过渡系统合成了满足状态可达性限制的运动控制器。该控制器进一步通过低级运动规划器执行，所述低级运动计划产生可行的机器人轨迹。我们构建一组动态运动模型，可用于腿机器人，作为用于处理各种环境事件的模板库。我们设计了一种重新调整策略，考虑到突然的环境变化或大状态干扰，以增加所产生的机器行为的鲁棒性。我们正式证明分层运动框架的正确性，保证了运动规划层的强大实现。在各种环境中的反应运动行为模拟表明我们的框架具有潜在的智能机置行为的理论基础。

近年来，研究人员在设计了用于优化线性时间逻辑（LTL）目标和LTL的目标中的增强学习算法方面取得了重大进展。尽管有这些进步，但解决了这个问题的基本限制，以至于以前的研究暗示，但对我们的知识而言，尚未深入检查。在本文中，我们通过一般的LTL目标理解了学习的硬度。我们在马尔可夫决策过程（PAC-MDP）框架（PAC-MDP）框架中可能大致正确学习的问题正式化，这是一种测量加固学习中的样本复杂性的标准框架。在这一形式化中，我们证明，只有在LTL层次结构中最有限的类别中，才有于仅当公式中的最有限的类别，因此才能获得PAC-MDP的最佳政策。实际上，我们的结果意味着加强学习算法无法在与非有限范围可解除的LTL目标的无限环境的相互作用之后获得其学习政策的性能的PAC-MDP保证。

过去半年来，从控制和强化学习社区的真实机器人部署的安全学习方法的贡献数量急剧上升。本文提供了一种简洁的但整体审查，对利用机器学习实现的最新进展，以实现在不确定因素下的安全决策，重点是统一控制理论和加固学习研究中使用的语言和框架。我们的评论包括：基于学习的控制方法，通过学习不确定的动态，加强学习方法，鼓励安全或坚固性的加固学习方法，以及可以正式证明学习控制政策安全的方法。随着基于数据和学习的机器人控制方法继续获得牵引力，研究人员必须了解何时以及如何最好地利用它们在安全势在必行的现实情景中，例如在靠近人类的情况下操作时。我们突出了一些开放的挑战，即将在未来几年推动机器人学习领域，并强调需要逼真的物理基准的基准，以便于控制和加固学习方法之间的公平比较。