许多机器人任务需要高维传感器，如相机和激光雷达，以导航复杂的环境，但是在这些传感器周围开发认可的安全反馈控制器仍然是一个具有挑战性的公开问题，特别是在涉及学习时的开放问题。以前的作品通过分离感知和控制子系统并对感知子系统的能力做出强烈的假设来证明了感知反馈控制器的安全性。在这项工作中，我们介绍了一种新的启用学习的感知反馈混合控制器，在那里我们使用控制屏障函数（CBF）和控制Lyapunov函数（CLF）来显示全堆叠感知反馈控制器的安全性和活力。我们使用神经网络直接在机器人的观察空间中学习全堆栈系统的CBF和CLF，而无需承担基于感知的状态估计器。我们的混合控制器称为基因座（使用切换启用了学习的观察反馈控制），可以安全地导航未知的环境，始终如一地达到其目标，并将安全性安全地概括为培训数据集之外的环境。我们在模拟和硬件中展示了实验中的轨迹，在那里它使用LIDAR传感器的反馈成功地导航变化环境。
translated by 谷歌翻译
在强化学习（RL）的试验和错误机制中，我们期望学习安全的政策时出现臭名昭着的矛盾：如何学习没有足够数据和关于危险区域的先前模型的安全政策？现有方法主要使用危险行动的后期惩罚，这意味着代理人不会受到惩罚，直到体验危险。这一事实导致代理商也无法在收敛之后学习零违规政策。否则，它不会收到任何惩罚并失去有关危险的知识。在本文中，我们提出了安全设置的演员 - 评论家（SSAC）算法，它使用面向安全的能量函数或安全索引限制了策略更新。安全索引旨在迅速增加，以便潜在的危险行动，这使我们能够在动作空间上找到安全设置，或控制安全集。因此，我们可以在服用它们之前识别危险行为，并在收敛后进一步获得零限制违规政策。我们声称我们可以以类似于学习价值函数的无模型方式学习能量函数。通过使用作为约束目标的能量函数转变，我们制定了受约束的RL问题。我们证明我们基于拉格朗日的解决方案确保学习的政策将收敛到某些假设下的约束优化。在复杂的模拟环境和硬件循环（HIL）实验中评估了所提出的算法，具有来自自动车辆的真实控制器。实验结果表明，所有环境中的融合政策达到了零限制违规和基于模型的基线的相当性能。
translated by 谷歌翻译
过去半年来，从控制和强化学习社区的真实机器人部署的安全学习方法的贡献数量急剧上升。本文提供了一种简洁的但整体审查，对利用机器学习实现的最新进展，以实现在不确定因素下的安全决策，重点是统一控制理论和加固学习研究中使用的语言和框架。我们的评论包括：基于学习的控制方法，通过学习不确定的动态，加强学习方法，鼓励安全或坚固性的加固学习方法，以及可以正式证明学习控制政策安全的方法。随着基于数据和学习的机器人控制方法继续获得牵引力，研究人员必须了解何时以及如何最好地利用它们在安全势在必行的现实情景中，例如在靠近人类的情况下操作时。我们突出了一些开放的挑战，即将在未来几年推动机器人学习领域，并强调需要逼真的物理基准的基准，以便于控制和加固学习方法之间的公平比较。
translated by 谷歌翻译
安全是使用强化学习（RL）控制复杂动态系统的主要考虑，其中安全证书可以提供可提供的安全保证。有效的安全证书是指示安全状态具有低能量的能量功能，存在相应的安全控制策略，允许能量函数始终消散。安全证书和安全控制政策彼此密切相关，并挑战合成。因此，现有的基于学习的研究将它们中的任何一种视为先验知识，以便学习另一个知识，这限制了它们与一般未知动态的适用性。本文提出了一种新的方法，同时综合基于能量函数的安全证书，并使用CRL学习安全控制策略。我们不依赖于有关基于型号的控制器或完美的安全证书的先验知识。特别是，我们通过最小化能量增加，制定损耗功能来优化安全证书参数。通过将此优化过程作为外循环添加到基于拉格朗日的受限增强学习（CRL），我们共同更新策略和安全证书参数，并证明他们将收敛于各自的本地Optima，最佳安全政策和有效的安全性证书。我们在多个安全关键基准环境中评估我们的算法。结果表明，该算法学习无限制违规的可信安全的政策。合成安全证书的有效性或可行性也在数值上进行了验证。
translated by 谷歌翻译
当任何安全违规可能导致灾难性失败时，赛车要求每个车辆都能在其物质范围内驾驶。在这项工作中，我们研究了自主赛车的安全强化学习（RL）的问题，使用车辆的自我摄像机视图和速度作为输入。鉴于任务的性质，自主代理需要能够1）识别并避免复杂的车辆动态下的不安全场景，而2）在快速变化的环境中使子第二决定。为了满足这些标准，我们建议纳入汉密尔顿 - 雅各（HJ）可达性理论，是一般非线性系统的安全验证方法，进入受约束的马尔可夫决策过程（CMDP）框架。 HJ可达性不仅提供了一种了解安全的控制理论方法，还可以实现低延迟安全验证。尽管HJ可达性传统上不可扩展到高维系统，但我们证明了具有神经逼近的，可以直接在视觉上下文中学习HJ安全值 - 迄今为止通过该方法研究的最高尺寸问题。我们在最近发布的高保真自主赛车环境中评估了我们在几个基准任务中的方法，包括安全健身房和学习（L2R）。与安全健身房的其他受约束的RL基线相比，我们的方法非常少的限制性违规，并在L2R基准任务上实现了新的最先进结果。我们在以下匿名纸质网站提供额外可视化代理行为：https://sites.google.com/view/safeautomouracing/home
translated by 谷歌翻译
本文提出了一种数据驱动方法，用于使用收缩理论从离线数据学习收敛控制策略。收缩理论使得构建一种使闭环系统轨迹固有地朝向独特的轨迹的策略构成策略。在技术水平，识别收缩度量，该收缩度量是关于机器人的轨迹表现出收缩的距离度量通常是非琐碎的。我们建议共同了解控制政策及其相应的收缩度量，同时执行收缩。为此，我们从由机器人的状态和输入轨迹组成的离线数据集中学习机器人系统的隐式动态模型。使用此学习的动态模型，我们提出了一种用于学习收缩策略的数据增强算法。我们随机生成状态空间中的样本，并通过学习的动态模型在时间上向前传播，以生成辅助样本轨迹。然后，我们学习控制策略和收缩度量，使得来自离线数据集的轨迹之间的距离和我们生成的辅助样品轨迹随时间的减小。我们评估我们提出的模拟机器人目标达成任务的拟议框架的表现，并证明了执行收缩的速度较快，较快的收敛性和更大的学习政策的鲁棒性。
translated by 谷歌翻译
强化学习（RL）是一种有希望的方法，对现实世界的应用程序取得有限，因为确保安全探索或促进充分利用是控制具有未知模型和测量不确定性的机器人系统的挑战。这种学习问题对于连续空间（状态空间和动作空间）的复杂任务变得更加棘手。在本文中，我们提出了一种由几个方面组成的基于学习的控制框架：（1）线性时间逻辑（LTL）被利用，以便于可以通过无限视野的复杂任务转换为新颖的自动化结构; （2）我们为RL-Agent提出了一种创新的奖励计划，正式保证，使全球最佳政策最大化满足LTL规范的概率; （3）基于奖励塑造技术，我们开发了利用自动机构结构的好处进行了模块化的政策梯度架构来分解整体任务，并促进学习控制器的性能; （4）通过纳入高斯过程（GPS）来估计不确定的动态系统，我们使用指数控制屏障功能（ECBF）综合基于模型的保障措施来解决高阶相对度的问题。此外，我们利用LTL自动化和ECBF的性质来构建引导过程，以进一步提高勘探效率。最后，我们通过多个机器人环境展示了框架的有效性。我们展示了这种基于ECBF的模块化深RL算法在训练期间实现了近乎完美的成功率和保护安全性，并且在训练期间具有很高的概率信心。
translated by 谷歌翻译
控制屏障功能（CBFS）已成为强制执行控制系统安全的流行工具。CBFS通常用于二次程序配方（CBF-QP）作为安全关键限制。CBFS中的$ \ Mathcal {K} $函数通常需要手动调整，以平衡每个环境的性能和安全之间的权衡。然而，这个过程通常是启发式的并且可以对高相对度系统进行棘手。此外，它可以防止CBF-QP概括到现实世界中的不同环境。通过将CBF-QP的优化过程嵌入深度学习架构中的可差异化层，我们提出了一种可分辨率的优化的安全性关键控制框架，使得具有前向不变性的新环境的泛化。最后，我们在各种环境中使用2D双层集成器系统验证了所提出的控制设计。
translated by 谷歌翻译
本文介绍了机器人系统的安全关键控制的框架，当配置空间中的安全区域上定义了安全区域时。为了保持安全性，我们基于控制屏障函数理论综合安全速度而不依赖于机器人的A可能复杂的高保真动态模型。然后，我们跟踪跟踪控制器的安全速度。这使得在无模型安全关键控制中。我们证明了拟议方法的理论安全保障。最后，我们证明这种方法是适用于棘手的。我们在高保真仿真中使用SEGWAY执行障碍避免任务，以及在硬件实验中的无人机和Quadruped。
translated by 谷歌翻译
本文开发了一种基于模型的强化学习（MBR）框架，用于在线在线学习无限范围最佳控制问题的价值函数，同时遵循表示为控制屏障功能（CBFS）的安全约束。我们的方法是通过开发一种新型的CBFS，称为Lyapunov样CBF（LCBF），其保留CBFS的有益特性，以开发最微创的安全控制政策，同时也具有阳性半自动等所需的Lyapunov样品质 - 义法。我们展示这些LCBFS如何用于增强基于学习的控制策略，以保证安全性，然后利用这种方法在MBRL设置中开发安全探索框架。我们表明，我们的开发方法可以通过各种数值示例来处理比较法的更通用的安全限制。
translated by 谷歌翻译
策略搜索和模型预测控制〜（MPC）是机器人控制的两个不同范式：策略搜索具有使用经验丰富的数据自动学习复杂策略的强度，而MPC可以使用模型和轨迹优化提供最佳控制性能。开放的研究问题是如何利用并结合两种方法的优势。在这项工作中，我们通过使用策略搜索自动选择MPC的高级决策变量提供答案，这导致了一种新的策略搜索 - 用于模型预测控制框架。具体地，我们将MPC作为参数化控制器配制，其中难以优化的决策变量表示为高级策略。这种制定允许以自我监督的方式优化政策。我们通过专注于敏捷无人机飞行中的具有挑战性的问题来验证这一框架：通过快速的盖茨飞行四轮车。实验表明，我们的控制器在模拟和现实世界中实现了鲁棒和实时的控制性能。拟议的框架提供了合并学习和控制的新视角。
translated by 谷歌翻译
最近，基于障碍函数的安全强化学习（RL）与actor-批评结构用于连续控制任务的批评结构已经受到越来越受到关注。使用安全性和收敛保证，学习近最优控制政策仍然挑战。此外，很少有效地解决了在时变的安全约束下的安全RL算法设计。本文提出了一种基于模型的安全RL算法，用于具有时变状态和控制约束的非线性系统的最佳控制。在拟议的方法中，我们构建了一种新的基于障碍的控制策略结构，可以保证控制安全性。提出了一种多步骤策略评估机制，以预测策略在时变的安全限制下的安全风险，并指导政策安全更新。证明了稳定性和稳健性的理论结果。此外，分析了演员 - 评论家学习算法的收敛。所提出的算法的性能优于模拟安全健身房环境中的几种最先进的RL算法。此外，该方法适用于两个现实世界智能车辆的综合路径和碰撞避免问题。差动驱动车辆和Ackermann-Drive分别用于验证离线部署性能和在线学习性能。我们的方法在实验中显示了令人印象深刻的SIM-to-Real的转移能力和令人满意的在线控制性能。
translated by 谷歌翻译
安全限制和最优性很重要，但有时控制器有时相互冲突的标准。虽然这些标准通常与不同的工具单独解决以维持正式保障，但在惩罚失败时，加强学习的常见做法是惩罚，以惩罚为单纯的启发式。我们严格地检查了安全性和最优性与惩罚的关系，并对安全价值函数进行了足够的条件：对给定任务的最佳价值函数，并强制执行安全约束。我们通过强大的二元性证明，揭示这种关系的结构，表明始终存在一个有限的惩罚，引起安全值功能。这种惩罚并不是独特的，但大不束缚：更大的惩罚不会伤害最优性。虽然通常无法计算最低所需的惩罚，但我们揭示了清晰的惩罚，奖励，折扣因素和动态互动的结构。这种洞察力建议实用，理论引导的启发式设计奖励功能，用于控制安全性很重要的控制问题。
translated by 谷歌翻译
背景信息：在过去几年中，机器学习（ML）一直是许多创新的核心。然而，包括在所谓的“安全关键”系统中，例如汽车或航空的系统已经被证明是非常具有挑战性的，因为ML的范式转变为ML带来完全改变传统认证方法。目的：本文旨在阐明与ML为基础的安全关键系统认证有关的挑战，以及文献中提出的解决方案，以解决它们，回答问题的问题如何证明基于机器学习的安全关键系统？'方法：我们开展2015年至2020年至2020年之间发布的研究论文的系统文献综述（SLR），涵盖了与ML系统认证有关的主题。总共确定了217篇论文涵盖了主题，被认为是ML认证的主要支柱：鲁棒性，不确定性，解释性，验证，安全强化学习和直接认证。我们分析了每个子场的主要趋势和问题，并提取了提取的论文的总结。结果：单反结果突出了社区对该主题的热情，以及在数据集和模型类型方面缺乏多样性。它还强调需要进一步发展学术界和行业之间的联系，以加深域名研究。最后，它还说明了必须在上面提到的主要支柱之间建立连接的必要性，这些主要柱主要主要研究。结论：我们强调了目前部署的努力，以实现ML基于ML的软件系统，并讨论了一些未来的研究方向。
translated by 谷歌翻译
Reach-避免最佳控制问题，其中系统必须在保持某些目标条件的同时保持清晰的不可接受的故障模式，是自主机器人系统的安全和活力保证的核心，但它们的确切解决方案是复杂的动态和环境的难以解决。最近的钢筋学习方法的成功与绩效目标大致解决最佳控制问题，使其应用于认证问题有吸引力;然而，加固学习中使用的拉格朗日型客观不适合编码时间逻辑要求。最近的工作表明，在将加强学习机械扩展到安全型问题时，其目标不是总和，但随着时间的推移最小（或最大）。在这项工作中，我们概括了加强学习制定，以处理覆盖范围的所有最佳控制问题。我们推出了一个时间折扣 - 避免了收缩映射属性的贝尔曼备份，并证明了所得达到避免Q学习算法在类似条件下会聚到传统的拉格朗郎类型问题，从而避免任意紧凑的保守近似值放。我们进一步证明了这种配方利用深度加强学习方法，通过将近似解决方案视为模型预测监督控制框架中的不受信任的oracles来保持零违规保证。我们评估我们在一系列非线性系统上的提出框架，验证了对分析和数值解决方案的结果，并通过Monte Carlo仿真在以前的棘手问题中。我们的结果为一系列基于学习的自治行为开放了大门，具有机器人和自动化的应用。有关代码和补充材料，请参阅https://github.com/saferoboticslab/safett_rl。
translated by 谷歌翻译
本文详细说明了实际确保远程赛车赛车的安全性的理论和实施。我们在超过100公里/小时的速度上展示了7“赛车无人机的强大和实用性保证，仅在10克微控制器上仅使用在线计算。为了实现这一目标，我们利用了控制屏障功能的框架（CBFS）保证安全编码为前向集不变性。为了使该方法实际上是适用的，我们介绍了一个隐式定义的CBF，它利用备份控制器来实现可确保安全性的渐变评估。应用于硬件的方法，这是平滑，最微不足道的改变飞行员的所需输入，使他们能够在不担心崩溃的情况下推动他们的无人机的极限。此外，该方法与预先存在的飞行控制器配合工作，导致在没有附近的安全风险时不妨碍飞行。额外的效益包括安全性和稳定性在失去视线或在无线电故障时失去时的无人机。
translated by 谷歌翻译
本文介绍了可怜的高阶控制屏障功能（CBF），即结束于最终的可训练以及学习系统。CBFS通常是过于保守的，同时保证安全。在这里，我们通过使用环境依赖性软化它们的定义来解决它们的保守性，而不会损失安全保证，并将其嵌入到可分辨率的二次方案中。这些新颖的安全层称为巴里斯网，可以与任何基于神经网络的控制器结合使用，并且可以通过梯度下降训练。Barriernet允许神经控制器的安全约束适应改变环境。我们在一系列控制问题上进行评估，例如2D和3D空间中的交通合并和机器人导航，并与最先进的方法相比，证明其有效性。
translated by 谷歌翻译
机器人等系统的安全操作要求它们计划和执行受安全约束的轨迹。当这些系统受到动态的不确定性的影响时，确保不违反限制是具有挑战性的。本文提出了基于受约束差分动态规划（DDP）的附加不确定性和非线性安全约束的安全轨迹，安全轨迹优化和控制方法。在其运动中的机器人的安全性被制定为机会限制了用户所选择的约束满足的概率。通过约束收紧将机会约束转换为DDP制剂中的确定性。为了避免在约束期间的过保守，从受约束的DDP导出的反馈策略的线性控制增益用于预测中的闭环不确定性传播的近似。所提出的算法在三种不同的机器人动态上进行了经验评估，模拟中具有高达12度的自由度。使用物理硬件实现对方法的计算可行性和适用性进行了说明。
translated by 谷歌翻译
本文涉及专业示范的学习安全控制法。我们假设系统动态和输出测量图的适当模型以及相应的错误界限。我们首先提出强大的输出控制屏障功能（ROCBF）作为保证安全的手段，通过控制安全集的前向不变性定义。然后，我们提出了一个优化问题，以从展示安全系统行为的专家演示中学习RocBF，例如，从人类运营商收集的数据。随着优化问题，我们提供可验证条件，可确保获得的Rocbf的有效性。这些条件在数据的密度和学习函数的LipsChitz和Lipshitz和界限常数上说明，以及系统动态和输出测量图的模型。当ROCBF的参数化是线性的，然后，在温和的假设下，优化问题是凸的。我们在自动驾驶模拟器卡拉验证了我们的调查结果，并展示了如何从RGB相机图像中学习安全控制法。
translated by 谷歌翻译
在本文中，我们研究了加强学习问题的安全政策的学习。这是，我们的目标是控制我们不知道过渡概率的马尔可夫决策过程（MDP），但我们通过经验访问样品轨迹。我们将安全性定义为在操作时间内具有高概率的期望安全集中的代理。因此，我们考虑受限制的MDP，其中限制是概率。由于没有直接的方式来优化关于加强学习框架中的概率约束的政策，因此我们提出了对问题的遍历松弛。拟议的放松的优点是三倍。 （i）安全保障在集界任务的情况下保持，并且它们保持在一个给定的时间范围内，以继续进行任务。 （ii）如果政策的参数化足够丰富，则约束优化问题尽管其非凸起具有任意小的二元间隙。 （iii）可以使用标准策略梯度结果和随机近似工具容易地计算与安全学习问题相关的拉格朗日的梯度。利用这些优势，我们建立了原始双算法能够找到安全和最佳的政策。我们在连续域中的导航任务中测试所提出的方法。数值结果表明，我们的算法能够将策略动态调整到环境和所需的安全水平。
translated by 谷歌翻译