在过去的十年中，强化学习成功地解决了复杂的控制任务和决策问题，例如Go棋盘游戏。然而，在将这些算法部署到现实世界情景方面的成功案例很少。原因之一是在处理和避免不安全状态时缺乏保证，这是关键控制工程系统的基本要求。在本文中，我们介绍了指导性的安全射击（GUS），这是一种基于模型的RL方法，可以学会以最小的侵犯安全限制来控制系统。该模型以迭代批次方式在系统操作过程中收集的数据中学习，然后用于计划在每个时间步骤执行的最佳动作。我们提出了三个不同的安全计划者，一个基于简单的随机拍摄策略，两个基于MAP-ELITE，一种更高级的发散搜索算法。实验表明，这些计划者可以帮助学习代理避免在最大程度地探索状态空间的同时避免不安全的情况，这是学习系统准确模型的必要方面。此外，与无模型方法相比，学习模型可以减少与现实系统的交互作用的数量，同时仍达到高奖励，这是处理工程系统时的基本要求。

安全已成为对现实世界系统应用深度加固学习的主要挑战之一。目前，诸如人类监督等外部知识的纳入唯一可以防止代理人访问灾难性状态的手段。在本文中，我们提出了一种基于安全模型的强化学习的新框架MBHI，可确保状态级安全，可以有效地避免“本地”和“非本地”灾难。监督学习者的合并在MBHI培训，以模仿人类阻止决策。类似于人类决策过程，MBHI将在执行对环境的动作之前在动态模型中推出一个想象的轨迹，并估算其安全性。当想象力遇到灾难时，MBHI将阻止当前的动作并使用高效的MPC方法来输出安全策略。我们在几个安全任务中评估了我们的方法，结果表明，与基线相比，MBHI在样品效率和灾难数方面取得了更好的性能。

Learning a risk-aware policy is essential but rather challenging in unstructured robotic tasks. Safe reinforcement learning methods open up new possibilities to tackle this problem. However, the conservative policy updates make it intractable to achieve sufficient exploration and desirable performance in complex, sample-expensive environments. In this paper, we propose a dual-agent safe reinforcement learning strategy consisting of a baseline and a safe agent. Such a decoupled framework enables high flexibility, data efficiency and risk-awareness for RL-based control. Concretely, the baseline agent is responsible for maximizing rewards under standard RL settings. Thus, it is compatible with off-the-shelf training techniques of unconstrained optimization, exploration and exploitation. On the other hand, the safe agent mimics the baseline agent for policy improvement and learns to fulfill safety constraints via off-policy RL tuning. In contrast to training from scratch, safe policy correction requires significantly fewer interactions to obtain a near-optimal policy. The dual policies can be optimized synchronously via a shared replay buffer, or leveraging the pre-trained model or the non-learning-based controller as a fixed baseline agent. Experimental results show that our approach can learn feasible skills without prior knowledge as well as deriving risk-averse counterparts from pre-trained unsafe policies. The proposed method outperforms the state-of-the-art safe RL algorithms on difficult robot locomotion and manipulation tasks with respect to both safety constraint satisfaction and sample efficiency.

在稀疏的奖励设置学习最优策略是困难的，因为学习代理人也鲜有其行动的质量没有反馈。在这些情况下，一个好的策略是专注于探索，希望能导致回报信号，以改善的发现。一个能够处理这种设置的学习算法必须能够（1）探讨可能的代理行为和（2）利用任何可能发现的奖励。高效勘探算法已经被提出，需要在被称为是一个值得探讨的空间中定义一个行为空间，即联营公司代理其产生的行为。需要定义这个空间是这些算法的限制。在这项工作中，我们介绍了STAX，旨在学习上的即时行为空间，并探索它的同时有效地优化发现任何报酬的算法。它通过分离的探索，并通过交替的两步过程中从奖励的剥削行为空间的学习这样做。在第一步骤中，建立STAX多样化策略的所有组成成分，同时学习策略评估过程中产生的高维观测值的低维表示。在开发步骤中，发射器用于优化发现有价值的解决方案的性能。在三个不同的稀疏奖励的环境进行的实验显示，STAX执行同等于现有基准，同时要求有关任务的要少得多的先验信息，因为它建立自主的行为空间。

现实世界加固学习（RL）问题通常要求代理通过遵守一套设计的约束来安全地安全。通过在模型预测控制（MPC）中，通过耦合具有连续动作的线性设置中的修改策略梯度框架来解决安全RL的挑战。指南通过将安全要求嵌入安全要求作为MPC配方中的机会限制来强制执行系统的安全操作。政策梯度培训步骤然后包括安全罚款，该安全罚款列举了基本政策能够安全行事。我们从理论上显示了这种惩罚允许在训练后删除安全指南，并用模拟器四轮机器使用实验说明我们的方法。

强化学习（RL）在机器人中的应用通常受高数据需求的限制。另一方面，许多机器人场景中容易获得近似模型，使基于模型的方法，如规划数据有效的替代方案。尽管如此，这些方法的性能遭受了模型不精确或错误。从这个意义上讲，RL和基于模型的规划者的各个优势和弱点是。在目前的工作中，我们调查如何将两种方法集成到结合其优势的一个框架中。我们介绍了学习执行（L2E），从而利用近似计划中包含的信息学习有关计划的普遍政策。在我们的机器人操纵实验中，与纯RL，纯规划或基线方法相比，L2E在结合学习和规划的基线方法时表现出增加的性能。

Safe Reinforcement Learning can be defined as the process of learning policies that maximize the expectation of the return in problems in which it is important to ensure reasonable system performance and/or respect safety constraints during the learning and/or deployment processes. We categorize and analyze two approaches of Safe Reinforcement Learning. The first is based on the modification of the optimality criterion, the classic discounted finite/infinite horizon, with a safety factor. The second is based on the modification of the exploration process through the incorporation of external knowledge or the guidance of a risk metric. We use the proposed classification to survey the existing literature, as well as suggesting future directions for Safe Reinforcement Learning.

除了最大化奖励目标之外，现实世界中的强化学习（RL）代理商必须满足安全限制。基于模型的RL算法占据了减少不安全的现实世界行动的承诺：它们可以合成使用来自学习模型的模拟样本遵守所有约束的策略。但是，即使对于预测满足所有约束的操作，甚至可能导致真实的结构违规。我们提出了保守和自适应惩罚（CAP），一种基于模型的安全RL框架，其通过捕获模型不确定性并自适应利用它来平衡奖励和成本目标来占潜在的建模错误。首先，CAP利用基于不确定性的惩罚来膨胀预测成本。从理论上讲，我们展示了满足这种保守成本约束的政策，也可以保证在真正的环境中是可行的。我们进一步表明，这保证了在RL培训期间所有中间解决方案的安全性。此外，在使用环境中使用真正的成本反馈，帽子在培训期间自适应地调整这种惩罚。我们在基于状态和基于图像的环境中，评估了基于模型的安全RL的保守和自适应惩罚方法。我们的结果表明了样品效率的大量收益，同时产生比现有安全RL算法更少的违规行为。代码可用：https://github.com/redrew/cap

With the development of deep representation learning, the domain of reinforcement learning (RL) has become a powerful learning framework now capable of learning complex policies in high dimensional environments. This review summarises deep reinforcement learning (DRL) algorithms and provides a taxonomy of automated driving tasks where (D)RL methods have been employed, while addressing key computational challenges in real world deployment of autonomous driving agents. It also delineates adjacent domains such as behavior cloning, imitation learning, inverse reinforcement learning that are related but are not classical RL algorithms. The role of simulators in training agents, methods to validate, test and robustify existing solutions in RL are discussed.

在RL的许多实际应用中，观察来自环境的状态过渡是昂贵的。例如，在核聚变的等离子体控制问题中，计算给定的状态对对的下一个状态需要查询昂贵的过渡功能，这可以导致许多小时的计算机模拟或美元科学研究。这种昂贵的数据收集禁止应用标准RL算法，该算法通常需要大量观察来学习。在这项工作中，我们解决了有效地学习策略的问题，同时为转换函数进行最小数量的状态动作查询。特别是，我们利用贝叶斯最优实验设计的想法，以指导选择国家行动查询以获得高效学习。我们提出了一种采集功能，该函数量化了状态动作对将提供多少信息对Markov决策过程提供的最佳解决方案。在每次迭代时，我们的算法最大限度地提高了该采集功能，选择要查询的最具信息性的状态动作对，从而产生数据有效的RL方法。我们试验各种模拟的连续控制问题，并显示我们的方法学习最佳政策，最高$ 5 $ - $ 1,000 \倍的数据，而不是基于模型的RL基线，10 ^ 3美元 - $ 10 ^ 5 \ times比无模型RL基线更少的数据。我们还提供了几种消融比较，这指出了从获得数据的原理方法产生的大量改进。

几乎可以肯定（或使用概率）满足安全限制对于在现实生活中的增强学习（RL）的部署至关重要。例如，理想情况下，平面降落和起飞应以概率为单位发生。我们通过引入安全增强（SAUTE）马尔可夫决策过程（MDP）来解决该问题，在该过程中，通过将其扩大到州空间并重塑目标来消除安全限制。我们表明，Saute MDP满足了Bellman方程，并使我们更加接近解决安全的RL，几乎可以肯定地满足。我们认为，Saute MDP允许从不同的角度查看安全的RL问题，从而实现新功能。例如，我们的方法具有插件的性质，即任何RL算法都可以“炒”。此外，国家扩展允许跨安全限制进行政策概括。我们最终表明，当约束满意度非常重要时，SAUTE RL算法的表现可以胜过其最先进的对应物。

大自然的一个迷人方面在于它能够产生大型和多样化的生物体，这些生物都在他们的利基中都很高兴。相比之下，大多数AI算法专注于向给定问题找到一个有效的解决方案。除了表现外，旨在实现多样性是处理勘探开发权衡的便捷方式，在学习中发挥着核心作用。当返回的集合包含对所考虑的问题的几个工作解决方案时，它还允许增加鲁棒性，使其适用于机器人等真实应用。质量 - 多样性（QD）方法是为此目的设计的进化算法。本文提出了一种新颖的QD - PG，它结合了政策梯度算法的强度和质量多样性方法，在连续控制环境中产生了各种和高性能的神经政策的集合。这项工作的主要贡献是引入多样性政策梯度（DPG），该梯度（DPG）利用时刻级别的信息以采样有效的方式培养更多样化的策略。具体而言，QD-PG从地图 - E LITES网格中选择神经控制器，并使用两个基于梯度的突变运算符来提高质量和多样性，从而产生稳定的人口更新。我们的结果表明，QD - PG产生了各种解决方案的集合，解决了具有挑战性的勘探和控制问题，同时是比其进化竞争对手更高的样本效率的两个数量级。

自主驾驶有可能彻底改变流动性，因此是一个积极的研究领域。实际上，自动驾驶汽车的行为必须是可以接受的，即高效，安全和可解释的。尽管香草钢筋学习（RL）找到了表现的行为策略，但它们通常是不安全且无法解释的。安全性是通过安全的RL方法引入的，但是它们仍然无法解释，因为学习的行为在没有分别进行建模的情况下共同优化了安全性和性能。可解释的机器学习很少应用于RL。本文提出了SAFEDQN，它允许在仍然有效的同时使自动驾驶汽车的行为安全可解释。 SAFEDQN在算法上透明的同时，在预期风险和效用的效用之间提供了可以理解的语义权衡。我们表明，SAFEDQN为各种场景找到了可解释且安全的驾驶政策，并展示了最先进的显着性技术如何帮助评估风险和实用性。

过去半年来，从控制和强化学习社区的真实机器人部署的安全学习方法的贡献数量急剧上升。本文提供了一种简洁的但整体审查，对利用机器学习实现的最新进展，以实现在不确定因素下的安全决策，重点是统一控制理论和加固学习研究中使用的语言和框架。我们的评论包括：基于学习的控制方法，通过学习不确定的动态，加强学习方法，鼓励安全或坚固性的加固学习方法，以及可以正式证明学习控制政策安全的方法。随着基于数据和学习的机器人控制方法继续获得牵引力，研究人员必须了解何时以及如何最好地利用它们在安全势在必行的现实情景中，例如在靠近人类的情况下操作时。我们突出了一些开放的挑战，即将在未来几年推动机器人学习领域，并强调需要逼真的物理基准的基准，以便于控制和加固学习方法之间的公平比较。

识别不确定性和减轻行动对于安全可靠的强化学习代理至关重要，特别是在高风险环境中部署时。在本文中，通过利用动态模型的引导集合来估计环境认知不确定性的基于模型的增强学习算法，在基于模型的增强学习算法中促进了风险敏感性。我们提出了不确定的引导跨熵方法规划，该方法规划，其惩罚导致在模型卷展栏期间产生高方差状态预测的动作序列，将代理引导到具有低不确定性的状态空间的已知区域。实验显示了代理在规划期间识别状态空间的不确定区域，并采取维持代理在高置信区内的行动，而无需明确限制。结果是在获得奖励方面的性能下降，表现出风险与返回之间的权衡。

从意外的外部扰动中恢复的能力是双模型运动的基本机动技能。有效的答复包括不仅可以恢复平衡并保持稳定性的能力，而且在平衡恢复物质不可行时，也可以保证安全的方式。对于与双式运动有关的机器人，例如人形机器人和辅助机器人设备，可帮助人类行走，设计能够提供这种稳定性和安全性的控制器可以防止机器人损坏或防止伤害相关的医疗费用。这是一个具有挑战性的任务，因为它涉及用触点产生高维，非线性和致动系统的高动态运动。尽管使用基于模型和优化方法的前进方面，但诸如广泛领域知识的要求，诸如较大的计算时间和有限的动态变化的鲁棒性仍然会使这个打开问题。在本文中，为了解决这些问题，我们开发基于学习的算法，能够为两种不同的机器人合成推送恢复控制政策：人形机器人和有助于双模型运动的辅助机器人设备。我们的工作可以分为两个密切相关的指示：1）学习人形机器人的安全下降和预防策略，2）使用机器人辅助装置学习人类的预防策略。为实现这一目标，我们介绍了一套深度加强学习（DRL）算法，以学习使用这些机器人时提高安全性的控制策略。

强化学习（RL）是一种有希望的方法，对现实世界的应用程序取得有限，因为确保安全探索或促进充分利用是控制具有未知模型和测量不确定性的机器人系统的挑战。这种学习问题对于连续空间（状态空间和动作空间）的复杂任务变得更加棘手。在本文中，我们提出了一种由几个方面组成的基于学习的控制框架：（1）线性时间逻辑（LTL）被利用，以便于可以通过无限视野的复杂任务转换为新颖的自动化结构; （2）我们为RL-Agent提出了一种创新的奖励计划，正式保证，使全球最佳政策最大化满足LTL规范的概率; （3）基于奖励塑造技术，我们开发了利用自动机构结构的好处进行了模块化的政策梯度架构来分解整体任务，并促进学习控制器的性能; （4）通过纳入高斯过程（GPS）来估计不确定的动态系统，我们使用指数控制屏障功能（ECBF）综合基于模型的保障措施来解决高阶相对度的问题。此外，我们利用LTL自动化和ECBF的性质来构建引导过程，以进一步提高勘探效率。最后，我们通过多个机器人环境展示了框架的有效性。我们展示了这种基于ECBF的模块化深RL算法在训练期间实现了近乎完美的成功率和保护安全性，并且在训练期间具有很高的概率信心。

机器学习算法中多个超参数的最佳设置是发出大多数可用数据的关键。为此目的，已经提出了几种方法，例如进化策略，随机搜索，贝叶斯优化和启发式拇指规则。在钢筋学习（RL）中，学习代理在与其环境交互时收集的数据的信息内容严重依赖于许多超参数的设置。因此，RL算法的用户必须依赖于基于搜索的优化方法，例如网格搜索或Nelder-Mead单简单算法，这对于大多数R1任务来说是非常效率的，显着减慢学习曲线和离开用户的速度有目的地偏见数据收集的负担。在这项工作中，为了使RL算法更加用户独立，提出了一种使用贝叶斯优化的自主超参数设置的新方法。来自过去剧集和不同的超参数值的数据通过执行行为克隆在元学习水平上使用，这有助于提高最大化获取功能的加强学习变体的有效性。此外，通过紧密地整合在加强学习代理设计中的贝叶斯优化，还减少了收敛到给定任务的最佳策略所需的状态转换的数量。与其他手动调整和基于优化的方法相比，计算实验显示了有希望的结果，这突出了改变算法超级参数来增加所生成数据的信息内容的好处。

值得信赖的强化学习算法应有能力解决挑战性的现实问题，包括{Robustly}处理不确定性，满足{安全}的限制以避免灾难性的失败，以及在部署过程中{prencepentiming}以避免灾难性的失败}。这项研究旨在概述这些可信赖的强化学习的主要观点，即考虑其在鲁棒性，安全性和概括性上的内在脆弱性。特别是，我们给出严格的表述，对相应的方法进行分类，并讨论每个观点的基准。此外，我们提供了一个前景部分，以刺激有希望的未来方向，并简要讨论考虑人类反馈的外部漏洞。我们希望这项调查可以在统一的框架中将单独的研究汇合在一起，并促进强化学习的可信度。

安全探索是强化学习（RL）的常见问题，旨在防止代理在探索环境时做出灾难性的决定。一个解决这个问题的方法家庭以这种环境的（部分）模型的形式假设域知识，以决定动作的安全性。所谓的盾牌迫使RL代理只选择安全的动作。但是，要在各种应用中采用，必须超越执行安全性，还必须确保RL的适用性良好。我们通过与最先进的深度RL的紧密整合扩展了盾牌的适用性，并在部分可观察性下提供了充满挑战的，稀疏的奖励环境中的广泛实证研究。我们表明，经过精心整合的盾牌可确保安全性，并可以提高RL代理的收敛速度和最终性能。我们此外表明，可以使用盾牌来引导最先进的RL代理：它们在屏蔽环境中初步学习后保持安全，从而使我们最终可以禁用潜在的过于保守的盾牌。