安全的强化学习旨在学习最佳政策，同时满足安全限制，这在现实世界中至关重要。但是，当前的算法仍在为有效的政策更新而努力，并具有严格的约束满意度。在本文中，我们提出了受惩罚的近端政策优化（P3O），该政策优化（P3O）通过单一的最小化等效不受约束的问题来解决麻烦的受约束政策迭代。具体而言，P3O利用了简单的罚款功能来消除成本限制，并通过剪裁的替代目标消除了信任区域的约束。从理论上讲，我们用有限的惩罚因素证明了所提出的方法的精确性，并在对样品轨迹进行评估时提供了最坏情况分析，以实现近似误差。此外，我们将P3O扩展到更具挑战性的多构造和多代理方案，这些方案在以前的工作中所研究的情况较少。广泛的实验表明，在一组受限的机车任务上，P3O优于奖励改进和约束满意度的最先进算法。

For many applications of reinforcement learning it can be more convenient to specify both a reward function and constraints, rather than trying to design behavior through the reward function. For example, systems that physically interact with or around humans should satisfy safety constraints. Recent advances in policy search algorithms (

安全的加强学习（RL）研究智能代理人不仅必须最大程度地提高奖励，而且还要避免探索不安全领域的问题。在这项研究中，我们提出了CUP，这是一种基于约束更新投影框架的新型政策优化方法，享有严格的安全保证。我们杯杯发展的核心是新提出的替代功能以及性能结合。与以前的安全RL方法相比，杯子的好处1）杯子将代孕功能推广到广义优势估计量（GAE），从而导致强烈的经验性能。 2）杯赛统一性界限，为某些现有算法提供更好的理解和解释性； 3）CUP仅通过一阶优化器提供非凸的实现，该优化器不需要在目标的凸面上进行任何强近似。为了验证我们的杯子方法，我们将杯子与在各种任务上进行的安全RL基线的全面列表进行了比较。实验表明杯子在奖励和安全限制满意度方面的有效性。我们已经在https://github.com/rl-boxes/safe-rl/tree/ main/cup上打开了杯子源代码。

Safety comes first in many real-world applications involving autonomous agents. Despite a large number of reinforcement learning (RL) methods focusing on safety-critical tasks, there is still a lack of high-quality evaluation of those algorithms that adheres to safety constraints at each decision step under complex and unknown dynamics. In this paper, we revisit prior work in this scope from the perspective of state-wise safe RL and categorize them as projection-based, recovery-based, and optimization-based approaches, respectively. Furthermore, we propose Unrolling Safety Layer (USL), a joint method that combines safety optimization and safety projection. This novel technique explicitly enforces hard constraints via the deep unrolling architecture and enjoys structural advantages in navigating the trade-off between reward improvement and constraint satisfaction. To facilitate further research in this area, we reproduce related algorithms in a unified pipeline and incorporate them into SafeRL-Kit, a toolkit that provides off-the-shelf interfaces and evaluation utilities for safety-critical tasks. We then perform a comparative study of the involved algorithms on six benchmarks ranging from robotic control to autonomous driving. The empirical results provide an insight into their applicability and robustness in learning zero-cost-return policies without task-dependent handcrafting. The project page is available at https://sites.google.com/view/saferlkit.

安全的加强学习（RL）旨在学习在将其部署到关键安全应用程序中之前满足某些约束的政策。以前的原始双重风格方法遭受了不稳定性问题的困扰，并且缺乏最佳保证。本文从概率推断的角度克服了问题。我们在政策学习过程中介绍了一种新颖的期望最大化方法来自然纳入约束：1）在凸优化（E-step）后，可以以封闭形式计算可证明的最佳非参数变异分布； 2）基于最佳变异分布（M-step），在信任区域内改进了策略参数。提出的算法将安全的RL问题分解为凸优化阶段和监督学习阶段，从而产生了更稳定的培训性能。对连续机器人任务进行的广泛实验表明，所提出的方法比基线获得了更好的约束满意度和更好的样品效率。该代码可在https://github.com/liuzuxin/cvpo-safe-rl上找到。

安全加强学习（RL）在对风险敏感的任务上取得了重大成功，并在自主驾驶方面也表现出了希望（AD）。考虑到这个社区的独特性，对于安全广告而言，仍然缺乏高效且可再现的基线。在本文中，我们将SAFERL-KIT释放到基准的安全RL方法，以实现倾向的任务。具体而言，SAFERL-KIT包含了针对零构成的侵略任务的几种最新算法，包括安全层，恢复RL，非政策Lagrangian方法和可行的Actor-Critic。除了现有方法外，我们还提出了一种名为精确惩罚优化（EPO）的新型一阶方法，并充分证明了其在安全AD中的能力。 SAFERL-KIT中的所有算法均在政策设置下实现（i），从而提高了样本效率并可以更好地利用过去的日志； （ii）具有统一的学习框架，为研究人员提供了现成的接口，以将其特定领域的知识纳入基本的安全RL方法中。最后，我们对上述算法进行了比较评估，并阐明了它们的安全自动驾驶功效。源代码可在\ href {https://github.com/zlr20/saferl_kit} {this https url}中获得。

Learning a risk-aware policy is essential but rather challenging in unstructured robotic tasks. Safe reinforcement learning methods open up new possibilities to tackle this problem. However, the conservative policy updates make it intractable to achieve sufficient exploration and desirable performance in complex, sample-expensive environments. In this paper, we propose a dual-agent safe reinforcement learning strategy consisting of a baseline and a safe agent. Such a decoupled framework enables high flexibility, data efficiency and risk-awareness for RL-based control. Concretely, the baseline agent is responsible for maximizing rewards under standard RL settings. Thus, it is compatible with off-the-shelf training techniques of unconstrained optimization, exploration and exploitation. On the other hand, the safe agent mimics the baseline agent for policy improvement and learns to fulfill safety constraints via off-policy RL tuning. In contrast to training from scratch, safe policy correction requires significantly fewer interactions to obtain a near-optimal policy. The dual policies can be optimized synchronously via a shared replay buffer, or leveraging the pre-trained model or the non-learning-based controller as a fixed baseline agent. Experimental results show that our approach can learn feasible skills without prior knowledge as well as deriving risk-averse counterparts from pre-trained unsafe policies. The proposed method outperforms the state-of-the-art safe RL algorithms on difficult robot locomotion and manipulation tasks with respect to both safety constraint satisfaction and sample efficiency.

The study of decentralized learning or independent learning in cooperative multi-agent reinforcement learning has a history of decades. Recently empirical studies show that independent PPO (IPPO) can obtain good performance, close to or even better than the methods of centralized training with decentralized execution, in several benchmarks. However, decentralized actor-critic with convergence guarantee is still open. In this paper, we propose \textit{decentralized policy optimization} (DPO), a decentralized actor-critic algorithm with monotonic improvement and convergence guarantee. We derive a novel decentralized surrogate for policy optimization such that the monotonic improvement of joint policy can be guaranteed by each agent \textit{independently} optimizing the surrogate. In practice, this decentralized surrogate can be realized by two adaptive coefficients for policy optimization at each agent. Empirically, we compare DPO with IPPO in a variety of cooperative multi-agent tasks, covering discrete and continuous action spaces, and fully and partially observable environments. The results show DPO outperforms IPPO in most tasks, which can be the evidence for our theoretical results.

In this work we introduce reinforcement learning techniques for solving lexicographic multi-objective problems. These are problems that involve multiple reward signals, and where the goal is to learn a policy that maximises the first reward signal, and subject to this constraint also maximises the second reward signal, and so on. We present a family of both action-value and policy gradient algorithms that can be used to solve such problems, and prove that they converge to policies that are lexicographically optimal. We evaluate the scalability and performance of these algorithms empirically, demonstrating their practical applicability. As a more specific application, we show how our algorithms can be used to impose safety constraints on the behaviour of an agent, and compare their performance in this context with that of other constrained reinforcement learning algorithms.

In this work, we focus on the problem of safe policy transfer in reinforcement learning: we seek to leverage existing policies when learning a new task with specified constraints. This problem is important for safety-critical applications where interactions are costly and unconstrained policies can lead to undesirable or dangerous outcomes, e.g., with physical robots that interact with humans. We propose a Constrained Markov Decision Process (CMDP) formulation that simultaneously enables the transfer of policies and adherence to safety constraints. Our formulation cleanly separates task goals from safety considerations and permits the specification of a wide variety of constraints. Our approach relies on a novel extension of generalized policy improvement to constrained settings via a Lagrangian formulation. We devise a dual optimization algorithm that estimates the optimal dual variable of a target task, thus enabling safe transfer of policies derived from successor features learned on source tasks. Our experiments in simulated domains show that our approach is effective; it visits unsafe states less frequently and outperforms alternative state-of-the-art methods when taking safety constraints into account.

受限的强化学习是最大程度地提高预期奖励受到公用事业/成本的限制。但是，由于建模错误，对抗性攻击，非平稳性，训练环境可能与测试环境不一样，导致严重的性能降级和更重要的违反约束。我们提出了一个在模型不确定性下的强大约束强化学习框架，其中MDP不是固定的，而是在某些不确定性集中，目的是确保在不确定性集中满足所有MDP的限制，并最大程度地满足对公用事业/成本的限制不确定性集中最差的奖励性能。我们设计了一种强大的原始双重方法，并在理论上进一步发展了其收敛性，复杂性和可行性的保证。然后，我们研究了$ \ delta $ - 污染不确定性集的具体示例，设计一种在线且无模型的算法，并理论上表征了其样本复杂性。

除了最大化奖励目标之外，现实世界中的强化学习（RL）代理商必须满足安全限制。基于模型的RL算法占据了减少不安全的现实世界行动的承诺：它们可以合成使用来自学习模型的模拟样本遵守所有约束的策略。但是，即使对于预测满足所有约束的操作，甚至可能导致真实的结构违规。我们提出了保守和自适应惩罚（CAP），一种基于模型的安全RL框架，其通过捕获模型不确定性并自适应利用它来平衡奖励和成本目标来占潜在的建模错误。首先，CAP利用基于不确定性的惩罚来膨胀预测成本。从理论上讲，我们展示了满足这种保守成本约束的政策，也可以保证在真正的环境中是可行的。我们进一步表明，这保证了在RL培训期间所有中间解决方案的安全性。此外，在使用环境中使用真正的成本反馈，帽子在培训期间自适应地调整这种惩罚。我们在基于状态和基于图像的环境中，评估了基于模型的安全RL的保守和自适应惩罚方法。我们的结果表明了样品效率的大量收益，同时产生比现有安全RL算法更少的违规行为。代码可用：https://github.com/redrew/cap

近年来，多智能体加固学习（Marl）在各种应用中呈现出令人印象深刻的性能。但是，物理限制，预算限制以及许多其他因素通常会在多代理系统（MAS）上施加\ Texit {约束}，这不能由传统的Marl框架处理。具体而言，本文重点介绍受约束的Mase，其中代理工作\纺织{合作}在各种限制下最大化预期的团队平均成本下的预期团队平均返回，并开发一个名为DECOM的\ TEXTIT {约束合作MARL}框架，名为DECOM这样的苗条。特别是，DECOM将每个代理人的策略分解为两个模块，这使得代理商之间的信息共享，以实现更好的合作。此外，通过这种模块化，DREM的训练算法将原始约束优化分为奖励的无约束优化和成本的约束满足问题。然后，Decom以计算有效的方式迭代地解决这些问题，这使得DECOM高度可扩展。我们还提供了对Decom策略更新算法的融合的理论保障。最后，我们在玩具和大规模（有500个代理）环境中使用各种类型的成本验证了DECOM的有效性。

几乎可以肯定（或使用概率）满足安全限制对于在现实生活中的增强学习（RL）的部署至关重要。例如，理想情况下，平面降落和起飞应以概率为单位发生。我们通过引入安全增强（SAUTE）马尔可夫决策过程（MDP）来解决该问题，在该过程中，通过将其扩大到州空间并重塑目标来消除安全限制。我们表明，Saute MDP满足了Bellman方程，并使我们更加接近解决安全的RL，几乎可以肯定地满足。我们认为，Saute MDP允许从不同的角度查看安全的RL问题，从而实现新功能。例如，我们的方法具有插件的性质，即任何RL算法都可以“炒”。此外，国家扩展允许跨安全限制进行政策概括。我们最终表明，当约束满意度非常重要时，SAUTE RL算法的表现可以胜过其最先进的对应物。

在强化学习（RL）的试验和错误机制中，我们期望学习安全的政策时出现臭名昭着的矛盾：如何学习没有足够数据和关于危险区域的先前模型的安全政策？现有方法主要使用危险行动的后期惩罚，这意味着代理人不会受到惩罚，直到体验危险。这一事实导致代理商也无法在收敛之后学习零违规政策。否则，它不会收到任何惩罚并失去有关危险的知识。在本文中，我们提出了安全设置的演员 - 评论家（SSAC）算法，它使用面向安全的能量函数或安全索引限制了策略更新。安全索引旨在迅速增加，以便潜在的危险行动，这使我们能够在动作空间上找到安全设置，或控制安全集。因此，我们可以在服用它们之前识别危险行为，并在收敛后进一步获得零限制违规政策。我们声称我们可以以类似于学习价值函数的无模型方式学习能量函数。通过使用作为约束目标的能量函数转变，我们制定了受约束的RL问题。我们证明我们基于拉格朗日的解决方案确保学习的政策将收敛到某些假设下的约束优化。在复杂的模拟环境和硬件循环（HIL）实验中评估了所提出的算法，具有来自自动车辆的真实控制器。实验结果表明，所有环境中的融合政策达到了零限制违规和基于模型的基线的相当性能。

我们提供了一种新的单调改进保证，以优化合作多代理增强学习（MARL）中的分散政策，即使过渡动态是非平稳的。这项新分析提供了对两种最新的MARL参与者批评方法的强劲表现的理论理解，即独立的近端策略优化（IPPO）和多代理PPO（MAPPO）（MAPPO），它们都依赖于独立比率，即计算概率，每个代理商的政策分别比率。我们表明，尽管独立比率引起的非平稳性，但由于对所有分散政策的信任区域约束，仍会产生单调的改进保证。我们还可以根据培训中的代理数量来界定独立比率，从而以原则性的方式有效地执行这种信任区域约束，从而为近端剪辑提供了理论基础。此外，我们表明，当IPPO和Mappo中优化的替代目标在批评者收敛到固定点时实质上是等效的。最后，我们的经验结果支持以下假设：IPPO和MAPPO的强劲表现是通过削减集中式培训来执行这种信任区域约束的直接结果，而该执行的超参数的良好值对此对此具有高度敏感性正如我们的理论分析所预测的那样。

安全是使用强化学习（RL）控制复杂动态系统的主要考虑，其中安全证书可以提供可提供的安全保证。有效的安全证书是指示安全状态具有低能量的能量功能，存在相应的安全控制策略，允许能量函数始终消散。安全证书和安全控制政策彼此密切相关，并挑战合成。因此，现有的基于学习的研究将它们中的任何一种视为先验知识，以便学习另一个知识，这限制了它们与一般未知动态的适用性。本文提出了一种新的方法，同时综合基于能量函数的安全证书，并使用CRL学习安全控制策略。我们不依赖于有关基于型号的控制器或完美的安全证书的先验知识。特别是，我们通过最小化能量增加，制定损耗功能来优化安全证书参数。通过将此优化过程作为外循环添加到基于拉格朗日的受限增强学习（CRL），我们共同更新策略和安全证书参数，并证明他们将收敛于各自的本地Optima，最佳安全政策和有效的安全性证书。我们在多个安全关键基准环境中评估我们的算法。结果表明，该算法学习无限制违规的可信安全的政策。合成安全证书的有效性或可行性也在数值上进行了验证。

在本文中，我们研究了加强学习问题的安全政策的学习。这是，我们的目标是控制我们不知道过渡概率的马尔可夫决策过程（MDP），但我们通过经验访问样品轨迹。我们将安全性定义为在操作时间内具有高概率的期望安全集中的代理。因此，我们考虑受限制的MDP，其中限制是概率。由于没有直接的方式来优化关于加强学习框架中的概率约束的政策，因此我们提出了对问题的遍历松弛。拟议的放松的优点是三倍。 （i）安全保障在集界任务的情况下保持，并且它们保持在一个给定的时间范围内，以继续进行任务。 （ii）如果政策的参数化足够丰富，则约束优化问题尽管其非凸起具有任意小的二元间隙。 （iii）可以使用标准策略梯度结果和随机近似工具容易地计算与安全学习问题相关的拉格朗日的梯度。利用这些优势，我们建立了原始双算法能够找到安全和最佳的政策。我们在连续域中的导航任务中测试所提出的方法。数值结果表明，我们的算法能够将策略动态调整到环境和所需的安全水平。

由于共同国家行动空间相对于代理人的数量，多代理强化学习（MARL）中的政策学习（MARL）是具有挑战性的。为了实现更高的可伸缩性，通过分解执行（CTDE）的集中式培训范式被MARL中的分解结构广泛采用。但是，我们观察到，即使在简单的矩阵游戏中，合作MARL中现有的CTDE算法也无法实现最佳性。为了理解这种现象，我们引入了一个具有政策分解（GPF-MAC）的广义多代理参与者批评的框架，该框架的特征是对分解的联合政策的学习，即，每个代理人的政策仅取决于其自己的观察行动历史。我们表明，最受欢迎的CTDE MARL算法是GPF-MAC的特殊实例，可能会陷入次优的联合政策中。为了解决这个问题，我们提出了一个新颖的转型框架，该框架将多代理的MDP重新制定为具有连续结构的特殊“单位代理” MDP，并且可以允许使用现成的单机械加固学习（SARL）算法来有效地学习相应的多代理任务。这种转换保留了SARL算法的最佳保证，以合作MARL。为了实例化此转换框架，我们提出了一个转换的PPO，称为T-PPO，该PPO可以在有限的多代理MDP中进行理论上执行最佳的策略学习，并在一系列合作的多代理任务上显示出明显的超出性能。

熵正则化是增强学习（RL）的流行方法。尽管它具有许多优势，但它改变了原始马尔可夫决策过程（MDP）的RL目标。尽管已经提出了差异正则化来解决这个问题，但不能微不足道地应用于合作的多代理增强学习（MARL）。在本文中，我们研究了合作MAL中的差异正则化，并提出了一种新型的非政策合作MARL框架，差异性的多代理参与者 - 参与者（DMAC）。从理论上讲，我们得出了DMAC的更新规则，该规则自然存在，并保证了原始MDP和Divergence regullatized MDP的单调政策改进和收敛。我们还给出了原始MDP中融合策略和最佳策略之间的差异。 DMAC是一个灵活的框架，可以与许多现有的MARL算法结合使用。从经验上讲，我们在教学随机游戏和Starcraft Multi-Agent挑战中评估了DMAC，并表明DMAC显着提高了现有的MARL算法的性能。