Reinforcement Learning (RL) generally suffers from poor sample complexity, mostly due to the need to exhaustively explore the state space to find good policies. On the other hand, we postulate that expert knowledge of the system to control often allows us to design simple rules we expect good policies to follow at all times. In this work, we hence propose a simple yet effective modification of continuous actor-critic RL frameworks to incorporate such prior knowledge in the learned policies and constrain them to regions of the state space that are deemed interesting, thereby significantly accelerating their convergence. Concretely, we saturate the actions chosen by the agent if they do not comply with our intuition and, critically, modify the gradient update step of the policy to ensure the learning process does not suffer from the saturation step. On a room temperature control simulation case study, these modifications allow agents to converge to well-performing policies up to one order of magnitude faster than classical RL agents while retaining good final performance.

在自主驾驶场中，人类知识融合到深增强学习（DRL）通常基于在模拟环境中记录的人类示范。这限制了在现实世界交通中的概率和可行性。我们提出了一种两级DRL方法，从真实的人类驾驶中学习，实现优于纯DRL代理的性能。培训DRL代理商是在Carla的框架内完成了机器人操作系统（ROS）。对于评估，我们设计了不同的真实驾驶场景，可以将提出的两级DRL代理与纯DRL代理进行比较。在从人驾驶员中提取“良好”行为之后，例如在信号交叉口中的预期，该代理变得更有效，并且驱动更安全，这使得这种自主代理更适应人体机器人交互（HRI）流量。

深度强化学习（DRL）是一种有前途的方法，可以通过与环境的互动来学习政策来解决复杂的控制任务。但是，对DRL政策的培训需要大量的培训经验，这使得直接了解物理系统的政策是不切实际的。 SIM到运行的方法可以利用模拟来验证DRL政策，然后将其部署在现实世界中。不幸的是，经过验证的政策的直接现实部署通常由于不同的动态（称为现实差距）而遭受性能恶化。最近的SIM到现实方法，例如域随机化和域的适应性，重点是改善预审预告剂的鲁棒性。然而，经过模拟训练的策略通常需要使用现实世界中的数据来调整以达到最佳性能，这是由于现实世界样本的高成本而具有挑战性的。这项工作提出了一个分布式的云边缘建筑，以实时培训现实世界中的DRL代理。在体系结构中，推理和训练被分配到边缘和云，将实时控制循环与计算昂贵的训练回路分开。为了克服现实差距，我们的体系结构利用了SIM到现实的转移策略，以继续在物理系统上训练模拟预言的代理。我们证明了其在物理倒置螺旋控制系统上的适用性，分析了关键参数。现实世界实验表明，我们的体系结构可以使验证的DRL代理能够始终如一，有效地看不见动态。

本文解决了当参与需求响应（DR）时优化电动汽车（EV）的充电/排放时间表的问题。由于电动汽车的剩余能量，到达和出发时间以及未来的电价中存在不确定性，因此很难做出充电决定以最大程度地减少充电成本，同时保证电动汽车的电池最先进（SOC）在内某些范围。为了解决这一难题，本文将EV充电调度问题制定为Markov决策过程（CMDP）。通过协同结合增强的Lagrangian方法和软演员评论家算法，本文提出了一种新型安全的非政策钢筋学习方法（RL）方法来解决CMDP。通过Lagrangian值函数以策略梯度方式更新Actor网络。采用双重危机网络来同步估计动作值函数，以避免高估偏差。所提出的算法不需要强烈的凸度保证，可以保证被检查的问题，并且是有效的样本。现实世界中电价的全面数值实验表明，我们提出的算法可以实现高解决方案最佳性和约束依从性。

增强学习（RL）是多能管理系统的有前途的最佳控制技术。它不需要先验模型 - 降低了前期和正在进行的项目特定工程工作，并且能够学习基础系统动力学的更好表示。但是，香草RL不能提供约束满意度的保证 - 导致其在安全至关重要的环境中产生各种不安全的互动。在本文中，我们介绍了两种新颖的安全RL方法，即SafeFallback和Afvafe，其中安全约束配方与RL配方脱钩，并且提供了硬构成满意度，可以保证在培训（探索）和开发过程中（近距离） ）最佳政策。在模拟的多能系统案例研究中，我们已经表明，这两种方法均与香草RL基准相比（94,6％和82,8％，而35.5％）和香草RL基准相比明显更高的效用（即有用的政策）开始。提出的SafeFallback方法甚至可以胜过香草RL基准（102,9％至100％）。我们得出的结论是，这两种方法都是超越RL的安全限制处理技术，正如随机代理所证明的，同时仍提供坚硬的保证。最后，我们向I.A.提出了基本的未来工作。随着更多数据可用，改善约束功能本身。

This paper is a technical overview of DeepMind and Google's recent work on reinforcement learning for controlling commercial cooling systems. Building on expertise that began with cooling Google's data centers more efficiently, we recently conducted live experiments on two real-world facilities in partnership with Trane Technologies, a building management system provider. These live experiments had a variety of challenges in areas such as evaluation, learning from offline data, and constraint satisfaction. Our paper describes these challenges in the hope that awareness of them will benefit future applied RL work. We also describe the way we adapted our RL system to deal with these challenges, resulting in energy savings of approximately 9% and 13% respectively at the two live experiment sites.

安全已成为对现实世界系统应用深度加固学习的主要挑战之一。目前，诸如人类监督等外部知识的纳入唯一可以防止代理人访问灾难性状态的手段。在本文中，我们提出了一种基于安全模型的强化学习的新框架MBHI，可确保状态级安全，可以有效地避免“本地”和“非本地”灾难。监督学习者的合并在MBHI培训，以模仿人类阻止决策。类似于人类决策过程，MBHI将在执行对环境的动作之前在动态模型中推出一个想象的轨迹，并估算其安全性。当想象力遇到灾难时，MBHI将阻止当前的动作并使用高效的MPC方法来输出安全策略。我们在几个安全任务中评估了我们的方法，结果表明，与基线相比，MBHI在样品效率和灾难数方面取得了更好的性能。

近年来，许多定量金融领域的从业者试图使用深度强化学习（DRL）来建立更好的定量交易（QT）策略。然而，许多现有研究未能应对几个严重的挑战，例如非平稳财务环境以及在实际金融市场应用DRL时的偏见和差异权衡。在这项工作中，我们提出了Safe-Finrl，这是一种基于DRL的新型高FREQ股票交易策略，该策略通过近部财务环境以及低偏差和差异估算而增强。我们的主要贡献是双重的：首先，我们将漫长的财务时间序列分为近乎固定的短期环境；其次，我们通过将一般反探测器纳入软批评者中，在近部财务环境中实施Trace-SAC。对加密货币市场的广泛实验表明，避风势范围提供了稳定的价值估计，并稳定的政策改善，并在近部财务环境中显着降低了偏见和差异。

Deep reinforcement learning is poised to revolutionise the field of AI and represents a step towards building autonomous systems with a higher level understanding of the visual world. Currently, deep learning is enabling reinforcement learning to scale to problems that were previously intractable, such as learning to play video games directly from pixels. Deep reinforcement learning algorithms are also applied to robotics, allowing control policies for robots to be learned directly from camera inputs in the real world. In this survey, we begin with an introduction to the general field of reinforcement learning, then progress to the main streams of value-based and policybased methods. Our survey will cover central algorithms in deep reinforcement learning, including the deep Q-network, trust region policy optimisation, and asynchronous advantage actor-critic. In parallel, we highlight the unique advantages of deep neural networks, focusing on visual understanding via reinforcement learning. To conclude, we describe several current areas of research within the field.

深度强化学习（RL）导致了许多最近和开创性的进步。但是，这些进步通常以培训的基础体系结构的规模增加以及用于训练它们的RL算法的复杂性提高，而均以增加规模的成本。这些增长反过来又使研究人员更难迅速原型新想法或复制已发表的RL算法。为了解决这些问题，这项工作描述了ACME，这是一个用于构建新型RL算法的框架，这些框架是专门设计的，用于启用使用简单的模块化组件构建的代理，这些组件可以在各种执行范围内使用。尽管ACME的主要目标是为算法开发提供一个框架，但第二个目标是提供重要或最先进算法的简单参考实现。这些实现既是对我们的设计决策的验证，也是对RL研究中可重复性的重要贡献。在这项工作中，我们描述了ACME内部做出的主要设计决策，并提供了有关如何使用其组件来实施各种算法的进一步详细信息。我们的实验为许多常见和最先进的算法提供了基准，并显示了如何为更大且更复杂的环境扩展这些算法。这突出了ACME的主要优点之一，即它可用于实现大型，分布式的RL算法，这些算法可以以较大的尺度运行，同时仍保持该实现的固有可读性。这项工作提出了第二篇文章的版本，恰好与模块化的增加相吻合，对离线，模仿和从演示算法学习以及作为ACME的一部分实现的各种新代理。

资产分配（或投资组合管理）是确定如何最佳将有限预算的资金分配给一系列金融工具/资产（例如股票）的任务。这项研究调查了使用无模型的深RL代理应用于投资组合管理的增强学习（RL）的性能。我们培训了几个RL代理商的现实股票价格，以学习如何执行资产分配。我们比较了这些RL剂与某些基线剂的性能。我们还比较了RL代理，以了解哪些类别的代理表现更好。从我们的分析中，RL代理可以执行投资组合管理的任务，因为它们的表现明显优于基线代理（随机分配和均匀分配）。四个RL代理（A2C，SAC，PPO和TRPO）总体上优于最佳基线MPT。这显示了RL代理商发现更有利可图的交易策略的能力。此外，基于价值和基于策略的RL代理之间没有显着的性能差异。演员批评者的表现比其他类型的药物更好。同样，在政策代理商方面的表现要好，因为它们在政策评估方面更好，样品效率在投资组合管理中并不是一个重大问题。这项研究表明，RL代理可以大大改善资产分配，因为它们的表现优于强基础。基于我们的分析，在政策上，参与者批评的RL药物显示出最大的希望。

Safe Reinforcement Learning can be defined as the process of learning policies that maximize the expectation of the return in problems in which it is important to ensure reasonable system performance and/or respect safety constraints during the learning and/or deployment processes. We categorize and analyze two approaches of Safe Reinforcement Learning. The first is based on the modification of the optimality criterion, the classic discounted finite/infinite horizon, with a safety factor. The second is based on the modification of the exploration process through the incorporation of external knowledge or the guidance of a risk metric. We use the proposed classification to survey the existing literature, as well as suggesting future directions for Safe Reinforcement Learning.

Deep reinforcement learning algorithms have succeeded in several challenging domains. Classic Online RL job schedulers can learn efficient scheduling strategies but often takes thousands of timesteps to explore the environment and adapt from a randomly initialized DNN policy. Existing RL schedulers overlook the importance of learning from historical data and improving upon custom heuristic policies. Offline reinforcement learning presents the prospect of policy optimization from pre-recorded datasets without online environment interaction. Following the recent success of data-driven learning, we explore two RL methods: 1) Behaviour Cloning and 2) Offline RL, which aim to learn policies from logged data without interacting with the environment. These methods address the challenges concerning the cost of data collection and safety, particularly pertinent to real-world applications of RL. Although the data-driven RL methods generate good results, we show that the performance is highly dependent on the quality of the historical datasets. Finally, we demonstrate that by effectively incorporating prior expert demonstrations to pre-train the agent, we short-circuit the random exploration phase to learn a reasonable policy with online training. We utilize Offline RL as a \textbf{launchpad} to learn effective scheduling policies from prior experience collected using Oracle or heuristic policies. Such a framework is effective for pre-training from historical datasets and well suited to continuous improvement with online data collection.

在对关键安全环境的强化学习中，通常希望代理在所有时间点（包括培训期间）服从安全性限制。我们提出了一种称为Spice的新型神经符号方法，以解决这个安全的探索问题。与现有工具相比，Spice使用基于符号最弱的先决条件的在线屏蔽层获得更精确的安全性分析，而不会不适当地影响培训过程。我们在连续控制基准的套件上评估了该方法，并表明它可以达到与现有的安全学习技术相当的性能，同时遭受较少的安全性违规行为。此外，我们提出的理论结果表明，在合理假设下，香料会收敛到最佳安全政策。

深钢筋学习（DRL）被视为一种潜在的方法来控制汽车控制，并主要研究以支持一辆接下来的车辆。但是，在排中有多个以下车辆，尤其是在不可预测的领先车辆行为中，学习稳定，高效的汽车跟随政策是更具挑战性的。在这种情况下，我们采用集成的DRL和动态编程（DP）方法来学习自主排控制策略，该政策将深层确定性策略梯度（DDPG）算法嵌入到有限的 - Horizo​​n值迭代框架中。尽管DP框架可以提高DDPG的稳定性和性能，但它具有较低的采样和训练效率的局限性。在本文中，我们提出了一种算法，即有限的horizo​​n-ddpg，使用固定近似（FH-DDPG-SS）通过减少状态空间（FH-DDPG-SS）进行扫描，该算法使用三个关键思想来克服上述限制，即，即将网络权重转移到向后转移的网络权重。时间，较早的时间步骤的固定政策近似，并通过减少的状态空间进行扫描。为了验证FH-DDPG-SS的有效性，使用实际驾驶数据进行了模拟，其中将FH-DDPG-SS的性能与基准算法的性能进行了比较。最后，展示了FH-DDPG-SS的排安全性和弦稳定性。

In this work we introduce reinforcement learning techniques for solving lexicographic multi-objective problems. These are problems that involve multiple reward signals, and where the goal is to learn a policy that maximises the first reward signal, and subject to this constraint also maximises the second reward signal, and so on. We present a family of both action-value and policy gradient algorithms that can be used to solve such problems, and prove that they converge to policies that are lexicographically optimal. We evaluate the scalability and performance of these algorithms empirically, demonstrating their practical applicability. As a more specific application, we show how our algorithms can be used to impose safety constraints on the behaviour of an agent, and compare their performance in this context with that of other constrained reinforcement learning algorithms.

The high emission and low energy efficiency caused by internal combustion engines (ICE) have become unacceptable under environmental regulations and the energy crisis. As a promising alternative solution, multi-power source electric vehicles (MPS-EVs) introduce different clean energy systems to improve powertrain efficiency. The energy management strategy (EMS) is a critical technology for MPS-EVs to maximize efficiency, fuel economy, and range. Reinforcement learning (RL) has become an effective methodology for the development of EMS. RL has received continuous attention and research, but there is still a lack of systematic analysis of the design elements of RL-based EMS. To this end, this paper presents an in-depth analysis of the current research on RL-based EMS (RL-EMS) and summarizes the design elements of RL-based EMS. This paper first summarizes the previous applications of RL in EMS from five aspects: algorithm, perception scheme, decision scheme, reward function, and innovative training method. The contribution of advanced algorithms to the training effect is shown, the perception and control schemes in the literature are analyzed in detail, different reward function settings are classified, and innovative training methods with their roles are elaborated. Finally, by comparing the development routes of RL and RL-EMS, this paper identifies the gap between advanced RL solutions and existing RL-EMS. Finally, this paper suggests potential development directions for implementing advanced artificial intelligence (AI) solutions in EMS.

在过去的十年中，强化学习成功地解决了复杂的控制任务和决策问题，例如Go棋盘游戏。然而，在将这些算法部署到现实世界情景方面的成功案例很少。原因之一是在处理和避免不安全状态时缺乏保证，这是关键控制工程系统的基本要求。在本文中，我们介绍了指导性的安全射击（GUS），这是一种基于模型的RL方法，可以学会以最小的侵犯安全限制来控制系统。该模型以迭代批次方式在系统操作过程中收集的数据中学习，然后用于计划在每个时间步骤执行的最佳动作。我们提出了三个不同的安全计划者，一个基于简单的随机拍摄策略，两个基于MAP-ELITE，一种更高级的发散搜索算法。实验表明，这些计划者可以帮助学习代理避免在最大程度地探索状态空间的同时避免不安全的情况，这是学习系统准确模型的必要方面。此外，与无模型方法相比，学习模型可以减少与现实系统的交互作用的数量，同时仍达到高奖励，这是处理工程系统时的基本要求。

在过去的十年中，多智能经纪人强化学习（Marl）已经有了重大进展，但仍存在许多挑战，例如高样本复杂性和慢趋同稳定的政策，在广泛的部署之前需要克服，这是可能的。然而，在实践中，许多现实世界的环境已经部署了用于生成策略的次优或启发式方法。一个有趣的问题是如何最好地使用这些方法作为顾问，以帮助改善多代理领域的加强学习。在本文中，我们提供了一个原则的框架，用于将动作建议纳入多代理设置中的在线次优顾问。我们描述了在非传记通用随机游戏环境中提供多种智能强化代理（海军上将）的问题，并提出了两种新的基于Q学习的算法：海军上将决策（海军DM）和海军上将 - 顾问评估（Admiral-AE） ，这使我们能够通过适当地纳入顾问（Admiral-DM）的建议来改善学习，并评估顾问（Admiral-AE）的有效性。我们从理论上分析了算法，并在一般加上随机游戏中提供了关于他们学习的定点保证。此外，广泛的实验说明了这些算法：可以在各种环境中使用，具有对其他相关基线的有利相比的性能，可以扩展到大状态行动空间，并且对来自顾问的不良建议具有稳健性。

强化学习的标准制定缺乏指定禁止和禁止行为的实用方式。最常见的是，从业者通过手动工程来指定行为规范的任务，这是一个需要几个迭代的反向直观的过程，并且易于奖励代理人。在这项工作中，我们认为，几乎完全用于安全RL的受限制的RL，也有可能大大减少应用加强学习项目中奖励规范所花费的工作量。为此，我们建议在CMDP框架中指定行为偏好，并使用拉格朗日方法，该方法寻求解决代理程序的策略和拉格朗日乘法器之间的最小问题，以自动称量每个行为约束。具体而言，我们研究了如何调整CMDP，以便解决基于目标的任务，同时遵守一组行为约束，并提出对Sac-Lagrangian算法的修改以处理若干约束的具有挑战性的情况。我们对这一框架进行了一系列持续控制任务，该任务与用于视频游戏中NPC设计的加固学习应用相关。