采用合理的策略是具有挑战性的，但对于智能代理商的智能代理人至关重要，其资源有限，在危险，非结构化和动态环境中工作，以改善系统实用性，降低整体成本并增加任务成功概率。深度强化学习（DRL）帮助组织代理的行为和基于其状态的行为，并代表复杂的策略（行动的组成）。本文提出了一种基于贝叶斯链条的新型分层策略分解方法，将复杂的政策分为几个简单的子手段，并将其作为贝叶斯战略网络（BSN）组织。我们将这种方法整合到最先进的DRL方法中，软演奏者 - 批评者（SAC），并通过组织几个子主管作为联合政策来构建相应的贝叶斯软演奏者（BSAC）模型。我们将建议的BSAC方法与标准连续控制基准（Hopper-V2，Walker2D-V2和Humanoid-V2）在SAC和其他最先进的方法（例如TD3，DDPG和PPO）中进行比较 - Mujoco与Openai健身房环境。结果表明，BSAC方法的有希望的潜力可显着提高训练效率。可以从https://github.com/herolab-uga/bsac访问BSAC的开源代码。

Model-free deep reinforcement learning (RL) algorithms have been demonstrated on a range of challenging decision making and control tasks. However, these methods typically suffer from two major challenges: very high sample complexity and brittle convergence properties, which necessitate meticulous hyperparameter tuning. Both of these challenges severely limit the applicability of such methods to complex, real-world domains. In this paper, we propose soft actor-critic, an offpolicy actor-critic deep RL algorithm based on the maximum entropy reinforcement learning framework. In this framework, the actor aims to maximize expected reward while also maximizing entropy. That is, to succeed at the task while acting as randomly as possible. Prior deep RL methods based on this framework have been formulated as Q-learning methods. By combining off-policy updates with a stable stochastic actor-critic formulation, our method achieves state-of-the-art performance on a range of continuous control benchmark tasks, outperforming prior on-policy and off-policy methods. Furthermore, we demonstrate that, in contrast to other off-policy algorithms, our approach is very stable, achieving very similar performance across different random seeds.

软演员 - 评论家（SAC）是最先进的偏离策略强化学习（RL）算法之一，其在基于最大熵的RL框架内。 SAC被证明在具有良好稳定性和稳健性的持续控制任务的列表中表现得非常好。 SAC了解一个随机高斯政策，可以最大限度地提高预期奖励和政策熵之间的权衡。要更新策略，SAC可最大限度地减少当前策略密度与软值函数密度之间的kl分歧。然后用于获得这种分歧的近似梯度的回报。在本文中，我们提出了跨熵策略优化（SAC-CEPO）的软演员 - 评论家，它使用跨熵方法（CEM）来优化SAC的政策网络。初始思想是使用CEM来迭代地对软价函数密度的最接近的分布进行采样，并使用结果分布作为更新策略网络的目标。为了降低计算复杂性，我们还介绍了一个解耦的策略结构，该策略结构将高斯策略解耦为一个策略，了解了学习均值的均值和另一个策略，以便只有CEM训练平均政策。我们表明，这种解耦的政策结构确实会聚到最佳，我们还通过实验证明SAC-CEPO实现对原始囊的竞争性能。

资产分配（或投资组合管理）是确定如何最佳将有限预算的资金分配给一系列金融工具/资产（例如股票）的任务。这项研究调查了使用无模型的深RL代理应用于投资组合管理的增强学习（RL）的性能。我们培训了几个RL代理商的现实股票价格，以学习如何执行资产分配。我们比较了这些RL剂与某些基线剂的性能。我们还比较了RL代理，以了解哪些类别的代理表现更好。从我们的分析中，RL代理可以执行投资组合管理的任务，因为它们的表现明显优于基线代理（随机分配和均匀分配）。四个RL代理（A2C，SAC，PPO和TRPO）总体上优于最佳基线MPT。这显示了RL代理商发现更有利可图的交易策略的能力。此外，基于价值和基于策略的RL代理之间没有显着的性能差异。演员批评者的表现比其他类型的药物更好。同样，在政策代理商方面的表现要好，因为它们在政策评估方面更好，样品效率在投资组合管理中并不是一个重大问题。这项研究表明，RL代理可以大大改善资产分配，因为它们的表现优于强基础。基于我们的分析，在政策上，参与者批评的RL药物显示出最大的希望。

Reinforcement learning (RL) gained considerable attention by creating decision-making agents that maximize rewards received from fully observable environments. However, many real-world problems are partially or noisily observable by nature, where agents do not receive the true and complete state of the environment. Such problems are formulated as partially observable Markov decision processes (POMDPs). Some studies applied RL to POMDPs by recalling previous decisions and observations or inferring the true state of the environment from received observations. Nevertheless, aggregating observations and decisions over time is impractical for environments with high-dimensional continuous state and action spaces. Moreover, so-called inference-based RL approaches require large number of samples to perform well since agents eschew uncertainty in the inferred state for the decision-making. Active inference is a framework that is naturally formulated in POMDPs and directs agents to select decisions by minimising expected free energy (EFE). This supplies reward-maximising (exploitative) behaviour in RL, with an information-seeking (exploratory) behaviour. Despite this exploratory behaviour of active inference, its usage is limited to discrete state and action spaces due to the computational difficulty of the EFE. We propose a unified principle for joint information-seeking and reward maximization that clarifies a theoretical connection between active inference and RL, unifies active inference and RL, and overcomes their aforementioned limitations. Our findings are supported by strong theoretical analysis. The proposed framework's superior exploration property is also validated by experimental results on partial observable tasks with high-dimensional continuous state and action spaces. Moreover, the results show that our model solves reward-free problems, making task reward design optional.

Hierarchical Reinforcement Learning (HRL) algorithms have been demonstrated to perform well on high-dimensional decision making and robotic control tasks. However, because they solely optimize for rewards, the agent tends to search the same space redundantly. This problem reduces the speed of learning and achieved reward. In this work, we present an Off-Policy HRL algorithm that maximizes entropy for efficient exploration. The algorithm learns a temporally abstracted low-level policy and is able to explore broadly through the addition of entropy to the high-level. The novelty of this work is the theoretical motivation of adding entropy to the RL objective in the HRL setting. We empirically show that the entropy can be added to both levels if the Kullback-Leibler (KL) divergence between consecutive updates of the low-level policy is sufficiently small. We performed an ablative study to analyze the effects of entropy on hierarchy, in which adding entropy to high-level emerged as the most desirable configuration. Furthermore, a higher temperature in the low-level leads to Q-value overestimation and increases the stochasticity of the environment that the high-level operates on, making learning more challenging. Our method, SHIRO, surpasses state-of-the-art performance on a range of simulated robotic control benchmark tasks and requires minimal tuning.

深度加强学习（DRL）的框架为连续决策提供了强大而广泛适用的数学形式化。本文提出了一种新的DRL框架，称为\ emph {$ f $-diveliventcence加强学习（frl）}。在FRL中，通过最大限度地减少学习政策和采样策略之间的$ F $同时执行策略评估和政策改进阶段，这与旨在最大化预期累计奖励的传统DRL算法不同。理论上，我们证明最小化此类$ F $ - 可以使学习政策会聚到最佳政策。此外，我们将FRL框架中的培训代理程序转换为通过Fenchel Concugate的特定$ F $函数转换为鞍点优化问题，这构成了政策评估和政策改进的新方法。通过数学证据和经验评估，我们证明FRL框架有两个优点：（1）政策评估和政策改进过程同时进行，（2）高估价值函数的问题自然而缓解。为了评估FRL框架的有效性，我们对Atari 2600的视频游戏进行实验，并显示在FRL框架中培训的代理匹配或超越基线DRL算法。

近年来，许多定量金融领域的从业者试图使用深度强化学习（DRL）来建立更好的定量交易（QT）策略。然而，许多现有研究未能应对几个严重的挑战，例如非平稳财务环境以及在实际金融市场应用DRL时的偏见和差异权衡。在这项工作中，我们提出了Safe-Finrl，这是一种基于DRL的新型高FREQ股票交易策略，该策略通过近部财务环境以及低偏差和差异估算而增强。我们的主要贡献是双重的：首先，我们将漫长的财务时间序列分为近乎固定的短期环境；其次，我们通过将一般反探测器纳入软批评者中，在近部财务环境中实施Trace-SAC。对加密货币市场的广泛实验表明，避风势范围提供了稳定的价值估计，并稳定的政策改善，并在近部财务环境中显着降低了偏见和差异。

将深度强化学习（DRL）扩展到多代理领域的研究已经解决了许多复杂的问题，并取得了重大成就。但是，几乎所有这些研究都只关注离散或连续的动作空间，而且很少有作品曾经使用过多代理的深度强化学习来实现现实世界中的环境问题，这些问题主要具有混合动作空间。因此，在本文中，我们提出了两种算法：深层混合软性角色批评（MAHSAC）和多代理混合杂种深层确定性政策梯度（MAHDDPG）来填补这一空白。这两种算法遵循集中式培训和分散执行（CTDE）范式，并可以解决混合动作空间问题。我们的经验在多代理粒子环境上运行，这是一个简单的多代理粒子世界，以及一些基本的模拟物理。实验结果表明，这些算法具有良好的性能。

Deep reinforcement learning is poised to revolutionise the field of AI and represents a step towards building autonomous systems with a higher level understanding of the visual world. Currently, deep learning is enabling reinforcement learning to scale to problems that were previously intractable, such as learning to play video games directly from pixels. Deep reinforcement learning algorithms are also applied to robotics, allowing control policies for robots to be learned directly from camera inputs in the real world. In this survey, we begin with an introduction to the general field of reinforcement learning, then progress to the main streams of value-based and policybased methods. Our survey will cover central algorithms in deep reinforcement learning, including the deep Q-network, trust region policy optimisation, and asynchronous advantage actor-critic. In parallel, we highlight the unique advantages of deep neural networks, focusing on visual understanding via reinforcement learning. To conclude, we describe several current areas of research within the field.

在本文中，我们提出了一种用于增强学习（RL）的最大熵框架，以克服在无模型基于样本的学习中实现最大熵RL的软演员 - 评论权（SAC）算法的限制。尽管在未来的最大熵RL指南学习政策中，未来的高熵达到国家，所提出的MAX-MIN熵框架旨在学会访问低熵的国家，并最大限度地提高这些低熵状态的熵，以促进更好的探索。对于一般马尔可夫决策过程（MDP），基于勘探和剥削的解剖学，在提议的MAX-MIN熵框架下构建了一种有效的算法。数值结果表明，该算法对目前最先进的RL算法产生了剧烈性能改进。

本文介绍了一些最先进的加强学习算法的基准研究，用于解决两个模拟基于视觉的机器人问题。本研究中考虑的算法包括软演员 - 评论家（SAC），近端政策优化（PPO），内插政策梯度（IPG），以及与后敏感体验重播（她）的变体。将这些算法的性能与Pybullet的两个仿真环境进行比较，称为KukadiverseObjectenV和raceCarzedgymenv。这些环境中的状态观察以RGB图像的形式提供，并且动作空间是连续的，使得它们难以解决。建议许多策略提供在基本上单目标环境的这些问题上实施算法所需的中级后敏感目标。另外，提出了许多特征提取架构在学习过程中纳入空间和时间关注。通过严格的模拟实验，建立了这些组分实现的改进。据我们所知，这种基准测试的基础基础是基于视觉的机器人问题的基准研究，使其成为该领域的新贡献。

有效的强化学习需要适当的平衡探索和剥削，由动作分布的分散定义。但是，这种平衡取决于任务，学习过程的当前阶段以及当前的环境状态。指定动作分布分散的现有方法需要依赖问题的超参数。在本文中，我们建议使用以下原则自动指定动作分布分布：该分布应具有足够的分散，以评估未来的政策。为此，应调整色散以确保重播缓冲区中的动作和产生它们的分布模式的足够高的概率（密度），但是这种分散不应更高。这样，可以根据缓冲区中的动作有效评估策略，但是当此策略收敛时，动作的探索性随机性会降低。上述原则在挑战性的基准蚂蚁，Halfcheetah，Hopper和Walker2D上进行了验证，并取得了良好的效果。我们的方法使动作标准偏差收敛到与试验和错误优化产生的相似的值。

我们研究了从连续动作空间到离散动作空间的软参与者批评（SAC）的适应性。我们重新访问香草囊，并在应用于离散设置时对其Q值低估和性能不稳定性问题提供深入的了解。因此，我们建议使用Q-CLIP的熵 - 平均Q学习和双平均Q学习来解决这些问题。对具有离散动作空间（包括Atari游戏和大型MOBA游戏）的典型基准测试的广泛实验显示了我们提出的方法的功效。我们的代码在：https：//github.com/coldsummerday/revisiting-discrete-sac。

In order to avoid conventional controlling methods which created obstacles due to the complexity of systems and intense demand on data density, developing modern and more efficient control methods are required. In this way, reinforcement learning off-policy and model-free algorithms help to avoid working with complex models. In terms of speed and accuracy, they become prominent methods because the algorithms use their past experience to learn the optimal policies. In this study, three reinforcement learning algorithms; DDPG, TD3 and SAC have been used to train Fetch robotic manipulator for four different tasks in MuJoCo simulation environment. All of these algorithms are off-policy and able to achieve their desired target by optimizing both policy and value functions. In the current study, the efficiency and the speed of these three algorithms are analyzed in a controlled environment.

本文解决了当参与需求响应（DR）时优化电动汽车（EV）的充电/排放时间表的问题。由于电动汽车的剩余能量，到达和出发时间以及未来的电价中存在不确定性，因此很难做出充电决定以最大程度地减少充电成本，同时保证电动汽车的电池最先进（SOC）在内某些范围。为了解决这一难题，本文将EV充电调度问题制定为Markov决策过程（CMDP）。通过协同结合增强的Lagrangian方法和软演员评论家算法，本文提出了一种新型安全的非政策钢筋学习方法（RL）方法来解决CMDP。通过Lagrangian值函数以策略梯度方式更新Actor网络。采用双重危机网络来同步估计动作值函数，以避免高估偏差。所提出的算法不需要强烈的凸度保证，可以保证被检查的问题，并且是有效的样本。现实世界中电价的全面数值实验表明，我们提出的算法可以实现高解决方案最佳性和约束依从性。

钢筋学习的最新进展证明了其在超级人类水平上解决硬质孕代环境互动任务的能力。然而，由于大多数RL最先进的算法的样本低效率，即，需要大量培训集，因此在实际和现实世界任务中的应用目前有限。例如，在Dota 2中击败人类参与者的Openai五种算法已经训练了数千年的游戏时间。存在解决样本低效问题的几种方法，可以通过更好地探索环境来提供更有效的使用或旨在获得更相关和多样化的经验。然而，为了我们的知识，没有用于基于模型的算法的这种方法，其在求解具有高维状态空间的硬控制任务方面的高采样效率。这项工作连接了探索技术和基于模型的加强学习。我们设计了一种新颖的探索方法，考虑了基于模型的方法的特征。我们还通过实验证明我们的方法显着提高了基于模型的算法梦想家的性能。

通过集中培训和分散执行的价值功能分解是有助于解决合作多功能协商强化任务的承诺。该地区QMIX的方法之一已成为最先进的，在星际争霸II微型管理基准上实现了最佳性能。然而，已知QMIX中每个代理估计的单调混合是限制它可以表示的关节动作Q值，以及单个代理价值函数估计的全局状态信息，通常导致子优相。为此，我们呈现LSF-SAC，这是一种新颖的框架，其具有基于变分推理的信息共享机制，作为额外的状态信息，以帮助在价值函数分子中提供各个代理。我们证明，这种潜在的个人状态信息共享可以显着扩展价值函数分解的力量，而通过软演员批评设计仍然可以在LSF-SAC中保持完全分散的执行。我们在星际争霸II微型管理挑战上评估LSF-SAC，并证明它在挑战协作任务方面优于几种最先进的方法。我们进一步设定了广泛的消融研究，以定位核算其绩效改进的关键因素。我们认为，这种新的洞察力可以导致新的地方价值估算方法和变分的深度学习算法。可以在https://sites.google.com/view/sacmm处找到演示视频和实现代码。

多代理深入的强化学习已应用于解决各种离散或连续动作空间的各种复杂问题，并取得了巨大的成功。但是，大多数实际环境不能仅通过离散的动作空间或连续的动作空间来描述。而且很少有作品曾经利用深入的加固学习（DRL）来解决混合动作空间的多代理问题。因此，我们提出了一种新颖的算法：深层混合软性角色 - 批评（MAHSAC）来填补这一空白。该算法遵循集中式训练但分散执行（CTDE）范式，并扩展软actor-Critic算法（SAC），以根据最大熵在多机构环境中处理混合动作空间问题。我们的经验在一个简单的多代理粒子世界上运行，具有连续的观察和离散的动作空间以及一些基本的模拟物理。实验结果表明，MAHSAC在训练速度，稳定性和抗干扰能力方面具有良好的性能。同时，它在合作场景和竞争性场景中胜过现有的独立深层学习方法。

深度强化学习（DRL）和深度多机构的强化学习（MARL）在包括游戏AI，自动驾驶汽车，机器人技术等各种领域取得了巨大的成功。但是，众所周知，DRL和Deep MARL代理的样本效率低下，即使对于相对简单的问题设置，通常也需要数百万个相互作用，从而阻止了在实地场景中的广泛应用和部署。背后的一个瓶颈挑战是众所周知的探索问题，即如何有效地探索环境和收集信息丰富的经验，从而使政策学习受益于最佳研究。在稀疏的奖励，吵闹的干扰，长距离和非平稳的共同学习者的复杂环境中，这个问题变得更加具有挑战性。在本文中，我们对单格和多代理RL的现有勘探方法进行了全面的调查。我们通过确定有效探索的几个关键挑战开始调查。除了上述两个主要分支外，我们还包括其他具有不同思想和技术的著名探索方法。除了算法分析外，我们还对一组常用基准的DRL进行了全面和统一的经验比较。根据我们的算法和实证研究，我们终于总结了DRL和Deep Marl中探索的公开问题，并指出了一些未来的方向。