人类有时选择他们自己可以识别为次优或错误的行动，即使在没有其他信息的情况下也是如此。这怎么可能？我们基于基于价值的RL和基于策略的RL之间的强化学习（RL）的良好折衷折衷的折衷算法的元认知理论。对于认知（Neuro）科学社区，我们的理论回答了为什么信息可以用于错误检测但不适合动作选择的突出问题。对于机器学习界，我们的拟议理论在演员批评者中的演员和评论家之间创造了一种新的互动，并注意到RL和贝叶斯优化之间的新建立。我们称我们提出的代理人元认知演员评论家（Mac）。我们结束了通过实现深层MAC来显示如何在机器中创建元记号，并显示它可以检测到其自己的次优操作而没有外部信息或延迟。

强化学习（RL）和脑电脑接口（BCI）是过去十年一直在增长的两个领域。直到最近，这些字段彼此独立操作。随着对循环（HITL）应用的兴趣升高，RL算法已经适用于人类指导，从而产生互动强化学习（IRL）的子领域。相邻的，BCI应用一直很感兴趣在人机交互期间从神经活动中提取内在反馈。这两个想法通过将BCI集成到IRL框架中，将RL和BCI设置在碰撞过程中，通过将内在反馈可用于帮助培训代理商来帮助框架。这种交叉点被称为内在的IRL。为了进一步帮助，促进BCI和IRL的更深层次，我们对内在IRILL的审查有着重点在于其母体领域的反馈驱动的IRL，同时还提供有关有效性，挑战和未来研究方向的讨论。

动物行为是由与不同控制策略并行工作的多个大脑区域驱动的。我们提出了基础神经节中损失钢筋学习的生物学上合理的模型，该模型可以在这种建筑中学习。该模型说明了与动作相关的多巴胺活动调制，该调制不是由实现政策算法的以前模型捕获的。特别是，该模型预测，多巴胺活动标志着奖励预测误差（如经典模型）和“动作惊喜”的组合，这是对动作相对于基础神经节的当前政策的意外程度的衡量标准。在存在动作惊喜项的情况下，该模型实现了Q学习的近似形式。在基准导航和达到任务上，我们从经验上表明，该模型能够完全或部分由其他策略（例如其他大脑区域）学习。相比之下，没有动作惊喜术语的模型在存在其他政策的情况下遭受了损失，并且根本无法从完全由外部驱动的行为中学习。该模型为多巴胺活性提供了许多实验发现，提供了一个计算说明，这是基础神经节中的经典增强模型无法解释的。这些包括背侧和腹侧纹状体中不同水平的动作惊喜信号，通过实践减少了运动调节的多巴胺活性的量以及多巴胺活性的动作起始和运动学的表示。它还提供了进一步的预测，可以通过纹状体多巴胺活性的记录进行测试。

We present temporally layered architecture (TLA), a biologically inspired system for temporally adaptive distributed control. TLA layers a fast and a slow controller together to achieve temporal abstraction that allows each layer to focus on a different time-scale. Our design is biologically inspired and draws on the architecture of the human brain which executes actions at different timescales depending on the environment's demands. Such distributed control design is widespread across biological systems because it increases survivability and accuracy in certain and uncertain environments. We demonstrate that TLA can provide many advantages over existing approaches, including persistent exploration, adaptive control, explainable temporal behavior, compute efficiency and distributed control. We present two different algorithms for training TLA: (a) Closed-loop control, where the fast controller is trained over a pre-trained slow controller, allowing better exploration for the fast controller and closed-loop control where the fast controller decides whether to "act-or-not" at each timestep; and (b) Partially open loop control, where the slow controller is trained over a pre-trained fast controller, allowing for open loop-control where the slow controller picks a temporally extended action or defers the next n-actions to the fast controller. We evaluated our method on a suite of continuous control tasks and demonstrate the advantages of TLA over several strong baselines.

Adequately assigning credit to actions for future outcomes based on their contributions is a long-standing open challenge in Reinforcement Learning. The assumptions of the most commonly used credit assignment method are disadvantageous in tasks where the effects of decisions are not immediately evident. Furthermore, this method can only evaluate actions that have been selected by the agent, making it highly inefficient. Still, no alternative methods have been widely adopted in the field. Hindsight Credit Assignment is a promising, but still unexplored candidate, which aims to solve the problems of both long-term and counterfactual credit assignment. In this thesis, we empirically investigate Hindsight Credit Assignment to identify its main benefits, and key points to improve. Then, we apply it to factored state representations, and in particular to state representations based on the causal structure of the environment. In this setting, we propose a variant of Hindsight Credit Assignment that effectively exploits a given causal structure. We show that our modification greatly decreases the workload of Hindsight Credit Assignment, making it more efficient and enabling it to outperform the baseline credit assignment method on various tasks. This opens the way to other methods based on given or learned causal structures.

Reinforcement learning (RL) gained considerable attention by creating decision-making agents that maximize rewards received from fully observable environments. However, many real-world problems are partially or noisily observable by nature, where agents do not receive the true and complete state of the environment. Such problems are formulated as partially observable Markov decision processes (POMDPs). Some studies applied RL to POMDPs by recalling previous decisions and observations or inferring the true state of the environment from received observations. Nevertheless, aggregating observations and decisions over time is impractical for environments with high-dimensional continuous state and action spaces. Moreover, so-called inference-based RL approaches require large number of samples to perform well since agents eschew uncertainty in the inferred state for the decision-making. Active inference is a framework that is naturally formulated in POMDPs and directs agents to select decisions by minimising expected free energy (EFE). This supplies reward-maximising (exploitative) behaviour in RL, with an information-seeking (exploratory) behaviour. Despite this exploratory behaviour of active inference, its usage is limited to discrete state and action spaces due to the computational difficulty of the EFE. We propose a unified principle for joint information-seeking and reward maximization that clarifies a theoretical connection between active inference and RL, unifies active inference and RL, and overcomes their aforementioned limitations. Our findings are supported by strong theoretical analysis. The proposed framework's superior exploration property is also validated by experimental results on partial observable tasks with high-dimensional continuous state and action spaces. Moreover, the results show that our model solves reward-free problems, making task reward design optional.

我向已知的数学问题提出了一个深入的加强学习（RL）解决方案，称为新闻温丹主模型，这旨在考虑到概率的需求分布。为了反映更现实和复杂的情况，需求分布可以改变本周不同的日子，从而改变了最佳行为。我使用了一个双延迟的深度确定性政策梯度代理（写为完全原始代码）与演员和批评网络来解决这个问题。该代理能够学习与问题的分析解决方案一致的最佳行为，并且可以识别本周不同日期的单独概率分布并相应地行事。

最先进的多机构增强学习（MARL）方法为各种复杂问题提供了有希望的解决方案。然而，这些方法都假定代理执行同步的原始操作执行，因此它们不能真正可扩展到长期胜利的真实世界多代理/机器人任务，这些任务固有地要求代理/机器人以异步的理由，涉及有关高级动作选择的理由。不同的时间。宏观行动分散的部分可观察到的马尔可夫决策过程（MACDEC-POMDP）是在完全合作的多代理任务中不确定的异步决策的一般形式化。在本论文中，我们首先提出了MacDec-Pomdps的一组基于价值的RL方法，其中允许代理在三个范式中使用宏观成果功能执行异步学习和决策：分散学习和控制，集中学习，集中学习和控制，以及分散执行的集中培训（CTDE）。在上述工作的基础上，我们在三个训练范式下制定了一组基于宏观行动的策略梯度算法，在该训练范式下，允许代理以异步方式直接优化其参数化策略。我们在模拟和真实的机器人中评估了我们的方法。经验结果证明了我们在大型多代理问题中的方法的优势，并验证了我们算法在学习具有宏观actions的高质量和异步溶液方面的有效性。

In order to avoid conventional controlling methods which created obstacles due to the complexity of systems and intense demand on data density, developing modern and more efficient control methods are required. In this way, reinforcement learning off-policy and model-free algorithms help to avoid working with complex models. In terms of speed and accuracy, they become prominent methods because the algorithms use their past experience to learn the optimal policies. In this study, three reinforcement learning algorithms; DDPG, TD3 and SAC have been used to train Fetch robotic manipulator for four different tasks in MuJoCo simulation environment. All of these algorithms are off-policy and able to achieve their desired target by optimizing both policy and value functions. In the current study, the efficiency and the speed of these three algorithms are analyzed in a controlled environment.

资产分配（或投资组合管理）是确定如何最佳将有限预算的资金分配给一系列金融工具/资产（例如股票）的任务。这项研究调查了使用无模型的深RL代理应用于投资组合管理的增强学习（RL）的性能。我们培训了几个RL代理商的现实股票价格，以学习如何执行资产分配。我们比较了这些RL剂与某些基线剂的性能。我们还比较了RL代理，以了解哪些类别的代理表现更好。从我们的分析中，RL代理可以执行投资组合管理的任务，因为它们的表现明显优于基线代理（随机分配和均匀分配）。四个RL代理（A2C，SAC，PPO和TRPO）总体上优于最佳基线MPT。这显示了RL代理商发现更有利可图的交易策略的能力。此外，基于价值和基于策略的RL代理之间没有显着的性能差异。演员批评者的表现比其他类型的药物更好。同样，在政策代理商方面的表现要好，因为它们在政策评估方面更好，样品效率在投资组合管理中并不是一个重大问题。这项研究表明，RL代理可以大大改善资产分配，因为它们的表现优于强基础。基于我们的分析，在政策上，参与者批评的RL药物显示出最大的希望。

不确定性量化是现实世界应用中机器学习的主要挑战之一。在强化学习中，一个代理人面对两种不确定性，称为认识论不确定性和态度不确定性。同时解开和评估这些不确定性，有机会提高代理商的最终表现，加速培训并促进部署后的质量保证。在这项工作中，我们为连续控制任务的不确定性感知强化学习算法扩展了深层确定性策略梯度算法（DDPG）。它利用了认识论的不确定性，以加快探索和不确定性来学习风险敏感的政策。我们进行数值实验，表明我们的DDPG变体在机器人控制和功率网络优化方面的基准任务中均优于香草DDPG而没有不确定性估计。

由于共同国家行动空间相对于代理人的数量，多代理强化学习（MARL）中的政策学习（MARL）是具有挑战性的。为了实现更高的可伸缩性，通过分解执行（CTDE）的集中式培训范式被MARL中的分解结构广泛采用。但是，我们观察到，即使在简单的矩阵游戏中，合作MARL中现有的CTDE算法也无法实现最佳性。为了理解这种现象，我们引入了一个具有政策分解（GPF-MAC）的广义多代理参与者批评的框架，该框架的特征是对分解的联合政策的学习，即，每个代理人的政策仅取决于其自己的观察行动历史。我们表明，最受欢迎的CTDE MARL算法是GPF-MAC的特殊实例，可能会陷入次优的联合政策中。为了解决这个问题，我们提出了一个新颖的转型框架，该框架将多代理的MDP重新制定为具有连续结构的特殊“单位代理” MDP，并且可以允许使用现成的单机械加固学习（SARL）算法来有效地学习相应的多代理任务。这种转换保留了SARL算法的最佳保证，以合作MARL。为了实例化此转换框架，我们提出了一个转换的PPO，称为T-PPO，该PPO可以在有限的多代理MDP中进行理论上执行最佳的策略学习，并在一系列合作的多代理任务上显示出明显的超出性能。

在双替代强制选择任务中，先验知识可以提高性能，特别是在靠近心理物理阈值的操作时。例如，如果主题知道一个选择比另一个更有可能更有可能，则可以在证据疲软时使其选择。这些任务的常见假设是先前储存在神经活动中。在这里，我们提出了一个不同的假设：之前的储存在突触强度中。我们研究国际脑实验室任务，其中光栅出现在屏幕的右侧或左侧，鼠标必须移动一个轮子将光栅带到中心。相反，光栅通常是低的，这使得任务相对困难，并且光栅出现在右侧的现有概率是80％或20％，其（无罪）的约50试验块。我们将其模拟作为增强学习任务，使用前馈神经网络将状态映射到动作，并调整网络的权重以最大化奖励，通过策略梯度学习。我们的模型使用内部状态来存储对光栅和信心的估计，并遵循贝叶斯更新，并且可以在接合和脱离状态之间切换以模仿动物行为。该模型再现主要实验发现 - 在大约10个试验中，块开关后的对比度变化的心理曲线。此外，如在实验中所见，在我们的模型中，右侧块和左块中的神经元活动的差异很小 - 如果噪声约为2％，几乎不可能将块结构从单一试验中的活动中解码。难以测试的假设难以测试，但该技术应该在不遥远的未来中提供。

In this paper we consider deterministic policy gradient algorithms for reinforcement learning with continuous actions. The deterministic policy gradient has a particularly appealing form: it is the expected gradient of the action-value function. This simple form means that the deterministic policy gradient can be estimated much more efficiently than the usual stochastic policy gradient. To ensure adequate exploration, we introduce an off-policy actor-critic algorithm that learns a deterministic target policy from an exploratory behaviour policy. We demonstrate that deterministic policy gradient algorithms can significantly outperform their stochastic counterparts in high-dimensional action spaces.

强化学习中的信用作业是衡量行动对未来奖励的影响的问题。特别是，这需要从运气中分离技能，即解除外部因素和随后的行动对奖励行动的影响。为实现这一目标，我们将来自因果关系的反事件的概念调整为无模型RL设置。关键思想是通过学习从轨迹中提取相关信息来应对未来事件的价值函数。我们制定了一系列政策梯度算法，这些算法使用这些未来条件的价值函数作为基准或批评，并表明它们是可怕的差异。为避免对未来信息的调理潜在偏见，我们将后视信息限制为不包含有关代理程序行为的信息。我们展示了我们对许多说明性和具有挑战性问题的算法的功效和有效性。

Deep reinforcement learning is poised to revolutionise the field of AI and represents a step towards building autonomous systems with a higher level understanding of the visual world. Currently, deep learning is enabling reinforcement learning to scale to problems that were previously intractable, such as learning to play video games directly from pixels. Deep reinforcement learning algorithms are also applied to robotics, allowing control policies for robots to be learned directly from camera inputs in the real world. In this survey, we begin with an introduction to the general field of reinforcement learning, then progress to the main streams of value-based and policybased methods. Our survey will cover central algorithms in deep reinforcement learning, including the deep Q-network, trust region policy optimisation, and asynchronous advantage actor-critic. In parallel, we highlight the unique advantages of deep neural networks, focusing on visual understanding via reinforcement learning. To conclude, we describe several current areas of research within the field.

设计加固学习（RL）代理通常是一个艰难的过程，需要大量的设计迭代。由于多种原因，学习可能会失败，并且标准RL方法提供的工具太少，无法洞悉确切原因。在本文中，我们展示了如何将价值分解整合到一类广泛的参与者批评算法中，并使用它来协助迭代代理设计过程。价值分解将奖励函数分为不同的组件，并学习每个组件的价值估计值。这些价值估计提供了对代理商的学习和决策过程的见解，并使新的培训方法可以减轻常见问题。作为演示，我们介绍了SAC-D，这是一种适合价值分解的软角色批评（SAC）的变体。 SAC-D保持与SAC相似的性能，同时学习一组更大的价值预测。我们还介绍了基于分解的工具来利用此信息，包括新的奖励影响指标，该指标衡量了每个奖励组件对代理决策的影响。使用这些工具，我们提供了分解用于识别和解决环境和代理设计问题的几种证明。价值分解广泛适用，易于将其纳入现有算法和工作流程中，使其成为RL从业人员的工具箱中的强大工具。

由于数据量增加，金融业的快速变化已经彻底改变了数据处理和数据分析的技术，并带来了新的理论和计算挑战。与古典随机控制理论和解决财务决策问题的其他分析方法相比，解决模型假设的财务决策问题，强化学习（RL）的新发展能够充分利用具有更少模型假设的大量财务数据并改善复杂的金融环境中的决策。该调查纸目的旨在审查最近的资金途径的发展和使用RL方法。我们介绍了马尔可夫决策过程，这是许多常用的RL方法的设置。然后引入各种算法，重点介绍不需要任何模型假设的基于价值和基于策略的方法。连接是用神经网络进行的，以扩展框架以包含深的RL算法。我们的调查通过讨论了这些RL算法在金融中各种决策问题中的应用，包括最佳执行，投资组合优化，期权定价和对冲，市场制作，智能订单路由和Robo-Awaring。

钢筋学习的最新进展证明了其在超级人类水平上解决硬质孕代环境互动任务的能力。然而，由于大多数RL最先进的算法的样本低效率，即，需要大量培训集，因此在实际和现实世界任务中的应用目前有限。例如，在Dota 2中击败人类参与者的Openai五种算法已经训练了数千年的游戏时间。存在解决样本低效问题的几种方法，可以通过更好地探索环境来提供更有效的使用或旨在获得更相关和多样化的经验。然而，为了我们的知识，没有用于基于模型的算法的这种方法，其在求解具有高维状态空间的硬控制任务方面的高采样效率。这项工作连接了探索技术和基于模型的加强学习。我们设计了一种新颖的探索方法，考虑了基于模型的方法的特征。我们还通过实验证明我们的方法显着提高了基于模型的算法梦想家的性能。

Many real-world problems, such as network packet routing and the coordination of autonomous vehicles, are naturally modelled as cooperative multi-agent systems. There is a great need for new reinforcement learning methods that can efficiently learn decentralised policies for such systems. To this end, we propose a new multi-agent actor-critic method called counterfactual multi-agent (COMA) policy gradients. COMA uses a centralised critic to estimate the Q-function and decentralised actors to optimise the agents' policies. In addition, to address the challenges of multi-agent credit assignment, it uses a counterfactual baseline that marginalises out a single agent's action, while keeping the other agents' actions fixed. COMA also uses a critic representation that allows the counterfactual baseline to be computed efficiently in a single forward pass. We evaluate COMA in the testbed of StarCraft unit micromanagement, using a decentralised variant with significant partial observability. COMA significantly improves average performance over other multi-agent actorcritic methods in this setting, and the best performing agents are competitive with state-of-the-art centralised controllers that get access to the full state.