回声状态网络（ESN）是一种特殊类型的复发性神经网络，用于处理时间序列数据集。然而，受代理顺序样本之间的强相关的强烈相关性，基于ESN的策略控制算法难以使用递归最小二乘（RLS）算法来更新ESN的参数。为了解决这个问题，我们提出了两种新颖的政策控制算法，esnrls-q和esnrls-sarsa。首先，为了减少训练样本的相关性，我们使用泄漏的积分器ESN和迷你批量学习模式。其次，为了使RLS适用于迷你批量模式的训练ESN，我们提出了一种用于更新RLS相关矩阵的新平均近似方法。第三，为了防止ESN过度拟合，我们使用L1正则化技术。最后，为了防止目标状态动作价值高估，我们采用了MOLLMAX方法。仿真结果表明，我们的算法具有良好的收敛性能。

基于Q学习的强化学习算法正在推动深入的强化学习（DRL）研究，以解决复杂的问题并在其中许多方面实现超人的表现。然而，已知Q学习是积极偏见的，因为它通过使用最大值的期望值噪声估计来学习。对动作值的系统高估与DRL方法的固有较高方差相结合会导致逐渐积累的错误，从而导致学习算法的差异。理想情况下，我们希望DRL代理人考虑到他们对每个动作的最佳性的不确定性，并能够利用它以对预期收益进行更明智的估计。在这方面，加权Q学习（WQL）有效地减少了偏见，并在随机环境中显示出显着的结果。 WQL使用估计动作值的加权总和，其中权重对应于每个动作值的概率为最大值。但是，这些概率的计算仅在表格设置中是实用的。在这项工作中，我们通过使用接受辍学训练的神经网络作为深豪斯过程的有效近似，从而提供了方法上的进步，以从DRL中的WQL属性中受益。特别是，我们采用具体的辍学变体来获得DRL认知不确定性的校准估计值。然后，通过采取几个随机前向通过动作值网络并以蒙特卡洛的方式计算权重来获得估计器。这样的权重是对应于最大W.R.T.的每个动作值的概率的贝叶斯估计。通过辍学估计的后验概率分布。我们展示了我们的新颖加权Q学习算法如何减少偏见W.R.T.相关基线，并提供了其在代表性基准方面的优势的经验证据。

加固学习在机器学习中推动了令人印象深刻的进步。同时，量子增强机学习算法使用量子退火的底层划伤。最近，已经提出了一种组合两个范例的多代理强化学习（MARL）架构。这种新的算法利用Q值近似的量子Boltzmann机器（QBMS）在收敛所需的时间步长方面具有优于常规的深度增强学习。但是，该算法仅限于单代理和小型2x2多代理网格域。在这项工作中，我们提出了对原始概念的延伸，以解决更具挑战性问题。类似于Classic DQN，我们添加了重播缓冲区的体验，并使用不同的网络来估计目标和策略值。实验结果表明，学习变得更加稳定，使代理能够在具有更高复杂性的网格域中找到最佳策略。此外，我们还评估参数共享如何影响多代理域中的代理行为。量子采样证明是一种有希望的加强学习任务的方法，但目前受到QPU尺寸的限制，因此通过输入和Boltzmann机器的大小。

In this paper, we build on advances introduced by the Deep Q-Networks (DQN) approach to extend the multi-objective tabular Reinforcement Learning (RL) algorithm W-learning to large state spaces. W-learning algorithm can naturally solve the competition between multiple single policies in multi-objective environments. However, the tabular version does not scale well to environments with large state spaces. To address this issue, we replace underlying Q-tables with DQN, and propose an addition of W-Networks, as a replacement for tabular weights (W) representations. We evaluate the resulting Deep W-Networks (DWN) approach in two widely-accepted multi-objective RL benchmarks: deep sea treasure and multi-objective mountain car. We show that DWN solves the competition between multiple policies while outperforming the baseline in the form of a DQN solution. Additionally, we demonstrate that the proposed algorithm can find the Pareto front in both tested environments.

基于价值的深度增强学习（RL）算法遭受主要由函数近似和时间差（TD）学习引起的估计偏差。此问题会引起故障状态 - 动作值估计，因此损害了学习算法的性能和鲁棒性。尽管提出了几种技术来解决，但学习算法仍然遭受这种偏差。在这里，我们介绍一种技术，该技术使用经验重放机制消除了截止策略连续控制算法中的估计偏差。我们在加权双延迟深度确定性政策梯度算法中自适应地学习加权超参数β。我们的方法名为Adaptive-WD3（AWD3）。我们展示了Openai健身房的连续控制环境，我们的算法匹配或优于最先进的脱离政策政策梯度学习算法。

深Q学习网络（DQN）是一种成功的方式，将增强学习与深神经网络结合在一起，并导致广泛应用强化学习。当将DQN或其他强化学习算法应用于现实世界问题时，一个具有挑战性的问题是数据收集。因此，如何提高数据效率是强化学习研究中最重要的问题之一。在本文中，我们提出了一个框架，该框架使用深q网络中的最大均值损失（m $^2 $ dqn）。我们没有在训练步骤中抽样一批体验，而是从体验重播中采样了几批，并更新参数，以使这些批次的最大td-Error最小化。所提出的方法可以通过替换损耗函数来与DQN算法的大多数现有技术结合使用。我们在几个健身游戏中使用了最广泛的技术DQN（DDQN）之一来验证该框架的有效性。结果表明，我们的方法会导致学习速度和性能的实质性提高。

6G将移动移动网络以增加复杂程度。为了处理这种复杂性，网络参数的优化是确保高性能和及时适应动态网络环境的关键。天线倾斜的优化提供了一种实用且具有成本效益的方法，以提高网络中的覆盖率和容量。通过学习自适应策略优于传统的倾斜优化方法，基于强化学习（RL）的先前方法对倾斜优化具有很大的通知。但是，大多数现有的RL方法都基于单个小区特征表示，它无法完全表征代理状态，从而导致次优的性能。此外，由于国家行动爆炸和泛化能力，大多数此类方法缺乏可扩展性。在本文中，我们提出了一个关于倾斜优化的Q-Learnal（GaQ）算法的图表。 GaQ依赖于图形注意机制来选择相关的邻居信息，提高代理状态表示，并根据使用深Q-Network（DQN）的观察历史更新倾斜控制策略。我们表明GAQ有效地捕获重要的网络信息，并通过大边距与本地信息优于标准DQN。此外，我们展示了概括到不同尺寸和密度的网络部署的能力。

Batch reinforcement learning is a subfield of dynamic programming-based reinforcement learning. Originally defined as the task of learning the best possible policy from a fixed set of a priori-known transition samples, the (batch) algorithms developed in this field can be easily adapted to the classical online case, where the agent interacts with the environment while learning. Due to the efficient use of collected data and the stability of the learning process, this research area has attracted a lot of attention recently. In this chapter, we introduce the basic principles and the theory behind batch reinforcement learning, describe the most important algorithms, exemplarily discuss ongoing research within this field, and briefly survey real-world applications of batch reinforcement learning.

Hybrid FSO/RF system requires an efficient FSO and RF link switching mechanism to improve the system capacity by realizing the complementary benefits of both the links. The dynamics of network conditions, such as fog, dust, and sand storms compound the link switching problem and control complexity. To address this problem, we initiate the study of deep reinforcement learning (DRL) for link switching of hybrid FSO/RF systems. Specifically, in this work, we focus on actor-critic called Actor/Critic-FSO/RF and Deep-Q network (DQN) called DQN-FSO/RF for FSO/RF link switching under atmospheric turbulences. To formulate the problem, we define the state, action, and reward function of a hybrid FSO/RF system. DQN-FSO/RF frequently updates the deployed policy that interacts with the environment in a hybrid FSO/RF system, resulting in high switching costs. To overcome this, we lift this problem to ensemble consensus-based representation learning for deep reinforcement called DQNEnsemble-FSO/RF. The proposed novel DQNEnsemble-FSO/RF DRL approach uses consensus learned features representations based on an ensemble of asynchronous threads to update the deployed policy. Experimental results corroborate that the proposed DQNEnsemble-FSO/RF's consensus-learned features switching achieves better performance than Actor/Critic-FSO/RF, DQN-FSO/RF, and MyOpic for FSO/RF link switching while keeping the switching cost significantly low.

强化学习和最近的深度增强学习是解决如Markov决策过程建模的顺序决策问题的流行方法。问题和选择算法和超参数的RL建模需要仔细考虑，因为不同的配置可能需要完全不同的性能。这些考虑因素主要是RL专家的任务;然而，RL在研究人员和系统设计师不是RL专家的其他领域中逐渐变得流行。此外，许多建模决策，例如定义状态和动作空间，批次的大小和批量更新的频率以及时间戳的数量通常是手动进行的。由于这些原因，RL框架的自动化不同组成部分具有重要意义，近年来它引起了很多关注。自动RL提供了一个框架，其中RL的不同组件包括MDP建模，算法选择和超参数优化是自动建模和定义的。在本文中，我们探讨了可以在自动化RL中使用的文献和目前的工作。此外，我们讨论了Autorl中的挑战，打开问题和研究方向。

无人驾驶飞行器（UAV）是支持各种服务，包括通信的技术突破之一。UAV将在提高无线网络的物理层安全方面发挥关键作用。本文定义了窃听地面用户与UAV之间的链路的问题，该联接器用作空中基站（ABS）。提出了加强学习算法Q - 学习和深Q网络（DQN），用于优化ABS的位置和传输功率，以增强地面用户的数据速率。如果没有系统了解窃听器的位置，这会增加保密容量。与Q-Learnch和基线方法相比，仿真结果显示了拟议DQN的快速收敛性和最高保密能力。

在探索中，由于当前的低效率而引起的强化学习领域，具有较大动作空间的学习控制政策是一个具有挑战性的问题。在这项工作中，我们介绍了深入的强化学习（DRL）算法呼叫多动作网络（MAN）学习，以应对大型离散动作空间的挑战。我们建议将动作空间分为两个组件，从而为每个子行动创建一个值神经网络。然后，人使用时间差异学习来同步训练网络，这比训练直接动作输出的单个网络要简单。为了评估所提出的方法，我们在块堆叠任务上测试了人，然后扩展了人类从Atari Arcade学习环境中使用18个动作空间的12个游戏。我们的结果表明，人的学习速度比深Q学习和双重Q学习更快，这意味着我们的方法比当前可用于大型动作空间的方法更好地执行同步时间差异算法。

Q学习目标的乐观性质导致高度估计偏差，这是与标准$ Q-$学习相关的固有问题。这种偏差未能考虑低返回的可能性，特别是在风险方案中。然而，偏差的存在，无论是高估还是低估，不一定都不需要不可取。在本文中，我们分析了偏见学习的效用，并表明具体类型的偏差可能是优选的，这取决于场景。基于这一发现，我们设计了一种新颖的加强学习算法，平衡Q学习，其中将目标被修改为悲观和乐观术语的凸起组合，其相关权重分析地确定在线确定。我们在表格设置中证明了该算法的收敛，并经验证明了其在各种环境中的优越学习性能。

强化学习（RL）为解决各种复杂的决策任务提供了新的机会。但是，现代的RL算法，例如，深Q学习是基于深层神经网络，在Edge设备上运行时的计算成本很高。在本文中，我们提出了QHD，一种高度增强的学习，它模仿了大脑特性，以实现健壮和实时学习。 QHD依靠轻巧的大脑启发模型来学习未知环境中的最佳政策。我们首先建立一个新颖的数学基础和编码模块，该模块将状态行动空间映射到高维空间中。因此，我们开发了一个高维回归模型，以近似Q值函数。 QHD驱动的代理通过比较每个可能动作的Q值来做出决定。我们评估了不同的RL培训批量和本地记忆能力对QHD学习质量的影响。我们的QHD也能够以微小的本地记忆能力在线学习，这与培训批量大小一样小。 QHD通过进一步降低记忆容量和批处理大小来提供实时学习。这使得QHD适用于在边缘环境中高效的增强学习，这对于支持在线和实时学习至关重要。我们的解决方案还支持少量的重播批量大小，与DQN相比，该批量的速度为12.3倍，同时确保质量损失最小。我们的评估显示了实时学习的QHD能力，比最先进的Deep RL算法提供了34.6倍的速度和更高的学习质量。

经验重放机制允许代理多次使用经验。在以前的作品中，过渡的抽样概率根据其重要性进行调整。重新分配采样概率在每次迭代后的重传缓冲器的每个过渡是非常低效的。因此，经验重播优先算法重新计算时，相应的过渡进行采样，以获得计算效率转变的意义。然而，过渡的重要性水平动态变化的政策和代理人的价值函数被更新。此外，经验回放存储转换由可显著从代理的最新货币政策偏离剂的以前的政策产生。从代理引线的最新货币政策更关闭策略更新，这是有害的代理高偏差。在本文中，我们开发了一种新的算法，通过KL散度批次优先化体验重播（KLPER），其优先批次转换的，而不是直接优先每个过渡。此外，为了减少更新的截止policyness，我们的算法选择一个批次中的某一批次的数量和力量的通过很有可能是代理的最新货币政策所产生的一批学习代理。我们结合与深确定性政策渐变和Twin算法延迟深确定性政策渐变，并评估它在不同的连续控制任务。 KLPER提供培训期间的抽样效率，最终表现和政策的稳定性方面有前途的深确定性的连续控制算法的改进。

大多数强化学习算法都利用了经验重播缓冲液，以反复对代理商过去观察到的样本进行训练。这样可以防止灾难性的遗忘，但是仅仅对每个样本都分配了同等的重要性是一种天真的策略。在本文中，我们提出了一种根据样本可以从样本中学到多少样本确定样本优先级的方法。我们将样本的学习能力定义为随着时间的推移，与该样品相关的训练损失的稳定减少。我们开发了一种算法，以优先考虑具有较高学习能力的样本，同时将优先级较低，为那些难以学习的样本，通常是由噪声或随机性引起的。我们从经验上表明，我们的方法比随机抽样更强大，而且比仅在训练损失方面优先排序更好，即时间差损失，这是在香草优先的经验重播中使用的。

当国家行动对具有等效的奖励和过渡动态时，动物能够从有限的经验中迅速推断出来。另一方面，现代的强化学习系统必须通过反复试验进行艰苦的学习，以使国家行动对相当于价值 - 需要从其环境中进行过多的大量样本。已经提出了MDP同态，将观察到的环境的MDP降低到抽象的MDP，这可以实现更有效的样本策略学习。因此，当可以先验地构建合适的MDP同构时，已经实现了样本效率的令人印象深刻的提高 - 通常是通过利用执业者对环境对称性的知识来实现​​的。我们提出了一种在离散作用空间中构建同态的新方法，该方法使用部分环境动力学模型来推断哪种状态作用对导致同一状态 - 将状态行动空间的大小减少了一个等于动作空间的基数。我们称此方法等效效果抽象。在GridWorld环境中，我们从经验上证明了等效效果抽象可以提高基于模型的方法的无模型设置和计划效率的样品效率。此外，我们在Cartpole上表明，我们的方法的表现优于学习同构的现有方法，同时使用33倍的培训数据。

具有成本效益的资产管理是多个行业的兴趣领域。具体而言，本文开发了深入的加固学习（DRL）解决方案，以自动确定不断恶化的水管的最佳康复政策。我们在在线和离线DRL设置中处理康复计划的问题。在在线DRL中，代理与具有不同长度，材料和故障率特征的多个管道的模拟环境进行交互。我们使用深Q学习（DQN）训练代理商，以最低限度的平均成本和减少故障概率学习最佳政策。在离线学习中，代理使用静态数据，例如DQN重播数据，通过保守的Q学习算法学习最佳策略，而无需与环境进行进一步的交互。我们证明，基于DRL的政策改善了标准预防，纠正和贪婪的计划替代方案。此外，从固定的DQN重播数据集中学习超过在线DQN设置。结果保证，由大型国家和行动轨迹组成的水管的现有恶化概况为在离线环境中学习康复政策提供了宝贵的途径，而无需模拟器。

Off-policy reinforcement learning (RL) using a fixed offline dataset of logged interactions is an important consideration in real world applications. This paper studies offline RL using the DQN Replay Dataset comprising the entire replay experience of a DQN agent on 60 Atari 2600 games. We demonstrate that recent off-policy deep RL algorithms, even when trained solely on this fixed dataset, outperform the fully-trained DQN agent. To enhance generalization in the offline setting, we present Random Ensemble Mixture (REM), a robust Q-learning algorithm that enforces optimal Bellman consistency on random convex combinations of multiple Q-value estimates. Offline REM trained on the DQN Replay Dataset surpasses strong RL baselines. Ablation studies highlight the role of offline dataset size and diversity as well as the algorithm choice in our positive results. Overall, the results here present an optimistic view that robust RL algorithms used on sufficiently large and diverse offline datasets can lead to high quality policies. To provide a testbed for offline RL and reproduce our results, the DQN Replay Dataset is released at offline-rl.github.io.

深度神经网络的强大学习能力使强化学习者能够直接从连续环境中学习有效的控制政策。从理论上讲，为了实现稳定的性能，神经网络假设I.I.D.不幸的是，在训练数据在时间上相关且非平稳的一般强化学习范式中，输入不存在。这个问题可能导致“灾难性干扰”和性能崩溃的现象。在本文中，我们提出智商，即干涉意识深度Q学习，以减轻单任务深度加固学习中的灾难性干扰。具体来说，我们求助于在线聚类，以实现在线上下文部门，以及一个多头网络和一个知识蒸馏正规化术语，用于保留学习上下文的政策。与现有方法相比，智商基于深Q网络，始终如一地提高稳定性和性能，并通过对经典控制和ATARI任务进行了广泛的实验。该代码可在以下网址公开获取：https：//github.com/sweety-dm/interference-aware-ware-deep-q-learning。