The feasibility of using reinforcement learning for airfoil shape optimization is explored. Deep Q-Network (DQN) is used over Markov's decision process to find the optimal shape by learning the best changes to the initial shape for achieving the required goal. The airfoil profile is generated using Bezier control points to reduce the number of control variables. The changes in the position of control points are restricted to the direction normal to the chordline so as to reduce the complexity of optimization. The process is designed as a search for an episode of change done to each control point of a profile. The DQN essentially learns the episode of best changes by updating the temporal difference of the Bellman Optimality Equation. The drag and lift coefficients are calculated from the distribution of pressure coefficient along the profile computed using XFoil potential flow solver. These coefficients are used to give a reward to every change during the learning process where the ultimate aim stands to maximize the cumulate reward of an episode.

在探索中，由于当前的低效率而引起的强化学习领域，具有较大动作空间的学习控制政策是一个具有挑战性的问题。在这项工作中，我们介绍了深入的强化学习（DRL）算法呼叫多动作网络（MAN）学习，以应对大型离散动作空间的挑战。我们建议将动作空间分为两个组件，从而为每个子行动创建一个值神经网络。然后，人使用时间差异学习来同步训练网络，这比训练直接动作输出的单个网络要简单。为了评估所提出的方法，我们在块堆叠任务上测试了人，然后扩展了人类从Atari Arcade学习环境中使用18个动作空间的12个游戏。我们的结果表明，人的学习速度比深Q学习和双重Q学习更快，这意味着我们的方法比当前可用于大型动作空间的方法更好地执行同步时间差异算法。

基于模型的强化学习有望通过学习环境中的中间模型来预测未来的相互作用，从而从与环境的互动较少的相互作用中学习最佳政策。当预测一系列相互作用时，限制预测范围的推出长度是关键的超参数，因为预测的准确性会降低远离真实体验的区域。结果，从长远来看，从长远来看，总体上更糟糕的政策。因此，超参数提供了质量和效率之间的权衡。在这项工作中，我们将调整推出长度调整为元级的顺序决策问题的问题构成了问题，该问题优化了基于模型的强化学习所学到的最终策略，鉴于环境相互作用的固定预算通过基于反馈动态调整超参数来调整超参数。从学习过程中，例如模型的准确性和互动的其余预算。我们使用无模型的深度强化学习来解决元级决策问题，并证明我们的方法在两个众所周知的强化学习环境上优于共同的启发式基准。

无人驾驶飞行器（UAV）是支持各种服务，包括通信的技术突破之一。UAV将在提高无线网络的物理层安全方面发挥关键作用。本文定义了窃听地面用户与UAV之间的链路的问题，该联接器用作空中基站（ABS）。提出了加强学习算法Q - 学习和深Q网络（DQN），用于优化ABS的位置和传输功率，以增强地面用户的数据速率。如果没有系统了解窃听器的位置，这会增加保密容量。与Q-Learnch和基线方法相比，仿真结果显示了拟议DQN的快速收敛性和最高保密能力。

强化学习（RL）为解决各种复杂的决策任务提供了新的机会。但是，现代的RL算法，例如，深Q学习是基于深层神经网络，在Edge设备上运行时的计算成本很高。在本文中，我们提出了QHD，一种高度增强的学习，它模仿了大脑特性，以实现健壮和实时学习。 QHD依靠轻巧的大脑启发模型来学习未知环境中的最佳政策。我们首先建立一个新颖的数学基础和编码模块，该模块将状态行动空间映射到高维空间中。因此，我们开发了一个高维回归模型，以近似Q值函数。 QHD驱动的代理通过比较每个可能动作的Q值来做出决定。我们评估了不同的RL培训批量和本地记忆能力对QHD学习质量的影响。我们的QHD也能够以微小的本地记忆能力在线学习，这与培训批量大小一样小。 QHD通过进一步降低记忆容量和批处理大小来提供实时学习。这使得QHD适用于在边缘环境中高效的增强学习，这对于支持在线和实时学习至关重要。我们的解决方案还支持少量的重播批量大小，与DQN相比，该批量的速度为12.3倍，同时确保质量损失最小。我们的评估显示了实时学习的QHD能力，比最先进的Deep RL算法提供了34.6倍的速度和更高的学习质量。

在这项工作中，我们提出了一种初步调查一种名为DYNA-T的新算法。在钢筋学习（RL）中，规划代理有自己的环境表示作为模型。要发现与环境互动的最佳政策，代理商会收集试验和错误时尚的经验。经验可用于学习更好的模型或直接改进价值函数和政策。通常是分离的，Dyna-Q是一种混合方法，在每次迭代，利用真实体验更新模型以及值函数，同时使用模拟数据从其模型中的应用程序进行行动。然而，规划过程是计算昂贵的并且强烈取决于国家行动空间的维度。我们建议在模拟体验上构建一个上置信树（UCT），并在在线学习过程中搜索要选择的最佳动作。我们证明了我们提出的方法对来自Open AI的三个测试平台环境的一系列初步测试的有效性。与Dyna-Q相比，Dyna-T通过选择更强大的动作选择策略来优于随机环境中的最先进的RL代理。

本文介绍了用于交易单一资产的双重Q网络算法，即E-MINI S＆P 500连续期货合约。我们使用经过验证的设置作为我们环境的基础，并具有多个扩展。我们的贸易代理商的功能不断扩展，包括其他资产，例如商品，从而产生了四种型号。我们还应对环境条件，包括成本和危机。我们的贸易代理商首先接受了特定时间段的培训，并根据新数据进行了测试，并将其与长期策略（市场）进行了比较。我们分析了各种模型与样本中/样本外性能之间有关环境的差异。实验结果表明，贸易代理人遵循适当的行为。它可以将其政策调整为不同的情况，例如在存在交易成本时更广泛地使用中性位置。此外，净资产价值超过了基准的净值，代理商在测试集中的市场优于市场。我们使用DDQN算法对代理商在金融领域中的行为提供初步见解。这项研究的结果可用于进一步发展。

在本文中，我们提出了一种用于增强学习（RL）的最大熵框架，以克服在无模型基于样本的学习中实现最大熵RL的软演员 - 评论权（SAC）算法的限制。尽管在未来的最大熵RL指南学习政策中，未来的高熵达到国家，所提出的MAX-MIN熵框架旨在学会访问低熵的国家，并最大限度地提高这些低熵状态的熵，以促进更好的探索。对于一般马尔可夫决策过程（MDP），基于勘探和剥削的解剖学，在提议的MAX-MIN熵框架下构建了一种有效的算法。数值结果表明，该算法对目前最先进的RL算法产生了剧烈性能改进。

Reinforcement Learning (RL) is currently one of the most commonly used techniques for traffic signal control (TSC), which can adaptively adjusted traffic signal phase and duration according to real-time traffic data. However, a fully centralized RL approach is beset with difficulties in a multi-network scenario because of exponential growth in state-action space with increasing intersections. Multi-agent reinforcement learning (MARL) can overcome the high-dimension problem by employing the global control of each local RL agent, but it also brings new challenges, such as the failure of convergence caused by the non-stationary Markov Decision Process (MDP). In this paper, we introduce an off-policy nash deep Q-Network (OPNDQN) algorithm, which mitigates the weakness of both fully centralized and MARL approaches. The OPNDQN algorithm solves the problem that traditional algorithms cannot be used in large state-action space traffic models by utilizing a fictitious game approach at each iteration to find the nash equilibrium among neighboring intersections, from which no intersection has incentive to unilaterally deviate. One of main advantages of OPNDQN is to mitigate the non-stationarity of multi-agent Markov process because it considers the mutual influence among neighboring intersections by sharing their actions. On the other hand, for training a large traffic network, the convergence rate of OPNDQN is higher than that of existing MARL approaches because it does not incorporate all state information of each agent. We conduct an extensive experiments by using Simulation of Urban MObility simulator (SUMO), and show the dominant superiority of OPNDQN over several existing MARL approaches in terms of average queue length, episode training reward and average waiting time.

大多数政策评估算法基于Bellman期望和最优性方程的理论，它导出了两个流行的方法 - 政策迭代（PI）和价值迭代（VI）。然而，由于多步骤禁止校正的大方差，多步引导往往是在基于PI的基于PI的方法的交叉目的和禁止策略学习。相比之下，基于VI的方法是自然的违规政策，但受到一步学习的影响。本文通过利用具有最优值函数的多步自举函数的潜在结构来推导新的多步贝尔曼最优性方程。通过这种新的等式，我们推出了一种新的多步值迭代方法，该方法将以指数收缩率$ \ mathcal {o}（\ gamma ^ n）$但仅线性计算复杂度收敛到最佳值函数。此外，它可以自然地推导出一套多步脱离策略算法，可以安全地利用任意策略收集的数据，无需校正。实验表明，所提出的方法是可靠的，易于实施和实现最先进的性能在一系列标准基准数据集上。

不确定性量化是现实世界应用中机器学习的主要挑战之一。在强化学习中，一个代理人面对两种不确定性，称为认识论不确定性和态度不确定性。同时解开和评估这些不确定性，有机会提高代理商的最终表现，加速培训并促进部署后的质量保证。在这项工作中，我们为连续控制任务的不确定性感知强化学习算法扩展了深层确定性策略梯度算法（DDPG）。它利用了认识论的不确定性，以加快探索和不确定性来学习风险敏感的政策。我们进行数值实验，表明我们的DDPG变体在机器人控制和功率网络优化方面的基准任务中均优于香草DDPG而没有不确定性估计。

深入强化学习（DRL）用于开发自主优化和定制设计的热处理过程，这些过程既对微观结构敏感又节能。与常规监督的机器学习不同，DRL不仅依赖于数据中的静态神经网络培训，但是学习代理人会根据奖励和惩罚元素自主开发最佳解决方案，并减少或没有监督。在我们的方法中，依赖温度的艾伦 - 卡恩模型用于相转换，用作DRL代理的环境，是其获得经验并采取自主决策的模型世界。 DRL算法的试剂正在控制系统的温度，作为用于合金热处理的模型炉。根据所需的相位微观结构为代理定义了微观结构目标。训练后，代理可以为各种初始微观结构状态生成温度时间曲线，以达到最终所需的微观结构状态。详细研究了代理商的性能和热处理概况的物理含义。特别是，该试剂能够控制温度以从各种初始条件开始达到所需的微观结构。代理在处理各种条件方面的这种能力为使用这种方法铺平了道路，也用于回收的导向热处理过程设计，由于杂质的侵入，初始组合物可能因批量而异，以及用于设计节能热处理。为了检验这一假设，将无罚款的代理人与考虑能源成本的代理人进行了比较。对能源成本的罚款是针对找到最佳温度时间剖面的代理的附加标准。

Some phenomena related to statistical noise which have been investigated by various authors under the framework of deep reinforcement learning (RL) algorithms are discussed. The following algorithms are examined: the deep Q-network (DQN), double DQN, deep deterministic policy gradient (DDPG), twin-delayed DDPG (TD3), and hill climbing algorithm. First, we consider overestimation, which is a harmful property resulting from noise. Then we deal with noise used for exploration, this is the useful noise. We discuss setting the noise parameter in the TD3 for typical PyBullet environments associated with articulate bodies such as HopperBulletEnv and Walker2DBulletEnv. In the appendix, in relation to the hill climbing algorithm, another example related to noise is considered - an example of adaptive noise.

机器学习算法中多个超参数的最佳设置是发出大多数可用数据的关键。为此目的，已经提出了几种方法，例如进化策略，随机搜索，贝叶斯优化和启发式拇指规则。在钢筋学习（RL）中，学习代理在与其环境交互时收集的数据的信息内容严重依赖于许多超参数的设置。因此，RL算法的用户必须依赖于基于搜索的优化方法，例如网格搜索或Nelder-Mead单简单算法，这对于大多数R1任务来说是非常效率的，显着减慢学习曲线和离开用户的速度有目的地偏见数据收集的负担。在这项工作中，为了使RL算法更加用户独立，提出了一种使用贝叶斯优化的自主超参数设置的新方法。来自过去剧集和不同的超参数值的数据通过执行行为克隆在元学习水平上使用，这有助于提高最大化获取功能的加强学习变体的有效性。此外，通过紧密地整合在加强学习代理设计中的贝叶斯优化，还减少了收敛到给定任务的最佳策略所需的状态转换的数量。与其他手动调整和基于优化的方法相比，计算实验显示了有希望的结果，这突出了改变算法超级参数来增加所生成数据的信息内容的好处。

Q学习目标的乐观性质导致高度估计偏差，这是与标准$ Q-$学习相关的固有问题。这种偏差未能考虑低返回的可能性，特别是在风险方案中。然而，偏差的存在，无论是高估还是低估，不一定都不需要不可取。在本文中，我们分析了偏见学习的效用，并表明具体类型的偏差可能是优选的，这取决于场景。基于这一发现，我们设计了一种新颖的加强学习算法，平衡Q学习，其中将目标被修改为悲观和乐观术语的凸起组合，其相关权重分析地确定在线确定。我们在表格设置中证明了该算法的收敛，并经验证明了其在各种环境中的优越学习性能。

Profile extrusion is a continuous production process for manufacturing plastic profiles from molten polymer. Especially interesting is the design of the die, through which the melt is pressed to attain the desired shape. However, due to an inhomogeneous velocity distribution at the die exit or residual stresses inside the extrudate, the final shape of the manufactured part often deviates from the desired one. To avoid these deviations, the shape of the die can be computationally optimized, which has already been investigated in the literature using classical optimization approaches. A new approach in the field of shape optimization is the utilization of Reinforcement Learning (RL) as a learning-based optimization algorithm. RL is based on trial-and-error interactions of an agent with an environment. For each action, the agent is rewarded and informed about the subsequent state of the environment. While not necessarily superior to classical, e.g., gradient-based or evolutionary, optimization algorithms for one single problem, RL techniques are expected to perform especially well when similar optimization tasks are repeated since the agent learns a more general strategy for generating optimal shapes instead of concentrating on just one single problem. In this work, we investigate this approach by applying it to two 2D test cases. The flow-channel geometry can be modified by the RL agent using so-called Free-Form Deformation, a method where the computational mesh is embedded into a transformation spline, which is then manipulated based on the control-point positions. In particular, we investigate the impact of utilizing different agents on the training progress and the potential of wall time saving by utilizing multiple environments during training.

In this paper, we build on advances introduced by the Deep Q-Networks (DQN) approach to extend the multi-objective tabular Reinforcement Learning (RL) algorithm W-learning to large state spaces. W-learning algorithm can naturally solve the competition between multiple single policies in multi-objective environments. However, the tabular version does not scale well to environments with large state spaces. To address this issue, we replace underlying Q-tables with DQN, and propose an addition of W-Networks, as a replacement for tabular weights (W) representations. We evaluate the resulting Deep W-Networks (DWN) approach in two widely-accepted multi-objective RL benchmarks: deep sea treasure and multi-objective mountain car. We show that DWN solves the competition between multiple policies while outperforming the baseline in the form of a DQN solution. Additionally, we demonstrate that the proposed algorithm can find the Pareto front in both tested environments.

This paper presents a methodology for combining programming and mathematics to optimize elevator wait times. Based on simulated user data generated according to the canonical three-peak model of elevator traffic, we first develop a naive model from an intuitive understanding of the logic behind elevators. We take into consideration a general array of features including capacity, acceleration, and maximum wait time thresholds to adequately model realistic circumstances. Using the same evaluation framework, we proceed to develop a Deep Q Learning model in an attempt to match the hard-coded naive approach for elevator control. Throughout the majority of the paper, we work under a Markov Decision Process (MDP) schema, but later explore how the assumption fails to characterize the highly stochastic overall Elevator Group Control System (EGCS).

分布式多智能经纪增强学习（Marl）算法最近引起了兴趣激增，主要是由于深神经网络（DNN）的最新进步。由于利用固定奖励模型来学习基础值函数，传统的基于模型（MB）或无模型（MF）RL算法不可直接适用于MARL问题。虽然涉及单一代理时，基于DNN的解决方案完全良好地表现出，但是这种方法无法完全推广到MARL问题的复杂性。换句话说，尽管最近的基于DNN的DNN用于多种子体环境的方法取得了卓越的性能，但它们仍然容易出现过度，对参数选择的高敏感性，以及样本低效率。本文提出了多代理自适应Kalman时间差（MAK-TD）框架及其继任者表示的基于代表的变体，称为MAK-SR。直观地说，主要目标是利用卡尔曼滤波（KF）的独特特征，如不确定性建模和在线二阶学习。提议的MAK-TD / SR框架考虑了与高维多算法环境相关联的动作空间的连续性，并利用卡尔曼时间差（KTD）来解决参数不确定性。通过利用KTD框架，SR学习过程被建模到过滤问题，其中径向基函数（RBF）估计器用于将连续空间编码为特征向量。另一方面，对于学习本地化奖励功能，我们求助于多种模型自适应估计（MMAE），处理缺乏关于观察噪声协方差和观察映射功能的先前知识。拟议的MAK-TD / SR框架通过多个实验进行评估，该实验通过Openai Gym Marl基准实施。

小型无人驾驶飞机的障碍避免对于未来城市空袭（UAM）和无人机系统（UAS）交通管理（UTM）的安全性至关重要。有许多技术用于实时强大的无人机指导，但其中许多在离散的空域和控制中解决，这将需要额外的路径平滑步骤来为UA提供灵活的命令。为提供无人驾驶飞机的操作安全有效的计算指导，我们探讨了基于近端政策优化（PPO）的深增强学习算法的使用，以指导自主UA到其目的地，同时通过连续控制避免障碍物。所提出的场景状态表示和奖励功能可以将连续状态空间映射到连续控制，以便进行标题角度和速度。为了验证所提出的学习框架的性能，我们用静态和移动障碍进行了数值实验。详细研究了与环境和安全操作界限的不确定性。结果表明，该拟议的模型可以提供准确且强大的指导，并解决了99％以上的成功率的冲突。