先前的工作表明，深-RL可以应用于无地图导航，包括混合无人驾驶空中水下车辆（Huauvs）的中等过渡。本文介绍了基于最先进的演员批评算法的新方法，以解决Huauv的导航和中型过渡问题。我们表明，具有复发性神经网络的双重评论家Deep-RL可以使用仅范围数据和相对定位来改善Huauvs的导航性能。我们的深-RL方法通过通过不同的模拟场景对学习的扎实概括，实现了更好的导航和过渡能力，表现优于先前的方法。

深钢筋学习中的确定性和随机技术已成为改善运动控制和各种机器人的决策任务的有前途的解决方案。先前的工作表明，这些深-RL算法通常可以应用于一般的移动机器人的无MAP导航。但是，他们倾向于使用简单的传感策略，因为已经证明它们在高维状态空间（例如基于图像的传感的空间）方面的性能不佳。本文在执行移动机器人无地图导航的任务时，对两种深-RL技术 - 深确定性政策梯度（DDPG）和软参与者（SAC）进行了比较分析。我们的目标是通过展示神经网络体系结构如何影响学习本身的贡献，并根据每种方法的航空移动机器人导航的时间和距离提出定量结果。总体而言，我们对六个不同体系结构的分析强调了随机方法（SAC）更好地使用更深的体系结构，而恰恰相反发生在确定性方法（DDPG）中。

本文介绍了一种新型深度加强基于基于深度加强学习的3D Fapless导航系统（无人机）。我们提出了一个简单的学习系统，而不是使用一种简单的学习系统，该系统仅使用来自距离传感器的一些稀疏范围数据来训练学习代理。我们基于我们对两种最先进的双重评论家深度RL模型的方法：双延迟深度确定性政策梯度（TD3）和软演员 - 评论家（SAC）。我们表明，我们的两种方法可以基于深度确定性政策梯度（DDPG）技术和Bug2算法来胜过一种方法。此外，我们基于经常性神经网络（RNNS）的新的深度RL结构优于用于执行移动机器人的FAPLESS导航的当前结构。总体而言，我们得出结论，基于双重评论评价的深度RL方法与经常性神经网络（RNNS）更适合进行熔化的导航和避免无人机。

强化学习（RL）通过原始像素成像和连续的控制任务在视频游戏中表现出了令人印象深刻的表现。但是，RL的性能较差，例如原始像素图像，例如原始像素图像。人们普遍认为，基于物理状态的RL策略（例如激光传感器测量值）比像素学习相比会产生更有效的样品结果。这项工作提出了一种新方法，该方法从深度地图估算中提取信息，以教授RL代理以执行无人机导航（UAV）的无地图导航。我们提出了深度模仿的对比度无监督的优先表示（DEPTH-CUPRL），该表示具有优先重播记忆的估算图像的深度。我们使用RL和对比度学习的组合，根据图像的RL问题引发。从无人驾驶汽车（UAV）对结果的分析中，可以得出结论，我们的深度cuprl方法在无MAP导航能力中对决策和优于最先进的像素的方法有效。

在本文中，我们研究了DRL算法在本地导航问题的应用，其中机器人仅配备有限​​量距离的外部感受传感器（例如LIDAR），在未知和混乱的工作区中朝着目标位置移动。基于DRL的碰撞避免政策具有一些优势，但是一旦他们学习合适的动作的能力仅限于传感器范围，它们就非常容易受到本地最小值的影响。由于大多数机器人在非结构化环境中执行任务，因此寻求能够避免本地最小值的广义本地导航政策，尤其是在未经训练的情况下，这是非常兴趣的。为此，我们提出了一种新颖的奖励功能，该功能结合了在训练阶段获得的地图信息，从而提高了代理商故意最佳行动方案的能力。另外，我们使用SAC算法来训练我们的ANN，这表明在最先进的文献中比其他人更有效。一组SIM到SIM和SIM到现实的实验表明，我们提出的奖励与SAC相结合的表现优于比较局部最小值和避免碰撞的方法。

在包装交付，交通监控，搜索和救援操作以及军事战斗订婚等不同应用中，对使用无人驾驶汽车（UAV）（无人机）的需求越来越不断增加。在所有这些应用程序中，无人机用于自动导航环境 - 没有人类互动，执行特定任务并避免障碍。自主无人机导航通常是使用强化学习（RL）来完成的，在该学习中，代理在域中充当专家在避免障碍的同时导航环境。了解导航环境和算法限制在选择适当的RL算法以有效解决导航问题方面起着至关重要的作用。因此，本研究首先确定了无人机导航任务，并讨论导航框架和仿真软件。接下来，根据环境，算法特征，能力和不同无人机导航问题的应用程序对RL算法进行分类和讨论，这将帮助从业人员和研究人员为其无人机导航使用情况选择适当的RL算法。此外，确定的差距和机会将推动无人机导航研究。

本文研究了如何改善接受深入增强学习训练的导航剂的概括性能和学习速度（DRL）。尽管DRL在无机MAP导航中表现出巨大的潜力，但在训练场景中表现良好的DRL代理在不熟悉的情况下经常表现不佳。在这项工作中，我们建议LIDAR读数的表示是代理商效果退化的关键因素，并提出了一种强大的输入预处理（IP）方法来解决此问题。由于这种方法使用适应性的参数倒数函数来预处理激光雷达读数，因此我们将此方法称为IPAPREC及其归一化版本为IPAPRECN。 IPAPREC/IPAPRECN可以突出显示重要的短距离值，并压缩激光扫描中较重要的长距离值的范围，该值很好地解决了由激光扫描的常规表示引起的问题。通过广泛的模拟和现实世界实验来验证它们的高性能。结果表明，与常规方法相比，我们的方法可以大大改善导航剂的概括性能，并大大减少训练时间。

Development of navigation algorithms is essential for the successful deployment of robots in rapidly changing hazardous environments for which prior knowledge of configuration is often limited or unavailable. Use of traditional path-planning algorithms, which are based on localization and require detailed obstacle maps with goal locations, is not possible. In this regard, vision-based algorithms hold great promise, as visual information can be readily acquired by a robot's onboard sensors and provides a much richer source of information from which deep neural networks can extract complex patterns. Deep reinforcement learning has been used to achieve vision-based robot navigation. However, the efficacy of these algorithms in environments with dynamic obstacles and high variation in the configuration space has not been thoroughly investigated. In this paper, we employ a deep Dyna-Q learning algorithm for room evacuation and obstacle avoidance in partially observable environments based on low-resolution raw image data from an onboard camera. We explore the performance of a robotic agent in environments containing no obstacles, convex obstacles, and concave obstacles, both static and dynamic. Obstacles and the exit are initialized in random positions at the start of each episode of reinforcement learning. Overall, we show that our algorithm and training approach can generalize learning for collision-free evacuation of environments with complex obstacle configurations. It is evident that the agent can navigate to a goal location while avoiding multiple static and dynamic obstacles, and can escape from a concave obstacle while searching for and navigating to the exit.

In order to avoid conventional controlling methods which created obstacles due to the complexity of systems and intense demand on data density, developing modern and more efficient control methods are required. In this way, reinforcement learning off-policy and model-free algorithms help to avoid working with complex models. In terms of speed and accuracy, they become prominent methods because the algorithms use their past experience to learn the optimal policies. In this study, three reinforcement learning algorithms; DDPG, TD3 and SAC have been used to train Fetch robotic manipulator for four different tasks in MuJoCo simulation environment. All of these algorithms are off-policy and able to achieve their desired target by optimizing both policy and value functions. In the current study, the efficiency and the speed of these three algorithms are analyzed in a controlled environment.

通过定义具有可变复杂性的流量类型独立环境，基于深度加强学习，介绍一种新的动态障碍避免方法。在当前文献中填补了差距，我们彻底调查了缺失速度信息对代理商在避免任务中的性能的影响。这是实践中至关重要的问题，因为几个传感器仅产生物体或车辆的位置信息。我们在部分可观察性方面评估频繁应用的方法，即在深神经网络中的复发性并简单帧堆叠。为我们的分析，我们依靠最先进的无模型深射RL算法。发现速度信息缺乏影响代理商的性能。两种方法 - 复发性和帧堆叠 - 不能在观察空间中一致地替换缺失的速度信息。但是，在简化的情况下，它们可以显着提高性能并稳定整体培训程序。

学习玩乒乓球是机器人的一个具有挑战性的任务，作为所需的各种笔画。最近的进展表明，深度加强学习（RL）能够在模拟环境中成功地学习最佳动作。然而，由于高勘探努力，RL在实际情况中的适用性仍然有限。在这项工作中，我们提出了一个现实的模拟环境，其中多种模型是为球的动态和机器人的运动学而建立的。代替训练端到端的RL模型，提出了一种具有TD3骨干的新的政策梯度方法，以基于击球时间基于球的预测状态来学习球拍笔划。在实验中，我们表明，所提出的方法显着优于仿真中现有的RL方法。此外，将域从仿真跨越现实，我们采用了一个有效的再培训方法，并在三种实际情况下测试。由此产生的成功率为98％，距离误差约为24.9厘米。总培训时间约为1.5小时。

深度加强学习（RL）使得可以使用神经网络作为功能近似器来解决复杂的机器人问题。然而，在从一个环境转移到另一个环境时，在普通环境中培训的政策在泛化方面受到影响。在这项工作中，我们使用强大的马尔可夫决策过程（RMDP）来训练无人机控制策略，这将思想与强大的控制和RL相结合。它选择了悲观优化，以处理从一个环境到另一个环境的策略转移之间的潜在间隙。训练有素的控制策略是关于四转位位置控制的任务。 RL代理商在Mujoco模拟器中培训。在测试期间，使用不同的环境参数（培训期间看不见）来验证训练策略的稳健性，以从一个环境转移到另一个环境。强大的政策在这些环境中表现出标准代理，表明增加的鲁棒性增加了一般性，并且可以适应非静止环境。代码：https://github.com/adipandas/gym_multirotor

In the field of autonomous robots, reinforcement learning (RL) is an increasingly used method to solve the task of dynamic obstacle avoidance for mobile robots, autonomous ships, and drones. A common practice to train those agents is to use a training environment with random initialization of agent and obstacles. Such approaches might suffer from a low coverage of high-risk scenarios in training, leading to impaired final performance of obstacle avoidance. This paper proposes a general training environment where we gain control over the difficulty of the obstacle avoidance task by using short training episodes and assessing the difficulty by two metrics: The number of obstacles and a collision risk metric. We found that shifting the training towards a greater task difficulty can massively increase the final performance. A baseline agent, using a traditional training environment based on random initialization of agent and obstacles and longer training episodes, leads to a significantly weaker performance. To prove the generalizability of the proposed approach, we designed two realistic use cases: A mobile robot and a maritime ship under the threat of approaching obstacles. In both applications, the previous results can be confirmed, which emphasizes the general usability of the proposed approach, detached from a specific application context and independent of the agent's dynamics. We further added Gaussian noise to the sensor signals, resulting in only a marginal degradation of performance and thus indicating solid robustness of the trained agent.

将深度强化学习（DRL）扩展到多代理领域的研究已经解决了许多复杂的问题，并取得了重大成就。但是，几乎所有这些研究都只关注离散或连续的动作空间，而且很少有作品曾经使用过多代理的深度强化学习来实现现实世界中的环境问题，这些问题主要具有混合动作空间。因此，在本文中，我们提出了两种算法：深层混合软性角色批评（MAHSAC）和多代理混合杂种深层确定性政策梯度（MAHDDPG）来填补这一空白。这两种算法遵循集中式培训和分散执行（CTDE）范式，并可以解决混合动作空间问题。我们的经验在多代理粒子环境上运行，这是一个简单的多代理粒子世界，以及一些基本的模拟物理。实验结果表明，这些算法具有良好的性能。

在狭窄的空间中，基于传统层次自治系统的运动计划可能会导致映射，定位和控制噪声引起碰撞。此外，当无映射时，它将被禁用。为了解决这些问题，我们利用深厚的加强学习，可以证明可以有效地进行自我决策，从而在狭窄的空间中自探索而无需地图，同时避免碰撞。具体而言，基于我们的Ackermann-Steering矩形Zebrat机器人及其凉亭模拟器，我们建议矩形安全区域来表示状态并检测矩形形状的机器人的碰撞，以及无需精心制作的奖励功能，不需要增强功能。目的地信息。然后，我们在模拟的狭窄轨道中基准了五种增强学习算法，包括DDPG，DQN，SAC，PPO和PPO-DISCRETE。经过训练，良好的DDPG和DQN型号可以转移到三个全新的模拟轨道上，然后转移到三个现实世界中。

Underwater navigation presents several challenges, including unstructured unknown environments, lack of reliable localization systems (e.g., GPS), and poor visibility. Furthermore, good-quality obstacle detection sensors for underwater robots are scant and costly; and many sensors like RGB-D cameras and LiDAR only work in-air. To enable reliable mapless underwater navigation despite these challenges, we propose a low-cost end-to-end navigation system, based on a monocular camera and a fixed single-beam echo-sounder, that efficiently navigates an underwater robot to waypoints while avoiding nearby obstacles. Our proposed method is based on Proximal Policy Optimization (PPO), which takes as input current relative goal information, estimated depth images, echo-sounder readings, and previous executed actions, and outputs 3D robot actions in a normalized scale. End-to-end training was done in simulation, where we adopted domain randomization (varying underwater conditions and visibility) to learn a robust policy against noise and changes in visibility conditions. The experiments in simulation and real-world demonstrated that our proposed method is successful and resilient in navigating a low-cost underwater robot in unknown underwater environments. The implementation is made publicly available at https://github.com/dartmouthrobotics/deeprl-uw-robot-navigation.

精确农业正在迅速吸引研究，以有效地引入自动化和机器人解决方案，以支持农业活动。葡萄园和果园中的机器人导航在自主监控方面具有竞争优势，并轻松获取农作物来收集，喷涂和执行时必的耗时必要任务。如今，自主导航算法利用了昂贵的传感器，这也需要大量的数据处理计算成本。尽管如此，葡萄园行代表了一个具有挑战性的户外场景，在这种情况下，GPS和视觉进程技术通常难以提供可靠的定位信息。在这项工作中，我们将Edge AI与深度强化学习相结合，以提出一种尖端的轻质解决方案，以解决自主葡萄园导航的问题，而无需利用精确的本地化数据并通过基于灵活的学习方法来克服任务列出的算法。我们训练端到端的感觉运动剂，该端机直接映射嘈杂的深度图像和位置不可稳定的机器人状态信息到速度命令，并将机器人引导到一排的尽头，不断调整其标题以进行无碰撞的无碰撞中央轨迹。我们在现实的模拟葡萄园中进行的广泛实验证明了解决方案的有效性和代理的概括能力。

深度强化学习（DRL）的最新进步通过允许自动控制器设计促进了机器人技术。自动控制器设计是设计群体机器人系统的关键方法，与单个机器人系统相比，它需要更复杂的控制器来领导所需的集体行为。尽管基于DRL的控制器设计方法显示出其有效性，但对中央培训服务器的依赖是在机器人服务器通信不稳定或有限的现实环境中的关键问题。我们提出了一种新型联邦学习（FL）的DRL培训策略（FLDDPG），以用于群体机器人应用。通过在有限的通信带宽方案下与基线策略进行比较，可以证明，FLDDPG方法导致更高的鲁棒性和泛化能力进入不同的环境和真正的机器人，而基线策略则遭受了通信带宽的限制。该结果表明，所提出的方法可以使在通信带宽有限的环境中运行的群体机器人系统受益，例如在高辐射，水下或地下环境中。

资产分配（或投资组合管理）是确定如何最佳将有限预算的资金分配给一系列金融工具/资产（例如股票）的任务。这项研究调查了使用无模型的深RL代理应用于投资组合管理的增强学习（RL）的性能。我们培训了几个RL代理商的现实股票价格，以学习如何执行资产分配。我们比较了这些RL剂与某些基线剂的性能。我们还比较了RL代理，以了解哪些类别的代理表现更好。从我们的分析中，RL代理可以执行投资组合管理的任务，因为它们的表现明显优于基线代理（随机分配和均匀分配）。四个RL代理（A2C，SAC，PPO和TRPO）总体上优于最佳基线MPT。这显示了RL代理商发现更有利可图的交易策略的能力。此外，基于价值和基于策略的RL代理之间没有显着的性能差异。演员批评者的表现比其他类型的药物更好。同样，在政策代理商方面的表现要好，因为它们在政策评估方面更好，样品效率在投资组合管理中并不是一个重大问题。这项研究表明，RL代理可以大大改善资产分配，因为它们的表现优于强基础。基于我们的分析，在政策上，参与者批评的RL药物显示出最大的希望。

Compared with model-based control and optimization methods, reinforcement learning (RL) provides a data-driven, learning-based framework to formulate and solve sequential decision-making problems. The RL framework has become promising due to largely improved data availability and computing power in the aviation industry. Many aviation-based applications can be formulated or treated as sequential decision-making problems. Some of them are offline planning problems, while others need to be solved online and are safety-critical. In this survey paper, we first describe standard RL formulations and solutions. Then we survey the landscape of existing RL-based applications in aviation. Finally, we summarize the paper, identify the technical gaps, and suggest future directions of RL research in aviation.