本文是弥合强大的深度加强学习方法与未知地形的探索/覆盖问题之间的差距初步努力。在此范围内，展示了探索/覆盖未知区域的Openai-Mym兼容环境。 MarseXplorer将原始机器人问题转化为强化学习设置，即各种现成的算法可以解决。任何学习的政策都可以直接应用于机器人平台，而无需制定机器人动态的模拟模型以应用不同的学习/适应阶段。其中一个核心功能是可控的多维程序生成地形，这是生产具有强大泛化能力的政策的关键。在Marsexplorer环境中培训了四种不同的最先进的RL算法（A3C，PPO，彩虹和囊状），并报告了与平均人级业绩相比其结果的适当评估。在后续实验分析中，分析了多维难度设定对最佳性能算法（PPO）的学习能力的影响。里程碑结果是在没有向环境或直接或间接的曲线曲线的环境中遵循偏离探索政策的生成，而不向环境提供这些信息或奖励。通过基于前沿的探索策略，通过评估PPO学习的政策算法来结束实验分析。对性能曲线的研究表明，基于PPO的政策能够在不留下昂贵的重新审视区域的情况下表现适应性对未知的地形，基于RL的方法的能力，以有效地解决探索任务。源代码可以在：https://github.com/dimikout3/marsexplorer找到。

本文介绍了适用于各种实用多机器人应用的分布式算法。在这种多机器人应用中，使命的用户定义目标可以作为一般优化问题投射，而无需每个不同机器人的子任务的明确指南。由于环境未知，未知的机器人动态，传感器非线性等，优化成本函数的分析形式不可用。因此，标准梯度 - 下降样算法不适用于这些问题。为了解决这个问题，我们介绍了一种新的算法，仔细设计每个机器人的子变速功能，优化可以实现整个团队目标。在该转换时，我们提出了一种基于基于认知的自适应优化（CAO）算法的分布式方法，其能够近似每个机器人成本函数的演变并充分优化其决策变量（机器人动作）。后者可以通过在线学习来实现影响特派团目标的特定特定特征。总体而言，低复杂性算法可以简单地结合任何类型的操作约束，是容错的，并且可以适当地解决时变的成本函数。这种方法的基石是它与块坐标血管下降算法相同的收敛特征。该算法在多种方案下的三个异构模拟设置中评估，针对通用和特定于问题的算法。源代码可在\ url {https://github.com/athakapo/a-distributed-plug-lobot-applications}中获得。

众所周知，很难拥有一个可靠且强大的框架来将多代理深入强化学习算法与实用的多机器人应用联系起来。为了填补这一空白，我们为称为MultiroBolearn1的多机器人系统提出并构建了一个开源框架。该框架构建了统一的模拟和现实应用程序设置。它旨在提供标准的，易于使用的模拟方案，也可以轻松地将其部署到现实世界中的多机器人环境中。此外，该框架为研究人员提供了一个基准系统，以比较不同的强化学习算法的性能。我们使用不同类型的多代理深钢筋学习算法在离散和连续的动作空间中使用不同类型的多代理深钢筋学习算法来证明框架的通用性，可扩展性和能力。

With the development of deep representation learning, the domain of reinforcement learning (RL) has become a powerful learning framework now capable of learning complex policies in high dimensional environments. This review summarises deep reinforcement learning (DRL) algorithms and provides a taxonomy of automated driving tasks where (D)RL methods have been employed, while addressing key computational challenges in real world deployment of autonomous driving agents. It also delineates adjacent domains such as behavior cloning, imitation learning, inverse reinforcement learning that are related but are not classical RL algorithms. The role of simulators in training agents, methods to validate, test and robustify existing solutions in RL are discussed.

安全探索是强化学习（RL）的常见问题，旨在防止代理在探索环境时做出灾难性的决定。一个解决这个问题的方法家庭以这种环境的（部分）模型的形式假设域知识，以决定动作的安全性。所谓的盾牌迫使RL代理只选择安全的动作。但是，要在各种应用中采用，必须超越执行安全性，还必须确保RL的适用性良好。我们通过与最先进的深度RL的紧密整合扩展了盾牌的适用性，并在部分可观察性下提供了充满挑战的，稀疏的奖励环境中的广泛实证研究。我们表明，经过精心整合的盾牌可确保安全性，并可以提高RL代理的收敛速度和最终性能。我们此外表明，可以使用盾牌来引导最先进的RL代理：它们在屏蔽环境中初步学习后保持安全，从而使我们最终可以禁用潜在的过于保守的盾牌。

在包装交付，交通监控，搜索和救援操作以及军事战斗订婚等不同应用中，对使用无人驾驶汽车（UAV）（无人机）的需求越来越不断增加。在所有这些应用程序中，无人机用于自动导航环境 - 没有人类互动，执行特定任务并避免障碍。自主无人机导航通常是使用强化学习（RL）来完成的，在该学习中，代理在域中充当专家在避免障碍的同时导航环境。了解导航环境和算法限制在选择适当的RL算法以有效解决导航问题方面起着至关重要的作用。因此，本研究首先确定了无人机导航任务，并讨论导航框架和仿真软件。接下来，根据环境，算法特征，能力和不同无人机导航问题的应用程序对RL算法进行分类和讨论，这将帮助从业人员和研究人员为其无人机导航使用情况选择适当的RL算法。此外，确定的差距和机会将推动无人机导航研究。

多代理深度增强学习（Marl）缺乏缺乏共同使用的评估任务和标准，使方法之间的比较困难。在这项工作中，我们提供了一个系统评估，并比较了三种不同类别的Marl算法（独立学习，集中式多代理政策梯度，价值分解）在各种协作多智能经纪人学习任务中。我们的实验是在不同学习任务中作为算法的预期性能的参考，我们为不同学习方法的有效性提供了见解。我们开源EPYMARL，它将Pymarl CodeBase扩展到包括其他算法，并允许灵活地配置算法实现细节，例如参数共享。最后，我们开源两种环境，用于多智能经纪研究，重点关注稀疏奖励下的协调。

软件测试活动旨在找到软件产品的可能缺陷，并确保该产品满足其预期要求。一些软件测试接近的方法缺乏自动化或部分自动化，这增加了测试时间和整体软件测试成本。最近，增强学习（RL）已成功地用于复杂的测试任务中，例如游戏测试，回归测试和测试案例优先级，以自动化该过程并提供持续的适应。从业者可以通过从头开始实现RL算法或使用RL框架来使用RL。开发人员已广泛使用这些框架来解决包括软件测试在内的各个领域中的问题。但是，据我们所知，尚无研究从经验上评估RL框架中实用算法的有效性和性能。在本文中，我们凭经验研究了精心选择的RL算法在两个重要的软件测试任务上的应用：在连续集成（CI）和游戏测试的上下文中测试案例的优先级。对于游戏测试任务，我们在简单游戏上进行实验，并使用RL算法探索游戏以检测错误。结果表明，一些选定的RL框架，例如Tensorforce优于文献的最新方法。为了确定测试用例的优先级，我们在CI环境上运行实验，其中使用来自不同框架的RL算法来对测试用例进行排名。我们的结果表明，在某些情况下，预实算算法之间的性能差异很大，激励了进一步的研究。此外，建议对希望选择RL框架的研究人员进行一些基准问题的经验评估，以确保RL算法按预期执行。

最先进的多机构增强学习（MARL）方法为各种复杂问题提供了有希望的解决方案。然而，这些方法都假定代理执行同步的原始操作执行，因此它们不能真正可扩展到长期胜利的真实世界多代理/机器人任务，这些任务固有地要求代理/机器人以异步的理由，涉及有关高级动作选择的理由。不同的时间。宏观行动分散的部分可观察到的马尔可夫决策过程（MACDEC-POMDP）是在完全合作的多代理任务中不确定的异步决策的一般形式化。在本论文中，我们首先提出了MacDec-Pomdps的一组基于价值的RL方法，其中允许代理在三个范式中使用宏观成果功能执行异步学习和决策：分散学习和控制，集中学习，集中学习和控制，以及分散执行的集中培训（CTDE）。在上述工作的基础上，我们在三个训练范式下制定了一组基于宏观行动的策略梯度算法，在该训练范式下，允许代理以异步方式直接优化其参数化策略。我们在模拟和真实的机器人中评估了我们的方法。经验结果证明了我们在大型多代理问题中的方法的优势，并验证了我们算法在学习具有宏观actions的高质量和异步溶液方面的有效性。

深度强化学习（RL）的进展是通过用于培训代理商的具有挑战性的基准的可用性来驱动。但是，社区广泛采用的基准未明确设计用于评估RL方法的特定功能。虽然存在用于评估RL的特定打开问题的环境（例如探索，转移学习，无监督环境设计，甚至语言辅助RL），但一旦研究超出证明，通常难以将这些更富有，更复杂的环境 - 概念结果。我们展示了一个强大的沙箱框架，用于易于设计新颖的RL环境。 Minihack是一个停止商店，用于RL实验，环境包括从小房间到复杂的，程序生成的世界。通过利用来自Nethack的全套实体和环境动态，MiniHack是最富有的基网上的视频游戏之一，允许设计快速方便的定制RL测试台。使用这种沙箱框架，可以轻松设计新颖的环境，可以使用人类可读的描述语言或简单的Python接口来设计。除了各种RL任务和基线外，Minihack还可以包装现有的RL基准，并提供无缝添加额外复杂性的方法。

机器人和与世界相互作用或互动的机器人和智能系统越来越多地被用来自动化各种任务。这些系统完成这些任务的能力取决于构成机器人物理及其传感器物体的机械和电气部件，例如，感知算法感知环境，并计划和控制算法以生产和控制算法来生产和控制算法有意义的行动。因此，通常有必要在设计具体系统时考虑这些组件之间的相互作用。本文探讨了以端到端方式对机器人系统进行任务驱动的合作的工作，同时使用推理或控制算法直接优化了系统的物理组件以进行任务性能。我们首先考虑直接优化基于信标的本地化系统以达到本地化准确性的问题。设计这样的系统涉及将信标放置在整个环境中，并通过传感器读数推断位置。在我们的工作中，我们开发了一种深度学习方法，以直接优化信标的放置和位置推断以达到本地化精度。然后，我们将注意力转移到了由任务驱动的机器人及其控制器优化的相关问题上。在我们的工作中，我们首先提出基于多任务增强学习的数据有效算法。我们的方法通过利用能够在物理设计的空间上概括设计条件的控制器，有效地直接优化了物理设计和控制参数，以直接优化任务性能。然后，我们对此进行跟进，以允许对离散形态参数（例如四肢的数字和配置）进行优化。最后，我们通过探索优化的软机器人的制造和部署来得出结论。

在本文中，我们介绍了潜在的探索（LGE），这是一种基于探索加固学习（RL）的探索范式的简单而通用的方法。最初引入了Go-explore，并具有强大的域知识约束，以将状态空间划分为单元。但是，在大多数实际情况下，从原始观察中汲取域知识是复杂而乏味的。如果细胞分配不足以提供信息，则可以完全无法探索环境。我们认为，可以通过利用学习的潜在表示，可以将Go-explore方法推广到任何环境，而无需细胞。因此，我们表明LGE可以灵活地与学习潜在表示的任何策略相结合。我们表明，LGE虽然比Go-explore更简单，但在多个硬探索环境上纯粹的探索方面，更强大，并且优于所有最先进的算法。 LGE实现可在https://github.com/qgallouedec/lge上作为开源。

Development of navigation algorithms is essential for the successful deployment of robots in rapidly changing hazardous environments for which prior knowledge of configuration is often limited or unavailable. Use of traditional path-planning algorithms, which are based on localization and require detailed obstacle maps with goal locations, is not possible. In this regard, vision-based algorithms hold great promise, as visual information can be readily acquired by a robot's onboard sensors and provides a much richer source of information from which deep neural networks can extract complex patterns. Deep reinforcement learning has been used to achieve vision-based robot navigation. However, the efficacy of these algorithms in environments with dynamic obstacles and high variation in the configuration space has not been thoroughly investigated. In this paper, we employ a deep Dyna-Q learning algorithm for room evacuation and obstacle avoidance in partially observable environments based on low-resolution raw image data from an onboard camera. We explore the performance of a robotic agent in environments containing no obstacles, convex obstacles, and concave obstacles, both static and dynamic. Obstacles and the exit are initialized in random positions at the start of each episode of reinforcement learning. Overall, we show that our algorithm and training approach can generalize learning for collision-free evacuation of environments with complex obstacle configurations. It is evident that the agent can navigate to a goal location while avoiding multiple static and dynamic obstacles, and can escape from a concave obstacle while searching for and navigating to the exit.

具有通用机器人臂的外星漫游者在月球和行星勘探中具有许多潜在的应用。将自主权引入此类系统是需要增加流浪者可以花费收集科学数据并收集样本的时间的。这项工作调查了深钢筋学习对月球上对象的基于视觉的机器人抓握的适用性。创建了一个具有程序生成数据集的新型模拟环境，以在具有不平衡的地形和严酷照明的非结构化场景中训练代理。然后，采用了无模型的非政治演员 - 批评算法来端对端学习，该策略将紧凑的OCTREE观察结果直接映射到笛卡尔空间中的连续行动。实验评估表明，与传统使用的基于图像的观测值相比，3D数据表示可以更有效地学习操纵技能。域随机化改善了以前看不见的物体和不同照明条件的新场景的学识关系的概括。为此，我们通过评估月球障碍设施中的真实机器人上的训练有素的代理来证明零射击的SIM到现实转移。

主动同时定位和映射（SLAM）是规划和控制机器人运动以构建周围环境中最准确，最完整的模型的问题。自从三十多年前出现了积极感知的第一项基础工作以来，该领域在不同科学社区中受到了越来越多的关注。这带来了许多不同的方法和表述，并回顾了当前趋势，对于新的和经验丰富的研究人员来说都是非常有价值的。在这项工作中，我们在主动大满贯中调查了最先进的工作，并深入研究了仍然需要注意的公开挑战以满足现代应用程序的需求。为了实现现实世界的部署。在提供了历史观点之后，我们提出了一个统一的问题制定并审查经典解决方案方案，该方案将问题分解为三个阶段，以识别，选择和执行潜在的导航措施。然后，我们分析替代方法，包括基于深入强化学习的信念空间规划和现代技术，以及审查有关多机器人协调的相关工作。该手稿以讨论新的研究方向的讨论，解决可再现的研究，主动的空间感知和实际应用，以及其他主题。

我们提出了一种新的方法，以改善基于深入强化学习（DRL）的室外机器人导航系统的性能。大多数现有的DRL方法基于精心设计的密集奖励功能，这些功能可以学习环境中的有效行为。我们仅通过稀疏的奖励（易于设计）来解决这个问题，并提出了一种新颖的自适应重尾增强算法，用于户外导航，称为Htron。我们的主要思想是利用重尾政策参数化，这些参数隐含在稀疏的奖励环境中引起探索。我们在三种不同的室外场景中评估了针对钢琴，PPO和TRPO算法的htron的性能：进球，避免障碍和地形导航不均匀。我们平均观察到成功率的平均增加了34.41％，与其他方法相比，与其他方法获得的导航政策相比，为达到目标的平均时间步骤下降了15.15％，高程成本下降了24.9％。此外，我们证明我们的算法可以直接转移到Clearpath Husky机器人中，以在现实情况下进行户外地形导航。

深度强化学习（RL）导致了许多最近和开创性的进步。但是，这些进步通常以培训的基础体系结构的规模增加以及用于训练它们的RL算法的复杂性提高，而均以增加规模的成本。这些增长反过来又使研究人员更难迅速原型新想法或复制已发表的RL算法。为了解决这些问题，这项工作描述了ACME，这是一个用于构建新型RL算法的框架，这些框架是专门设计的，用于启用使用简单的模块化组件构建的代理，这些组件可以在各种执行范围内使用。尽管ACME的主要目标是为算法开发提供一个框架，但第二个目标是提供重要或最先进算法的简单参考实现。这些实现既是对我们的设计决策的验证，也是对RL研究中可重复性的重要贡献。在这项工作中，我们描述了ACME内部做出的主要设计决策，并提供了有关如何使用其组件来实施各种算法的进一步详细信息。我们的实验为许多常见和最先进的算法提供了基准，并显示了如何为更大且更复杂的环境扩展这些算法。这突出了ACME的主要优点之一，即它可用于实现大型，分布式的RL算法，这些算法可以以较大的尺度运行，同时仍保持该实现的固有可读性。这项工作提出了第二篇文章的版本，恰好与模块化的增加相吻合，对离线，模仿和从演示算法学习以及作为ACME的一部分实现的各种新代理。

精确农业正在迅速吸引研究，以有效地引入自动化和机器人解决方案，以支持农业活动。葡萄园和果园中的机器人导航在自主监控方面具有竞争优势，并轻松获取农作物来收集，喷涂和执行时必的耗时必要任务。如今，自主导航算法利用了昂贵的传感器，这也需要大量的数据处理计算成本。尽管如此，葡萄园行代表了一个具有挑战性的户外场景，在这种情况下，GPS和视觉进程技术通常难以提供可靠的定位信息。在这项工作中，我们将Edge AI与深度强化学习相结合，以提出一种尖端的轻质解决方案，以解决自主葡萄园导航的问题，而无需利用精确的本地化数据并通过基于灵活的学习方法来克服任务列出的算法。我们训练端到端的感觉运动剂，该端机直接映射嘈杂的深度图像和位置不可稳定的机器人状态信息到速度命令，并将机器人引导到一排的尽头，不断调整其标题以进行无碰撞的无碰撞中央轨迹。我们在现实的模拟葡萄园中进行的广泛实验证明了解决方案的有效性和代理的概括能力。

人类通常通过将它们分解为更容易的子问题，然后结合子问题解决方案来解决复杂的问题。这种类型的组成推理允许在解决共享一部分基础构图结构的未来任务时重复使用子问题解决方案。在持续或终身的强化学习（RL）设置中，将知识分解为可重复使用的组件的能力将使代理通过利用积累的组成结构来快速学习新的RL任务。我们基于神经模块探索一种特定形式的组成形式，并提出了一组RL问题，可以直观地接受组成溶液。从经验上讲，我们证明了神经组成确实捕获了问题空间的基本结构。我们进一步提出了一种构图终身RL方法，该方法利用累积的神经成分来加速学习未来任务的学习，同时通过离线RL通过离线RL保留以前的RL，而不是重播经验。

我们提出了Midgard，这是一个用于室外非结构化环境中自动机器人导航的开源模拟平台。 Midgard旨在实现在影照相3D环境中对自主代理（例如，无人接地车）进行培训，并通过培训场景中的可变性来支持基于学习的代理的概括技巧。 Midgard的主要功能包括可配置，可扩展和难度驱动的程序景观生成管道，并具有基于虚幻引擎的快速和影像现实主义场景。此外，Midgard还对OpenAi Gym进行了内置支持，OpenAi Gym是一个用于功能扩展的编程接口（例如，集成新型的传感器，自定义曝光内部模拟变量）和各种模拟代理传感器（例如RGB，DEPTH和实例/实例/语义细分）。我们评估了Midgard的功能，作为使用一组最先进的强化学习算法的机器人导航的基准测试工具。结果表明，Midgard作为模拟和训练环境的适用性，以及我们程序生成方法在控制场景难度方面的有效性，这直接反映了准确度量指标。 Midgard构建，源代码和文档可在https://midgardsim.org/上找到。