准确的本地化是大多数机器人任务的关键要求。现有工作的主体集中在被动定位上，其中假定了机器人的动作，从而从对抽样信息性观察的影响中抽象出来。尽管最近的工作表明学习动作的好处是消除机器人的姿势，但这些方法仅限于颗粒状的离散动作，直接取决于全球地图的大小。我们提出了主动粒子滤网网络（APFN），这种方法仅依赖于本地信息来进行可能的评估以及决策。为此，我们将可区分的粒子过滤器与加固学习剂进行了介绍，该材料会参与地图中最相关的部分。最终的方法继承了粒子过滤器的计算益处，并且可以直接在连续的动作空间中起作用，同时保持完全可区分，从而端到端优化以及对输入模式的不可知。我们通过在现实世界3D扫描公寓建造的影像现实主义室内环境中进行广泛的实验来证明我们的方法的好处。视频和代码可在http://apfn.cs.uni-freiburg.de上找到。

尽管移动操作在工业和服务机器人技术方面都重要，但仍然是一个重大挑战，因为它需要将最终效应轨迹的无缝整合与导航技能以及对长匹马的推理。现有方法难以控制大型配置空间，并导航动态和未知环境。在先前的工作中，我们建议将移动操纵任务分解为任务空间中最终效果的简化运动生成器，并将移动设备分解为训练有素的强化学习代理，以说明移动基础的运动基础，以说明运动的运动可行性。在这项工作中，我们引入了移动操作的神经导航（n $^2 $ m $^2 $），该导航将这种分解扩展到复杂的障碍环境，并使其能够解决现实世界中的广泛任务。最终的方法可以在未探索的环境中执行看不见的长马任务，同时立即对动态障碍和环境变化做出反应。同时，它提供了一种定义新的移动操作任务的简单方法。我们证明了我们提出的方法在多个运动学上多样化的移动操纵器上进行的广泛模拟和现实实验的能力。代码和视频可在http://mobile-rl.cs.uni-freiburg.de上公开获得。

这项工作研究了图像目标导航问题，需要通过真正拥挤的环境引导具有嘈杂传感器和控制的机器人。最近的富有成效的方法依赖于深度加强学习，并学习模拟环境中的导航政策，这些环境比真实环境更简单。直接将这些训练有素的策略转移到真正的环境可能非常具有挑战性甚至危险。我们用由四个解耦模块组成的分层导航方法来解决这个问题。第一模块在机器人导航期间维护障碍物映射。第二个将定期预测实时地图上的长期目标。第三个计划碰撞命令集以导航到长期目标，而最终模块将机器人正确靠近目标图像。四个模块是单独开发的，以适应真实拥挤的情景中的图像目标导航。此外，分层分解对导航目标规划，碰撞避免和导航结束预测的学习进行了解耦，这在导航训练期间减少了搜索空间，并有助于改善以前看不见的真实场景的概括。我们通过移动机器人评估模拟器和现实世界中的方法。结果表明，我们的方法优于多种导航基线，可以在这些方案中成功实现导航任务。

在本文中，我们专注于在线学习主动视觉在未知室内环境中的对象的搜索（AVS）的最优策略问题。我们建议POMP++，规划战略，介绍了经典的部分可观察蒙特卡洛规划（POMCP）框架之上的新制剂，允许免费培训，在线政策在未知的环境中学习。我们提出了一个新的信仰振兴战略，允许使用POMCP与动态扩展状态空间来解决在线生成平面地图的。我们评估我们在两个公共标准数据集的方法，AVD由是从真正的3D场景渲染扫描真正的机器人平台和人居ObjectNav收购，用>10％，比国家的the-改善达到最佳的成功率技术方法。

主动同时定位和映射（SLAM）是规划和控制机器人运动以构建周围环境中最准确，最完整的模型的问题。自从三十多年前出现了积极感知的第一项基础工作以来，该领域在不同科学社区中受到了越来越多的关注。这带来了许多不同的方法和表述，并回顾了当前趋势，对于新的和经验丰富的研究人员来说都是非常有价值的。在这项工作中，我们在主动大满贯中调查了最先进的工作，并深入研究了仍然需要注意的公开挑战以满足现代应用程序的需求。为了实现现实世界的部署。在提供了历史观点之后，我们提出了一个统一的问题制定并审查经典解决方案方案，该方案将问题分解为三个阶段，以识别，选择和执行潜在的导航措施。然后，我们分析替代方法，包括基于深入强化学习的信念空间规划和现代技术，以及审查有关多机器人协调的相关工作。该手稿以讨论新的研究方向的讨论，解决可再现的研究，主动的空间感知和实际应用，以及其他主题。

本文主要研究范围传感机器人在置信度富的地图（CRM）中的定位和映射，这是一种持续信仰的密集环境表示，然后扩展到信息理论探索以减少姿势不确定性。大多数关于主动同时定位和映射（SLAM）和探索的作品始终假设已知的机器人姿势或利用不准确的信息指标来近似姿势不确定性，从而导致不知名的环境中的勘探性能和效率不平衡。这激发了我们以可测量的姿势不确定性扩展富含信心的互信息（CRMI）。具体而言，我们为CRMS提出了一种基于Rao-Blackwellized粒子过滤器的定位和映射方案（RBPF-CLAM），然后我们开发了一种新的封闭形式的加权方法来提高本地化精度而不扫描匹配。我们通过更准确的近似值进一步计算了使用加权颗粒的不确定的CRMI（UCRMI）。仿真和实验评估显示了在非结构化和密闭场景中提出的方法的定位准确性和探索性能。

The field of autonomous mobile robots has undergone dramatic advancements over the past decades. Despite achieving important milestones, several challenges are yet to be addressed. Aggregating the achievements of the robotic community as survey papers is vital to keep the track of current state-of-the-art and the challenges that must be tackled in the future. This paper tries to provide a comprehensive review of autonomous mobile robots covering topics such as sensor types, mobile robot platforms, simulation tools, path planning and following, sensor fusion methods, obstacle avoidance, and SLAM. The urge to present a survey paper is twofold. First, autonomous navigation field evolves fast so writing survey papers regularly is crucial to keep the research community well-aware of the current status of this field. Second, deep learning methods have revolutionized many fields including autonomous navigation. Therefore, it is necessary to give an appropriate treatment of the role of deep learning in autonomous navigation as well which is covered in this paper. Future works and research gaps will also be discussed.

我们介绍了一个目标驱动的导航系统，以改善室内场景中的Fapless视觉导航。我们的方法在每次步骤中都将机器人和目标的多视图观察为输入，以提供将机器人移动到目标的一系列动作，而不依赖于运行时在运行时。通过优化包含三个关键设计的组合目标来了解该系统。首先，我们建议代理人在做出行动决定之前构建下一次观察。这是通过从专家演示中学习变分生成模块来实现的。然后，我们提出预测预先预测静态碰撞，作为辅助任务，以改善导航期间的安全性。此外，为了减轻终止动作预测的训练数据不平衡问题，我们还介绍了一个目标检查模块来区分与终止动作的增强导航策略。这三种建议的设计都有助于提高培训数据效率，静态冲突避免和导航泛化性能，从而产生了一种新颖的目标驱动的FLASES导航系统。通过对Turtlebot的实验，我们提供了证据表明我们的模型可以集成到机器人系统中并在现实世界中导航。视频和型号可以在补充材料中找到。

在这项工作中，我们解决了主动摄像机定位的问题，该问题可积极控制相机运动以实现精确的相机姿势。过去的解决方案主要基于马尔可夫定位，从而减少了定位的位置摄像头的不确定性。这些方法将摄像机定位在离散姿势空间中，并且对定位驱动的场景属性不可知，从而限制了相机姿势的精度。我们建议通过由被动和主动定位模块组成的新型活动相机定位算法克服这些局限性。前者通过建立对点的摄像头通信来优化连续姿势空间中的相机姿势。后者明确对场景和相机不确定性组件进行建模，以计划正确的摄像头姿势估计的正确路径。我们在合成和扫描现实世界室内场景的挑战性本地化场景上验证了算法。实验结果表明，我们的算法表现优于基于马尔可夫定位的最先进的方法和优质相机姿势精度的其他方法。代码和数据在https://github.com/qhfang/accurateacl上发布。

In recent years several learning approaches to point goal navigation in previously unseen environments have been proposed. They vary in the representations of the environments, problem decomposition, and experimental evaluation. In this work, we compare the state-of-the-art Deep Reinforcement Learning based approaches with Partially Observable Markov Decision Process (POMDP) formulation of the point goal navigation problem. We adapt the (POMDP) sub-goal framework proposed by [1] and modify the component that estimates frontier properties by using partial semantic maps of indoor scenes built from images' semantic segmentation. In addition to the well-known completeness of the model-based approach, we demonstrate that it is robust and efficient in that it leverages informative, learned properties of the frontiers compared to an optimistic frontier-based planner. We also demonstrate its data efficiency compared to the end-to-end deep reinforcement learning approaches. We compare our results against an optimistic planner, ANS and DD-PPO on Matterport3D dataset using the Habitat Simulator. We show comparable, though slightly worse performance than the SOTA DD-PPO approach, yet with far fewer data.

在给定地图中的强大定位是大多数自主机器人的关键组成部分。在本文中，我们解决了在室内环境中定位的问题，该问题在室内环境中发生了变化，而突出结构在不同时间点构建的地图中没有对应关系的问题。为了克服地图与由于这种变化引起的观察到的环境之间的差异，我们利用了人类可读的本地化提示来协助定位。这些提示很容易在大多数设施中获得，并且可以通过使用文本斑点来使用RGB摄像机图像来检测。我们使用在2D激光扫描和相机数据上运行的粒子过滤器将这些线索集成到蒙特卡洛本地化框架中。这样，我们为人类行走具有结构性变化和动态的环境提供了强大的本地化解决方案。我们在办公室环境中评估了有关多个挑战室内场景的本地化框架。实验表明，我们的方法对结构变化具有鲁棒性，并且可以在板载计算机上运行。我们（按照纸质接受）发布了方法的开源实现，该实现使用了现成的文本斑点，并用ROS包装器编写了C ++。

精确农业正在迅速吸引研究，以有效地引入自动化和机器人解决方案，以支持农业活动。葡萄园和果园中的机器人导航在自主监控方面具有竞争优势，并轻松获取农作物来收集，喷涂和执行时必的耗时必要任务。如今，自主导航算法利用了昂贵的传感器，这也需要大量的数据处理计算成本。尽管如此，葡萄园行代表了一个具有挑战性的户外场景，在这种情况下，GPS和视觉进程技术通常难以提供可靠的定位信息。在这项工作中，我们将Edge AI与深度强化学习相结合，以提出一种尖端的轻质解决方案，以解决自主葡萄园导航的问题，而无需利用精确的本地化数据并通过基于灵活的学习方法来克服任务列出的算法。我们训练端到端的感觉运动剂，该端机直接映射嘈杂的深度图像和位置不可稳定的机器人状态信息到速度命令，并将机器人引导到一排的尽头，不断调整其标题以进行无碰撞的无碰撞中央轨迹。我们在现实的模拟葡萄园中进行的广泛实验证明了解决方案的有效性和代理的概括能力。

嘈杂的传感，不完美的控制和环境变化是许多现实世界机器人任务的定义特征。部分可观察到的马尔可夫决策过程（POMDP）提供了一个原则上的数学框架，用于建模和解决不确定性下的机器人决策和控制任务。在过去的十年中，它看到了许多成功的应用程序，涵盖了本地化和导航，搜索和跟踪，自动驾驶，多机器人系统，操纵和人类机器人交互。这项调查旨在弥合POMDP模型的开发与算法之间的差距，以及针对另一端的不同机器人决策任务的应用。它分析了这些任务的特征，并将它们与POMDP框架的数学和算法属性联系起来，以进行有效的建模和解决方案。对于从业者来说，调查提供了一些关键任务特征，以决定何时以及如何成功地将POMDP应用于机器人任务。对于POMDP算法设计师，该调查为将POMDP应用于机器人系统的独特挑战提供了新的见解，并指出了有希望的新方向进行进一步研究。

部分观察到的马尔可夫决策过程（POMDP）是一种强大的框架，用于捕获涉及状态和转换不确定性的决策问题。然而，大多数目前的POMDP规划者不能有效地处理它们经常在现实世界中遇到的非常高的观测（例如，机器人域中的图像观察）。在这项工作中，我们提出了视觉树搜索（VTS），一个学习和规划过程，将生成模型与基于在线模型的POMDP规划的脱机中学到的。 VTS通过利用一组深入生成观测模型来预测和评估蒙特卡罗树搜索计划员的图像观测的可能性，乘坐脱机模型培训和在线规划。我们展示VTS对不同观察噪声的强大稳健，因为它利用在线，基于模型的规划，可以适应不同的奖励结构，而无需重新列车。这种新方法优于基线最先进的策略计划算法，同时使用显着降低的离线培训时间。

本文提出了一种使用信息理论成本来学习有效地标本地化和探索的连续控制政策的方法。我们考虑一个移动机器人在有限的传感范围内检测地标，并解决学习控制政策的问题，该控制政策最大程度地提高了地标状态与传感器观察之间的相互信息。我们采用Kalman过滤器将地标州的部分可观察到的问题转换为马尔可夫决策过程（MDP），这是一个可区分的视野来塑造奖励，以及基于注意力的神经网络来代表控制策略。除了具有里程碑意义的定位外，该方法通过主动容积映射进一步统一，以促进勘探。与基准方法相比，在几个模拟地标本地化任务中证明了该性能。

自主代理可以在新环境中导航而不构建明确的地图吗？对于PointGoal Navigation的任务（“转到$ \ delta x $，$ \ delta y $'），在理想化的设置（否RGB -D和驱动噪声，完美的GPS+Compass）下，答案是一个明确的“是” - 由任务无形组件（CNNS和RNN）组成的无地图神经模型接受了大规模增强学习训练，在标准数据集（Gibson）上取得了100％的成功。但是，对于PointNav在现实环境中（RGB-D和致动噪声，没有GPS+Compass），这是一个悬而未决的问题。我们在本文中解决了一个。该任务的最强成绩是成功的71.7％。首先，我们确定了性能下降的主要原因：GPS+指南针的缺失。带有RGB-D传感和致动噪声的完美GPS+指南针的代理商取得了99.8％的成功（Gibson-V2 Val）。这表明（解释模因）强大的视觉探子仪是我们对逼真的PointNav所需的全部。如果我们能够实现这一目标，我们可以忽略感应和致动噪声。作为我们的操作假设，我们扩展了数据集和模型大小，并开发了无人批准的数据启发技术来训练模型以进行视觉探测。我们在栖息地现实的PointNAV挑战方面的最新状态从71％降低到94％的成功（+23，31％相对）和53％至74％的SPL（+21，40％相对）。虽然我们的方法不饱和或“解决”该数据集，但这种强大的改进与有希望的零射击SIM2REAL转移（到Locobot）相结合提供了与假设一致的证据，即即使在现实环境中，显式映射也不是必需的。 。

With the development of deep representation learning, the domain of reinforcement learning (RL) has become a powerful learning framework now capable of learning complex policies in high dimensional environments. This review summarises deep reinforcement learning (DRL) algorithms and provides a taxonomy of automated driving tasks where (D)RL methods have been employed, while addressing key computational challenges in real world deployment of autonomous driving agents. It also delineates adjacent domains such as behavior cloning, imitation learning, inverse reinforcement learning that are related but are not classical RL algorithms. The role of simulators in training agents, methods to validate, test and robustify existing solutions in RL are discussed.

长期以来，Robotics一直是一个遍布复杂系统体系结构的领域，无论传统或基于学习的模块和联系都需要大量的人类专业知识和先验知识。受大型预训练语言模型的启发，这项工作引入了预先培训的通用表示范式，该范式可以作为给定机器人多个任务的起点。我们提出了感知性因果变压器（PACT），这是一种基于生成变压器的架构，旨在以自我监督的方式直接从机器人数据构建表示形式。通过对状态和行动的自动回归预测，我们的模型隐含地编码了特定机器人的动态和行为。我们的实验评估重点是移动药物的域，我们表明该机器人特定的表示可以作为单个起点，以实现不同的任务，例如安全导航，定位和映射。我们评估了两个形式：使用激光雷达传感器作为感知输入（MUSHR）的轮式机器人，以及使用第一人称RGB图像（栖息地）的模拟药物。我们表明，与训练单个模型的同时训练单个模型相比，对所有任务的单个模型进行训练，并且与独立培训单独的大型模型相当的性能，对每个任务的单个模型进行了可比的训练，则在较大的审计模型上进行了固定小型任务特异性网络，从而使性能明显提高。通过跨任务共享共同的优质表示，我们可以降低整体模型容量并加快此类系统的实时部署。

Underwater navigation presents several challenges, including unstructured unknown environments, lack of reliable localization systems (e.g., GPS), and poor visibility. Furthermore, good-quality obstacle detection sensors for underwater robots are scant and costly; and many sensors like RGB-D cameras and LiDAR only work in-air. To enable reliable mapless underwater navigation despite these challenges, we propose a low-cost end-to-end navigation system, based on a monocular camera and a fixed single-beam echo-sounder, that efficiently navigates an underwater robot to waypoints while avoiding nearby obstacles. Our proposed method is based on Proximal Policy Optimization (PPO), which takes as input current relative goal information, estimated depth images, echo-sounder readings, and previous executed actions, and outputs 3D robot actions in a normalized scale. End-to-end training was done in simulation, where we adopted domain randomization (varying underwater conditions and visibility) to learn a robust policy against noise and changes in visibility conditions. The experiments in simulation and real-world demonstrated that our proposed method is successful and resilient in navigating a low-cost underwater robot in unknown underwater environments. The implementation is made publicly available at https://github.com/dartmouthrobotics/deeprl-uw-robot-navigation.

机器人和与世界相互作用或互动的机器人和智能系统越来越多地被用来自动化各种任务。这些系统完成这些任务的能力取决于构成机器人物理及其传感器物体的机械和电气部件，例如，感知算法感知环境，并计划和控制算法以生产和控制算法来生产和控制算法有意义的行动。因此，通常有必要在设计具体系统时考虑这些组件之间的相互作用。本文探讨了以端到端方式对机器人系统进行任务驱动的合作的工作，同时使用推理或控制算法直接优化了系统的物理组件以进行任务性能。我们首先考虑直接优化基于信标的本地化系统以达到本地化准确性的问题。设计这样的系统涉及将信标放置在整个环境中，并通过传感器读数推断位置。在我们的工作中，我们开发了一种深度学习方法，以直接优化信标的放置和位置推断以达到本地化精度。然后，我们将注意力转移到了由任务驱动的机器人及其控制器优化的相关问题上。在我们的工作中，我们首先提出基于多任务增强学习的数据有效算法。我们的方法通过利用能够在物理设计的空间上概括设计条件的控制器，有效地直接优化了物理设计和控制参数，以直接优化任务性能。然后，我们对此进行跟进，以允许对离散形态参数（例如四肢的数字和配置）进行优化。最后，我们通过探索优化的软机器人的制造和部署来得出结论。