本文介绍了同时定位和基于映射的自主导航系统的开发。本研究的动机是寻找一个自主导航内部空间的解决方案。内部导航是挑战，因为它可以永远发展。解决这个问题是众多服务，如清洁，卫生行业和制造业。本文的重点是为此提出的自主系统开发的基于奴役的软件架构的描述。评估了该系统的潜在应用，以智能轮椅为导向。当前的内部导航解决方案需要某种引导线，就像地板上的黑线一样。通过这种提出的解决方案，内部不需要装修以适应该解决方案。此应用程序的源代码已成为开源，以便可以为类似的应用重新饰。此外，该开源项目被设想通过广泛的开源社区在其当前状态后得到改善。

In recent decades, several assistive technologies for visually impaired and blind (VIB) people have been developed to improve their ability to navigate independently and safely. At the same time, simultaneous localization and mapping (SLAM) techniques have become sufficiently robust and efficient to be adopted in the development of assistive technologies. In this paper, we first report the results of an anonymous survey conducted with VIB people to understand their experience and needs; we focus on digital assistive technologies that help them with indoor and outdoor navigation. Then, we present a literature review of assistive technologies based on SLAM. We discuss proposed approaches and indicate their pros and cons. We conclude by presenting future opportunities and challenges in this domain.

The field of autonomous mobile robots has undergone dramatic advancements over the past decades. Despite achieving important milestones, several challenges are yet to be addressed. Aggregating the achievements of the robotic community as survey papers is vital to keep the track of current state-of-the-art and the challenges that must be tackled in the future. This paper tries to provide a comprehensive review of autonomous mobile robots covering topics such as sensor types, mobile robot platforms, simulation tools, path planning and following, sensor fusion methods, obstacle avoidance, and SLAM. The urge to present a survey paper is twofold. First, autonomous navigation field evolves fast so writing survey papers regularly is crucial to keep the research community well-aware of the current status of this field. Second, deep learning methods have revolutionized many fields including autonomous navigation. Therefore, it is necessary to give an appropriate treatment of the role of deep learning in autonomous navigation as well which is covered in this paper. Future works and research gaps will also be discussed.

目前，移动机器人正在迅速发展，并在工业中寻找许多应用。然而，仍然存在与其实际使用相关的一些问题，例如对昂贵的硬件及其高功耗水平的需要。在本研究中，我们提出了一种导航系统，该导航系统可在具有RGB-D相机的低端计算机上操作，以及用于操作集成自动驱动系统的移动机器人平台。建议的系统不需要Lidars或GPU。我们的原始深度图像接地分割方法提取用于低体移动机器人的安全驾驶的遍历图。它旨在保证具有集成的SLAM，全局路径规划和运动规划的低成本现成单板计算机上的实时性能。我们使用Traversability Map应用基于规则的基于学习的导航策略。同时运行传感器数据处理和其他自主驾驶功能，我们的导航策略以18Hz的刷新率为控制命令而迅速执行，而其他系统则具有较慢的刷新率。我们的方法在有限的计算资源中优于当前最先进的导航方法，如3D模拟测试所示。此外，我们通过在室内环境中成功的自动驾驶来展示移动机器人系统的适用性。我们的整个作品包括硬件和软件在开源许可（https://github.com/shinkansan/2019-ugrp-doom）下发布。我们的详细视频是https://youtu.be/mf3iufuhppm提供的。

Based on WHO statistics, many individuals are suffering from visual problems, and their number is increasing yearly. One of the most critical needs they have is the ability to navigate safely, which is why researchers are trying to create and improve various navigation systems. This paper provides a navigation concept based on the visual slam and Yolo concepts using monocular cameras. Using the ORB-SLAM algorithm, our concept creates a map from a predefined route that a blind person most uses. Since visually impaired people are curious about their environment and, of course, to guide them properly, obstacle detection has been added to the system. As mentioned earlier, safe navigation is vital for visually impaired people, so our concept has a path-following part. This part consists of three steps: obstacle distance estimation, path deviation detection, and next-step prediction, done by monocular cameras.

本文介绍了Cerberus机器人系统系统，该系统赢得了DARPA Subterranean挑战最终活动。出席机器人自主权。由于其几何复杂性，降解的感知条件以及缺乏GPS支持，严峻的导航条件和拒绝通信，地下设置使自动操作变得特别要求。为了应对这一挑战，我们开发了Cerberus系统，该系统利用了腿部和飞行机器人的协同作用，再加上可靠的控制，尤其是为了克服危险的地形，多模式和多机器人感知，以在传感器退化，以及在传感器退化的条件下进行映射以及映射通过统一的探索路径计划和本地运动计划，反映机器人特定限制的弹性自主权。 Cerberus基于其探索各种地下环境及其高级指挥和控制的能力，表现出有效的探索，对感兴趣的对象的可靠检测以及准确的映射。在本文中，我们报告了DARPA地下挑战赛的初步奔跑和最终奖项的结果，并讨论了为社区带来利益的教训所面临的亮点和挑战。

我们使用从环境物体中提取的语义标志物，用于具有固定固定单眼相机的地面机器人，提出了一种视觉教学和重复（VTR）算法。所提出的算法对摄像机/机器人的起始姿势的变化具有鲁棒性，其中姿势定义为平面位置以及垂直轴周围的方向。 VTR由一个教学阶段组成，其中机器人在规定的路径中移动，以及一个重复阶段，在该阶段中，机器人试图从相同或其他姿势开始重复相同的路径。大多数可用的VTR算法是姿势依赖性的，并且从远离教学阶段的初始姿势开始时，在重复阶段无法表现良好。为了实现更强大的姿势独立性，关键是在教学阶段生成包含摄像头轨迹和周围物体位置的环境的3D语义图。对于特定的实现，我们使用Orb-Slam收集相机姿势和环境的3D点云，而Yolov3则检测环境中的对象。然后，我们组合两个输出以构建语义图。在重复阶段，我们基于检测到的对象和存储的语义映射重新定位机器人。然后，机器人能够朝教学路径移动，并在向前和向后重复。我们已经在不同的情况下测试了所提出的算法，并将其与两项最相关的研究进行了比较。另外，我们将算法与两种基于图像的重新定位方法进行了比较。一个纯粹基于球形 - 萨克，另一个纯粹是结合了超级胶水和兰萨克。结果表明，我们的算法在姿势变化和环境改变方面更加强大。我们的代码和数据可在以下github页面上获得：https：//github.com/mmahdavian/semantic_visual_teach_repeat。

本文提出了一种新颖的方法，用于在具有复杂拓扑结构的地下领域的搜索和救援行动中自动合作。作为CTU-Cras-Norlab团队的一部分，拟议的系统在DARPA SubT决赛的虚拟轨道中排名第二。与专门为虚拟轨道开发的获奖解决方案相反，该建议的解决方案也被证明是在现实世界竞争极为严峻和狭窄的环境中飞行的机上实体无人机的强大系统。提出的方法可以使无缝模拟转移的无人机团队完全自主和分散的部署，并证明了其优于不同环境可飞行空间的移动UGV团队的优势。该论文的主要贡献存在于映射和导航管道中。映射方法采用新颖的地图表示形式 - 用于有效的风险意识长距离计划，面向覆盖范围和压缩的拓扑范围的LTVMAP领域，以允许在低频道通信下进行多机器人合作。这些表示形式与新的方法一起在导航中使用，以在一般的3D环境中可见性受限的知情搜索，而对环境结构没有任何假设，同时将深度探索与传感器覆盖的剥削保持平衡。所提出的解决方案还包括一条视觉感知管道，用于在没有专用GPU的情况下在5 Hz处进行四个RGB流中感兴趣的对象的板上检测和定位。除了参与DARPA SubT外，在定性和定量评估的各种环境中，在不同的环境中进行了广泛的实验验证，UAV系统的性能得到了支持。

自治机器人目前是最受欢迎的人工智能问题之一，在过去十年中，从自动驾驶汽车和人形系统到交付机器人和无人机，这是一项最受欢迎的智能问题。部分问题是获得一个机器人，以模仿人类的感知，我们的视觉感，用诸如神经网络等数学模型用相机和大脑的眼睛替换眼睛。开发一个能够在没有人为干预的情况下驾驶汽车的AI和一个小型机器人在城市中递送包裹可能看起来像不同的问题，因此来自感知和视觉的观点来看，这两个问题都有几种相似之处。我们目前的主要解决方案通过使用计算机视觉技术，机器学习和各种算法来实现对环境感知的关注，使机器人理解环境或场景，移动，调整其轨迹并执行其任务（维护，探索，等。）无需人为干预。在这项工作中，我们从头开始开发一个小型自动车辆，能够仅使用视觉信息理解场景，通过工业环境导航，检测人员和障碍，或执行简单的维护任务。我们审查了基本问题的最先进问题，并证明了小规模采用的许多方法类似于来自特斯拉或Lyft等公司的真正自动驾驶汽车中使用的方法。最后，我们讨论了当前的机器人和自主驾驶状态以及我们在这一领域找到的技术和道德限制。

在这项研究中，我们提出了一种新型的视觉定位方法，以根据RGB摄像机的可视数据准确估计机器人在3D激光镜头内的六个自由度（6-DOF）姿势。使用基于先进的激光雷达的同时定位和映射（SLAM）算法，可获得3D地图，能够收集精确的稀疏图。将从相机图像中提取的功能与3D地图的点进行了比较，然后解决了几何优化问题，以实现精确的视觉定位。我们的方法允许使用配备昂贵激光雷达的侦察兵机器人一次 - 用于映射环境，并且仅使用RGB摄像头的多个操作机器人 - 执行任务任务，其本地化精度高于常见的基于相机的解决方案。该方法在Skolkovo科学技术研究所（Skoltech）收集的自定义数据集上进行了测试。在评估本地化准确性的过程中，我们设法达到了厘米级的准确性；中间翻译误差高达1.3厘米。仅使用相机实现的确切定位使使用自动移动机器人可以解决需要高度本地化精度的最复杂的任务。

The last decade witnessed increasingly rapid progress in self-driving vehicle technology, mainly backed up by advances in the area of deep learning and artificial intelligence. The objective of this paper is to survey the current state-of-the-art on deep learning technologies used in autonomous driving. We start by presenting AI-based self-driving architectures, convolutional and recurrent neural networks, as well as the deep reinforcement learning paradigm. These methodologies form a base for the surveyed driving scene perception, path planning, behavior arbitration and motion control algorithms. We investigate both the modular perception-planning-action pipeline, where each module is built using deep learning methods, as well as End2End systems, which directly map sensory information to steering commands. Additionally, we tackle current challenges encountered in designing AI architectures for autonomous driving, such as their safety, training data sources and computational hardware. The comparison presented in this survey helps to gain insight into the strengths and limitations of deep learning and AI approaches for autonomous driving and assist with design choices. 1

为了支持行业4.0触觉和人机互动的应用，第六代（6G）需要一个完全自主，视觉和互动的新框架。在本文中，我们为专用网络计划服务提供了一个新颖的框架，提供了一种端到端解决方案，该解决方案从用户设备接收视觉和感官数据，重建3D网络环境并在服务器上执行网络计划，并可视化在用户设备显示上，具有增强现实（AR）的网络性能。该解决方案由三个关键的技术组件授权：1）基于视觉和传感器融合的3D环境重建，2）基于射线跟踪的无线电图生成和网络计划，以及3）实时摄像机启用AR-Empower的网络可视化重新定位。我们在德国的博世植物中进行了概念验证，并显示了优化天线位置的良好网络覆盖范围，并且在环境重建和摄像机重新定位中均高精度。我们还实现了实时AR支持的网络监视，每帧的端到端延迟约为32毫秒。

根据世界卫生组织的数据，估计视觉障碍会影响全球约22亿人。目前，视力障碍必须依靠导航辅助工具来替代其视觉感，例如基于白色的甘蔗或GPS（全球定位系统）导航，两者都无法在室内工作。白色的甘蔗不能用于确定用户在房间内的位置，而GPS通常可以在室内失去连接，并且不提供方向信息，这两种方法都不适合室内使用。因此，这项研究试图开发3D成像解决方案，该解决方案能够通过复杂的室内环境实现非接触式导航。与以前的方法相比，该设备可以查明用户的位置和方向，同时仅需要53.1％的内存，并且处理速度更快125％。该设备还可以比以前的最新模型检测到60.2％的障碍，同时仅需要41％的内存和处理速度260％。在与人类参与者进行测试时，该设备允许与环境障碍物的碰撞减少94.5％，并允许步行速度提高48.3％，这表明我的设备可以使视力受损更安全，更快地导航。总而言之，这项研究表明了一个基于3D的导航系统，用于视力障碍。该方法可以由多种移动低功率设备（例如手机）使用，以确保所有人都可以使用这项研究。

There are many artificial intelligence algorithms for autonomous driving, but directly installing these algorithms on vehicles is unrealistic and expensive. At the same time, many of these algorithms need an environment to train and optimize. Simulation is a valuable and meaningful solution with training and testing functions, and it can say that simulation is a critical link in the autonomous driving world. There are also many different applications or systems of simulation from companies or academies such as SVL and Carla. These simulators flaunt that they have the closest real-world simulation, but their environment objects, such as pedestrians and other vehicles around the agent-vehicle, are already fixed programmed. They can only move along the pre-setting trajectory, or random numbers determine their movements. What is the situation when all environmental objects are also installed by Artificial Intelligence, or their behaviors are like real people or natural reactions of other drivers? This problem is a blind spot for most of the simulation applications, or these applications cannot be easy to solve this problem. The Neurorobotics Platform from the TUM team of Prof. Alois Knoll has the idea about "Engines" and "Transceiver Functions" to solve the multi-agents problem. This report will start with a little research on the Neurorobotics Platform and analyze the potential and possibility of developing a new simulator to achieve the true real-world simulation goal. Then based on the NRP-Core Platform, this initial development aims to construct an initial demo experiment. The consist of this report starts with the basic knowledge of NRP-Core and its installation, then focus on the explanation of the necessary components for a simulation experiment, at last, about the details of constructions for the autonomous driving system, which is integrated object detection and autonomous control.

本文介绍了基于因子图的C ++估计框架，并针对移动机器人。狼将因子图的应用从典型的SLAM和OCOMORY中的典型问题扩展到能够处理自校准，模型识别或除本地化以外的动态量的观察的一般估计框架。狼在传感器速率上产生高通量估计到高达kHz范围，可用于高动态机器人的反馈控制，例如人形，四足动物或空中操纵器。脱离因子图范式，狼的体系结构允许模块化但紧密耦合的估计器。模块化基于运行时加载的插件。然后，通过yaml文件实现集成，允许用户在不需要编写或编译代码的情况下配置各种应用程序。通过分散的帧创建和加入策略，实现了传入数据的同步及其进入唯一因子图。大多数算法资产被编码为基类中的抽象算法，具有不同级别的专业化。总体而言，这些资产允许相干处理并有利于可重用性和可扩展性。狼可以与不同的求解器界面，我们为Google Ceres提供包装纸。同样，我们提供ROS集成，提供通用ROS节点和带有订阅者和发布者的专用套餐。狼被公开可用，并开放合作。

在本文中，我们为非结构化的户外环境提供了一个完整的自主导航管道。这项工作的主要贡献位于路径规划模块上，我们分为两个主要类别：全局路径规划（GPP）和本地路径规划（LPP）。对于环境表示，而不是复杂和重型网格图，GPP层使用直接从OpenStreetMaps（OSM）获得的道路网络信息。在LPP层中，我们使用新颖的天真谷路（NVP）方法来生成局部路径，避免实时障碍物。这种方法使用LIDAR传感器使用本地环境的天真表示。此外，它使用了一个天真的优化，用于利用成本图中的“谷”区域的概念。我们在研究平台蓝色实验上实验展示了该系统的稳健性，在阿利坎特大学科学园区自主驾驶超过20公里，在12.33公顷地区。

对无人机系统（UAS）6G通信网络的供电解决方案的发动机解决方案非常广泛地增长了基于机器学习的自主模块和嵌入式图形处理单元（GPU）的广泛可用性。虽然这些技术已经彻底改变了UAS解决方案的可能性，但为UAS设计可操作，稳健的自主框架仍然是一个多方面和难题。在这项工作中，我们向US-IFLY提供了我们的小说，模块化框架，题为MR-IFLY，并讨论如何扩展它以启用6G Swarm解决方案。我们首先详细说明基于机器学习的UAS自主权与资源受限设备相关的挑战。接下来，我们深入描述，MR-IFLY的新颖深度估计和碰撞避免技术如何满足这些挑战。最后，我们描述了我们用来测量性能的各种评估标准，展示我们的优化机器视觉组件如何提供最多15倍的基线模型，并呈现MR-Ifly基于视觉碰撞避免技术的飞行演示视频。我们认为，这些经验结果通过提供独立的碰撞避免和导航能力来减少6G通信群中的节点之间的通信开销的候选者。

我们提出了一个新型混合动力系统（硬件和软件），该系统载有微型无人接地车辆（MiniUGV），以执行复杂的搜索和操纵任务。该系统利用异质机器人来完成使用单个机器人系统无法完成的任务。它使无人机能够探索一个隐藏的空间，并具有狭窄的开口，Miniugv可以轻松进入并逃脱。假定隐藏的空间可用于MiniUGV。 MiniUGV使用红外（IR）传感器和单眼相机在隐藏空间中搜索对象。所提出的系统利用摄像机的更广阔的视野（FOV）以及对象检测算法的随机性引导隐藏空间中的MiniUGV以找到对象。找到对象后，MiniUGV使用视觉伺服抓住它，然后返回其起点，从无人机将其缩回并将物体运送到安全的地方。如果在隐藏空间中没有发现对象，则无人机继续进行空中搜索。束缚的MiniUGV使无人机具有超出其影响力并执行搜索和操纵任务的能力，而该任务对于任何机器人都无法单独进行。该系统具有广泛的应用，我们通过重复实验证明了其可行性。

Three-dimensional models provide a volumetric representation of space which is important for a variety of robotic applications including flying robots and robots that are equipped with manipulators. In this paper, we present an open-source framework to generate volumetric 3D environment models. Our mapping approach is based on octrees and uses probabilistic occupancy estimation. It explicitly represents not only occupied space, but also free and unknown areas. Furthermore, we propose an octree map compression method that keeps the 3D models compact. Our framework is available as an open-source C++ library and has already been successfully applied in several robotics projects. We present a series of experimental results carried out with real robots and on publicly available real-world datasets. The results demonstrate that our approach is able to update the representation efficiently and models the data consistently while keeping the memory requirement at a minimum.

视觉同时定位和映射（VSLAM）在计算机视觉和机器人社区中取得了巨大进展，并已成功用于许多领域，例如自主机器人导航和AR/VR。但是，VSLAM无法在动态和复杂的环境中实现良好的定位。许多出版物报告说，通过与VSLAM结合语义信息，语义VSLAM系统具有近年来解决上述问题的能力。然而，尚无关于语义VSLAM的全面调查。为了填补空白，本文首先回顾了语义VSLAM的发展，并明确着眼于其优势和差异。其次，我们探讨了语义VSLAM的三个主要问题：语义信息的提取和关联，语义信息的应用以及语义VSLAM的优势。然后，我们收集和分析已广泛用于语义VSLAM系统的当前最新SLAM数据集。最后，我们讨论未来的方向，该方向将为语义VSLAM的未来发展提供蓝图。