学习在未知环境中安全导航是监视和救援操作中使用的自动无人机的重要任务。近年来，已经提出了许多基于学习的同时定位和映射（SLAM）系统，这些系统依靠深神经网络（DNN）（DNNS）提出了用于传统功能描述符表现不佳的应用。但是，这种基于学习的SLAM系统依靠DNN功能编码在典型的深度学习环境中训练有素的离线训练。这使得它们不太适合在训练中未见的环境中部署的无人机，在训练中，持续适应至关重要。在本文中，我们提出了一种新的方法，可以通过调节低复杂性词典学习和稀疏编码（DLSC）管道，并使用新提出的二次贝叶斯惊喜（QBS）因素调节，以学习在未知环境中即时猛烈抨击。我们通过在充满挑战的仓库场景中通过无人机收集的数据来实验验证我们的方法，在这种情况下，大量模棱两可的场景使视觉上的歧义很难。

在开放世界中运行的机器人会遇到各种不同的环境，这些环境可能彼此之间有很大的不同。该域差距也对同时本地化和映射（SLAM）构成了挑战，它是导航的基本任务之一。尤其是，已知基于学习的大满贯方法概括地概括了看不见的环境，阻碍了其一般采用。在这项工作中，我们介绍了连续猛击的新任务，即从单个动态变化的环境扩展到终生的概念到几个截然不同的环境中的顺序部署。为了解决这一任务，我们提出了CL-SLAM利用双NETWORK体系结构来适应新环境，并保留有关先前访问的环境的知识。我们将CL-SLAM与基于学习的和经典的大满贯方法进行比较，并显示了利用在线数据的优势。我们在三个不同的数据集上广泛评估CL-SLAM，并证明它的表现优于几个受到现有基于基于学习的视觉探测方法的基准。我们在http://continual-slam.cs.uni-freiburg.de上公开提供工作代码。

Localization of autonomous unmanned aerial vehicles (UAVs) relies heavily on Global Navigation Satellite Systems (GNSS), which are susceptible to interference. Especially in security applications, robust localization algorithms independent of GNSS are needed to provide dependable operations of autonomous UAVs also in interfered conditions. Typical non-GNSS visual localization approaches rely on known starting pose, work only on a small-sized map, or require known flight paths before a mission starts. We consider the problem of localization with no information on initial pose or planned flight path. We propose a solution for global visual localization on a map at scale up to 100 km2, based on matching orthoprojected UAV images to satellite imagery using learned season-invariant descriptors. We show that the method is able to determine heading, latitude and longitude of the UAV at 12.6-18.7 m lateral translation error in as few as 23.2-44.4 updates from an uninformed initialization, also in situations of significant seasonal appearance difference (winter-summer) between the UAV image and the map. We evaluate the characteristics of multiple neural network architectures for generating the descriptors, and likelihood estimation methods that are able to provide fast convergence and low localization error. We also evaluate the operation of the algorithm using real UAV data and evaluate running time on a real-time embedded platform. We believe this is the first work that is able to recover the pose of an UAV at this scale and rate of convergence, while allowing significant seasonal difference between camera observations and map.

This paper presents ORB-SLAM, a feature-based monocular SLAM system that operates in real time, in small and large, indoor and outdoor environments. The system is robust to severe motion clutter, allows wide baseline loop closing and relocalization, and includes full automatic initialization. Building on excellent algorithms of recent years, we designed from scratch a novel system that uses the same features for all SLAM tasks: tracking, mapping, relocalization, and loop closing. A survival of the fittest strategy that selects the points and keyframes of the reconstruction leads to excellent robustness and generates a compact and trackable map that only grows if the scene content changes, allowing lifelong operation. We present an exhaustive evaluation in 27 sequences from the most popular datasets. ORB-SLAM achieves unprecedented performance with respect to other state-of-the-art monocular SLAM approaches. For the benefit of the community, we make the source code public.

In recent years, aerial swarm technology has developed rapidly. In order to accomplish a fully autonomous aerial swarm, a key technology is decentralized and distributed collaborative SLAM (CSLAM) for aerial swarms, which estimates the relative pose and the consistent global trajectories. In this paper, we propose $D^2$SLAM: a decentralized and distributed ($D^2$) collaborative SLAM algorithm. This algorithm has high local accuracy and global consistency, and the distributed architecture allows it to scale up. $D^2$SLAM covers swarm state estimation in two scenarios: near-field state estimation for high real-time accuracy at close range and far-field state estimation for globally consistent trajectories estimation at the long-range between UAVs. Distributed optimization algorithms are adopted as the backend to achieve the $D^2$ goal. $D^2$SLAM is robust to transient loss of communication, network delays, and other factors. Thanks to the flexible architecture, $D^2$SLAM has the potential of applying in various scenarios.

同时本地化和映射（SLAM）是自动移动机器人中的基本问题之一，在该机器人需要重建以前看不见的环境的同时，同时在地图上进行了本身。特别是，Visual-Slam使用移动机器人中的各种传感器来收集和感测地图的表示。传统上，基于几何模型的技术被用来解决大满贯问题，在充满挑战的环境下，该问题往往容易出错。诸如深度学习技术之类的计算机视觉方面的最新进展提供了一种数据驱动的方法来解决视觉范围问题。这篇综述总结了使用各种基于学习的方法的视觉 - 峰领域的最新进展。我们首先提供了基于几何模型的方法的简洁概述，然后进行有关SLAM当前范式的技术评论。然后，我们介绍了从移动机器人那里收集感官输入并执行场景理解的各种基于学习的方法。讨论并将基于深度学习的语义理解中的当前范式讨论并置于视觉峰的背景下。最后，我们讨论了在视觉 - 峰中基于学习的方法方向上的挑战和进一步的机会。

语义分段网络通常在部署期间预先培训并且未更新。因此，如果训练数据的分布偏离机器人操作期间遇到的那个，则通常发生错误分类。我们建议通过将神经网络调整到机器人在部署期间的环境中来缓解此问题，而无需对外监督。利用互补数据表示，通过概率地累积在体积3D地图中的连续2D语义预测来生成监督信号。然后，我们在累积的语义地图的渲染上重新培训网络，有效地解决歧义并通过3D表示来执行多视图一致性。为了在进行网络适应时保留先前学习的知识，我们采用了基于体验重放的持续学习策略。通过广泛的实验评估，我们对Scannet DataSet和RGB-D传感器记录的内部数据显示了对现实世界室内场景的成功适应。与固定的预训练的神经网络相比，我们的方法平均增加了分割性能11.8％，同时有效地保留了从预训练前数据集的知识。

基于深度学习的视觉位置识别技术近年来将自己作为最先进的技术，并不能很好地概括与训练集在视觉上不同的环境。因此，为了达到最佳性能，有时有必要将网络调整到目标环境中。为此，我们根据同时定位和映射（SLAM）作为监督信号而不需要GPS或手动标记，提出了一个基于强大的姿势图优化的自我监督域校准程序。此外，我们利用该程序来改善在安全关键应用中很重要的位置识别匹配的不确定性估计。我们表明，我们的方法可以改善目标环境与训练集不同的最先进技术的性能，并且我们可以获得不确定性估计。我们认为，这种方法将帮助从业者在现实世界应用中部署健壮的位置识别解决方案。我们的代码公开可用：https：//github.com/mistlab/vpr-calibration-and-uncrightity

我们提出了BioSlam，这是一个终生的SLAM框架，用于逐步学习各种新出现，并在先前访问的地区保持准确的位置识别。与人类不同，人工神经网络遭受灾难性遗忘的困扰，并在接受新来者训练时可能会忘记先前访问的地区。对于人类而言，研究人员发现，大脑中存在一种记忆重播机制，可以使神经元保持活跃。受到这一发现的启发，Bioslam设计了一个封闭式的生成重播，以根据反馈奖励来控制机器人的学习行为。具体而言，BioSlam提供了一种新型的双记忆机制来维护：1）动态记忆有效地学习新观察结果，以及2）平衡新老知识的静态记忆。当与基于视觉/激光雷达的SLAM系统结合使用时，完整的处理管道可以帮助代理逐步更新位置识别能力，从而强大，从而增强长期位置识别的复杂性。我们在两个渐进式猛击场景中展示了Bioslam。在第一种情况下，基于激光雷达的特工不断穿越具有120公里轨迹的城市尺度环境，并遇到了不同类型的3D几何形状（开放街，住宅区，商业建筑）。我们表明，BioSlam可以逐步更新代理商的位置识别能力，并优于最先进的增量方法，即生成重播24％。在第二种情况下，基于激光镜的代理商在4.5公里的轨迹上反复穿越校园规模区域。 Bioslam可以保证在不同外观下的最先进方法上优于15％的地方识别精度。据我们所知，BioSlam是第一个具有记忆力增强的终身大满贯系统，可以帮助长期导航任务中的逐步识别。

我们提出了一种系统解决方案，以实现使用热图像和惯性测量的飞行机器人团队的数据效率，分散的状态估计。每个机器人可以独立飞行，并在可能的情况下交换数据以完善其状态估计。我们的系统前端应用在线光度校准以完善热图像，从而增强功能跟踪并放置识别。我们的系统后端使用协方差融合策略来忽略代理之间的互相关，以降低内存使用和计算成本。通信管道使用本地汇总的描述符（VLAD）的向量来构建需要较低带宽使用情况的请求响应策略。我们在合成数据和现实世界数据上测试我们的协作方法。我们的结果表明，相对于个人代理方法，该提出的方法最多可提高46％的轨迹估计，同时减少多达89％的通信交换。数据集和代码将发布给公众，扩展了已经发布的JPL XVIO库。

对自主导航和室内应用程序勘探机器人的最新兴趣刺激了对室内同时定位和映射（SLAM）机器人系统的研究。尽管大多数这些大满贯系统使用视觉和激光雷达传感器与探针传感器同时使用，但这些探针传感器会随着时间的流逝而漂移。为了打击这种漂移，视觉大满贯系统部署计算和内存密集型搜索算法来检测“环闭合”，这使得轨迹估计在全球范围内保持一致。为了绕过这些资源（计算和内存）密集算法，我们提出了VIWID，该算法将WiFi和视觉传感器集成在双层系统中。这种双层方法将局部和全局轨迹估计的任务分开，从而使VIWID资源有效，同时实现PAR或更好的性能到最先进的视觉大满贯。我们在四个数据集上展示了VIWID的性能，涵盖了超过1500 m的遍历路径，并分别显示出4.3倍和4倍的计算和记忆消耗量与最先进的视觉和LIDAR SLAM SLAM系统相比，具有PAR SLAM性能。

A monocular visual-inertial system (VINS), consisting of a camera and a low-cost inertial measurement unit (IMU), forms the minimum sensor suite for metric six degreesof-freedom (DOF) state estimation. However, the lack of direct distance measurement poses significant challenges in terms of IMU processing, estimator initialization, extrinsic calibration, and nonlinear optimization. In this work, we present VINS-Mono: a robust and versatile monocular visual-inertial state estimator. Our approach starts with a robust procedure for estimator initialization and failure recovery. A tightly-coupled, nonlinear optimization-based method is used to obtain high accuracy visual-inertial odometry by fusing pre-integrated IMU measurements and feature observations. A loop detection module, in combination with our tightly-coupled formulation, enables relocalization with minimum computation overhead. We additionally perform four degrees-of-freedom pose graph optimization to enforce global consistency. We validate the performance of our system on public datasets and real-world experiments and compare against other state-of-the-art algorithms. We also perform onboard closed-loop autonomous flight on the MAV platform and port the algorithm to an iOS-based demonstration. We highlight that the proposed work is a reliable, complete, and versatile system that is applicable for different applications that require high accuracy localization. We open source our implementations for both PCs 1 and iOS mobile devices 2 .

Lack of performance when it comes to continual learning over non-stationary distributions of data remains a major challenge in scaling neural network learning to more human realistic settings. In this work we propose a new conceptualization of the continual learning problem in terms of a temporally symmetric trade-off between transfer and interference that can be optimized by enforcing gradient alignment across examples. We then propose a new algorithm, Meta-Experience Replay (MER), that directly exploits this view by combining experience replay with optimization based meta-learning. This method learns parameters that make interference based on future gradients less likely and transfer based on future gradients more likely. 1 We conduct experiments across continual lifelong supervised learning benchmarks and non-stationary reinforcement learning environments demonstrating that our approach consistently outperforms recently proposed baselines for continual learning. Our experiments show that the gap between the performance of MER and baseline algorithms grows both as the environment gets more non-stationary and as the fraction of the total experiences stored gets smaller.

去中心化的国家估计是GPS贬低的地区自动空中群体系统中最基本的组成部分之一，但它仍然是一个极具挑战性的研究主题。本文提出了Omni-swarm，一种分散的全向视觉惯性-UWB状态估计系统，用于解决这一研究利基市场。为了解决可观察性，复杂的初始化，准确性不足和缺乏全球一致性的问题，我们在Omni-warm中引入了全向感知前端。它由立体宽型摄像机和超宽带传感器，视觉惯性探测器，基于多无人机地图的本地化以及视觉无人机跟踪算法组成。前端的测量值与后端的基于图的优化融合在一起。所提出的方法可实现厘米级的相对状态估计精度，同时确保空中群中的全球一致性，这是实验结果证明的。此外，在没有任何外部设备的情况下，可以在全面的无人机间碰撞方面支持，表明全旋转的潜力是自动空中群的基础。

尽管常规机器人系统中的每个不同任务都需要专用的场景表示形式，但本文表明，统一表示形式可以直接用于多个关键任务。我们提出了用于映射，进程和计划（LOG-GPIS-MOP）的log-gaussian过程隐式表面：基于统一表示形式的表面重建，本地化和导航的概率框架。我们的框架将对数转换应用于高斯过程隐式表面（GPIS）公式，以恢复全局表示，该表示可以准确地捕获具有梯度的欧几里得距离场，同时又是隐式表面。通过直接估计距离字段及其通过LOG-GPIS推断的梯度，提出的增量进程技术计算出传入帧的最佳比对，并在全球范围内融合以生成MAP。同时，基于优化的计划者使用相同的LOG-GPIS表面表示计算安全的无碰撞路径。我们根据最先进的方法验证了2D和3D和3D和基准测试的模拟和真实数据集的拟议框架。我们的实验表明，LOG-GPIS-MOP在顺序的音程，表面映射和避免障碍物中产生竞争结果。

结合同时定位和映射（SLAM）估计和动态场景建模可以高效地在动态环境中获得机器人自主权。机器人路径规划和障碍避免任务依赖于场景中动态对象运动的准确估计。本文介绍了VDO-SLAM，这是一种强大的视觉动态对象感知SLAM系统，用于利用语义信息，使得能够在场景中进行准确的运动估计和跟踪动态刚性物体，而无需任何先前的物体形状或几何模型的知识。所提出的方法识别和跟踪环境中的动态对象和静态结构，并将这些信息集成到统一的SLAM框架中。这导致机器人轨迹的高度准确估计和对象的全部SE（3）运动以及环境的时空地图。该系统能够从对象的SE（3）运动中提取线性速度估计，为复杂的动态环境中的导航提供重要功能。我们展示了所提出的系统对许多真实室内和室外数据集的性能，结果表明了对最先进的算法的一致和实质性的改进。可以使用源代码的开源版本。

自主场景的曝光和探索，尤其是在本地化或沟通有限的区域，对于在未知场景中寻找目标有用，仍然是计算机导航中的一个具有挑战性的问题。在这项工作中，我们提出了一种用于实时环境探索的新方法，其唯一的要求是一个视觉上相似的数据集，用于预训练，场景中足够的照明以及用于环境感应的机上前瞻性RGB摄像机。与现有方法相反，我们的方法只需要一个外观（图像）才能做出一个良好的战术决定，因此在非成长，恒定的时间内起作用。两个方向的预测以像素为特征，称为goto和lookat像素，包括我们方法的核心。这些像素通过以下方式编码建议的飞行指令：goto像素定义了代理应以一个距离单位移动的方向，而Lookat像素定义了相机应在下一步中指向的方向。这些飞行的指导像素经过优化，以揭示当前未开发的区域的最多数量。我们的方法提出了一种新型的基于深度学习的导航方法，能够解决此问题并在更复杂的设置中证明其能力，即计算能力有限。此外，我们提出了一种生成面向导航数据集的方法，从而可以使用RGB和深度图像对我们的方法有效培训。在模拟器中进行的测试，评估了稀疏像素的推断过程的协调，以及旨在揭示区域并降低目标距离的2D和3D测试飞行取得了令人鼓舞的结果。与最先进的算法的比较表明，我们的方法能够表现出色，在测量每个相机姿势的新体素，最小距离目标距离，所见表面素的百分比和计算时间指标。

事件摄像机是运动激活的传感器，可捕获像素级照明的变化，而不是具有固定帧速率的强度图像。与标准摄像机相比，它可以在高速运动和高动态范围场景中提供可靠的视觉感知。但是，当相机和场景之间的相对运动受到限制时，例如在静态状态下，事件摄像机仅输出一点信息甚至噪音。尽管标准相机可以在大多数情况下，尤其是在良好的照明条件下提供丰富的感知信息。这两个相机完全是互补的。在本文中，我们提出了一种具有鲁棒性，高智能和实时优化的基于事件的视觉惯性镜（VIO）方法，具有事件角度，基于线的事件功能和基于点的图像功能。提出的方法旨在利用人为场景中的自然场景和基于线路的功能中的基于点的功能，以通过设计良好设计的功能管理提供更多其他结构或约束信息。公共基准数据集中的实验表明，与基于图像或基于事件的VIO相比，我们的方法可以实现卓越的性能。最后，我们使用我们的方法演示了机上闭环自动驾驶四极管飞行和大规模室外实验。评估的视频在我们的项目网站上介绍：https：//b23.tv/oe3qm6j

作为智能机器人的一项基本任务，Visual Slam在过去几十年中取得了长足的进步。但是，在高度弱质地的环境下，强大的大满贯仍然非常具有挑战性。在本文中，我们提出了一个名为RWT-Slam的新型视觉大满贯系统，以解决这个问题。我们修改LOFTR网络，该网络能够在低纹理的场景下产生密集的点匹配以生成特征描述符。为了将新功能集成到流行的Orb-Slam框架中，我们开发了功能面具，以滤除不可靠的功能并采用KNN策略来增强匹配的鲁棒性。我们还对新的描述符进行了视觉词汇，以有效地循环结束。在TUM和Openloris等各种公共数据集以及我们自己的数据中测试了由此产生的RWT-SLAM。结果显示在高度弱质地的环境下表现非常有希望。

在本文中，我们考虑了视觉同时定位和映射（SLAM）的实际应用中的问题。随着技术在广泛范围中的普及和应用，SLAM系统的可实用性已成为一个在准确性和鲁棒性之后，例如，如何保持系统的稳定性并实现低文本和低文本和中的准确姿势估计动态环境以及如何在真实场景中改善系统的普遍性和实时性能。动态对象在高度动态的环境中的影响。我们还提出了一种新型的全局灰色相似性（GGS）算法，以实现合理的钥匙扣选择和有效的环闭合检测（LCD）。受益于GGS，PLD-SLAM可以在大多数真实场景中实现实时准确的姿势估计，而无需预先训练和加载巨大的功能词典模型。为了验证拟议系统的性能，我们将其与公共数据集Kitti，Euroc MAV和我们提供的室内立体声数据集的现有最新方法（SOTA）方法进行了比较。实验表明，实验表明PLD-SLAM在大多数情况下确保稳定性和准确性，具有更好的实时性能。此外，通过分析GGS的实验结果，我们可以发现它在关键帧选择和LCD中具有出色的性能。