夜间使用常规视觉摄像机运行的机器人由于噪声受限图像而在重建中面临重大挑战。先前的工作表明，爆发成像技术可用于部分克服这一问题。在本文中，我们开发了一种新型的功能检测器，该功能检测器直接在图像爆发上运行，从而在极低的光线条件下增强了基于视觉的重建。我们的方法通过在多尺度和多运动空间中共同搜索，在每次爆发中找到了定义明确的尺度和明显运动的关键点。因为我们在图像具有较高信噪比的阶段描述了这些功能，因此检测到的特征比常规嘈杂图像和突发的图像和表现出高度精确的最新特征更准确和匹配性能。我们显示了提高功能性能和摄像头姿势估计值，并在挑战光限制的场景中使用功能检测器展示了改进的结构，从而改善了结构。我们的功能Finder为在弱光方案和应用程序（包括夜间操作）中运行的机器人提供了重要的一步。

本文介绍了一种用于水下车辆机械手系统（UVMS）的新型视野映射方法，具有特定强调自然海底环境中的鲁棒映射。水下场景映射的先前方法通常会离线处理数据，而实时运行的现有水下SLAM方法通常会集中在本地化上而不是映射。我们的方法使用GPU加速SIFT功能在图形优化框架中构建一个特征映射。地图刻度由车辆安装的立体声相机的特征约束，我们通过将机械手系统的动态定位能力从手腕安装的Fisheye摄像机融合到地图中，以将其延伸到车辆安装摄像机的有限视点之外。我们的混合SLAM方法是在Costa rican Continental Shelf级别的自然深海环境中采用UVMS收集的挑战性图像序列，我们还在浅礁调查数据集中评估立体声的立体声。这些数据集的结果证明了我们的系统的高准确性，适合于在不同的自然海底环境中运营。

This paper presents ORB-SLAM, a feature-based monocular SLAM system that operates in real time, in small and large, indoor and outdoor environments. The system is robust to severe motion clutter, allows wide baseline loop closing and relocalization, and includes full automatic initialization. Building on excellent algorithms of recent years, we designed from scratch a novel system that uses the same features for all SLAM tasks: tracking, mapping, relocalization, and loop closing. A survival of the fittest strategy that selects the points and keyframes of the reconstruction leads to excellent robustness and generates a compact and trackable map that only grows if the scene content changes, allowing lifelong operation. We present an exhaustive evaluation in 27 sequences from the most popular datasets. ORB-SLAM achieves unprecedented performance with respect to other state-of-the-art monocular SLAM approaches. For the benefit of the community, we make the source code public.

兴趣点检测是计算机视觉和图像处理中最根本，最关键的问题之一。在本文中，我们对图像特征信息（IFI）提取技术进行了全面综述，以进行利益点检测。为了系统地介绍现有的兴趣点检测方法如何从输入图像中提取IFI，我们提出了IFI提取技术的分类学检测。根据该分类法，我们讨论了不同类型的IFI提取技术以进行兴趣点检测。此外，我们确定了与现有的IFI提取技术有关的主要未解决的问题，以及以前尚未讨论过的任何兴趣点检测方法。提供了现有的流行数据集和评估标准，并评估和讨论了18种最先进方法的性能。此外，还详细阐述了有关IFI提取技术的未来研究方向。

小天体的任务在很大程度上依赖于光学特征跟踪，以表征和相对导航。尽管深度学习导致了功能检测和描述方面的巨大进步，但由于大规模，带注释的数据集的可用性有限，因此培训和验证了空间应用程序的数据驱动模型具有挑战性。本文介绍了Astrovision，这是一个大规模数据集，由115,970个密集注释的，真实的图像组成，这些图像是过去和正在进行的任务中捕获的16个不同物体的真实图像。我们利用Astrovision开发一组标准化基准，并对手工和数据驱动的功能检测和描述方法进行详尽的评估。接下来，我们采用Astrovision对最先进的，深刻的功能检测和描述网络进行端到端培训，并在多个基准测试中表现出改善的性能。将公开使用完整的基准管道和数据集，以促进用于空间应用程序的计算机视觉算法的发展。

Modern mobile burst photography pipelines capture and merge a short sequence of frames to recover an enhanced image, but often disregard the 3D nature of the scene they capture, treating pixel motion between images as a 2D aggregation problem. We show that in a "long-burst", forty-two 12-megapixel RAW frames captured in a two-second sequence, there is enough parallax information from natural hand tremor alone to recover high-quality scene depth. To this end, we devise a test-time optimization approach that fits a neural RGB-D representation to long-burst data and simultaneously estimates scene depth and camera motion. Our plane plus depth model is trained end-to-end, and performs coarse-to-fine refinement by controlling which multi-resolution volume features the network has access to at what time during training. We validate the method experimentally, and demonstrate geometrically accurate depth reconstructions with no additional hardware or separate data pre-processing and pose-estimation steps.

事件摄像机由于理想的特征，例如高动态范围，低延迟，几乎没有运动模糊和高能量效率而继续引起兴趣。事件摄像机研究的潜在应用之一是在机器人本地化的视觉场所识别中，必须将查询观测值与数据库中的相应参考位置匹配。在这封信中，我们探讨了一小部分像素（在数十个或数百个）中的事件流的独特性。我们证明，当使用在参考集中显示大变化的像素时，积累到事件框架的那些像素位置的事件数量的绝对差异就足以足以进行位置识别任务。使用如此稀疏（图像坐标），但是（对于每个像素位置的事件数量）有变化，可以使位置估计值的频繁和计算廉价更新。此外，当事件帧包含恒定事件的数量时，我们的方法充分利用了感官流的事件驱动性质，并显示出对速度变化的有希望的鲁棒性。我们在户外驾驶场景中评估了布里斯班 - 事件-VPR数据集的建议方法，以及新贡献的室内QCR-Event-VPR数据集，该数据集用安装在移动机器人平台上的Davis346相机捕获。我们的结果表明，与这些数据集上的几种基线方法相比，我们的方法可实现竞争性能，并且特别适合于计算和能源约束的平台，例如星际漫游者。

We introduce an approach for recovering the 6D pose of multiple known objects in a scene captured by a set of input images with unknown camera viewpoints. First, we present a single-view single-object 6D pose estimation method, which we use to generate 6D object pose hypotheses. Second, we develop a robust method for matching individual 6D object pose hypotheses across different input images in order to jointly estimate camera viewpoints and 6D poses of all objects in a single consistent scene. Our approach explicitly handles object symmetries, does not require depth measurements, is robust to missing or incorrect object hypotheses, and automatically recovers the number of objects in the scene. Third, we develop a method for global scene refinement given multiple object hypotheses and their correspondences across views. This is achieved by solving an object-level bundle adjustment problem that refines the poses of cameras and objects to minimize the reprojection error in all views. We demonstrate that the proposed method, dubbed Cosy-Pose, outperforms current state-of-the-art results for single-view and multi-view 6D object pose estimation by a large margin on two challenging benchmarks: the YCB-Video and T-LESS datasets. Code and pre-trained models are available on the project webpage. 5

结合同时定位和映射（SLAM）估计和动态场景建模可以高效地在动态环境中获得机器人自主权。机器人路径规划和障碍避免任务依赖于场景中动态对象运动的准确估计。本文介绍了VDO-SLAM，这是一种强大的视觉动态对象感知SLAM系统，用于利用语义信息，使得能够在场景中进行准确的运动估计和跟踪动态刚性物体，而无需任何先前的物体形状或几何模型的知识。所提出的方法识别和跟踪环境中的动态对象和静态结构，并将这些信息集成到统一的SLAM框架中。这导致机器人轨迹的高度准确估计和对象的全部SE（3）运动以及环境的时空地图。该系统能够从对象的SE（3）运动中提取线性速度估计，为复杂的动态环境中的导航提供重要功能。我们展示了所提出的系统对许多真实室内和室外数据集的性能，结果表明了对最先进的算法的一致和实质性的改进。可以使用源代码的开源版本。

Compared to regular cameras, Dynamic Vision Sensors or Event Cameras can output compact visual data based on a change in the intensity in each pixel location asynchronously. In this paper, we study the application of current image-based SLAM techniques to these novel sensors. To this end, the information in adaptively selected event windows is processed to form motion-compensated images. These images are then used to reconstruct the scene and estimate the 6-DOF pose of the camera. We also propose an inertial version of the event-only pipeline to assess its capabilities. We compare the results of different configurations of the proposed algorithm against the ground truth for sequences of two publicly available event datasets. We also compare the results of the proposed event-inertial pipeline with the state-of-the-art and show it can produce comparable or more accurate results provided the map estimate is reliable.

在这项研究中，我们提出了一种新型的视觉定位方法，以根据RGB摄像机的可视数据准确估计机器人在3D激光镜头内的六个自由度（6-DOF）姿势。使用基于先进的激光雷达的同时定位和映射（SLAM）算法，可获得3D地图，能够收集精确的稀疏图。将从相机图像中提取的功能与3D地图的点进行了比较，然后解决了几何优化问题，以实现精确的视觉定位。我们的方法允许使用配备昂贵激光雷达的侦察兵机器人一次 - 用于映射环境，并且仅使用RGB摄像头的多个操作机器人 - 执行任务任务，其本地化精度高于常见的基于相机的解决方案。该方法在Skolkovo科学技术研究所（Skoltech）收集的自定义数据集上进行了测试。在评估本地化准确性的过程中，我们设法达到了厘米级的准确性；中间翻译误差高达1.3厘米。仅使用相机实现的确切定位使使用自动移动机器人可以解决需要高度本地化精度的最复杂的任务。

Visual odometry is crucial for many robotic tasks such as autonomous exploration and path planning. Despite many progresses, existing methods are still not robust enough to dynamic illumination environments. In this paper, we present AirVO, an illumination-robust and accurate stereo visual odometry system based on point and line features. To be robust to illumination variation, we introduce the learning-based feature extraction and matching method and design a novel VO pipeline, including feature tracking, triangulation, key-frame selection, and graph optimization etc. We also employ long line features in the environment to improve the accuracy of the system. Different from the traditional line processing pipelines in visual odometry systems, we propose an illumination-robust line tracking method, where point feature tracking and distribution of point and line features are utilized to match lines. In the experiments, the proposed system is extensively evaluated in environments with dynamic illumination and the results show that it achieves superior performance to the state-of-the-art algorithms.

由于其对环境变化的鲁棒性，视觉猛感的间接方法是受欢迎的。 ORB-SLAM2 \ CITE {ORBSLM2}是该域中的基准方法，但是，除非选择帧作为关键帧，否则它会消耗从未被重用的描述符。轻量级和高效，因为它跟踪相邻帧之间的关键点而不计算描述符。为此，基于稀疏光流提出了一种两个级粗到微小描述符独立的Keypoint匹配方法。在第一阶段，我们通过简单但有效的运动模型预测初始关键点对应，然后通过基于金字塔的稀疏光流跟踪鲁棒地建立了对应关系。在第二阶段，我们利用运动平滑度和末端几何形状的约束来改进对应关系。特别是，我们的方法仅计算关键帧的描述符。我们在\ texit {tum}和\ texit {icl-nuim} RGB-D数据集上测试Fastorb-Slam，并将其准确性和效率与九种现有的RGB-D SLAM方法进行比较。定性和定量结果表明，我们的方法实现了最先进的准确性，并且大约是ORB-SLAM2的两倍。

事件摄像机是由生物启发的传感器，比传统摄像机具有优势。它们不同步，用微秒的分辨率对场景进行采样，并产生亮度变化。这种非常规的输出引发了新型的计算机视觉方法，以释放相机的潜力。我们解决了SLAM的基于事件的立体3D重建问题。大多数基于事件的立体声方法都试图利用相机跨相机的高时间分辨率和事件同时性，以建立匹配和估计深度。相比之下，我们研究了如何通过融合有效的单眼方法来融合差异空间图像（DSIS）来估计深度。我们开发融合理论，并将其应用于设计产生最先进结果的多相机3D重建算法，正如我们通过与四种基线方法进行比较并在各种可用数据集上进行测试的确认。

由于捕获的图像中的严重噪音，弱光下的场景推断是一个具有挑战性的问题。减少噪音的一种方法是在捕获过程中使用更长的曝光。但是，在有运动（场景或相机运动）的存在下，较长的暴露会导致运动模糊，从而导致图像信息的丢失。这在这两种图像降解之间创造了权衡取舍：运动模糊（由于长期暴露）与噪声（由于曝光短），也称为本文中的双图像损坏对。随着摄像机的兴起，能够同时捕获同一场景的多次暴露，因此可以克服这一权衡。我们的主要观察结果是，尽管这些不同图像捕获的降解的数量和性质各不相同，但在所有图像中，语义内容保持不变。为此，我们提出了一种方法，以利用这些多曝光捕获在弱光和运动下的鲁棒推理。我们的方法建立在功能一致性损失的基础上，以鼓励这些单个捕获的类似结果，并利用其最终预测的合奏来实现强大的视觉识别。我们证明了方法对模拟图像的有效性以及具有多个暴露的真实捕获，以及对象检测和图像分类的任务。

在本文中，我们开发了一个健壮，有效的视觉大满贯系统，该系统利用了低阈值，基线线和闭环钥匙帧功能的空间抑制。使用ORB-SLAM2，我们的方法包括立体声匹配，框架跟踪，本地捆绑包调整以及线路和点全局捆绑捆绑调整。特别是，我们根据基线贡献了重新注射。融合系统中的线路会消耗巨大的时间，我们减少了从分布点到利用特征点的空间抑制的时间。此外，低阈值关键点在处理低纹理方面可能更有效。为了克服跟踪钥匙帧的冗余问题，提出了有效且可靠的闭环跟踪钥匙框架。所提出的SLAM在Kitti和Euroc数据集中进行了广泛的测试，表明所提出的系统在各种情况下都优于最新方法。

In this paper, we present a novel scale-and rotation-invariant interest point detector and descriptor, coined SURF (Speeded Up Robust Features). It approximates or even outperforms previously proposed schemes with respect to repeatability, distinctiveness, and robustness, yet can be computed and compared much faster.This is achieved by relying on integral images for image convolutions; by building on the strengths of the leading existing detectors and descriptors (in casu, using a Hessian matrix-based measure for the detector, and a distribution-based descriptor); and by simplifying these methods to the essential. This leads to a combination of novel detection, description, and matching steps. The paper presents experimental results on a standard evaluation set, as well as on imagery obtained in the context of a real-life object recognition application. Both show SURF's strong performance.

可靠地定量自然和人为气体释放（例如，从海底进入海洋的自然和人为气体释放（例如，Co $ _2 $，甲烷），最终是大气，是一个具有挑战性的任务。虽然船舶的回声探测器允许在水中检测水中的自由气，但是即使从较大的距离中，精确量化需要诸如未获得的升高速度和气泡尺寸分布的参数。光学方法的意义上是互补的，即它们可以提供从近距离的单个气泡或气泡流的高时和空间分辨率。在这一贡献中，我们介绍了一种完整的仪器和评估方法，用于光学气泡流特征。专用仪器采用高速深海立体声摄像机系统，可在部署在渗透网站以进行以后的自动分析时录制泡泡图像的Tbleabytes。对于几分钟的短序列可以获得泡特性，然后将仪器迁移到其他位置，或者以自主间隔模式迁移到几天内，以捕获由于电流和压力变化和潮汐循环引起的变化。除了报告泡沫特征的步骤旁边，我们仔细评估了可达准确性并提出了一种新颖的校准程序，因为由于缺乏点对应，仅使用气泡的剪影。该系统已成功运营，在太平洋高达1000万水深，以评估甲烷通量。除了样品结果外，我们还会报告在开发期间汲取的故障案例和经验教训。

我们调查来自两个或更多重叠的网络摄像头流的3D场景重建的可能性。大量，增长，网络摄像头数目观察兴趣的地方，并可公开访问。自然出现的问题：我们可以使用此免费数据源进行3D计算机愿景吗？事实证明，从网络摄像头流中重建场景结构的任务与标准结构 - 从 - 动作（SFM）非常不同，传统的SFM管道失败。在网络摄像头设置中，在大多数情况下，相同场景的观点很少，只有两个。这些观点通常具有大的基线和/或比例差异，它们的重叠相当有限，除了未知的内部和外部校准之外，它们的时间同步也未知。另一方面，它们在长期跨越时不断录制相当大的视野，因此他们定期观察通过场景的动态对象。我们展示了如何利用最近的计算机愿景领域的进步，以适应SFM重建对此特定场景并重建未知的相机姿势，3D场景结构和动态对象的3D轨迹。

Video provides us with the spatio-temporal consistency needed for visual learning. Recent approaches have utilized this signal to learn correspondence estimation from close-by frame pairs. However, by only relying on close-by frame pairs, those approaches miss out on the richer long-range consistency between distant overlapping frames. To address this, we propose a self-supervised approach for correspondence estimation that learns from multiview consistency in short RGB-D video sequences. Our approach combines pairwise correspondence estimation and registration with a novel SE(3) transformation synchronization algorithm. Our key insight is that self-supervised multiview registration allows us to obtain correspondences over longer time frames; increasing both the diversity and difficulty of sampled pairs. We evaluate our approach on indoor scenes for correspondence estimation and RGB-D pointcloud registration and find that we perform on-par with supervised approaches.