Incremental Structure-from-Motion is a prevalent strategy for 3D reconstruction from unordered image collections. While incremental reconstruction systems have tremendously advanced in all regards, robustness, accuracy, completeness, and scalability remain the key problems towards building a truly general-purpose pipeline. We propose a new SfM technique that improves upon the state of the art to make a further step towards this ultimate goal. The full reconstruction pipeline is released to the public as an open-source implementation.

结构从动作（SFM）旨在根据输入图像之间的对应关系恢复3D场景结构和相机姿势，因此，由重复结构（即具有强视觉相似的不同结构）引起的歧义始终导致摄像头的姿势和不正确的相机姿势3D结构。为了处理歧义，大多数现有研究通过分析两种观察几何或特征点来求助于其他约束信息或隐式推理。在本文中，我们建议利用场景中的高级信息，即本地区域的空间上下文信息，以指导重建。具体而言，提出了一种新颖的结构，即{\ textit {track-community}}，其中每个社区由一组轨道组成，代表场景中的本地段。社区检测算法用于将场景分为几个部分。然后，通过分析轨道的邻域并通过检查姿势一致性来检测潜在的模棱两可的段。最后，我们对每个段进行部分重建，并将它们与新颖的双向一致性成本函数对齐，该函数考虑了3D-3D对应关系和成对相对摄像头的姿势。实验结果表明，我们的方法可以牢固地减轻视觉上无法区分的结构而导致的重建失败，并准确合并部分重建。

This paper presents ORB-SLAM, a feature-based monocular SLAM system that operates in real time, in small and large, indoor and outdoor environments. The system is robust to severe motion clutter, allows wide baseline loop closing and relocalization, and includes full automatic initialization. Building on excellent algorithms of recent years, we designed from scratch a novel system that uses the same features for all SLAM tasks: tracking, mapping, relocalization, and loop closing. A survival of the fittest strategy that selects the points and keyframes of the reconstruction leads to excellent robustness and generates a compact and trackable map that only grows if the scene content changes, allowing lifelong operation. We present an exhaustive evaluation in 27 sequences from the most popular datasets. ORB-SLAM achieves unprecedented performance with respect to other state-of-the-art monocular SLAM approaches. For the benefit of the community, we make the source code public.

我们调查来自两个或更多重叠的网络摄像头流的3D场景重建的可能性。大量，增长，网络摄像头数目观察兴趣的地方，并可公开访问。自然出现的问题：我们可以使用此免费数据源进行3D计算机愿景吗？事实证明，从网络摄像头流中重建场景结构的任务与标准结构 - 从 - 动作（SFM）非常不同，传统的SFM管道失败。在网络摄像头设置中，在大多数情况下，相同场景的观点很少，只有两个。这些观点通常具有大的基线和/或比例差异，它们的重叠相当有限，除了未知的内部和外部校准之外，它们的时间同步也未知。另一方面，它们在长期跨越时不断录制相当大的视野，因此他们定期观察通过场景的动态对象。我们展示了如何利用最近的计算机愿景领域的进步，以适应SFM重建对此特定场景并重建未知的相机姿势，3D场景结构和动态对象的3D轨迹。

We introduce an approach for recovering the 6D pose of multiple known objects in a scene captured by a set of input images with unknown camera viewpoints. First, we present a single-view single-object 6D pose estimation method, which we use to generate 6D object pose hypotheses. Second, we develop a robust method for matching individual 6D object pose hypotheses across different input images in order to jointly estimate camera viewpoints and 6D poses of all objects in a single consistent scene. Our approach explicitly handles object symmetries, does not require depth measurements, is robust to missing or incorrect object hypotheses, and automatically recovers the number of objects in the scene. Third, we develop a method for global scene refinement given multiple object hypotheses and their correspondences across views. This is achieved by solving an object-level bundle adjustment problem that refines the poses of cameras and objects to minimize the reprojection error in all views. We demonstrate that the proposed method, dubbed Cosy-Pose, outperforms current state-of-the-art results for single-view and multi-view 6D object pose estimation by a large margin on two challenging benchmarks: the YCB-Video and T-LESS datasets. Code and pre-trained models are available on the project webpage. 5

We present a method for solving two minimal problems for relative camera pose estimation from three views, which are based on three view correspondences of i) three points and one line and the novel case of ii) three points and two lines through two of the points. These problems are too difficult to be efficiently solved by the state of the art Groebner basis methods. Our method is based on a new efficient homotopy continuation (HC) solver framework MINUS, which dramatically speeds up previous HC solving by specializing HC methods to generic cases of our problems. We characterize their number of solutions and show with simulated experiments that our solvers are numerically robust and stable under image noise, a key contribution given the borderline intractable degree of nonlinearity of trinocular constraints. We show in real experiments that i) SIFT feature location and orientation provide good enough point-and-line correspondences for three-view reconstruction and ii) that we can solve difficult cases with too few or too noisy tentative matches, where the state of the art structure from motion initialization fails.

运动（ISFM）的增量结构已被广泛用于无人机图像方向。然而，由于顺序约束，其效率大大降低。尽管已经利用了分裂和纠纷策略来提高效率，但集群合并变得困难或取决于认真设计的重叠结构。本文提出了一种算法，以提取群集合并的全局模型，并设计平行的SFM解决方案，以实现有效，准确的无人机图像方向。首先，基于词汇树检索，选择了匹配对来构建一个无方向的加权匹配图，其边缘权重是通过考虑特征匹配的数量和分布来计算的。其次，一种称为加权连接的主导集（WCD）的算法旨在实现匹配图的简化并构建全局模型，该模型将边缘权重结合到图形节点选择中，并实现了全局模型的成功重建。第三，将匹配图同时分为紧凑型和非重叠簇。在平行重建后，借助全局模型和群集模型之间的共同3D点进行聚类合并。最后，通过使用经典倾斜和最新优化视图捕获的三个UAV数据集，通过全面的分析和比较来验证所提出的解决方案的验证。实验结果表明，所提出的平行SFM可以实现提高效率的17.4倍和比较取向精度。在绝对BA中，地理引用精度分别是水平和垂直方向中GSD（接地采样距离）值的2.0倍和3.0倍。对于并行SFM，提出的解决方案是更可靠的替代方案。

Video provides us with the spatio-temporal consistency needed for visual learning. Recent approaches have utilized this signal to learn correspondence estimation from close-by frame pairs. However, by only relying on close-by frame pairs, those approaches miss out on the richer long-range consistency between distant overlapping frames. To address this, we propose a self-supervised approach for correspondence estimation that learns from multiview consistency in short RGB-D video sequences. Our approach combines pairwise correspondence estimation and registration with a novel SE(3) transformation synchronization algorithm. Our key insight is that self-supervised multiview registration allows us to obtain correspondences over longer time frames; increasing both the diversity and difficulty of sampled pairs. We evaluate our approach on indoor scenes for correspondence estimation and RGB-D pointcloud registration and find that we perform on-par with supervised approaches.

由于其对环境变化的鲁棒性，视觉猛感的间接方法是受欢迎的。 ORB-SLAM2 \ CITE {ORBSLM2}是该域中的基准方法，但是，除非选择帧作为关键帧，否则它会消耗从未被重用的描述符。轻量级和高效，因为它跟踪相邻帧之间的关键点而不计算描述符。为此，基于稀疏光流提出了一种两个级粗到微小描述符独立的Keypoint匹配方法。在第一阶段，我们通过简单但有效的运动模型预测初始关键点对应，然后通过基于金字塔的稀疏光流跟踪鲁棒地建立了对应关系。在第二阶段，我们利用运动平滑度和末端几何形状的约束来改进对应关系。特别是，我们的方法仅计算关键帧的描述符。我们在\ texit {tum}和\ texit {icl-nuim} RGB-D数据集上测试Fastorb-Slam，并将其准确性和效率与九种现有的RGB-D SLAM方法进行比较。定性和定量结果表明，我们的方法实现了最先进的准确性，并且大约是ORB-SLAM2的两倍。

Affine correspondences have traditionally been used to improve feature matching over wide baselines. While recent work has successfully used affine correspondences to solve various relative camera pose estimation problems, less attention has been given to their use in absolute pose estimation. We introduce the first general solution to the problem of estimating the pose of a calibrated camera given a single observation of an oriented point and an affine correspondence. The advantage of our approach (P1AC) is that it requires only a single correspondence, in comparison to the traditional point-based approach (P3P), significantly reducing the combinatorics in robust estimation. P1AC provides a general solution that removes restrictive assumptions made in prior work and is applicable to large-scale image-based localization. We propose two parameterizations of the P1AC problem and evaluate our novel solvers on synthetic data showing their numerical stability and performance under various types of noise. On standard image-based localization benchmarks we show that P1AC achieves more accurate results than the widely used P3P algorithm.

This paper presents an accurate, highly efficient, and learning-free method for large-scale odometry estimation using spinning radar, empirically found to generalize well across very diverse environments -- outdoors, from urban to woodland, and indoors in warehouses and mines - without changing parameters. Our method integrates motion compensation within a sweep with one-to-many scan registration that minimizes distances between nearby oriented surface points and mitigates outliers with a robust loss function. Extending our previous approach CFEAR, we present an in-depth investigation on a wider range of data sets, quantifying the importance of filtering, resolution, registration cost and loss functions, keyframe history, and motion compensation. We present a new solving strategy and configuration that overcomes previous issues with sparsity and bias, and improves our state-of-the-art by 38%, thus, surprisingly, outperforming radar SLAM and approaching lidar SLAM. The most accurate configuration achieves 1.09% error at 5Hz on the Oxford benchmark, and the fastest achieves 1.79% error at 160Hz.

确定多个激光痛和相机之间的外在参数对于自主机器人至关重要，尤其是对于固态激光痛，每个LIDAR单元具有很小的视野（FOV）（FOV），并且通常集体使用多个单元。对于360 $^\ circ $机械旋转激光盆，提出了大多数外部校准方法，其中假定FOV与其他LIDAR或相机传感器重叠。很少有研究工作集中在校准小型FOV激光痛和摄像头，也没有提高校准速度。在这项工作中，我们考虑了小型FOV激光痛和相机之间外部校准的问题，目的是缩短总校准时间并进一步提高校准精度。我们首先在LIDAR特征点的提取和匹配中实现自适应体素化技术。这样的过程可以避免在激光痛外校准中冗余创建$ k $ d树，并以比现有方法更可靠和快速提取激光雷达特征点。然后，我们将多个LIDAR外部校准制成LIDAR束调节（BA）问题。通过将成本函数得出最高为二阶，可以进一步提高非线性最小平方问题的求解时间和精度。我们提出的方法已在四个无目标场景和两种类型的固态激光雷达中收集的数据进行了验证，这些扫描模式，密度和FOV完全不同。在八个初始设置下，我们工作的鲁棒性也得到了验证，每个设置包含100个独立试验。与最先进的方法相比，我们的工作提高了激光雷达外部校准的校准速度15倍，激光摄像机外部校准（由50个独立试验产生的平均），同时保持准确，同时保持准确。

本文提出了Kimera-Multi，第一个多机器人系统，（i）是强大的，并且能够识别和拒绝由感知混叠产生的不正确和内部机器人循环闭合，（ii）完全分布，仅依赖于本地（点对点）通信实现分布式本地化和映射，（iii）实时构建环境的全球一致的度量标准三维网状模型，其中网格的面部用语义标签注释。 Kimera-Multi由配备有视觉惯性传感器的机器人团队实现。每个机器人都构建了局部轨迹估计和使用Kimera的本地网格。当通信可用时，机器人基于一种基于新型分布式刻度非凸性算法发起分布式地点识别和鲁棒姿态图优化协议。所提出的协议允许机器人通过利用机器人间循环闭合而鲁棒到异常值来改善其局部轨迹估计。最后，每个机器人使用其改进的轨迹估计来使用网格变形技术来校正本地网格。我们在光逼真模拟，SLAM基准测试数据集中展示了Kimera-Multi，以及使用地机器人收集的靠户外数据集。真实和模拟实验都涉及长轨迹（例如，每个机器人高达800米）。实验表明，在鲁棒性和准确性方面，kimera-multi（i）优于现有技术，（ii）在完全分布的同时实现与集中式大满贯系统相当的估计误差，（iii）在通信带宽方面是显着的（iv）产生精确的公制语义3D网格，并且（v）是模块化的，也可以用于标准3D重建（即，没有语义标签）或轨迹估计（即，不重建3D网格）。

Erroneous feature matches have severe impact on subsequent camera pose estimation and often require additional, time-costly measures, like RANSAC, for outlier rejection. Our method tackles this challenge by addressing feature matching and pose optimization jointly. To this end, we propose a graph attention network to predict image correspondences along with confidence weights. The resulting matches serve as weighted constraints in a differentiable pose estimation. Training feature matching with gradients from pose optimization naturally learns to down-weight outliers and boosts pose estimation on image pairs compared to SuperGlue by 6.7% on ScanNet. At the same time, it reduces the pose estimation time by over 50% and renders RANSAC iterations unnecessary. Moreover, we integrate information from multiple views by spanning the graph across multiple frames to predict the matches all at once. Multi-view matching combined with end-to-end training improves the pose estimation metrics on Matterport3D by 18.8% compared to SuperGlue.

从极端视图图像中恢复相机的空间布局和场景的几何形状是计算机视觉的长期挑战。盛行的3D重建算法通常采用匹配范式的图像，并假定场景的一部分是可以在图像上进行的，当输入之间几乎没有重叠时的性能较差。相比之下，人类可以通过形状的先验知识将一个图像中的可见部分与另一个图像中相应的不可见组件相关联。受这个事实的启发，我们提出了一个名为虚拟通信（VC）的新颖概念。 VC是来自两个图像的一对像素，它们的相机射线在3D中相交。与经典的对应关系相似，VC符合异性几何形状；与经典的信件不同，VC不需要在视图上可以共同提供。因此，即使图像不重叠，也可以建立和利用VC。我们介绍了一种方法，可以在场景中找到基于人类的虚拟对应关系。我们展示了如何与经典捆绑捆绑调整无缝集成的风险投资，以恢复跨极视图的相机姿势。实验表明，在具有挑战性的情况下，我们的方法显着优于最先进的摄像头姿势估计方法，并且在传统的密集捕获的设置中是可比的。我们的方法还释放了多个下游任务的潜力，例如在极端视图场景中从多视图立体声和新型视图合成中进行场景重建。

虚拟网格是在线通信的未来。服装是一个人身份和自我表达的重要组成部分。然而，目前，在培训逼真的布置动画的远程介绍模型的必需分子和准确性中，目前无法使用注册衣服的地面真相数据。在这里，我们提出了一条端到端的管道，用于建造可驱动的服装代表。我们方法的核心是一种多视图图案的布跟踪算法，能够以高精度捕获变形。我们进一步依靠跟踪方法生产的高质量数据来构建服装头像：一件衣服的表达和完全驱动的几何模型。可以使用一组稀疏的视图来对所得模型进行动画，并产生高度逼真的重建，这些重建忠于驾驶信号。我们证明了管道对现实的虚拟电视应用程序的功效，在该应用程序中，从两种视图中重建了衣服，并且用户可以根据自己的意愿进行选择和交换服装设计。此外，当仅通过身体姿势驱动时，我们表现出一个具有挑战性的场景，我们可驾驶的服装Avatar能够生产出比最先进的面包质量明显更高的逼真的布几何形状。

培训和测试监督对象检测模型需要大量带有地面真相标签的图像。标签定义图像中的对象类及其位置，形状以及可能的其他信息，例如姿势。即使存在人力，标签过程也非常耗时。我们引入了一个新的标签工具，用于2D图像以及3D三角网格：3D标记工具（3DLT）。这是一个独立的，功能丰富和跨平台软件，不需要安装，并且可以在Windows，MacOS和基于Linux的发行版上运行。我们不再像当前工具那样在每个图像上分别标记相同的对象，而是使用深度信息从上述图像重建三角形网格，并仅在上述网格上标记一次对象。我们使用注册来简化3D标记，离群值检测来改进2D边界框的计算和表面重建，以将标记可能性扩展到大点云。我们的工具经过最先进的方法测试，并且在保持准确性和易用性的同时，它极大地超过了它们。

使用FASS-MVS，我们提出了一种具有表面感知半全局匹配的快速多视图立体声的方法，其允许从UAV捕获的单眼航空视频数据中快速深度和正常地图估计。反过来，由FASS-MVS估计的数据促进在线3D映射，这意味着在获取或接收到图像数据时立即和递增地生成场景的3D地图。 FASS-MVS由分层处理方案组成，其中深度和正常数据以及相应的置信度分数以粗略的方式估计，允许有效地处理由倾斜图像所固有的大型场景深度低无人机。实际深度估计采用用于致密多图像匹配的平面扫描算法，以产生深度假设，通过表面感知半全局优化来提取实际深度图，从而减少了SGM的正平行偏压。给定估计的深度图，然后通过将深度图映射到点云中并计算狭窄的本地邻域内的普通向量来计算像素 - 方面正常信息。在彻底的定量和消融研究中，我们表明，由FASS-MV计算的3D信息的精度接近离线多视图立体声的最先进方法，误差甚至没有一个幅度而不是科麦。然而，同时，FASS-MVS的平均运行时间估计单个深度和正常地图的距离小于ColMAP的14％，允许在1-中执行全高清图像的在线和增量处理2 Hz。

当将同时映射和本地化（SLAM）调整到现实世界中的应用程序（例如自动驾驶汽车，无人机和增强现实设备）时，其内存足迹和计算成本是限制性能和应用程序范围的两个主要因素。在基于稀疏特征的SLAM算法中，解决此问题的一种有效方法是通过选择可能对本地和全局捆绑捆绑调整（BA）有用的点来限制地图点大小。这项研究提出了用于大量系统中稀疏地图点的有效图优化。具体而言，我们将最大姿势可见度和最大空间多样性问题作为最小成本最大流量图优化问题。提出的方法是现有SLAM系统的附加步骤，因此可以在常规或基于学习的SLAM系统中使用。通过广泛的实验评估，我们证明了所提出的方法以大约1/3的MAP点和1/2的计算实现了更准确的相机姿势。

束调整（BA）是指同时确定传感器姿势和场景几何形状的问题，这是机器人视觉中的一个基本问题。本文为LIDAR传感器提供了一种有效且一致的捆绑捆绑调整方法。该方法采用边缘和平面特征来表示场景几何形状，并直接最大程度地减少从每个原始点到各自几何特征的天然欧几里得距离。该公式的一个不错的属性是几何特征可以在分析上解决，从而大大降低了数值优化的维度。为了更有效地表示和解决最终的优化问题，本文提出了一个新颖的概念{\ it point clusters}，该概念编码了通过一组紧凑的参数集与同一特征相关联的所有原始点，{\ it点群集坐标} 。我们根据点簇坐标得出BA优化的封闭形式的衍生物，并显示其理论属性，例如零空间和稀疏性。基于这些理论结果，本文开发了有效的二阶BA求解器。除了估计LiDAR姿势外，求解器还利用二阶信息来估计测量噪声引起的姿势不确定性，从而导致对LIDAR姿势的一致估计。此外，由于使用点群集的使用，开发的求解器从根本上避免了在优化的所有步骤中列出每个原始点（由于数量大量而非常耗时）：成本评估，衍生品评估和不确定性评估。我们的方法的实施是开源的，以使机器人界及其他地区受益。