我们提出了一种用于多旋转平均的新型等级方法，称为Hara。我们的方法基于Triplet支持的层次逐渐初始化旋转图。关键的想法是通过利用许多强三联网支持的边缘和逐渐添加具有较弱和更少支持的边缘来构建生成树。这降低了在生成树中添加异常值的风险。因此，我们获得了一个强大的初始解决方案，使我们能够在非线性优化之前过滤异常值。通过更新的修改，我们的方法还可以集成有效的2D-2D对应关系的数量。我们对合成和实际数据集进行广泛的评估，证明了最先进的结果。

This paper proposes a deep recurrent Rotation Averaging Graph Optimizer (RAGO) for Multiple Rotation Averaging (MRA). Conventional optimization-based methods usually fail to produce accurate results due to corrupted and noisy relative measurements. Recent learning-based approaches regard MRA as a regression problem, while these methods are sensitive to initialization due to the gauge freedom problem. To handle these problems, we propose a learnable iterative graph optimizer minimizing a gauge-invariant cost function with an edge rectification strategy to mitigate the effect of inaccurate measurements. Our graph optimizer iteratively refines the global camera rotations by minimizing each node's single rotation objective function. Besides, our approach iteratively rectifies relative rotations to make them more consistent with the current camera orientations and observed relative rotations. Furthermore, we employ a gated recurrent unit to improve the result by tracing the temporal information of the cost graph. Our framework is a real-time learning-to-optimize rotation averaging graph optimizer with a tiny size deployed for real-world applications. RAGO outperforms previous traditional and deep methods on real-world and synthetic datasets. The code is available at https://github.com/sfu-gruvi-3dv/RAGO

变换同步是从给定的一组相对运动中恢复绝对变换的问题。尽管有其有用，但由于嘈杂和异常相对运动的影响，问题仍然具有挑战性，以及模拟分析并抑制它们高保真的难度。在这项工作中，我们避免了手工强大的损失功能，并建议使用图形神经网络（GNN）来学习转换同步。与使用复杂的多阶段管道的先前作品不同，我们使用迭代方法，其中每个步骤由单个重量共享消息传递层组成，通过预测切线空间中的增量更新，从前一个迭代中改进绝对姿势。为了减少异常值的影响，在聚合之前将加权消息。我们的迭代方法减轻了对明确初始化步骤的需求，并使用身份初始姿势进行良好。虽然我们的方法很简单，但我们表明它通过SO（3）和SE（3）同步的实验来对现有的手工和学习的同步方法进行有利的。

我们考虑了一个类别级别的感知问题，其中给定的2D或3D传感器数据描绘了给定类别的对象（例如，汽车），并且必须重建尽管级别的可变性，但必须重建对象的3D姿势和形状（即，不同的汽车模型具有不同的形状）。我们考虑了一个主动形状模型，其中 - 对于对象类别 - 我们获得了一个潜在的CAD模型库，描述该类别中的对象，我们采用了标准公式，其中姿势和形状是通过非非2D或3D关键点估算的-convex优化。我们的第一个贡献是开发PACE3D*和PACE2D*，这是第一个使用3D和2D关键点进行姿势和形状估计的最佳最佳求解器。这两个求解器都依赖于紧密（即精确）半决赛的设计。我们的第二个贡献是开发两个求解器的异常刺激版本，命名为PACE3D＃和PACE2D＃。为了实现这一目标，我们提出了Robin，Robin是一种一般的图理论框架来修剪异常值，该框架使用兼容性超图来建模测量的兼容性。我们表明，在类别级别的感知问题中，这些超图可以是通过关键点（以2D）或其凸壳（以3D为单位）构建的，并且可以通过最大的超级计算来修剪许多异常值。最后的贡献是广泛的实验评估。除了在模拟数据集和Pascal数据集上提供消融研究外，我们还将求解器与深关键点检测器相结合，并证明PACE3D＃在Apolloscape数据集中在车辆姿势估算中改进了最新技术，并且其运行时间是兼容的使用实际应用。

This paper presents ORB-SLAM, a feature-based monocular SLAM system that operates in real time, in small and large, indoor and outdoor environments. The system is robust to severe motion clutter, allows wide baseline loop closing and relocalization, and includes full automatic initialization. Building on excellent algorithms of recent years, we designed from scratch a novel system that uses the same features for all SLAM tasks: tracking, mapping, relocalization, and loop closing. A survival of the fittest strategy that selects the points and keyframes of the reconstruction leads to excellent robustness and generates a compact and trackable map that only grows if the scene content changes, allowing lifelong operation. We present an exhaustive evaluation in 27 sequences from the most popular datasets. ORB-SLAM achieves unprecedented performance with respect to other state-of-the-art monocular SLAM approaches. For the benefit of the community, we make the source code public.

One of the main limitations of the commonly used Absolute Trajectory Error (ATE) is that it is highly sensitive to outliers. As a result, in the presence of just a few outliers, it often fails to reflect the varying accuracy as the inlier trajectory error or the number of outliers varies. In this work, we propose an alternative error metric for evaluating the accuracy of the reconstructed camera trajectory. Our metric, named Discernible Trajectory Error (DTE), is computed in four steps: (1) Shift the ground-truth and estimated trajectories such that both of their geometric medians are located at the origin. (2) Rotate the estimated trajectory such that it minimizes the sum of geodesic distances between the corresponding camera orientations. (3) Scale the estimated trajectory such that the median distance of the cameras to their geometric median is the same as that of the ground truth. (4) Compute the distances between the corresponding cameras, and obtain the DTE by taking the average of the mean and root-mean-square (RMS) distance. This metric is an attractive alternative to the ATE, in that it is capable of discerning the varying trajectory accuracy as the inlier trajectory error or the number of outliers varies. Using the similar idea, we also propose a novel rotation error metric, named Discernible Rotation Error (DRE), which has similar advantages to the DTE. Furthermore, we propose a simple yet effective method for calibrating the camera-to-marker rotation, which is needed for the computation of our metrics. Our methods are verified through extensive simulations.

3D点云登记在遥感，摄影测量，机器人和几何计算机视觉中排名最基本的问题。由于3D特征匹配技术的准确性有限，因此可能存在异常值，有时即使在非常大的数字中，则在该对应中也是如此。由于现有的强大的求解器可能会遇到高计算成本或限制性的稳健性，因此我们提出了一种名为VoCra（具有成本函数和旋转平均的投票的新颖，快速，高度强大的解决方案，为极端异常率的点云注册问题。我们的第一款贡献是聘请Tukey的双重强大的成本来引入新的投票和对应分类技术，这证明是在异常值中区分真正的入世性，即使是极端（99％）的异常率。我们的第二次贡献包括基于强大的旋转平均设计时效的共识最大化范例，用于在通信中寻求Inlier候选人。最后，我们使用Tukey的Biweight（GNC-TB）应用毕业的非凸性，以估计所获得的Inlier候选者的正确变换，然后使用它来找到完整的Inlier集。进行了应用于两个实体数据问题的标准基准和现实实验，并且我们表明我们的求解器VORCA对超过99％的异常值较高，而且比最先进的竞争对手更多的时间效率。

我们提出了一种新型的二次编程公式，用于估计群体同步中的损坏水平，并使用这些估计来解决此问题。我们的目标函数利用了组的循环一致性，因此我们将我们的方法称为结构一致性（DESC）的检测和估计。该一般框架可以扩展到其他代数和几何结构。我们的表述具有以下优势：它可以忍受与信息理论界限一样高的腐败，它不需要对小组元素的估计值进行良好的初始化，它具有简单的解释，在某些温和的条件下，我们的全球最小值目标函数准确恢复了腐败水平。我们证明了方法在旋转平均的合成和真实数据实验上的竞争精度。

作为解决多视图注册问题的有效算法，已经对运动平均（MA）算法进行了广泛的研究，并引入了许多基于MA的算法。他们旨在从相对动作中恢复全球动作，并利用信息冗余到平均累积错误。但是，这些方法的一个属性是，它们使用ugas-newton方法来解决最小二乘问题以增加全球运动的增加，这可能会导致效率低下，并且对异常值的稳健性差。在本文中，我们提出了一个新的运动平均框架，用于使用Laplacian基于Laplacian的最大Correntropy Criterion（LMCC）进行多视图注册。利用Lie代数运动框架和CorrentRopy量度，我们提出了一种新的成本函数，该功能应考虑相对动作提供的所有约束。获得用于纠正全局动作的增量，可以进一步提出为旨在最大化成本函数的优化问题。凭借二次技术，可以通过分为两个子问题来解决优化问题，即根据当前残差计算每个相对运动的重量，并解决二阶锥体程序问题（SOCP）以增加下一个迭代。我们还提供了一种新的策略来确定内核宽度，以确保我们的方法可以有效利用许多异常值的相对运动提供的信息冗余。最后，我们将提出的方法与其他基于MA的多视图注册方法进行比较，以验证其性能。关于合成和实际数据的实验测试表明，我们的方法在效率，准确性和鲁棒性方面取得了卓越的性能。

本文提出了Kimera-Multi，第一个多机器人系统，（i）是强大的，并且能够识别和拒绝由感知混叠产生的不正确和内部机器人循环闭合，（ii）完全分布，仅依赖于本地（点对点）通信实现分布式本地化和映射，（iii）实时构建环境的全球一致的度量标准三维网状模型，其中网格的面部用语义标签注释。 Kimera-Multi由配备有视觉惯性传感器的机器人团队实现。每个机器人都构建了局部轨迹估计和使用Kimera的本地网格。当通信可用时，机器人基于一种基于新型分布式刻度非凸性算法发起分布式地点识别和鲁棒姿态图优化协议。所提出的协议允许机器人通过利用机器人间循环闭合而鲁棒到异常值来改善其局部轨迹估计。最后，每个机器人使用其改进的轨迹估计来使用网格变形技术来校正本地网格。我们在光逼真模拟，SLAM基准测试数据集中展示了Kimera-Multi，以及使用地机器人收集的靠户外数据集。真实和模拟实验都涉及长轨迹（例如，每个机器人高达800米）。实验表明，在鲁棒性和准确性方面，kimera-multi（i）优于现有技术，（ii）在完全分布的同时实现与集中式大满贯系统相当的估计误差，（iii）在通信带宽方面是显着的（iv）产生精确的公制语义3D网格，并且（v）是模块化的，也可以用于标准3D重建（即，没有语义标签）或轨迹估计（即，不重建3D网格）。

结构从动作（SFM）旨在根据输入图像之间的对应关系恢复3D场景结构和相机姿势，因此，由重复结构（即具有强视觉相似的不同结构）引起的歧义始终导致摄像头的姿势和不正确的相机姿势3D结构。为了处理歧义，大多数现有研究通过分析两种观察几何或特征点来求助于其他约束信息或隐式推理。在本文中，我们建议利用场景中的高级信息，即本地区域的空间上下文信息，以指导重建。具体而言，提出了一种新颖的结构，即{\ textit {track-community}}，其中每个社区由一组轨道组成，代表场景中的本地段。社区检测算法用于将场景分为几个部分。然后，通过分析轨道的邻域并通过检查姿势一致性来检测潜在的模棱两可的段。最后，我们对每个段进行部分重建，并将它们与新颖的双向一致性成本函数对齐，该函数考虑了3D-3D对应关系和成对相对摄像头的姿势。实验结果表明，我们的方法可以牢固地减轻视觉上无法区分的结构而导致的重建失败，并准确合并部分重建。

相机的估计与一组图像相关联的估计通常取决于图像之间的特征匹配。相比之下，我们是第一个通过使用对象区域来指导姿势估计问题而不是显式语义对象检测来应对这一挑战的人。我们提出了姿势炼油机网络（PosErnet），一个轻量级的图形神经网络，以完善近似的成对相对摄像头姿势。posernet利用对象区域之间的关联（简洁地表示为边界框），跨越了多个视图到全球完善的稀疏连接的视图图。我们在不同尺寸的图表上评估了7个尺寸的数据集，并展示了该过程如何有益于基于优化的运动平均算法，从而相对于基于边界框获得的初始估计，将旋转的中值误差提高了62度。代码和数据可在https://github.com/iit-pavis/posernet上找到。

我们为平面姿势图优化提供了一个强大的框架，该框架被环闭合离群值污染。我们的框架首先将截短的最小二乘内核包裹的强大的PGO问题拒绝了异常值，从而拒绝了异常值。然后，该框架引入了线性角度表示，以重写最初用旋转矩阵配制的第一个子问题。该框架配置为渐变的非凸度（GNC）算法，以连续解决两个非凸子问题，而无需初始猜测。得益于两个子问题的线性属性，我们的框架只需要线性求解器才能最佳地解决GNC中遇到的优化问题。我们在平面PGO基准中广泛验证了所提出的框架，称为Degnc-Laf（脱钩的非跨性别量均具有线性角度公式）。事实证明，它比标准和通用GNC的速度显着（有时达到30倍以上），同时导致高质量的估计值。

姿势图优化是在机器人感知的许多领域遇到的非凸优化问题。它的收敛到准确的解决方案由两个因素来调节：使用成本函数的非线性和姿势变量的初始配置。在本文中，我们提出了Hipe，这是一种用于姿势图初始化的新型分层算法。我们的方法利用了一个粗粒图，该图编码了问题几何形状的抽象表示。我们通过结合来自输入本地区域的最大似然估计来构建此图。通过利用这种表示的稀疏性，我们可以以非线性方式初始化姿势图，而无需与现有方法相比，没有计算开销。最终的初始猜测可以有效地引导用于获得最终解决方案的细粒优化。此外，我们对不同成本函数对最终估计的影响进行了经验分析。我们的实验评估表明，HIPE的使用导致更有效，更健壮的优化过程，与最先进的方法相比。

我们开发了从运动管道的结构中恢复损坏的keypoint匹配的新统计信息。统计信息基于Keypoint匹配图的群集结构中出现的一致性约束。统计数据旨在为损坏的匹配和未损坏的匹配提供较小的值。这些新统计数据与迭代重新重量方案相结合以过滤关键点，然后可以将其从运动管道馈送到任何标准结构中。可以有效地实现该滤波方法并将其缩放到大规模的数据集，因为它仅需要稀疏矩阵乘法。我们展示了这种方法对来自运动数据集的合成和实际结构的功效，并表明它在这些任务中实现了最先进的准确性和速度。

In recent years, aerial swarm technology has developed rapidly. In order to accomplish a fully autonomous aerial swarm, a key technology is decentralized and distributed collaborative SLAM (CSLAM) for aerial swarms, which estimates the relative pose and the consistent global trajectories. In this paper, we propose $D^2$SLAM: a decentralized and distributed ($D^2$) collaborative SLAM algorithm. This algorithm has high local accuracy and global consistency, and the distributed architecture allows it to scale up. $D^2$SLAM covers swarm state estimation in two scenarios: near-field state estimation for high real-time accuracy at close range and far-field state estimation for globally consistent trajectories estimation at the long-range between UAVs. Distributed optimization algorithms are adopted as the backend to achieve the $D^2$ goal. $D^2$SLAM is robust to transient loss of communication, network delays, and other factors. Thanks to the flexible architecture, $D^2$SLAM has the potential of applying in various scenarios.

我们提出了算法贡献，可提高在异常值影响的几何回归问题中稳健的修剪效率。该方法在很大程度上依赖于快速排序算法，我们提出了两个重要的见解。首先，部分排序足以进行x-TheThepile值的增量计算。其次，线性拟合问题中的正常方程可能会通过在排序过程中跨x-TheStile边界上记录交换操作来逐渐更新。除了线性拟合问题外，我们还展示了如何将技术额外应用于封闭形式的非线性能量最小化问题，从而在几何最佳目标下实现有效的修剪拟合。我们将方法应用于两种不同的摄像机切除算法，并展示了高效和可靠的几何修剪拟合。

A monocular visual-inertial system (VINS), consisting of a camera and a low-cost inertial measurement unit (IMU), forms the minimum sensor suite for metric six degreesof-freedom (DOF) state estimation. However, the lack of direct distance measurement poses significant challenges in terms of IMU processing, estimator initialization, extrinsic calibration, and nonlinear optimization. In this work, we present VINS-Mono: a robust and versatile monocular visual-inertial state estimator. Our approach starts with a robust procedure for estimator initialization and failure recovery. A tightly-coupled, nonlinear optimization-based method is used to obtain high accuracy visual-inertial odometry by fusing pre-integrated IMU measurements and feature observations. A loop detection module, in combination with our tightly-coupled formulation, enables relocalization with minimum computation overhead. We additionally perform four degrees-of-freedom pose graph optimization to enforce global consistency. We validate the performance of our system on public datasets and real-world experiments and compare against other state-of-the-art algorithms. We also perform onboard closed-loop autonomous flight on the MAV platform and port the algorithm to an iOS-based demonstration. We highlight that the proposed work is a reliable, complete, and versatile system that is applicable for different applications that require high accuracy localization. We open source our implementations for both PCs 1 and iOS mobile devices 2 .

我们提出了一种新颖的有效方法，用于通过几何拓扑来解决全球点云注册问题。基于许多点云成对注册方法（例如ICP），我们关注沿任何循环的转换组成的累积误差问题。本文的主要技术贡献是仅使用泊松方程式消除错误的线性方法。我们从Hodge-Helmhotz分解定理和在现实世界场景的多个RGBD数据集中进行了实验，证明了我们方法的一致性。实验结果还表明，我们的全球注册方法运行迅速并提供准确的重建。

We present a method for solving two minimal problems for relative camera pose estimation from three views, which are based on three view correspondences of i) three points and one line and the novel case of ii) three points and two lines through two of the points. These problems are too difficult to be efficiently solved by the state of the art Groebner basis methods. Our method is based on a new efficient homotopy continuation (HC) solver framework MINUS, which dramatically speeds up previous HC solving by specializing HC methods to generic cases of our problems. We characterize their number of solutions and show with simulated experiments that our solvers are numerically robust and stable under image noise, a key contribution given the borderline intractable degree of nonlinearity of trinocular constraints. We show in real experiments that i) SIFT feature location and orientation provide good enough point-and-line correspondences for three-view reconstruction and ii) that we can solve difficult cases with too few or too noisy tentative matches, where the state of the art structure from motion initialization fails.