运动（ISFM）的增量结构已被广泛用于无人机图像方向。然而，由于顺序约束，其效率大大降低。尽管已经利用了分裂和纠纷策略来提高效率，但集群合并变得困难或取决于认真设计的重叠结构。本文提出了一种算法，以提取群集合并的全局模型，并设计平行的SFM解决方案，以实现有效，准确的无人机图像方向。首先，基于词汇树检索，选择了匹配对来构建一个无方向的加权匹配图，其边缘权重是通过考虑特征匹配的数量和分布来计算的。其次，一种称为加权连接的主导集（WCD）的算法旨在实现匹配图的简化并构建全局模型，该模型将边缘权重结合到图形节点选择中，并实现了全局模型的成功重建。第三，将匹配图同时分为紧凑型和非重叠簇。在平行重建后，借助全局模型和群集模型之间的共同3D点进行聚类合并。最后，通过使用经典倾斜和最新优化视图捕获的三个UAV数据集，通过全面的分析和比较来验证所提出的解决方案的验证。实验结果表明，所提出的平行SFM可以实现提高效率的17.4倍和比较取向精度。在绝对BA中，地理引用精度分别是水平和垂直方向中GSD（接地采样距离）值的2.0倍和3.0倍。对于并行SFM，提出的解决方案是更可靠的替代方案。
translated by 谷歌翻译
无人机已成为广泛使用的遥感平台之一，并在智能城市的建设中发挥了关键作用。但是，由于城市场景中的复杂环境，安全，准确的数据获取为3D建模和场景更新带来了巨大挑战。无人机的最佳轨迹计划和机载摄像机的准确数据收集是城市建模中的非平凡问题。这项研究介绍了优化观点的摄影测量原理，并在大规模3D建模中验证其精度和潜力。与倾斜的摄影测量法不同，优化的视图摄影测量法使用粗糙模型来生成和优化无人机轨迹，这是通过考虑模型点可重构性和视图点冗余性来实现的。基于优化视图的原理摄影测量法，本研究首先通过使用优化视图的无人机图像对3D模型进行精确分析潜在的。通过使用GCP进行图像方向精确分析和TLS（陆地激光扫描）点云进行模型质量分析，实验结果表明，优化的视图摄影测量法可以构建稳定的图像连接网络，并可以达到可比的图像方向准确性。从准确的图像采集策略中受益，网格模型的质量显着提高，尤其是对于严重阻塞的城市地区，在这种城市地区实现了3至5倍的精度。此外，青岛城的案例研究验证了优化视图摄影测量法可能是在复杂的城市场景中大规模3D建模的可靠和强大解决方案。
translated by 谷歌翻译
结构从动作（SFM）旨在根据输入图像之间的对应关系恢复3D场景结构和相机姿势，因此，由重复结构（即具有强视觉相似的不同结构）引起的歧义始终导致摄像头的姿势和不正确的相机姿势3D结构。为了处理歧义，大多数现有研究通过分析两种观察几何或特征点来求助于其他约束信息或隐式推理。在本文中，我们建议利用场景中的高级信息，即本地区域的空间上下文信息，以指导重建。具体而言，提出了一种新颖的结构，即{\ textit {track-community}}，其中每个社区由一组轨道组成，代表场景中的本地段。社区检测算法用于将场景分为几个部分。然后，通过分析轨道的邻域并通过检查姿势一致性来检测潜在的模棱两可的段。最后，我们对每个段进行部分重建，并将它们与新颖的双向一致性成本函数对齐，该函数考虑了3D-3D对应关系和成对相对摄像头的姿势。实验结果表明，我们的方法可以牢固地减轻视觉上无法区分的结构而导致的重建失败，并准确合并部分重建。
translated by 谷歌翻译
Incremental Structure-from-Motion is a prevalent strategy for 3D reconstruction from unordered image collections. While incremental reconstruction systems have tremendously advanced in all regards, robustness, accuracy, completeness, and scalability remain the key problems towards building a truly general-purpose pipeline. We propose a new SfM technique that improves upon the state of the art to make a further step towards this ultimate goal. The full reconstruction pipeline is released to the public as an open-source implementation.
translated by 谷歌翻译
当将同时映射和本地化（SLAM）调整到现实世界中的应用程序（例如自动驾驶汽车，无人机和增强现实设备）时，其内存足迹和计算成本是限制性能和应用程序范围的两个主要因素。在基于稀疏特征的SLAM算法中，解决此问题的一种有效方法是通过选择可能对本地和全局捆绑捆绑调整（BA）有用的点来限制地图点大小。这项研究提出了用于大量系统中稀疏地图点的有效图优化。具体而言，我们将最大姿势可见度和最大空间多样性问题作为最小成本最大流量图优化问题。提出的方法是现有SLAM系统的附加步骤，因此可以在常规或基于学习的SLAM系统中使用。通过广泛的实验评估，我们证明了所提出的方法以大约1/3的MAP点和1/2的计算实现了更准确的相机姿势。
translated by 谷歌翻译
使用FASS-MVS，我们提出了一种具有表面感知半全局匹配的快速多视图立体声的方法，其允许从UAV捕获的单眼航空视频数据中快速深度和正常地图估计。反过来，由FASS-MVS估计的数据促进在线3D映射，这意味着在获取或接收到图像数据时立即和递增地生成场景的3D地图。 FASS-MVS由分层处理方案组成，其中深度和正常数据以及相应的置信度分数以粗略的方式估计，允许有效地处理由倾斜图像所固有的大型场景深度低无人机。实际深度估计采用用于致密多图像匹配的平面扫描算法，以产生深度假设，通过表面感知半全局优化来提取实际深度图，从而减少了SGM的正平行偏压。给定估计的深度图，然后通过将深度图映射到点云中并计算狭窄的本地邻域内的普通向量来计算像素 - 方面正常信息。在彻底的定量和消融研究中，我们表明，由FASS-MV计算的3D信息的精度接近离线多视图立体声的最先进方法，误差甚至没有一个幅度而不是科麦。然而，同时，FASS-MVS的平均运行时间估计单个深度和正常地图的距离小于ColMAP的14％，允许在1-中执行全高清图像的在线和增量处理2 Hz。
translated by 谷歌翻译
我们为来自多视图立体声（MVS）城市场景的3D建筑物的实例分割了一部小说框架。与关注城市场景的语义分割的现有作品不同，即使它们安装在大型和不精确的3D表面模型中，这项工作的重点是检测和分割3D构建实例。通过添加高度图，首先将多视图RGB图像增强到RGBH图像，并且被分段以使用微调的2D实例分割神经网络获得所有屋顶实例。然后将来自不同的多视图图像的屋顶实例掩码被聚集到全局掩码中。我们的面具聚类占空间闭塞和重叠，可以消除多视图图像之间的分割歧义。基于这些全局掩码，3D屋顶实例由掩码背部投影分割，并通过Markov随机字段（MRF）优化扩展到整个建筑实例。定量评估和消融研究表明了该方法的所有主要步骤的有效性。提供了一种用于评估3D建筑模型的实例分割的数据集。据我们所知，它是一个在实例分割级别的3D城市建筑的第一个数据集。
translated by 谷歌翻译
培训和测试监督对象检测模型需要大量带有地面真相标签的图像。标签定义图像中的对象类及其位置，形状以及可能的其他信息，例如姿势。即使存在人力，标签过程也非常耗时。我们引入了一个新的标签工具，用于2D图像以及3D三角网格：3D标记工具（3DLT）。这是一个独立的，功能丰富和跨平台软件，不需要安装，并且可以在Windows，MacOS和基于Linux的发行版上运行。我们不再像当前工具那样在每个图像上分别标记相同的对象，而是使用深度信息从上述图像重建三角形网格，并仅在上述网格上标记一次对象。我们使用注册来简化3D标记，离群值检测来改进2D边界框的计算和表面重建，以将标记可能性扩展到大点云。我们的工具经过最先进的方法测试，并且在保持准确性和易用性的同时，它极大地超过了它们。
translated by 谷歌翻译
我们提出Automerge，这是一种LIDAR数据处理框架，用于将大量地图段组装到完整的地图中。传统的大规模地图合并方法对于错误的数据关联是脆弱的，并且主要仅限于离线工作。 Automerge利用多观点的融合和自适应环路闭合检测来进行准确的数据关联，并且它使用增量合并来从随机顺序给出的单个轨迹段组装大图，没有初始估计。此外，在组装段后，自动制度可以执行良好的匹配和姿势图片优化，以在全球范围内平滑合并的地图。我们展示了城市规模合并（120公里）和校园规模重复合并（4.5公里x 8）的汽车。该实验表明，自动化（i）在段检索中超过了第二和第三最佳方法的14％和24％的召回，（ii）在120 km大尺度地图组件（III）中实现了可比较的3D映射精度，IT对于暂时的重新审视是强大的。据我们所知，Automerge是第一种映射方法，它可以在无GPS的帮助下合并数百公里的单个细分市场。
translated by 谷歌翻译
This paper presents ORB-SLAM, a feature-based monocular SLAM system that operates in real time, in small and large, indoor and outdoor environments. The system is robust to severe motion clutter, allows wide baseline loop closing and relocalization, and includes full automatic initialization. Building on excellent algorithms of recent years, we designed from scratch a novel system that uses the same features for all SLAM tasks: tracking, mapping, relocalization, and loop closing. A survival of the fittest strategy that selects the points and keyframes of the reconstruction leads to excellent robustness and generates a compact and trackable map that only grows if the scene content changes, allowing lifelong operation. We present an exhaustive evaluation in 27 sequences from the most popular datasets. ORB-SLAM achieves unprecedented performance with respect to other state-of-the-art monocular SLAM approaches. For the benefit of the community, we make the source code public.
translated by 谷歌翻译
休眠季节葡萄树修剪需要熟练的季节性工人，这在冬季变得越来越缺乏。随着在短期季节性招聘文化和低工资的短期季节性招聘文化和低工资的时间内，随着工人更少的葡萄藤，葡萄藤往往被修剪不一致地导致葡萄化物不平衡。除此之外，目前现有的机械方法无法选择性地修剪葡萄园和手动后续操作，通常需要进一步提高生产成本。在本文中，我们展示了崎岖，全自治机器人的设计和田间评估，用于休眠季节葡萄园的端到最终修剪。该设计的设计包括新颖的相机系统，运动冗余机械手，地面机器人和在感知系统中的新颖算法。所提出的研究原型机器人系统能够在213秒/葡萄藤中完全从两侧刺激一排藤蔓，总修枝精度为87％。与机械预灌浆试验相比，商业葡萄园中自治系统的初始现场测试显示出休眠季节修剪的显着变化。在手稿中描述了设计方法，系统组件，经验教训，未来增强以及简要的经济分析。
translated by 谷歌翻译
点对特征（PPF）广泛用于6D姿势估计。在本文中，我们提出了一种基于PPF框架的有效的6D姿势估计方法。我们介绍了一个目标良好的下采样策略，该策略更多地集中在边缘区域，以有效地提取复杂的几何形状。提出了一种姿势假设验证方法来通过计算边缘匹配度来解决对称歧义。我们对两个具有挑战性的数据集和一个现实世界中收集的数据集进行评估，这证明了我们方法对姿势估计几何复杂，遮挡，对称对象的优越性。我们通过将其应用于模拟穿刺来进一步验证我们的方法。
translated by 谷歌翻译
拼图解决问题，从一组非重叠的无序视觉碎片构建一个连贯的整体，是许多应用的基础，然而，过去二十年的大部分文献都集中在较不太现实的谜题上正方形。在这里，我们正规化一种新型的拼图拼图，其中碎片是通过用任意数量的直切割的全局多边形/图像切割而产生的一般凸多边形，这是由庆祝的懒人辅助er序列的产生模型。我们分析了这种难题的理论特性，包括在碎片被几何噪声被污染时解决它们的固有挑战。为了应对此类困难并获得易行的解决方案，我们摘要作为一种具有分层循环约束和分层重建过程的多体弹簧质量动态系统的问题。我们定义了评估指标，并在普通植物和图案谜题上呈现实验结果，以表明它们是完全自动溶解的。
translated by 谷歌翻译
束调整（BA）是指同时确定传感器姿势和场景几何形状的问题，这是机器人视觉中的一个基本问题。本文为LIDAR传感器提供了一种有效且一致的捆绑捆绑调整方法。该方法采用边缘和平面特征来表示场景几何形状，并直接最大程度地减少从每个原始点到各自几何特征的天然欧几里得距离。该公式的一个不错的属性是几何特征可以在分析上解决，从而大大降低了数值优化的维度。为了更有效地表示和解决最终的优化问题，本文提出了一个新颖的概念{\ it point clusters}，该概念编码了通过一组紧凑的参数集与同一特征相关联的所有原始点，{\ it点群集坐标} 。我们根据点簇坐标得出BA优化的封闭形式的衍生物，并显示其理论属性，例如零空间和稀疏性。基于这些理论结果，本文开发了有效的二阶BA求解器。除了估计LiDAR姿势外，求解器还利用二阶信息来估计测量噪声引起的姿势不确定性，从而导致对LIDAR姿势的一致估计。此外，由于使用点群集的使用，开发的求解器从根本上避免了在优化的所有步骤中列出每个原始点（由于数量大量而非常耗时）：成本评估，衍生品评估和不确定性评估。我们的方法的实施是开源的，以使机器人界及其他地区受益。
translated by 谷歌翻译
近年来，在平衡（超级）图分配算法的设计和评估中取得了重大进展。我们调查了过去十年的实用算法的趋势，用于平衡（超级）图形分区以及未来的研究方向。我们的工作是对先前有关该主题的调查的更新。特别是，该调查还通过涵盖了超图形分区和流算法来扩展先前的调查，并额外关注并行算法。
translated by 谷歌翻译
本文提出了一种新颖的方法，用于在具有复杂拓扑结构的地下领域的搜索和救援行动中自动合作。作为CTU-Cras-Norlab团队的一部分，拟议的系统在DARPA SubT决赛的虚拟轨道中排名第二。与专门为虚拟轨道开发的获奖解决方案相反，该建议的解决方案也被证明是在现实世界竞争极为严峻和狭窄的环境中飞行的机上实体无人机的强大系统。提出的方法可以使无缝模拟转移的无人机团队完全自主和分散的部署，并证明了其优于不同环境可飞行空间的移动UGV团队的优势。该论文的主要贡献存在于映射和导航管道中。映射方法采用新颖的地图表示形式 - 用于有效的风险意识长距离计划，面向覆盖范围和压缩的拓扑范围的LTVMAP领域，以允许在低频道通信下进行多机器人合作。这些表示形式与新的方法一起在导航中使用，以在一般的3D环境中可见性受限的知情搜索，而对环境结构没有任何假设，同时将深度探索与传感器覆盖的剥削保持平衡。所提出的解决方案还包括一条视觉感知管道，用于在没有专用GPU的情况下在5 Hz处进行四个RGB流中感兴趣的对象的板上检测和定位。除了参与DARPA SubT外，在定性和定量评估的各种环境中，在不同的环境中进行了广泛的实验验证，UAV系统的性能得到了支持。
translated by 谷歌翻译
注册森林环境的点云是精密林业局部激光雷达应用的必要先决条件。最先进的森林点云登记方法需要提取单个树属性，并且在处理具有致密树的真实森林点云时，它们具有效率的瓶颈。我们提出了一种自动，坚固，高效的方法，用于登记森林点云。我们的方法首先定位树从原料点云茎，然后根据他们的相对空间关系确定准变换茎匹配。相较于现有的方法，我们的算法不需要额外的单株属性，具有线性复杂的环境中的树木数量，允许它的大森林环境对齐点云。广泛的实验表明，我们的方法优于关于登记精度和稳健性的最先进的方法，并且在效率方面显着优于现有技术。此外，我们引入一个新的基准数据集，补充的开发和注册方法评价森林点云的极少数现有的开放的数据集。
translated by 谷歌翻译
在本文中，我们考虑了视觉同时定位和映射（SLAM）的实际应用中的问题。随着技术在广泛范围中的普及和应用，SLAM系统的可实用性已成为一个在准确性和鲁棒性之后，例如，如何保持系统的稳定性并实现低文本和低文本和中的准确姿势估计动态环境以及如何在真实场景中改善系统的普遍性和实时性能。动态对象在高度动态的环境中的影响。我们还提出了一种新型的全局灰色相似性（GGS）算法，以实现合理的钥匙扣选择和有效的环闭合检测（LCD）。受益于GGS，PLD-SLAM可以在大多数真实场景中实现实时准确的姿势估计，而无需预先训练和加载巨大的功能词典模型。为了验证拟议系统的性能，我们将其与公共数据集Kitti，Euroc MAV和我们提供的室内立体声数据集的现有最新方法（SOTA）方法进行了比较。实验表明，实验表明PLD-SLAM在大多数情况下确保稳定性和准确性，具有更好的实时性能。此外，通过分析GGS的实验结果，我们可以发现它在关键帧选择和LCD中具有出色的性能。
translated by 谷歌翻译
图像数据集的大小一直在稳步增长，损害了大规模3D重建方法的可行性和效率。在本文中，提出了一种新颖的方法，用于将多视图立体声（MVS）算法扩展到任意大量图像集合。具体而言，重建整个城市的3D模型的问题是针对目标的，从一组配备了多个高分辨率摄像头的移动车辆收购的视频开始。最初，提出的方法利用了姿势和几何形状的大约均匀分布，并构建了一组重叠的簇。然后，为每个群集制定了整数线性编程（ILP）问题，以选择一个最佳的视图子集，以保证可见性和可匹配性。最后，分别计算并合并每个集群的本地点云。由于聚类独立于成对可见性信息，因此所提出的算法运行速度比现有文献更快，并且可以进行大规模的并行化。讨论了对城市数据的广泛测试，以显示该方法的有效性和可扩展性。
translated by 谷歌翻译
来自运动（SFM）技术的结构越来越多地用于从包括环境监测的许多域中的图像中创建3D地图。然而，SFM技术通常在视觉重复环境中被混淆，因为它们依赖于全局不同的图像特征。同时定位和映射（SLAM）技术在视觉重复环境中提供了潜在的解决方案，因为它们使用本地特征匹配，但是SLAM接近最佳地用广角相机，通常不适合记录环境系统的环境系统。我们通过提出双摄像机SLAM方法来解决这个问题，该方法使用前向广角相机进行定位，以及用于文档的向下的面对较窄的角度，高分辨率相机。使用前向相机视频获取的视频帧使用标准的SLAM方法处理，该方法通过环境提供成像系统的轨迹，然后用于指导文档相机图像的登记。随后从文档摄像机图像由单眼摄像机图像产生的零碎地图随后缩放并与定位相机轨迹对齐，最后经过全局优化过程以产生统一的精细地图。具有多种最先进的SFM方法的实验比较显示了基于地面控制点标记的选择样本在重复环境系统中执行的双相机液化方法。
translated by 谷歌翻译