用快速自动驾驶汽车导航越野，取决于强大的感知系统，该系统与不可传输的地形区分开来。通常，这取决于语义理解，该语义理解基于人类专家注释的图像的监督学习。这需要对人类时间进行大量投资，假定正确的专家分类，并且小细节可能导致错误分类。为了应对这些挑战，我们提出了一种方法，可以以一种自我监督的方式从过去的车辆体验中预测高风险的地形。首先，我们开发了一种将车辆轨迹投射到前摄像头图像中的工具。其次，在地形的3D表示中的遮挡被过滤掉。第三，在蒙面车辆轨迹区域训练的自动编码器根据重建误差确定低风险和高风险地形。我们通过两种型号和不同的瓶颈评估了我们的方法，并使用了两个不同的训练站点和四轮越野车。与来自类似地形的两个独立的语义标签的独立测试集比较，表明能够将地面作为低风险和植被为高风险，精度为81.1％和85.1％。
translated by 谷歌翻译
估计越野环境中的地形横穿性需要关于机器人和这些地形之间复杂相互作用动态的推理。但是，建立准确的物理模型，或创建有益的标签来以有监督的方式学习模型是有挑战性的。我们提出了一种方法，该方法通过将外部感受性的环境信息与本体感受性的地形相互作用反馈相结合，以自我监督的方式将遍历性成本映像结合在一起。此外，我们提出了一种将机器人速度纳入Costmap预测管道中的新型方法。我们在具有挑战性的越野地形上，在多个大型，自动的全地形车辆（ATV）上验证了我们的方法，并在单独的大型地面机器人上易于集成。我们的短尺寸导航结果表明，使用我们学到的Costmaps可以使整体航行更顺畅，并为机器人提供了对机器人与不同地形类型（例如草和砾石）之间相互作用的更细粒度的了解。我们的大规模导航试验表明，与基于占用率的导航基线相比，我们可以将干预措施的数量减少多达57％，这是在挑战400 m至3150 m不等的越野课程中。
translated by 谷歌翻译
我们提出了地形遍历映射（TTM），是一个非结构化环境中自主挖掘机的地形推动性估算和路径规划的实时映射方法。我们提出了一种高效的基于学习的几何方法，可以从RGB图像和3D PointClouds中提取地形特征，并将它们纳入全球地图以进行自主挖掘的规划和导航。我们的方法使用了挖掘机的物理特性，包括最大攀爬程度和其他机器规格，以确定可遍历的区域。我们的方法可以适应更改环境并实时更新地形信息。此外，我们准备了一个小说数据集，自主挖掘机地形（AET）数据集，由来自施工站点的RGB图像，根据导航性，七个类别。我们将我们的映射方法与自动挖掘机导航系统中的规划和控制模块集成在一起，这在基于现有规划计划的成功率方面优于前面的方法49.3％。通过我们的映射，挖掘机可以通过由深坑，陡峭的山丘，岩石桩和其他复杂地形特征的非结构化环境导航。
translated by 谷歌翻译
对于与行人一起运行的移动机器人，对地面基础设施（例如道路和街道交叉路口）进行了牢固的分类。尽管许多语义分割数据集可用于自动驾驶汽车，但在此类数据集中训练的模型在部署在行人空间中的机器人上时表现出较大的域间隙。从行人角度录制的手动注释图像既昂贵又耗时。为了克服这一挑战，我们提出了TrackletMapper，这是一个注释地面类型的框架，例如人行道，道路和街道交叉点，而无需进行人类注销的数据。为此，我们将机器人自我trajectory和其他交通参与者的路径投射到自我视图相机图像中，为多种类型的接地表面创建稀疏的语义注释，从中可以从中训练地面分段模型。我们进一步表明，该模型可以通过汇总地面图并将其投影到相机图像中，从而自行启动，从而获得额外的性能优势，从而与稀疏的踪迹注释相比，创建了一组密集的训练注释。我们在定性和定量上证明了我们在一个新型的大型数据集上，用于在行人区域运营的移动机器人。代码和数据集将在http://trackletmapper.cs.uni-freiburg.de上提供。
translated by 谷歌翻译
机器人车使用成本图来规划无碰撞路径。与地图中的每个单元相关的成本表示感知的环境信息，这些信息通常是在经过几次反复试验后手动确定的。在越野环境中，由于存在几种类型的功能，将与每个功能相关的成本值进行手工制作是挑战。此外，不同手工制作的成本值可以导致相同环境的不同路径，而不可取的环境。在本文中，我们解决了从感知的稳健车辆路径计划中学习成本图值的问题。我们使用深度学习方法提出了一个名为“骆驼”的新颖框架，该方法通过演示来学习参数，从而为路径规划提供适应性和强大的成本图。骆驼已接受过多模式数据集的培训，例如Rellis-3D。骆驼的评估是在越野场景模拟器（MAV）和IISER-B校园的现场数据上进行的。我们还在地面流动站上执行了骆驼的现实实施。结果表明，在非结构化的地形上没有碰撞的情况下，车辆的灵活而强大的运动。
translated by 谷歌翻译
为了在非结构化环境中安全，成功地导航自动驾驶汽车，地形的穿越性应根据车辆的驾驶能力而变化。实际的驾驶经验可以以自我监督的方式使用来学习特定的轨迹。但是，现有的学习自我监督的方法对于学习各种车辆的遍历性并不可扩展。在这项工作中，我们引入了一个可扩展的框架，用于学习自我监督的遍历性，该框架可以直接从车辆 - 泰林的互动中学习遍历性，而无需任何人类监督。我们训练一个神经网络，该神经网络可以预测车辆从3D点云中经历的本体感受体验。使用一种新颖的PU学习方法，网络同时确定了不可转化的区域，其中估计可以过度自信。通过从模拟和现实世界中收集的各种车辆的驾驶数据，我们表明我们的框架能够学习各种车辆的自我监督的越野性。通过将我们的框架与模型预测控制器整合在一起，我们证明了估计的遍历性会导致有效的导航，从而根据车辆的驾驶特性实现了不同的操作。此外，实验结果验证了我们方法识别和避免不可转化区域的能力。
translated by 谷歌翻译
休眠季节葡萄树修剪需要熟练的季节性工人，这在冬季变得越来越缺乏。随着在短期季节性招聘文化和低工资的短期季节性招聘文化和低工资的时间内，随着工人更少的葡萄藤，葡萄藤往往被修剪不一致地导致葡萄化物不平衡。除此之外，目前现有的机械方法无法选择性地修剪葡萄园和手动后续操作，通常需要进一步提高生产成本。在本文中，我们展示了崎岖，全自治机器人的设计和田间评估，用于休眠季节葡萄园的端到最终修剪。该设计的设计包括新颖的相机系统，运动冗余机械手，地面机器人和在感知系统中的新颖算法。所提出的研究原型机器人系统能够在213秒/葡萄藤中完全从两侧刺激一排藤蔓，总修枝精度为87％。与机械预灌浆试验相比，商业葡萄园中自治系统的初始现场测试显示出休眠季节修剪的显着变化。在手稿中描述了设计方法，系统组件，经验教训，未来增强以及简要的经济分析。
translated by 谷歌翻译
自动驾驶的车辆和自动地面机器人需要一种可靠，准确的方法来分析周围环境的遍历以进行安全导航。本文提出并评估了一种基于机器学习的遍历性分析方法，该方法将基于SVM分类器的混合方法中的几何特征与基于外观的特征相结合。特别是，我们表明，整合一组新的几何和视觉特征并专注于重要的实施细节，可以显着提高性能和可靠性。已提出的方法已与最先进的深度学习方法进行了比较。在不同的复杂性方面，它的准确性为89.2％，表明其有效性和鲁棒性。该方法在CPU上完全运行，并在其他方法方面达到可比的结果，运行速度更快，并且需要更少的硬件资源。
translated by 谷歌翻译
准确和完整的地形图提高了自主机器人的意识，并实现了安全和最佳的路径规划。岩石和地形通常会产生闭塞，并导致数字高度地图（DEM）中缺少高程信息。目前，在运动规划期间完全避免了这些遮挡区域，或者在使用传统的插值，扩散或补丁匹配技术中填写高程地图中缺失的值。这些方法不能利用高级地形特征和我们人类直观地使用的视线的几何约束来预测被遮挡区域。我们介绍了一种能够对现实世界数据进行培训的自我监督的学习方法，无需了解DEMS中的遮挡区域。我们通过表演光线铸件将人工遮挡添加到真实机器人上的不完整高度地图来实现这一点。我们首先评估我们在综合性数据上进行监督的学习方法，我们拥有完整的地面真相，随后移动到几个真实的数据集。这些现实世界数据集在具有腿机器人的结构化和非结构化地形的探索期间记录，并且另外在月球模拟地形的行星场景中。与合成地形和真实世界数据集的基线方法相比，我们陈述了重大改进。我们的神经网络能够在CPU和GPU上实时运行，具有适当的自主地机器人的采样率。我们激励重建闭塞在高程地图中的适用性与初步运动规划实验。
translated by 谷歌翻译
我们提出了Terrapn，这是一种新颖的方法，它可以通过自我监督的学习直接从机器人 - 泰林相互作用中了解复杂室外地形的表面特性（牵引力，颠簸，可变形等），并将其用于自动驾驶机器人导航。我们的方法使用地形表面和机器人的速度的RGB图像作为输入，以及机器人作为自我选择的标签所经历的IMU振动和探测错误。我们的方法计算了一个表面成本图，该图将平滑，高吸收表面（低导航成本）与颠簸，滑水，可变形表面（高导航成本）区分开。我们通过检测表面之间的边界来计算从输入RGB图像的非均匀采样贴片来计算成本图，从而与均匀的采样和现有分割方法相比，导致推理时间较低（低47.27％）。我们提出了一种新颖的导航算法，该算法可以说明表面成本，计算机器人的基于成本的加速度限制以及动态可行的无碰撞轨迹。 Terrapn的表面成本预测可以在约25分钟内进行五个不同的表面进行训练，而先前基于学习的分割方法数小时。在导航方面，我们的方法在成功率（高达35.84％），轨迹的振动成本（降低21.52％）方面优于先前的工作，并在颠簸，可变形的表面上放慢机器人（最高46.76％）在不同的情况下较慢）。
translated by 谷歌翻译
2022-03-22
我们提出了一种自我监督的方法，用于预测需要良好牵引力才能导航的轮式移动机器人的可穿越路径。我们的算法称为Wayfast（无路线自动驾驶系统用于遍历性），使用RGB和深度数据以及导航经验，自主在室外非结构化环境中自主生成可遍历的路径。我们的主要灵感是，可以使用动力动力学模型估算滚动机器人的牵引力。使用在线退化的视野估计器提供的牵引力估计值，我们能够以自我监督的方式训练遍历性预测神经网络，而无需以前的方法使用的启发式方法。我们通过在各种环境中进行广泛的现场测试来证明Wayfast的有效性，从沙滩到森林檐篷和积雪覆盖的草田不等。我们的结果清楚地表明，Wayfast可以学会避免几何障碍物以及不可传输的地形，例如雪，这很难避免使用仅提供几何数据（例如LiDAR）的传感器。此外，我们表明，基于在线牵引力估计的培训管道比其他基于启发式的方法更有效率。
translated by 谷歌翻译
森林中自主冬季导航所固有的挑战包括缺乏可靠的全球导航卫星系统（GNSS）信号，低特征对比度，高照明变化和变化环境。这种类型的越野环境是一个极端的情况，自治车可能会在北部地区遇到。因此，了解对自动导航系统对这种恶劣环境的影响非常重要。为此，我们介绍了一个现场报告分析亚曲率区域中的教导和重复导航，同时受到气象条件的大变化。首先，我们描述了系统，它依赖于点云注册来通过北方林地定位移动机器人，同时构建地图。我们通过在教学和重复模式下在自动导航中进行了在实验中评估了该系统。我们展示了密集的植被扰乱了GNSS信号，使其不适合在森林径中导航。此外，我们突出了在森林走廊中使用点云登记的定位相关的不确定性。我们证明它不是雪降水，而是影响我们系统在环境中定位的能力的积雪。最后，我们从我们的实地运动中揭示了一些经验教训和挑战，以支持在冬季条件下更好的实验工作。
translated by 谷歌翻译
2022-06-16
我们提出了一种基于学习的方法，以通过穿越城市环境的移动机器人来重建当地地形进行机车。使用板载摄像头和机器人轨迹的深度测量流，该算法估计机器人附近的地形。这些相机的原始测量值嘈杂，仅提供部分和遮挡的观察结果，在许多情况下，这些观察结果并未显示机器人所占据的地形。因此，我们提出了一个3D重建模型，该模型忠实地重建了场景，尽管嘈杂的测量和大量丢失的数据来自相机布置的盲点。该模型由点云上的4D完全卷积网络组成，该网络学习了几何先验，以从上下文中完成场景和自动回归反馈，以利用时空的一致性并使用过去的证据。该网络只能通过合成数据对网络进行训练，并且由于广泛的增强，它在现实世界中是强大的，如四足机器人（Anymal）验证中所示，Anymal，遍历具有挑战性的设置。我们使用有效的稀疏张量实现在机器人的机载低功率计算机上运行管道，并表明所提出的方法的表现优于经典地图表示。
translated by 谷歌翻译
在共同的自主权下，轮椅用户期望车辆在遵循用户高级导航计划的同时提供安全舒适的游乐设施。为了找到这样的道路，车辆与不同的地形进行谈判，并评估其遍历难度。大多数先前的作品通过几何表示或语义分类进行了模型，这并不能反映在下游导航任务中感知的运动强度和骑行舒适性。我们建议使用本体感知感应在遍历性分析中明确对骑行舒适度进行建模。我们开发了一个自我监督的学习框架，以通过利用车辆状态作为训练信号来预测第一人称视图图像的遍历性成本量。我们的方法估计，如果根据地形外观进行遍历，车辆的感觉会如何。然后，我们显示我们的导航系统通过机器人实验以及人类评估研究提供了人类偏爱的骑行舒适性。
translated by 谷歌翻译
Our dataset provides dense annotations for each scan of all sequences from the KITTI Odometry Benchmark [19]. Here, we show multiple scans aggregated using pose information estimated by a SLAM approach.
translated by 谷歌翻译
本文介绍了一种估计植物部件的覆盖路径的可推动性并通过它们用于在富含植物环境中运行的移动机器人的植物部件的迁移性。传统的移动机器人依赖于场景识别方法，其仅考虑环境的几何信息。因此，这些方法不能在柔性植物覆盖时识别出可遍历的路径。在本文中，我们提出了一种基于图像的场景识别的新框架，以实现这种富有的植物环境中的导航。我们的识别模型利用用于通用对象分类的语义分割分支和用于估计像素 - 方向遍历的遍历性估计分支。使用无监督域适配方法训练语义分割分支，并且遍历估计分支的训练，其中在数据获取阶段期间从机器人的遍历经验中产生的标签图像训练，被卷曲的拖拉性掩码。因此，整个模型的培训程序免于手动注释。在我们的实验中，我们表明，所提出的识别框架能够更准确地将可遍历的植物与具有遍历植物和不可遍历的工厂类的传统语义分段进行区分，以及现有的基于图像的可移动性估计方法。我们还进行了一个真实的实验，并确认了具有所提出的识别方法的机器人在富有植物的环境中成功导航。
translated by 谷歌翻译
在本报告中，我们提出了在哥斯达黎加太平洋架子和圣托里尼 - Kolumbo Caldera Complex中，在寻找寿命中的寻找寿命任务中的自主海洋机器人技术协调，操作策略和结果。它作为可能存在于海洋超越地球的环境中的类似物。本报告侧重于ROV操纵器操作的自动化，用于从海底获取有针对性的生物样品收集和返回的。在未来的外星勘查任务到海洋世界的背景下，ROV是一个模拟的行星着陆器，必须能够有能力的高水平自主权。我们的田间试验涉及两个水下车辆，冰（Nui）杂交ROV的两个水下车辆（即，龙眼或自主）任务，都配备了7-DOF液压机械手。我们描述了一种适应性，硬件无关的计算机视觉架构，可实现高级自动化操作。 Vision系统提供了对工作空间的3D理解，以便在复杂的非结构化环境中通知操纵器运动计划。我们展示了视觉系统和控制框架通过越来越具有挑战性的环境中的现场试验的有效性，包括来自活性Undersea火山，Kolumbo内的自动收集和生物样品的回报。根据我们在该领域的经验，我们讨论了我们的系统的表现，并确定了未来研究的有希望的指示。
translated by 谷歌翻译
本文介绍了在线本地化和彩色网格重建（OLCMR）ROS感知体系结构，用于地面探索机器人，旨在在具有挑战性的未知环境中执行强大的同时定位和映射（SLAM），并实时提供相关的彩色3D网格表示。它旨在被远程人类操作员使用在任务或之后或之后轻松地可视化映射的环境，或作为在勘探机器人技术领域进行进一步研究的开发基础。该体系结构主要由精心挑选的基于激光雷达的SLAM算法的开源ROS实现以及使用点云和RGB摄像机图像投影到3D空间中的彩色表面重建过程。在较新的大学手持式LIDAR-VISION参考数据集上评估了整体表演，并在分别在城市和乡村户外环境中分别在代表性的车轮机器人上收集的两个实验轨迹。索引术语：现场机器人，映射，猛击，彩色表面重建
translated by 谷歌翻译
机器人导航传统上依赖于构建用于计划无碰撞轨迹的显式映射到所需的目标。在可变形的复杂地形中，使用基于几何的方法可以不能找到由于错误的可变形物体而像刚性和不可能的那样的路径。相反，我们学习预测地形区域的可迁移性以及更喜欢更容易导航的区域的估计（例如，小草上的小灌木）。与规范动态模型相比，我们而不是预测碰撞，而不是在实现的错误上回归。我们用一个政策方法训练，导致使用跨模拟和现实世界的培训数据分裂的50分钟的成功导航政策。我们基于学习的导航系统是一个示例高效的短期计划，我们在通过包括草原和森林的各种地形导航的清晰路径哈士摩克
translated by 谷歌翻译
正在为军事和商业用途开发越野自动驾驶的无人接地车辆（UGV），以在偏远地区提供关键的供应，帮助绘制和监视，并在有争议的环境中协助战争战士。由于越野环境的复杂性以及地形，照明条件，昼夜和季节性变化的变化，用于感知环境的模型必须处理大量的输入可变性。当前的数据集用于训练越野自动导航的感知模型在季节，位置，语义类别以及一天中的时间中缺乏多样性。我们测试了以下假设：由于输入分布漂移，在单个数据集上训练的模型可能无法推广到其他越野导航数据集和新位置。此外，我们研究了如何组合多个数据集来训练基于语义分割的环境感知模型，并表明训练模型以捕获不确定性可以通过显着的余量提高模型性能。我们将蒙版的方法扩展到语义分割任务中的不确定性量化方法，并将其与蒙特卡洛辍学和标准基线进行比较。最后，我们测试了在新测试环境中从UGV平台收集的数据的方法。我们表明，具有不确定性量化的开发的感知模型可以在UGV上可用，以支持在线感知和导航任务。
translated by 谷歌翻译