本文介绍了一种估计植物部件的覆盖路径的可推动性并通过它们用于在富含植物环境中运行的移动机器人的植物部件的迁移性。传统的移动机器人依赖于场景识别方法，其仅考虑环境的几何信息。因此，这些方法不能在柔性植物覆盖时识别出可遍历的路径。在本文中，我们提出了一种基于图像的场景识别的新框架，以实现这种富有的植物环境中的导航。我们的识别模型利用用于通用对象分类的语义分割分支和用于估计像素 - 方向遍历的遍历性估计分支。使用无监督域适配方法训练语义分割分支，并且遍历估计分支的训练，其中在数据获取阶段期间从机器人的遍历经验中产生的标签图像训练，被卷曲的拖拉性掩码。因此，整个模型的培训程序免于手动注释。在我们的实验中，我们表明，所提出的识别框架能够更准确地将可遍历的植物与具有遍历植物和不可遍历的工厂类的传统语义分段进行区分，以及现有的基于图像的可移动性估计方法。我们还进行了一个真实的实验，并确认了具有所提出的识别方法的机器人在富有植物的环境中成功导航。
translated by 谷歌翻译
本文介绍了一种在线改进的方法，用于考虑可遍历植物的机器人导航的场景识别模型，即机器人在移动时可以将其推开的柔性植物零件。在考虑可穿越的植物到路径上的场景识别系统中，错误分类可能会导致机器人由于被识别为障碍的可穿越的植物而被卡住。然而，在任何估计方法中，错误分类都是不可避免的。在这项工作中，我们提出了一个框架，该框架可以在机器人操作期间即时精制语义分割模型。我们引入了一些基于在线模型完善的重量印迹而无需微调的镜头细分。通过观察人与植物部位的相互作用来收集培训数据。我们提出了新颖的健壮权重，以减轻相互作用产生的面膜中包含的噪声的影响。通过使用现实世界数据进行实验评估了所提出的方法，并显示出胜过普通的权重，并通过模型蒸馏提供竞争性结果，同时需要较少的计算成本。
translated by 谷歌翻译
作为许多自主驾驶和机器人活动的基本组成部分，如自我运动估计，障碍避免和场景理解，单眼深度估计（MDE）引起了计算机视觉和机器人社区的极大关注。在过去的几十年中，已经开发了大量方法。然而，据我们所知，对MDE没有全面调查。本文旨在通过审查1970年至2021年之间发布的197个相关条款来弥补这一差距。特别是，我们为涵盖各种方法的MDE提供了全面的调查，介绍了流行的绩效评估指标并汇总公开的数据集。我们还总结了一些代表方法的可用开源实现，并比较了他们的表演。此外，我们在一些重要的机器人任务中审查了MDE的应用。最后，我们通过展示一些有希望的未来研究方向来结束本文。预计本调查有助于读者浏览该研究领域。
translated by 谷歌翻译
机器人车使用成本图来规划无碰撞路径。与地图中的每个单元相关的成本表示感知的环境信息，这些信息通常是在经过几次反复试验后手动确定的。在越野环境中，由于存在几种类型的功能，将与每个功能相关的成本值进行手工制作是挑战。此外，不同手工制作的成本值可以导致相同环境的不同路径，而不可取的环境。在本文中，我们解决了从感知的稳健车辆路径计划中学习成本图值的问题。我们使用深度学习方法提出了一个名为“骆驼”的新颖框架，该方法通过演示来学习参数，从而为路径规划提供适应性和强大的成本图。骆驼已接受过多模式数据集的培训，例如Rellis-3D。骆驼的评估是在越野场景模拟器（MAV）和IISER-B校园的现场数据上进行的。我们还在地面流动站上执行了骆驼的现实实施。结果表明，在非结构化的地形上没有碰撞的情况下，车辆的灵活而强大的运动。
translated by 谷歌翻译
对于在城市环境中导航的自主机器人，对于机器人而言，要保持在指定的旅行路径（即小径），并避免使用诸如草和花园床之类的区域，以确保安全和社会符合性考虑因素。本文为未知的城市环境提供了一种自主导航方法，该方法结合了语义分割和激光雷达数据的使用。所提出的方法使用分段的图像掩码创建环境的3D障碍物图，从中计算了人行道的边界。与现有方法相比，我们的方法不需要预先建造的地图，并提供了对安全区域的3D理解，从而使机器人能够计划通过人行道的任何路径。将我们的方法与仅使用LiDAR或仅使用语义分割的两种替代方案进行比较的实验表明，总体而言，我们所提出的方法在户外的成功率大于91％的成功率，并且在室内大于66％。我们的方法使机器人始终保持在安全的旅行道路上，并减少了碰撞数量。
translated by 谷歌翻译
本文报告了一个动态语义映射框架，该框架将3D场景流量测量纳入封闭形式的贝叶斯推理模型中。环境中动态对象的存在可能会导致当前映射算法中的伪影和痕迹，从而导致后方地图不一致。我们利用深度学习利用最新的语义细分和3D流量估计，以提供MAP推断的测量。我们开发了一个贝叶斯模型，该模型以流量传播，并渗透3D连续（即可以在任意分辨率下查询）语义占用率图优于其静态对应物的语义占用图。使用公开数据集的广泛实验表明，所提出的框架对其前身和深度神经网络的输入测量有所改善。
translated by 谷歌翻译
2022-03-22
我们提出了一种自我监督的方法，用于预测需要良好牵引力才能导航的轮式移动机器人的可穿越路径。我们的算法称为Wayfast（无路线自动驾驶系统用于遍历性），使用RGB和深度数据以及导航经验，自主在室外非结构化环境中自主生成可遍历的路径。我们的主要灵感是，可以使用动力动力学模型估算滚动机器人的牵引力。使用在线退化的视野估计器提供的牵引力估计值，我们能够以自我监督的方式训练遍历性预测神经网络，而无需以前的方法使用的启发式方法。我们通过在各种环境中进行广泛的现场测试来证明Wayfast的有效性，从沙滩到森林檐篷和积雪覆盖的草田不等。我们的结果清楚地表明，Wayfast可以学会避免几何障碍物以及不可传输的地形，例如雪，这很难避免使用仅提供几何数据（例如LiDAR）的传感器。此外，我们表明，基于在线牵引力估计的培训管道比其他基于启发式的方法更有效率。
translated by 谷歌翻译
我们提出了GANAV，这是一种新颖的小组注意机制，可以从RGB图像中识别出越野地形和非结构化环境中的安全和可通道的区域。我们的方法根据其可通道的语义分割根据其可通道水平对地形进行了分类。我们新颖的小组注意力损失使任何骨干网络都能明确关注具有低空间分辨率的不同组的特征。与现有的SOTA方法相比，我们的设计可提供有效的推断，同时保持高度的准确性。我们对RUGD和Rellis-3D数据集的广泛评估表明，GANAV在RUGD上的改善对SOTA MIOU的改善增长了2.25-39.05％，Rellis-3d的RUGD提高了5.17-19.06％。我们与Ganav进行了深入的增强基于学习的导航算法的接口，并在现实世界中的非结构化地形中突出了其在导航方面的好处。我们将基于GANAV的导航算法与ClearPath Jackal和Husky Robots集成在一起，并观察到成功率增加了10％，在选择表面最佳的可通道性和4.6-13.9％的表面方面为2-47％在轨迹粗糙度中。此外，加纳夫将禁区的假阳性降低37.79％。代码，视频和完整的技术报告可在https://gamma.umd.edu/offroad/上找到。
translated by 谷歌翻译
本文提出了一种新颖的方法，用于在具有复杂拓扑结构的地下领域的搜索和救援行动中自动合作。作为CTU-Cras-Norlab团队的一部分，拟议的系统在DARPA SubT决赛的虚拟轨道中排名第二。与专门为虚拟轨道开发的获奖解决方案相反，该建议的解决方案也被证明是在现实世界竞争极为严峻和狭窄的环境中飞行的机上实体无人机的强大系统。提出的方法可以使无缝模拟转移的无人机团队完全自主和分散的部署，并证明了其优于不同环境可飞行空间的移动UGV团队的优势。该论文的主要贡献存在于映射和导航管道中。映射方法采用新颖的地图表示形式 - 用于有效的风险意识长距离计划，面向覆盖范围和压缩的拓扑范围的LTVMAP领域，以允许在低频道通信下进行多机器人合作。这些表示形式与新的方法一起在导航中使用，以在一般的3D环境中可见性受限的知情搜索，而对环境结构没有任何假设，同时将深度探索与传感器覆盖的剥削保持平衡。所提出的解决方案还包括一条视觉感知管道，用于在没有专用GPU的情况下在5 Hz处进行四个RGB流中感兴趣的对象的板上检测和定位。除了参与DARPA SubT外，在定性和定量评估的各种环境中，在不同的环境中进行了广泛的实验验证，UAV系统的性能得到了支持。
translated by 谷歌翻译
自动化驾驶系统（广告）开辟了汽车行业的新领域，为未来的运输提供了更高的效率和舒适体验的新可能性。然而，在恶劣天气条件下的自主驾驶已经存在，使自动车辆（AVS）长时间保持自主车辆（AVS）或更高的自主权。本文评估了天气在分析和统计方式中为广告传感器带来的影响和挑战，并对恶劣天气条件进行了解决方案。彻底报道了关于对每种天气的感知增强的最先进技术。外部辅助解决方案如V2X技术，当前可用的数据集，模拟器和天气腔室的实验设施中的天气条件覆盖范围明显。通过指出各种主要天气问题，自主驾驶场目前正在面临，近年来审查硬件和计算机科学解决方案，这项调查概述了在不利的天气驾驶条件方面的障碍和方向的障碍和方向。
translated by 谷歌翻译
深度强化学习在基于激光的碰撞避免有效的情况下取得了巨大的成功，因为激光器可以感觉到准确的深度信息而无需太多冗余数据，这可以在算法从模拟环境迁移到现实世界时保持算法的稳健性。但是，高成本激光设备不仅很难为大型机器人部署，而且还表现出对复杂障碍的鲁棒性，包括不规则的障碍，例如桌子，桌子，椅子和架子，以及复杂的地面和特殊材料。在本文中，我们提出了一个新型的基于单眼相机的复杂障碍避免框架。特别是，我们创新地将捕获的RGB图像转换为伪激光测量，以进行有效的深度强化学习。与在一定高度捕获的传统激光测量相比，仅包含距离附近障碍的一维距离信息，我们提议的伪激光测量融合了捕获的RGB图像的深度和语义信息，这使我们的方法有效地有效障碍。我们还设计了一个功能提取引导模块，以加重输入伪激光测量，并且代理对当前状态具有更合理的关注，这有利于提高障碍避免政策的准确性和效率。
translated by 谷歌翻译
目前，移动机器人正在迅速发展，并在工业中寻找许多应用。然而，仍然存在与其实际使用相关的一些问题，例如对昂贵的硬件及其高功耗水平的需要。在本研究中，我们提出了一种导航系统，该导航系统可在具有RGB-D相机的低端计算机上操作，以及用于操作集成自动驱动系统的移动机器人平台。建议的系统不需要Lidars或GPU。我们的原始深度图像接地分割方法提取用于低体移动机器人的安全驾驶的遍历图。它旨在保证具有集成的SLAM，全局路径规划和运动规划的低成本现成单板计算机上的实时性能。我们使用Traversability Map应用基于规则的基于学习的导航策略。同时运行传感器数据处理和其他自主驾驶功能，我们的导航策略以18Hz的刷新率为控制命令而迅速执行，而其他系统则具有较慢的刷新率。我们的方法在有限的计算资源中优于当前最先进的导航方法，如3D模拟测试所示。此外，我们通过在室内环境中成功的自动驾驶来展示移动机器人系统的适用性。我们的整个作品包括硬件和软件在开源许可（https://github.com/shinkansan/2019-ugrp-doom）下发布。我们的详细视频是https://youtu.be/mf3iufuhppm提供的。
translated by 谷歌翻译
交通场景边缘壳体的语义分割的鲁棒性是智能运输安全的重要因素。然而，交通事故的大多数关键场景都是非常动态和以前看不见的，这严重损害了语义分割方法的性能。另外，在高速驾驶期间传统相机的延迟将进一步降低时间尺寸中的上下文信息。因此，我们建议从基于事件的数据提取动态上下文，以更高的时间分辨率来增强静态RGB图像，即使对于来自运动模糊，碰撞，变形，翻转等的流量事故而言，此外，为评估分割交通事故中的性能，我们提供了一个像素 - 明智的注释事故数据集，即Dada-Seg，其中包含来自交通事故的各种临界情景。我们的实验表明，基于事件的数据可以通过在事故中保留快速移动的前景（碰撞物体）的微粒运动来提供互补信息以在不利条件下稳定语义分割。我们的方法在拟议的事故数据集中实现了+ 8.2％的性能增益，超过了20多种最先进的语义细分方法。已经证明该提案对于在多个源数据库中学到的模型，包括CityScapes，Kitti-360，BDD和Apolloscape的模型始终如一。
translated by 谷歌翻译
休眠季节葡萄树修剪需要熟练的季节性工人，这在冬季变得越来越缺乏。随着在短期季节性招聘文化和低工资的短期季节性招聘文化和低工资的时间内，随着工人更少的葡萄藤，葡萄藤往往被修剪不一致地导致葡萄化物不平衡。除此之外，目前现有的机械方法无法选择性地修剪葡萄园和手动后续操作，通常需要进一步提高生产成本。在本文中，我们展示了崎岖，全自治机器人的设计和田间评估，用于休眠季节葡萄园的端到最终修剪。该设计的设计包括新颖的相机系统，运动冗余机械手，地面机器人和在感知系统中的新颖算法。所提出的研究原型机器人系统能够在213秒/葡萄藤中完全从两侧刺激一排藤蔓，总修枝精度为87％。与机械预灌浆试验相比，商业葡萄园中自治系统的初始现场测试显示出休眠季节修剪的显着变化。在手稿中描述了设计方法，系统组件，经验教训，未来增强以及简要的经济分析。
translated by 谷歌翻译
对于与行人一起运行的移动机器人，对地面基础设施（例如道路和街道交叉路口）进行了牢固的分类。尽管许多语义分割数据集可用于自动驾驶汽车，但在此类数据集中训练的模型在部署在行人空间中的机器人上时表现出较大的域间隙。从行人角度录制的手动注释图像既昂贵又耗时。为了克服这一挑战，我们提出了TrackletMapper，这是一个注释地面类型的框架，例如人行道，道路和街道交叉点，而无需进行人类注销的数据。为此，我们将机器人自我trajectory和其他交通参与者的路径投射到自我视图相机图像中，为多种类型的接地表面创建稀疏的语义注释，从中可以从中训练地面分段模型。我们进一步表明，该模型可以通过汇总地面图并将其投影到相机图像中，从而自行启动，从而获得额外的性能优势，从而与稀疏的踪迹注释相比，创建了一组密集的训练注释。我们在定性和定量上证明了我们在一个新型的大型数据集上，用于在行人区域运营的移动机器人。代码和数据集将在http://trackletmapper.cs.uni-freiburg.de上提供。
translated by 谷歌翻译
Our dataset provides dense annotations for each scan of all sequences from the KITTI Odometry Benchmark [19]. Here, we show multiple scans aggregated using pose information estimated by a SLAM approach.
translated by 谷歌翻译
The field of autonomous mobile robots has undergone dramatic advancements over the past decades. Despite achieving important milestones, several challenges are yet to be addressed. Aggregating the achievements of the robotic community as survey papers is vital to keep the track of current state-of-the-art and the challenges that must be tackled in the future. This paper tries to provide a comprehensive review of autonomous mobile robots covering topics such as sensor types, mobile robot platforms, simulation tools, path planning and following, sensor fusion methods, obstacle avoidance, and SLAM. The urge to present a survey paper is twofold. First, autonomous navigation field evolves fast so writing survey papers regularly is crucial to keep the research community well-aware of the current status of this field. Second, deep learning methods have revolutionized many fields including autonomous navigation. Therefore, it is necessary to give an appropriate treatment of the role of deep learning in autonomous navigation as well which is covered in this paper. Future works and research gaps will also be discussed.
translated by 谷歌翻译
我们提出了地形遍历映射（TTM），是一个非结构化环境中自主挖掘机的地形推动性估算和路径规划的实时映射方法。我们提出了一种高效的基于学习的几何方法，可以从RGB图像和3D PointClouds中提取地形特征，并将它们纳入全球地图以进行自主挖掘的规划和导航。我们的方法使用了挖掘机的物理特性，包括最大攀爬程度和其他机器规格，以确定可遍历的区域。我们的方法可以适应更改环境并实时更新地形信息。此外，我们准备了一个小说数据集，自主挖掘机地形（AET）数据集，由来自施工站点的RGB图像，根据导航性，七个类别。我们将我们的映射方法与自动挖掘机导航系统中的规划和控制模块集成在一起，这在基于现有规划计划的成功率方面优于前面的方法49.3％。通过我们的映射，挖掘机可以通过由深坑，陡峭的山丘，岩石桩和其他复杂地形特征的非结构化环境导航。
translated by 谷歌翻译
森林中自主冬季导航所固有的挑战包括缺乏可靠的全球导航卫星系统（GNSS）信号，低特征对比度，高照明变化和变化环境。这种类型的越野环境是一个极端的情况，自治车可能会在北部地区遇到。因此，了解对自动导航系统对这种恶劣环境的影响非常重要。为此，我们介绍了一个现场报告分析亚曲率区域中的教导和重复导航，同时受到气象条件的大变化。首先，我们描述了系统，它依赖于点云注册来通过北方林地定位移动机器人，同时构建地图。我们通过在教学和重复模式下在自动导航中进行了在实验中评估了该系统。我们展示了密集的植被扰乱了GNSS信号，使其不适合在森林径中导航。此外，我们突出了在森林走廊中使用点云登记的定位相关的不确定性。我们证明它不是雪降水，而是影响我们系统在环境中定位的能力的积雪。最后，我们从我们的实地运动中揭示了一些经验教训和挑战，以支持在冬季条件下更好的实验工作。
translated by 谷歌翻译
本文介绍了Cerberus机器人系统系统，该系统赢得了DARPA Subterranean挑战最终活动。出席机器人自主权。由于其几何复杂性，降解的感知条件以及缺乏GPS支持，严峻的导航条件和拒绝通信，地下设置使自动操作变得特别要求。为了应对这一挑战，我们开发了Cerberus系统，该系统利用了腿部和飞行机器人的协同作用，再加上可靠的控制，尤其是为了克服危险的地形，多模式和多机器人感知，以在传感器退化，以及在传感器退化的条件下进行映射以及映射通过统一的探索路径计划和本地运动计划，反映机器人特定限制的弹性自主权。 Cerberus基于其探索各种地下环境及其高级指挥和控制的能力，表现出有效的探索，对感兴趣的对象的可靠检测以及准确的映射。在本文中，我们报告了DARPA地下挑战赛的初步奔跑和最终奖项的结果，并讨论了为社区带来利益的教训所面临的亮点和挑战。
translated by 谷歌翻译