我们提出了一个基于视觉和惯性的地形分类网络（VINET），用于在不同的遍布表面上进行机器人导航。我们使用一种新型的基于导航的标签方案进行未知表面上的地形分类和概括。我们提出的感知方法和自适应控制框架可以根据地形导航属性做出预测，并在已知和未知表面上的地形分类和导航控制中提高性能。与以前的方法相比，我们的Vinet在已知地形的监督环境下的准确性可以达到98.37％，并在未知的地形上提高了8.51％的精度。我们在移动轨迹的机器人上部署vinet，以进行轨迹，并在不同的地形上导航，与基线控制器相比，在RMSE方面，我们证明了10.3％的改善。
translated by 谷歌翻译
我们提出了Terrapn，这是一种新颖的方法，它可以通过自我监督的学习直接从机器人 - 泰林相互作用中了解复杂室外地形的表面特性（牵引力，颠簸，可变形等），并将其用于自动驾驶机器人导航。我们的方法使用地形表面和机器人的速度的RGB图像作为输入，以及机器人作为自我选择的标签所经历的IMU振动和探测错误。我们的方法计算了一个表面成本图，该图将平滑，高吸收表面（低导航成本）与颠簸，滑水，可变形表面（高导航成本）区分开。我们通过检测表面之间的边界来计算从输入RGB图像的非均匀采样贴片来计算成本图，从而与均匀的采样和现有分割方法相比，导致推理时间较低（低47.27％）。我们提出了一种新颖的导航算法，该算法可以说明表面成本，计算机器人的基于成本的加速度限制以及动态可行的无碰撞轨迹。 Terrapn的表面成本预测可以在约25分钟内进行五个不同的表面进行训练，而先前基于学习的分割方法数小时。在导航方面，我们的方法在成功率（高达35.84％），轨迹的振动成本（降低21.52％）方面优于先前的工作，并在颠簸，可变形的表面上放慢机器人（最高46.76％）在不同的情况下较慢）。
translated by 谷歌翻译
我们提出了GANAV，这是一种新颖的小组注意机制，可以从RGB图像中识别出越野地形和非结构化环境中的安全和可通道的区域。我们的方法根据其可通道的语义分割根据其可通道水平对地形进行了分类。我们新颖的小组注意力损失使任何骨干网络都能明确关注具有低空间分辨率的不同组的特征。与现有的SOTA方法相比，我们的设计可提供有效的推断，同时保持高度的准确性。我们对RUGD和Rellis-3D数据集的广泛评估表明，GANAV在RUGD上的改善对SOTA MIOU的改善增长了2.25-39.05％，Rellis-3d的RUGD提高了5.17-19.06％。我们与Ganav进行了深入的增强基于学习的导航算法的接口，并在现实世界中的非结构化地形中突出了其在导航方面的好处。我们将基于GANAV的导航算法与ClearPath Jackal和Husky Robots集成在一起，并观察到成功率增加了10％，在选择表面最佳的可通道性和4.6-13.9％的表面方面为2-47％在轨迹粗糙度中。此外，加纳夫将禁区的假阳性降低37.79％。代码，视频和完整的技术报告可在https://gamma.umd.edu/offroad/上找到。
translated by 谷歌翻译
估计越野环境中的地形横穿性需要关于机器人和这些地形之间复杂相互作用动态的推理。但是，建立准确的物理模型，或创建有益的标签来以有监督的方式学习模型是有挑战性的。我们提出了一种方法，该方法通过将外部感受性的环境信息与本体感受性的地形相互作用反馈相结合，以自我监督的方式将遍历性成本映像结合在一起。此外，我们提出了一种将机器人速度纳入Costmap预测管道中的新型方法。我们在具有挑战性的越野地形上，在多个大型，自动的全地形车辆（ATV）上验证了我们的方法，并在单独的大型地面机器人上易于集成。我们的短尺寸导航结果表明，使用我们学到的Costmaps可以使整体航行更顺畅，并为机器人提供了对机器人与不同地形类型（例如草和砾石）之间相互作用的更细粒度的了解。我们的大规模导航试验表明，与基于占用率的导航基线相比，我们可以将干预措施的数量减少多达57％，这是在挑战400 m至3150 m不等的越野课程中。
translated by 谷歌翻译
我们提出了地形遍历映射（TTM），是一个非结构化环境中自主挖掘机的地形推动性估算和路径规划的实时映射方法。我们提出了一种高效的基于学习的几何方法，可以从RGB图像和3D PointClouds中提取地形特征，并将它们纳入全球地图以进行自主挖掘的规划和导航。我们的方法使用了挖掘机的物理特性，包括最大攀爬程度和其他机器规格，以确定可遍历的区域。我们的方法可以适应更改环境并实时更新地形信息。此外，我们准备了一个小说数据集，自主挖掘机地形（AET）数据集，由来自施工站点的RGB图像，根据导航性，七个类别。我们将我们的映射方法与自动挖掘机导航系统中的规划和控制模块集成在一起，这在基于现有规划计划的成功率方面优于前面的方法49.3％。通过我们的映射，挖掘机可以通过由深坑，陡峭的山丘，岩石桩和其他复杂地形特征的非结构化环境导航。
translated by 谷歌翻译
高速偏离地面车辆的高速偏离道路导航的主要挑战之一是，车辆地形相互作用的动力动力学会根据地形而大不相同。以前解决这一挑战的方法已经考虑学习一种基于车辆的惯性信息，以感知运动动力学相互作用。在本文中，我们假设，除了过去的惯性信息外，还必须预料到将来，还必须预料到将来，还必须预料到将来，还必须预料到将来，还必须预料到将来，还必须预料到将来的动力学相互作用，以实现精确的高速越野导航。为此，我们引入了视觉惯性逆动力动力学（VI-IKD），这是一种新型的基于学习的IKD模型，除了过去的惯性信息外，还基于从机器人前面的地形贴片的视觉信息进行条件，使其能够预期会素动力学相互作用在将来。我们在室内和室外环境中验证了VI-IKD在实验上进行实验性高速越野导航的有效性ART方法，VI-IKD可以以高达3.5 m/s的速度在各种不同的地形上更准确，更强大的越野导航。
translated by 谷歌翻译
2022-03-22
我们提出了一种自我监督的方法，用于预测需要良好牵引力才能导航的轮式移动机器人的可穿越路径。我们的算法称为Wayfast（无路线自动驾驶系统用于遍历性），使用RGB和深度数据以及导航经验，自主在室外非结构化环境中自主生成可遍历的路径。我们的主要灵感是，可以使用动力动力学模型估算滚动机器人的牵引力。使用在线退化的视野估计器提供的牵引力估计值，我们能够以自我监督的方式训练遍历性预测神经网络，而无需以前的方法使用的启发式方法。我们通过在各种环境中进行广泛的现场测试来证明Wayfast的有效性，从沙滩到森林檐篷和积雪覆盖的草田不等。我们的结果清楚地表明，Wayfast可以学会避免几何障碍物以及不可传输的地形，例如雪，这很难避免使用仅提供几何数据（例如LiDAR）的传感器。此外，我们表明，基于在线牵引力估计的培训管道比其他基于启发式的方法更有效率。
translated by 谷歌翻译
惯性测量单元（IMU）在机器人研究中无处不在。它为机器人提供了姿势信息，以实现平衡和导航。但是，人类和动物可以在没有精确的方向或位置值的情况下感知其身体在环境中的运动。这种互动固有地涉及感知和动作之间的快速反馈回路。这项工作提出了一种端到端方法，该方法使用高维视觉观察和动作命令来训练视觉自模型进行腿部运动。视觉自模型学习机器人身体运动与地面纹理之间的空间关系从图像序列变化。我们证明机器人可以利用视觉自模型来实现机器人在训练过程中看不见的现实环境中的各种运动任务。通过我们提出的方法，机器人可以在没有IMU的情况下或在没有GPS或弱地磁场的环境中进行运动，例如该市的室内和Urban Canyons。
translated by 谷歌翻译
我们提出了一种新颖的户外导航算法，以生成稳定，有效的动作，以将机器人导航到目标。我们使用多阶段的训练管道，并表明我们的模型产生了政策，从而在复杂的地形上导致稳定且可靠的机器人导航。基于近端政策优化（PPO）算法，我们开发了一种新颖的方法来实现户外导航任务的多种功能，即：减轻机器人的漂移，使机器人在颠簸的地形上保持稳定，避免在山丘上攀登，并具有陡峭的山坡，并改变了山坡，并保持了陡峭的高度变化，并使机器人稳定在山坡上，并避免了攀岩地面上的攀登，并避免了机器人的攀岩地形，并避免了机器人的攀岩地形。避免碰撞。我们的培训过程通过引入更广泛的环境和机器人参数以及统一模拟器中LIDAR感知的丰富特征来减轻现实（SIM到现实）差距。我们使用Clearphith Husky和Jackal在模拟和现实世界中评估我们的方法。此外，我们将我们的方法与最先进的方法进行了比较，并表明在现实世界中，它在不平坦的地形上至少提高了30.7％通过防止机器人在高梯度的区域移动，机器人在每个运动步骤处的高程变化。
translated by 谷歌翻译
这项工作报告了开发针对腿部机器人地形遍历性建模的深层增强学习方法，该方法既包含了外部感受和本体感受性的感觉数据。现有作品使用机器人不合时宜的外部感受的环境特征或手工制作的运动功能；取而代之的是，我们建议还从本体感受的感官数据中学习机器人特异性惯性特征，以在单个深层神经网络中奖励近似。合并惯性功能可以改善模型保真度，并提供取决于在部署过程中机器人状态的奖励。我们使用最大熵深的逆增强学习（Medirl）算法训练奖励网络，并同时提出最大程度地减少轨迹排名损失，以应对腿部机器人示范的次优。所证明的轨迹通过运动能源消耗来排名，以学习能源感知的奖励功能和比示范更节能的政策。我们使用MIT Mini-Cheetah机器人和Mini-Cheetah模拟器收集的数据集评估我们的方法。该代码可在https://github.com/ganlumomo/minicheetah-traversability-irl上公开获得。
translated by 谷歌翻译
本文介绍了一种基于来自IMU数据的学习的位移测量的腿机器人的新型概述状态估计。最近的行人跟踪研究表明，可以使用卷积神经网络从惯性数据推断出运动。学习的惯性位移测量可以提高具有挑战性的场景的状态估计，其中腿部内径是不可靠的，例如滑动和可压缩的地形。我们的工作学会从IMU数据估算从IMU数据融合的位移测量，然后与传统的腿部腿部融合。我们的方法大大降低了诸如在视觉中部署的腿部机器人和Lidar被否定的环境（如有雾的下水道或尘土飞扬的地雷）至关重要。我们使用来自几个真正的机器人实验的数据与交叉挑战性地形的几个真正的机器人实验进行了比较了来自EKF和增量固定滞后因子图估计的结果。与传统的运动惯用估计器相比，我们的结果在挑战情景中表明相对姿势误差的减少37％，而无需学习测量。当在视觉降级环境中的视觉系统中使用时，我们还展示了22％的误差减少，例如地下矿井。
translated by 谷歌翻译
在共同的自主权下，轮椅用户期望车辆在遵循用户高级导航计划的同时提供安全舒适的游乐设施。为了找到这样的道路，车辆与不同的地形进行谈判，并评估其遍历难度。大多数先前的作品通过几何表示或语义分类进行了模型，这并不能反映在下游导航任务中感知的运动强度和骑行舒适性。我们建议使用本体感知感应在遍历性分析中明确对骑行舒适度进行建模。我们开发了一个自我监督的学习框架，以通过利用车辆状态作为训练信号来预测第一人称视图图像的遍历性成本量。我们的方法估计，如果根据地形外观进行遍历，车辆的感觉会如何。然后，我们显示我们的导航系统通过机器人实验以及人类评估研究提供了人类偏爱的骑行舒适性。
translated by 谷歌翻译
当机器人在具有非结构化地形的现实世界越野环境中运行时，适应其导航政策的能力对于有效且安全的导航至关重要。但是，越野地形为机器人导航带来了一些挑战，包括动态障碍和地形不确定性，导致遍历或导航故障效率低下。为了应对这些挑战，我们通过谈判引入了一种新颖的适应方法，使地面机器人能够通过谈判过程来调整其导航行为。我们的方法首先学习了各种导航政策的预测模型，以充当地形感知的本地控制器和计划者。然后，通过新的谈判过程，我们的方法从与环境的各种政策互动中学习，以在线方式达成最佳政策组合，以使机器人导航适应即时的非结构性越野地形。此外，我们实施了一种新的优化算法，该算法为执行过程中实时实时提供机器人谈判提供了最佳解决方案。实验结果已经验证了我们通过谈判的适应方法优于机器人导航的先前方法，尤其是在看不见和不确定的动态地形上。
translated by 谷歌翻译
本文提出了一种轻巧，有效的校准神经网络模型，用于降低低成本微电力系统（MEMS）陀螺仪，并实时估算机器人的态度。关键思想是从惯性测量单元（IMU）测量的时间窗口中提取本地和全局特征，以动态地回归陀螺仪的输出补偿组件。遵循精心推导的数学校准模型，LGC-NET利用深度可分离的卷积捕获截面特征并减少网络模型参数。较大的内核注意力旨在更好地学习远程依赖性和特征表示。在EUROC和TUM-VI数据集中评估了所提出的算法，并在具有更轻巧模型结构的（看不见的）测试序列上实现了最先进的测试。尽管它不采用视觉传感器，但与我们的LGC-NET的估计取向与排名最高的视觉惯性探针系统相当。我们在：https：//github.com/huazai665/lgc-net上进行开源方法
translated by 谷歌翻译
机器人导航传统上依赖于构建用于计划无碰撞轨迹的显式映射到所需的目标。在可变形的复杂地形中，使用基于几何的方法可以不能找到由于错误的可变形物体而像刚性和不可能的那样的路径。相反，我们学习预测地形区域的可迁移性以及更喜欢更容易导航的区域的估计（例如，小草上的小灌木）。与规范动态模型相比，我们而不是预测碰撞，而不是在实现的错误上回归。我们用一个政策方法训练，导致使用跨模拟和现实世界的培训数据分裂的50分钟的成功导航政策。我们基于学习的导航系统是一个示例高效的短期计划，我们在通过包括草原和森林的各种地形导航的清晰路径哈士摩克
translated by 谷歌翻译
本文介绍了Cerberus机器人系统系统，该系统赢得了DARPA Subterranean挑战最终活动。出席机器人自主权。由于其几何复杂性，降解的感知条件以及缺乏GPS支持，严峻的导航条件和拒绝通信，地下设置使自动操作变得特别要求。为了应对这一挑战，我们开发了Cerberus系统，该系统利用了腿部和飞行机器人的协同作用，再加上可靠的控制，尤其是为了克服危险的地形，多模式和多机器人感知，以在传感器退化，以及在传感器退化的条件下进行映射以及映射通过统一的探索路径计划和本地运动计划，反映机器人特定限制的弹性自主权。 Cerberus基于其探索各种地下环境及其高级指挥和控制的能力，表现出有效的探索，对感兴趣的对象的可靠检测以及准确的映射。在本文中，我们报告了DARPA地下挑战赛的初步奔跑和最终奖项的结果，并讨论了为社区带来利益的教训所面临的亮点和挑战。
translated by 谷歌翻译
本文提出了一种新颖的方法，用于在具有复杂拓扑结构的地下领域的搜索和救援行动中自动合作。作为CTU-Cras-Norlab团队的一部分，拟议的系统在DARPA SubT决赛的虚拟轨道中排名第二。与专门为虚拟轨道开发的获奖解决方案相反，该建议的解决方案也被证明是在现实世界竞争极为严峻和狭窄的环境中飞行的机上实体无人机的强大系统。提出的方法可以使无缝模拟转移的无人机团队完全自主和分散的部署，并证明了其优于不同环境可飞行空间的移动UGV团队的优势。该论文的主要贡献存在于映射和导航管道中。映射方法采用新颖的地图表示形式 - 用于有效的风险意识长距离计划，面向覆盖范围和压缩的拓扑范围的LTVMAP领域，以允许在低频道通信下进行多机器人合作。这些表示形式与新的方法一起在导航中使用，以在一般的3D环境中可见性受限的知情搜索，而对环境结构没有任何假设，同时将深度探索与传感器覆盖的剥削保持平衡。所提出的解决方案还包括一条视觉感知管道，用于在没有专用GPU的情况下在5 Hz处进行四个RGB流中感兴趣的对象的板上检测和定位。除了参与DARPA SubT外，在定性和定量评估的各种环境中，在不同的环境中进行了广泛的实验验证，UAV系统的性能得到了支持。
translated by 谷歌翻译
本文介绍了使用腿收割机进行精密收集任务的集成系统。我们的收割机在狭窄的GPS拒绝了森林环境中的自主导航和树抓取了一项挑战性的任务。提出了映射，本地化，规划和控制的策略，并集成到完全自主系统中。任务从使用定制的传感器模块开始使用人员映射感兴趣区域。随后，人类专家选择树木进行收获。然后将传感器模块安装在机器上并用于给定地图内的本地化。规划算法在单路径规划问题中搜索一个方法姿势和路径。我们设计了一个路径，后面的控制器利用腿的收割机的谈判粗糙地形的能力。在达接近姿势时，机器用通用夹具抓住一棵树。此过程重复操作员选择的所有树。我们的系统已经在与树干和自然森林中的测试领域进行了测试。据我们所知，这是第一次在现实环境中运行的全尺寸液压机上显示了这一自主权。
translated by 谷歌翻译
安装在微空中车辆（MAV）上的地面穿透雷达是有助于协助人道主义陆地间隙的工具。然而，合成孔径雷达图像的质量取决于雷达天线的准确和精确运动估计以及与MAV产生信息性的观点。本文介绍了一个完整的自动空气缩进的合成孔径雷达（GPSAR）系统。该系统由空间校准和时间上同步的工业级传感器套件组成，使得在地面上方，雷达成像和光学成像。自定义任务规划框架允许在地上控制地上的Stripmap和圆形（GPSAR）轨迹的生成和自动执行，以及空中成像调查飞行。基于因子图基于Dual接收机实时运动（RTK）全局导航卫星系统（GNSS）和惯性测量单元（IMU）的测量值，以获得精确，高速平台位置和方向。地面真理实验表明，传感器时机为0.8美元，正如0.1美元的那样，定位率为1 kHz。与具有不确定标题初始化的单个位置因子相比，双位置因子配方可提高高达40％，批量定位精度高达59％。我们的现场试验验证了本地化准确性和精度，使得能够相干雷达测量和检测在沙子中埋入的雷达目标。这验证了作为鸟瞰着地图检测系统的潜力。
translated by 谷歌翻译
森林中自主冬季导航所固有的挑战包括缺乏可靠的全球导航卫星系统（GNSS）信号，低特征对比度，高照明变化和变化环境。这种类型的越野环境是一个极端的情况，自治车可能会在北部地区遇到。因此，了解对自动导航系统对这种恶劣环境的影响非常重要。为此，我们介绍了一个现场报告分析亚曲率区域中的教导和重复导航，同时受到气象条件的大变化。首先，我们描述了系统，它依赖于点云注册来通过北方林地定位移动机器人，同时构建地图。我们通过在教学和重复模式下在自动导航中进行了在实验中评估了该系统。我们展示了密集的植被扰乱了GNSS信号，使其不适合在森林径中导航。此外，我们突出了在森林走廊中使用点云登记的定位相关的不确定性。我们证明它不是雪降水，而是影响我们系统在环境中定位的能力的积雪。最后，我们从我们的实地运动中揭示了一些经验教训和挑战，以支持在冬季条件下更好的实验工作。
translated by 谷歌翻译