正在为军事和商业用途开发越野自动驾驶的无人接地车辆(UGV),以在偏远地区提供关键的供应,帮助绘制和监视,并在有争议的环境中协助战争战士。由于越野环境的复杂性以及地形,照明条件,昼夜和季节性变化的变化,用于感知环境的模型必须处理大量的输入可变性。当前的数据集用于训练越野自动导航的感知模型在季节,位置,语义类别以及一天中的时间中缺乏多样性。我们测试了以下假设:由于输入分布漂移,在单个数据集上训练的模型可能无法推广到其他越野导航数据集和新位置。此外,我们研究了如何组合多个数据集来训练基于语义分割的环境感知模型,并表明训练模型以捕获不确定性可以通过显着的余量提高模型性能。我们将蒙版的方法扩展到语义分割任务中的不确定性量化方法,并将其与蒙特卡洛辍学和标准基线进行比较。最后,我们测试了在新测试环境中从UGV平台收集的数据的方法。我们表明,具有不确定性量化的开发的感知模型可以在UGV上可用,以支持在线感知和导航任务。
translated by 谷歌翻译
不确定性量化对于机器人感知至关重要,因为过度自信或点估计人员可以导致环境和机器人侵犯和损害。在本文中,我们评估了单视图监督深度学习中的不确定量化的可扩展方法,特别是MC辍学和深度集成。特别是对于MC辍学,我们探讨了阵列在架构中不同级别的效果。我们表明,在编码器的所有层中添加丢失会带来比文献中的其他变化更好的结果。此配置类似地执行与Deep Ensembles具有更低的内存占用,这是相关的简单。最后,我们探讨了伪RGBD ICP的深度不确定性,并展示其估计具有实际规模的准确的双视图相对运动的可能性。
translated by 谷歌翻译
空中图像的语义分割是映射和地球观察的重要工具。但是,对细分的监督深度学习模型依赖大量的高质量标记数据,这是劳动密集型且耗时的生成。为了解决这个问题,我们提出了一种新方法,用于使用无人机(UAV)自主收集有用的模型培训数据。我们利用一种贝叶斯方法来估计语义分割中的模型不确定性。在任务过程中,语义预测和模型不确定性被用作地形映射的输入。管道的一个关键方面是将映射的模型不确定性与基于主动学习的机器人计划目标联系起来。这使我们能够自适应地指导无人机收集最有用的地形图像,该图像被人类标记用于模型培训。我们对现实世界数据的实验评估表明,与静态覆盖路径相比,在最大化模型性能和减少标签工作方面,使用我们的信息计划方法的好处。
translated by 谷歌翻译
我们提出了地形遍历映射(TTM),是一个非结构化环境中自主挖掘机的地形推动性估算和路径规划的实时映射方法。我们提出了一种高效的基于学习的几何方法,可以从RGB图像和3D PointClouds中提取地形特征,并将它们纳入全球地图以进行自主挖掘的规划和导航。我们的方法使用了挖掘机的物理特性,包括最大攀爬程度和其他机器规格,以确定可遍历的区域。我们的方法可以适应更改环境并实时更新地形信息。此外,我们准备了一个小说数据集,自主挖掘机地形(AET)数据集,由来自施工站点的RGB图像,根据导航性,七个类别。我们将我们的映射方法与自动挖掘机导航系统中的规划和控制模块集成在一起,这在基于现有规划计划的成功率方面优于前面的方法49.3%。通过我们的映射,挖掘机可以通过由深坑,陡峭的山丘,岩石桩和其他复杂地形特征的非结构化环境导航。
translated by 谷歌翻译
我们提出了GANAV,这是一种新颖的小组注意机制,可以从RGB图像中识别出越野地形和非结构化环境中的安全和可通道的区域。我们的方法根据其可通道的语义分割根据其可通道水平对地形进行了分类。我们新颖的小组注意力损失使任何骨干网络都能明确关注具有低空间分辨率的不同组的特征。与现有的SOTA方法相比,我们的设计可提供有效的推断,同时保持高度的准确性。我们对RUGD和Rellis-3D数据集的广泛评估表明,GANAV在RUGD上的改善对SOTA MIOU的改善增长了2.25-39.05%,Rellis-3d的RUGD提高了5.17-19.06%。我们与Ganav进行了深入的增强基于学习的导航算法的接口,并在现实世界中的非结构化地形中突出了其在导航方面的好处。我们将基于GANAV的导航算法与ClearPath Jackal和Husky Robots集成在一起,并观察到成功率增加了10%,在选择表面最佳的可通道性和4.6-13.9%的表面方面为2-47%在轨迹粗糙度中。此外,加纳夫将禁区的假阳性降低37.79%。代码,视频和完整的技术报告可在https://gamma.umd.edu/offroad/上找到。
translated by 谷歌翻译
There are two major types of uncertainty one can model. Aleatoric uncertainty captures noise inherent in the observations. On the other hand, epistemic uncertainty accounts for uncertainty in the model -uncertainty which can be explained away given enough data. Traditionally it has been difficult to model epistemic uncertainty in computer vision, but with new Bayesian deep learning tools this is now possible. We study the benefits of modeling epistemic vs. aleatoric uncertainty in Bayesian deep learning models for vision tasks. For this we present a Bayesian deep learning framework combining input-dependent aleatoric uncertainty together with epistemic uncertainty. We study models under the framework with per-pixel semantic segmentation and depth regression tasks. Further, our explicit uncertainty formulation leads to new loss functions for these tasks, which can be interpreted as learned attenuation. This makes the loss more robust to noisy data, also giving new state-of-the-art results on segmentation and depth regression benchmarks.
translated by 谷歌翻译
机器人车使用成本图来规划无碰撞路径。与地图中的每个单元相关的成本表示感知的环境信息,这些信息通常是在经过几次反复试验后手动确定的。在越野环境中,由于存在几种类型的功能,将与每个功能相关的成本值进行手工制作是挑战。此外,不同手工制作的成本值可以导致相同环境的不同路径,而不可取的环境。在本文中,我们解决了从感知的稳健车辆路径计划中学习成本图值的问题。我们使用深度学习方法提出了一个名为“骆驼”的新颖框架,该方法通过演示来学习参数,从而为路径规划提供适应性和强大的成本图。骆驼已接受过多模式数据集的培训,例如Rellis-3D。骆驼的评估是在越野场景模拟器(MAV)和IISER-B校园的现场数据上进行的。我们还在地面流动站上执行了骆驼的现实实施。结果表明,在非结构化的地形上没有碰撞的情况下,车辆的灵活而强大的运动。
translated by 谷歌翻译
为了安全操作,机器人必须能够避免在不确定的环境中发生碰撞。现有的不确定性运动计划方法通常会对高斯和障碍几何形状做出保守的假设。尽管视觉感知可以对环境提供更准确的表示,但其用于安全运动计划的使用受到神经网络的固有错误校准的限制以及获得足够数据集的挑战。为了解决这些模仿,我们建议采用经过系统增强数据集训练的深层语义分割网络的合奏,以确保可靠的概率占用信息。为了避免在运动计划中进行保守主义,我们通过基于场景的路径计划方法直接采用了概率感知。速度调度方案被应用于路径上,以确保跟踪不准确的情况。我们证明了系统数据增强与深层合奏结合的有效性以及与最新方法相比的基于方案的计划方法,并在涉及人手的实验中验证了我们的框架。
translated by 谷歌翻译
估计越野环境中的地形横穿性需要关于机器人和这些地形之间复杂相互作用动态的推理。但是,建立准确的物理模型,或创建有益的标签来以有监督的方式学习模型是有挑战性的。我们提出了一种方法,该方法通过将外部感受性的环境信息与本体感受性的地形相互作用反馈相结合,以自我监督的方式将遍历性成本映像结合在一起。此外,我们提出了一种将机器人速度纳入Costmap预测管道中的新型方法。我们在具有挑战性的越野地形上,在多个大型,自动的全地形车辆(ATV)上验证了我们的方法,并在单独的大型地面机器人上易于集成。我们的短尺寸导航结果表明,使用我们学到的Costmaps可以使整体航行更顺畅,并为机器人提供了对机器人与不同地形类型(例如草和砾石)之间相互作用的更细粒度的了解。我们的大规模导航试验表明,与基于占用率的导航基线相比,我们可以将干预措施的数量减少多达57%,这是在挑战400 m至3150 m不等的越野课程中。
translated by 谷歌翻译
用快速自动驾驶汽车导航越野,取决于强大的感知系统,该系统与不可传输的地形区分开来。通常,这取决于语义理解,该语义理解基于人类专家注释的图像的监督学习。这需要对人类时间进行大量投资,假定正确的专家分类,并且小细节可能导致错误分类。为了应对这些挑战,我们提出了一种方法,可以以一种自我监督的方式从过去的车辆体验中预测高风险的地形。首先,我们开发了一种将车辆轨迹投射到前摄像头图像中的工具。其次,在地形的3D表示中的遮挡被过滤掉。第三,在蒙面车辆轨迹区域训练的自动编码器根据重建误差确定低风险和高风险地形。我们通过两种型号和不同的瓶颈评估了我们的方法,并使用了两个不同的训练站点和四轮越野车。与来自类似地形的两个独立的语义标签的独立测试集比较,表明能够将地面作为低风险和植被为高风险,精度为81.1%和85.1%。
translated by 谷歌翻译
包括MRI,CT和超声在内的医学成像在临床决策中起着至关重要的作用。准确的分割对于测量图像感兴趣的结构至关重要。但是,手动分割是高度依赖性的,这导致了定量测量的高度和内部变异性。在本文中,我们探讨了通过深神经网络参数参数的贝叶斯预测分布可以捕获临床医生的内部变异性的可行性。通过探索和分析最近出现的近似推理方案,我们可以评估近似贝叶斯的深度学习是否具有分割后的后验可以学习分割和临床测量中的内在评估者变异性。实验以两种不同的成像方式进行:MRI和超声。我们从经验上证明,通过深神经网络参数化参数的贝叶斯预测分布可以近似临床医生的内部变异性。我们通过提供临床测量不确定性来定量分析医学图像,展示了一个新的观点。
translated by 谷歌翻译
本文介绍了一种估计植物部件的覆盖路径的可推动性并通过它们用于在富含植物环境中运行的移动机器人的植物部件的迁移性。传统的移动机器人依赖于场景识别方法,其仅考虑环境的几何信息。因此,这些方法不能在柔性植物覆盖时识别出可遍历的路径。在本文中,我们提出了一种基于图像的场景识别的新框架,以实现这种富有的植物环境中的导航。我们的识别模型利用用于通用对象分类的语义分割分支和用于估计像素 - 方向遍历的遍历性估计分支。使用无监督域适配方法训练语义分割分支,并且遍历估计分支的训练,其中在数据获取阶段期间从机器人的遍历经验中产生的标签图像训练,被卷曲的拖拉性掩码。因此,整个模型的培训程序免于手动注释。在我们的实验中,我们表明,所提出的识别框架能够更准确地将可遍历的植物与具有遍历植物和不可遍历的工厂类的传统语义分段进行区分,以及现有的基于图像的可移动性估计方法。我们还进行了一个真实的实验,并确认了具有所提出的识别方法的机器人在富有植物的环境中成功导航。
translated by 谷歌翻译
不确定性是时间序列预测任务的重要考虑因素。在这项工作中,我们专门致力于量化流量预测的不确定性。为了实现这一目标,我们开发了深层时空的不确定性定量(DeepStuq),可以估计核心和认知不确定性。我们首先利用时空模型来对流量数据的复杂时空相关性进行建模。随后,开发了两个独立的次神经网络,以最大化异质对数可能性,以估计不确定性。为了估计认知不确定性,我们通过整合蒙特卡洛辍学和平均自适应重量的重新训练方法来结合变异推理和深层结合的优点。最后,我们提出了基于温度缩放的后处理校准方法,从而提高了模型的概括能力估计不确定性。在四个公共数据集上进行了广泛的实验,经验结果表明,就点预测和不确定性量化而言,所提出的方法优于最先进的方法。
translated by 谷歌翻译
在未知和非结构化环境中自动机器人勘探和导航中的主要挑战之一是确定机器人可以或不能安全地移动的地方。这种确定的重要难度源来自随机性和不确定性,来自定位误差,传感器稀疏性和噪声,难以模拟机器人地面相互作用以及对车辆运动的干扰。该问题的经典方法取决于周围地形的几何分析,这可能容易建模错误,并且在计算上可能很昂贵。此外,建模不确定的遍历性成本的分布是一项艰巨的任务,这与上述各种错误来源相混合。在这项工作中,我们针对这个问题采用了原则性的学习方法。我们介绍了一种神经网络体系结构,以鲁棒性学习遍历成本的分布。因为我们是通过保留机器人的寿命来激发的,所以我们从学习尾风的角度(即有条件的价值风险(CVAR))来解决这个学习问题。我们表明,这种方法可靠地了解到预期的尾巴风险鉴于0到1之间的所需概率风险阈值,从而产生了遍及性的成本量,这对离群值更加健壮,更准确地捕获了尾巴风险,并且在与盆地相比时,尾巴风险更高,并且在计算上更有效。我们验证了我们在数据收集的数据上验证我们的方法,该机器人在挑战性的,非结构化的环境中导航,包括废弃的地铁,石灰石洞穴和熔岩管洞穴。
translated by 谷歌翻译
对于在城市环境中导航的自主机器人,对于机器人而言,要保持在指定的旅行路径(即小径),并避免使用诸如草和花园床之类的区域,以确保安全和社会符合性考虑因素。本文为未知的城市环境提供了一种自主导航方法,该方法结合了语义分割和激光雷达数据的使用。所提出的方法使用分段的图像掩码创建环境的3D障碍物图,从中计算了人行道的边界。与现有方法相比,我们的方法不需要预先建造的地图,并提供了对安全区域的3D理解,从而使机器人能够计划通过人行道的任何路径。将我们的方法与仅使用LiDAR或仅使用语义分割的两种替代方案进行比较的实验表明,总体而言,我们所提出的方法在户外的成功率大于91%的成功率,并且在室内大于66%。我们的方法使机器人始终保持在安全的旅行道路上,并减少了碰撞数量。
translated by 谷歌翻译
这项工作提出了一种体现的代理,可以以完全自主的方式将其语义分割网络调整到新的室内环境中。由于语义分割网络无法很好地推广到看不见的环境,因此代理会收集新环境的图像,然后将其用于自我监督的域适应性。我们将其作为一个有益的路径计划问题提出,并提出一种新的信息增益,该信息利用从语义模型中提取的不确定性来安全地收集相关数据。随着域的适应性的进展,这些不确定性会随着时间的推移而发生变化,并且我们系统的快速学习反馈驱使代理收集不同的数据。实验表明,与勘探目标相比,我们的方法更快地适应了新环境,最终性能更高,并且可以成功部署到物理机器人上的现实环境中。
translated by 谷歌翻译
语义细分是农业机器人了解自然果园周围环境的一项基本任务。 LIDAR技术的最新发展使机器人能够在非结构化果园中获得准确的范围测量。与RGB图像相比,3D点云具有几何特性。通过将LIDAR和相机组合在一起,可以获得有关几何和纹理的丰富信息。在这项工作中,我们提出了一种基于深度学习的分割方法,以对来自激光镜像相机视觉传感器的融合数据进行准确的语义分割。在这项工作中探索和解决了两个关键问题。第一个是如何有效地从多传感器数据中融合纹理和几何特征。第二个是如何在严重失衡类条件下有效训练3D分割网络的方法。此外,详细介绍了果园中3D分割的实现,包括LiDAR-CAMERA数据融合,数据收集和标签,网络培训和模型推断。在实验中,我们在处理从苹果园获得的高度非结构化和嘈杂的点云时,全面分析了网络设置。总体而言,我们提出的方法在高分辨率点云(100k-200k点)上的水果分割时达到了86.2%MIOU。实验结果表明,所提出的方法可以在真实的果园环境中进行准确的分割。
translated by 谷歌翻译
自动驾驶的车辆和自动地面机器人需要一种可靠,准确的方法来分析周围环境的遍历以进行安全导航。本文提出并评估了一种基于机器学习的遍历性分析方法,该方法将基于SVM分类器的混合方法中的几何特征与基于外观的特征相结合。特别是,我们表明,整合一组新的几何和视觉特征并专注于重要的实施细节,可以显着提高性能和可靠性。已提出的方法已与最先进的深度学习方法进行了比较。在不同的复杂性方面,它的准确性为89.2%,表明其有效性和鲁棒性。该方法在CPU上完全运行,并在其他方法方面达到可比的结果,运行速度更快,并且需要更少的硬件资源。
translated by 谷歌翻译
我们提出了一种自我监督的方法,用于预测需要良好牵引力才能导航的轮式移动机器人的可穿越路径。我们的算法称为Wayfast(无路线自动驾驶系统用于遍历性),使用RGB和深度数据以及导航经验,自主在室外非结构化环境中自主生成可遍历的路径。我们的主要灵感是,可以使用动力动力学模型估算滚动机器人的牵引力。使用在线退化的视野估计器提供的牵引力估计值,我们能够以自我监督的方式训练遍历性预测神经网络,而无需以前的方法使用的启发式方法。我们通过在各种环境中进行广泛的现场测试来证明Wayfast的有效性,从沙滩到森林檐篷和积雪覆盖的草田不等。我们的结果清楚地表明,Wayfast可以学会避免几何障碍物以及不可传输的地形,例如雪,这很难避免使用仅提供几何数据(例如LiDAR)的传感器。此外,我们表明,基于在线牵引力估计的培训管道比其他基于启发式的方法更有效率。
translated by 谷歌翻译
深度神经网络是各种任务的强大预测因子。但是,它们不会直接捕捉不确定性。使用神经网络集合来量化不确定性与基于贝叶斯神经网络的方法具有竞争力,同时受益于更好的计算可扩展性。然而,神经网络的构建集合是一个具有挑战性的任务,因为除了为整个集合的每个成员选择正确的神经结构或超参数之外,还有增加训练每个模型的成本。我们提出了一种自动化方法,用于生成深神经网络的集合。我们的方法利用联合神经结构和封锁统计数据搜索来生成合奏。我们使用总方差定律来分解深度集成的预测方差,进入炼层(数据)和认知(模型)的不确定性。我们展示了AutodeUQ优于概率的概率BackProjagation,Monte Carlo辍学,深组合,无分配的集合以及多元回归基准的超集合方法。
translated by 谷歌翻译