为了在非结构化环境中安全，成功地导航自动驾驶汽车，地形的穿越性应根据车辆的驾驶能力而变化。实际的驾驶经验可以以自我监督的方式使用来学习特定的轨迹。但是，现有的学习自我监督的方法对于学习各种车辆的遍历性并不可扩展。在这项工作中，我们引入了一个可扩展的框架，用于学习自我监督的遍历性，该框架可以直接从车辆 - 泰林的互动中学习遍历性，而无需任何人类监督。我们训练一个神经网络，该神经网络可以预测车辆从3D点云中经历的本体感受体验。使用一种新颖的PU学习方法，网络同时确定了不可转化的区域，其中估计可以过度自信。通过从模拟和现实世界中收集的各种车辆的驾驶数据，我们表明我们的框架能够学习各种车辆的自我监督的越野性。通过将我们的框架与模型预测控制器整合在一起，我们证明了估计的遍历性会导致有效的导航，从而根据车辆的驾驶特性实现了不同的操作。此外，实验结果验证了我们方法识别和避免不可转化区域的能力。

Traversability estimation for mobile robots in off-road environments requires more than conventional semantic segmentation used in constrained environments like on-road conditions. Recently, approaches to learning a traversability estimation from past driving experiences in a self-supervised manner are arising as they can significantly reduce human labeling costs and labeling errors. However, the self-supervised data only provide supervision for the actually traversed regions, inducing epistemic uncertainty according to the scarcity of negative information. Negative data are rarely harvested as the system can be severely damaged while logging the data. To mitigate the uncertainty, we introduce a deep metric learning-based method to incorporate unlabeled data with a few positive and negative prototypes in order to leverage the uncertainty, which jointly learns using semantic segmentation and traversability regression. To firmly evaluate the proposed framework, we introduce a new evaluation metric that comprehensively evaluates the segmentation and regression. Additionally, we construct a driving dataset `Dtrail' in off-road environments with a mobile robot platform, which is composed of a wide variety of negative data. We examine our method on Dtrail as well as the publicly available SemanticKITTI dataset.

在共同的自主权下，轮椅用户期望车辆在遵循用户高级导航计划的同时提供安全舒适的游乐设施。为了找到这样的道路，车辆与不同的地形进行谈判，并评估其遍历难度。大多数先前的作品通过几何表示或语义分类进行了模型，这并不能反映在下游导航任务中感知的运动强度和骑行舒适性。我们建议使用本体感知感应在遍历性分析中明确对骑行舒适度进行建模。我们开发了一个自我监督的学习框架，以通过利用车辆状态作为训练信号来预测第一人称视图图像的遍历性成本量。我们的方法估计，如果根据地形外观进行遍历，车辆的感觉会如何。然后，我们显示我们的导航系统通过机器人实验以及人类评估研究提供了人类偏爱的骑行舒适性。

用快速自动驾驶汽车导航越野，取决于强大的感知系统，该系统与不可传输的地形区分开来。通常，这取决于语义理解，该语义理解基于人类专家注释的图像的监督学习。这需要对人类时间进行大量投资，假定正确的专家分类，并且小细节可能导致错误分类。为了应对这些挑战，我们提出了一种方法，可以以一种自我监督的方式从过去的车辆体验中预测高风险的地形。首先，我们开发了一种将车辆轨迹投射到前摄像头图像中的工具。其次，在地形的3D表示中的遮挡被过滤掉。第三，在蒙面车辆轨迹区域训练的自动编码器根据重建误差确定低风险和高风险地形。我们通过两种型号和不同的瓶颈评估了我们的方法，并使用了两个不同的训练站点和四轮越野车。与来自类似地形的两个独立的语义标签的独立测试集比较，表明能够将地面作为低风险和植被为高风险，精度为81.1％和85.1％。

估计越野环境中的地形横穿性需要关于机器人和这些地形之间复杂相互作用动态的推理。但是，建立准确的物理模型，或创建有益的标签来以有监督的方式学习模型是有挑战性的。我们提出了一种方法，该方法通过将外部感受性的环境信息与本体感受性的地形相互作用反馈相结合，以自我监督的方式将遍历性成本映像结合在一起。此外，我们提出了一种将机器人速度纳入Costmap预测管道中的新型方法。我们在具有挑战性的越野地形上，在多个大型，自动的全地形车辆（ATV）上验证了我们的方法，并在单独的大型地面机器人上易于集成。我们的短尺寸导航结果表明，使用我们学到的Costmaps可以使整体航行更顺畅，并为机器人提供了对机器人与不同地形类型（例如草和砾石）之间相互作用的更细粒度的了解。我们的大规模导航试验表明，与基于占用率的导航基线相比，我们可以将干预措施的数量减少多达57％，这是在挑战400 m至3150 m不等的越野课程中。

The last decade witnessed increasingly rapid progress in self-driving vehicle technology, mainly backed up by advances in the area of deep learning and artificial intelligence. The objective of this paper is to survey the current state-of-the-art on deep learning technologies used in autonomous driving. We start by presenting AI-based self-driving architectures, convolutional and recurrent neural networks, as well as the deep reinforcement learning paradigm. These methodologies form a base for the surveyed driving scene perception, path planning, behavior arbitration and motion control algorithms. We investigate both the modular perception-planning-action pipeline, where each module is built using deep learning methods, as well as End2End systems, which directly map sensory information to steering commands. Additionally, we tackle current challenges encountered in designing AI architectures for autonomous driving, such as their safety, training data sources and computational hardware. The comparison presented in this survey helps to gain insight into the strengths and limitations of deep learning and AI approaches for autonomous driving and assist with design choices. 1

我们提出了一种自我监督的方法，用于预测需要良好牵引力才能导航的轮式移动机器人的可穿越路径。我们的算法称为Wayfast（无路线自动驾驶系统用于遍历性），使用RGB和深度数据以及导航经验，自主在室外非结构化环境中自主生成可遍历的路径。我们的主要灵感是，可以使用动力动力学模型估算滚动机器人的牵引力。使用在线退化的视野估计器提供的牵引力估计值，我们能够以自我监督的方式训练遍历性预测神经网络，而无需以前的方法使用的启发式方法。我们通过在各种环境中进行广泛的现场测试来证明Wayfast的有效性，从沙滩到森林檐篷和积雪覆盖的草田不等。我们的结果清楚地表明，Wayfast可以学会避免几何障碍物以及不可传输的地形，例如雪，这很难避免使用仅提供几何数据（例如LiDAR）的传感器。此外，我们表明，基于在线牵引力估计的培训管道比其他基于启发式的方法更有效率。

本文介绍了3D越野地形环境的安全，高效和敏捷的地面车导航算法。越野导航受到3D地形拓扑顶部不同地形条件引起的不确定的车辆 - 透水相互作用。现有的作品仅限于采用过度简化的车辆模型。拟议的算法从驱动数据中学习了地形引起的不确定性，并将学习的不确定性分布编码到路径评估的遍历成本中。然后，设计导航路径以优化不确定性吸引的横穿性成本，从而导致安全而敏捷的车辆操纵。确保实时执行，该算法将在图形处理单元（GPU）上运行的并行计算体系结构中进一步实现。

本文介绍了一种估计植物部件的覆盖路径的可推动性并通过它们用于在富含植物环境中运行的移动机器人的植物部件的迁移性。传统的移动机器人依赖于场景识别方法，其仅考虑环境的几何信息。因此，这些方法不能在柔性植物覆盖时识别出可遍历的路径。在本文中，我们提出了一种基于图像的场景识别的新框架，以实现这种富有的植物环境中的导航。我们的识别模型利用用于通用对象分类的语义分割分支和用于估计像素 - 方向遍历的遍历性估计分支。使用无监督域适配方法训练语义分割分支，并且遍历估计分支的训练，其中在数据获取阶段期间从机器人的遍历经验中产生的标签图像训练，被卷曲的拖拉性掩码。因此，整个模型的培训程序免于手动注释。在我们的实验中，我们表明，所提出的识别框架能够更准确地将可遍历的植物与具有遍历植物和不可遍历的工厂类的传统语义分段进行区分，以及现有的基于图像的可移动性估计方法。我们还进行了一个真实的实验，并确认了具有所提出的识别方法的机器人在富有植物的环境中成功导航。

机器人导航传统上依赖于构建用于计划无碰撞轨迹的显式映射到所需的目标。在可变形的复杂地形中，使用基于几何的方法可以不能找到由于错误的可变形物体而像刚性和不可能的那样的路径。相反，我们学习预测地形区域的可迁移性以及更喜欢更容易导航的区域的估计（例如，小草上的小灌木）。与规范动态模型相比，我们而不是预测碰撞，而不是在实现的错误上回归。我们用一个政策方法训练，导致使用跨模拟和现实世界的培训数据分裂的50分钟的成功导航政策。我们基于学习的导航系统是一个示例高效的短期计划，我们在通过包括草原和森林的各种地形导航的清晰路径哈士摩克

我们提出了Terrapn，这是一种新颖的方法，它可以通过自我监督的学习直接从机器人 - 泰林相互作用中了解复杂室外地形的表面特性（牵引力，颠簸，可变形等），并将其用于自动驾驶机器人导航。我们的方法使用地形表面和机器人的速度的RGB图像作为输入，以及机器人作为自我选择的标签所经历的IMU振动和探测错误。我们的方法计算了一个表面成本图，该图将平滑，高吸收表面（低导航成本）与颠簸，滑水，可变形表面（高导航成本）区分开。我们通过检测表面之间的边界来计算从输入RGB图像的非均匀采样贴片来计算成本图，从而与均匀的采样和现有分割方法相比，导致推理时间较低（低47.27％）。我们提出了一种新颖的导航算法，该算法可以说明表面成本，计算机器人的基于成本的加速度限制以及动态可行的无碰撞轨迹。 Terrapn的表面成本预测可以在约25分钟内进行五个不同的表面进行训练，而先前基于学习的分割方法数小时。在导航方面，我们的方法在成功率（高达35.84％），轨迹的振动成本（降低21.52％）方面优于先前的工作，并在颠簸，可变形的表面上放慢机器人（最高46.76％）在不同的情况下较慢）。

本文介绍了使用腿收割机进行精密收集任务的集成系统。我们的收割机在狭窄的GPS拒绝了森林环境中的自主导航和树抓取了一项挑战性的任务。提出了映射，本地化，规划和控制的策略，并集成到完全自主系统中。任务从使用定制的传感器模块开始使用人员映射感兴趣区域。随后，人类专家选择树木进行收获。然后将传感器模块安装在机器上并用于给定地图内的本地化。规划算法在单路径规划问题中搜索一个方法姿势和路径。我们设计了一个路径，后面的控制器利用腿的收割机的谈判粗糙地形的能力。在达接近姿势时，机器用通用夹具抓住一棵树。此过程重复操作员选择的所有树。我们的系统已经在与树干和自然森林中的测试领域进行了测试。据我们所知，这是第一次在现实环境中运行的全尺寸液压机上显示了这一自主权。

这项研究受到人类行为的启发，提议使用探测策略，并将其整合到遍布性分析框架中，以解决未知的粗糙地形上的安全导航。我们的框架将可折叠信息整合到我们现有的遍历性分析中，因为仅视力和几何信息可能会被不可预测的非刚性地形（例如柔软的土壤，灌木丛或水坑）误导。通过新的遍历性分析框架，我们的机器人对不可预测的地形进行了更全面的评估，这对于其在室外环境中的安全至关重要。该管道首先使用RGB-D摄像头确定地形的几何和语义性能，并在可疑地形上探测位置。使用力传感器对这些区域进行探测，以确定机器人在其上面时崩溃的风险。该风险被称为可折叠度度量，该指标估计了不可预测的区域的地面可折叠性。此后，将可折叠性度量以及几何和语义空间数据结合在一起，并分析以产生全局和局部穿术网格图。这些遍历性网格地图告诉机器人是否可以安全地跨越地图的不同区域。然后使用网格图来生成机器人的最佳路径，以安全地导航其目标。在模拟和现实世界实验中，我们的方法已在四足动物的机器人上成功验证。

通过学习占用和公制地图来解决开放世界越野导航任务的几何方法，提供良好的泛化，但在违反他们的假设（例如，高草）的户外环境中可能是脆弱的。基于学习的方法可以直接从原始观察中学习无碰撞行为，但难以与标准的基于几何的管道集成。这创造了一个不幸的冲突 - 要么使用学习，要么丢失很好的几何导航组件，要么不使用它，或者不使用它，支持广泛的手动调整几何的成本图。在这项工作中，我们通过以一种方式设计学习和非学习的组件来拒绝这种二分法，使得它们可以以自我监督的方式有效地组合。这两个组件都有助于规划标准：学习组件作为奖励有助于预测的可遍历，而几何组件会有助于障碍成本信息。我们实例化并相对评价我们的系统在分销和分发的外部环境中，表明这种方法继承了来自学习和几何成分的互补收益，并显着优于其中任何一个。我们的结果视频在https://sites.google.com/view/hybrid -imitative-planning托管

对于与行人一起运行的移动机器人，对地面基础设施（例如道路和街道交叉路口）进行了牢固的分类。尽管许多语义分割数据集可用于自动驾驶汽车，但在此类数据集中训练的模型在部署在行人空间中的机器人上时表现出较大的域间隙。从行人角度录制的手动注释图像既昂贵又耗时。为了克服这一挑战，我们提出了TrackletMapper，这是一个注释地面类型的框架，例如人行道，道路和街道交叉点，而无需进行人类注销的数据。为此，我们将机器人自我trajectory和其他交通参与者的路径投射到自我视图相机图像中，为多种类型的接地表面创建稀疏的语义注释，从中可以从中训练地面分段模型。我们进一步表明，该模型可以通过汇总地面图并将其投影到相机图像中，从而自行启动，从而获得额外的性能优势，从而与稀疏的踪迹注释相比，创建了一组密集的训练注释。我们在定性和定量上证明了我们在一个新型的大型数据集上，用于在行人区域运营的移动机器人。代码和数据集将在http://trackletmapper.cs.uni-freiburg.de上提供。

自动驾驶的车辆和自动地面机器人需要一种可靠，准确的方法来分析周围环境的遍历以进行安全导航。本文提出并评估了一种基于机器学习的遍历性分析方法，该方法将基于SVM分类器的混合方法中的几何特征与基于外观的特征相结合。特别是，我们表明，整合一组新的几何和视觉特征并专注于重要的实施细节，可以显着提高性能和可靠性。已提出的方法已与最先进的深度学习方法进行了比较。在不同的复杂性方面，它的准确性为89.2％，表明其有效性和鲁棒性。该方法在CPU上完全运行，并在其他方法方面达到可比的结果，运行速度更快，并且需要更少的硬件资源。

Our dataset provides dense annotations for each scan of all sequences from the KITTI Odometry Benchmark [19]. Here, we show multiple scans aggregated using pose information estimated by a SLAM approach.

自动化驾驶系统（广告）开辟了汽车行业的新领域，为未来的运输提供了更高的效率和舒适体验的新可能性。然而，在恶劣天气条件下的自主驾驶已经存在，使自动车辆（AVS）长时间保持自主车辆（AVS）或更高的自主权。本文评估了天气在分析和统计方式中为广告传感器带来的影响和挑战，并对恶劣天气条件进行了解决方案。彻底报道了关于对每种天气的感知增强的最先进技术。外部辅助解决方案如V2X技术，当前可用的数据集，模拟器和天气腔室的实验设施中的天气条件覆盖范围明显。通过指出各种主要天气问题，自主驾驶场目前正在面临，近年来审查硬件和计算机科学解决方案，这项调查概述了在不利的天气驾驶条件方面的障碍和方向的障碍和方向。

休眠季节葡萄树修剪需要熟练的季节性工人，这在冬季变得越来越缺乏。随着在短期季节性招聘文化和低工资的短期季节性招聘文化和低工资的时间内，随着工人更少的葡萄藤，葡萄藤往往被修剪不一致地导致葡萄化物不平衡。除此之外，目前现有的机械方法无法选择性地修剪葡萄园和手动后续操作，通常需要进一步提高生产成本。在本文中，我们展示了崎岖，全自治机器人的设计和田间评估，用于休眠季节葡萄园的端到最终修剪。该设计的设计包括新颖的相机系统，运动冗余机械手，地面机器人和在感知系统中的新颖算法。所提出的研究原型机器人系统能够在213秒/葡萄藤中完全从两侧刺激一排藤蔓，总修枝精度为87％。与机械预灌浆试验相比，商业葡萄园中自治系统的初始现场测试显示出休眠季节修剪的显着变化。在手稿中描述了设计方法，系统组件，经验教训，未来增强以及简要的经济分析。

森林中自主冬季导航所固有的挑战包括缺乏可靠的全球导航卫星系统（GNSS）信号，低特征对比度，高照明变化和变化环境。这种类型的越野环境是一个极端的情况，自治车可能会在北部地区遇到。因此，了解对自动导航系统对这种恶劣环境的影响非常重要。为此，我们介绍了一个现场报告分析亚曲率区域中的教导和重复导航，同时受到气象条件的大变化。首先，我们描述了系统，它依赖于点云注册来通过北方林地定位移动机器人，同时构建地图。我们通过在教学和重复模式下在自动导航中进行了在实验中评估了该系统。我们展示了密集的植被扰乱了GNSS信号，使其不适合在森林径中导航。此外，我们突出了在森林走廊中使用点云登记的定位相关的不确定性。我们证明它不是雪降水，而是影响我们系统在环境中定位的能力的积雪。最后，我们从我们的实地运动中揭示了一些经验教训和挑战，以支持在冬季条件下更好的实验工作。