In this paper, we propose a method for selecting the optimal footholds for legged systems. The goal of the proposed method is to find the best foothold for the swing leg on a local elevation map. We apply the Convolutional Neural Network to learn the relationship between the local elevation map and the quality of potential footholds. The proposed network evaluates the geometrical characteristics of each cell on the elevation map, checks kinematic constraints and collisions. During execution time, the controller obtains the qualitative measurement of each potential foothold from the neural model. This method allows to evaluate hundreds of potential footholds and check multiple constraints in a single step which takes 10~ms on a standard computer without GPGPU. The experiments were carried out on a quadruped robot walking over rough terrain in both simulation and real robotic platforms.

在粗糙的地形上的动态运动需要准确的脚部放置，避免碰撞以及系统的动态不足的计划。在存在不完美且常常不完整的感知信息的情况下，可靠地优化此类动作和互动是具有挑战性的。我们提出了一个完整的感知，计划和控制管道，可以实时优化机器人所有自由度的动作。为了减轻地形所带来的数值挑战，凸出不平等约束的顺序被提取为立足性可行性的局部近似值，并嵌入到在线模型预测控制器中。每个高程映射预先计算了步骤性分类，平面分割和签名的距离场，以最大程度地减少优化过程中的计算工作。多次射击，实时迭代和基于滤波器的线路搜索的组合用于可靠地以高速率解决该法式问题。我们在模拟中的间隙，斜率和踏上石头的情况下验证了所提出的方法，并在Anymal四倍的平台上进行实验，从而实现了最新的动态攀登。

在机器人研究中，在不平坦的地形中安全导航是一个重要的问题。在本文中，我们提出了一个2.5D导航系统，该系统包括高程图构建，路径规划和本地路径，随后避免了障碍。对于本地路径，我们使用模型预测路径积分（MPPI）控制方法。我们为MPPI提出了新的成本功能，以使其适应高程图和通过不平衡运动。我们在多个合成测试和具有不同类型的障碍物和粗糙表面的模拟环境中评估系统。

通常，地形几何形状是非平滑的，非线性的，非凸的，如果通过以机器人为中心的视觉单元感知，则似乎部分被遮住且嘈杂。这项工作介绍了能够实时处理上述问题的完整控制管道。我们制定了一个轨迹优化问题，该问题可以在基本姿势和立足点上共同优化，但要遵守高度图。为了避免收敛到不良的本地Optima，我们部署了逐步的优化技术。我们嵌入了一个紧凑的接触式自由稳定性标准，该标准与非平板地面公式兼容。直接搭配用作转录方法，导致一个非线性优化问题，可以在少于十毫秒内在线解决。为了在存在外部干扰的情况下增加鲁棒性，我们用动量观察者关闭跟踪环。我们的实验证明了爬楼梯，踏上垫脚石上的楼梯，并利用各种动态步态在缝隙上。

This work is on vision-based planning strategies for legged robots that separate locomotion planning into foothold selection and pose adaptation. Current pose adaptation strategies optimize the robot's body pose relative to given footholds. If these footholds are not reached, the robot may end up in a state with no reachable safe footholds. Therefore, we present a Vision-Based Terrain-Aware Locomotion (ViTAL) strategy that consists of novel pose adaptation and foothold selection algorithms. ViTAL introduces a different paradigm in pose adaptation that does not optimize the body pose relative to given footholds, but the body pose that maximizes the chances of the legs in reaching safe footholds. ViTAL plans footholds and poses based on skills that characterize the robot's capabilities and its terrain-awareness. We use the 90 kg HyQ and 140 kg HyQReal quadruped robots to validate ViTAL, and show that they are able to climb various obstacles including stairs, gaps, and rough terrains at different speeds and gaits. We compare ViTAL with a baseline strategy that selects the robot pose based on given selected footholds, and show that ViTAL outperforms the baseline.

这项研究受到人类行为的启发，提议使用探测策略，并将其整合到遍布性分析框架中，以解决未知的粗糙地形上的安全导航。我们的框架将可折叠信息整合到我们现有的遍历性分析中，因为仅视力和几何信息可能会被不可预测的非刚性地形（例如柔软的土壤，灌木丛或水坑）误导。通过新的遍历性分析框架，我们的机器人对不可预测的地形进行了更全面的评估，这对于其在室外环境中的安全至关重要。该管道首先使用RGB-D摄像头确定地形的几何和语义性能，并在可疑地形上探测位置。使用力传感器对这些区域进行探测，以确定机器人在其上面时崩溃的风险。该风险被称为可折叠度度量，该指标估计了不可预测的区域的地面可折叠性。此后，将可折叠性度量以及几何和语义空间数据结合在一起，并分析以产生全局和局部穿术网格图。这些遍历性网格地图告诉机器人是否可以安全地跨越地图的不同区域。然后使用网格图来生成机器人的最佳路径，以安全地导航其目标。在模拟和现实世界实验中，我们的方法已在四足动物的机器人上成功验证。

随着腿部机器人和嵌入式计算都变得越来越有能力，研究人员已经开始专注于这些机器人的现场部署。在非结构化环境中的强大自治需要对机器人周围的世界感知，以避免危害。但是，由于处理机车动力学所需的复杂规划人员和控制器，因此在网上合并在线的同时在线保持敏捷运动对腿部机器人更具挑战性。该报告将比较三种最新的感知运动方法，并讨论可以使用视觉来实现腿部自主权的不同方式。

本文介绍了使用腿收割机进行精密收集任务的集成系统。我们的收割机在狭窄的GPS拒绝了森林环境中的自主导航和树抓取了一项挑战性的任务。提出了映射，本地化，规划和控制的策略，并集成到完全自主系统中。任务从使用定制的传感器模块开始使用人员映射感兴趣区域。随后，人类专家选择树木进行收获。然后将传感器模块安装在机器上并用于给定地图内的本地化。规划算法在单路径规划问题中搜索一个方法姿势和路径。我们设计了一个路径，后面的控制器利用腿的收割机的谈判粗糙地形的能力。在达接近姿势时，机器用通用夹具抓住一棵树。此过程重复操作员选择的所有树。我们的系统已经在与树干和自然森林中的测试领域进行了测试。据我们所知，这是第一次在现实环境中运行的全尺寸液压机上显示了这一自主权。

尽管腿部机器人运动取得了进展，但在未知环境中的自主导航仍然是一个空旷的问题。理想情况下，导航系统在不确定性下在安全限制内运行时，利用机器人的运动功能的全部潜力。机器人必须感知和分析周围地形的遍历性，这取决于硬件，运动控制和地形特性。它可能包含有关穿越地形所需的风险，能量或时间消耗的信息。为了避免手工制作的遍历成本功能，我们建议通过使用物理模拟器在随机生成的地形上模拟遍历的遍历策略，以收集有关机器人和运动策略的遍历性信息。在现实中使用的相同的运动策略并行控制了数千个机器人，以获得57年的现实运动体验。对于在Real机器人上的部署，培训了一个稀疏的卷积网络，以预测模拟的遍历性成本，该成本是根据已部署的运动策略量身定制的，它是从环境的完全几何表示，以3D素体占用图的形式。该表示避免了对常用的高程图的需求，在存在悬垂障碍物以及多层或低天花板方案的情况下，这些图形图很容易出错。在各种室内和自然环境中，为腿部机器人Anymal的路径计划证明了拟议的遍历性预测网络的有效性。

在腿的运动中重新规划对于追踪所需的用户速度，在适应地形并拒绝外部干扰的同时至关重要。在这项工作中，我们提出并测试了实验中的实时非线性模型预测控制（NMPC），用于腿部机器人，以实现各种地形上的动态运动。我们引入了一种基于移动性的标准来定义NMPC成本，增强了二次机器人的运动，同时最大化腿部移动性并提高对地形特征的适应。我们的NMPC基于实时迭代方案，使我们能够以25美元的价格重新计划在线，\ Mathrm {Hz} $ 2 $ 2 $ 2美元的预测地平线。我们使用在质量框架中心中定义的单个刚体动态模型，以提高计算效率。在仿真中，测试NMPC以横穿一组不同尺寸的托盘，走进V形烟囱，并在崎岖的地形上招揽。在真实实验中，我们展示了我们的NMPC与移动功能的有效性，使IIT为87美元\，\ Mathrm {kg} $四分之一的机器人HIQ，以实现平坦地形上的全方位步行，横穿静态托盘，并适应在散步期间重新定位托盘。

用多腿机器人的动态跳跃在规划和控制方面提出了一个具有挑战性的问题。制定跳转优化以允许快速在线执行难;有效地使用这种能够生成长地平轨迹的能力进一步复杂化问题。在这项工作中，我们提出了一种新的分层规划框架来解决这个问题。我们首先制定了一个实时的轨道轨迹优化，用于执行全向跳跃。然后，我们将该优化的结果嵌入到低维跳转可行性分类器中。该分类器由高级策划器利用，以产生动态可行的路径，并且对硬件轨迹实现中的可变性也很稳健。我们在迷你猎豹视觉上部署我们的框架，展示了机器人的生成和执行可靠的目标导向路径，这些路径涉及前进，横向和旋转跳跃到比机器人的标称臀部高度高1.35倍。通过全向跳跃计划的能力极大地扩展了机器人相对于限制跳跃到矢状或前平面的规划者的移动性。

在试图在为人类建立的世界中执行有用任务的类人形机器人时，我们解决了自主运动的问题。人形机器人计划和控制算法在崎rough地形上行走的算法变得越来越有能力。同时，市售的深度摄像机已经变得越来越准确，而GPU计算已成为AI研究中的主要工具。在本文中，我们提出了一个新建造的行为控制系统，用于实现快速，自主，两足步行，而无需暂停或审议。我们使用最近发表的快速平面区域感知算法，基于高度图的身体路径计划器，A*脚步计划器和基于动量的步行控制器来实现这一目标。我们将这些元素放在一起，形成一个由现代软件开发实践和仿真工具支持的行为控制系统。

我们提出并通过实验证明了双层机器人的反应性规划系统，在未开发，具有挑战性的地形上。该系统由低频规划线（5Hz）组成，用于找到渐近最佳路径和高频无功螺纹（300Hz）以适应机器人偏差。规划线程包括：多层本地地图，以计算地形上机器人的拖拉性;任何时间的全向控制Lyapunov函数（CLF），用于快速探索随机树星（RRT *），它会生成一个矢量字段，用于指定节点之间的运动;当最终目标位于当前地图之外时，子目标查找器;和一个有限状态的机器来处理高级任务决策。该系统还包括反应线，以避免在执行路径后用传统的RRT *算法出现的非平滑运动。具有机器人偏差的反应线应对，同时通过矢量字段（由闭环反馈策略定义）消除非平滑运动，其为机器人的步态控制器提供实时控制命令作为瞬时机器人姿势的函数。该系统在Cassie Blue的模拟和实验中进行了各种具有挑战性的户外地形和杂乱的室内场景，这是一个具有20个自由度的双模型机器人。所有实现在C ++中编码了机器人操作系统（ROS），可在https://github.com/umich-bipedlab/clf_reactive_planning_system中获得。

生物启发的六角形机器人是在艺术技术和应用中的机器人中相对年轻的分支。尽管它们的冗余设计具有高度的灵活性和适应性，但符合其能力的研究领域仍然非常缺乏。本文将被提出最先进的六足动物机器人特定控制架构，其允许完全控制机器人速度，身体方向和步行步态类型。此外，将深入研究地形互动，导致发展地形调整控制算法，该算法将允许机器人迅速地对地形形状和诸如工作空间内的非线性和非连续性作出反应。它将被呈现一个动态模型，导致源自六足球运动的解释与基本平台PKM机器相当，并且通过Matlab SimMechanicStm物理模拟验证所述模型。然后，可以开发一种能够识别腿部地形触摸和反应以确保运动稳定性的反馈控制系统。最后，据报道，来自基于Phantomx Ax Methal Hexapod Mark II机器人平台的实验活动来源的结果是通过Trossen织机织机械度。

我们提出了一种基于学习的方法，以通过穿越城市环境的移动机器人来重建当地地形进行机车。使用板载摄像头和机器人轨迹的深度测量流，该算法估计机器人附近的地形。这些相机的原始测量值嘈杂，仅提供部分和遮挡的观察结果，在许多情况下，这些观察结果并未显示机器人所占据的地形。因此，我们提出了一个3D重建模型，该模型忠实地重建了场景，尽管嘈杂的测量和大量丢失的数据来自相机布置的盲点。该模型由点云上的4D完全卷积网络组成，该网络学习了几何先验，以从上下文中完成场景和自动回归反馈，以利用时空的一致性并使用过去的证据。该网络只能通过合成数据对网络进行训练，并且由于广泛的增强，它在现实世界中是强大的，如四足机器人（Anymal）验证中所示，Anymal，遍历具有挑战性的设置。我们使用有效的稀疏张量实现在机器人的机载低功率计算机上运行管道，并表明所提出的方法的表现优于经典地图表示。

受数字孪生系统的启发，开发了一个新型的实时数字双框架，以增强机器人对地形条件的感知。基于相同的物理模型和运动控制，这项工作利用了与真实机器人同步的模拟数字双重同步，以捕获和提取两个系统之间的差异信息，这两个系统提供了多个物理数量的高维线索，以表示代表差异建模和现实世界。柔软的，非刚性的地形会导致腿部运动中常见的失败，因此，视觉感知完全不足以估计地形的这种物理特性。我们使用了数字双重来开发可折叠性的估计，这通过动态步行过程中的物理互动来解决此问题。真实机器人及其数字双重双重测量之间的感觉测量的差异用作用于地形可折叠性分析的基于学习的算法的输入。尽管仅在模拟中受过培训，但学习的模型可以在模拟和现实世界中成功执行可折叠性估计。我们对结果的评估表明，对不同方案和数字双重的优势的概括，可在地面条件下可靠地检测到细微差别。

Visual Teach and Repeat 3 (VT&R3), a generalization of stereo VT&R, achieves long-term autonomous path-following using topometric mapping and localization from a single rich sensor stream. In this paper, we improve the capabilities of a LiDAR implementation of VT&R3 to reliably detect and avoid obstacles in changing environments. Our architecture simplifies the obstacle-perception problem to that of place-dependent change detection. We then extend the behaviour of generic sample-based motion planners to better suit the teach-and-repeat problem structure by introducing a new edge-cost metric paired with a curvilinear planning space. The resulting planner generates naturally smooth paths that avoid local obstacles while minimizing lateral path deviation to best exploit prior terrain knowledge. While we use the method with VT&R, it can be generalized to suit arbitrary path-following applications. Experimental results from online run-time analysis, unit testing, and qualitative experiments on a differential drive robot show the promise of the technique for reliable long-term autonomous operation in complex unstructured environments.

我们利用了肢体机器人互动和预言的互补优势，实现了点球导航。腿系统能够穿过比轮式机器人更复杂的地形，而是为了充分利用这种能力，我们需要导航系统中的高级路径规划仪，了解在不同地形上的低级运动策略的步行能力。我们通过使用壁虎搜寻反馈来实现这一目标来估计行走政策的安全操作限制，并感知意外障碍和地形性质，如可能被视力错过的地面的平滑度或柔软度。导航系统使用车载相机来生成占用映射和相应的成本图以实现目标。然后，FMM（快速行进方法）规划器然后生成目标路径。速度命令生成器将此作为输入，以从安全顾问，意外障碍和地形速度限制生成作为输入附加约束的机车策略的所需速度。与轮式机器人（Logobot）基线（Logobot）基线和其他具有不相交的基调规划和低级控制的基线显示出卓越的性能。我们还在具有板载传感器和计算的Quadruped Robot上显示了我们系统的真实部署。 https://navigation-locomotion.github.io/camera-ready的视频

惯性测量单元（IMU）在机器人研究中无处不在。它为机器人提供了姿势信息，以实现平衡和导航。但是，人类和动物可以在没有精确的方向或位置值的情况下感知其身体在环境中的运动。这种互动固有地涉及感知和动作之间的快速反馈回路。这项工作提出了一种端到端方法，该方法使用高维视觉观察和动作命令来训练视觉自模型进行腿部运动。视觉自模型学习机器人身体运动与地面纹理之间的空间关系从图像序列变化。我们证明机器人可以利用视觉自模型来实现机器人在训练过程中看不见的现实环境中的各种运动任务。通过我们提出的方法，机器人可以在没有IMU的情况下或在没有GPS或弱地磁场的环境中进行运动，例如该市的室内和Urban Canyons。

机器人导航传统上依赖于构建用于计划无碰撞轨迹的显式映射到所需的目标。在可变形的复杂地形中，使用基于几何的方法可以不能找到由于错误的可变形物体而像刚性和不可能的那样的路径。相反，我们学习预测地形区域的可迁移性以及更喜欢更容易导航的区域的估计（例如，小草上的小灌木）。与规范动态模型相比，我们而不是预测碰撞，而不是在实现的错误上回归。我们用一个政策方法训练，导致使用跨模拟和现实世界的培训数据分裂的50分钟的成功导航政策。我们基于学习的导航系统是一个示例高效的短期计划，我们在通过包括草原和森林的各种地形导航的清晰路径哈士摩克