在装满静态或动态障碍物的混乱环境中，机器人手臂对快速移动物体的实时拦截只允许几十毫秒的反应时间，因此，对先进的机器人计划算法非常具有挑战性和艰巨例如，多种机器人技能并行捕获动态对象并避免障碍。本文提出了一个统一的机器人路径计划框架，该框架通过嵌入事件流中包含的高维时间信息，以将安全的轨迹和碰撞轨迹区分到具有预先构造的2D密度连接图的低维空间中。然后，我们利用快速的图形传感策略来生成必要的电动机命令，以有效地避免接近障碍物，同时拦截快速移动的对象。我们方法论的最独特的特征是在基于深层流形学习的相同算法框架内进行对象截距和避免障碍物。通过利用高效的基于扩散图的变异自动编码和扩展的卡尔曼滤波器（EKF），我们仅使用板载感应和计算来证明我们的方法在自主的7-DOF机器人臂上的有效性。我们的机器人操纵器能够避免使用不同尺寸和形状的多个障碍，同时成功捕获了以正常速度以不同角度手动扔的快速移动的软球。可以在https://sites.google.com/view/multirobotskill/home中找到我们实验的完整视频演示。
translated by 谷歌翻译
为了实现无冲突的人机合作，机器人代理需要巧妙地避免在实现集体目标的同时不断地移动障碍。有时，这些障碍甚至可以同时改变其3D形状和形式，因此是“无定形的”。为此，本文提出了动态的无定形障碍物避免（DAO-A）的问题，在该问题中，机器人的手臂可以右翼避免动态产生的障碍，从而不断改变其轨迹和3D形式。具体来说，我们为机器人臂引入了一种新颖的控制策略，该策略既利用拓扑流形学习，又利用最新的深度学习进步。我们在模拟和物理实验中使用7多型机器人操纵器测试我们的学习框架，该机器人令人满意地学习并综合了避免以前未见的障碍的现实技能，同时产生了新颖的动作，以实现预定的运动目标。最值得注意的是，对于给定的机器人操纵器而言，我们学到的学到的方法可以避免使用任意和看不见的移动轨迹的任何数量的3D障碍
translated by 谷歌翻译
自主机器人应在现实世界中的动态环境中运行，并与人类在紧密的空间中合作。允许机器人离开结构化实验室和制造设置的关键组成部分是他们与周围世界的在线和实时碰撞评估的能力。基于距离的约束是使机器人计划行动并安全采取行动，保护人类及其硬件的基础。但是，不同的应用需要不同的距离分辨率，从而导致各种启发式方法测量距离场W.R.T.障碍物在计算上很昂贵，并阻碍了他们在动态障碍避免用例中的应用。我们提出了正则签名的距离距离（REDSDF），这是一个单个神经隐式函数，可以在任何规模上计算平滑距离场，并在高维歧管上具有细粒度的分辨率和像人类这样的明确物体，这要归功于我们的有效数据生成和A训练过程中简单的感应偏置。我们证明了我们的方法在共享工作区中的全身控制（WBC）和安全的人类机器人相互作用（HRI）中的代表性模拟任务中的有效性。最后，我们在使用移动操纵器机器人的HRI移交任务中提供了现实世界应用的概念证明。
translated by 谷歌翻译
The field of autonomous mobile robots has undergone dramatic advancements over the past decades. Despite achieving important milestones, several challenges are yet to be addressed. Aggregating the achievements of the robotic community as survey papers is vital to keep the track of current state-of-the-art and the challenges that must be tackled in the future. This paper tries to provide a comprehensive review of autonomous mobile robots covering topics such as sensor types, mobile robot platforms, simulation tools, path planning and following, sensor fusion methods, obstacle avoidance, and SLAM. The urge to present a survey paper is twofold. First, autonomous navigation field evolves fast so writing survey papers regularly is crucial to keep the research community well-aware of the current status of this field. Second, deep learning methods have revolutionized many fields including autonomous navigation. Therefore, it is necessary to give an appropriate treatment of the role of deep learning in autonomous navigation as well which is covered in this paper. Future works and research gaps will also be discussed.
translated by 谷歌翻译
我们提出了一种具有动态障碍的生物学启发方法，以避免动态障碍。路径计划是在自组织神经网络（SONN）产生的机器人的凝结配置空间中进行的。机器人本身和静态障碍物以及动态障碍物通过笛卡尔任务空间映射到构造空间，并通过预报的运动学绘制到配置空间。冷凝空间代表了环境的认知图，该图是受位置细胞和哺乳动物大脑认知图的概念的启发。培训数据的产生以及评估是在伴随模拟的实际工业机器人上进行的。为了评估不断变化的环境中无动碰撞在线计划，实现了演示者。然后，对基于样本的计划者进行了比较研究。因此，我们可以证明该机器人能够在动态变化的环境中运行，并在印象0.02秒内重新计划其运动轨迹，从而证明我们概念的实时能力。
translated by 谷歌翻译
工业机器人操纵器（例如柯机）的应用可能需要在具有静态和非静态障碍物组合的环境中有效的在线运动计划。当可用的计算时间受到限制或无法完全产生解决方案时，现有的通用计划方法通常会产生较差的质量解决方案。我们提出了一个新的运动计划框架，旨在在用户定义的任务空间中运行，而不是机器人的工作空间，该框架有意将工作空间一般性交易，以计划和执行时间效率。我们的框架自动构建在线查询的轨迹库，类似于利用离线计算的以前方法。重要的是，我们的方法还提供了轨迹长度上有限的次级优势保证。关键的想法是建立称为$ \ epsilon $ -Gromov-Hausdorff近似值的近似异构体，以便在任务空间附近的点也很接近配置空间。这些边界关系进一步意味着可以平稳地串联轨迹，这使我们的框架能够解决批次查询方案，目的是找到最小长度的轨迹顺序，这些轨迹访问一组无序的目标。我们通过几种运动型配置评估了模拟框架，包括安装在移动基础上的操纵器。结果表明，我们的方法可实现可行的实时应用，并为扩展其功能提供了有趣的机会。
translated by 谷歌翻译
休眠季节葡萄树修剪需要熟练的季节性工人，这在冬季变得越来越缺乏。随着在短期季节性招聘文化和低工资的短期季节性招聘文化和低工资的时间内，随着工人更少的葡萄藤，葡萄藤往往被修剪不一致地导致葡萄化物不平衡。除此之外，目前现有的机械方法无法选择性地修剪葡萄园和手动后续操作，通常需要进一步提高生产成本。在本文中，我们展示了崎岖，全自治机器人的设计和田间评估，用于休眠季节葡萄园的端到最终修剪。该设计的设计包括新颖的相机系统，运动冗余机械手，地面机器人和在感知系统中的新颖算法。所提出的研究原型机器人系统能够在213秒/葡萄藤中完全从两侧刺激一排藤蔓，总修枝精度为87％。与机械预灌浆试验相比，商业葡萄园中自治系统的初始现场测试显示出休眠季节修剪的显着变化。在手稿中描述了设计方法，系统组件，经验教训，未来增强以及简要的经济分析。
translated by 谷歌翻译
Trajectory optimization (TO) aims to find a sequence of valid states while minimizing costs. However, its fine validation process is often costly due to computationally expensive collision searches, otherwise coarse searches lower the safety of the system losing a precise solution. To resolve the issues, we introduce a new collision-distance estimator, GraphDistNet, that can precisely encode the structural information between two geometries by leveraging edge feature-based convolutional operations, and also efficiently predict a batch of collision distances and gradients through 25,000 random environments with a maximum of 20 unforeseen objects. Further, we show the adoption of attention mechanism enables our method to be easily generalized in unforeseen complex geometries toward TO. Our evaluation show GraphDistNet outperforms state-of-the-art baseline methods in both simulated and real world tasks.
translated by 谷歌翻译
近年来，空中机器人背景下的高速导航和环境互动已成为几个学术和工业研究研究的兴趣领域。特别是，由于其若干环境中的潜在可用性，因此搜索和拦截（SAI）应用程序造成引人注目的研究区域。尽管如此，SAI任务涉及有关感官权重，板载计算资源，致动设计和感知和控制算法的具有挑战性的发展。在这项工作中，已经提出了一种用于高速对象抓握的全自动空中机器人。作为一个额外的子任务，我们的系统能够自主地刺穿位于靠近表面的杆中的气球。我们的第一款贡献是在致动和感觉水平的致动和感觉水平的空中机器人的设计，包括具有额外传感器的新型夹具设计，使机器人能够高速抓住物体。第二种贡献是一种完整的软件框架，包括感知，状态估计，运动计划，运动控制和任务控制，以便快速且强大地执行自主掌握任务。我们的方法已在一个具有挑战性的国际竞争中验证，并显示出突出的结果，能够在室外环境中以6米/分来自动搜索，遵循和掌握移动物体
translated by 谷歌翻译
在本文中，我们关注将基于能量的模型（EBM）作为运动优化的指导先验的问题。 EBM是一组神经网络，可以用合适的能量函数参数为参数的GIBBS分布来表示表达概率密度分布。由于其隐含性，它们可以轻松地作为优化因素或运动优化问题中的初始采样分布整合在一起，从而使它们成为良好的候选者，以将数据驱动的先验集成在运动优化问题中。在这项工作中，我们提出了一组所需的建模和算法选择，以使EBMS适应运动优化。我们调查了将其他正规化器在学习EBM中的好处，以将它们与基于梯度的优化器一起使用，并提供一组EBM架构，以学习用于操纵任务的可通用分布。我们提出了多种情况，可以将EBM集成以进行运动优化，并评估学到的EBM的性能，以指导模拟和真实机器人实验的指导先验。
translated by 谷歌翻译
逆运动学（IK）解决了从笛卡尔空间到机器人臂的关节配置空间的映射问题。它在计算机图形，蛋白质结构预测和机器人技术等领域具有广泛的应用。随着人工神经网络（NNS）的巨大进步，许多研究人员最近转向了以数据为导向的方法来解决IK问题。不幸的是，NNS因繁殖度（DOFS）的机器人臂而变得不足。这是因为这样的臂可能具有多个角度解决方案以达到相同的所需姿势，而典型的NNS仅实现一对一的映射功能，这仅将一个一致的输出与给定输入相关联。为了培训可用的NNS解决IK问题，大多数现有的作品都采用定制的培训数据集，其中每个所需的姿势只有一个角度解决方案。这不可避免地限制了拟议方法的概括和自动化。本文在两个方面打破了：（1）一种涵盖机器人臂的整个工作空间的系统和机械方法，可以完全自动化，并且在手臂开发后只能完成一次； （2）一种基于NN的新型框架，可以利用冗余DOF为任何给定所需的机器人臂的姿势产生多角度解。后者对于机器人应用特别有用，例如避免障碍物和姿势模仿。
translated by 谷歌翻译
在这项工作中，我们提出了一个基于工作空间的计划框架，尽管它使用冗余工作空间密钥点代表机器人状态，但可以利用可解释的几何信息，从而为复杂的机器人提供高质量的无碰撞路径。使用工作空间几何形状，我们首先找到每个钥匙点的无碰撞线性路径，以便在每个段的端点上，在密钥点之间满足距离约束。使用这些零件线性路径作为初始条件，我们可以执行优化步骤，以快速找到满足各种约束并将所有段组合在一起以获得有效路径的路径。我们表明，这些调整后的路径不太可能造成碰撞，并且建议的方法很快，可以产生良好的效果。
translated by 谷歌翻译
快速，可靠地找到准确的逆运动学（IK）解决方案仍然是机器人操纵的挑战性问题。现有的数值求解器广泛适用，但依赖于本地搜索技术来管理高度非关键目标函数。最近，基于学习的方法已显示出有望作为生成快速准确的IK结果的一种手段。可以轻松地将学习的求解器与端到端系统中的其他学习算法集成在一起。但是，基于学习的方法具有致命的脚跟：每个感兴趣的机器人都需要一个专门的模型，必须从头开始训练。为了解决这一关键缺点，我们研究了一种新颖的距离几何机器人表示，并与图形结构相结合，使我们能够利用图形神经网络（GNNS）的灵活性。我们使用这种方法来训练第一个学到的生成图形逆运动学（GGIK）求解器，它至关重要的是，“机器人 - 敏捷” - 单个模型能够为各种不同的机器人提供IK解决方案。此外，GGIK的生成性质使求解器可以同时生产大量不同的解决方案，并与最小的额外计算时间同行，使其适用于诸如基于采样的运动计划之类的应用。最后，GGIK可以通过提供可靠的初始化来补充本地IK求解器。这些优势以及使用与任务相关的先验并通过新数据不断改进的能力表明，GGIK有可能成为灵活的，基于学习的机器人操作系统的关键组成部分。
translated by 谷歌翻译
内部计算模型的物理体是机器人和动物的能力来规划和控制行动的基础。这些“自我模型”允许机器人考虑多种可能的未来行动的结果，而不会在物理现实中尝试。最近的完全数据驱动自建模中的进展使机器能够直接从任务 - 不可行的交互数据学习自己的前瞻性运动学。然而，前进kinema \ -tics模型只能预测形态的有限方面，例如关节和肿块的最终效果或速度的位置。一个关键的挑战是模拟整个形态和运动学，而无需先验知识的形态的哪些方面与未来的任务相关。在这里，我们建议，而不是直接建模前瞻性，更有用的自我建模形式是一个可以回答空间占用查询的形式，而是在机器人的状态下调节空间占用疑问。这种查询驱动的自模型在空间域中是连续的，内存高效，完全可分辨：运动感知。在物理实验中，我们展示了视觉自我模型是如何准确到工作空间的百分比，使机器人能够执行各种运动规划和控制任务。视觉自我建模还可以让机器人从真实世界损坏中检测，本地化和恢复，从而提高机器弹性。我们的项目网站是：https://robot-morphology.cs.columbia.edu/
translated by 谷歌翻译
本文着重于影响弹性的移动机器人的碰撞运动计划和控制的新兴范式转移，并开发了一个统一的层次结构框架，用于在未知和部分观察的杂物空间中导航。在较低级别上，我们开发了一种变形恢复控制和轨迹重新启动策略，该策略处理可能在本地运行时发生的碰撞。低级系统会积极检测碰撞（通过内部内置的移动机器人上的嵌入式霍尔效应传感器），使机器人能够从其内部恢复，并在本地调整后影响后的轨迹。然后，在高层，我们提出了一种基于搜索的计划算法，以确定如何最好地利用潜在的碰撞来改善某些指标，例如控制能量和计算时间。我们的方法建立在A*带有跳跃点的基础上。我们生成了一种新颖的启发式功能，并进行了碰撞检查和调整技术，从而使A*算法通过利用和利用可能的碰撞来更快地收敛到达目标。通过将全局A*算法和局部变形恢复和重新融合策略以及该框架的各个组件相结合而生成的整体分层框架在模拟和实验中都经过了广泛的测试。一项消融研究借鉴了与基于搜索的最先进的避免碰撞计划者（用于整体框架）的链接，以及基于搜索的避免碰撞和基于采样的碰撞 - 碰撞 - 全球规划师（对于更高的较高的碰撞 - 等级）。结果证明了我们的方法在未知环境中具有碰撞的运动计划和控制的功效，在2D中运行的一类撞击弹性机器人具有孤立的障碍物。
translated by 谷歌翻译
本文介绍了Cerberus机器人系统系统，该系统赢得了DARPA Subterranean挑战最终活动。出席机器人自主权。由于其几何复杂性，降解的感知条件以及缺乏GPS支持，严峻的导航条件和拒绝通信，地下设置使自动操作变得特别要求。为了应对这一挑战，我们开发了Cerberus系统，该系统利用了腿部和飞行机器人的协同作用，再加上可靠的控制，尤其是为了克服危险的地形，多模式和多机器人感知，以在传感器退化，以及在传感器退化的条件下进行映射以及映射通过统一的探索路径计划和本地运动计划，反映机器人特定限制的弹性自主权。 Cerberus基于其探索各种地下环境及其高级指挥和控制的能力，表现出有效的探索，对感兴趣的对象的可靠检测以及准确的映射。在本文中，我们报告了DARPA地下挑战赛的初步奔跑和最终奖项的结果，并讨论了为社区带来利益的教训所面临的亮点和挑战。
translated by 谷歌翻译
尽管移动操作在工业和服务机器人技术方面都重要，但仍然是一个重大挑战，因为它需要将最终效应轨迹的无缝整合与导航技能以及对长匹马的推理。现有方法难以控制大型配置空间，并导航动态和未知环境。在先前的工作中，我们建议将移动操纵任务分解为任务空间中最终效果的简化运动生成器，并将移动设备分解为训练有素的强化学习代理，以说明移动基础的运动基础，以说明运动的运动可行性。在这项工作中，我们引入了移动操作的神经导航（n $^2 $ m $^2 $），该导航将这种分解扩展到复杂的障碍环境，并使其能够解决现实世界中的广泛任务。最终的方法可以在未探索的环境中执行看不见的长马任务，同时立即对动态障碍和环境变化做出反应。同时，它提供了一种定义新的移动操作任务的简单方法。我们证明了我们提出的方法在多个运动学上多样化的移动操纵器上进行的广泛模拟和现实实验的能力。代码和视频可在http://mobile-rl.cs.uni-freiburg.de上公开获得。
translated by 谷歌翻译
神经辐射场（NERF）最近被成为自然，复杂3D场景的代表的强大范例。 NERFS表示神经网络中的连续体积密度和RGB值，并通过射线跟踪从看不见的相机观点生成照片逼真图像。我们提出了一种算法，用于通过仅使用用于本地化的板载RGB相机表示为NERF的3D环境导航机器人。我们假设现场的NERF已经预先训练了离线，机器人的目标是通过NERF中的未占用空间导航到目标姿势。我们介绍了一种轨迹优化算法，其避免了基于NERF中的高密度区域的碰撞，其基于差分平整度的离散时间版本，其可用于约束机器人的完整姿势和控制输入。我们还介绍了基于优化的过滤方法，以估计单位的RGB相机中的NERF中机器人的6dof姿势和速度。我们将轨迹策划器与在线重新循环中的姿势过滤器相结合，以提供基于视觉的机器人导航管道。我们使用丛林健身房环境，教堂内部和巨石阵线导航的四轮车机器人，使用RGB相机展示仿真结果。我们还展示了通过教会导航的全向地面机器人，要求它重新定位以缩小差距。这项工作的视频可以在https://mikh3x4.github.io/nerf-navigation/找到。
translated by 谷歌翻译
本文提出了一种新颖的方法，用于在具有复杂拓扑结构的地下领域的搜索和救援行动中自动合作。作为CTU-Cras-Norlab团队的一部分，拟议的系统在DARPA SubT决赛的虚拟轨道中排名第二。与专门为虚拟轨道开发的获奖解决方案相反，该建议的解决方案也被证明是在现实世界竞争极为严峻和狭窄的环境中飞行的机上实体无人机的强大系统。提出的方法可以使无缝模拟转移的无人机团队完全自主和分散的部署，并证明了其优于不同环境可飞行空间的移动UGV团队的优势。该论文的主要贡献存在于映射和导航管道中。映射方法采用新颖的地图表示形式 - 用于有效的风险意识长距离计划，面向覆盖范围和压缩的拓扑范围的LTVMAP领域，以允许在低频道通信下进行多机器人合作。这些表示形式与新的方法一起在导航中使用，以在一般的3D环境中可见性受限的知情搜索，而对环境结构没有任何假设，同时将深度探索与传感器覆盖的剥削保持平衡。所提出的解决方案还包括一条视觉感知管道，用于在没有专用GPU的情况下在5 Hz处进行四个RGB流中感兴趣的对象的板上检测和定位。除了参与DARPA SubT外，在定性和定量评估的各种环境中，在不同的环境中进行了广泛的实验验证，UAV系统的性能得到了支持。
translated by 谷歌翻译
操纵可变形的线性对象（DLOS）在有障碍的受约束环境中实现所需的形状是一项有意义但具有挑战性的任务。对于这项高度约束的任务是必要的；但是，由于规划人员的可变形性质，计划人员需要的准确模型很难获得，并且不可避免的建模错误会显着影响计划结果，如果机器人只是以开环的方式执行计划的路径，则可能导致任务失败。在本文中，我们提出了一个粗到精细的框架，以结合全球计划和局部控制，以进行双臂操纵DLO，能够精确实现所需的配置并避免DLO，机器人和障碍物之间的潜在碰撞。具体而言，全球规划师是指一个简单而有效的DLO能量模型，并计算出一条粗略的途径，以确保任务的可行性。然后，本地控制器遵循该路径作为指导，并通过闭环反馈进一步塑造它，以补偿计划错误并保证任务的准确性。仿真和现实世界实验都表明，我们的框架可以在使用不精确的DLO模型的受约束环境中稳健地实现所需的DLO配置。仅通过计划或控制就无法可靠地实现。
translated by 谷歌翻译