There is a dramatic shortage of skilled labor for modern vineyards. The Vinum project is developing a mobile robotic solution to autonomously navigate through vineyards for winter grapevine pruning. This necessitates an autonomous navigation stack for the robot pruning a vineyard. The Vinum project is using the quadruped robot HyQReal. This paper introduces an architecture for a quadruped robot to autonomously move through a vineyard by identifying and approaching grapevines for pruning. The higher level control is a state machine switching between searching for destination positions, autonomously navigating towards those locations, and stopping for the robot to complete a task. The destination points are determined by identifying grapevine trunks using instance segmentation from a Mask Region-Based Convolutional Neural Network (Mask-RCNN). These detections are sent through a filter to avoid redundancy and remove noisy detections. The combination of these features is the basis for the proposed architecture.
translated by 谷歌翻译
该项目旨在开发和展示一个具有智力的地面机器人,该机器人能够为不同的低高度蔬菜农作物(称为农业应用程序机器人(AAR))进行半自治的农业运营。AAR是一种轻巧的太阳电动机器人,使用智能感知来进行植物及其特征进行检测和分类。该系统还具有用于自动杂草切割过程的机器人臂。机器人可以向诸如农作物,杂草和其他害虫等靶标的肥料喷涂,杀虫剂,除草剂和其他液体。此外,它为未来对高级任务(例如收益率,农作物和土壤健康监测)的研究提供了信息。我们介绍了机器人的设计和相关的实验,这些实验显示了现实世界环境中有希望的结果。
translated by 谷歌翻译
果树的休眠修剪是维持树木健康和确保高质量果实的重要任务。由于劳动力的可用性降低,修剪是机器人自动化的主要候选者。但是,修剪也代表了机器人的独特困难问题,需要在可变照明条件下以及在复杂的,高度非结构化的环境中进行感知,修剪点的确定和操纵。在本文中,我们介绍了一种用于修剪甜樱桃树的系统(在平面树建筑中,称为直立的果实分支配置),该系统整合了我们先前关于感知和操纵的工作的各种子系统。最终的系统能够完全自主运行,并且需要对环境的最低控制。我们通过在甜蜜的樱桃果园中进行现场试验来验证系统的性能,最终取得了58%的削减速度。尽管不完全稳健,并且需要改善吞吐量,但我们的系统是第一个在果树上运行的系统,并代表了将来可以改进的有用的基础平台。
translated by 谷歌翻译
本文对地面农业机器人系统和应用进行了全面综述,并特别关注收获,涵盖研究,商业产品和结果及其能力技术。大多数文献涉及作物检测的发展,通过视觉及其相关挑战的现场导航。健康监测,产量估计,水状态检查,种子种植和清除杂草经常遇到任务。关于机器人收割,苹果,草莓,西红柿和甜辣椒,主要是出版物,研究项目和商业产品中考虑的农作物。据报道的收获农业解决方案,通常由移动平台,单个机器人手臂/操纵器和各种导航/视觉系统组成。本文回顾了报告的特定功能和硬件的发展,通常是运营农业机器人收割机所要求的;它们包括(a)视觉系统,(b)运动计划/导航方法(对于机器人平台和/或ARM),(c)具有3D可视化的人类机器人交流(HRI)策略,(d)系统操作计划&掌握策略和(e)机器人最终效果/抓手设计。显然,自动化农业,特别是通过机器人系统的自主收获是一个研究领域,它仍然敞开着,在可以做出新的贡献的地方提供了一些挑战。
translated by 谷歌翻译
休眠季节葡萄树修剪需要熟练的季节性工人,这在冬季变得越来越缺乏。随着在短期季节性招聘文化和低工资的短期季节性招聘文化和低工资的时间内,随着工人更少的葡萄藤,葡萄藤往往被修剪不一致地导致葡萄化物不平衡。除此之外,目前现有的机械方法无法选择性地修剪葡萄园和手动后续操作,通常需要进一步提高生产成本。在本文中,我们展示了崎岖,全自治机器人的设计和田间评估,用于休眠季节葡萄园的端到最终修剪。该设计的设计包括新颖的相机系统,运动冗余机械手,地面机器人和在感知系统中的新颖算法。所提出的研究原型机器人系统能够在213秒/葡萄藤中完全从两侧刺激一排藤蔓,总修枝精度为87%。与机械预灌浆试验相比,商业葡萄园中自治系统的初始现场测试显示出休眠季节修剪的显着变化。在手稿中描述了设计方法,系统组件,经验教训,未来增强以及简要的经济分析。
translated by 谷歌翻译
由于它可能对粮食安全,可持续性,资源利用效率,化学处理的降低以及人类努力和产量的优化,因此,自主机器人在农业中的应用正在越来越受欢迎。有了这一愿景,蓬勃发展的研究项目旨在开发一种适应性的机器人解决方案,用于精确耕作,该解决方案结合了小型自动无人驾驶飞机(UAV)(UAV)的空中调查能力以及由多功能无人驾驶的无人接地车(UGV)执行的针对性干预措施。本文概述了该项目中获得的科学和技术进步和结果。我们引入了多光谱感知算法以及空中和地面系统,用于监测农作物密度,杂草压力,作物氮营养状况,并准确地对杂草进行分类和定位。然后,我们介绍了针对我们在农业环境中机器人身份量身定制的导航和映射系统,以及用于协作映射的模块。我们最终介绍了我们在不同的现场条件和不同农作物中实施和测试的地面干预硬件,软件解决方案以及接口。我们描述了一个真正的用例,在该案例中,无人机与UGV合作以监视该领域并进行选择性喷涂而无需人工干预。
translated by 谷歌翻译
对于在城市环境中导航的自主机器人,对于机器人而言,要保持在指定的旅行路径(即小径),并避免使用诸如草和花园床之类的区域,以确保安全和社会符合性考虑因素。本文为未知的城市环境提供了一种自主导航方法,该方法结合了语义分割和激光雷达数据的使用。所提出的方法使用分段的图像掩码创建环境的3D障碍物图,从中计算了人行道的边界。与现有方法相比,我们的方法不需要预先建造的地图,并提供了对安全区域的3D理解,从而使机器人能够计划通过人行道的任何路径。将我们的方法与仅使用LiDAR或仅使用语义分割的两种替代方案进行比较的实验表明,总体而言,我们所提出的方法在户外的成功率大于91%的成功率,并且在室内大于66%。我们的方法使机器人始终保持在安全的旅行道路上,并减少了碰撞数量。
translated by 谷歌翻译
Mohamed Bin Zayed国际机器人挑战(MBZIRC)2020为无人机(无人机)构成了不同的挑战。我们提供了四个量身定制的无人机,专门为MBZIRC的单独空中机器人任务开发,包括自定义硬件和软件组件。在挑战1中,使用高效率,车载对象检测管道进行目标UAV,以捕获来自目标UAV的球。第二个UAV使用类似的检测方法来查找和流行散落在整个竞技场的气球。对于挑战2,我们展示了一种能够自主空中操作的更大的无人机:从相机图像找到并跟踪砖。随后,将它们接近,挑选,运输并放在墙上。最后,在挑战3中,我们的UAV自动发现使用LIDAR和热敏摄像机的火灾。它用船上灭火器熄灭火灾。虽然每个机器人都具有任务特定的子系统,但所有无人机都依赖于为该特定和未来竞争开发的标准软件堆栈。我们介绍了我们最开源的软件解决方案,包括系统配置,监控,强大无线通信,高级控制和敏捷轨迹生成的工具。为了解决MBZirc 2020任务,我们在多个研究领域提出了机器视觉和轨迹生成的多个研究领域。我们介绍了我们的科学贡献,这些贡献构成了我们的算法和系统的基础,并分析了在阿布扎比的MBZIRC竞赛2020年的结果,我们的系统在大挑战中达到了第二名。此外,我们讨论了我们参与这种复杂的机器人挑战的经验教训。
translated by 谷歌翻译
近年来,空中机器人背景下的高速导航和环境互动已成为几个学术和工业研究研究的兴趣领域。特别是,由于其若干环境中的潜在可用性,因此搜索和拦截(SAI)应用程序造成引人注目的研究区域。尽管如此,SAI任务涉及有关感官权重,板载计算资源,致动设计和感知和控制算法的具有挑战性的发展。在这项工作中,已经提出了一种用于高速对象抓握的全自动空中机器人。作为一个额外的子任务,我们的系统能够自主地刺穿位于靠近表面的杆中的气球。我们的第一款贡献是在致动和感觉水平的致动和感觉水平的空中机器人的设计,包括具有额外传感器的新型夹具设计,使机器人能够高速抓住物体。第二种贡献是一种完整的软件框架,包括感知,状态估计,运动计划,运动控制和任务控制,以便快速且强大地执行自主掌握任务。我们的方法已在一个具有挑战性的国际竞争中验证,并显示出突出的结果,能够在室外环境中以6米/分来自动搜索,遵循和掌握移动物体
translated by 谷歌翻译
农业环境中的自主导航通常受到可能在耕地中可能出现的不同田间条件的挑战。在这些农业环境中自动导航的最新解决方案将需要昂贵的硬件,例如RTK-GPS。本文提出了一种强大的作物排检测算法,该算法可以承受这些变化,同时检测作物行进行视觉伺服。创建了一个糖图像的数据集,其中有43个组合在可耕地中发现的11个田间变化。新型的作物行检测算法既经过作物行检测性能,又要测试沿农作系的视觉伺服伺服的能力。该算法仅使用RGB图像作为输入,并且使用卷积神经网络来预测作物行面罩。我们的算法优于基线方法,该方法使用基于颜色的分割来实现场变化的所有组合。我们使用一个组合性能指标,该指标解释了作物行检测的角度和位移误差。我们的算法在作物的早期生长阶段表现出最差的表现。
translated by 谷歌翻译
自治机器人目前是最受欢迎的人工智能问题之一,在过去十年中,从自动驾驶汽车和人形系统到交付机器人和无人机,这是一项最受欢迎的智能问题。部分问题是获得一个机器人,以模仿人类的感知,我们的视觉感,用诸如神经网络等数学模型用相机和大脑的眼睛替换眼睛。开发一个能够在没有人为干预的情况下驾驶汽车的AI和一个小型机器人在城市中递送包裹可能看起来像不同的问题,因此来自感知和视觉的观点来看,这两个问题都有几种相似之处。我们目前的主要解决方案通过使用计算机视觉技术,机器学习和各种算法来实现对环境感知的关注,使机器人理解环境或场景,移动,调整其轨迹并执行其任务(维护,探索,等。)无需人为干预。在这项工作中,我们从头开始开发一个小型自动车辆,能够仅使用视觉信息理解场景,通过工业环境导航,检测人员和障碍,或执行简单的维护任务。我们审查了基本问题的最先进问题,并证明了小规模采用的许多方法类似于来自特斯拉或Lyft等公司的真正自动驾驶汽车中使用的方法。最后,我们讨论了当前的机器人和自主驾驶状态以及我们在这一领域找到的技术和道德限制。
translated by 谷歌翻译
在这项工作中,我们提出了一个端到端的异质多机器人系统框架,地面机器人能够在高空四个四极管实时创建的语义图中进行本地化,计划和导航。地面机器人在没有任何外部干预的情况下独立选择并解散目标。此外,他们通过使用语义将其本地地图与高架图匹配,执行跨视图本地化。通信主链是机会主义的,并且可以分配,使整个系统除了四型四型GPS之外没有外部基础架构,没有外部基础架构。我们通过在不同环境中的多个实验上执行不同的任务,通过执行不同的任务,对系统进行了广泛的测试。我们的地面机器人在现实世界中最少的干预和96公里的模拟无需干预即可自主行驶以上超过6公里。
translated by 谷歌翻译
在农业环境中的现代除草剂应用通常依赖于将除草剂分配给作物和杂草相似的或便携式喷雾器的大型喷雾器,这些喷雾器需要劳动密集型手动操作。前一种方法导致过度使用除草剂并减少作物产量,而后者在大规模操作中经常站立。本文介绍了能够基于计算机视觉的导航,杂草检测,完整的现场覆盖以及\ $ 400下的计算机视觉的行作物的杂草管理的第一个完全自主机器人。目标应用程序是在裁剪领域中的自主行行杂草控制,例如,亚麻和油菜,在农作物之间的间距像一只脚一样小。所提出的机器人足够小,可以在植物生长的所有阶段之间通过植物生长的阶段,同时检测杂草和喷洒除草剂。充电系统包括新设计的机器人硬件,斜坡,机器人充电臂和移动充电站。采用集成视觉算法,有效地帮助充电器对齐。结合,它们使机器人能够在现场中连续工作而不获得电力。此外,将与预处理技术相结合的基于颜色的轮廓算法用于依赖于从车载单手套摄像机的输入上的鲁棒导航。将这种紧凑的机器人纳入农场可以帮助自动化杂草控制,即使在增长的后期阶段,并通过精确定位杂草减少除草剂。机器人平台在北达科他州的亚麻籽领域进行了现场测试。
translated by 谷歌翻译
Robots have been steadily increasing their presence in our daily lives, where they can work along with humans to provide assistance in various tasks on industry floors, in offices, and in homes. Automated assembly is one of the key applications of robots, and the next generation assembly systems could become much more efficient by creating collaborative human-robot systems. However, although collaborative robots have been around for decades, their application in truly collaborative systems has been limited. This is because a truly collaborative human-robot system needs to adjust its operation with respect to the uncertainty and imprecision in human actions, ensure safety during interaction, etc. In this paper, we present a system for human-robot collaborative assembly using learning from demonstration and pose estimation, so that the robot can adapt to the uncertainty caused by the operation of humans. Learning from demonstration is used to generate motion trajectories for the robot based on the pose estimate of different goal locations from a deep learning-based vision system. The proposed system is demonstrated using a physical 6 DoF manipulator in a collaborative human-robot assembly scenario. We show successful generalization of the system's operation to changes in the initial and final goal locations through various experiments.
translated by 谷歌翻译
Visually impaired people usually find it hard to travel independently in many public places such as airports and shopping malls due to the problems of obstacle avoidance and guidance to the desired location. Therefore, in the highly dynamic indoor environment, how to improve indoor navigation robot localization and navigation accuracy so that they guide the visually impaired well becomes a problem. One way is to use visual SLAM. However, typical visual SLAM either assumes a static environment, which may lead to less accurate results in dynamic environments or assumes that the targets are all dynamic and removes all the feature points above, sacrificing computational speed to a large extent with the available computational power. This paper seeks to explore marginal localization and navigation systems for indoor navigation robotics. The proposed system is designed to improve localization and navigation accuracy in highly dynamic environments by identifying and tracking potentially moving objects and using vector field histograms for local path planning and obstacle avoidance. The system has been tested on a public indoor RGB-D dataset, and the results show that the new system improves accuracy and robustness while reducing computation time in highly dynamic indoor scenes.
translated by 谷歌翻译
本文提出了一种新颖的方法,用于在具有复杂拓扑结构的地下领域的搜索和救援行动中自动合作。作为CTU-Cras-Norlab团队的一部分,拟议的系统在DARPA SubT决赛的虚拟轨道中排名第二。与专门为虚拟轨道开发的获奖解决方案相反,该建议的解决方案也被证明是在现实世界竞争极为严峻和狭窄的环境中飞行的机上实体无人机的强大系统。提出的方法可以使无缝模拟转移的无人机团队完全自主和分散的部署,并证明了其优于不同环境可飞行空间的移动UGV团队的优势。该论文的主要贡献存在于映射和导航管道中。映射方法采用新颖的地图表示形式 - 用于有效的风险意识长距离计划,面向覆盖范围和压缩的拓扑范围的LTVMAP领域,以允许在低频道通信下进行多机器人合作。这些表示形式与新的方法一起在导航中使用,以在一般的3D环境中可见性受限的知情搜索,而对环境结构没有任何假设,同时将深度探索与传感器覆盖的剥削保持平衡。所提出的解决方案还包括一条视觉感知管道,用于在没有专用GPU的情况下在5 Hz处进行四个RGB流中感兴趣的对象的板上检测和定位。除了参与DARPA SubT外,在定性和定量评估的各种环境中,在不同的环境中进行了广泛的实验验证,UAV系统的性能得到了支持。
translated by 谷歌翻译
昂贵的传感器和低效的算法管道显着影响自动机器的总成本。然而,实惠的机器人解决方案对于实际使用至关重要,其财务影响构成了在大多数申请领域采用服务机器人的基本要求。其中,精密农业领域的研究人员努力设计强大,经济高效的自主平台,以提供真正的大规模竞争解决方案。在本文中,我们提出了一个完整的算法管道,用于基于行的作物自主导航,专门设计用于应对低范围的传感器和季节性变化。首先,我们建立一个强大的数据驱动方法,为自主机器生成一个可行的路径,仅涵盖庄稼的占用网格信息的裁剪的完整扩展。此外,我们的解决方案利用了深入学习优化技术和综合生成数据的最新进步,以提供一种实惠的解决方案,可有效地解决由于植被生长在行的植被而有效地解决了众所周知的全球导航卫星系统不可靠性和降级。对计算机生成的环境和现实世界作物的广泛实验和模拟表明了我们的方法的稳健性和内在的完全平整性,其开辟了高度实惠和完全自主机器的可能性。
translated by 谷歌翻译
我们提出了一种自我监督的方法,用于预测需要良好牵引力才能导航的轮式移动机器人的可穿越路径。我们的算法称为Wayfast(无路线自动驾驶系统用于遍历性),使用RGB和深度数据以及导航经验,自主在室外非结构化环境中自主生成可遍历的路径。我们的主要灵感是,可以使用动力动力学模型估算滚动机器人的牵引力。使用在线退化的视野估计器提供的牵引力估计值,我们能够以自我监督的方式训练遍历性预测神经网络,而无需以前的方法使用的启发式方法。我们通过在各种环境中进行广泛的现场测试来证明Wayfast的有效性,从沙滩到森林檐篷和积雪覆盖的草田不等。我们的结果清楚地表明,Wayfast可以学会避免几何障碍物以及不可传输的地形,例如雪,这很难避免使用仅提供几何数据(例如LiDAR)的传感器。此外,我们表明,基于在线牵引力估计的培训管道比其他基于启发式的方法更有效率。
translated by 谷歌翻译
精确农业正在迅速吸引研究,以有效地引入自动化和机器人解决方案,以支持农业活动。葡萄园和果园中的机器人导航在自主监控方面具有竞争优势,并轻松获取农作物来收集,喷涂和执行时必的耗时必要任务。如今,自主导航算法利用了昂贵的传感器,这也需要大量的数据处理计算成本。尽管如此,葡萄园行代表了一个具有挑战性的户外场景,在这种情况下,GPS和视觉进程技术通常难以提供可靠的定位信息。在这项工作中,我们将Edge AI与深度强化学习相结合,以提出一种尖端的轻质解决方案,以解决自主葡萄园导航的问题,而无需利用精确的本地化数据并通过基于灵活的学习方法来克服任务列出的算法。我们训练端到端的感觉运动剂,该端机直接映射嘈杂的深度图像和位置不可稳定的机器人状态信息到速度命令,并将机器人引导到一排的尽头,不断调整其标题以进行无碰撞的无碰撞中央轨迹。我们在现实的模拟葡萄园中进行的广泛实验证明了解决方案的有效性和代理的概括能力。
translated by 谷歌翻译
人类和自主水下车辆(AUV)之间的直接沟通是人体机器人互动(HRI)研究中相对缺乏缺陷的地区,尽管许多任务(例如监视,检查和救援)需要密切的潜水机器人协作。该领域的许多核心功能需要进一步研究以改善机器人能力以易于相互作用。其中一个是自治机器人接近和定位自己相对于潜水员的挑战,以启动和促进相互作用。次优AUV定位可能导致质量差的相互作用,导致潜水员的过度认知和物理负荷。在本文中,我们介绍了一种用于AUV的新方法,以自主导航和实现潜水相对定位以开始交互。我们的方法仅基于单眼视觉,不需要全局本地化,并计算效率。我们展示了我们的算法以及在模拟和物理AUV上的所述算法的实现,以受控池中的闭水测试形式进行广泛的评估。我们的结果分析表明,所提出的单眼视觉算法可靠,完全在AUV上完全操作。
translated by 谷歌翻译