本文展示了alphaRARDEN:一个自治的多种植花园,在1.5米×3.0米的物理测试平台中撒上和灌溉生物植物。alphanArden使用架空相机和传感器来跟踪植物分布和土壤水分。我们模拟个体植物生长和平面动态,以培训选择行动以最大化叶片覆盖和多样性的政策。对于自主修剪,alphanarden使用两个定制的修剪工具和训练有素的神经网络来检测紫杉角。我们为四个60天的花园周期提供了结果。结果表明,alphaRARARDEN可以自主地实现0.96个归一化多样性,在循环峰值期间保持0.86的平均冠层覆盖率。可以在https://github.com/berkeleyautomation/alpharden找到代码,数据集和补充材料。
translated by 谷歌翻译
多养殖养殖具有环境优势,但比单一养殖需要更修剪。我们介绍用于自动修剪的新型硬件和算法。自主系统使用高架摄像头从物理规模的花园测试床中收集数据,利用学识渊博的植物表型卷积神经网络和边界磁盘跟踪算法来评估单个植物分布并每天估算花园的状态。从这个花园状态下,Alphagardensim选择植物自主修剪。训练有素的神经网络检测并靶向工厂上的特定修发点。实验评估了两种与农业机器人龙门系统兼容的定制设计的修剪工具,并通过受控算法进行了自主削减。我们提出了四个60天的花园周期的结果。结果表明,该系统可以自主实现0.94个归一化的植物多样性,并在修剪剪切的同时保持平均冠层覆盖率为0.84,到周期结束时。有关代码,视频和数据集,请参见https://sites.google.com/berkeley.edu/pruningpolyculture。
translated by 谷歌翻译
休眠季节葡萄树修剪需要熟练的季节性工人,这在冬季变得越来越缺乏。随着在短期季节性招聘文化和低工资的短期季节性招聘文化和低工资的时间内,随着工人更少的葡萄藤,葡萄藤往往被修剪不一致地导致葡萄化物不平衡。除此之外,目前现有的机械方法无法选择性地修剪葡萄园和手动后续操作,通常需要进一步提高生产成本。在本文中,我们展示了崎岖,全自治机器人的设计和田间评估,用于休眠季节葡萄园的端到最终修剪。该设计的设计包括新颖的相机系统,运动冗余机械手,地面机器人和在感知系统中的新颖算法。所提出的研究原型机器人系统能够在213秒/葡萄藤中完全从两侧刺激一排藤蔓,总修枝精度为87%。与机械预灌浆试验相比,商业葡萄园中自治系统的初始现场测试显示出休眠季节修剪的显着变化。在手稿中描述了设计方法,系统组件,经验教训,未来增强以及简要的经济分析。
translated by 谷歌翻译
果树的休眠修剪是维持树木健康和确保高质量果实的重要任务。由于劳动力的可用性降低,修剪是机器人自动化的主要候选者。但是,修剪也代表了机器人的独特困难问题,需要在可变照明条件下以及在复杂的,高度非结构化的环境中进行感知,修剪点的确定和操纵。在本文中,我们介绍了一种用于修剪甜樱桃树的系统(在平面树建筑中,称为直立的果实分支配置),该系统整合了我们先前关于感知和操纵的工作的各种子系统。最终的系统能够完全自主运行,并且需要对环境的最低控制。我们通过在甜蜜的樱桃果园中进行现场试验来验证系统的性能,最终取得了58%的削减速度。尽管不完全稳健,并且需要改善吞吐量,但我们的系统是第一个在果树上运行的系统,并代表了将来可以改进的有用的基础平台。
translated by 谷歌翻译
本文对地面农业机器人系统和应用进行了全面综述,并特别关注收获,涵盖研究,商业产品和结果及其能力技术。大多数文献涉及作物检测的发展,通过视觉及其相关挑战的现场导航。健康监测,产量估计,水状态检查,种子种植和清除杂草经常遇到任务。关于机器人收割,苹果,草莓,西红柿和甜辣椒,主要是出版物,研究项目和商业产品中考虑的农作物。据报道的收获农业解决方案,通常由移动平台,单个机器人手臂/操纵器和各种导航/视觉系统组成。本文回顾了报告的特定功能和硬件的发展,通常是运营农业机器人收割机所要求的;它们包括(a)视觉系统,(b)运动计划/导航方法(对于机器人平台和/或ARM),(c)具有3D可视化的人类机器人交流(HRI)策略,(d)系统操作计划&掌握策略和(e)机器人最终效果/抓手设计。显然,自动化农业,特别是通过机器人系统的自主收获是一个研究领域,它仍然敞开着,在可以做出新的贡献的地方提供了一些挑战。
translated by 谷歌翻译
本文介绍了Cerberus机器人系统系统,该系统赢得了DARPA Subterranean挑战最终活动。出席机器人自主权。由于其几何复杂性,降解的感知条件以及缺乏GPS支持,严峻的导航条件和拒绝通信,地下设置使自动操作变得特别要求。为了应对这一挑战,我们开发了Cerberus系统,该系统利用了腿部和飞行机器人的协同作用,再加上可靠的控制,尤其是为了克服危险的地形,多模式和多机器人感知,以在传感器退化,以及在传感器退化的条件下进行映射以及映射通过统一的探索路径计划和本地运动计划,反映机器人特定限制的弹性自主权。 Cerberus基于其探索各种地下环境及其高级指挥和控制的能力,表现出有效的探索,对感兴趣的对象的可靠检测以及准确的映射。在本文中,我们报告了DARPA地下挑战赛的初步奔跑和最终奖项的结果,并讨论了为社区带来利益的教训所面临的亮点和挑战。
translated by 谷歌翻译
由于它可能对粮食安全,可持续性,资源利用效率,化学处理的降低以及人类努力和产量的优化,因此,自主机器人在农业中的应用正在越来越受欢迎。有了这一愿景,蓬勃发展的研究项目旨在开发一种适应性的机器人解决方案,用于精确耕作,该解决方案结合了小型自动无人驾驶飞机(UAV)(UAV)的空中调查能力以及由多功能无人驾驶的无人接地车(UGV)执行的针对性干预措施。本文概述了该项目中获得的科学和技术进步和结果。我们引入了多光谱感知算法以及空中和地面系统,用于监测农作物密度,杂草压力,作物氮营养状况,并准确地对杂草进行分类和定位。然后,我们介绍了针对我们在农业环境中机器人身份量身定制的导航和映射系统,以及用于协作映射的模块。我们最终介绍了我们在不同的现场条件和不同农作物中实施和测试的地面干预硬件,软件解决方案以及接口。我们描述了一个真正的用例,在该案例中,无人机与UGV合作以监视该领域并进行选择性喷涂而无需人工干预。
translated by 谷歌翻译
Mohamed Bin Zayed国际机器人挑战(MBZIRC)2020为无人机(无人机)构成了不同的挑战。我们提供了四个量身定制的无人机,专门为MBZIRC的单独空中机器人任务开发,包括自定义硬件和软件组件。在挑战1中,使用高效率,车载对象检测管道进行目标UAV,以捕获来自目标UAV的球。第二个UAV使用类似的检测方法来查找和流行散落在整个竞技场的气球。对于挑战2,我们展示了一种能够自主空中操作的更大的无人机:从相机图像找到并跟踪砖。随后,将它们接近,挑选,运输并放在墙上。最后,在挑战3中,我们的UAV自动发现使用LIDAR和热敏摄像机的火灾。它用船上灭火器熄灭火灾。虽然每个机器人都具有任务特定的子系统,但所有无人机都依赖于为该特定和未来竞争开发的标准软件堆栈。我们介绍了我们最开源的软件解决方案,包括系统配置,监控,强大无线通信,高级控制和敏捷轨迹生成的工具。为了解决MBZirc 2020任务,我们在多个研究领域提出了机器视觉和轨迹生成的多个研究领域。我们介绍了我们的科学贡献,这些贡献构成了我们的算法和系统的基础,并分析了在阿布扎比的MBZIRC竞赛2020年的结果,我们的系统在大挑战中达到了第二名。此外,我们讨论了我们参与这种复杂的机器人挑战的经验教训。
translated by 谷歌翻译
为了使机器人系统在高风险,现实世界中取得成功,必须快速部署和强大的环境变化,表现不佳的硬件以及任务子任务失败。这些机器人通常被设计为考虑一系列任务事件,复杂的算法在某些关键的约束下降低了单个子任务失败率。我们的方法在视觉和控制中利用了共同的技术,并通过结果监测和恢复策略将鲁棒性编码为任务结构。此外,我们的系统基础架构可以快速部署,并且不需要中央通信。该报告还包括快速现场机器人开发和测试的课程。我们通过现实机器人实验在美国宾夕法尼亚州匹兹堡的户外测试地点以及2020年的穆罕默德·本·扎耶德国际机器人挑战赛开发和评估了我们的系统。所有竞争试验均在没有RTK-GP的情况下以完全自主模式完成。我们的系统在挑战2中排名第四,在大挑战赛中排名第七,诸如弹出五个气球(挑战1)之类的显着成就,成功地挑选和放置了一个障碍(挑战2),并将最多的水分配到户外,带有真正的户外火,并与自治无人机(挑战3)。
translated by 谷歌翻译
本文提出了一种新颖的方法,用于在具有复杂拓扑结构的地下领域的搜索和救援行动中自动合作。作为CTU-Cras-Norlab团队的一部分,拟议的系统在DARPA SubT决赛的虚拟轨道中排名第二。与专门为虚拟轨道开发的获奖解决方案相反,该建议的解决方案也被证明是在现实世界竞争极为严峻和狭窄的环境中飞行的机上实体无人机的强大系统。提出的方法可以使无缝模拟转移的无人机团队完全自主和分散的部署,并证明了其优于不同环境可飞行空间的移动UGV团队的优势。该论文的主要贡献存在于映射和导航管道中。映射方法采用新颖的地图表示形式 - 用于有效的风险意识长距离计划,面向覆盖范围和压缩的拓扑范围的LTVMAP领域,以允许在低频道通信下进行多机器人合作。这些表示形式与新的方法一起在导航中使用,以在一般的3D环境中可见性受限的知情搜索,而对环境结构没有任何假设,同时将深度探索与传感器覆盖的剥削保持平衡。所提出的解决方案还包括一条视觉感知管道,用于在没有专用GPU的情况下在5 Hz处进行四个RGB流中感兴趣的对象的板上检测和定位。除了参与DARPA SubT外,在定性和定量评估的各种环境中,在不同的环境中进行了广泛的实验验证,UAV系统的性能得到了支持。
translated by 谷歌翻译
While the capabilities of autonomous systems have been steadily improving in recent years, these systems still struggle to rapidly explore previously unknown environments without the aid of GPS-assisted navigation. The DARPA Subterranean (SubT) Challenge aimed to fast track the development of autonomous exploration systems by evaluating their performance in real-world underground search-and-rescue scenarios. Subterranean environments present a plethora of challenges for robotic systems, such as limited communications, complex topology, visually-degraded sensing, and harsh terrain. The presented solution enables long-term autonomy with minimal human supervision by combining a powerful and independent single-agent autonomy stack, with higher level mission management operating over a flexible mesh network. The autonomy suite deployed on quadruped and wheeled robots was fully independent, freeing the human supervision to loosely supervise the mission and make high-impact strategic decisions. We also discuss lessons learned from fielding our system at the SubT Final Event, relating to vehicle versatility, system adaptability, and re-configurable communications.
translated by 谷歌翻译
许多钥匙孔干预依赖于双手动处理外科手术器械,强迫主要外科医生依靠第二个外科医生作为相机助理。除了过度涉及手术人员的负担外,这可能导致图像稳定性降低,增加任务完成时间,有时由于任务的单调而有时会出现错误。由一组基本说明控制的机器人内窥镜持有者已被提出作为替代方案,但它们的不自然处理可能会增加(SOLO)外科医生的认知负荷,这阻碍了它们的临床验收。如果机器人内窥镜持有者通过语义上丰富的指令与操作外科医生合作的机器人内窥镜持有者,则可以实现手术工作流程的更无缝集成。作为概念证明,本文介绍了一种新颖的系统,为外科医生和机器人内窥镜支架之间的协同相互作用铺平了道路。该拟议的平台允许外科医生执行生理协调和导航任务,而机器人臂自动执行内窥镜定位任务。在我们的系统中,我们提出了一种基于外科刀具分割的新型工具提示定位方法和一种新型的视觉伺服方法,可确保内窥镜摄像机的平滑和适当的运动。我们验证了我们的视觉管道并运行了对该系统的用户学习。通过使用欧洲妇科手术课程验证的腹腔镜运动来确保研究的临床相关性,涉及双部手动协调和导航。我们拟议的系统的成功应用提供了更广泛的临床采用机器人内窥镜架的有希望的起点。
translated by 谷歌翻译
我们提出了一种新型混合电缆的机器人,并使用操纵器和摄像头,用于在垂直水培农场中进行高临界性,中等通量的植物监测,并以示例应用显示出无损的植物质量估计。具有高时空和空间分辨率的植物监测对农民和研究人员都很重要,以检测异常和开发植物生长的预测模型。高质量,现成的结构(SFM)和摄影测量包的可用性使一个充满活力的机器人社区能够将计算机视觉应用于非破坏性植物监测。尽管现有的方法倾向于集中于高通量(例如卫星,无人机(UAV),车辆安装,输送带图像)或对闭塞的高临界/鲁棒性(例如,转弯台式扫描仪或机器人组),,机器人臂),,,,机器人组合我们提出了一个中间地面,该地面可以通过中等通知,高度自动化的机器人获得高精度。我们的设计配对了电缆驱动的平行机器人(CDPR)的工作空间可伸缩性与4度(DOF)机器人臂的敏捷性,以自主对许多植物进行自主对许多植物的想象。我们描述了我们的机器人设计,并通过从64个观点中收集54种植物的每日照片来实验证明它。我们表明,我们的方法可以产生科学有用的测量结果,在初始校准后完全自主运行,并产生更好的重建和植物特性估计值(例如无用的方法)。作为应用程序,我们表明,我们的系统可以成功估计植物质量,平均绝对误差(MAE)为0.586g,并且当用于对质量与年龄之间的关系进行假设测试时,会产生与地面真相相当的P值数据(分别为p = 0.0020和p = 0.0016)。
translated by 谷歌翻译
精确农业的当代机器人主要集中于自动收获或遥感以监测作物健康。关于在田间收集物理样品并将其保留以进行进一步分析方面的工作相对较少。通常,果园种植者手动收集样品叶子,并利用它们进行茎潜在的测量,以分析树木健康并确定灌溉常规。尽管该技术受益于果园的管理,但收集,评估和解释测量的过程需要大量的人工劳动,并且通常会导致不经常采样。自动抽样可以为种植者提供高度准确和及时的信息。这种自动化的原位叶子分析的第一步是识别并切割从树上的叶子。此检索过程需要新的驱动和感知方法。我们提出了一种使用深度摄像头的点云数据来检测和定位候选叶子的技术。该技术在鳄梨树的室内和室外点云上进行了测试。然后,我们在六道机器人臂上使用定制的叶片剪切端效应器,通过从鳄梨树上切下叶子来测试拟议的检测和定位技术。使用真正的鳄梨树进行实验测试表明,我们提出的方法可以使我们的移动操纵器和自定义最终效果系统能够成功地检测,定位和切割的叶子。
translated by 谷歌翻译
Measuring growth rates of apple fruitlets is important because it allows apple growers to determine when to apply chemical thinners to their crops to optimize yield. The current practice of obtaining growth rates involves using calipers to record sizes of fruitlets across multiple days. Due to the number of fruitlets needed to be sized, this method is laborious, time-consuming, and prone to human error. In this paper, we present a computer vision approach to measure the sizes and growth rates of apple fruitlets. With images collected by a hand-held stereo camera, our system detects, segments, and fits ellipses to fruitlets to measure their diameters. To measure growth rates, we utilize an Attentional Graph Neural Network to associate fruitlets across different days. We provide quantitative results on data collected in an apple orchard, and demonstrate that our system is able to predict abscise rates within 3% of the current method with a 7 times improvement in speed, while requiring significantly less manual effort. Moreover, we provide results on images captured by a robotic system in the field, and discuss the next steps to make the process fully autonomous.
translated by 谷歌翻译
昂贵的传感器和低效的算法管道显着影响自动机器的总成本。然而,实惠的机器人解决方案对于实际使用至关重要,其财务影响构成了在大多数申请领域采用服务机器人的基本要求。其中,精密农业领域的研究人员努力设计强大,经济高效的自主平台,以提供真正的大规模竞争解决方案。在本文中,我们提出了一个完整的算法管道,用于基于行的作物自主导航,专门设计用于应对低范围的传感器和季节性变化。首先,我们建立一个强大的数据驱动方法,为自主机器生成一个可行的路径,仅涵盖庄稼的占用网格信息的裁剪的完整扩展。此外,我们的解决方案利用了深入学习优化技术和综合生成数据的最新进步,以提供一种实惠的解决方案,可有效地解决由于植被生长在行的植被而有效地解决了众所周知的全球导航卫星系统不可靠性和降级。对计算机生成的环境和现实世界作物的广泛实验和模拟表明了我们的方法的稳健性和内在的完全平整性,其开辟了高度实惠和完全自主机器的可能性。
translated by 谷歌翻译
在迅速增长的海上风电场市场中出现了增加风力涡轮机尺寸和距离的全球趋势。在英国,海上风电业于2019年生产了英国最多的电力,前一年增加了19.6%。目前,英国将进一步增加产量,旨在增加安装的涡轮机容量74.7%,如最近的冠村租赁轮次反映。通过如此巨大的增长,该部门现在正在寻求机器人和人工智能(RAI),以解决生命周期服务障碍,以支持可持续和有利可图的海上风能生产。如今,RAI应用主要用于支持运营和维护的短期目标。然而,前进,RAI在海上风基础设施的全部生命周期中有可能发挥关键作用,从测量,规划,设计,物流,运营支持,培训和退役。本文介绍了离岸可再生能源部门的RAI的第一个系统评论之一。在当前和未来的要求方面,在行业和学术界的离岸能源需求分析了rai的最先进的。我们的评论还包括对支持RAI的投资,监管和技能开发的详细评估。通过专利和学术出版数据库进行详细分析确定的关键趋势,提供了对安全合规性和可靠性的自主平台认证等障碍的见解,这是自主车队中可扩展性的数字架构,适应性居民运营和优化的适应性规划人机互动对人与自治助理的信赖伙伴关系。
translated by 谷歌翻译
由于温室环境中的较高变化和遮挡,机器人对番茄植物的视觉重建非常具有挑战性。 Active-Vision的范式通过推理先前获取的信息并系统地计划相机观点来收集有关植物的新信息,从而有助于克服这些挑战。但是,现有的主动视觉算法不能在有针对性的感知目标(例如叶子节点的3D重建)上表现良好,因为它们不能区分需要重建的植物零件和植物的其余部分。在本文中,我们提出了一种注意力驱动的主动视觉算法,该算法仅根据任务进行任务,仅考虑相关的植物零件。在模拟环境中评估了所提出的方法,该方法是针对番茄植物3D重建的任务,即各种关注水平,即整个植物,主茎和叶子节点。与预定义和随机方法相比,我们的方法将3D重建的准确性提高了9.7%和5.3%的整个植物的准确性,主茎的准确性为14.2%和7.9%,叶子源分别为25.9%和17.3%。前3个观点。同样,与预定义和随机方法相比,我们的方法重建了整个植物的80%和主茎,在1个较少的角度和80%的叶子节点中重建了3个较小的观点。我们还证明,尽管植物模型发生了变化,遮挡量,候选观点的数量和重建决议,但注意力驱动的NBV规划师仍有效地工作。通过在活动视觉上添加注意力机制,可以有效地重建整个植物和靶向植物部分。我们得出的结论是,有必要的注意机制对于显着提高复杂农业食品环境中的感知质量是必要的。
translated by 谷歌翻译
本文介绍了使用腿收割机进行精密收集任务的集成系统。我们的收割机在狭窄的GPS拒绝了森林环境中的自主导航和树抓取了一项挑战性的任务。提出了映射,本地化,规划和控制的策略,并集成到完全自主系统中。任务从使用定制的传感器模块开始使用人员映射感兴趣区域。随后,人类专家选择树木进行收获。然后将传感器模块安装在机器上并用于给定地图内的本地化。规划算法在单路径规划问题中搜索一个方法姿势和路径。我们设计了一个路径,后面的控制器利用腿的收割机的谈判粗糙地形的能力。在达接近姿势时,机器用通用夹具抓住一棵树。此过程重复操作员选择的所有树。我们的系统已经在与树干和自然森林中的测试领域进行了测试。据我们所知,这是第一次在现实环境中运行的全尺寸液压机上显示了这一自主权。
translated by 谷歌翻译
在本报告中,我们提出了在哥斯达黎加太平洋架子和圣托里尼 - Kolumbo Caldera Complex中,在寻找寿命中的寻找寿命任务中的自主海洋机器人技术协调,操作策略和结果。它作为可能存在于海洋超越地球的环境中的类似物。本报告侧重于ROV操纵器操作的自动化,用于从海底获取有针对性的生物样品收集和返回的。在未来的外星勘查任务到海洋世界的背景下,ROV是一个模拟的行星着陆器,必须能够有能力的高水平自主权。我们的田间试验涉及两个水下车辆,冰(Nui)杂交ROV的两个水下车辆(即,龙眼或自主)任务,都配备了7-DOF液压机械手。我们描述了一种适应性,硬件无关的计算机视觉架构,可实现高级自动化操作。 Vision系统提供了对工作空间的3D理解,以便在复杂的非结构化环境中通知操纵器运动计划。我们展示了视觉系统和控制框架通过越来越具有挑战性的环境中的现场试验的有效性,包括来自活性Undersea火山,Kolumbo内的自动收集和生物样品的回报。根据我们在该领域的经验,我们讨论了我们的系统的表现,并确定了未来研究的有希望的指示。
translated by 谷歌翻译