Due to labor shortage and rising labor cost for the apple industry, there is an urgent need for the development of robotic systems to efficiently and autonomously harvest apples. In this paper, we present a system overview and algorithm design of our recently developed robotic apple harvester prototype. Our robotic system is enabled by the close integration of several core modules, including visual perception, planning, and control. This paper covers the main methods and advancements in deep learning-based multi-view fruit detection and localization, unified picking and dropping planning, and dexterous manipulation control. Indoor and field experiments were conducted to evaluate the performance of the developed system, which achieved an average picking rate of 3.6 seconds per apple. This is a significant improvement over other reported apple harvesting robots with a picking rate in the range of 7-10 seconds per apple. The current prototype shows promising performance towards further development of efficient and automated apple harvesting technology. Finally, limitations of the current system and future work are discussed.
translated by 谷歌翻译
休眠季节葡萄树修剪需要熟练的季节性工人,这在冬季变得越来越缺乏。随着在短期季节性招聘文化和低工资的短期季节性招聘文化和低工资的时间内,随着工人更少的葡萄藤,葡萄藤往往被修剪不一致地导致葡萄化物不平衡。除此之外,目前现有的机械方法无法选择性地修剪葡萄园和手动后续操作,通常需要进一步提高生产成本。在本文中,我们展示了崎岖,全自治机器人的设计和田间评估,用于休眠季节葡萄园的端到最终修剪。该设计的设计包括新颖的相机系统,运动冗余机械手,地面机器人和在感知系统中的新颖算法。所提出的研究原型机器人系统能够在213秒/葡萄藤中完全从两侧刺激一排藤蔓,总修枝精度为87%。与机械预灌浆试验相比,商业葡萄园中自治系统的初始现场测试显示出休眠季节修剪的显着变化。在手稿中描述了设计方法,系统组件,经验教训,未来增强以及简要的经济分析。
translated by 谷歌翻译
近年来,空中机器人背景下的高速导航和环境互动已成为几个学术和工业研究研究的兴趣领域。特别是,由于其若干环境中的潜在可用性,因此搜索和拦截(SAI)应用程序造成引人注目的研究区域。尽管如此,SAI任务涉及有关感官权重,板载计算资源,致动设计和感知和控制算法的具有挑战性的发展。在这项工作中,已经提出了一种用于高速对象抓握的全自动空中机器人。作为一个额外的子任务,我们的系统能够自主地刺穿位于靠近表面的杆中的气球。我们的第一款贡献是在致动和感觉水平的致动和感觉水平的空中机器人的设计,包括具有额外传感器的新型夹具设计,使机器人能够高速抓住物体。第二种贡献是一种完整的软件框架,包括感知,状态估计,运动计划,运动控制和任务控制,以便快速且强大地执行自主掌握任务。我们的方法已在一个具有挑战性的国际竞争中验证,并显示出突出的结果,能够在室外环境中以6米/分来自动搜索,遵循和掌握移动物体
translated by 谷歌翻译
本文对地面农业机器人系统和应用进行了全面综述,并特别关注收获,涵盖研究,商业产品和结果及其能力技术。大多数文献涉及作物检测的发展,通过视觉及其相关挑战的现场导航。健康监测,产量估计,水状态检查,种子种植和清除杂草经常遇到任务。关于机器人收割,苹果,草莓,西红柿和甜辣椒,主要是出版物,研究项目和商业产品中考虑的农作物。据报道的收获农业解决方案,通常由移动平台,单个机器人手臂/操纵器和各种导航/视觉系统组成。本文回顾了报告的特定功能和硬件的发展,通常是运营农业机器人收割机所要求的;它们包括(a)视觉系统,(b)运动计划/导航方法(对于机器人平台和/或ARM),(c)具有3D可视化的人类机器人交流(HRI)策略,(d)系统操作计划&掌握策略和(e)机器人最终效果/抓手设计。显然,自动化农业,特别是通过机器人系统的自主收获是一个研究领域,它仍然敞开着,在可以做出新的贡献的地方提供了一些挑战。
translated by 谷歌翻译
在本报告中,我们提出了在哥斯达黎加太平洋架子和圣托里尼 - Kolumbo Caldera Complex中,在寻找寿命中的寻找寿命任务中的自主海洋机器人技术协调,操作策略和结果。它作为可能存在于海洋超越地球的环境中的类似物。本报告侧重于ROV操纵器操作的自动化,用于从海底获取有针对性的生物样品收集和返回的。在未来的外星勘查任务到海洋世界的背景下,ROV是一个模拟的行星着陆器,必须能够有能力的高水平自主权。我们的田间试验涉及两个水下车辆,冰(Nui)杂交ROV的两个水下车辆(即,龙眼或自主)任务,都配备了7-DOF液压机械手。我们描述了一种适应性,硬件无关的计算机视觉架构,可实现高级自动化操作。 Vision系统提供了对工作空间的3D理解,以便在复杂的非结构化环境中通知操纵器运动计划。我们展示了视觉系统和控制框架通过越来越具有挑战性的环境中的现场试验的有效性,包括来自活性Undersea火山,Kolumbo内的自动收集和生物样品的回报。根据我们在该领域的经验,我们讨论了我们的系统的表现,并确定了未来研究的有希望的指示。
translated by 谷歌翻译
本文介绍了使用腿收割机进行精密收集任务的集成系统。我们的收割机在狭窄的GPS拒绝了森林环境中的自主导航和树抓取了一项挑战性的任务。提出了映射,本地化,规划和控制的策略,并集成到完全自主系统中。任务从使用定制的传感器模块开始使用人员映射感兴趣区域。随后,人类专家选择树木进行收获。然后将传感器模块安装在机器上并用于给定地图内的本地化。规划算法在单路径规划问题中搜索一个方法姿势和路径。我们设计了一个路径,后面的控制器利用腿的收割机的谈判粗糙地形的能力。在达接近姿势时,机器用通用夹具抓住一棵树。此过程重复操作员选择的所有树。我们的系统已经在与树干和自然森林中的测试领域进行了测试。据我们所知,这是第一次在现实环境中运行的全尺寸液压机上显示了这一自主权。
translated by 谷歌翻译
精确农业的当代机器人主要集中于自动收获或遥感以监测作物健康。关于在田间收集物理样品并将其保留以进行进一步分析方面的工作相对较少。通常,果园种植者手动收集样品叶子,并利用它们进行茎潜在的测量,以分析树木健康并确定灌溉常规。尽管该技术受益于果园的管理,但收集,评估和解释测量的过程需要大量的人工劳动,并且通常会导致不经常采样。自动抽样可以为种植者提供高度准确和及时的信息。这种自动化的原位叶子分析的第一步是识别并切割从树上的叶子。此检索过程需要新的驱动和感知方法。我们提出了一种使用深度摄像头的点云数据来检测和定位候选叶子的技术。该技术在鳄梨树的室内和室外点云上进行了测试。然后,我们在六道机器人臂上使用定制的叶片剪切端效应器,通过从鳄梨树上切下叶子来测试拟议的检测和定位技术。使用真正的鳄梨树进行实验测试表明,我们提出的方法可以使我们的移动操纵器和自定义最终效果系统能够成功地检测,定位和切割的叶子。
translated by 谷歌翻译
果树的休眠修剪是维持树木健康和确保高质量果实的重要任务。由于劳动力的可用性降低,修剪是机器人自动化的主要候选者。但是,修剪也代表了机器人的独特困难问题,需要在可变照明条件下以及在复杂的,高度非结构化的环境中进行感知,修剪点的确定和操纵。在本文中,我们介绍了一种用于修剪甜樱桃树的系统(在平面树建筑中,称为直立的果实分支配置),该系统整合了我们先前关于感知和操纵的工作的各种子系统。最终的系统能够完全自主运行,并且需要对环境的最低控制。我们通过在甜蜜的樱桃果园中进行现场试验来验证系统的性能,最终取得了58%的削减速度。尽管不完全稳健,并且需要改善吞吐量,但我们的系统是第一个在果树上运行的系统,并代表了将来可以改进的有用的基础平台。
translated by 谷歌翻译
Mohamed Bin Zayed国际机器人挑战(MBZIRC)2020为无人机(无人机)构成了不同的挑战。我们提供了四个量身定制的无人机,专门为MBZIRC的单独空中机器人任务开发,包括自定义硬件和软件组件。在挑战1中,使用高效率,车载对象检测管道进行目标UAV,以捕获来自目标UAV的球。第二个UAV使用类似的检测方法来查找和流行散落在整个竞技场的气球。对于挑战2,我们展示了一种能够自主空中操作的更大的无人机:从相机图像找到并跟踪砖。随后,将它们接近,挑选,运输并放在墙上。最后,在挑战3中,我们的UAV自动发现使用LIDAR和热敏摄像机的火灾。它用船上灭火器熄灭火灾。虽然每个机器人都具有任务特定的子系统,但所有无人机都依赖于为该特定和未来竞争开发的标准软件堆栈。我们介绍了我们最开源的软件解决方案,包括系统配置,监控,强大无线通信,高级控制和敏捷轨迹生成的工具。为了解决MBZirc 2020任务,我们在多个研究领域提出了机器视觉和轨迹生成的多个研究领域。我们介绍了我们的科学贡献,这些贡献构成了我们的算法和系统的基础,并分析了在阿布扎比的MBZIRC竞赛2020年的结果,我们的系统在大挑战中达到了第二名。此外,我们讨论了我们参与这种复杂的机器人挑战的经验教训。
translated by 谷歌翻译
本文提出了一种新颖的方法,用于在具有复杂拓扑结构的地下领域的搜索和救援行动中自动合作。作为CTU-Cras-Norlab团队的一部分,拟议的系统在DARPA SubT决赛的虚拟轨道中排名第二。与专门为虚拟轨道开发的获奖解决方案相反,该建议的解决方案也被证明是在现实世界竞争极为严峻和狭窄的环境中飞行的机上实体无人机的强大系统。提出的方法可以使无缝模拟转移的无人机团队完全自主和分散的部署,并证明了其优于不同环境可飞行空间的移动UGV团队的优势。该论文的主要贡献存在于映射和导航管道中。映射方法采用新颖的地图表示形式 - 用于有效的风险意识长距离计划,面向覆盖范围和压缩的拓扑范围的LTVMAP领域,以允许在低频道通信下进行多机器人合作。这些表示形式与新的方法一起在导航中使用,以在一般的3D环境中可见性受限的知情搜索,而对环境结构没有任何假设,同时将深度探索与传感器覆盖的剥削保持平衡。所提出的解决方案还包括一条视觉感知管道,用于在没有专用GPU的情况下在5 Hz处进行四个RGB流中感兴趣的对象的板上检测和定位。除了参与DARPA SubT外,在定性和定量评估的各种环境中,在不同的环境中进行了广泛的实验验证,UAV系统的性能得到了支持。
translated by 谷歌翻译
现场机器人收获是农业产业近期发展的有希望的技术。在自然果园收获之前,机器人识别和本地化水果至关重要。然而,果园中收获机器人的工作空间很复杂:许多水果被分支和叶子堵塞。在执行操纵之前,估计每个果实的适当抓握姿势是很重要的。在本研究中,建议使用来自RGB-D相机的颜色和几何感官数据来执行端到端实例分段和掌握估计的几何意识网络A3N。此外,应用了工作区几何建模以帮助机器人操纵。此外,我们实施全球到本地扫描策略,它使机器人能够在具有两个消费级RGB-D相机中准确地识别和检索现场环境中的水果。我们还全面评估了所提出的网络的准确性和鲁棒性。实验结果表明,A3N达到了0.873的实例分割精度,平均计算时间为35毫秒。掌握估计的平均准确性分别为0.61厘米,4.8美元,中心和方向分别为4.8美元。总的来说,利用全球到局部扫描和A3N的机器人系统实现了从现场收集实验中的70 \%-85 \%的收获量的成功率。
translated by 谷歌翻译
本文介绍了Cerberus机器人系统系统,该系统赢得了DARPA Subterranean挑战最终活动。出席机器人自主权。由于其几何复杂性,降解的感知条件以及缺乏GPS支持,严峻的导航条件和拒绝通信,地下设置使自动操作变得特别要求。为了应对这一挑战,我们开发了Cerberus系统,该系统利用了腿部和飞行机器人的协同作用,再加上可靠的控制,尤其是为了克服危险的地形,多模式和多机器人感知,以在传感器退化,以及在传感器退化的条件下进行映射以及映射通过统一的探索路径计划和本地运动计划,反映机器人特定限制的弹性自主权。 Cerberus基于其探索各种地下环境及其高级指挥和控制的能力,表现出有效的探索,对感兴趣的对象的可靠检测以及准确的映射。在本文中,我们报告了DARPA地下挑战赛的初步奔跑和最终奖项的结果,并讨论了为社区带来利益的教训所面临的亮点和挑战。
translated by 谷歌翻译
本文介绍了设计,开发,并通过IISC-TCS团队为穆罕默德·本·扎耶德国际机器人挑战赛2020年挑战1的目标的挑战1硬件 - 软件系统的测试是抓住从移动和机动悬挂球UAV和POP气球锚定到地面,使用合适的操纵器。解决这一挑战的重要任务包括具有高效抓取和突破机制的硬件系统的设计和开发,考虑到体积和有效载荷的限制,使用适用于室外环境的可视信息的准确目标拦截算法和开发动态多功能机空中系统的软件架构,执行复杂的动态任务。在本文中,设计了具有末端执行器的单个自由度机械手设计用于抓取和突发,并且开发了鲁棒算法以拦截在不确定的环境中的目标。基于追求参与和人工潜在功能的概念提出了基于视觉的指导和跟踪法。本工作中提供的软件架构提出了一种操作管理系统(OMS)架构,其在多个无人机之间协同分配静态和动态任务,以执行任何给定的任务。这项工作的一个重要方面是所有开发的系统都设计用于完全自主模式。在这项工作中还包括对凉亭环境和现场实验结果中完全挑战的模拟的详细描述。所提出的硬件软件系统对反UAV系统特别有用,也可以修改以满足其他几种应用。
translated by 谷歌翻译
该制造业目前目前目睹了与工业机器人前所未有的采用的范式转变,机器愿景是一种关键的感知技术,使这些机器人能够在非结构化环境中进行精确的操作。然而,传统视觉传感器对照明条件和高速运动的灵敏度为生产线的可靠性和工作速率设定了限制。神经形态视觉是最近的技术,有可能解决传统视觉的挑战,其具有高颞率,低延迟和宽动态范围。在本文中,我们首次提出了一种新型神经形态视觉的基于峰值的控制器,用于更快,更可靠的加工操作,并具有能够进行具有亚毫米精度的钻井任务的完整机器人系统。我们所提出的系统使用我们专为神经形态摄像机的异步输出开发的两种感知阶段为3D定位了目标工件。第一阶段执行用于初始估计工件的姿势的多视图重建,并且第二阶段使用圆孔检测对工件的局部区域进行这种估计。然后,机器人精确地定位钻孔末端执行器并使用基于组合的位置和基于图像的视觉伺服方法钻取工件上的目标孔。所提出的解决方案是通过实验验证的用于在具有不受控制的照明的非结构环境中任意地放置的工件上的工件上钻出螺母孔。实验结果证明了我们的溶液的有效性小于0.1mm的平均位置误差,并证明了神经形态视觉的使用克服了传统相机的照明和速度限制。
translated by 谷歌翻译
人类的生活是无价的。当需要完成危险或威胁生命的任务时,机器人平台可能是更换人类运营商的理想选择。我们在这项工作中重点关注的任务是爆炸性的手段。鉴于移动机器人在多种环境中运行时表现出强大的功能,机器人触觉有可能提供安全解决方案。但是,与人类的运作相比,在此阶段,自主权可能具有挑战性和风险。远程运行可能是完整的机器人自主权和人类存在之间的折衷方案。在本文中,我们提出了一种相对便宜的解决方案,可用于远程敏感和机器人远程操作,以使用腿部操纵器(即,腿部四足机器人的机器人和RGB-D传感)来协助爆炸的军械处置。我们提出了一种新型的系统集成,以解决四足动物全身控制的非平凡问题。我们的系统基于可穿戴的基于IMU的运动捕获系统,该系统用于远程操作和视觉触发性的VR耳机。我们在实验中验证了现实世界中的方法,用于需要全身机器人控制和视觉触发的机车操作任务。
translated by 谷歌翻译
我们提供了机器人智能系统和控制(RISC)LAB MULTIAGEGGENT测试,用于在室外环境中的可靠搜索和救援和空中运输。该系统包括三个多陆无人机(无人机)的团队,能够在室外场中自主搜索,拾取和运输随机分布的物体。该方法涉及基于视觉的物体检测和定位,具有我们的新颖设计,基于GPS的UAV导航和下降区的物体的安全释放。我们的合作策略可确保无人机之间安全的空间分离,我们可以使用已启用的通信共识,防止下落区域的冲突。所有计算都在每个UAV上执行。我们描述了系统的完整软件和硬件架构,并使用全面的户外实验展示其可靠的性能,并通过将我们的结果与最近的一些类似的作品进行比较。
translated by 谷歌翻译
将包装从存储设施运送到消费者前门的物流通常采用高度专业的机器人,通常会将子任务分配到不同的系统,例如,操纵器臂进行分类和轮式车辆进行交付。最近的努力试图通过腿部和人形机器人进行统一的方法。但是,这些解决方案占据了大量空间,从而减少了可以适合运送车辆的包装数量。结果,这些庞大的机器人系统通常会降低可伸缩性和并行任务的潜力。在本文中,我们介绍了Limms(锁存智能模块化移动系统),以解决典型的最后一英里交付的操纵和交付部分,同时保持最小的空间足迹。 Limms是一种对称设计的,6型自由度(DOF)的类似于附件的机器人,两端都带有轮子和闩锁机构。通过将锁在表面上并锚定在一端,Limms可以充当传统的6多型操纵器臂。另一方面,多个lims可以锁在一个盒子上,并且像腿部机器人系统一样行为,包装是身体。在运输过程中,与传统的机器人系统相比,LIMM紧紧地折叠起来,占用的空间要少得多。一大批limms单元可以安装在单个送货工具内部,为新的交付优化和混合计划方法开放,从未做过。在本文中,使用硬件原型研究和呈现了LIMM的可行性,以及在典型的最后一英里交付中的一系列子任务的仿真结果。
translated by 谷歌翻译
While the capabilities of autonomous systems have been steadily improving in recent years, these systems still struggle to rapidly explore previously unknown environments without the aid of GPS-assisted navigation. The DARPA Subterranean (SubT) Challenge aimed to fast track the development of autonomous exploration systems by evaluating their performance in real-world underground search-and-rescue scenarios. Subterranean environments present a plethora of challenges for robotic systems, such as limited communications, complex topology, visually-degraded sensing, and harsh terrain. The presented solution enables long-term autonomy with minimal human supervision by combining a powerful and independent single-agent autonomy stack, with higher level mission management operating over a flexible mesh network. The autonomy suite deployed on quadruped and wheeled robots was fully independent, freeing the human supervision to loosely supervise the mission and make high-impact strategic decisions. We also discuss lessons learned from fielding our system at the SubT Final Event, relating to vehicle versatility, system adaptability, and re-configurable communications.
translated by 谷歌翻译
在过去的十年中,自动驾驶航空运输车辆引起了重大兴趣。这是通过空中操纵器和新颖的握手的技术进步来实现这一目标的。此外,改进的控制方案和车辆动力学能够更好地对有效载荷进行建模和改进的感知算法,以检测无人机(UAV)环境中的关键特征。在这项调查中,对自动空中递送车辆的技术进步和开放研究问题进行了系统的审查。首先,详细讨论了各种类型的操纵器和握手,以及动态建模和控制方法。然后,讨论了降落在静态和动态平台上的。随后,诸如天气状况,州估计和避免碰撞之类的风险以确保安全过境。最后,调查了交付的UAV路由,该路由将主题分为两个领域:无人机操作和无人机合作操作。
translated by 谷歌翻译
许多钥匙孔干预依赖于双手动处理外科手术器械,强迫主要外科医生依靠第二个外科医生作为相机助理。除了过度涉及手术人员的负担外,这可能导致图像稳定性降低,增加任务完成时间,有时由于任务的单调而有时会出现错误。由一组基本说明控制的机器人内窥镜持有者已被提出作为替代方案,但它们的不自然处理可能会增加(SOLO)外科医生的认知负荷,这阻碍了它们的临床验收。如果机器人内窥镜持有者通过语义上丰富的指令与操作外科医生合作的机器人内窥镜持有者,则可以实现手术工作流程的更无缝集成。作为概念证明,本文介绍了一种新颖的系统,为外科医生和机器人内窥镜支架之间的协同相互作用铺平了道路。该拟议的平台允许外科医生执行生理协调和导航任务,而机器人臂自动执行内窥镜定位任务。在我们的系统中,我们提出了一种基于外科刀具分割的新型工具提示定位方法和一种新型的视觉伺服方法,可确保内窥镜摄像机的平滑和适当的运动。我们验证了我们的视觉管道并运行了对该系统的用户学习。通过使用欧洲妇科手术课程验证的腹腔镜运动来确保研究的临床相关性,涉及双部手动协调和导航。我们拟议的系统的成功应用提供了更广泛的临床采用机器人内窥镜架的有希望的起点。
translated by 谷歌翻译