在这项工作中，提出了一种用于接近和揭示局部遮挡的感兴趣对象的控制方案。控制方案仅基于由连接到机器人末端执行器的手中相机获得的分类点云。结果表明，所提出的控制器在对象附近达到逐渐揭示每个可见点的邻域的感兴趣的对象。因此，它可以达到物体的完整揭幕。所提出的控制方案是通过模拟和实验评估的，用UR5E机器人用手中的RealSense相机在模拟藤设置上，用于揭示葡萄的茎。
translated by 谷歌翻译
大多数现有的机器人收割机都使用单一的方法；单臂通过分离运动抓住农作物并将其脱离，或者通过特殊设计的抓地力/切割器最终效果切割茎。但是，这种单人的解决方案不能用于敏感的农作物和杂乱的环境（如葡萄和葡萄园），其中障碍物可能会阻塞茎并且没有空间容纳切割机的放置。在这种情况下，该解决方案将需要一个双人机器人，以便在视觉上揭开茎并操纵抓地力的作物，以创建与人类使用的实践相似的切割负担能力。在这项工作中，提出了一种达到茎预切口状态的双臂协调运动控制方法。配备刀具的摄像头正到达茎，尽可能将其揭开，而第二臂则将握住的农作物移向周围的自由空间，以促进其茎切割。在使用塑料葡萄簇的模型葡萄藤设置进行实验室实验可评估所提出的方法，涉及两个UR5E机器人臂和一个Realsense D415摄像头。
translated by 谷歌翻译
本文考虑了非独立多机器人系统的同时位置和方向计划。与仅关注最终位置限制的常见研究不同，我们将非语言移动机器人建模为刚性机构，并引入机器人最终状态的方向和位置约束。换句话说，机器人不仅应达到指定的位置，而且还应同时指出所需的方向。这个问题的挑战在于全州运动计划的不足，因为只需要通过两个控制输入来计划三个州。为此，我们根据刚体建模提出了动态矢量场（DVF）。具体而言，机器人方向的动力学被带入矢量场，这意味着向量场不再是2-D平面上的静态，而是一个动态的，而动态场却随态度角度而变化。因此，每个机器人可以沿DVF的积分曲线移动以达到所需位置，与此同时，姿态角可以在方向动力学之后收敛到指定值。随后，通过在DVF的框架下设计一个圆形向量场，我们进一步研究了运动计划中的避免障碍物和相互企业的避免。最后，提供了数值仿真示例，以验证提出的方法的有效性。
translated by 谷歌翻译
对于移动机器人而言，与铰接式对象的交互是一项具有挑战性但重要的任务。为了应对这一挑战，我们提出了一条新型的闭环控制管道，该管道将负担能力估计的操纵先验与基于采样的全身控制相结合。我们介绍了完全反映了代理的能力和体现的代理意识提供的概念，我们表明它们的表现优于其最先进的对应物，这些对应物仅以最终效果的几何形状为条件。此外，发现闭环负担推论使代理可以将任务分为多个非连续运动，并从失败和意外状态中恢复。最后，管道能够执行长途移动操作任务，即在现实世界中开放和关闭烤箱，成功率很高（开放：71％，关闭：72％）。
translated by 谷歌翻译
在本文中，我们开辟了基于路径积分（PI）最优控制理论的可视伺服系统的新途径，其中可以将非线性部分微分方程（PDE）转换为使用Feynman的所有可能的轨迹的期望-KAC（FK）引理。更精确地，我们提出了基于采样的模型预测控制（即，模型预测路径积分（MPPI）控制）算法，提出了MPPI-VS控制策略，实时和无反转控制策略（即，模型预测路径积分（MPPI）控制）算法 - 基于，3D点和基于位置的可视伺服技术，考虑到系统约束（例如可见性，3D和控制约束）以及与机器人和相机模型相关联的参数不确定性以及测量噪声。与经典的视觉伺服控制方案相反，我们的控制策略直接利用交互矩阵的近似，而无需估计交互矩阵反转或执行伪反转。我们在带有引导摄像机的6-DOF笛卡尔机器人上验证MPPI-VS控制策略以及基于图像平面中的四个点作为视觉特征的常规摄像机。与经典计划相比，更好地评估和展示所提出的控制策略的鲁棒性和潜在优势，进行了各种操作条件下的密集模拟，然后讨论。所获得的结果证明了所提出的方案在容易与系统限制中应对的有效性和能力，以及在相机参数和测量中存在大误差的鲁棒性。
translated by 谷歌翻译
我们提出了一个通用框架，用于使用安装在机器人操纵器上的相机在农场设置中准确定位传感器和最终效应器。我们的主要贡献是一种基于新的且可靠的功能跟踪算法的视觉致密伺服方法。在苹果园进行的现场实验的结果表明，即使在环境影响下，我们的方法也会收敛到给定的终止标准，例如强风，不同的照明条件和目标对象的部分遮挡。此外，我们通过实验表明，对于广泛的初始条件，系统会收敛到所需的视图。这种方法为新应用提供了可能性，例如自动化水果检查，水果采摘或精确的农药应用。
translated by 谷歌翻译
机器人的培训数据传输是一种在学习和基于视觉的机器人控制中的一点探索主题。因此，我们提出了一种具有较低自由度（DOF）动作的机器人的转移方法，其与利用全向相机的更高的DOF。机器人相机的虚拟旋转使得在该传输学习过程中能够进行数据增强。在这项研究中，使用由仅具有三个DOF的差分轮式地机器人收集的数据集进行6-DOF机器人的基于视觉控制策略。在机器人操纵中的应用，我们还使用具有不同视图的多个策略来展示6-DOF ARM机器人的控制系统，以实现对象达到任务。
translated by 谷歌翻译
受约束运动控制的最新进展使其成为在具有挑战性的任务中使用任意几何形状控制机器人的有吸引力的策略。当前大多数作品都假定机器人运动模型足够精确，可以完成手头的任务。但是，随着机器人应用的需求和安全要求的增加，需要在线补偿运动学不准确的控制器。我们提出了基于二次编程的自适应约束运动控制策略，该策略使用部分或完整的任务空间测量来补偿在线校准错误。与最先进的运动学控制策略相比，我们的方法在实验中得到了验证。
translated by 谷歌翻译
This work proposes a novel singularity avoidance approach for real-time trajectory optimization based on known singular configurations. The focus of this work lies on analyzing kinematically singular configurations for three robots with different kinematic structures, i.e., the Comau Racer 7-1.4, the KUKA LBR iiwa R820, and the Franka Emika Panda, and exploiting these configurations in form of tailored potential functions for singularity avoidance. Monte Carlo simulations of the proposed method and the commonly used manipulability maximization approach are performed for comparison. The numerical results show that the average computing time can be reduced and shorter trajectories in both time and path length are obtained with the proposed approach
translated by 谷歌翻译
In this work, we propose a new approach that combines data from multiple sensors for reliable obstacle avoidance. The sensors include two depth cameras and a LiDAR arranged so that they can capture the whole 3D area in front of the robot and a 2D slide around it. To fuse the data from these sensors, we first use an external camera as a reference to combine data from two depth cameras. A projection technique is then introduced to convert the 3D point cloud data of the cameras to its 2D correspondence. An obstacle avoidance algorithm is then developed based on the dynamic window approach. A number of experiments have been conducted to evaluate our proposed approach. The results show that the robot can effectively avoid static and dynamic obstacles of different shapes and sizes in different environments.
translated by 谷歌翻译
本文对地面农业机器人系统和应用进行了全面综述，并特别关注收获，涵盖研究，商业产品和结果及其能力技术。大多数文献涉及作物检测的发展，通过视觉及其相关挑战的现场导航。健康监测，产量估计，水状态检查，种子种植和清除杂草经常遇到任务。关于机器人收割，苹果，草莓，西红柿和甜辣椒，主要是出版物，研究项目和商业产品中考虑的农作物。据报道的收获农业解决方案，通常由移动平台，单个机器人手臂/操纵器和各种导航/视觉系统组成。本文回顾了报告的特定功能和硬件的发展，通常是运营农业机器人收割机所要求的；它们包括（a）视觉系统，（b）运动计划/导航方法（对于机器人平台和/或ARM），（c）具有3D可视化的人类机器人交流（HRI）策略，（d）系统操作计划＆掌握策略和（e）机器人最终效果/抓手设计。显然，自动化农业，特别是通过机器人系统的自主收获是一个研究领域，它仍然敞开着，在可以做出新的贡献的地方提供了一些挑战。
translated by 谷歌翻译
休眠季节葡萄树修剪需要熟练的季节性工人，这在冬季变得越来越缺乏。随着在短期季节性招聘文化和低工资的短期季节性招聘文化和低工资的时间内，随着工人更少的葡萄藤，葡萄藤往往被修剪不一致地导致葡萄化物不平衡。除此之外，目前现有的机械方法无法选择性地修剪葡萄园和手动后续操作，通常需要进一步提高生产成本。在本文中，我们展示了崎岖，全自治机器人的设计和田间评估，用于休眠季节葡萄园的端到最终修剪。该设计的设计包括新颖的相机系统，运动冗余机械手，地面机器人和在感知系统中的新颖算法。所提出的研究原型机器人系统能够在213秒/葡萄藤中完全从两侧刺激一排藤蔓，总修枝精度为87％。与机械预灌浆试验相比，商业葡萄园中自治系统的初始现场测试显示出休眠季节修剪的显着变化。在手稿中描述了设计方法，系统组件，经验教训，未来增强以及简要的经济分析。
translated by 谷歌翻译
2022-05-09
我们探索一种新的方法来感知和操纵3D铰接式物体，该物体可以概括地使机器人阐明看不见的对象。我们提出了一个基于视觉的系统，该系统学会预测各种铰接物体的各个部分的潜在运动，以指导系统的下游运动计划以表达对象。为了预测对象运动，我们训练一个神经网络，以输出一个密集的向量场，代表点云中点云中点的点运动方向。然后，我们根据该向量领域部署一个分析运动计划者，以实现产生最大发音的政策。我们完全在模拟中训练视觉系统，并演示了系统在模拟和现实世界中概括的对象实例和新颖类别的能力，并将我们的政策部署在没有任何填充的锯耶机器人上。结果表明，我们的系统在模拟和现实世界实验中都达到了最先进的性能。
translated by 谷歌翻译
无人机可以提供最小约束的适应摄像头视图，以支持机器人远程启用。此外，可以自动化无人机视图，以减轻远程运行期间操作员的负担。但是，现有方法并不关注使用无人机作为自动视图提供商的两个重要方面。首先是无人机应如何从工作空间内的一系列质量视点（例如对象的相对侧）中进行选择。第二是如何补偿不可避免的无人机姿势不确定性。在本文中，我们提供了一种非线性优化方法，该方法可通过铰接的操纵器产生有效和适应性的无人机观点，用于远程注射。我们的第一个关键想法是使用稀疏的人类输入输入来在多个自动生成的无人机观点之间切换。我们的第二个关键思想是引入优化目标，以在考虑无人机不确定性以及对观点遮挡和环境碰撞的影响的同时，保持对操纵器的视图。我们在无人机操纵器远程遥控系统中提供了无人机观点方法的实例化。最后，我们在完成普通家庭和工业操作的任务中对方法进行了初步验证。
translated by 谷歌翻译
抓握是通过在一组触点上施加力和扭矩来挑选对象的过程。深度学习方法的最新进展允许在机器人对象抓地力方面快速进步。我们在过去十年中系统地调查了出版物，特别感兴趣使用最终效果姿势的所有6度自由度抓住对象。我们的综述发现了四种用于机器人抓钩的常见方法：基于抽样的方法，直接回归，强化学习和示例方法。此外，我们发现了围绕抓握的两种“支持方法”，这些方法使用深入学习来支持抓握过程，形状近似和负担能力。我们已经将本系统评论（85篇论文）中发现的出版物提炼为十个关键要点，我们认为对未来的机器人抓握和操纵研究至关重要。该调查的在线版本可从https://rhys-newbury.github.io/projects/6dof/获得
translated by 谷歌翻译
Due to labor shortage and rising labor cost for the apple industry, there is an urgent need for the development of robotic systems to efficiently and autonomously harvest apples. In this paper, we present a system overview and algorithm design of our recently developed robotic apple harvester prototype. Our robotic system is enabled by the close integration of several core modules, including visual perception, planning, and control. This paper covers the main methods and advancements in deep learning-based multi-view fruit detection and localization, unified picking and dropping planning, and dexterous manipulation control. Indoor and field experiments were conducted to evaluate the performance of the developed system, which achieved an average picking rate of 3.6 seconds per apple. This is a significant improvement over other reported apple harvesting robots with a picking rate in the range of 7-10 seconds per apple. The current prototype shows promising performance towards further development of efficient and automated apple harvesting technology. Finally, limitations of the current system and future work are discussed.
translated by 谷歌翻译
尽管移动操作在工业和服务机器人技术方面都重要，但仍然是一个重大挑战，因为它需要将最终效应轨迹的无缝整合与导航技能以及对长匹马的推理。现有方法难以控制大型配置空间，并导航动态和未知环境。在先前的工作中，我们建议将移动操纵任务分解为任务空间中最终效果的简化运动生成器，并将移动设备分解为训练有素的强化学习代理，以说明移动基础的运动基础，以说明运动的运动可行性。在这项工作中，我们引入了移动操作的神经导航（n $^2 $ m $^2 $），该导航将这种分解扩展到复杂的障碍环境，并使其能够解决现实世界中的广泛任务。最终的方法可以在未探索的环境中执行看不见的长马任务，同时立即对动态障碍和环境变化做出反应。同时，它提供了一种定义新的移动操作任务的简单方法。我们证明了我们提出的方法在多个运动学上多样化的移动操纵器上进行的广泛模拟和现实实验的能力。代码和视频可在http://mobile-rl.cs.uni-freiburg.de上公开获得。
translated by 谷歌翻译
Many problems in robotics are fundamentally problems of geometry, which lead to an increased research effort in geometric methods for robotics in recent years. The results were algorithms using the various frameworks of screw theory, Lie algebra and dual quaternions. A unification and generalization of these popular formalisms can be found in geometric algebra. The aim of this paper is to showcase the capabilities of geometric algebra when applied to robot manipulation tasks. In particular the modelling of cost functions for optimal control can be done uniformly across different geometric primitives leading to a low symbolic complexity of the resulting expressions and a geometric intuitiveness. We demonstrate the usefulness, simplicity and computational efficiency of geometric algebra in several experiments using a Franka Emika robot. The presented algorithms were implemented in c++20 and resulted in the publicly available library \textit{gafro}. The benchmark shows faster computation of the kinematics than state-of-the-art robotics libraries.
translated by 谷歌翻译
柔性章鱼臂具有卓越的能力，可以协调大量自由度并执行复杂的操纵任务。结果，这些系统继续吸引生物学家和机器人的注意力。在本文中，我们开发了一个三维模型的软章鱼臂，配备了生物力学上逼真的肌肉致动。考虑了所有主要肌肉群施加的内力和夫妇。描述了一种能量塑形控制方法来协调肌肉活动，以便在3D空间中掌握和触及。本文的主要贡献是：（i）主要肌肉群建模以引起三维运动； （ii）基于存储的能量功能的肌肉激活的数学公式； （iii）通过在特殊欧几里得组SE中解决优化问题获得的设计特定于任务的平衡配置的计算有效过程（3）。然后，根据优化问题解决方案引起的共同状态变量，对肌肉控制进行迭代计算。该方法在物理准确的软件环境弹性中得到了数值的证明。报告了模拟观察到的章鱼行为的数值实验的结果。
translated by 谷歌翻译
在许多无人机应用中，为空中机器人计划的时间轨迹至关重要，例如救援任务和包装交付，这些应用程序近年来已经广泛研究。但是，它仍然涉及一些挑战，尤其是在将特殊任务要求纳入计划以及空中机器人的动态方面。在这项工作中，我们研究了一种案例，使空中操纵器应以时间优势的方式从移动的移动机器人中移交一个包裹。我们没有手动设置方法轨迹，这使得很难确定在动态范围内完成所需任务的最佳总行进时间，而是提出了一个优化框架，该框架将离散的力学和互补性约束（DMCC）结合在一起。在提出的框架中，系统动力学受到离散的拉格朗日力学的约束，该机械也根据我们的实验提供了可靠的估计结果。移交机会是根据所需的互补限制自动确定和安排的。最后，通过使用我们的自设计的空中操纵器进行数值模拟和硬件实验来验证所提出的框架的性能。
translated by 谷歌翻译