在本文中,提出了一种模拟人脸和眼睛的方法,其可以被视为计算机视觉技术和神经网络概念的组合。从机械角度来看,使用3-DOF球形并联机器人,其模仿人头运动。在涉及眼球运动的顾虑中,将2-DOF机构连接到3-DOF球形平行机构的端部执行器。为了对模仿具有稳健和可靠的结果,应从面啮合物中提取有意义的信息,以获得面部的姿势,即卷,偏航和俯仰角。为此,提出了两种方法,其中每个方法都有自己的利弊。第一种方法在于借助Google引入的所谓的MediaPipe库,该库是用于高保真身体姿势跟踪的机器学习解决方案。作为第二种方法,模型是由不同姿势的面部图像的聚集数据集进行线性回归模型训练。另外,利用了三维敏捷眼睛并联机器人来示出该机器人用作类似于用于执行3-DOF旋转运动模式的人头的系统的能力。此外,制造3D印刷面和2-DOF眼睛机构以显示整个系统的方式更时尚。基于ROS平台完成的实验测试,证明了追踪人体头部运动的提出方法的有效性。
translated by 谷歌翻译
中枢神经系统(CNS)利用预期(APA)和补偿性(CPA)的姿势调整以保持平衡。姿势调整包括质量中心的稳定性(COM)(COM)和身体的压力分布相互影响,如果存在他们俩缺乏表现。任何可预测的或突然的扰动都可能为COM与平衡和身体的均匀压力分布的分歧铺平道路。由于其不良的APA和CPA,并引起了它们的跌倒。神经系统患者跌倒风险的最小化方法正在利用基于扰动的康复,因为它有效地恢复了平衡障碍。根据发现的结果,我们的发现,我们的发现,我们的发现,我们的发现,我们的发现,我们的发现是有效的。介绍新型3 DOF平行操纵器的设计,实现和实验评估,以治疗M. M.的平衡障碍,机器人平台允许角运动脚踝基于其拟人化的自由。赋予上下平台的最终效应分别旨在评估每只脚的压力分布和身体的com。在机器人平台的高级控制中,用于调节任务的难度水平。在这项研究中,在模拟环境中得出并验证了机器人的运动学和动态分析。还通过PID控制器成功实现了对原型的低级控制。每个平台的容量都通过一组实验来评估,考虑评估最终效应器上的脚注和类似对象的压力分布和COM。实验结果表明,这样的系统井井有条,需要通过APA和CPA进行平衡技能培训和评估。
translated by 谷歌翻译
在治疗方案中应用的机器人,例如在自闭症谱系障碍的个体治疗中,有时被用于模仿学习活动,其中一个人需要由机器人重复运动。为了简化合并机器人可以执行的新运动的任务,希望机器人能够通过观察人类(例如治疗师)的示威来学习动作。在本文中,我们研究了一种从人类的骨骼观察中获取动作的方法,该方法是由以机器人为中心的RGB-D摄像头收集的。给定一系列观察到各种关节,在通过PID位置控制器执行之前,将关节位置映射以匹配机器人的配置。我们通过使用Qtrobot进行一项研究来评估该方法,尤其是繁殖误差,其中机器人从多个参与者中获取了不同的上身舞蹈动作。结果表明该方法的总体可行性,但也表明繁殖质量受骨架观测中噪声的影响。
translated by 谷歌翻译
在人类机器人的相互作用中,眼球运动在非语言交流中起着重要作用。但是,控制机器人眼的动作表现出与人眼动物系统相似的性能仍然是一个重大挑战。在本文中,我们研究了如何使用电缆驱动的驱动系统来控制人眼的现实模型,该系统模仿了六个眼外肌肉的自由度。仿生设计引入了解决新的挑战,最值得注意的是,需要控制每种肌肉的支撑,以防止运动过程中的紧张感损失,这将导致电缆松弛和缺乏控制。我们构建了一个机器人原型,并开发了一个非线性模拟器和两个控制器。在第一种方法中,我们使用局部衍生技术线性化了非线性模型,并设计了线性 - 季度最佳控制器,以优化计算准确性,能量消耗和运动持续时间的成本函数。第二种方法使用复发性神经网络,该神经网络从系统的样本轨迹中学习非线性系统动力学,以及一个非线性轨迹优化求解器,可最大程度地减少相似的成本函数。我们专注于具有完全不受限制的运动学的快速saccadic眼球运动,以及六根电缆的控制信号的生成,这些电缆同时满足了几个动态优化标准。该模型忠实地模仿了人类扫视观察到的三维旋转运动学和动力学。我们的实验结果表明,尽管两种方法都产生了相似的结果,但非线性方法对于未来改进该模型的方法更加灵活,该模型的计算是线性化模型的位置依赖性偏向和局部衍生物的计算变得特别乏味。
translated by 谷歌翻译
In this article, we plan to provide an introduction about some basics about robots for readers. Several key topics of classic robotics will be introduced, including robot representation, robot rotational motion, coordinates transformation and velocity transformation. By now, classic rigid-body robot analysis is still the main-stream approach in robot controlling and motion planning. In this article, no data-driven or machine learning based methods will be introduced. Most of the materials covered in this article are based on the rigid-body kinematics that the readers probably have learned from the physics course at high-school or college. Meanwhile, these classic robot kinematics analyses will serve as the foundation for the latest intelligent robot control algorithms in modern robotics studies.
translated by 谷歌翻译
人类的生活是无价的。当需要完成危险或威胁生命的任务时,机器人平台可能是更换人类运营商的理想选择。我们在这项工作中重点关注的任务是爆炸性的手段。鉴于移动机器人在多种环境中运行时表现出强大的功能,机器人触觉有可能提供安全解决方案。但是,与人类的运作相比,在此阶段,自主权可能具有挑战性和风险。远程运行可能是完整的机器人自主权和人类存在之间的折衷方案。在本文中,我们提出了一种相对便宜的解决方案,可用于远程敏感和机器人远程操作,以使用腿部操纵器(即,腿部四足机器人的机器人和RGB-D传感)来协助爆炸的军械处置。我们提出了一种新型的系统集成,以解决四足动物全身控制的非平凡问题。我们的系统基于可穿戴的基于IMU的运动捕获系统,该系统用于远程操作和视觉触发性的VR耳机。我们在实验中验证了现实世界中的方法,用于需要全身机器人控制和视觉触发的机车操作任务。
translated by 谷歌翻译
Open Arms是一个新型的开源平台,该平台具有现实的人类机器人手和手臂硬件,并具有28个自由度(DOF),旨在扩展人形机器人抓握和操纵的能力和可访问性。敞开的武器框架包括开放的SDK和开发环境,仿真工具和应用程序开发工具,以构建和操作敞开的武器。本文描述了这些手控制,感应,机制,美学设计以及制造业及其现实世界的应用,并使用远程手工护理机器人进行了现实应用。从2015年到2022年,作者设计并确定了敞开的武器的制造作为低成本,高功能机器人手臂硬件和软件框架,以服务类人机器人的机器人应用以及对低成本假肢的紧急需求,作为一部分汉森机器人索菲亚机器人平台。使用消费产品制造的技术,我们着手定义模块化的低成本技术,以近似人类手的灵敏性和灵敏度。为了证明我们的手的敏捷性和控制,我们提出了一种生成握把残留的CNN(GGR-CNN)模型,该模型可以从实时速度(22ms)的各种对象的输入图像中生成强大的抗抑制剂。我们使用在标准的康奈尔(Cornell)握把数据集上使用模型体系结构实现了92.4%的最新准确性,该数据集包含各种各样的家庭对象。
translated by 谷歌翻译
随着人类生活中的许多实际应用,包括制造监控摄像机,分析和加工客户行为,许多研究人员都注明了对数字图像的面部检测和头部姿势估计。大量提出的深度学习模型具有最先进的准确性,如YOLO,SSD,MTCNN,解决了面部检测或HOPENET的问题,FSA-NET,用于头部姿势估计问题的速度。根据许多最先进的方法,该任务的管道由两部分组成,从面部检测到头部姿势估计。这两个步骤完全独立,不共享信息。这使得模型在设置中清除但不利用每个模型中提取的大部分特色资源。在本文中,我们提出了多任务净模型,具有利用从面部检测模型提取的特征的动机,将它们与头部姿势估计分支共享以提高精度。此外,随着各种数据,表示面部的欧拉角域大,我们的模型可以预测360欧拉角域的结果。应用多任务学习方法,多任务净模型可以同时预测人头的位置和方向。为了提高预测模型的头部方向的能力,我们将人脸从欧拉角呈现到旋转矩阵的载体。
translated by 谷歌翻译
对于腿部机器人,航空动作是唯一可以通过标准运动步态绕过的障碍物的唯一选择。在这些情况下,机器人必须进行飞跃,以跳到障碍物或飞越障碍物上。但是,这些运动代表了一个挑战,因为在飞行阶段\ gls {com}无法控制,并且机器人方向的可控性有限。本文重点介绍了后一个问题,并提出了一个由两个旋转和驱动的质量(飞轮或反应轮)组成的\ gls {ocs},以获得机器人方向的控制权。由于角动量的保护,即使与地面没有接触,它们的旋转速度也可以调节以引导机器人方向。飞轮的旋转轴设计为入射,导致一个紧凑的方向控制系统,该系统能够控制滚动和俯仰角,考虑到这两个方向的不同惯性矩。我们通过机器人Solo12上的模拟测试了该概念。
translated by 谷歌翻译
Solving the analytical inverse kinematics (IK) of redundant manipulators in real time is a difficult problem in robotics since its solution for a given target pose is not unique. Moreover, choosing the optimal IK solution with respect to application-specific demands helps to improve the robustness and to increase the success rate when driving the manipulator from its current configuration towards a desired pose. This is necessary, especially in high-dynamic tasks like catching objects in mid-flights. To compute a suitable target configuration in the joint space for a given target pose in the trajectory planning context, various factors such as travel time or manipulability must be considered. However, these factors increase the complexity of the overall problem which impedes real-time implementation. In this paper, a real-time framework to compute the analytical inverse kinematics of a redundant robot is presented. To this end, the analytical IK of the redundant manipulator is parameterized by so-called redundancy parameters, which are combined with a target pose to yield a unique IK solution. Most existing works in the literature either try to approximate the direct mapping from the desired pose of the manipulator to the solution of the IK or cluster the entire workspace to find IK solutions. In contrast, the proposed framework directly learns these redundancy parameters by using a neural network (NN) that provides the optimal IK solution with respect to the manipulability and the closeness to the current robot configuration. Monte Carlo simulations show the effectiveness of the proposed approach which is accurate and real-time capable ($\approx$ \SI{32}{\micro\second}) on the KUKA LBR iiwa 14 R820.
translated by 谷歌翻译
如今,腿部四足机器人的设计和开发是科学研究的一个非常活跃的领域。实际上,由于与其他移动机器人相比,腿部机器人能够适应严峻的地形和各种环境条件,因此变得流行。随着对腿部机器人实验的需求较高,更多的研究和工程师需要一种负担得起,快速的运动算法开发方式。在本文中,我们提出了一个新的开源四倍的机器人超狗平台,该平台具有12个RC伺服电机,NVIDIA JETSON NANO COMPUTER和STM32F4 DISCOVERY板。 HyperDog是四倍的机器人软件开发的开源平台,该平台基于机器人操作系统2(ROS2)和Micro-Ros。此外,HyperDog是完全由3D印刷零件和碳纤维建造的四倍的机器人狗,它使机器人的重量轻和强度良好。这项工作的想法是证明机器人开发的一种负担得起且可定制的方式,并为研究和工程师提供了腿部机器人平台,在该平台中可以在模拟和真实环境中测试和验证不同的算法。具有代码的开发项目可在GitHub(https://github.com/ndhana94/hyperdog_ros2)上获得。
translated by 谷歌翻译
Soft robots are interesting examples of hyper-redundancy in robotics, however, the nonlinear continuous dynamics of these robots and the use of hyper-elastic and visco-elastic materials makes modeling of these robots more complicated. This study presents a geometric Inverse Kinematic (IK) model for trajectory tracking of multi-segment extensible soft robots, where, each segment of the soft actuator is geometrically approximated with multiple rigid links connected with rotary and prismatic joints. Using optimization methods, the desired configuration variables of the soft actuator for the desired end-effector positions are obtained. Also, the redundancy of the robot is applied for second task applications, such as tip angle control. The model's performance is investigated through simulations, numerical benchmarks, and experimental validations and results show lower computational costs and higher accuracy compared to most existing methods. The method is easy to apply to multi segment soft robots, both in 2D and 3D. As a case study, a fully 3D-printed soft robot manipulator is tested using a control unit and the model predictions show good agreement with the experimental results.
translated by 谷歌翻译
我们提出了6D(种子)中系列弹性末端效应器的框架,其将空间兼容的元素结合在粘合性感觉中,以掌握和操纵野外的工具。我们的框架将串联弹性的益处推广到6- DOF,同时提供使用粘液触觉感测的控制抽象。我们提出了一种用于粘合性感测的相对姿势估计的算法,以及能够实现与环境的稳定力相互作用的空间混合力力位置控制器。我们展示了我们对需要监管空间力量的工具的效果。视频链接:https://youtu.be/2-yuifspdrk
translated by 谷歌翻译
This paper presents an image-based visual servo control (IBVS) method for a first-person-view (FPV) quadrotor to conduct aggressive aerial tracking. There are three major challenges to maneuvering an underactuated vehicle using IBVS: (i) finding a visual feature representation that is robust to large rotations and is suited to be an optimization variable; (ii) keeping the target visible without sacrificing the robot's agility; and (iii) compensating for the rotational effects in the detected features. We propose a complete design framework to address these problems. First, we employ a rotation on $SO(3)$ to represent a spherical image feature on $S^{2}$ to gain singularity-free and second-order differentiable properties. To ensure target visibility, we formulate the IBVS as a nonlinear model predictive control (NMPC) problem with three constraints taken into account: the robot's physical limits, target visibility, and time-to-collision (TTC). Furthermore, we propose a novel attitude-compensation scheme to enable formulating the visibility constraint in the actual image plane instead of a virtual fix-orientation image plane. It guarantees that the visibility constraint is valid under large rotations. Extensive experimental results show that our method can track a fast-moving target stably and aggressively without the aid of a localization system.
translated by 谷歌翻译
本文介绍了设计,开发,并通过IISC-TCS团队为穆罕默德·本·扎耶德国际机器人挑战赛2020年挑战1的目标的挑战1硬件 - 软件系统的测试是抓住从移动和机动悬挂球UAV和POP气球锚定到地面,使用合适的操纵器。解决这一挑战的重要任务包括具有高效抓取和突破机制的硬件系统的设计和开发,考虑到体积和有效载荷的限制,使用适用于室外环境的可视信息的准确目标拦截算法和开发动态多功能机空中系统的软件架构,执行复杂的动态任务。在本文中,设计了具有末端执行器的单个自由度机械手设计用于抓取和突发,并且开发了鲁棒算法以拦截在不确定的环境中的目标。基于追求参与和人工潜在功能的概念提出了基于视觉的指导和跟踪法。本工作中提供的软件架构提出了一种操作管理系统(OMS)架构,其在多个无人机之间协同分配静态和动态任务,以执行任何给定的任务。这项工作的一个重要方面是所有开发的系统都设计用于完全自主模式。在这项工作中还包括对凉亭环境和现场实验结果中完全挑战的模拟的详细描述。所提出的硬件软件系统对反UAV系统特别有用,也可以修改以满足其他几种应用。
translated by 谷歌翻译
释放机将现成的组件与3DPrinting结合在一起,是一种对称的反应轮独轮车,可以从任何初始位置从任何初始位置跳到其车轮上。船轮凭借非独立和散发不足的动力学以及两个耦合的不稳定自由度,为非线性和数据驱动的控制研究提供了一个具有挑战性的平台。本文介绍了车轮的机械和电气设计,其估计和控制算法以及实验在平衡时表明自我的和干扰的拒绝。
translated by 谷歌翻译
人类机器人相互作用(HRI)对于在日常生活中广泛使用机器人至关重要。机器人最终将能够通过有效的社会互动来履行人类文明的各种职责。创建直接且易于理解的界面,以与机器人开始在个人工作区中扩散时与机器人互动至关重要。通常,与模拟机器人的交互显示在屏幕上。虚拟现实(VR)是一个更具吸引力的替代方法,它为视觉提示提供了更像现实世界中看到的线索。在这项研究中,我们介绍了Jubileo,这是一种机器人的动画面孔,并使用人类机器人社会互动领域的各种研究和应用开发工具。Jubileo Project不仅提供功能齐全的开源物理机器人。它还提供了一个全面的框架,可以通过VR接口进行操作,从而为HRI应用程序测试带来沉浸式环境,并明显更好地部署速度。
translated by 谷歌翻译
近年来,空中机器人背景下的高速导航和环境互动已成为几个学术和工业研究研究的兴趣领域。特别是,由于其若干环境中的潜在可用性,因此搜索和拦截(SAI)应用程序造成引人注目的研究区域。尽管如此,SAI任务涉及有关感官权重,板载计算资源,致动设计和感知和控制算法的具有挑战性的发展。在这项工作中,已经提出了一种用于高速对象抓握的全自动空中机器人。作为一个额外的子任务,我们的系统能够自主地刺穿位于靠近表面的杆中的气球。我们的第一款贡献是在致动和感觉水平的致动和感觉水平的空中机器人的设计,包括具有额外传感器的新型夹具设计,使机器人能够高速抓住物体。第二种贡献是一种完整的软件框架,包括感知,状态估计,运动计划,运动控制和任务控制,以便快速且强大地执行自主掌握任务。我们的方法已在一个具有挑战性的国际竞争中验证,并显示出突出的结果,能够在室外环境中以6米/分来自动搜索,遵循和掌握移动物体
translated by 谷歌翻译
用于移动操作的机器人平台需要满足许多对许多现实世界应用的两个矛盾要求:需要紧凑的基础才能通过混乱的室内环境导航,而支撑需要足够大以防止翻滚或小费,尤其是在快速操纵期间有效载荷或与环境有力互动的操作。本文提出了一种新颖的机器人设计,该设计通过多功能足迹来满足这两种要求。当操纵重物时,它可以将其足迹重新配置为狭窄的配置。此外,其三角形配置可通过防止支撑开关来在不平坦的地面上进行高精度任务。提出了一种模型预测控制策略,该策略统一计划和控制,以同时导航,重新配置和操纵。它将任务空间目标转换为新机器人的全身运动计划。提出的设计已通过硬件原型进行了广泛的测试。足迹重新配置几乎可以完全消除操纵引起的振动。控制策略在实验室实验和现实世界的施工任务中被证明有效。
translated by 谷歌翻译
机器人布操作是自动机器人系统的相关挑战性问题。高度可变形的对象,因为纺织品在操纵过程中可以采用多种配置和形状。因此,机器人不仅应该了解当前的布料配置,还应能够预测布的未来行为。本文通过使用模型预测控制(MPC)策略在对象的其他部分应用动作,从而解决了间接控制纺织对象某些点的配置的问题,该策略还允许间接控制的行为点。设计的控制器找到了最佳控制信号,以实现所需的未来目标配置。本文中的探索场景考虑了通过抓住其上角,以平方布的下角跟踪参考轨迹。为此,我们提出并验证线性布模型,该模型允许实时解决与MPC相关的优化问题。增强学习(RL)技术用于学习所提出的布模型的最佳参数,并调整所得的MPC。在模拟中获得准确的跟踪结果后,在真实的机器人中实现并执行了完整的控制方案,即使在不利条件下也可以获得准确的跟踪。尽管总观察到的误差达到5 cm标记,但对于30x30 cm的布,分析表明,MPC对该值的贡献少于30%。
translated by 谷歌翻译