我们考虑对物体抓住的任务，可以用多种抓握类型的假肢手抓住。在这种情况下，传达预期的抓取类型通常需要高的用户认知负载，可以减少采用共享自主框架。在其中，所谓的眼睛内部系统会根据手腕上的相机的视觉输入自动控制掌握前的手工整形。在本文中，我们提出了一种基于目光的学习方法，用于从RGB序列中进行手部形状分类。与以前的工作不同，我们设计了该系统，以支持以不同的掌握类型掌握每个被认为的对象部分的可能性。为了克服缺乏此类数据并减少对训练系统繁琐的数据收集会话的需求，我们设计了一条呈现手动轨迹合成视觉序列的管道。我们开发了一种传感器的设置，以获取真正的人类握把序列以进行基准测试，并表明，与实际数据相比，使用合成数据集训练的实用案例相比，与对真实数据培训的模型相比，使用合成数据集训练的模型获得了更好的概括性能。我们最终将模型整合到Hannes假肢手中，并显示其实际有效性。我们使代码和数据集公开可用，以复制提出的结果。
translated by 谷歌翻译
执行联合互动需要持续相互监测自己的动作及其对对方行为的影响。这种行动效应的监测受到社会提示的提高，并可能导致越来越多的代理意识。共同行动和联合注意力严格相关，两者都有助于形成精确的时间协调。在人类机器人的互动中，机器人能够与人类伴侣建立共同关注并利用各种社会提示进行反应的能力是创建交流机器人的关键步骤。沿着社会组成部分，可以将有效的人类机器人互动视为改进和使机器人的学习过程更自然和健壮的新方法。在这项工作中，我们使用不同的社交技能，例如相互视线，凝视跟随，言语和人的面部识别，以开发有效的教师学习者场景，适用于动态环境中的视觉对象学习。 ICUB机器人的实验表明，该系统允许机器人通过与人类老师的自然互动来学习新对象，并在存在分心者的情况下学习。
translated by 谷歌翻译
目的：对于下臂截肢者，机器人假肢承诺将重新获得日常生活活动的能力。基于生理信号（例如肌电图（EMG））的当前控制方法容易由于运动伪影，肌肉疲劳等导致不良的推理结果。视觉传感器是有关环境状态的主要信息来源，可以在推断可行和预期的手势中发挥至关重要的作用。但是，视觉证据也容易受到其自身的伪像，最常由于对象阻塞，照明变化等。使用生理和视觉传感器测量的多模式证据融合是一种自然方法，这是由于这些模态的互补优势。方法：在本文中，我们提出了一个贝叶斯证据融合框架，用于使用眼部视频，眼睛凝视和来自神经网络模型处理前臂的EMG的掌握意图推理。当手接近对象以掌握对象时，我们将个人和融合性能分析为时间的函数。为此，我们还开发了新颖的数据处理和增强技术来训练神经网络组件。结果：我们的结果表明，相对于EMG和视觉证据，平均而言，融合会提高即将到来的GRASP类型分类准确性，而在触及阶段则提高了13.66％和14.8％的融合，从而单独地和视觉证据，总体融合精度为95.3％。结论：我们的实验数据分析表明，EMG和视觉证据表明互补的强度，因此，多模式证据的融合可以在任何给定时间胜过每个单独的证据方式。
translated by 谷歌翻译
As the basis for prehensile manipulation, it is vital to enable robots to grasp as robustly as humans. In daily manipulation, our grasping system is prompt, accurate, flexible and continuous across spatial and temporal domains. Few existing methods cover all these properties for robot grasping. In this paper, we propose a new methodology for grasp perception to enable robots these abilities. Specifically, we develop a dense supervision strategy with real perception and analytic labels in the spatial-temporal domain. Additional awareness of objects' center-of-mass is incorporated into the learning process to help improve grasping stability. Utilization of grasp correspondence across observations enables dynamic grasp tracking. Our model, AnyGrasp, can generate accurate, full-DoF, dense and temporally-smooth grasp poses efficiently, and works robustly against large depth sensing noise. Embedded with AnyGrasp, we achieve a 93.3% success rate when clearing bins with over 300 unseen objects, which is comparable with human subjects under controlled conditions. Over 900 MPPH is reported on a single-arm system. For dynamic grasping, we demonstrate catching swimming robot fish in the water.
translated by 谷歌翻译
形状通知如何将对象掌握，无论是如何以及如何。因此，本文介绍了一种基于分割的架构，用于将用深度摄像机进行分解为多个基本形状的对象，以及用于机器人抓握的后处理管道。分段采用深度网络，称为PS-CNN，在具有6个类的原始形状和使用模拟引擎生成的合成数据上培训。每个原始形状都设计有参数化掌握家族，允许管道识别每个形状区域的多个掌握候选者。掌握是排序的排名，选择用于执行的第一个可行的。对于无任务掌握单个对象，该方法达到94.2％的成功率将其放置在顶部执行掌握方法中，与自上而下和SE（3）基础相比。涉及变量观点和杂波的其他测试展示了设置的鲁棒性。对于面向任务的掌握，PS-CNN实现了93.0％的成功率。总体而言，结果支持该假设，即在抓地管道内明确地编码形状原语应该提高掌握性能，包括无任务和任务相关的掌握预测。
translated by 谷歌翻译
人类的物体感知能力令人印象深刻，当试图开发具有类似机器人的解决方案时，这变得更加明显。从人类如何将视觉和触觉用于对象感知和相关任务的灵感中，本文总结了机器人应用的多模式对象感知的当前状态。它涵盖了生物学灵感，传感器技术，数据集以及用于对象识别和掌握的感觉数据处理的各个方面。首先，概述了多模式对象感知的生物学基础。然后讨论了传感技术和数据收集策略。接下来，介绍了主要计算方面的介绍，突出显示了每个主要应用领域的一些代表性文章，包括对象识别，传输学习以及对象操纵和掌握。最后，在每个领域的当前进步中，本文概述了有希望的新研究指示。
translated by 谷歌翻译
抓握是通过在一组触点上施加力和扭矩来挑选对象的过程。深度学习方法的最新进展允许在机器人对象抓地力方面快速进步。我们在过去十年中系统地调查了出版物，特别感兴趣使用最终效果姿势的所有6度自由度抓住对象。我们的综述发现了四种用于机器人抓钩的常见方法：基于抽样的方法，直接回归，强化学习和示例方法。此外，我们发现了围绕抓握的两种“支持方法”，这些方法使用深入学习来支持抓握过程，形状近似和负担能力。我们已经将本系统评论（85篇论文）中发现的出版物提炼为十个关键要点，我们认为对未来的机器人抓握和操纵研究至关重要。该调查的在线版本可从https://rhys-newbury.github.io/projects/6dof/获得
translated by 谷歌翻译
当人类掌握现实世界中的物体时，我们经常移动手臂将物体固定在可以使用它的不同姿势中。相比之下，典型的实验室设置仅研究举起后立即研究抓握的稳定性，而没有任何随后的臂重置。但是，由于重力扭矩和握力接触力可能会完全改变，因此抓紧稳定性可能会根据物体的固定姿势而差异很大。为了促进对持有姿势如何影响掌握稳定性的研究，我们提出了Poseit，这是一种新型的多模式数据集，其中包含从抓住对象的完整周期收集的视觉和触觉数据，将手臂重新放置到其中一个采样姿势，并将其重新放置到其中一个采样的姿势中，并摇动物体。使用Poseit的数据，我们可以制定和应对预测特定固定姿势是否稳定的抓握对象的任务。我们培训一个LSTM分类器，该分类器在拟议的任务上达到85％的准确性。我们的实验结果表明，接受Poseit训练的多模式模型比使用唯一视觉或触觉数据具有更高的精度，并且我们的分类器也可以推广到看不见的对象和姿势。
translated by 谷歌翻译
在本文中，我们介绍了DA $^2 $，这是第一个大型双臂灵敏性吸引数据集，用于生成最佳的双人握把对，用于任意大型对象。该数据集包含大约900万的平行jaw grasps，由6000多个对象生成，每个对象都有各种抓紧敏度度量。此外，我们提出了一个端到端的双臂掌握评估模型，该模型在该数据集的渲染场景上训练。我们利用评估模型作为基准，通过在线分析和真实的机器人实验来显示这一新颖和非平凡数据集的价值。所有数据和相关的代码将在https://sites.google.com/view/da2dataset上开源。
translated by 谷歌翻译
在以人为本的环境中工作的机器人需要知道场景中存在哪种物体，以及如何掌握和操纵不同情况下的各种对象，以帮助人类在日常任务中。因此，对象识别和抓握是此类机器人的两个关键功能。最先进的解决物体识别并将其抓握为两个单独的问题，同时都使用可视输入。此外，在训练阶段之后，机器人的知识是固定的。在这种情况下，如果机器人面临新的对象类别，则必须从划痕中重新培训以结合新信息而无需灾难性干扰。为了解决这个问题，我们提出了一个深入的学习架构，具有增强的存储器能力来处理开放式对象识别和同时抓握。特别地，我们的方法将物体的多视图作为输入，并共同估计像素 - 方向掌握配置以及作为输出的深度和旋转不变表示。然后通过元主动学习技术使用所获得的表示用于开放式对象识别。我们展示了我们掌握从未见过的对象的方法的能力，并在模拟和现实世界中使用非常少数的例子在现场使用很少的例子快速学习新的对象类别。
translated by 谷歌翻译
当代掌握检测方法采用深度学习，实现传感器和物体模型不确定性的鲁棒性。这两个主导的方法设计了掌握质量评分或基于锚的掌握识别网络。本文通过将其视为图像空间中的关键点检测来掌握掌握检测的不同方法。深网络检测每个掌握候选者作为一对关键点，可转换为掌握代表= {x，y，w，{\ theta}} t，而不是转角点的三态或四重奏。通过将关键点分组成对来降低检测难度提高性能。为了促进捕获关键点之间的依赖关系，将非本地模块结合到网络设计中。基于离散和连续定向预测的最终过滤策略消除了错误的对应关系，并进一步提高了掌握检测性能。此处提出的方法GKNET在康奈尔和伸缩的提花数据集上的精度和速度之间实现了良好的平衡（在41.67和23.26 fps的96.9％和98.39％）之间。操纵器上的后续实验使用4种类型的抓取实验来评估GKNet，反映不同滋扰的速度：静态抓握，动态抓握，在各种相机角度抓住，夹住。 GKNet优于静态和动态掌握实验中的参考基线，同时表现出变化的相机观点和中度杂波的稳健性。结果证实了掌握关键点是深度掌握网络的有效输出表示的假设，为预期的滋扰因素提供鲁棒性。
translated by 谷歌翻译
The accurate detection and grasping of transparent objects are challenging but of significance to robots. Here, a visual-tactile fusion framework for transparent object grasping under complex backgrounds and variant light conditions is proposed, including the grasping position detection, tactile calibration, and visual-tactile fusion based classification. First, a multi-scene synthetic grasping dataset generation method with a Gaussian distribution based data annotation is proposed. Besides, a novel grasping network named TGCNN is proposed for grasping position detection, showing good results in both synthetic and real scenes. In tactile calibration, inspired by human grasping, a fully convolutional network based tactile feature extraction method and a central location based adaptive grasping strategy are designed, improving the success rate by 36.7% compared to direct grasping. Furthermore, a visual-tactile fusion method is proposed for transparent objects classification, which improves the classification accuracy by 34%. The proposed framework synergizes the advantages of vision and touch, and greatly improves the grasping efficiency of transparent objects.
translated by 谷歌翻译
肌电图（EMG）数据已被广泛采用作为指导人类机器人协作的直观界面。实时检测人类掌握意图的主要挑战是从手动运动中识别动态EMG。先前的研究主要实施了稳态EMG分类，并在动态情况下具有少量的掌握模式，这些模式不足以产生有关实践中肌肉活动变化的差异化控制。为了更好地检测动态运动，可以将更多的EMG变异性集成到模型中。但是，只有有限的研究集中于这种动态抓紧运动的检测，而对非静态EMG分类的大多数现有评估要么需要监督运动状态的地面真相，要么仅包含有限的运动学变化。在这项研究中，我们提出了一个将动态EMG信号分类为手势的框架，并使用一种无监督的方法来检查不同运动阶段的影响，以细分和标记动作转变。我们从大型手势词汇中收集和利用了具有多种动态动作的大型手势词汇的数据，以基于掌握动作的常见序列编码从一个抓握意图到另一个掌握的过渡。随后根据动态EMG信号构建了用于识别手势标签的分类器，不需要对运动运动的监督注释。最后，我们使用来自不同运动阶段的EMG数据评估了多种培训策略的性能，并探讨了每个阶段揭示的信息。所有实验均以实时样式进行评估，并随着时间的推移的性能过渡。
translated by 谷歌翻译
由于价格合理的可穿戴摄像头和大型注释数据集的可用性，在过去几年中，Egintric Vision（又名第一人称视觉-FPV）的应用程序在过去几年中蓬勃发展。可穿戴摄像机的位置（通常安装在头部上）允许准确记录摄像头佩戴者在其前面的摄像头，尤其是手和操纵物体。这种内在的优势可以从多个角度研究手：将手及其部分定位在图像中；了解双手涉及哪些行动和活动；并开发依靠手势的人类计算机界面。在这项调查中，我们回顾了使用以自我为中心的愿景专注于手的文献，将现有方法分类为：本地化（其中的手或部分在哪里？）；解释（手在做什么？）；和应用程序（例如，使用以上为中心的手提示解决特定问题的系统）。此外，还提供了带有手基注释的最突出的数据集的列表。
translated by 谷歌翻译
共享控制可以通过协助执行用户意图来帮助进行远程处理的对象操纵。为此，需要稳健和及时的意图估计，这取决于行为观察。在这里，提出了意图估计框架，该框架使用自然目光和运动功能来预测当前的动作和目标对象。该系统在模拟环境中进行了训练和测试，并在相对混乱的场景中和双手中产生的拾音器和放置序列，另一方面可能是手动。验证是在不同的用户和手中进行的，实现了预测的准确性和优势。对单个特征的预测能力的分析表明，在当前动作的早期识别中，抓握触发器和目光的凝视特征的优势。在当前的框架中，可以将相同的概率模型用于并行和独立工作的两只手，而提出了基于规则的模型来识别所得的双人动作。最后，讨论了这种方法对更复杂，全行为操纵的局限性和观点。
translated by 谷歌翻译
非语言交流在人类机器人相互作用（HRI）的各种场景中起着特别重要的作用。因此，这项工作解决了人类手势识别的问题。特别是，我们专注于头部和眼睛手势，并使用眼镜摄像头采用以自我为中心的（第一人称）观点。我们认为，这种自我为中心的观点可能对场景或以机器人为中心的观点提供了许多概念和技术利益。提出了一种基于运动的识别方法，该方法以两个时间粒度运行。在本地，框架到框架的同谱是通过卷积神经网络（CNN）估算的。该CNN的输出输入了长期记忆（LSTM）以捕获与表征手势相关的长期时间视觉关系。关于网络体系结构的配置，一个特别有趣的发现是，使用同型CNN的内部层的输出增加了使用同型矩阵本身的识别率。尽管这项工作侧重于行动识别，并且尚未进行机器人或用户研究，但该系统旨在满足实时限制。令人鼓舞的结果表明，所提出的以自我为中心的观点是可行的，这项概念验证工作为HRI令人兴奋的领域提供了新颖而有用的贡献。
translated by 谷歌翻译
在非结构化环境中工作的机器人必须能够感知和解释其周围环境。机器人技术领域基于深度学习模型的主要障碍之一是缺乏针对不同工业应用的特定领域标记数据。在本文中，我们提出了一种基于域随机化的SIM2REAL传输学习方法，用于对象检测，可以自动生成任意大小和对象类型的标记的合成数据集。随后，对最先进的卷积神经网络Yolov4进行了训练，以检测不同类型的工业对象。通过提出的域随机化方法，我们可以在零射击和单次转移的情况下分别缩小现实差距，分别达到86.32％和97.38％的MAP50分数，其中包含190个真实图像。在GEFORCE RTX 2080 TI GPU上，数据生成过程的每图像少于0.5 s，培训持续约12H，这使其方便地用于工业使用。我们的解决方案符合工业需求，因为它可以通过仅使用1个真实图像进行培训来可靠地区分相似的对象类别。据我们所知，这是迄今为止满足这些约束的唯一工作。
translated by 谷歌翻译
近年来，空中机器人背景下的高速导航和环境互动已成为几个学术和工业研究研究的兴趣领域。特别是，由于其若干环境中的潜在可用性，因此搜索和拦截（SAI）应用程序造成引人注目的研究区域。尽管如此，SAI任务涉及有关感官权重，板载计算资源，致动设计和感知和控制算法的具有挑战性的发展。在这项工作中，已经提出了一种用于高速对象抓握的全自动空中机器人。作为一个额外的子任务，我们的系统能够自主地刺穿位于靠近表面的杆中的气球。我们的第一款贡献是在致动和感觉水平的致动和感觉水平的空中机器人的设计，包括具有额外传感器的新型夹具设计，使机器人能够高速抓住物体。第二种贡献是一种完整的软件框架，包括感知，状态估计，运动计划，运动控制和任务控制，以便快速且强大地执行自主掌握任务。我们的方法已在一个具有挑战性的国际竞争中验证，并显示出突出的结果，能够在室外环境中以6米/分来自动搜索，遵循和掌握移动物体
translated by 谷歌翻译
We describe a learning-based approach to handeye coordination for robotic grasping from monocular images. To learn hand-eye coordination for grasping, we trained a large convolutional neural network to predict the probability that task-space motion of the gripper will result in successful grasps, using only monocular camera images and independently of camera calibration or the current robot pose. This requires the network to observe the spatial relationship between the gripper and objects in the scene, thus learning hand-eye coordination. We then use this network to servo the gripper in real time to achieve successful grasps. To train our network, we collected over 800,000 grasp attempts over the course of two months, using between 6 and 14 robotic manipulators at any given time, with differences in camera placement and hardware. Our experimental evaluation demonstrates that our method achieves effective real-time control, can successfully grasp novel objects, and corrects mistakes by continuous servoing.
translated by 谷歌翻译
本文介绍了DGBench，这是一种完全可重现的开源测试系统，可在机器人和对象之间具有不可预测的相对运动的环境中对动态抓握进行基准测试。我们使用拟议的基准比较几种视觉感知布置。由于传感器的最小范围，遮挡和有限的视野，用于静态抓握的传统感知系统无法在掌握的最后阶段提供反馈。提出了一个多摄像机的眼睛感知系统，该系统具有比常用的相机配置具有优势。我们用基于图像的视觉宣传控制器进行定量评估真实机器人的性能，并在动态掌握任务上显示出明显提高的成功率。
translated by 谷歌翻译