智能辅助系统可以导航盲人，但其中大多数只能给出非直觉的提示或效率低下的指导。基于计算机视觉和颤振的编码，本文提出了一个交互式系统，为盲人提供直观的空间认知。与基于语音提示的传统听觉反馈策略不同，本文首先引入了一种振动编码的反馈方法，该方法利用了触觉神经途径，并使用户能够与操纵辅助设备以外的对象进行交互。基于此策略，3D空间对象定位采用了基于RGB-D摄像机的可穿戴视觉模块，这有助于在真实环境中进行准确的感知和快速对象定位。目标盲人的实验结果表明，与主流语音及时反馈方案相比，纤维触觉反馈将任务的完成时间降低了25％。拟议的对象定位系统提供了更直观的空间导航和舒适的耐磨性，以提供盲目帮助。
translated by 谷歌翻译
In recent decades, several assistive technologies for visually impaired and blind (VIB) people have been developed to improve their ability to navigate independently and safely. At the same time, simultaneous localization and mapping (SLAM) techniques have become sufficiently robust and efficient to be adopted in the development of assistive technologies. In this paper, we first report the results of an anonymous survey conducted with VIB people to understand their experience and needs; we focus on digital assistive technologies that help them with indoor and outdoor navigation. Then, we present a literature review of assistive technologies based on SLAM. We discuss proposed approaches and indicate their pros and cons. We conclude by presenting future opportunities and challenges in this domain.
translated by 谷歌翻译
人类的生活是无价的。当需要完成危险或威胁生命的任务时，机器人平台可能是更换人类运营商的理想选择。我们在这项工作中重点关注的任务是爆炸性的手段。鉴于移动机器人在多种环境中运行时表现出强大的功能，机器人触觉有可能提供安全解决方案。但是，与人类的运作相比，在此阶段，自主权可能具有挑战性和风险。远程运行可能是完整的机器人自主权和人类存在之间的折衷方案。在本文中，我们提出了一种相对便宜的解决方案，可用于远程敏感和机器人远程操作，以使用腿部操纵器（即，腿部四足机器人的机器人和RGB-D传感）来协助爆炸的军械处置。我们提出了一种新型的系统集成，以解决四足动物全身控制的非平凡问题。我们的系统基于可穿戴的基于IMU的运动捕获系统，该系统用于远程操作和视觉触发性的VR耳机。我们在实验中验证了现实世界中的方法，用于需要全身机器人控制和视觉触发的机车操作任务。
translated by 谷歌翻译
将触觉反馈从指尖转移到手腕上的重新定位被认为是使与混合现实虚拟环境的触觉相互作用的一种方式，同时使手指免费完成其他任务。我们介绍了一对腕触觉触觉设备以及一个虚拟环境，以研究手指和触觉者之间的各种映射如何影响任务性能。腕部呈现的触觉反馈反映了由食指和拇指控制的虚拟物体和虚拟化头像之间发生的相互作用。我们进行了一项用户研究，比较了四个不同的手指触觉反馈映射和一个无反馈条件作为对照。我们评估了用户通过任务完成时间的指标，手指和虚拟立方体的路径长度以及在指尖处的正常和剪切力的大小来评估了用户执行简单的选择任务的能力。我们发现多次映射是有效的，并且当视觉提示受到限制时会产生更大的影响。我们讨论了方法的局限性，并描述了朝着腕部磨损设备进行多重自由度触觉渲染的下一步步骤，以改善虚拟环境中的任务性能。
translated by 谷歌翻译
Teleperation已成为全自动系统，以实现人类机器人的人体水平能力的替代解决方案。具体而言，全身控制的远程运行是指挥类人动物的有前途的无提手术策略，但需要更多的身体和心理努力。为了减轻这一限制，研究人员提出了共享控制方法，结合了机器人决策，以帮助人类完成低级任务，从而进一步减少了运营工作。然而，尚未探索用于全身级别的人型类人形端粒体的共享控制方法。在这项工作中，我们研究了全身反馈如何影响不同环境中不同共享控制方法的性能。提出了时间衍生的Sigmoid功能（TDSF），以产生障碍物的更直观的力反馈。进行了全面的人类实验，结果得出的结论是，力反馈增强了在不熟悉的环境中的全身端粒化表现，但可以在熟悉的环境中降低性能。通过触觉传达机器人的意图显示出进一步的改进，因为操作员可以将力反馈用于短途计划和视觉反馈进行长距离计划。
translated by 谷歌翻译
本文介绍了多传感器用户界面的开发，以促进电弧焊接任务的指导。获得手眼协调能力的传统方法通常是通过一对一的指导来进行的，学员必须戴着保护头盔并进行多项测试。这种方法效率低下，因为电弧从电弧发出的有害光阻止了对过程的密切监测。从业者只能观察到一个小的亮点。为了解决这些问题，最近的培训方法利用虚拟现实来安全地模拟该过程并可视化工件的几何形状。但是，这些类型的仿真平台的合成性质降低了它们的有效性，因为它们无法构成与环境的实际焊接相互作用，从而阻碍了受训者的学习过程。为了为用户提供真正的焊接体验，我们开发了一个新的多传感器扩展现实平台，用于弧焊接训练。我们的系统由：（1）HDR摄像头，实时监视真实的焊接位； （2）深度传感器，捕获场景的3D几何形状； （3）头部安装的VR显示屏，可以安全地可视化过程。我们的创新平台为用户提供了“机器人培训师”，接缝几何形状的虚拟提示，自动点跟踪和性能得分。为了验证平台的可行性，我们通过几项焊接培训任务进行了广泛的实验。我们表明，与传统的培训实践和最近的虚拟现实方法相比，我们的自动多传感器方法在准确性，学习曲线和有效性方面取得了更好的性能。
translated by 谷歌翻译
可以指导人们并避免各种障碍的四足动物指导机器人，有可能以相当低的成本拥有更多视力障碍的人拥有。在本文中，我们提出了一个具有基于舒适概念的新型指导机器人系统。我们设计了一个包含弹性绳索和细绳的皮带，并使用电动机调节绳子的长度以确保舒适度。我们使用基于力的人类运动模型来计划人类所经历的力量。之后，力的方向和大小分别由机器人的运动和电动机的旋转控制。这使得人类可以安全，更舒适地引导到复杂环境中的目标位置。该系统已部署在Unitree Laikago四倍平台上，并在现实情况下进行了验证。
translated by 谷歌翻译
平衡和步态障碍是跌倒的第二主要原因，随之而来的是伤害，据报道是世界各地的主要公共卫生问题。对于不需要机械支持的患者，纤维触及反馈界面已被证明是恢复平衡的成功方法。大多数现有策略评估躯干或头部倾斜，速度或足底力，仅限于立场的分析。另一方面，平衡控制的中心是需要将身体的压力中心（COP）保持在支撑多边形（SP）的可行限制，如站立或前进到新的SP（如步行中）。因此，本文提出了一项探索性研究，以研究是否可以在步行过程中使用速函反馈来领导人类警察。引入了Ergotac-belt纤维触觉设备，以指示用户在前后轴和中侧轴上的方向。这里采用了一种预期策略，以使用户有足够的时间对刺激做出反应。对十个健康受试者进行的实验证明了该设备沿预定义的参考路径指导用户的COP具有有希望的能力，其性能与视觉反馈相似。未来的发展将调查我们的战略和设备，以指导老年人或前庭障碍的人的警察，他们可能不知道或能够弄清楚安全且人体工程学的COP道路。
translated by 谷歌翻译
遥操作平台通常要求用户位于固定位置，以便可视化和控制机器人的运动，因此不提供具有多种移动性的操作员。一个例子是现有的机器人手术解决方案，该解决方案要求外科医生远离患者，附着在其头部必须固定的控制台上，并且它们的臂只能在有限的空间中移动。这在正常手术中的医生和患者之间产生了障碍。为了解决这个问题，我们提出了一个移动电话专业解决方案，外科医生不再机械地限制在控制控制台上，并且能够使用配备有无线传感器的手臂来远优步到患者床边的机器人，并通过光学查看内窥镜视频 - 通过头戴式显示器（HMDS）。我们评估我们的用户交互方法的可行性和效率，与标准的手术机器人机械手相比，通过两个任务，具有不同水平的所需灵活性。结果表明，通过足够的训练，我们所提出的平台可以获得类似的效率，同时为操作员提供额外的移动性。
translated by 谷歌翻译
传感器是将物理参数或环境特征（例如温度，距离，速度等）转换为可以通过数字测量和处理以执行特定任务的信号的设备。移动机器人需要传感器来测量其环境的属性，从而允许安全导航，复杂的感知和相应的动作以及与填充环境的其他代理的有效相互作用。移动机器人使用的传感器范围从简单的触觉传感器（例如保险杠）到复杂的基于视觉的传感器，例如结构化灯相机。所有这些都提供了可以由机器人计算机处理的数字输出（例如，字符串，一组值，矩阵等）。通常通过使用传感器中包含的数字转换器（ADC）的类似物来离散一个或多个模拟电信号来获得此类输出。在本章中，我们介绍了移动机器人技术中最常见的传感器，并提供了其分类法，基本特征和规格的介绍。对功能和应用程序类型的描述遵循一种自下而上的方法：在描述现实世界传感器之前，介绍了传感器所基于的基本原理和组件，这些传感器通常基于多种技术和基本设备。
translated by 谷歌翻译
通过智能连接设备，技术正在逐步重塑国内环境，提高家庭安全和整体环境质量。然而，人口转移和流行病最近展示导致他们房屋中的老年人隔离，产生了可靠的辅助人物的需求。机器人助理是国内福利创新的新前沿。老年人监测只是一个可能的服务应用之一，智能机器人平台可以处理集体福祉。在本文中，我们展示了一个新的辅助机器人，我们通过模块化的基于层的架构开发，使灵活的机械设计与最先进的人工智能进行了灵活的人工智能，以便感知和声音控制。关于以前的机器人助手的作品，我们提出了一个设置有四个麦粉轮的全向平台，这使得自主导航与杂乱环境中的有效障碍物避免。此外，我们设计可控定位装置，以扩展传感器的视觉范围，并改善对用户界面的访问以进行远程呈现和连接。轻量级深度学习解决方案，用于视觉感知，人员姿势分类和声乐命令完全运行机器人的嵌入式硬件，避免了云服务私有数据收集产生的隐私问题。
translated by 谷歌翻译
反复出现或持续的尴尬身体姿势是与工作相关的肌肉骨骼疾病（MSD）发展最常见的危险因素之一。为了防止工人采用有害配置，也可以指导他们朝着更符合人体工程学的配置，可穿戴触觉设备可能是理想的解决方案。在本文中，在肢体姿势校正环境中评估了一个称为Ergotac的纤维ac式单元，称为袖口和称为袖口的滑动单元。使用定量与任务相关的指标和主观定量评估，比较了在十二个健康受试者中比较了他们提供单关节（肩膀或膝盖）和多关节（肩膀和膝盖）指导的能力。还建立了一个集成的环境，以简化参与传感器和反馈系统之间的沟通和数据共享。结果显示出两种设备的良好可接受性和直觉。 Ergotac似乎是肩膀的合适反馈装置，而袖口可能是膝盖的有效解决方案。这项比较研究虽然是初步的，但却是对两种设备进行有效全身姿势校正的潜在整合的促进，目的是开发反馈和辅助设备，以提高工人对危险工作条件的认识，从而防止MSD。
translated by 谷歌翻译
Haptic feedback can improve safety of teleoperated robots when situational awareness is limited or operators are inattentive. Standard potential field approaches increase haptic resistance as an obstacle is approached, which is desirable when the operator is unaware of the obstacle but undesirable when the movement is intentional, such as when the operator wishes to inspect or manipulate an object. This paper presents a novel haptic teleoperation framework that estimates the operator's attentiveness to dampen haptic feedback for intentional movement. A biologically-inspired attention model is developed based on computational working memory theories to integrate visual saliency estimation with spatial mapping. This model generates an attentiveness map in real-time, and the haptic rendering system generates lower haptic forces for obstacles that the operator is estimated to be aware of. Experimental results in simulation show that the proposed framework outperforms haptic teleoperation without attentiveness estimation in terms of task performance, robot safety, and user experience.
translated by 谷歌翻译
失明和低视力（PBLV）的人在定位最终目的地或针对陌生环境中的特定物体时面临重大挑战。此外，除了最初定位和定位目标对象外，从目前的立场接近最终目标通常是令人沮丧和挑战，尤其是当人们摆脱最初的计划途径以避免障碍时。在本文中，我们开发了一种新颖的可穿戴导航解决方案，以为用户提供实时指导，以便在不熟悉的环境中有效地接近感兴趣的目标对象。我们的系统包含两个关键的视觉计算函数：在3D中以3D为中的初始目标对象定位以及对用户轨迹的连续估计，这既基于由用户胸部前面安装在用户胸前的低成本单眼相机捕获的2D视频。这些功能使系统能够提出初始导航路径，在用户移动时不断更新路径，并及时提供有关用户路径校正的建议。我们的实验表明，我们的系统能够以室外和室内的误差小于0.5米的误差操作。该系统完全基于视觉，并且不需要其他传感器进行导航，并且可以使用可穿戴系统中的Jetson处理器进行计算以促进实时导航辅助。
translated by 谷歌翻译
使用移动操纵器来整理家庭环境，在机器人技术中提出了各种挑战，例如适应大型现实世界的环境变化，以及在人类面前的安全和强大的部署。2021年9月举行的全球竞赛，对真正的家庭环境中的整理任务进行了基准测试，重要的是，对全面的系统性能进行了测试。对于此挑战，我们开发了整个家庭服务机器人系统，该机器人系统利用数据驱动的方法来适应众多的方法在执行过程中发生的边缘案例，而不是经典的手动预编程解决方案。在本文中，我们描述了提出的机器人系统的核心成分，包括视觉识别，对象操纵和运动计划。我们的机器人系统赢得了二等奖，验证了数据驱动的机器人系统在家庭环境中移动操作的有效性和潜力。
translated by 谷歌翻译
在这项工作中，我们通过混合现实（MR）应用中的视频传球来探讨自幻想的创建。我们介绍了我们的端到端系统，包括：在商业头部安装显示器（HMD）上进行自定义MR视频通行证实现，我们基于深度学习的实时egpocentric身体细分算法以及我们优化的卸载体系结构，以交流使用HMD分割服务器。为了验证这项技术，我们设计了一种身临其境的VR体验，用户必须在活跃的火山火山口中穿过狭窄的瓷砖路径。这项研究是在三个身体表示条件下进行的：虚拟手，带有颜色的全身分割的视频传递以及深度学习全身分割的视频通行。这种身临其境的经历由30名女性和28名男性进行。据我们所知，这是首次旨在评估基于视频的自我avatar的用户研究，以代表用户在MR场景中。结果表明，不同身体表示在存在方面没有显着差异，虚拟手和全身表示之间的某些实施方案中等改善。视觉质量结果表明，就整个身体感知和整体分割质量而言，深入学习算法的结果更好。我们提供了一些关于使用基于视频的自我幻想的讨论，以及对评估方法的一些思考。提出的E2E解决方案处于最新技术状态的边界，因此在达到成熟之前仍有改进的空间。但是，该溶液是新型MR分布式溶液的关键起点。
translated by 谷歌翻译
根据世界卫生组织的数据，估计视觉障碍会影响全球约22亿人。目前，视力障碍必须依靠导航辅助工具来替代其视觉感，例如基于白色的甘蔗或GPS（全球定位系统）导航，两者都无法在室内工作。白色的甘蔗不能用于确定用户在房间内的位置，而GPS通常可以在室内失去连接，并且不提供方向信息，这两种方法都不适合室内使用。因此，这项研究试图开发3D成像解决方案，该解决方案能够通过复杂的室内环境实现非接触式导航。与以前的方法相比，该设备可以查明用户的位置和方向，同时仅需要53.1％的内存，并且处理速度更快125％。该设备还可以比以前的最新模型检测到60.2％的障碍，同时仅需要41％的内存和处理速度260％。在与人类参与者进行测试时，该设备允许与环境障碍物的碰撞减少94.5％，并允许步行速度提高48.3％，这表明我的设备可以使视力受损更安全，更快地导航。总而言之，这项研究表明了一个基于3D的导航系统，用于视力障碍。该方法可以由多种移动低功率设备（例如手机）使用，以确保所有人都可以使用这项研究。
translated by 谷歌翻译
自动化驾驶系统（广告）开辟了汽车行业的新领域，为未来的运输提供了更高的效率和舒适体验的新可能性。然而，在恶劣天气条件下的自主驾驶已经存在，使自动车辆（AVS）长时间保持自主车辆（AVS）或更高的自主权。本文评估了天气在分析和统计方式中为广告传感器带来的影响和挑战，并对恶劣天气条件进行了解决方案。彻底报道了关于对每种天气的感知增强的最先进技术。外部辅助解决方案如V2X技术，当前可用的数据集，模拟器和天气腔室的实验设施中的天气条件覆盖范围明显。通过指出各种主要天气问题，自主驾驶场目前正在面临，近年来审查硬件和计算机科学解决方案，这项调查概述了在不利的天气驾驶条件方面的障碍和方向的障碍和方向。
translated by 谷歌翻译
As the basis for prehensile manipulation, it is vital to enable robots to grasp as robustly as humans. In daily manipulation, our grasping system is prompt, accurate, flexible and continuous across spatial and temporal domains. Few existing methods cover all these properties for robot grasping. In this paper, we propose a new methodology for grasp perception to enable robots these abilities. Specifically, we develop a dense supervision strategy with real perception and analytic labels in the spatial-temporal domain. Additional awareness of objects' center-of-mass is incorporated into the learning process to help improve grasping stability. Utilization of grasp correspondence across observations enables dynamic grasp tracking. Our model, AnyGrasp, can generate accurate, full-DoF, dense and temporally-smooth grasp poses efficiently, and works robustly against large depth sensing noise. Embedded with AnyGrasp, we achieve a 93.3% success rate when clearing bins with over 300 unseen objects, which is comparable with human subjects under controlled conditions. Over 900 MPPH is reported on a single-arm system. For dynamic grasping, we demonstrate catching swimming robot fish in the water.
translated by 谷歌翻译
深度强化学习在基于激光的碰撞避免有效的情况下取得了巨大的成功，因为激光器可以感觉到准确的深度信息而无需太多冗余数据，这可以在算法从模拟环境迁移到现实世界时保持算法的稳健性。但是，高成本激光设备不仅很难为大型机器人部署，而且还表现出对复杂障碍的鲁棒性，包括不规则的障碍，例如桌子，桌子，椅子和架子，以及复杂的地面和特殊材料。在本文中，我们提出了一个新型的基于单眼相机的复杂障碍避免框架。特别是，我们创新地将捕获的RGB图像转换为伪激光测量，以进行有效的深度强化学习。与在一定高度捕获的传统激光测量相比，仅包含距离附近障碍的一维距离信息，我们提议的伪激光测量融合了捕获的RGB图像的深度和语义信息，这使我们的方法有效地有效障碍。我们还设计了一个功能提取引导模块，以加重输入伪激光测量，并且代理对当前状态具有更合理的关注，这有利于提高障碍避免政策的准确性和效率。
translated by 谷歌翻译