在治疗方案中应用的机器人，例如在自闭症谱系障碍的个体治疗中，有时被用于模仿学习活动，其中一个人需要由机器人重复运动。为了简化合并机器人可以执行的新运动的任务，希望机器人能够通过观察人类（例如治疗师）的示威来学习动作。在本文中，我们研究了一种从人类的骨骼观察中获取动作的方法，该方法是由以机器人为中心的RGB-D摄像头收集的。给定一系列观察到各种关节，在通过PID位置控制器执行之前，将关节位置映射以匹配机器人的配置。我们通过使用Qtrobot进行一项研究来评估该方法，尤其是繁殖误差，其中机器人从多个参与者中获取了不同的上身舞蹈动作。结果表明该方法的总体可行性，但也表明繁殖质量受骨架观测中噪声的影响。

在本文中，提出了一种模拟人脸和眼睛的方法，其可以被视为计算机视觉技术和神经网络概念的组合。从机械角度来看，使用3-DOF球形并联机器人，其模仿人头运动。在涉及眼球运动的顾虑中，将2-DOF机构连接到3-DOF球形平行机构的端部执行器。为了对模仿具有稳健和可靠的结果，应从面啮合物中提取有意义的信息，以获得面部的姿势，即卷，偏航和俯仰角。为此，提出了两种方法，其中每个方法都有自己的利弊。第一种方法在于借助Google引入的所谓的MediaPipe库，该库是用于高保真身体姿势跟踪的机器学习解决方案。作为第二种方法，模型是由不同姿势的面部图像的聚集数据集进行线性回归模型训练。另外，利用了三维敏捷眼睛并联机器人来示出该机器人用作类似于用于执行3-DOF旋转运动模式的人头的系统的能力。此外，制造3D印刷面和2-DOF眼睛机构以显示整个系统的方式更时尚。基于ROS平台完成的实验测试，证明了追踪人体头部运动的提出方法的有效性。

用机器人手操纵物体是一项复杂的任务。不仅需要协调手指，而且机器人最终效应器的姿势也需要协调。使用人类的运动演示是指导机器人行为的直观和数据效率的方式。我们提出了一个具有自动实施例映射的模块化框架，以将记录的人体运动转移到机器人系统中。在这项工作中，我们使用运动捕获来记录人类运动。我们在八项具有挑战性的任务上评估了我们的方法，其中机器人手需要掌握和操纵可变形或小且脆弱的物体。我们测试了模拟和实际机器人中的轨迹子集，并且整体成功率是一致的。

老年人的数量越来越多，对医疗保健以及特别是康复医疗保健令人担忧。辅助技术和辅助机器人特别可能有助于改善这一过程。我们开发一个能够向患者展示康复锻炼的机器人教练，观看患者进行练习并给予他的反馈，以提高他的表现并鼓励他。该系统的HRI基于我们的研究与康复治疗师和目标人群的团队。系统依赖于人类运动分析。我们开发了一种学习概率表达的方法，从专家演示中学习理想运动。使用使用Microsoft Kinect V2捕获的位置和取向特征采用高斯混合模型。为了评估患者的动作，我们提出了一个时间的多级分析，暂时和空间上识别并解释了身体部位误差。该分析与分类算法相结合允许机器人提供教练建议，以使患者提高他的运动。三次康复演习的评价表明了提出的学习和评估Kinaesthetic运动的方法。

3D姿势估计对于分析和改善人体机器人相互作用的人体工程学和降低肌肉骨骼疾病的风险很重要。基于视觉的姿势估计方法容易出现传感器和模型误差以及遮挡，而姿势估计仅来自相互作用的机器人的轨迹，却遭受了模棱两可的解决方案。为了从两种方法的优势中受益并改善了它们的弊端，我们引入了低成本，非侵入性和遮挡刺激性多感应3D姿势估计算法中的物理人类手机相互作用。我们在单个相机上使用openpose的2D姿势，以及人类执行任务时相互作用的机器人的轨迹。我们将问题建模为部分观察的动力学系统，并通过粒子滤波器推断3D姿势。我们介绍了远程操作的工作，但可以将其推广到其他人类机器人互动的其他应用。我们表明，我们的多感官系统比仅使用机器人的轨迹仅使用openpose或姿势估计的姿势估计来更好地解决人运动冗余。与金标准运动捕获姿势相比，这将提高估计姿势的准确性。此外，当使用Rula评估工具进行姿势评估时，我们的方法也比其他单一感觉方法更好。

Robot developers develop various types of robots for satisfying users' various demands. Users' demands are related to their backgrounds and robots suitable for users may vary. If a certain developer would offer a robot that is different from the usual to a user, the robot-specific software has to be changed. On the other hand, robot-software developers would like to reuse their developed software as much as possible to reduce their efforts. We propose the system design considering hardware-level reusability. For this purpose, we begin with the learning-from-observation framework. This framework represents a target task in robot-agnostic representation, and thus the represented task description can be shared with various robots. When executing the task, it is necessary to convert the robot-agnostic description into commands of a target robot. To increase the reusability, first, we implement the skill library, robot motion primitives, only considering a robot hand and we regarded that a robot was just a carrier to move the hand on the target trajectory. The skill library is reusable if we would like to the same robot hand. Second, we employ the generic IK solver to quickly swap a robot. We verify the hardware-level reusability by applying two task descriptions to two different robots, Nextage and Fetch.

Imitation learning techniques aim to mimic human behavior in a given task. An agent (a learning machine) is trained to perform a task from demonstrations by learning a mapping between observations and actions. The idea of teaching by imitation has been around for many years, however, the field is gaining attention recently due to advances in computing and sensing as well as rising demand for intelligent applications. The paradigm of learning by imitation is gaining popularity because it facilitates teaching complex tasks with minimal expert knowledge of the tasks. Generic imitation learning methods could potentially reduce the problem of teaching a task to that of providing demonstrations; without the need for explicit programming or designing reward functions specific to the task. Modern sensors are able to collect and transmit high volumes of data rapidly, and processors with high computational power allow fast processing that maps the sensory data to actions in a timely manner. This opens the door for many potential AI applications that require real-time perception and reaction such as humanoid robots, self-driving vehicles, human computer interaction and computer games to name a few. However, specialized algorithms are needed to effectively and robustly learn models as learning by imitation poses its own set of challenges. In this paper, we survey imitation learning methods and present design options in different steps of the learning process. We introduce a background and motivation for the field as well as highlight challenges specific to the imitation problem. Methods for designing and evaluating imitation learning tasks are categorized and reviewed. Special attention is given to learning methods in robotics and games as these domains are the most popular in the literature and provide a wide array of problems and methodologies. We extensively discuss combining imitation learning approaches using different sources and methods, as well as incorporating other motion learning methods to enhance imitation. We also discuss the potential impact on industry, present major applications and highlight current and future research directions.

从人类演示到机器人的动作重返是一种有效的方法，可以减少机器人编程的专业需求和工作量，但面临着人与机器人之间的差异导致的挑战。基于传统的优化的方法是耗时的，依赖良好的初始化，而最近使用前馈神经网络的研究遭受了不良的通知来看不见的运动。此外，他们忽略了人类骨骼和机器人结构中的拓扑信息。在本文中，我们提出了一种新的神经潜在优化方法来解决这些问题。潜在优化利用解码器来建立潜在空间和机器人运动空间之间的映射。之后，通过寻找最佳潜伏向量，可以获得满足机器人约束的重个结果。随着潜在优化，神经初始化利用编码器来提供更好初始化以更快，更好地收敛优化。人体骨架和机器人结构都被建模为更好地利用拓扑信息的图表。我们对重新靶向中文手语进行实验，涉及两只手臂和两只手，对关节中相对关系的额外要求。实验包括在模拟环境中的yumi，nao和辣椒和现实世界环境中的yumi重新定位各种人类示范。验证了所提出的方法的效率和准确性。

辅助机器人，特别是机器人教练可能非常有助于康复医疗保健。在这种情况下，我们提出了一种基于高斯过程潜在变量模型（GP-LVM）的方法，以在物理治疗师，机器人教练和患者之间转移知识。我们的模型能够将视觉人体功能映射到机器人数据，以便于机器人学习和模仿。此外，我们建议扩展模型，以适应机器人的理解，在评估康复练习期间对患者的身体限制。实验评估表明，根据患者的限制，机器人模仿和模型适应的有希望的结果。

在机器人上使用皮肤样触觉传感器可以通过添加检测人类接触的能力来增强协作机器人的安全性和可用性。不幸的是，单独的简单二元触觉传感器无法确定人类接触的背景 - 无论是故意的互动还是需要安全操作的意外碰撞。许多已发表的方法使用更高级的触觉传感器或分析联合扭矩对离散相互作用进行了分类。取而代之的是，我们建议通过添加机器人安装的摄像头来增强简单二进制触觉传感器的意图识别能力。不同的相互作用特征，包括触摸位置，人姿势和凝视方向，用于训练监督的机器学习算法，以对触摸是否有意为92％的准确性。我们证明，与协作机器人百特（Baxter）的多模式意图识别相比单疗分析要准确得多。此外，我们的方法还可以通过凝视来衡量用户的注意力来连续监视在故意或无意间之间流动变化的相互作用。如果用户停止在中任务中注意注意力，则建议的意图和注意力识别算法可以激活安全功能，以防止不安全的互动。另外，提出的方法是机器人和触摸传感器布局不可知论，并且与其他方法互补。

中枢神经系统（CNS）利用预期（APA）和补偿性（CPA）的姿势调整以保持平衡。姿势调整包括质量中心的稳定性（COM）（COM）和身体的压力分布相互影响，如果存在他们俩缺乏表现。任何可预测的或突然的扰动都可能为COM与平衡和身体的均匀压力分布的分歧铺平道路。由于其不良的APA和CPA，并引起了它们的跌倒。神经系统患者跌倒风险的最小化方法正在利用基于扰动的康复，因为它有效地恢复了平衡障碍。根据发现的结果，我们的发现，我们的发现，我们的发现，我们的发现，我们的发现，我们的发现是有效的。介绍新型3 DOF平行操纵器的设计，实现和实验评估，以治疗M. M.的平衡障碍，机器人平台允许角运动脚踝基于其拟人化的自由。赋予上下平台的最终效应分别旨在评估每只脚的压力分布和身体的com。在机器人平台的高级控制中，用于调节任务的难度水平。在这项研究中，在模拟环境中得出并验证了机器人的运动学和动态分析。还通过PID控制器成功实现了对原型的低级控制。每个平台的容量都通过一组实验来评估，考虑评估最终效应器上的脚注和类似对象的压力分布和COM。实验结果表明，这样的系统井井有条，需要通过APA和CPA进行平衡技能培训和评估。

学习细粒度的运动是机器人技术中最具挑战性的主题之一。这尤其是机器人手。机器人的手语获取或更具体地说，机器人中的手指手语获取可以被视为这种挑战的特定实例。在本文中，我们提出了一种从视频示例中学习灵巧的运动模仿的方法，而无需使用任何其他信息。我们为每个关节构建一个机器人手的乌尔德FF模型。通过利用预先训练的深视力模型，我们从RGB视频中提取手的3D姿势。然后，使用最新的强化学习算法进行运动模仿（即，近端政策优化），我们训练一项政策，以重现从演示中提取的运动。我们确定最佳的超参数集以基于参考运动执行模仿。此外，我们演示了我们的方法能够概括超过6个不同的手指字母的能力。

我们介绍了语言信息的潜在行动（LILA），这是在人机协作的背景下学习自然语言界面的框架。 Lila落在共享自主范式下：除了提供离散语言输入之外，人类还有低维控制器$ - 例如，可以向左/向右和向右移动2自由度（DOF）操纵杆$ - $操作机器人。 LILA学习使用语言来调制本控制器，为用户提供语言信息的控制空间：给定“将谷物碗放在托盘上的指示”，LILA可以学习一个二维空间，其中一个维度控制距离的距离机器人的末端执行器到碗，另一个维度控制机器人的末端效应器相对于碗上的抓地点。我们使用现实世界的用户学习评估LILA，用户可以在操作7 DOF法兰卡·埃米卡熊猫手臂时提供语言指导，以完成一系列复杂的操作任务。我们表明LILA模型不仅可以比仿制学习和终端效应器控制基线更高效，而且表现不变，但它们也是质疑优选的用户。

Soft robots are interesting examples of hyper-redundancy in robotics, however, the nonlinear continuous dynamics of these robots and the use of hyper-elastic and visco-elastic materials makes modeling of these robots more complicated. This study presents a geometric Inverse Kinematic (IK) model for trajectory tracking of multi-segment extensible soft robots, where, each segment of the soft actuator is geometrically approximated with multiple rigid links connected with rotary and prismatic joints. Using optimization methods, the desired configuration variables of the soft actuator for the desired end-effector positions are obtained. Also, the redundancy of the robot is applied for second task applications, such as tip angle control. The model's performance is investigated through simulations, numerical benchmarks, and experimental validations and results show lower computational costs and higher accuracy compared to most existing methods. The method is easy to apply to multi segment soft robots, both in 2D and 3D. As a case study, a fully 3D-printed soft robot manipulator is tested using a control unit and the model predictions show good agreement with the experimental results.

机器人将机器人的无缝集成到人类环境需要机器人来学习如何使用现有的人类工具。学习工具操纵技能的目前方法主要依赖于目标机器人环境中提供的专家演示，例如，通过手动引导机器人操纵器或通过远程操作。在这项工作中，我们介绍了一种自动化方法，取代了一个专家演示，用YouTube视频来学习工具操纵策略。主要贡献是双重的。首先，我们设计一个对齐过程，使模拟环境与视频中观察到的真实世界。这是作为优化问题，找到刀具轨迹的空间对齐，以最大化环境给出的稀疏目标奖励。其次，我们描述了一种专注于工具的轨迹而不是人类的运动的模仿学习方法。为此，我们将加强学习与优化过程相结合，以基于对准环境中的工具运动来找到控制策略和机器人的放置。我们展示了仿真中的铲子，镰刀和锤子工具的建议方法，并展示了训练有素的政策对真正的弗兰卡·埃米卡熊猫机器人示范的卫生政策的有效性。

远程运行是一种广泛采用的策略，用于控制需要高度灵巧运动和关键高级智力的复杂任务的机器人操纵器。经典的远程操作方案基于操纵杆的控制，或基于更直观的接口，这些界面将用户臂运动直接映射到一个机器人臂的运动中。当执行给定任务需要可重新配置的多个机器人ARM系统时，这些方法会限制。实际上，两个或多个机器人臂的同时进行近距离运行可以扩展操纵单元的工作空间，或增加其总有效载荷或提供其他优势。在可重新配置的多臂系统的不同阶段中，每个机器人可以充当独立的手臂，也可以充当一对合作的手臂，或者是虚拟大型机器人手的手指之一。该手稿提出了一个新型的远程注射框架，可以使个人和组合任何数量的机器人臂控制。多亏了设计的控制体系结构，人类操作员可以直观地选择提出的控制方式和操纵器，以使任务方便地通过用户界面执行。此外，通过Tele-Tele-Inverance范式，该系统可以通过让机器人模仿人类操作员的手臂阻抗和位置参考来解决需要物理互动的复杂任务。拟议的框架已通过8个主题，控制4个弗兰卡·埃米卡·熊猫机器人，并用7多杆执行远程触发任务。实验的定性结果向我们展示了我们框架的有希望的适用性。

在本文中，我们提出了一种新的运动计划，用于通过使用人类演示并利用运动的螺钉几何形状来执行复杂的操纵任务。我们考虑复杂的操纵任务，其中对机器人终端效应器的运动有限制。此类任务的示例包括打开门，打开抽屉，将颗粒材料从一个容器中转移到另一个容器到另一个容器，然后将菜肴加载到洗碗机上。我们的方法由两个步骤组成：首先，使用这样一个事实，即可以通过使用一系列恒定螺钉运动来近似机器人任务空间中的运动，我们将人的演示分为一系列恒定螺钉运动。其次，我们使用分段螺钉通过螺钉线性插值来生成运动计划，以实现相同任务的其他实例。螺钉分割的使用使我们能够以无坐标的方式捕获演示的不变性，从而使我们能够计划从一个示例中为不同的任务实例计划。我们对各种操纵场景提出了广泛的实验结果，表明我们的方法可以在各种操纵任务中使用。

需要强大的动态互动才能与人类一起在日常环境中移动机器人。优化和学习方法已用于模仿和再现人类运动。但是，它们通常不健壮，其概括是有限的。这项工作提出了用于机器人操纵器的层次控制体系结构，并提供了在未知相互作用动力学期间重现类似人类运动的功能。我们的结果表明，复制的最终效应轨迹可以保留通过运动捕获系统记录的初始人类运动的主要特征，并且对外部扰动具有鲁棒性。数据表明，由于硬件的物理限制无法达到人类运动中记录的相同速度，因此很难复制一些详细的运动。然而，可以通过使用更好的硬件来解决这些技术问题，我们提出的算法仍然可以应用于模仿动作。

人类的生活是无价的。当需要完成危险或威胁生命的任务时，机器人平台可能是更换人类运营商的理想选择。我们在这项工作中重点关注的任务是爆炸性的手段。鉴于移动机器人在多种环境中运行时表现出强大的功能，机器人触觉有可能提供安全解决方案。但是，与人类的运作相比，在此阶段，自主权可能具有挑战性和风险。远程运行可能是完整的机器人自主权和人类存在之间的折衷方案。在本文中，我们提出了一种相对便宜的解决方案，可用于远程敏感和机器人远程操作，以使用腿部操纵器（即，腿部四足机器人的机器人和RGB-D传感）来协助爆炸的军械处置。我们提出了一种新型的系统集成，以解决四足动物全身控制的非平凡问题。我们的系统基于可穿戴的基于IMU的运动捕获系统，该系统用于远程操作和视觉触发性的VR耳机。我们在实验中验证了现实世界中的方法，用于需要全身机器人控制和视觉触发的机车操作任务。

从示范中学习（LFD）提供了一种方便的手段，可以在机器人固有坐标中获得示范时为机器人提供灵巧的技能。但是，长期和复杂技能中复杂错误的问题减少了其广泛的部署。由于大多数此类复杂的技能由组合的较小运动组成，因此将目标技能作为一系列紧凑的运动原语似乎是合理的。在这里，需要解决的问题是确保电动机以允许成功执行后续原始的状态结束。在这项研究中，我们通过提议学习明确的校正政策来关注这个问题，当时未达到原始人之间的预期过渡状态。校正策略本身是通过使用最先进的运动原始学习结构，条件神经运动原语（CNMP）来学习的。然后，学识渊博的校正政策能够以背景方式产生各种运动轨迹。拟议系统比学习完整任务的优点在模拟中显示了一个台式设置，其中必须以两个步骤将对象通过走廊推动。然后，通过为上身类人生物机器人配备具有在3D空间中的条上打结的技巧，显示了所提出的方法在现实世界中进行双重打结的适用性。实验表明，即使面对校正案例不属于人类示范集的一部分，机器人也可以执行成功的打结。