对制造工艺的机器化的需求很大，因此单调劳动。一些需要特定技能的制造任务（焊接，绘画等）缺乏工人。机器人已在这些任务中使用，但是它们的灵活性受到限制，因为它们仍然很难通过非专家编程/重新编程，从而使它们无法访问大多数公司。机器人离线编程（OLP）是可靠的。但是，直接来自CAD/CAM的生成路径不包括代表人类技能的相关参数，例如机器人最终效应器的方向和速度。本文提出了一个直观的机器人编程系统，以捕捉人类制造技能并将其转变为机器人程序。使用连接到工作工具的磁跟踪系统记录人类熟练工人的演示。收集的数据包括工作路径的方向和速度。位置数据是从CAD/CAM中提取的，因为磁跟踪器捕获时的误差很明显。路径姿势在笛卡尔空间中转换，并在模拟环境中进行验证。生成机器人程序并将其转移到真正的机器人。关于玻璃粘合剂应用过程的实验证明了拟议框架捕获人类技能并将其转移到机器人方面的使用和有效性的直觉。

风力涡轮机的评级能力提高的推力导致更大的发电机，更长的刀片和更高的塔。目前，风力涡轮机制造商提供了多达16兆瓦的风力涡轮机，在过去五年中，设计能力近60％。这些涡轮机的制造涉及组装巨大的组件。由于设计的频繁变化和涉及的各种任务，因此不可能使其成为劳动密集型的活动。但是，大型组件的处理和组装挑战了人类的能力。本文提出使用移动机器人助手来部分自动化风力涡轮机制造。机器人助手可以降低生产成本和更好的工作条件。该文章介绍了人类操作员有效执行风力涡轮机的机器人助手的开发。该案件来自领先的风力涡轮机制造商。开发的系统还适用于其他大型制造案件，涉及密集型手动工作。

Robots have been steadily increasing their presence in our daily lives, where they can work along with humans to provide assistance in various tasks on industry floors, in offices, and in homes. Automated assembly is one of the key applications of robots, and the next generation assembly systems could become much more efficient by creating collaborative human-robot systems. However, although collaborative robots have been around for decades, their application in truly collaborative systems has been limited. This is because a truly collaborative human-robot system needs to adjust its operation with respect to the uncertainty and imprecision in human actions, ensure safety during interaction, etc. In this paper, we present a system for human-robot collaborative assembly using learning from demonstration and pose estimation, so that the robot can adapt to the uncertainty caused by the operation of humans. Learning from demonstration is used to generate motion trajectories for the robot based on the pose estimate of different goal locations from a deep learning-based vision system. The proposed system is demonstrated using a physical 6 DoF manipulator in a collaborative human-robot assembly scenario. We show successful generalization of the system's operation to changes in the initial and final goal locations through various experiments.

工业机器人的机器人编程方法是耗时的，并且通常需要运营商在机器人和编程中具有知识。为了降低与重新编程相关的成本，最近已经提出了使用增强现实的各种接口，为用户提供更直观的手段，可以实时控制机器人并在不必编码的情况下编程它们。但是，大多数解决方案都要求操作员接近真正的机器人的工作空间，这意味着由于安全危险而从生产线上移除它或关闭整个生产线。我们提出了一种新颖的增强现实界面，提供了用户能够建模工作空间的虚拟表示，该工作空间可以被保存和重复使用，以便编程新任务或调整旧任务，而无需与真正的机器人共同定位。与以前的接口类似，操作员随后可以通过操纵虚拟机器人来实时地控制机器人任务或控制机器人。我们评估所提出的界面与用户学习的直观和可用性，其中18名参与者为拆卸任务编写了一个机器人操纵器。

为了使软机器人在以人为本的环境中有效工作，他们需要能够根据（本体感受）传感器估算其状态和外部相互作用。估计干扰使软机器人可以执行理想的力控制。即使在刚性操纵器的情况下，最终效应器的力估计也被视为一个非平凡的问题。实际上，其他当前应对这一挑战的方法也存在防止其一般应用的缺点。它们通常基于简化的软动力学模型，例如依赖于零件的恒定曲率（PCC）近似值或匹配的刚体模型的模型，这些模型并不代表该问题的细节。因此，无法构建复杂的人类机器人互动所需的应用。有限元方法（FEM）允许以更通用的方式预测软机器人动力学。在这里，使用框架沙发的软机器人建模功能，我们构建了一个详细的FEM模型，该模型由多段的软连续机器人手臂组成，该机器人由合规的可变形材料和纤维增强的压力驱动室组成，并具有用于提供方向输出的传感器的模型。该模型用于为操纵器建立状态观察者。校准模型参数以使用物理实验匹配手动制造过程的缺陷。然后，我们解决了二次编程逆动力学问题，以计算解释姿势误差的外力的组成部分。我们的实验显示，平均力估计误差约为1.2％。由于提出的方法是通用的，因此这些结果令人鼓舞，该任务是构建可以在以人为中心的环境中部署的复杂，反应性，基于传感器的行为的软机器人。

在机器学习中使用大型数据集已导致出色的结果，在某些情况下，在机器上认为不可能的任务中的人数优于人类。但是，在处理身体上的互动任务时，实现人类水平的表现，例如，在接触良好的机器人操作中，仍然是一个巨大的挑战。众所周知，规范笛卡尔阻抗进行此类行动对于成功执行至关重要。加强学习（RL）之类的方法可能是解决此类问题的有希望的范式。更确切地说，在解决新任务具有巨大潜力时，使用任务不足的专家演示的方法可以利用大型数据集。但是，现有的数据收集系统是昂贵，复杂的，或者不允许进行阻抗调节。这项工作是朝着数据收集框架迈出的第一步，适合收集与使用新颖的动作空间的RL问题公式相容的基于阻抗的专家演示的大型数据集。该框架是根据对机器人操纵的可用数据收集框架进行广泛分析后根据要求设计的。结果是一个低成本且开放的远程阻抗框架，它使人类专家能够展示接触式任务。

动态运动原语（DMP）为编码，生成和调整复杂的最终效应轨迹提供了极大的多功能性。 DMP也非常适合从人类演示中学习操纵技巧。但是，DMP的反应性质限制了其用于工具使用和对象操纵任务的适用性，这些任务涉及非全面约束，例如切割手术刀切割或导管转向。在这项工作中，我们通过添加一个耦合项来扩展笛卡尔空间DMP公式，该耦合术语强制执行一组预定义的非独立约束。我们使用udwadia-kalaba方法获得约束强迫项的闭合形式表达式。这种方法提供了一种干净，实用的解决方案，以确保运行时的限制满意度。此外，约束强迫项的提议的分析形式可实现有效的轨迹优化，但受约束。我们通过展示如何从人类示范中学习机器人切割技能来证明这种方法的有用性。

远程运行是一种广泛采用的策略，用于控制需要高度灵巧运动和关键高级智力的复杂任务的机器人操纵器。经典的远程操作方案基于操纵杆的控制，或基于更直观的接口，这些界面将用户臂运动直接映射到一个机器人臂的运动中。当执行给定任务需要可重新配置的多个机器人ARM系统时，这些方法会限制。实际上，两个或多个机器人臂的同时进行近距离运行可以扩展操纵单元的工作空间，或增加其总有效载荷或提供其他优势。在可重新配置的多臂系统的不同阶段中，每个机器人可以充当独立的手臂，也可以充当一对合作的手臂，或者是虚拟大型机器人手的手指之一。该手稿提出了一个新型的远程注射框架，可以使个人和组合任何数量的机器人臂控制。多亏了设计的控制体系结构，人类操作员可以直观地选择提出的控制方式和操纵器，以使任务方便地通过用户界面执行。此外，通过Tele-Tele-Inverance范式，该系统可以通过让机器人模仿人类操作员的手臂阻抗和位置参考来解决需要物理互动的复杂任务。拟议的框架已通过8个主题，控制4个弗兰卡·埃米卡·熊猫机器人，并用7多杆执行远程触发任务。实验的定性结果向我们展示了我们框架的有希望的适用性。

人类仍在执行许多高精度（DIS）任务，而这是自动化的理想机会。本文提供了一个框架，该框架使非专家的人类操作员能够教机器人手臂执行复杂的精确任务。该框架使用可变的笛卡尔阻抗控制器来执行从动力学人类示范中学到的轨迹。可以给出反馈以进行交互重塑或加快原始演示。董事会本地化是通过对任务委员会位置的视觉估算来完成的，并通过触觉反馈进行了完善。我们的框架在机器人基准拆卸挑战上进行了测试，该机器人必须执行复杂的精确任务，例如关键插入。结果显示每个操纵子任务的成功率很高，包括盒子中新型姿势的情况。还进行了消融研究以评估框架的组成部分。

在治疗方案中应用的机器人，例如在自闭症谱系障碍的个体治疗中，有时被用于模仿学习活动，其中一个人需要由机器人重复运动。为了简化合并机器人可以执行的新运动的任务，希望机器人能够通过观察人类（例如治疗师）的示威来学习动作。在本文中，我们研究了一种从人类的骨骼观察中获取动作的方法，该方法是由以机器人为中心的RGB-D摄像头收集的。给定一系列观察到各种关节，在通过PID位置控制器执行之前，将关节位置映射以匹配机器人的配置。我们通过使用Qtrobot进行一项研究来评估该方法，尤其是繁殖误差，其中机器人从多个参与者中获取了不同的上身舞蹈动作。结果表明该方法的总体可行性，但也表明繁殖质量受骨架观测中噪声的影响。

即使是最强大的自主行为也可能失败。这项研究的目的是在自主任务执行期间恢复和从失败中收集数据，以便将来可以防止它们。我们建议对实时故障恢复和数据收集进行触觉干预。Elly是一个系统，可以在自主机器人行为和人类干预之间进行无缝过渡，同时从人类恢复策略中收集感觉信息。系统和我们的设计选择在单臂任务上进行了实验验证 - 在插座中安装灯泡 - 以及双层任务 - 拧上瓶盖的帽子 - 使用两个配备的4手指握把。在这些示例中，Elly在总共40次运行中实现了超过80％的任务完成。

机器人将机器人的无缝集成到人类环境需要机器人来学习如何使用现有的人类工具。学习工具操纵技能的目前方法主要依赖于目标机器人环境中提供的专家演示，例如，通过手动引导机器人操纵器或通过远程操作。在这项工作中，我们介绍了一种自动化方法，取代了一个专家演示，用YouTube视频来学习工具操纵策略。主要贡献是双重的。首先，我们设计一个对齐过程，使模拟环境与视频中观察到的真实世界。这是作为优化问题，找到刀具轨迹的空间对齐，以最大化环境给出的稀疏目标奖励。其次，我们描述了一种专注于工具的轨迹而不是人类的运动的模仿学习方法。为此，我们将加强学习与优化过程相结合，以基于对准环境中的工具运动来找到控制策略和机器人的放置。我们展示了仿真中的铲子，镰刀和锤子工具的建议方法，并展示了训练有素的政策对真正的弗兰卡·埃米卡熊猫机器人示范的卫生政策的有效性。

从制造环境到个人房屋的最终用户任务的巨大多样性使得预编程机器人非常具有挑战性。事实上，教学机器人从划痕的新行动可以重复使用以前看不见的任务仍然是一个艰难的挑战，一般都留给了机器人专家。在这项工作中，我们展示了Iropro，这是一个交互式机器人编程框架，允许最终用户没有技术背景，以教授机器人新的可重用行动。我们通过演示和自动规划技术将编程结合起来，以允许用户通过通过动力学示范教授新的行动来构建机器人的知识库。这些行动是概括的，并重用任务计划程序来解决用户定义的先前未经调查的问题。我们将iropro作为Baxter研究机器人的端到端系统实施，同时通过演示通过示范来教授低级和高级操作，以便用户可以通过图形用户界面自定义以适应其特定用例。为了评估我们的方法的可行性，我们首先进行了预设计实验，以更好地了解用户采用所涉及的概念和所提出的机器人编程过程。我们将结果与设计后实验进行比较，在那里我们进行了用户学习，以验证我们对真实最终用户的方法的可用性。总体而言，我们展示了具有不同编程水平和教育背景的用户可以轻松学习和使用Iropro及其机器人编程过程。

在本文中，提出了一种模拟人脸和眼睛的方法，其可以被视为计算机视觉技术和神经网络概念的组合。从机械角度来看，使用3-DOF球形并联机器人，其模仿人头运动。在涉及眼球运动的顾虑中，将2-DOF机构连接到3-DOF球形平行机构的端部执行器。为了对模仿具有稳健和可靠的结果，应从面啮合物中提取有意义的信息，以获得面部的姿势，即卷，偏航和俯仰角。为此，提出了两种方法，其中每个方法都有自己的利弊。第一种方法在于借助Google引入的所谓的MediaPipe库，该库是用于高保真身体姿势跟踪的机器学习解决方案。作为第二种方法，模型是由不同姿势的面部图像的聚集数据集进行线性回归模型训练。另外，利用了三维敏捷眼睛并联机器人来示出该机器人用作类似于用于执行3-DOF旋转运动模式的人头的系统的能力。此外，制造3D印刷面和2-DOF眼睛机构以显示整个系统的方式更时尚。基于ROS平台完成的实验测试，证明了追踪人体头部运动的提出方法的有效性。

在本次调查中，我们介绍了执行需要不同于环境的操作任务的机器人的当前状态，使得机器人必须隐含地或明确地控制与环境的接触力来完成任务。机器人可以执行越来越多的人体操作任务，并且在1）主题上具有越来越多的出版物，其执行始终需要联系的任务，并且通过利用完美的任务来减轻环境来缓解不确定性信息，可以在没有联系的情况下进行。最近的趋势已经看到机器人在留下的人类留给人类，例如按摩，以及诸如PEG孔的经典任务中，对其他类似任务的概率更有效，更好的误差容忍以及更快的规划或学习任务。因此，在本调查中，我们涵盖了执行此类任务的机器人的当前阶段，从调查开始所有不同的联系方式机器人可以执行，观察这些任务是如何控制和表示的，并且最终呈现所需技能的学习和规划完成这些任务。

可以通过组合单个机器人技能来有效地解决具有挑战性的操纵任务，该技巧必须用于具体的物理环境和手头的任务。对于人类程序员来说，这是耗时的，尤其是针对力控制的技能。为此，我们提出了阴影程序反演（SPI），这是一种直接从数据推断最佳技能参数的新方法。 SPI利用无监督的学习来训练辅助区分程序表示（“影子程序”），并通过基于梯度的模型反转实现参数推断。我们的方法使使用高效的一阶优化器可以推断出最初非差异技能的最佳参数，包括当前生产中使用的许多技能变体。 SPI零射击跨任务目标概括，这意味着不需要对阴影程序进行重新训练来推断不同任务变体的参数。我们在工业和家庭场景中评估了三个不同的机器人和技能框架的方法。代码和示例可在https://innolab.artiminds.com/icra2021上找到。

人类机器人协作组装系统提高了工作场所的效率和生产力，但可能会增加工人的认知需求。本文提出了一个在线和定量框架，以评估与同事的互动，即人类运营商或具有不同控制策略的工业协作机器人所引起的认知工作量。该方法可以监视操作员的注意力分布和上身运动学，从而受益于低成本立体声摄像机和尖端的人工智能算法的输入图像（即头姿势估计和骨架跟踪）。三种实验场景具有工作站特征和互动方式的变化，旨在测试我们在线方法的性能，以防止最新的离线测量。结果证明，我们基于视觉的认知负荷评估有可能将其集成到新一代的协作机器人技术中。后者将使人类的认知状态监测和机器人控制策略适应改善人类舒适，人体工程学和对自动化的信任。

用机器人手操纵物体是一项复杂的任务。不仅需要协调手指，而且机器人最终效应器的姿势也需要协调。使用人类的运动演示是指导机器人行为的直观和数据效率的方式。我们提出了一个具有自动实施例映射的模块化框架，以将记录的人体运动转移到机器人系统中。在这项工作中，我们使用运动捕获来记录人类运动。我们在八项具有挑战性的任务上评估了我们的方法，其中机器人手需要掌握和操纵可变形或小且脆弱的物体。我们测试了模拟和实际机器人中的轨迹子集，并且整体成功率是一致的。

在现代制造环境中，对接触式任务的需求正在迅速增长。但是，很少有传统的机器人组装技能考虑任务执行过程中的环境限制，并且大多数人将这些限制作为终止条件。在这项研究中，我们提出了基于推动的混合位置/力组装技能，该技能可以在任务执行过程中最大化环境限制。据我们所知，这是在执行程序集任务期间使用推动操作考虑的第一项工作。我们已经证明，我们的技能可以使用移动操纵器系统组装任务实验最大化环境约束的利用，并在执行中实现100 \％的成功率。

本文提出了一种移动超级机器人方法，可在人类机器人结合的行动中进行身体援助。该研究从对超人概念的描述开始。这个想法是开发和利用可以遵循人类机器人操作命令的移动协作系统，通过三个主要组件执行工业任务：i）物理界面，ii）人类机器人互动控制器和iii）超级机器人身体。接下来，我们从理论和硬件的角度介绍了框架内的两个可能的实现。第一个系统称为MOCA-MAN，由冗余的扭矩控制机器人组和Omni方向移动平台组成。第二个称为Kairos-Man，由高付费6多速速度控制机器人组和Omni方向移动平台形成。该系统共享相同的接收界面，通过该接口将用户扳手转换为Loco-andipulation命令，该命令由每个系统的全身控制器生成。此外，提出了一个具有多个和跨性别主题的彻底用户研究，以揭示这两个系统在努力和灵活的任务中的定量性能。此外，我们提供了NASA-TLX问卷的定性结果，以证明超级人物的潜力及其从用户的观点中的可接受性。