可穿戴电子设备不断发展，正在增加人类与技术的集成。以各种形式提供，这些灵活和可弯曲的设备感觉，可以测量人体的生理和肌肉变化，并可以将这些信号用于机器控制。Myo手势频带，一个这样的设备，使用磁电信号捕获电拍摄数据（EMG）并将其转换为通过一些预定义手势用作输入信号。在多模态环境中使用此设备不仅可以增加可以在此类设备的帮助下实现的可能类型的工作类型，而且还可以帮助提高所执行任务的准确性。本文解决了通过麦克风和肌电信号捕获的输入模态的融合，分别通过麦克风和Myo带，以控制机器人臂。还提出了所获得的实验结果以及它们的性能分析的准确性。

目前，大多数社会机器人通过传感器与周围环境和人类相互作用，这些传感器是机器人的组成部分，这限制了传感器，人机相互作用和互换性的可用性。在许多应用中需要一种适合许多机器人的可穿戴传感器衣服。本文介绍了一个经济实惠的可穿戴传感器背心，以及带有物联网（物联网）的开源软件架构，用于社会人形机器人。背心由触摸，温度，手势，距离，视觉传感器和无线通信模块组成。 IOT功能允许机器人与人类和互联网一起与人类交互。设计的体系结构适用于任何具有通用图形处理单元（GPGPU），I2C / SPI总线，Internet连接和机器人操作系统（ROS）的任何社交机器人。此架构的模块化设计使开发人员能够轻松地添加/删除/更新复杂行为。所提出的软件架构提供IOT技术，GPGPU节点，I2C和SPI总线管理器，视听交互节点（语音到文本，文本到语音和图像理解），以及行为节点和其他节点之间的隔离。所提出的IOT解决方案包括机器人中的相关节点，RESTful Web服务和用户界面。我们使用HTTP协议作为与Internet的社会机器人双向通信的手段。开发人员可以在C，C ++和Python编程语言中轻松编辑或添加节点。我们的架构可用于为社会人形机器人设计更复杂的行为。

增加制药实验室和生产设施的自动化水平起着至关重要的作用。然而，这一领域的特殊要求使其挑战适应其他行业中存在的尖端技术。本文概述了相关方法以及如何在制药行业中使用，特别是在发展实验室中。最近的进步包括能够处理能够处理复杂任务的灵活移动机械手。然而，由于接口的多样性，将来自许多不同供应商的设备集成到端到端的自动化系统中是复杂的。因此，在本文中考虑了各种标准化方法，提出了一种概念来进一步服用一步。该概念使具有视觉系统的移动操纵器能够“学习”每个设备的姿势，并利用来自通用云数据库的条形码 - 获取接口信息。该信息包括控制和通信协议定义以及操作设备所需的机器人操作的表示。为了定义与设备相关的动作，设备必须具有 - 除了条形码 - 作为标准的基准标记。在随访论文中的适当研究活动之后，将详细阐述该概念。

机器人模拟一直是机器人领域研发的组成部分。模拟消除了通过启用机器人的应用测试来快速，负担得起的，而无需遭受机械或电子误差而进行机器人应用测试，从而消除了对传感器，电动机和实际机器人物理结构的可能性。通过虚拟现实（VR）模拟，通过提供更好的环境可视化提示，为与模拟机器人互动提供了更具吸引力的替代方法，从而提供了更严肃的体验。这种沉浸至关重要，尤其是在讨论社交机器人时，人类机器人相互作用（HRI）领域的子区域。在日常生活中，机器人的广泛使用取决于HRI。将来，机器人将能够与人们有效互动，以在人类文明中执行各种任务。在个人工作空间开始扩散时，为机器人开发简单且易于理解的接口至关重要。因此，在这项研究中，我们实施了一个使用现成的工具和包装的VR机器人框架，以增强社交HRI的研究和应用开发。由于整个VR接口是一个开源项目，因此可以在身临其境的环境中进行测试，而无需物理机器人。

人类机器人相互作用（HRI）对于在日常生活中广泛使用机器人至关重要。机器人最终将能够通过有效的社会互动来履行人类文明的各种职责。创建直接且易于理解的界面，以与机器人开始在个人工作区中扩散时与机器人互动至关重要。通常，与模拟机器人的交互显示在屏幕上。虚拟现实（VR）是一个更具吸引力的替代方法，它为视觉提示提供了更像现实世界中看到的线索。在这项研究中，我们介绍了Jubileo，这是一种机器人的动画面孔，并使用人类机器人社会互动领域的各种研究和应用开发工具。Jubileo Project不仅提供功能齐全的开源物理机器人。它还提供了一个全面的框架，可以通过VR接口进行操作，从而为HRI应用程序测试带来沉浸式环境，并明显更好地部署速度。

通过智能连接设备，技术正在逐步重塑国内环境，提高家庭安全和整体环境质量。然而，人口转移和流行病最近展示导致他们房屋中的老年人隔离，产生了可靠的辅助人物的需求。机器人助理是国内福利创新的新前沿。老年人监测只是一个可能的服务应用之一，智能机器人平台可以处理集体福祉。在本文中，我们展示了一个新的辅助机器人，我们通过模块化的基于层的架构开发，使灵活的机械设计与最先进的人工智能进行了灵活的人工智能，以便感知和声音控制。关于以前的机器人助手的作品，我们提出了一个设置有四个麦粉轮的全向平台，这使得自主导航与杂乱环境中的有效障碍物避免。此外，我们设计可控定位装置，以扩展传感器的视觉范围，并改善对用户界面的访问以进行远程呈现和连接。轻量级深度学习解决方案，用于视觉感知，人员姿势分类和声乐命令完全运行机器人的嵌入式硬件，避免了云服务私有数据收集产生的隐私问题。

圆角焊接是该行业中最广泛类型的焊接之一，仍然通过接触手动或自动进行。本文旨在描述具有U和L形结构的非接触式圆角焊接机器人的在线编程系统，这响应了第四工业革命的需求。在本文中，作者提出了一种在线机器人编程方法，其消除了传统上在机器人焊接中执行的不必要步骤，使得操作者仅执行三个步骤来完成焊接任务。首先，选择焊接件。然后，进入焊接参数。最后，它将自动生成的程序发送到机器人。该系统最终设法在比比较方法更有效的准备时间中使用所提出的方法进行圆角焊接任务。为此，除了六个轴工业机器人手臂之外，还使用了与其他系统相比使用减少数量的组件，例如结构化光3D相机，两个计算机和集中器。系统的操作复杂性尽可能减少。据作者所知，没有能够执行圆角焊接过程的在线机器人编程系统的科学或商业证据，简化了该过程，使其对操作员完全透明，并在行业4.0范例中陷入框架。它的商业潜力主要在于一种能够适应任何工业圆角焊接工作和任何可以容纳它的支架的柔性系统中的简单和低成本。

We outline our work on evaluating robots that assist older adults by engaging with them through multiple modalities that include physical interaction. Our thesis is that to increase the effectiveness of assistive robots: 1) robots need to understand and effect multimodal actions, 2) robots should not only react to the human, they need to take the initiative and lead the task when it is necessary. We start by briefly introducing our proposed framework for multimodal interaction and then describe two different experiments with the actual robots. In the first experiment, a Baxter robot helps a human find and locate an object using the Multimodal Interaction Manager (MIM) framework. In the second experiment, a NAO robot is used in the same task, however, the roles of the robot and the human are reversed. We discuss the evaluation methods that were used in these experiments, including different metrics employed to characterize the performance of the robot in each case. We conclude by providing our perspective on the challenges and opportunities for the evaluation of assistive robots for older adults in realistic settings.

我们探索Calico是一种微型可重新定位的可穿戴系统，具有快速，精确的运动，用于体内相互作用，驱动和感应。印花布由两轮机器人和一条轨道机制或“铁路”组成，机器人在其上行驶。机器人具有独立的，尺寸很小，并且具有其他传感器扩展选项。轨道系统允许机器人沿着用户的身体移动并到达任何预定位置。它还包括旋转开关以启用复杂的路由选项，当提出发散轨道时。我们报告了印花布的设计和实施，并通过一系列的系统性能评估。然后，我们介绍一些应用程序方案和用户研究，以了解印花布作为舞蹈教练的潜力，并探索对我们情景的定性感知，以告知该领域未来的研究。

机器人的目前研究标准要求机器人控制器开发的一般方法。在辅助机器人域中，人机互动起到了实质性的作用。特别是，人类产生影响机器人控制系统的意图。在文章中，提出了一种方法，用于创建辅助机器人的控制系统，这对由语音命令，按钮或操作员控制台提供的用户意图作出反应。整个方法应用于由定制的Tiago机器人和其他硬件组件组成的真实系统。在该平台上进行的示例性实验说明了辅助机器人中的人机界面多样化的动机。

本文介绍了CAIR的设计和实施：为社会机器人和其他对话代理而设计的基于知识的自主互动的云系统。该系统对于低成本机器人和设备特别方便。为开发人员提供了一种可持续的解决方案，可以通过网络连接来管理口头和非语言互动，约有3,000个对话主题可以进行“闲聊”，并提供了一个预先煮熟的计划库，只需要将其接地到机器人的库中物理能力。该系统的结构为一组REST API端点，因此可以通过添加新的API来轻松扩展它，以提高连接到云的客户端的功能。该系统的另一个关键功能是它旨在使客户的开发变得直接：这样，可以轻松地赋予多个设备与用户自主交互的能力，了解何时执行特定的操作并利用云服务提供的所有信息。文章概述并讨论了为评估系统响应时间的性能而执行的实验结果，为研究和市场解决方案铺平了道路。提供了与ROS的客户的存储库的链接，并提供了诸如Pepper和Nao之类的流行机器人的链接。

人类的生活是无价的。当需要完成危险或威胁生命的任务时，机器人平台可能是更换人类运营商的理想选择。我们在这项工作中重点关注的任务是爆炸性的手段。鉴于移动机器人在多种环境中运行时表现出强大的功能，机器人触觉有可能提供安全解决方案。但是，与人类的运作相比，在此阶段，自主权可能具有挑战性和风险。远程运行可能是完整的机器人自主权和人类存在之间的折衷方案。在本文中，我们提出了一种相对便宜的解决方案，可用于远程敏感和机器人远程操作，以使用腿部操纵器（即，腿部四足机器人的机器人和RGB-D传感）来协助爆炸的军械处置。我们提出了一种新型的系统集成，以解决四足动物全身控制的非平凡问题。我们的系统基于可穿戴的基于IMU的运动捕获系统，该系统用于远程操作和视觉触发性的VR耳机。我们在实验中验证了现实世界中的方法，用于需要全身机器人控制和视觉触发的机车操作任务。

在过去的几十年中，人工智能领域大大进展，灵感来自生物学和神经科学领域的发现。这项工作的想法是由来自传入和横向/内部联系的人脑中皮质区域的自组织过程的过程启发。在这项工作中，我们开发了一个原始的脑激发神经模型，将自组织地图（SOM）和Hebbian学习在重新参与索马里（RESOM）模型中。该框架应用于多模式分类问题。与基于未经监督的学习的现有方法相比，该模型增强了最先进的结果。这项工作还通过在名为SPARP（自配置3D蜂窝自适应平台）的专用FPGA的平台上的模拟结果和硬件执行，演示了模型的分布式和可扩展性。头皮板可以以模块化方式互连，以支持神经模型的结构。这种统一的软件和硬件方法使得能够缩放处理并允许来自多个模态的信息进行动态合并。硬件板上的部署提供了在多个设备上并行执行的性能结果，通过专用串行链路在每个板之间的通信。由于多模式关联，所提出的统一架构，由RESOM模型和头皮硬件平台组成的精度显着提高，与集中式GPU实现相比，延迟和功耗之间的良好折衷。

Robots have been steadily increasing their presence in our daily lives, where they can work along with humans to provide assistance in various tasks on industry floors, in offices, and in homes. Automated assembly is one of the key applications of robots, and the next generation assembly systems could become much more efficient by creating collaborative human-robot systems. However, although collaborative robots have been around for decades, their application in truly collaborative systems has been limited. This is because a truly collaborative human-robot system needs to adjust its operation with respect to the uncertainty and imprecision in human actions, ensure safety during interaction, etc. In this paper, we present a system for human-robot collaborative assembly using learning from demonstration and pose estimation, so that the robot can adapt to the uncertainty caused by the operation of humans. Learning from demonstration is used to generate motion trajectories for the robot based on the pose estimate of different goal locations from a deep learning-based vision system. The proposed system is demonstrated using a physical 6 DoF manipulator in a collaborative human-robot assembly scenario. We show successful generalization of the system's operation to changes in the initial and final goal locations through various experiments.

机器学习传感器代表了嵌入式机器学习应用程序未来的范式转移。当前的嵌入式机器学习（ML）实例化遭受了复杂的整合，缺乏模块化以及数据流动的隐私和安全问题。本文提出了一个以数据为中心的范式，用于将传感器智能嵌入边缘设备上，以应对这些挑战。我们对“传感器2.0”的愿景需要将传感器输入数据和ML处理从硬件级别隔离到更广泛的系统，并提供一个薄的界面，以模拟传统传感器的功能。这种分离导致模块化且易于使用的ML传感器设备。我们讨论了将ML处理构建到嵌入式系统上控制微处理器的软件堆栈中的标准方法所带来的挑战，以及ML传感器的模块化如何减轻这些问题。 ML传感器提高了隐私和准确性，同时使系统构建者更容易将ML集成到其产品中，以简单的组件。我们提供了预期的ML传感器和说明性数据表的例子，以表现出来，并希望这将建立对话使我们朝着传感器2.0迈进。

人类机器人互动（HRI）的研究旨在建立人与机器人之间的紧密而友好的沟通。在以人为中心的HRI中，实施成功有效的HRI的一个重要方面是建立自然而直观的互动，包括口头和非语言。作为一种普遍的非言语沟通方法，在我们的日常生活中，手势和手臂手势沟通无处不在。基于手势的HRI的大量工作散布在各种研究领域。但是，仍然缺乏对基于手势的HRI作品的系统理解。本文旨在对基于手势的HRI进行全面审查，并专注于该领域的高级发现。遵循刺激和生物反应框架，该综述包括：（i）产生人类手势（刺激）。 （ii）机器人识别人类手势（有机体）。 （iii）机器人对人手势的反应（反应）。此外，本综述总结了框架中每个元素的研究状态，并分析相关工作的优势和缺点。在最后一部分中，本文讨论了有关基于手势的HRI的当前研究挑战，并提供了未来的方向。

密切的人类机器人互动（HRI），尤其是在工业场景中，已经对结合人类和机器人技能的优势进行了广泛的研究。对于有效的HRI，应质疑当前可用的人机通信媒体或工具的有效性，并应探讨新的交流方式。本文提出了一个模块化体系结构，允许人类操作员通过不同的方式与机器人互动。特别是，我们使用智能手表和平板电脑分别实施了架构来分别处理手势和触摸屏输入。最后，我们在这两种方式之间进行了比较用户体验研究。

人类的物体感知能力令人印象深刻，当试图开发具有类似机器人的解决方案时，这变得更加明显。从人类如何将视觉和触觉用于对象感知和相关任务的灵感中，本文总结了机器人应用的多模式对象感知的当前状态。它涵盖了生物学灵感，传感器技术，数据集以及用于对象识别和掌握的感觉数据处理的各个方面。首先，概述了多模式对象感知的生物学基础。然后讨论了传感技术和数据收集策略。接下来，介绍了主要计算方面的介绍，突出显示了每个主要应用领域的一些代表性文章，包括对象识别，传输学习以及对象操纵和掌握。最后，在每个领域的当前进步中，本文概述了有希望的新研究指示。

情绪可以提供自然的交流方式，以补充许多领域中社交机器人（例如文本和语音）现有的多模式能力。我们与112、223和151名参与者进行了三项在线研究，以调查使用情绪作为搜救（SAR）机器人的交流方式的好处。在第一个实验中，我们研究了通过机器人的情绪传达与SAR情况有关的信息的可行性，从而导致了从SAR情况到情绪的映射。第二项研究使用控制控制理论是推导此类映射的替代方法。此方法更灵活，例如允许对不同的情绪集和不同机器人进行调整。在第三个实验中，我们使用LED作为表达通道为外观受限的室外现场研究机器人创建了情感表达。在各种模拟的SAR情况下，使用这些情感表达式，我们评估了这些表达式对参与者（采用救援人员的作用）的影响。我们的结果和提议的方法提供了（a）有关情感如何帮助在SAR背景下传达信息的见解，以及（b）在（模拟）SAR通信环境中添加情绪为传播方式的有效性的证据。

本文提出了一种移动超级机器人方法，可在人类机器人结合的行动中进行身体援助。该研究从对超人概念的描述开始。这个想法是开发和利用可以遵循人类机器人操作命令的移动协作系统，通过三个主要组件执行工业任务：i）物理界面，ii）人类机器人互动控制器和iii）超级机器人身体。接下来，我们从理论和硬件的角度介绍了框架内的两个可能的实现。第一个系统称为MOCA-MAN，由冗余的扭矩控制机器人组和Omni方向移动平台组成。第二个称为Kairos-Man，由高付费6多速速度控制机器人组和Omni方向移动平台形成。该系统共享相同的接收界面，通过该接口将用户扳手转换为Loco-andipulation命令，该命令由每个系统的全身控制器生成。此外，提出了一个具有多个和跨性别主题的彻底用户研究，以揭示这两个系统在努力和灵活的任务中的定量性能。此外，我们提供了NASA-TLX问卷的定性结果，以证明超级人物的潜力及其从用户的观点中的可接受性。