Our team, Hibikino-Musashi@Home (the shortened name is HMA), was founded in 2010. It is based in the Kitakyushu Science and Research Park, Japan. We have participated in the RoboCup@Home Japan open competition open platform league every year since 2010. Moreover, we participated in the RoboCup 2017 Nagoya as open platform league and domestic standard platform league teams. Currently, the Hibikino-Musashi@Home team has 20 members from seven different laboratories based in the Kyushu Institute of Technology. In this paper, we introduce the activities of our team and the technologies.

使用移动操纵器来整理家庭环境，在机器人技术中提出了各种挑战，例如适应大型现实世界的环境变化，以及在人类面前的安全和强大的部署。2021年9月举行的全球竞赛，对真正的家庭环境中的整理任务进行了基准测试，重要的是，对全面的系统性能进行了测试。对于此挑战，我们开发了整个家庭服务机器人系统，该机器人系统利用数据驱动的方法来适应众多的方法在执行过程中发生的边缘案例，而不是经典的手动预编程解决方案。在本文中，我们描述了提出的机器人系统的核心成分，包括视觉识别，对象操纵和运动计划。我们的机器人系统赢得了二等奖，验证了数据驱动的机器人系统在家庭环境中移动操作的有效性和潜力。

目前，大多数社会机器人通过传感器与周围环境和人类相互作用，这些传感器是机器人的组成部分，这限制了传感器，人机相互作用和互换性的可用性。在许多应用中需要一种适合许多机器人的可穿戴传感器衣服。本文介绍了一个经济实惠的可穿戴传感器背心，以及带有物联网（物联网）的开源软件架构，用于社会人形机器人。背心由触摸，温度，手势，距离，视觉传感器和无线通信模块组成。 IOT功能允许机器人与人类和互联网一起与人类交互。设计的体系结构适用于任何具有通用图形处理单元（GPGPU），I2C / SPI总线，Internet连接和机器人操作系统（ROS）的任何社交机器人。此架构的模块化设计使开发人员能够轻松地添加/删除/更新复杂行为。所提出的软件架构提供IOT技术，GPGPU节点，I2C和SPI总线管理器，视听交互节点（语音到文本，文本到语音和图像理解），以及行为节点和其他节点之间的隔离。所提出的IOT解决方案包括机器人中的相关节点，RESTful Web服务和用户界面。我们使用HTTP协议作为与Internet的社会机器人双向通信的手段。开发人员可以在C，C ++和Python编程语言中轻松编辑或添加节点。我们的架构可用于为社会人形机器人设计更复杂的行为。

为了促进机器人技术和AI的最新进展，以进行人类和机器之间的微妙合作，我们提出了Kinova Gemini，这是一种原始的机器人系统，它整合了对话式AI对话和视觉推理，以使Kinova gen3 Lite机器人帮助人们撤回基于观念的对象或完全基于感知的对象选择任务。当一个人走到Kinova Gen3 Lite时，我们的Kinova Gemini能够在三种不同的应用程序中满足用户的要求：（1）它可以与人们进行自然对话，以互动并协助人类检索物体并将其交给用户，并将其交给用户。逐个。 （2）它通过Yolo V3检测到不同的对象，并识别物品的颜色属性，以询问人们是否想通过对话来掌握它，或者使用户可以选择需要哪个特定的特定特定的对象。 （3）它应用了Yolo V3来识别多个对象，并让您选择两个基于感知的挑选和位置任务，例如“将香蕉放入碗中”，并具有视觉推理和对话性交互。

机器人的目前研究标准要求机器人控制器开发的一般方法。在辅助机器人域中，人机互动起到了实质性的作用。特别是，人类产生影响机器人控制系统的意图。在文章中，提出了一种方法，用于创建辅助机器人的控制系统，这对由语音命令，按钮或操作员控制台提供的用户意图作出反应。整个方法应用于由定制的Tiago机器人和其他硬件组件组成的真实系统。在该平台上进行的示例性实验说明了辅助机器人中的人机界面多样化的动机。

机器人模拟一直是机器人领域研发的组成部分。模拟消除了通过启用机器人的应用测试来快速，负担得起的，而无需遭受机械或电子误差而进行机器人应用测试，从而消除了对传感器，电动机和实际机器人物理结构的可能性。通过虚拟现实（VR）模拟，通过提供更好的环境可视化提示，为与模拟机器人互动提供了更具吸引力的替代方法，从而提供了更严肃的体验。这种沉浸至关重要，尤其是在讨论社交机器人时，人类机器人相互作用（HRI）领域的子区域。在日常生活中，机器人的广泛使用取决于HRI。将来，机器人将能够与人们有效互动，以在人类文明中执行各种任务。在个人工作空间开始扩散时，为机器人开发简单且易于理解的接口至关重要。因此，在这项研究中，我们实施了一个使用现成的工具和包装的VR机器人框架，以增强社交HRI的研究和应用开发。由于整个VR接口是一个开源项目，因此可以在身临其境的环境中进行测试，而无需物理机器人。

人类机器人相互作用（HRI）对于在日常生活中广泛使用机器人至关重要。机器人最终将能够通过有效的社会互动来履行人类文明的各种职责。创建直接且易于理解的界面，以与机器人开始在个人工作区中扩散时与机器人互动至关重要。通常，与模拟机器人的交互显示在屏幕上。虚拟现实（VR）是一个更具吸引力的替代方法，它为视觉提示提供了更像现实世界中看到的线索。在这项研究中，我们介绍了Jubileo，这是一种机器人的动画面孔，并使用人类机器人社会互动领域的各种研究和应用开发工具。Jubileo Project不仅提供功能齐全的开源物理机器人。它还提供了一个全面的框架，可以通过VR接口进行操作，从而为HRI应用程序测试带来沉浸式环境，并明显更好地部署速度。

通过智能连接设备，技术正在逐步重塑国内环境，提高家庭安全和整体环境质量。然而，人口转移和流行病最近展示导致他们房屋中的老年人隔离，产生了可靠的辅助人物的需求。机器人助理是国内福利创新的新前沿。老年人监测只是一个可能的服务应用之一，智能机器人平台可以处理集体福祉。在本文中，我们展示了一个新的辅助机器人，我们通过模块化的基于层的架构开发，使灵活的机械设计与最先进的人工智能进行了灵活的人工智能，以便感知和声音控制。关于以前的机器人助手的作品，我们提出了一个设置有四个麦粉轮的全向平台，这使得自主导航与杂乱环境中的有效障碍物避免。此外，我们设计可控定位装置，以扩展传感器的视觉范围，并改善对用户界面的访问以进行远程呈现和连接。轻量级深度学习解决方案，用于视觉感知，人员姿势分类和声乐命令完全运行机器人的嵌入式硬件，避免了云服务私有数据收集产生的隐私问题。

目前，移动机器人正在迅速发展，并在工业中寻找许多应用。然而，仍然存在与其实际使用相关的一些问题，例如对昂贵的硬件及其高功耗水平的需要。在本研究中，我们提出了一种导航系统，该导航系统可在具有RGB-D相机的低端计算机上操作，以及用于操作集成自动驱动系统的移动机器人平台。建议的系统不需要Lidars或GPU。我们的原始深度图像接地分割方法提取用于低体移动机器人的安全驾驶的遍历图。它旨在保证具有集成的SLAM，全局路径规划和运动规划的低成本现成单板计算机上的实时性能。我们使用Traversability Map应用基于规则的基于学习的导航策略。同时运行传感器数据处理和其他自主驾驶功能，我们的导航策略以18Hz的刷新率为控制命令而迅速执行，而其他系统则具有较慢的刷新率。我们的方法在有限的计算资源中优于当前最先进的导航方法，如3D模拟测试所示。此外，我们通过在室内环境中成功的自动驾驶来展示移动机器人系统的适用性。我们的整个作品包括硬件和软件在开源许可（https://github.com/shinkansan/2019-ugrp-doom）下发布。我们的详细视频是https://youtu.be/mf3iufuhppm提供的。

如今，自动移动机器人为人类存在多余或太危险的许多地区提供支持。他们在探险，天然气行业，矿山，仓库等中成功证明了自己。但是，即使是腿部的机器人也可能陷入困境的地形条件下，需要人类的认知能力来浏览该系统。尽管游戏手柄和键盘方便用于轮式机器人控制，但3D空间中的四足机器人可以沿所有线性坐标和欧拉角移动，需要至少12个按钮才能独立控制其DOF。因此，需要更方便的控制接口。在本文中，我们介绍了超大型：一种与四足机器人直观的人类机器人相互作用的新型手势界面。如果没有其他设备，操作员可以通过手势识别识别3D空间中的四倍机器人的完全位置和方向控制，只有5个手势和6个DOF手动运动。实验结果表明，将5个静态手势分类为高精度（96.5％），可以准确预测手在三维空间中手的6D位置的位置。所提出的方法的绝对线性偏离根均方根偏差（RMSD）为11.7毫米，比第二个测试方法低50％，所建议方法的绝对角度偏差RMSD为2.6度，几乎为27％低于第二个测试方法。此外，进行了用户研究，以探索用户通过建议的手势接口从人类机器人交互中的主观体验。参与者将其与超级方面的互动评估为直观（2.0），不会引起挫败感（2.63），并且需要较低的身体需求（2.0）。

日常生活中交流最关键的方面之一是言语识别。基于自然语言处理的语音识别是将一个系统转换为另一个系统的基本要素之一。在本文中，我们创建了一个界面，将语音和其他听觉输入转换为使用数字过滤器的文本。与这种转换的许多方法相反，语言缺陷偶尔出现，性别识别，语音识别，失败（无法识别声音）和性别识别失败。由于涉及技术问题，我们开发了一个程序，该程序充当调解人，以防止启动软件问题，以消除这种小偏差。其计划的MFCC和HMM与其AI系统同步。结果，已经避免了技术错误。

自治机器人目前是最受欢迎的人工智能问题之一，在过去十年中，从自动驾驶汽车和人形系统到交付机器人和无人机，这是一项最受欢迎的智能问题。部分问题是获得一个机器人，以模仿人类的感知，我们的视觉感，用诸如神经网络等数学模型用相机和大脑的眼睛替换眼睛。开发一个能够在没有人为干预的情况下驾驶汽车的AI和一个小型机器人在城市中递送包裹可能看起来像不同的问题，因此来自感知和视觉的观点来看，这两个问题都有几种相似之处。我们目前的主要解决方案通过使用计算机视觉技术，机器学习和各种算法来实现对环境感知的关注，使机器人理解环境或场景，移动，调整其轨迹并执行其任务（维护，探索，等。）无需人为干预。在这项工作中，我们从头开始开发一个小型自动车辆，能够仅使用视觉信息理解场景，通过工业环境导航，检测人员和障碍，或执行简单的维护任务。我们审查了基本问题的最先进问题，并证明了小规模采用的许多方法类似于来自特斯拉或Lyft等公司的真正自动驾驶汽车中使用的方法。最后，我们讨论了当前的机器人和自主驾驶状态以及我们在这一领域找到的技术和道德限制。

机器学习传感器代表了嵌入式机器学习应用程序未来的范式转移。当前的嵌入式机器学习（ML）实例化遭受了复杂的整合，缺乏模块化以及数据流动的隐私和安全问题。本文提出了一个以数据为中心的范式，用于将传感器智能嵌入边缘设备上，以应对这些挑战。我们对“传感器2.0”的愿景需要将传感器输入数据和ML处理从硬件级别隔离到更广泛的系统，并提供一个薄的界面，以模拟传统传感器的功能。这种分离导致模块化且易于使用的ML传感器设备。我们讨论了将ML处理构建到嵌入式系统上控制微处理器的软件堆栈中的标准方法所带来的挑战，以及ML传感器的模块化如何减轻这些问题。 ML传感器提高了隐私和准确性，同时使系统构建者更容易将ML集成到其产品中，以简单的组件。我们提供了预期的ML传感器和说明性数据表的例子，以表现出来，并希望这将建立对话使我们朝着传感器2.0迈进。

Current technological advances open up new opportunities for bringing human-machine interaction to a new level of human-centered cooperation. In this context, a key issue is the semantic understanding of the environment in order to enable mobile robots more complex interactions and a facilitated communication with humans. Prerequisites are the vision-based registration of semantic objects and humans, where the latter are further analyzed for potential interaction partners. Despite significant research achievements, the reliable and fast registration of semantic information still remains a challenging task for mobile robots in real-world scenarios. In this paper, we present a vision-based system for mobile assistive robots to enable a semantic-aware environment perception without additional a-priori knowledge. We deploy our system on a mobile humanoid robot that enables us to test our methods in real-world applications.

智能辅助系统可以导航盲人，但其中大多数只能给出非直觉的提示或效率低下的指导。基于计算机视觉和颤振的编码，本文提出了一个交互式系统，为盲人提供直观的空间认知。与基于语音提示的传统听觉反馈策略不同，本文首先引入了一种振动编码的反馈方法，该方法利用了触觉神经途径，并使用户能够与操纵辅助设备以外的对象进行交互。基于此策略，3D空间对象定位采用了基于RGB-D摄像机的可穿戴视觉模块，这有助于在真实环境中进行准确的感知和快速对象定位。目标盲人的实验结果表明，与主流语音及时反馈方案相比，纤维触觉反馈将任务的完成时间降低了25％。拟议的对象定位系统提供了更直观的空间导航和舒适的耐磨性，以提供盲目帮助。

Mohamed Bin Zayed国际机器人挑战（MBZIRC）2020为无人机（无人机）构成了不同的挑战。我们提供了四个量身定制的无人机，专门为MBZIRC的单独空中机器人任务开发，包括自定义硬件和软件组件。在挑战1中，使用高效率，车载对象检测管道进行目标UAV，以捕获来自目标UAV的球。第二个UAV使用类似的检测方法来查找和流行散落在整个竞技场的气球。对于挑战2，我们展示了一种能够自主空中操作的更大的无人机：从相机图像找到并跟踪砖。随后，将它们接近，挑选，运输并放在墙上。最后，在挑战3中，我们的UAV自动发现使用LIDAR和热敏摄像机的火灾。它用船上灭火器熄灭火灾。虽然每个机器人都具有任务特定的子系统，但所有无人机都依赖于为该特定和未来竞争开发的标准软件堆栈。我们介绍了我们最开源的软件解决方案，包括系统配置，监控，强大无线通信，高级控制和敏捷轨迹生成的工具。为了解决MBZirc 2020任务，我们在多个研究领域提出了机器视觉和轨迹生成的多个研究领域。我们介绍了我们的科学贡献，这些贡献构成了我们的算法和系统的基础，并分析了在阿布扎比的MBZIRC竞赛2020年的结果，我们的系统在大挑战中达到了第二名。此外，我们讨论了我们参与这种复杂的机器人挑战的经验教训。

愿景在理解我们周围的世界方面发挥着至关重要的作用。通过视觉系统获得超过85 \％的外部信息。它会影响我们的移动性，认知，信息访问和与环境和其他人的互动。失明可以防止人们获得周围环境的知识，并使非批准的导航，对象识别，避免避免以及读取任务重大挑战。许多现有系统通常受成本和复杂性的限制。为了帮助视觉上挑战克服这些困难所面临的日常生活，我们提出了一个智能助理的Visbuddy，以帮助目前的活动与日常活动有关。 VisBuddy是一种基于语音的助手，用户可以提供语音命令来执行特定的任务。它使用图像标题的技术来描述用户周围环境，光学字符识别（OCR）用于在用户的视图中读取文本，对象检测来搜索，并在房间中查找对象以及Web擦除以提供最新消息。通过将来自深度学习和互联网的概念相结合来构建了Visbuddy。因此，Visbuddy通过帮助他们与他们的日常活动有用，这是一种具有成本效益，强大的一体的助手，可视地攻击。

Deep neural networks (DNNs) are currently widely used for many artificial intelligence (AI) applications including computer vision, speech recognition, and robotics. While DNNs deliver state-of-the-art accuracy on many AI tasks, it comes at the cost of high computational complexity. Accordingly, techniques that enable efficient processing of DNNs to improve energy efficiency and throughput without sacrificing application accuracy or increasing hardware cost are critical to the wide deployment of DNNs in AI systems.This article aims to provide a comprehensive tutorial and survey about the recent advances towards the goal of enabling efficient processing of DNNs. Specifically, it will provide an overview of DNNs, discuss various hardware platforms and architectures that support DNNs, and highlight key trends in reducing the computation cost of DNNs either solely via hardware design changes or via joint hardware design and DNN algorithm changes. It will also summarize various development resources that enable researchers and practitioners to quickly get started in this field, and highlight important benchmarking metrics and design considerations that should be used for evaluating the rapidly growing number of DNN hardware designs, optionally including algorithmic co-designs, being proposed in academia and industry.The reader will take away the following concepts from this article: understand the key design considerations for DNNs; be able to evaluate different DNN hardware implementations with benchmarks and comparison metrics; understand the trade-offs between various hardware architectures and platforms; be able to evaluate the utility of various DNN design techniques for efficient processing; and understand recent implementation trends and opportunities.

拟议的购物助理模型SANIP将帮助盲人检测手持有的物体，并从检测到的对象中获取信息的视频反馈。提出的模型由三个Python模型组成，即自定义对象检测，文本检测和条形码检测。为了检测手持对象，我们创建了自己的自定义数据集，该数据集包括Parle-G，Tide和Lays等日常商品。除此之外，我们还收集了购物车和出口标志的图像，因为对于任何人来说，使用购物车都至关重要，并且在紧急情况下还要注意出口标志。对于其他2个模型，提出的文本和条形码信息将从文本转换为语音，并传达给盲人。该模型用于检测经过训练并成功地检测和识别所需输出的对象，其精度和精确度良好。

圆角焊接是该行业中最广泛类型的焊接之一，仍然通过接触手动或自动进行。本文旨在描述具有U和L形结构的非接触式圆角焊接机器人的在线编程系统，这响应了第四工业革命的需求。在本文中，作者提出了一种在线机器人编程方法，其消除了传统上在机器人焊接中执行的不必要步骤，使得操作者仅执行三个步骤来完成焊接任务。首先，选择焊接件。然后，进入焊接参数。最后，它将自动生成的程序发送到机器人。该系统最终设法在比比较方法更有效的准备时间中使用所提出的方法进行圆角焊接任务。为此，除了六个轴工业机器人手臂之外，还使用了与其他系统相比使用减少数量的组件，例如结构化光3D相机，两个计算机和集中器。系统的操作复杂性尽可能减少。据作者所知，没有能够执行圆角焊接过程的在线机器人编程系统的科学或商业证据，简化了该过程，使其对操作员完全透明，并在行业4.0范例中陷入框架。它的商业潜力主要在于一种能够适应任何工业圆角焊接工作和任何可以容纳它的支架的柔性系统中的简单和低成本。