当操纵对象时，人类将它们的动作精细调整到他们正在处理的特征。因此，细心观察者可以预见被操纵物体的隐藏性质，例如其重量，温度，甚至它是否需要特别注意操纵。这项研究是朝着赋予人类机器人的一步，这是一个最后的能力。具体而言，我们研究机器人如何从单独推断出在线推断，无论是人类伴侣在移动物体时都是小心的。我们表明，即使使用低分辨率摄像头，人形机器人也可以高精度地执行此推理（高达81.3％）。只有短暂的运动没有障碍，仔细识别不足。迅速识别出现谨慎观察合作伙伴的行动将使机器人能够适应对象的行为，以显示与人工合作伙伴相同程度的照顾。

人类具有非凡的能力来传达和阅读对象的属性，只需看到它们被别人带走即可。人类可用的这种沟通技巧和解释水平对于协作机器人可以自然和有效的互动对于协作机器人至关重要。例如，假设机器人正在移交一个脆弱的对象。在这种情况下，应通过直接和隐性的信息，即通过直接调节机器人的行动来告知其脆弱性的人。这项工作调查了两个具有不同实施方案的机器人（一个ICUB类人体机器人和Baxter机器人）进行交流意图执行的对象操作的感知。我们设计了机器人的动作，以传达对象运输过程中的谨慎性。我们发现，人类观察者不仅可以正确地感知此功能，而且可以在随后的人类物体操纵中引起运动适应的一种形式。此外，我们可以深入了解哪些运动功能可能会或多或少地谨慎地操纵物体。

共享控制可以通过协助执行用户意图来帮助进行远程处理的对象操纵。为此，需要稳健和及时的意图估计，这取决于行为观察。在这里，提出了意图估计框架，该框架使用自然目光和运动功能来预测当前的动作和目标对象。该系统在模拟环境中进行了训练和测试，并在相对混乱的场景中和双手中产生的拾音器和放置序列，另一方面可能是手动。验证是在不同的用户和手中进行的，实现了预测的准确性和优势。对单个特征的预测能力的分析表明，在当前动作的早期识别中，抓握触发器和目光的凝视特征的优势。在当前的框架中，可以将相同的概率模型用于并行和独立工作的两只手，而提出了基于规则的模型来识别所得的双人动作。最后，讨论了这种方法对更复杂，全行为操纵的局限性和观点。

可接受的是指对象允许的可能动作的感知。尽管其与人计算机相互作用有关，但没有现有理论解释了支撑无力形成的机制;也就是说，通过交互发现和适应的充分性。基于认知科学的加固学习理论，提出了一种综合性的无力形成理论。关键假设是用户学习在存在增强信号（成功/故障）时将有前途的电机动作与经验相关联。他们还学会分类行动（例如，“旋转”拨号），使他们能够命名和理由的能力。在遇到新颖的小部件时，他们概括这些行动的能力决定了他们感受到的能力。我们在虚拟机器人模型中实现了这个理论，它展示了在交互式小部件任务中的人性化适应性。虽然其预测与人类数据的趋势对齐，但人类能够更快地适应能力，表明存在额外机制。

肌电图（EMG）数据已被广泛采用作为指导人类机器人协作的直观界面。实时检测人类掌握意图的主要挑战是从手动运动中识别动态EMG。先前的研究主要实施了稳态EMG分类，并在动态情况下具有少量的掌握模式，这些模式不足以产生有关实践中肌肉活动变化的差异化控制。为了更好地检测动态运动，可以将更多的EMG变异性集成到模型中。但是，只有有限的研究集中于这种动态抓紧运动的检测，而对非静态EMG分类的大多数现有评估要么需要监督运动状态的地面真相，要么仅包含有限的运动学变化。在这项研究中，我们提出了一个将动态EMG信号分类为手势的框架，并使用一种无​​监督的方法来检查不同运动阶段的影响，以细分和标记动作转变。我们从大型手势词汇中收集和利用了具有多种动态动作的大型手势词汇的数据，以基于掌握动作的常见序列编码从一个抓握意图到另一个掌握的过渡。随后根据动态EMG信号构建了用于识别手势标签的分类器，不需要对运动运动的监督注释。最后，我们使用来自不同运动阶段的EMG数据评估了多种培训策略的性能，并探讨了每个阶段揭示的信息。所有实验均以实时样式进行评估，并随着时间的推移的性能过渡。

本文对人机对象切换的文献进行了调查。切换是一种协作的关节动作，其中代理人，给予者，给予对象给另一代理，接收器。当接收器首先与给予者持有的对象并结束时，当给予者完全将物体释放到接收器时，物理交换开始。然而，重要的认知和物理过程在物理交换之前开始，包括在交换的位置和时间内启动隐含协议。从这个角度来看，我们将审核构成了上述事件界定的两个主要阶段：1）预切换阶段和2）物理交流。我们专注于两位演员（Giver和Receiver）的分析，并报告机器人推动者（机器人到人类切换）和机器人接收器（人到机器人切换）的状态。我们举报了常用于评估互动的全面的定性和定量度量列表。虽然将我们的认知水平（例如，预测，感知，运动规划，学习）和物理水平（例如，运动，抓握，抓取释放）的审查重点，但我们简要讨论了安全的概念，社会背景，和人体工程学。我们将在人对人物助手中显示的行为与机器人助手的最新进行比较，并确定机器人助剂的主要改善领域，以达到与人类相互作用相当的性能。最后，我们提出了一种应使用的最小度量标准，以便在方法之间进行公平比较。

密切的人类机器人互动（HRI），尤其是在工业场景中，已经对结合人类和机器人技能的优势进行了广泛的研究。对于有效的HRI，应质疑当前可用的人机通信媒体或工具的有效性，并应探讨新的交流方式。本文提出了一个模块化体系结构，允许人类操作员通过不同的方式与机器人互动。特别是，我们使用智能手表和平板电脑分别实施了架构来分别处理手势和触摸屏输入。最后，我们在这两种方式之间进行了比较用户体验研究。

可穿戴设备，不断收集用户的各种传感器数据，增加了无意和敏感信息的推论的机会，例如在物理键盘上键入的密码。我们彻底看看使用电拍摄（EMG）数据的潜力，这是一个新的传感器模式，这是市场新的，但最近在可穿戴物的上下文中受到关注，用于增强现实（AR），用于键盘侧通道攻击。我们的方法是基于使用Myo Armband收集传感器数据的逼真场景中对象攻击之间的神经网络。在我们的方法中，与加速度计和陀螺相比，EMG数据被证明是最突出的信息来源，增加了击键检测性能。对于我们对原始数据的端到端方法，我们报告了击键检测的平均平衡准确性，击键检测的平均高度高精度为52级，为不同优势密码的密钥识别约32％ 。我们创建了一个广泛的数据集，包括从37个志愿者录制的310 000次击键，它可作为开放式访问，以及用于创建给定结果的源代码。

在这项研究中，提出了一个自适应对象可变形性不足的人类机器人协作运输框架。提出的框架使通过对象传输的触觉信息与从运动捕获系统获得的人类运动信息结合在一起，以在移动协作机器人上产生反应性的全身运动。此外，它允许基于算法在共同转移过程中以直观而准确的方式旋转对象，该算法使用躯干和手动运动检测人旋转意图。首先，我们通过使用由Omni方向移动基础和协作机器人组组成的移动操纵器，通过对象变形范围的两个末端（即纯粹的铝制杆和高度变形绳）来验证框架。接下来，将其性能与12个受试者用户研究中部分可变形对象的共同携带任务中的录取控制器进行了比较。该实验的定量和定性结果表明，所提出的框架可以有效地处理物体的运输，而不管其可变形性如何，并为人类伴侣提供直观的援助。最后，我们在不同的情况下展示了我们的框架的潜力，在不同的情况下，人类和机器人使用可变形的床单共同传输了手工蛋白。

机器人辅助的微创手术（RMI）缺乏触觉反馈是在手术过程中安全组织处理的潜在障碍。贝叶斯建模理论表明，与没有经验的外科医生相比，在RMIS期间，具有开放或腹腔镜手术经验的外科医生可以发展为组织刚度的先验。为了测试先前的触觉经验是否导致远程操作的力估计能力提高，将33名参与者分配到三个训练条件之一：手动操纵，用力反馈的远程操作或无力反馈的远程操作，并学会了将硅胶样品张紧到一套力值。然后，他们被要求执行张力任务，以及先前未经触觉的任务，而无需反馈而在远程操作下进行不同的力量值。与远程操作组相比，手动组在训练的力量范围之外的张力任务中具有较高的力误差，但在低力水平下，在触诊任务中显示出更好的速度准确性功能。这表明训练方式的动力学会影响远程操作过程中的力估计能力，如果在与任务相同的动态下形成，则可以访问先前的触觉体验。

非语言交流在人类机器人相互作用（HRI）的各种场景中起着特别重要的作用。因此，这项工作解决了人类手势识别的问题。特别是，我们专注于头部和眼睛手势，并使用眼镜摄像头采用以自我为中心的（第一人称）观点。我们认为，这种自我为中心的观点可能对场景或以机器人为中心的观点提供了许多概念和技术利益。提出了一种基于运动的识别方法，该方法以两个时间粒度运行。在本地，框架到框架的同谱是通过卷积神经网络（CNN）估算的。该CNN的输出输入了长期记忆（LSTM）以捕获与表征手势相关的长期时间视觉关系。关于网络体系结构的配置，一个特别有趣的发现是，使用同型CNN的内部层的输出增加了使用同型矩阵本身的识别率。尽管这项工作侧重于行动识别，并且尚未进行机器人或用户研究，但该系统旨在满足实时限制。令人鼓舞的结果表明，所提出的以自我为中心的观点是可行的，这项概念验证工作为HRI令人兴奋的领域提供了新颖而有用的贡献。

已知人类凝视是在操纵任务期间的潜在人类意图和目标的强大指标。这项工作研究人类教师的凝视模式证明了机器人的任务，并提出了这种模式可用于增强机器人学习的方式。使用Kinesthetic教学和视频演示，我们在教学中识别新颖的意图揭示凝视行为。这些在各种问题中被证明是从参考帧推理到多步任务的分割的各种问题。基于我们的研究结果，我们提出了两个概念验证算法，该算法表明，凝视数据可以增强多台任务的子任务分类，高达6％，奖励推理和策略学习，可为单步任务高达67％。我们的调查结果为机器人学习中的自然人凝视模型提供了基础，从演示设置上学习，并在利用人凝游来提高机器人学习的开放问题。

与工作有关的肌肉骨骼障碍（WMSDS）仍然是欧盟的主要职业安全和健康问题。因此，持续追踪工人对可能导致其发展有贡献的因素的暴露是至关重要的。本文介绍了一种在线方法来监控工人上的运动和动态数量，提供当天在日常工作中所需的物理负荷的估计。定义了一套符合人体工程学的指标，以考虑对WMSD的多个潜在贡献者，也重视工人的主题特定要求。为了评估拟议的框架，考虑到在制造业中代表典型工作活动的任务，对十二人受试者进行了彻底的实验分析。对于每个任务，在统计分析之后，识别更好地解释底层物理负荷的符合人体工程学指标，并通过表面肌电图（SEMG）分析的结果支持。还通过公认的和标准工具进行了比较，以评估工作场所的人体工程学，突出所提出的框架引入的益处。结果证明了拟议框架在识别物理危险因素方面的高潜力，从而采取预防措施。该研究的另一个同样重要的贡献是在人类血管动力学测量中创建一个综合数据库，该测量涉及执行典型工业任务的健康受试者的多个感官数据。

Unhealthy dietary habits are considered as the primary cause of multiple chronic diseases such as obesity and diabetes. The automatic food intake monitoring system has the potential to improve the quality of life (QoF) of people with dietary related diseases through dietary assessment. In this work, we propose a novel contact-less radar-based food intake monitoring approach. Specifically, a Frequency Modulated Continuous Wave (FMCW) radar sensor is employed to recognize fine-grained eating and drinking gestures. The fine-grained eating/drinking gesture contains a series of movement from raising the hand to the mouth until putting away the hand from the mouth. A 3D temporal convolutional network (3D-TCN) is developed to detect and segment eating and drinking gestures in meal sessions by processing the Range-Doppler Cube (RD Cube). Unlike previous radar-based research, this work collects data in continuous meal sessions. We create a public dataset that contains 48 meal sessions (3121 eating gestures and 608 drinking gestures) from 48 participants with a total duration of 783 minutes. Four eating styles (fork & knife, chopsticks, spoon, hand) are included in this dataset. To validate the performance of the proposed approach, 8-fold cross validation method is applied. Experimental results show that our proposed 3D-TCN outperforms the model that combines a convolutional neural network and a long-short-term-memory network (CNN-LSTM), and also the CNN-Bidirectional LSTM model (CNN-BiLSTM) in eating and drinking gesture detection. The 3D-TCN model achieves a segmental F1-score of 0.887 and 0.844 for eating and drinking gestures, respectively. The results of the proposed approach indicate the feasibility of using radar for fine-grained eating and drinking gesture detection and segmentation in meal sessions.

认识人类所采取的行动以及对他们的意图的预期是重要的推动力，可以在人类机器人团队中产生社交和成功的合作。同时，机器人应具有由协作任务或人类引起的多种目标和约束的能力。在这方面，我们提出了视力技术来执行人类的行动识别和图像分类，这些技术被整合到增强的层次二次编程（AHQP）方案中，以层次优化机器人的反应性行为和人类的人体工程学。所提出的框架允许执行任务时，可以直观地在空间中命令机器人。该实验证实了人体工程学和可用性的增加，这是减少肌肉骨骼疾病并增加自动化信任的基本参数。

可穿戴摄像机可以从用户的角度获取图像和视频。可以处理这些数据以了解人类的行为。尽管人类的行为分析已在第三人称视野中进行了彻底的研究，但仍在以自我为中心的环境中，尤其是在工业场景中进行了研究。为了鼓励在该领域的研究，我们介绍了Meccano，这是一个以自我为中心视频的多式模式数据集来研究类似工业的环境中的人类行为理解。多模式的特征是凝视信号，深度图和RGB视频同时使用自定义耳机获得。该数据集已在从第一人称视角的人类行为理解的背景下明确标记为基本任务，例如识别和预测人类对象的相互作用。使用MECCANO数据集，我们探索了五个不同的任务，包括1）动作识别，2）活动对象检测和识别，3）以自我为中心的人类对象互动检测，4）动作预期和5）下一步活动对象检测。我们提出了一个旨在研究人类行为的基准，该基准在被考虑的类似工业的情况下，表明所研究的任务和所考虑的方案对于最先进的算法具有挑战性。为了支持该领域的研究，我们在https://iplab.dmi.unict.it/meccano/上公开发布数据集。

本文提出了一种在机器人操纵运动中处理物体滑移的新型控制方法。滑移是许多机器人抓握和操纵任务中失败的主要原因。现有工程增加了抓地力以避免/控制滑移。但是，当（i）机器人无法增加抓地力时，这可能是不可行的 - 最大抓地力已被施加或（ii）增加的力损坏了抓地物物体，例如软果。此外，机器人在物体表面形成稳定的掌握时固定了握力，并且在实时操作过程中更改握紧力可能不是有效的控制政策。我们提出了一种新颖的控制方法，以避免滑移，包括学到的动作条件的滑移预测指标和受约束的优化器，避免了预测的机器人动作。我们通过一系列真实机器人测试案例显示了拟议的轨迹适应方法的有效性。我们的实验结果表明，我们提出的数据驱动的预测控制器可以控制训练中看不见的物体的滑动。

Taking advice from others requires confidence in their competence. This is important for interaction with peers, but also for collaboration with social robots and artificial agents. Nonetheless, we do not always have access to information about others' competence or performance. In these uncertain environments, do our prior beliefs about the nature and the competence of our interacting partners modulate our willingness to rely on their judgments? In a joint perceptual decision making task, participants made perceptual judgments and observed the simulated estimates of either a human participant, a social humanoid robot or a computer. Then they could modify their estimates based on this feedback. Results show participants' belief about the nature of their partner biased their compliance with its judgments: participants were more influenced by the social robot than human and computer partners. This difference emerged strongly at the very beginning of the task and decreased with repeated exposure to empirical feedback on the partner's responses, disclosing the role of prior beliefs in social influence under uncertainty. Furthermore, the results of our functional task suggest an important difference between human-human and human-robot interaction in the absence of overt socially relevant signal from the partner: the former is modulated by social normative mechanisms, whereas the latter is guided by purely informational mechanisms linked to the perceived competence of the partner.

目的：对于下臂截肢者，机器人假肢承诺将重新获得日常生活活动的能力。基于生理信号（例如肌电图（EMG））的当前控制方法容易由于运动伪影，肌肉疲劳等导致不良的推理结果。视觉传感器是有关环境状态的主要信息来源，可以在推断可行和预期的手势中发挥至关重要的作用。但是，视觉证据也容易受到其自身的伪像，最常由于对象阻塞，照明变化等。使用生理和视觉传感器测量的多模式证据融合是一种自然方法，这是由于这些模态的互补优势。方法：在本文中，我们提出了一个贝叶斯证据融合框架，用于使用眼部视频，眼睛凝视和来自神经网络模型处理前臂的EMG的掌握意图推理。当手接近对象以掌握对象时，我们将个人和融合性能分析为时间的函数。为此，我们还开发了新颖的数据处理和增强技术来训练神经网络组件。结果：我们的结果表明，相对于EMG和视觉证据，平均而言，融合会提高即将到来的GRASP类型分类准确性，而在触及阶段则提高了13.66％和14.8％的融合，从而单独地和视觉证据，总体融合精度为95.3％。结论：我们的实验数据分析表明，EMG和视觉证据表明互补的强度，因此，多模式证据的融合可以在任何给定时间胜过每个单独的证据方式。

人类不断受到他人的行为和观点的影响。至关重要的是，人类之间的社会影响是由互惠构成的：我们更多地遵循一直在考虑我们意见的人的建议。在当前的工作中，我们研究了与社会类人机器人互动时相互影响的影响是否可以出现。在一项联合任务中，人类参与者和人形机器人进行了感知估计，然后在观察伴侣的判断后可以公开修改它们。结果表明，赋予机器人表达和调节其对人类判断的易感水平的能力代表了双刃剑。一方面，当机器人遵循他们的建议时，参与者对机器人的能力失去了信心。另一方面，参与者不愿透露他们对易感机器人缺乏信心，这表明出现了支持人类机器人合作的社会影响力的相互机制。