非语言交流在人类机器人相互作用（HRI）的各种场景中起着特别重要的作用。因此，这项工作解决了人类手势识别的问题。特别是，我们专注于头部和眼睛手势，并使用眼镜摄像头采用以自我为中心的（第一人称）观点。我们认为，这种自我为中心的观点可能对场景或以机器人为中心的观点提供了许多概念和技术利益。提出了一种基于运动的识别方法，该方法以两个时间粒度运行。在本地，框架到框架的同谱是通过卷积神经网络（CNN）估算的。该CNN的输出输入了长期记忆（LSTM）以捕获与表征手势相关的长期时间视觉关系。关于网络体系结构的配置，一个特别有趣的发现是，使用同型CNN的内部层的输出增加了使用同型矩阵本身的识别率。尽管这项工作侧重于行动识别，并且尚未进行机器人或用户研究，但该系统旨在满足实时限制。令人鼓舞的结果表明，所提出的以自我为中心的观点是可行的，这项概念验证工作为HRI令人兴奋的领域提供了新颖而有用的贡献。

这项工作对最近的努力进行了系统的综述（自2010年以来），旨在自动分析面对面共同关联的人类社交互动中显示的非语言提示。专注于非语言提示的主要原因是，这些是社会和心理现象的物理，可检测到的痕迹。因此，检测和理解非语言提示至少在一定程度上意味着检测和理解社会和心理现象。所涵盖的主题分为三个：a）建模社会特征，例如领导力，主导，人格特质，b）社会角色认可和社会关系检测以及c）群体凝聚力，同情，rapport和so的互动动态分析向前。我们针对共同的相互作用，其中相互作用的人永远是人类。该调查涵盖了各种各样的环境和场景，包括独立的互动，会议，室内和室外社交交流，二元对话以及人群动态。对于他们每个人，调查都考虑了非语言提示分析的三个主要要素，即数据，传感方法和计算方法。目的是突出显示过去十年的主要进步，指出现有的限制并概述未来的方向。

我们考虑对物体抓住的任务，可以用多种抓握类型的假肢手抓住。在这种情况下，传达预期的抓取类型通常需要高的用户认知负载，可以减少采用共享自主框架。在其中，所谓的眼睛内部系统会根据手腕上的相机的视觉输入自动控制掌握前的手工整形。在本文中，我们提出了一种基于目光的学习方法，用于从RGB序列中进行手部形状分类。与以前的工作不同，我们设计了该系统，以支持以不同的掌握类型掌握每个被认为的对象部分的可能性。为了克服缺乏此类数据并减少对训练系统繁琐的数据收集会话的需求，我们设计了一条呈现手动轨迹合成视觉序列的管道。我们开发了一种传感器的设置，以获取真正的人类握把序列以进行基准测试，并表明，与实际数据相比，使用合成数据集训练的实用案例相比，与对真实数据培训的模型相比，使用合成数据集训练的模型获得了更好的概括性能。我们最终将模型整合到Hannes假肢手中，并显示其实际有效性。我们使代码和数据集公开可用，以复制提出的结果。

我们开发了数据驱动的模型，以预测机器人在社交就餐场景中何时应进食。能够与朋友和家人独立饮食被认为是具有行动不便的人的最令人难忘，最重要的活动之一。机器人可以潜在地帮助这项活动，但是由机器人辅助的喂养是一个多方面的问题，在咬合，咬合时机和咬合转移方面面临挑战。特别是在社交就餐场景中，特别是由于在社交用餐场景中变得唯一挑战性，因为可能会中断社交人类机器人群体的互动。我们的关键见解是，考虑到社交线索的微妙平衡的咬合时序策略可能会导致在社交用餐场景中在机器人辅助喂养过程中进行无缝互动。我们通过收集一个包含30组三人共同饮食的多模式人类尊贵数据集（HHCD）来解决这个问题。我们使用此数据集分析人类人类的赋形行为，并在社交用餐场景中开发咬合时正时预测模型。我们还将这些模型转移到人类机器人的态度方案中。我们的用户研究表明，当我们的算法使用食客之间的多模式社交信号线索来建模时，预测会有所改善。 HHCD数据集，用户研究的视频和代码将在接受后公开发布。

可穿戴摄像机可以从用户的角度获取图像和视频。可以处理这些数据以了解人类的行为。尽管人类的行为分析已在第三人称视野中进行了彻底的研究，但仍在以自我为中心的环境中，尤其是在工业场景中进行了研究。为了鼓励在该领域的研究，我们介绍了Meccano，这是一个以自我为中心视频的多式模式数据集来研究类似工业的环境中的人类行为理解。多模式的特征是凝视信号，深度图和RGB视频同时使用自定义耳机获得。该数据集已在从第一人称视角的人类行为理解的背景下明确标记为基本任务，例如识别和预测人类对象的相互作用。使用MECCANO数据集，我们探索了五个不同的任务，包括1）动作识别，2）活动对象检测和识别，3）以自我为中心的人类对象互动检测，4）动作预期和5）下一步活动对象检测。我们提出了一个旨在研究人类行为的基准，该基准在被考虑的类似工业的情况下，表明所研究的任务和所考虑的方案对于最先进的算法具有挑战性。为了支持该领域的研究，我们在https://iplab.dmi.unict.it/meccano/上公开发布数据集。

人类相互作用的分析是人类运动分析的一个重要研究主题。它已经使用第一人称视觉（FPV）或第三人称视觉（TPV）进行了研究。但是，到目前为止，两种视野的联合学习几乎没有引起关注。原因之一是缺乏涵盖FPV和TPV的合适数据集。此外，FPV或TPV的现有基准数据集具有多个限制，包括样本数量有限，参与者，交互类别和模态。在这项工作中，我们贡献了一个大规模的人类交互数据集，即FT-HID数据集。 FT-HID包含第一人称和第三人称愿景的成对对齐的样本。该数据集是从109个不同受试者中收集的，并具有三种模式的90K样品。该数据集已通过使用几种现有的动作识别方法验证。此外，我们还引入了一种新型的骨骼序列的多视图交互机制，以及针对第一人称和第三人称视野的联合学习多流框架。两种方法都在FT-HID数据集上产生有希望的结果。可以预期，这一视力一致的大规模数据集的引入将促进FPV和TPV的发展，以及他们用于人类行动分析的联合学习技术。该数据集和代码可在\ href {https://github.com/endlichere/ft-hid} {here} {herefichub.com/endlichere.com/endlichere}中获得。

眼目光分析是计算机视觉和人类计算机相互作用领域的重要研究问题。即使在过去十年中取得了显着进展，由于眼睛外观，眼头相互作用，遮挡，图像质量和照明条件的独特性，自动凝视分析仍然具有挑战性。有几个开放的问题，包括在没有先验知识的情况下，在不受限制的环境中解释凝视方向的重要提示以及如何实时编码它们。我们回顾了一系列目光分析任务和应用程序的进展，以阐明这些基本问题，确定凝视分析中的有效方法并提供可能的未来方向。我们根据其优势和报告的评估指标分析了最近的凝视估计和分割方法，尤其是在无监督和弱监督的领域中。我们的分析表明，强大而通用的凝视分析方法的开发仍然需要解决现实世界中的挑战，例如不受限制的设置和学习，并减少了监督。最后，我们讨论了设计现实的目光分析系统的未来研究方向，该系统可以传播到其他领域，包括计算机视觉，增强现实（AR），虚拟现实（VR）和人类计算机交互（HCI）。项目页面：https：//github.com/i-am-shreya/eyegazesurvey} {https://github.com/i-am-shreya/eyegazesurvey

对人类对象相互作用的理解在第一人称愿景（FPV）中至关重要。遵循相机佩戴者操纵的对象的视觉跟踪算法可以提供有效的信息，以有效地建模此类相互作用。在过去的几年中，计算机视觉社区已大大提高了各种目标对象和场景的跟踪算法的性能。尽管以前有几次尝试在FPV域中利用跟踪器，但仍缺少对最先进跟踪器的性能的有条理分析。这项研究差距提出了一个问题，即应使用当前的解决方案``现成''还是应进行更多特定领域的研究。本文旨在为此类问题提供答案。我们介绍了FPV中单个对象跟踪的首次系统研究。我们的研究广泛分析了42个算法的性能，包括通用对象跟踪器和基线FPV特定跟踪器。分析是通过关注FPV设置的不同方面，引入新的绩效指标以及与FPV特定任务有关的。这项研究是通过引入Trek-150（由150个密集注释的视频序列组成的新型基准数据集）来实现的。我们的结果表明，FPV中的对象跟踪对当前的视觉跟踪器构成了新的挑战。我们强调了导致这种行为的因素，并指出了可能的研究方向。尽管遇到了困难，但我们证明了跟踪器为需要短期对象跟踪的FPV下游任务带来好处。我们预计，随着新的和FPV特定的方法学会得到研究，通用对象跟踪将在FPV中受欢迎。

由于价格合理的可穿戴摄像头和大型注释数据集的可用性，在过去几年中，Egintric Vision（又名第一人称视觉-FPV）的应用程序在过去几年中蓬勃发展。可穿戴摄像机的位置（通常安装在头部上）允许准确记录摄像头佩戴者在其前面的摄像头，尤其是手和操纵物体。这种内在的优势可以从多个角度研究手：将手及其部分定位在图像中；了解双手涉及哪些行动和活动；并开发依靠手势的人类计算机界面。在这项调查中，我们回顾了使用以自我为中心的愿景专注于手的文献，将现有方法分类为：本地化（其中的手或部分在哪里？）；解释（手在做什么？）；和应用程序（例如，使用以上为中心的手提示解决特定问题的系统）。此外，还提供了带有手基注释的最突出的数据集的列表。

我们提出了一种新的四管齐下的方法，在文献中首次建立消防员的情境意识。我们构建了一系列深度学习框架，彼此之叠，以提高消防员在紧急首次响应设置中进行的救援任务的安全性，效率和成功完成。首先，我们使用深度卷积神经网络（CNN）系统，以实时地分类和识别来自热图像的感兴趣对象。接下来，我们将此CNN框架扩展了对象检测，跟踪，分割与掩码RCNN框架，以及具有多模级自然语言处理（NLP）框架的场景描述。第三，我们建立了一个深入的Q学习的代理，免受压力引起的迷失方向和焦虑，能够根据现场消防环境中观察和存储的事实来制定明确的导航决策。最后，我们使用了一种低计算无监督的学习技术，称为张量分解，在实时对异常检测进行有意义的特征提取。通过这些临时深度学习结构，我们建立了人工智能系统的骨干，用于消防员的情境意识。要将设计的系统带入消防员的使用，我们设计了一种物理结构，其中处理后的结果被用作创建增强现实的投入，这是一个能够建议他们所在地的消防员和周围的关键特征，这对救援操作至关重要在手头，以及路径规划功能，充当虚拟指南，以帮助迷彩的第一个响应者恢复安全。当组合时，这四种方法呈现了一种新颖的信息理解，转移和综合方法，这可能会大大提高消防员响应和功效，并降低寿命损失。

MetaVerse，巨大的虚拟物理网络空间，为艺术家带来了前所未有的机会，将我们的身体环境的每个角落与数字创造力混合。本文对计算艺术进行了全面的调查，其中七个关键主题与成权相关，描述了混合虚拟物理现实中的新颖艺术品。主题首先涵盖了MetaVerse的建筑元素，例如虚拟场景和字符，听觉，文本元素。接下来，已经反映了诸如沉浸式艺术，机器人艺术和其他用户以其他用户的方法提供了沉浸式艺术，机器人艺术和其他用户中心的若干非凡类型的新颖创作。最后，我们提出了几项研究议程：民主化的计算艺术，数字隐私和搬迁艺术家的安全性，为数字艺术品，技术挑战等等的所有权认可。该调查还担任艺术家和搬迁技术人员的介绍材料，以开始在超现实主义网络空间领域创造。

执行联合互动需要持续相互监测自己的动作及其对对方行为的影响。这种行动效应的监测受到社会提示的提高，并可能导致越来越多的代理意识。共同行动和联合注意力严格相关，两者都有助于形成精确的时间协调。在人类机器人的互动中，机器人能够与人类伴侣建立共同关注并利用各种社会提示进行反应的能力是创建交流机器人的关键步骤。沿着社会组成部分，可以将有效的人类机器人互动视为改进和使机器人的学习过程更自然和健壮的新方法。在这项工作中，我们使用不同的社交技能，例如相互视线，凝视跟随，言语和人的面部识别，以开发有效的教师学习者场景，适用于动态环境中的视觉对象学习。 ICUB机器人的实验表明，该系统允许机器人通过与人类老师的自然互动来学习新对象，并在存在分心者的情况下学习。

本文对人机对象切换的文献进行了调查。切换是一种协作的关节动作，其中代理人，给予者，给予对象给另一代理，接收器。当接收器首先与给予者持有的对象并结束时，当给予者完全将物体释放到接收器时，物理交换开始。然而，重要的认知和物理过程在物理交换之前开始，包括在交换的位置和时间内启动隐含协议。从这个角度来看，我们将审核构成了上述事件界定的两个主要阶段：1）预切换阶段和2）物理交流。我们专注于两位演员（Giver和Receiver）的分析，并报告机器人推动者（机器人到人类切换）和机器人接收器（人到机器人切换）的状态。我们举报了常用于评估互动的全面的定性和定量度量列表。虽然将我们的认知水平（例如，预测，感知，运动规划，学习）和物理水平（例如，运动，抓握，抓取释放）的审查重点，但我们简要讨论了安全的概念，社会背景，和人体工程学。我们将在人对人物助手中显示的行为与机器人助手的最新进行比较，并确定机器人助剂的主要改善领域，以达到与人类相互作用相当的性能。最后，我们提出了一种应使用的最小度量标准，以便在方法之间进行公平比较。

对医疗保健监控的远程工具的需求从未如此明显。摄像机测量生命体征利用成像装置通过分析人体的图像来计算生理变化。建立光学，机器学习，计算机视觉和医学的进步这些技术以来的数码相机的发明以来已经显着进展。本文介绍了对生理生命体征的相机测量综合调查，描述了它们可以测量的重要标志和实现所做的计算技术。我涵盖了临床和非临床应用以及这些应用需要克服的挑战，以便从概念上推进。最后，我描述了对研究社区可用的当前资源（数据集和代码），并提供了一个全面的网页（https://cameravitals.github.io/），其中包含这些资源的链接以及其中引用的所有文件的分类列表文章。

在这项工作中，我们通过混合现实（MR）应用中的视频传球来探讨自幻想的创建。我们介绍了我们的端到端系统，包括：在商业头部安装显示器（HMD）上进行自定义MR视频通行证实现，我们基于深度学习的实时egpocentric身体细分算法以及我们优化的卸载体系结构，以交流使用HMD分割服务器。为了验证这项技术，我们设计了一种身临其境的VR体验，用户必须在活跃的火山火山口中穿过狭窄的瓷砖路径。这项研究是在三个身体表示条件下进行的：虚拟手，带有颜色的全身分割的视频传递以及深度学习全身分割的视频通行。这种身临其境的经历由30名女性和28名男性进行。据我们所知，这是首次旨在评估基于视频的自我avatar的用户研究，以代表用户在MR场景中。结果表明，不同身体表示在存在方面没有显着差异，虚拟手和全身表示之间的某些实施方案中等改善。视觉质量结果表明，就整个身体感知和整体分割质量而言，深入学习算法的结果更好。我们提供了一些关于使用基于视频的自我幻想的讨论，以及对评估方法的一些思考。提出的E2E解决方案处于最新技术状态的边界，因此在达到成熟之前仍有改进的空间。但是，该溶液是新型MR分布式溶液的关键起点。

由于Covid-19大流行，机器人可以被视为任务中的潜在资源，如帮助人们从远程工作，维持社会疏散和改善精神或身体健康。为了提高人机互动，通过在复杂的真实环境中处理多个社会线索，机器人必须变得更加社交。我们的研究采用了凝视触发的视听跨透视整合的神经毒性范例，使ICUB机器人表达人类的社会关注反应。起初，在37名人体参与者进行行为实验。为了提高生态有效性，设计了一个具有三个蒙面动画头像的圆桌会议场景，其中包括能够进行凝视偏移的中间的一个，以及能够产生声音的其他两个。凝视方向和声音位置是一致或不一致的。掩模用于覆盖除了头像之外的所有面部视觉线索。我们观察到，阿凡达的目光可以在视听通道条件下具有更好的人类性能来引发跨型社会关注，而不是在不一致状态。然后，我们的计算模型，喘气，培训，以实现社会提示检测，视听显着性预测和选择性关注。在完成模型培训之后，ICUB机器人被暴露于与人类参与者相似的实验室条件，表明它可以将类似的关注响应作为人类的同时性和不协调性表现进行复制，而人类表现仍然优越。因此，这种跨学科工作提供了对跨型社会关注机制的新见解以及如何在复杂环境中为机器人建模的机制。

通过智能连接设备，技术正在逐步重塑国内环境，提高家庭安全和整体环境质量。然而，人口转移和流行病最近展示导致他们房屋中的老年人隔离，产生了可靠的辅助人物的需求。机器人助理是国内福利创新的新前沿。老年人监测只是一个可能的服务应用之一，智能机器人平台可以处理集体福祉。在本文中，我们展示了一个新的辅助机器人，我们通过模块化的基于层的架构开发，使灵活的机械设计与最先进的人工智能进行了灵活的人工智能，以便感知和声音控制。关于以前的机器人助手的作品，我们提出了一个设置有四个麦粉轮的全向平台，这使得自主导航与杂乱环境中的有效障碍物避免。此外，我们设计可控定位装置，以扩展传感器的视觉范围，并改善对用户界面的访问以进行远程呈现和连接。轻量级深度学习解决方案，用于视觉感知，人员姿势分类和声乐命令完全运行机器人的嵌入式硬件，避免了云服务私有数据收集产生的隐私问题。

我们提出了一条多阶段管道，用于简单的手势识别。我们方法的新颖性是不同技术的关联，截至目前，第一个实时系统可以共同提取骨骼并在胡椒机器人上识别手势。为此，Pepper用嵌入式GPU进行了增强，用于运行Deep CNN和鱼眼相机，以捕捉整个场景的互动。我们在本文中表明，实际场景具有挑战性，而最先进的方法几乎不涉及未知的人类手势。我们在这里提出一种处理此类案件的方法。

Video, as a key driver in the global explosion of digital information, can create tremendous benefits for human society. Governments and enterprises are deploying innumerable cameras for a variety of applications, e.g., law enforcement, emergency management, traffic control, and security surveillance, all facilitated by video analytics (VA). This trend is spurred by the rapid advancement of deep learning (DL), which enables more precise models for object classification, detection, and tracking. Meanwhile, with the proliferation of Internet-connected devices, massive amounts of data are generated daily, overwhelming the cloud. Edge computing, an emerging paradigm that moves workloads and services from the network core to the network edge, has been widely recognized as a promising solution. The resulting new intersection, edge video analytics (EVA), begins to attract widespread attention. Nevertheless, only a few loosely-related surveys exist on this topic. A dedicated venue for collecting and summarizing the latest advances of EVA is highly desired by the community. Besides, the basic concepts of EVA (e.g., definition, architectures, etc.) are ambiguous and neglected by these surveys due to the rapid development of this domain. A thorough clarification is needed to facilitate a consensus on these concepts. To fill in these gaps, we conduct a comprehensive survey of the recent efforts on EVA. In this paper, we first review the fundamentals of edge computing, followed by an overview of VA. The EVA system and its enabling techniques are discussed next. In addition, we introduce prevalent frameworks and datasets to aid future researchers in the development of EVA systems. Finally, we discuss existing challenges and foresee future research directions. We believe this survey will help readers comprehend the relationship between VA and edge computing, and spark new ideas on EVA.

人类的物体感知能力令人印象深刻，当试图开发具有类似机器人的解决方案时，这变得更加明显。从人类如何将视觉和触觉用于对象感知和相关任务的灵感中，本文总结了机器人应用的多模式对象感知的当前状态。它涵盖了生物学灵感，传感器技术，数据集以及用于对象识别和掌握的感觉数据处理的各个方面。首先，概述了多模式对象感知的生物学基础。然后讨论了传感技术和数据收集策略。接下来，介绍了主要计算方面的介绍，突出显示了每个主要应用领域的一些代表性文章，包括对象识别，传输学习以及对象操纵和掌握。最后，在每个领域的当前进步中，本文概述了有希望的新研究指示。