使用诸如嵌入惯性测量单元（IMU）传感器的可穿戴设备（如智能手表）的人类活动识别（Har）具有与我们日常生活相关的各种应用，例如锻炼跟踪和健康监控。在本文中，我们使用在不同身体位置佩戴的多个IMU传感器提出了一种基于人类活动识别的新颖性方法。首先，设计传感器设计特征提取模块以提取具有卷积神经网络（CNNS）的各个传感器的最辨别特征。其次，开发了一种基于注意的融合机制，以了解不同车身位置处的传感器的重要性，并产生细节特征表示。最后，应用传感器间特征提取模块来学习与分类器连接的传感器间相关性以输出预测的活动。所提出的方法是使用五个公共数据集进行评估，并且在各种活动类别上优于最先进的方法。

Wearable sensor-based human activity recognition (HAR) has emerged as a principal research area and is utilized in a variety of applications. Recently, deep learning-based methods have achieved significant improvement in the HAR field with the development of human-computer interaction applications. However, they are limited to operating in a local neighborhood in the process of a standard convolution neural network, and correlations between different sensors on body positions are ignored. In addition, they still face significant challenging problems with performance degradation due to large gaps in the distribution of training and test data, and behavioral differences between subjects. In this work, we propose a novel Transformer-based Adversarial learning framework for human activity recognition using wearable sensors via Self-KnowledgE Distillation (TASKED), that accounts for individual sensor orientations and spatial and temporal features. The proposed method is capable of learning cross-domain embedding feature representations from multiple subjects datasets using adversarial learning and the maximum mean discrepancy (MMD) regularization to align the data distribution over multiple domains. In the proposed method, we adopt the teacher-free self-knowledge distillation to improve the stability of the training procedure and the performance of human activity recognition. Experimental results show that TASKED not only outperforms state-of-the-art methods on the four real-world public HAR datasets (alone or combined) but also improves the subject generalization effectively.

睡眠是一种基本的生理过程，对于维持健康的身心至关重要。临床睡眠监测的黄金标准是多核桃摄影（PSG），基于哪个睡眠可以分为五个阶段，包括尾脉冲睡眠（REM睡眠）/非REM睡眠1（N1）/非REM睡眠2 （n2）/非REM睡眠3（n3）。然而，PSG昂贵，繁重，不适合日常使用。对于长期睡眠监测，无处不在的感测可以是解决方案。最近，心脏和运动感测在分类三阶段睡眠方面变得流行，因为两种方式都可以从研究级或消费者级设备中获得（例如，Apple Watch）。但是，为最大准确性融合数据的最佳仍然是一个打开的问题。在这项工作中，我们综合地研究了深度学习（DL）的高级融合技术，包括三种融合策略，三个融合方法以及三级睡眠分类，基于两个公共数据集。实验结果表明，通过融合心脏/运动传感方式可以可靠地分类三阶段睡眠，这可能成为在睡眠中进行大规模睡眠阶段评估研究或长期自动跟踪的实用工具。为了加快普遍存在/可穿戴计算社区的睡眠研究的进展，我们制作了该项目开源，可以在：https://github.com/bzhai/ubi-sleepnet找到代码。

Human Activity Recognition (HAR) using on-body devices identifies specific human actions in unconstrained environments. HAR is challenging due to the inter and intra-variance of human movements; moreover, annotated datasets from on-body devices are scarce. This problem is mainly due to the difficulty of data creation, i.e., recording, expensive annotation, and lack of standard definitions of human activities. Previous works demonstrated that transfer learning is a good strategy for addressing scenarios with scarce data. However, the scarcity of annotated on-body device datasets remains. This paper proposes using datasets intended for human-pose estimation as a source for transfer learning; specifically, it deploys sequences of annotated pixel coordinates of human joints from video datasets for HAR and human pose estimation. We pre-train a deep architecture on four benchmark video-based source datasets. Finally, an evaluation is carried out on three on-body device datasets improving HAR performance.

移动设备上的人类活动识别（HAR）已证明可以通过从用户的惯性测量单元（IMU）生成的数据中学到的轻量级神经模型来实现。基于Instanced HAR的大多数方法都使用卷积神经网络（CNN），长期记忆（LSTMS）或两者组合以实现实时性能来实现最新结果。最近，在语言处理域中，然后在视觉域中的变形金刚体系结构进一步推动了对古典体系结构的最先进。但是，这种变形金刚在计算资源中是重量级的，它不适合在Pervasive Computing域中找到HAR的嵌入式应用程序。在这项研究中，我们提出了人类活动识别变压器（HART），这是一种轻巧的，传感器的变压器结构，已专门适用于嵌入移动设备上的IMU的域。我们对HAR任务的实验具有几个公开可用的数据集，表明HART使用较少的每秒浮点操作（FLOPS）和参数，同时超过了当前的最新结果。此外，我们在各种体系结构中对它们在异质环境中的性能进行了评估，并表明我们的模型可以更好地推广到不同的感应设备或体内位置。

通过可穿戴设备的人类活动识别（HAR）由于其在健身跟踪，健康筛查和支持生活中的众多应用而引起了极大的兴趣。结果，我们在这一领域看到了很多工作。传统的深度学习（DL）为HAR域设定了最先进的表现。但是，它忽略了数据的结构和连续时间邮票之间的关联。为了解决此约束，我们提供了一种基于图形神经网络（GNN）的方法，用于构建输入表示并利用样本之间的关系。但是，即使使用简单的图形卷积网络消除了这一短缺，仍然存在几个限制因素，例如类间活动问题，偏斜的课堂分布以及缺乏对传感器数据优先级的考虑，所有这些都伤害了HAR HAR模型的性能。为了提高当前的HAR模型的性能，我们研究了图形结构框架内的新型可能性，以实现高度歧视和丰富的活动特征。我们为（1）时间序列模块提出了一个模型，该模型将原始数据从HAR数据集转换为图形； （2）图形卷积神经网络（GCN），发现相邻节点之间的局部依赖性和相关性； （3）自我发挥的GNN编码器以识别传感器的交互和数据优先级。据我们所知，这是HAR的第一部作品，它引入了一种基于GNN的方法，该方法既包含GCN和注意力机制。通过采用统一的评估方法，我们的框架显着提高了医院患者活动数据集的性能，该数据集相对考虑了其他最先进的基线方法。

在情感计算领域的基于生理信号的情感识别，已经支付了相当大的关注。对于可靠性和用户友好的采集，电卸电子活动（EDA）在实际应用中具有很大的优势。然而，基于EDA的情感识别与数百个科目仍然缺乏有效的解决方案。在本文中，我们的工作试图融合主题的各个EDA功能和外部诱发的音乐功能。我们提出了端到端的多模式框架，1维剩余时间和通道注意网络（RTCAN-1D）。对于EDA特征，基于新型的基于凸优化的EDA（CVXEDA）方法被应用于将EDA信号分解为PAHSIC和TONC信号，以进行动态和稳定的功能。首先涉及基于EDA的情感识别的渠道时间关注机制，以改善时间和渠道明智的表示。对于音乐功能，我们将音乐信号与开源工具包opensmile处理，以获取外部特征向量。来自EDA信号和来自音乐的外部情绪基准的个体情感特征在分类层中融合。我们对三个多模式数据集（PMEMO，DEAP，AMIGOS）进行了系统的比较，适用于2级薪酬/唤醒情感识别。我们提出的RTCAN-1D优于现有的最先进的模型，这也验证了我们的工作为大规模情感认可提供了可靠和有效的解决方案。我们的代码已在https://github.com/guanghaoyin/rtcan-1发布。

作为人类识别的重要生物标志物，可以通过被动传感器在没有主题合作的情况下以远距离收集人步态，这在预防犯罪，安全检测和其他人类识别应用中起着至关重要的作用。目前，大多数研究工作都是基于相机和计算机视觉技术来执行步态识别的。但是，在面对不良的照明时，基于视觉的方法并不可靠，导致性能降解。在本文中，我们提出了一种新型的多模式步态识别方法，即gaitfi，该方法利用WiFi信号和视频进行人类识别。在GAITFI中，收集了反映WiFi多路径传播的通道状态信息（CSI），以捕获人体步态，而视频则由相机捕获。为了了解强大的步态信息，我们建议使用轻量级残留卷积网络（LRCN）作为骨干网络，并通过集成WiFi和Vision功能来进一步提出两流性gaitfi，以进行步态检索任务。通过在不同级别的特征上的三胞胎损失和分类损失进行训练。广泛的实验是在现实世界中进行的，该实验表明，基于单个WiFi或摄像机的GAITFI优于最先进的步态识别方法，对于12个受试者的人类识别任务而达到94.2％。

最近，数据驱动的惯性导航方法已经证明了它们使用训练有素的神经网络的能力，以获得来自惯性测量单元（IMU）测量的精确位置估计。在本文中，我们提出了一种用于惯性导航〜（CTIN）的基于鲁棒的基于变压器的网络，以准确地预测速度和轨迹。为此，我们首先通过本地和全局多头自我注意力增强基于Reset的编码器，以捕获来自IMU测量的空间上下文信息。然后，我们通过在变压器解码器中利用多针头注意，使用时间知识来熔化这些空间表示。最后，利用不确定性减少的多任务学习，以提高速度和轨迹的学习效率和预测准确性。通过广泛的实验在各种惯性数据集中〜（例如，ridi，oxiod，ronin，偶像和我们自己的），CTIN非常坚固，优于最先进的模型。

人类活动识别（HAR）是一项机器学习任务，在包括医疗保健在内的许多领域中进行了应用，但事实证明这是一个具有挑战性的研究问题。在医疗保健中，它主要用作老年护理的辅助技术，通常与其他相关技术（例如物联网）一起使用，因为可以在智能手机，可穿戴设备，环境环境等物联网设备的帮助下实现HAR和体内传感器。在集中式和联合环境中，已将卷积神经网络（CNN）和经常性神经网络（RNN）等深神网络技术（CNN）和复发性神经网络（RNN）用于HAR。但是，这些技术有一定的局限性：RNN不能轻易平行，CNN具有序列长度的限制，并且两者在计算上都很昂贵。此外，在面对诸如医疗保健等敏感应用程序时，集中式方法存在隐私问题。在本文中，为了解决HAR面临的一些现有挑战，我们根据惯性传感器提出了一种新颖的单块变压器，可以将RNN和CNN的优势结合在一起而无需其主要限制。我们设计了一个测试床来收集实时人类活动数据，并使用数据来训练和测试拟议的基于变压器的HAR分类器。我们还建议转移：使用拟议的变压器解决隐私问题的基于联合学习的HAR分类器。实验结果表明，在联合和集中设置中，该提出的解决方案优于基于CNN和RNN的最先进的HAR分类器。此外，拟议的HAR分类器在计算上是便宜的，因为它使用的参数少于现有的CNN/RNN分类器。

在本文中，我们报告了使用运动传感器对复杂人类活动分类的分层深度学习模型。与用于基于事件的活动识别的传统人类活动识别（HAR）模型相反，例如阶跃计数，秋季检测和手势识别，这种新的深度学习模型，我们称为魅力（复杂的人类活动识别模型） ，旨在识别高级人类活动，这些活动由非确定性序列中的多个不同的低级活动组成，例如餐食准备，家务和日常工作。魅力不仅优于最先进的监督学习方法，以平均准确性和F1分数来识别高级活动的识别，而且还自动学习识别低级活动，例如操纵手势和运动模式，没有此类活动的任何明确标签。这为使用可穿戴的传感器开辟了新的人机互动（HMI）方式的新途径，用户可以选择将自动化任务与高级活动相关联，例如控制家庭自动化（例如机器人真空吸尘器，灯光，灯光和恒温器）或在正确的时间介绍上下文相关信息（例如，提醒，状态更新和天气/新闻报道）。此外，仅使用高级活动标签进行培训时，学习低级用户活动的能力可能会为半监督的学习HAR任务铺平道路。

人类相互作用的分析是人类运动分析的一个重要研究主题。它已经使用第一人称视觉（FPV）或第三人称视觉（TPV）进行了研究。但是，到目前为止，两种视野的联合学习几乎没有引起关注。原因之一是缺乏涵盖FPV和TPV的合适数据集。此外，FPV或TPV的现有基准数据集具有多个限制，包括样本数量有限，参与者，交互类别和模态。在这项工作中，我们贡献了一个大规模的人类交互数据集，即FT-HID数据集。 FT-HID包含第一人称和第三人称愿景的成对对齐的样本。该数据集是从109个不同受试者中收集的，并具有三种模式的90K样品。该数据集已通过使用几种现有的动作识别方法验证。此外，我们还引入了一种新型的骨骼序列的多视图交互机制，以及针对第一人称和第三人称视野的联合学习多流框架。两种方法都在FT-HID数据集上产生有希望的结果。可以预期，这一视力一致的大规模数据集的引入将促进FPV和TPV的发展，以及他们用于人类行动分析的联合学习技术。该数据集和代码可在\ href {https://github.com/endlichere/ft-hid} {here} {herefichub.com/endlichere.com/endlichere}中获得。

自我监督学习（SSL）是一个新的范式，用于学习判别性表示没有标记的数据，并且与受监督的对手相比，已经达到了可比甚至最新的结果。对比度学习（CL）是SSL中最著名的方法之一，试图学习一般性的信息表示数据。 CL方法主要是针对仅使用单个传感器模态的计算机视觉和自然语言处理应用程序开发的。但是，大多数普遍的计算应用程序都从各种不同的传感器模式中利用数据。虽然现有的CL方法仅限于从一个或两个数据源学习，但我们提出了可可（Crockoa）（交叉模态对比度学习），这是一种自我监督的模型，该模型采用新颖的目标函数来通过计算多功能器数据来学习质量表示形式不同的数据方式，并最大程度地减少了无关实例之间的相似性。我们评估可可对八个最近引入最先进的自我监督模型的有效性，以及五个公共数据集中的两个受监督的基线。我们表明，可可与所有其他方法相比，可可的分类表现出色。同样，可可比其他可用标记数据的十分之一的基线（包括完全监督的模型）的标签高得多。

被动射频（RF）感测和对老年护理房屋的人类日常活动监测是一个新兴的话题。微多普勒雷达是一种吸引人的解决方案，考虑到它们的非侵入性，深渗透和高距离范围。尽管在真实情景中未标记或较差的活动的情况下，但是使用多普勒雷达数据的无监督活动识别尚未得到注意。本研究提出了使用多普勒流的人类活动监测的两个无监督特征提取方法。这些包括基于局部离散余弦变换（DCT）的特征提取方法和基于局部熵的特征提取方法。此外，对于多普勒雷达数据，首次采用了卷积变分性自动化器（CVAE）特征提取的新应用。将三种特征提取架构与先前使用的卷积AutoEncoder（CAE）和基于主成分分析（PCA）和2DPCA的线性特征提取进行比较。使用K-Means和K-METOIDS进行无监督的聚类。结果表明，与CAE，PCA和2DPCA相比，基于DCT的方法，基于熵的方法和CVAE特征的优越性，具有超过5 \％-20 \％的平均精度。关于计算时间，两个提出的方法明显比现有的CVAE快得多。此外，对于高维数据可视化，考虑了三种歧管学习技术。比较方法，以对原始数据的投影以及编码的CVAE特征进行比较。当应用于编码的CVAE特征时，所有三种方法都显示出改善的可视化能力。

Health sensing for chronic disease management creates immense benefits for social welfare. Existing health sensing studies primarily focus on the prediction of physical chronic diseases. Depression, a widespread complication of chronic diseases, is however understudied. We draw on the medical literature to support depression prediction using motion sensor data. To connect human expertise in the decision-making, safeguard trust for this high-stake prediction, and ensure algorithm transparency, we develop an interpretable deep learning model: Temporal Prototype Network (TempPNet). TempPNet is built upon the emergent prototype learning models. To accommodate the temporal characteristic of sensor data and the progressive property of depression, TempPNet differs from existing prototype learning models in its capability of capturing the temporal progression of depression. Extensive empirical analyses using real-world motion sensor data show that TempPNet outperforms state-of-the-art benchmarks in depression prediction. Moreover, TempPNet interprets its predictions by visualizing the temporal progression of depression and its corresponding symptoms detected from sensor data. We further conduct a user study to demonstrate its superiority over the benchmarks in interpretability. This study offers an algorithmic solution for impactful social good - collaborative care of chronic diseases and depression in health sensing. Methodologically, it contributes to extant literature with a novel interpretable deep learning model for depression prediction from sensor data. Patients, doctors, and caregivers can deploy our model on mobile devices to monitor patients' depression risks in real-time. Our model's interpretability also allows human experts to participate in the decision-making by reviewing the interpretation of prediction outcomes and making informed interventions.

在脑电图（EEG）的驾驶员的背景下，设计无校准系统仍然具有挑战性，因为EEG信号在不同的主题和录音会话之间显着变化。已经努力使用EEG信号的深度学习方法来利用精神状态识别。然而，现有工作主要将深入学习模型视为黑匣子分类器，而模型已经学习的是什么以及它们在脑电图数据中受到噪声的影响仍然是曝光的。在本文中，我们开发了一种新颖的卷积神经网络，可以通过突出显示包含分类重要信息的输入样本的本地区域来解释其决定。该网络具有紧凑的结构，利用可分离卷曲来处理空间序列中的EEG信号。结果表明，该模型在11个受试者上实现了78.35％的平均准确性，用于休假交叉对象嗜睡识别，其高于传统的基线方法为53.4％-72.68％和最先进的深层学习方法63.90％-65.78％。可视化结果表明，该模型已经学会了识别EEG信号的生物学可解释的特征，例如，α主轴，作为不同受试者的嗜睡的强指标。此外，我们还探讨了一些错误分类的样本背后的原因，具有可视化技术，并讨论了提高识别准确性的潜在方法。我们的作品说明了使用可解释的深度学习模型的有希望的方向，以从复杂的EEG信号发现与不同心理状态相关的有意义的模式。

步态情绪识别在智能系统中起着至关重要的作用。大多数现有方法通过随着时间的推移专注于当地行动来识别情绪。但是，他们忽略了时间域中不同情绪的有效距离是不同的，而且步行过程中的当地行动非常相似。因此，情绪应由全球状态而不是间接的本地行动代表。为了解决这些问题，这项工作通过构建动态的时间接受场并设计多尺度信息聚集以识别情绪，从而在这项工作中介绍了新型的多量表自适应图卷积网络（MSA-GCN）。在我们的模型中，自适应选择性时空图卷积旨在动态选择卷积内核，以获得不同情绪的软时空特征。此外，跨尺度映射融合机制（CSFM）旨在构建自适应邻接矩阵，以增强信息相互作用并降低冗余。与以前的最先进方法相比，所提出的方法在两个公共数据集上实现了最佳性能，将地图提高了2 \％。我们还进行了广泛的消融研究，以显示不同组件在我们的方法中的有效性。

人类身份是对日常生活中许多应用的关键要求，例如个性化服务，自动监视，连续身份验证和大流行期间的接触跟踪等。这项工作研究了跨模式人类重新识别（REID）的问题，对跨摄像机允许区域（例如街道）和摄像头限制区域（例如办公室）的常规人类运动的反应。通过利用新出现的低成本RGB-D摄像机和MMWave雷达，我们提出了同时跨模式多人REID的首个视觉RF系统。首先，为了解决基本模式间差异，我们提出了一种基于人体观察到的镜面反射模型的新型签名合成算法。其次，引入了有效的跨模式深度度量学习模型，以应对在雷达和相机之间由非同步数据引起的干扰。通过在室内和室外环境中进行的广泛实验，我们证明了我们所提出的系统能够达到约92.5％的TOP-1准确性，而在56名志愿者中，〜97.5％的前5位精度。我们还表明，即使传感器的视野中存在多个主题，我们提出的系统也能够重新识别受试者。

在不同的运动模式之间切换（例如，楼梯上升/下降，坡道上升/下降）时，动力的假肢腿必须预见用户的意图。许多数据驱动的分类技术已经证明了预测用户意图的有希望的结果，但是这些意图预测模型对新主题的表现仍然不受欢迎。在其他域（例如，图像分类）中，通过从大型数据集（即预训练的模型）中使用先前学习的功能，然后将此学模型转移到可用的新任务中，可以提高转移学习的精度。在本文中，我们开发了一个基于人类运动数据集的内部受试者（受试者）和主体间（主体独立）验证的深卷卷神经网络。然后，我们使用剩下的主题中的一小部分（10％）将转移学习应用于主题独立的模型。我们比较了这三个模型的性能。我们的结果表明，转移学习（TL）模型的表现优于主题无关（IND）模型，并且与主题依赖性（DEP）模型（DEP错误：0.74 $ \ pm $ 0.002％，IND错误：11.59 $ \ \ PM $ 0.076％，TL错误：3.57 $ \ pm $ 0.02％，有10％的数据）。此外，正如预期的那样，随着剩余主题的更多数据的可用性，转移学习精度会提高。我们还通过各种传感器配置评估了意图预测系统的性能，这些传感器配置可能会在假肢应用程序中可用。我们的结果表明，假体的大腿IMU足以预测实践中的运动意图。

人类行动识别是计算机视觉中的重要应用领域。它的主要目的是准确地描述人类的行为及其相互作用，从传感器获得的先前看不见的数据序列中。识别，理解和预测复杂人类行动的能力能够构建许多重要的应用，例如智能监视系统，人力计算机界面，医疗保健，安全和军事应用。近年来，计算机视觉社区特别关注深度学习。本文使用深度学习技术的视频分析概述了当前的动作识别最新识别。我们提出了识别人类行为的最重要的深度学习模型，并分析它们，以提供用于解决人类行动识别问题的深度学习算法的当前进展，以突出其优势和缺点。基于文献中报道的识别精度的定量分析，我们的研究确定了动作识别中最新的深层体系结构，然后为该领域的未来工作提供当前的趋势和开放问题。