基于深度学习的人类识别的雷达已成为越来越兴趣的研究领域。已经表明，Micro Doppler（$ \ MU $ -D）可以通过捕获周期性的肢体微光来反映步行行为。主要方面之一是在考虑实时和培训数据集大小约束时最大化随附的类的数量。在本文中，使用多输入 - 多数输出（MIMO）雷达来制定高程角速度的微动光谱图（$ \ mu $ - $ \ $ \ omega $）。研究了将这种新型频谱图与常用$ \ mu $ -d连接的有效性。为了适应无约束的实际步行运动，使用自适应周期分割框架，并在半步态周期（$ \ $ \ $ 0.5 s）上训练了公制学习网络。研究了各种类级别（5--20），不同数据集大小和不同观察时间Windows 1--2 s的影响的研究。相对于雷达，收集了22名受试者的无约束步行数据集。拟议的几次学习（FSL）方法的分类误差为11.3％，每个受试者只有2分钟的培训数据。

人类的活动识别在医学和监视领域具有重要意义。基于捕获的微多普勒（{\ mu} -d）签名，雷达对该字段表示了很大的可行性。在本文中，MIMO雷达用于制定用于非切向方案中的角速度（{\ mu} - {\ omega}）的新型微动谱图。组合{\ mu} -d和{\ mu} - {\ omega}签名表现出更好的性能。基于公制学习方法实现了88.9％的分类准确性。实验设置旨在捕获不同方面角度和视线（LOS）上的微观运动签名。与最先进的技术相比，利用的训练数据集具有较小的尺寸，其中捕获了八项活动。几次拍摄的学习方法用于调整预训练模型进行崩溃检测。最终模型显示了十项活动的分类准确性为86.42％。

人类身份是对日常生活中许多应用的关键要求，例如个性化服务，自动监视，连续身份验证和大流行期间的接触跟踪等。这项工作研究了跨模式人类重新识别（REID）的问题，对跨摄像机允许区域（例如街道）和摄像头限制区域（例如办公室）的常规人类运动的反应。通过利用新出现的低成本RGB-D摄像机和MMWave雷达，我们提出了同时跨模式多人REID的首个视觉RF系统。首先，为了解决基本模式间差异，我们提出了一种基于人体观察到的镜面反射模型的新型签名合成算法。其次，引入了有效的跨模式深度度量学习模型，以应对在雷达和相机之间由非同步数据引起的干扰。通过在室内和室外环境中进行的广泛实验，我们证明了我们所提出的系统能够达到约92.5％的TOP-1准确性，而在56名志愿者中，〜97.5％的前5位精度。我们还表明，即使传感器的视野中存在多个主题，我们提出的系统也能够重新识别受试者。

低成本毫米波（MMWAVE）通信和雷达设备的商业可用性开始提高消费市场中这种技术的渗透，为第五代（5G）的大规模和致密的部署铺平了道路（5G） - 而且以及6G网络。同时，普遍存在MMWAVE访问将使设备定位和无设备的感测，以前所未有的精度，特别是对于Sub-6 GHz商业级设备。本文使用MMWAVE通信和雷达设备在基于设备的定位和无设备感应中进行了现有技术的调查，重点是室内部署。我们首先概述关于MMWAVE信号传播和系统设计的关键概念。然后，我们提供了MMWaves启用的本地化和感应方法和算法的详细说明。我们考虑了在我们的分析中的几个方面，包括每个工作的主要目标，技术和性能，每个研究是否达到了一定程度的实现，并且该硬件平台用于此目的。我们通过讨论消费者级设备的更好算法，密集部署的数据融合方法以及机器学习方法的受过教育应用是有前途，相关和及时的研究方向的结论。

社会偏移和温度筛选已被广泛用于抵消Covid-19大流行，从全世界的学术界，工业和公共主管部门引发极大的兴趣。虽然大多数解决方案分别处理了这些方面，但它们的组合将极大地利用对公共空间的持续监测，并有助于触发有效的对策。这项工作介绍了毫米杀虫雷达和红外成像传感系统，在室内空间中进行了不引人注目的和隐私，在室内空间中进行了不显眼和隐私。 Millitrace-IR通过强大的传感器融合方法，MM波雷达和红外热摄像机结合。它通过在热摄像机图像平面和雷达参考系统中的人体运动中共同跟踪受试者的面，实现了偏移和体温的完全自动测量。此外，毫米itrace-IR执行接触跟踪：热相机传感器可靠地检测体温高的人，随后通过雷达以非侵入方式追踪大型室内区域。进入新房间时，通过深神经网络从雷达反射计算与雷达反射的步态相关的特征，并使用加权的极端学习机作为最终重新识别工具，在其他人之间重新识别一个主题。从实际实施中获得的实验结果，从毫米 - IR的实际实施中展示了距离/轨迹估计的排入量级精度，个人间距离估计（对受试者接近0.2米的受试者有效），以及精确的温度监测（最大误差0.5 {\ deg} c）。此外，毫米itrace-IR通过高精度（95％）的人重新识别，在不到20秒内提供接触跟踪。

人的步态被认为是一种独特的生物识别标识符，其可以在距离处以覆盖方式获取。但是，在受控场景中捕获的现有公共领域步态数据集接受的模型导致应用于现实世界无约束步态数据时的剧烈性能下降。另一方面，视频人员重新识别技术在大规模公共可用数据集中实现了有希望的性能。鉴于服装特性的多样性，衣物提示对于人们的认可不可靠。因此，实际上尚不清楚为什么最先进的人重新识别方法以及他们的工作。在本文中，我们通过从现有的视频人重新识别挑战中提取剪影来构建一个新的步态数据集，该挑战包括1,404人以不受约束的方式行走。基于该数据集，可以进行步态认可与人重新识别之间的一致和比较研究。鉴于我们的实验结果表明，目前在受控情景收集的数据下设计的目前的步态识别方法不适合真实监视情景，我们提出了一种名为Realgait的新型步态识别方法。我们的结果表明，在实际监视情景中识别人的步态是可行的，并且潜在的步态模式可能是视频人重新设计在实践中的真正原因。

作为人类识别的重要生物标志物，可以通过被动传感器在没有主题合作的情况下以远距离收集人步态，这在预防犯罪，安全检测和其他人类识别应用中起着至关重要的作用。目前，大多数研究工作都是基于相机和计算机视觉技术来执行步态识别的。但是，在面对不良的照明时，基于视觉的方法并不可靠，导致性能降解。在本文中，我们提出了一种新型的多模式步态识别方法，即gaitfi，该方法利用WiFi信号和视频进行人类识别。在GAITFI中，收集了反映WiFi多路径传播的通道状态信息（CSI），以捕获人体步态，而视频则由相机捕获。为了了解强大的步态信息，我们建议使用轻量级残留卷积网络（LRCN）作为骨干网络，并通过集成WiFi和Vision功能来进一步提出两流性gaitfi，以进行步态检索任务。通过在不同级别的特征上的三胞胎损失和分类损失进行训练。广泛的实验是在现实世界中进行的，该实验表明，基于单个WiFi或摄像机的GAITFI优于最先进的步态识别方法，对于12个受试者的人类识别任务而达到94.2％。

In this article we present SHARP, an original approach for obtaining human activity recognition (HAR) through the use of commercial IEEE 802.11 (Wi-Fi) devices. SHARP grants the possibility to discern the activities of different persons, across different time-spans and environments. To achieve this, we devise a new technique to clean and process the channel frequency response (CFR) phase of the Wi-Fi channel, obtaining an estimate of the Doppler shift at a radio monitor device. The Doppler shift reveals the presence of moving scatterers in the environment, while not being affected by (environment-specific) static objects. SHARP is trained on data collected as a person performs seven different activities in a single environment. It is then tested on different setups, to assess its performance as the person, the day and/or the environment change with respect to those considered at training time. In the worst-case scenario, it reaches an average accuracy higher than 95%, validating the effectiveness of the extracted Doppler information, used in conjunction with a learning algorithm based on a neural network, in recognizing human activities in a subject and environment independent way. The collected CFR dataset and the code are publicly available for replicability and benchmarking purposes.

步态识别是从步行或跑步等两足动力中识别人类的过程。因此，步态数据是隐私敏感信息，应在可能的情况下匿名化。随着高质量步态记录技术的兴起，例如深度摄像头或运动捕获西服，捕获和处理越来越多的详细步态数据。 Metaverse的介绍和崛起只是一种流行的应用程序场景，在该方案中，用户步态被转移到数字化头像上。作为开发高质量步态数据有效匿名技术的第一步，我们研究了运动数据的不同方面，以量化其对步态识别的贡献。我们首先从有关人步态感知的文献中提取特征类别，然后为每个类别设计实验，以评估它们所包含的信息有助于识别成功。我们的结果表明，步态匿名化将具有挑战性，因为数据是高度冗余和相互依存的。

被动射频（RF）感测和对老年护理房屋的人类日常活动监测是一个新兴的话题。微多普勒雷达是一种吸引人的解决方案，考虑到它们的非侵入性，深渗透和高距离范围。尽管在真实情景中未标记或较差的活动的情况下，但是使用多普勒雷达数据的无监督活动识别尚未得到注意。本研究提出了使用多普勒流的人类活动监测的两个无监督特征提取方法。这些包括基于局部离散余弦变换（DCT）的特征提取方法和基于局部熵的特征提取方法。此外，对于多普勒雷达数据，首次采用了卷积变分性自动化器（CVAE）特征提取的新应用。将三种特征提取架构与先前使用的卷积AutoEncoder（CAE）和基于主成分分析（PCA）和2DPCA的线性特征提取进行比较。使用K-Means和K-METOIDS进行无监督的聚类。结果表明，与CAE，PCA和2DPCA相比，基于DCT的方法，基于熵的方法和CVAE特征的优越性，具有超过5 \％-20 \％的平均精度。关于计算时间，两个提出的方法明显比现有的CVAE快得多。此外，对于高维数据可视化，考虑了三种歧管学习技术。比较方法，以对原始数据的投影以及编码的CVAE特征进行比较。当应用于编码的CVAE特征时，所有三种方法都显示出改善的可视化能力。

检测有害的携带物体在智能监控系统中起着关键作用，例如，在机场安全中具有广泛的应用。在本文中，我们专注于使用低成本77GHz MMWVEAVE雷达的相对未开发的区域，用于携带物体检测问题。该建议的系统能够实时检测三类对象 - 笔记本电脑，手机和刀具 - 在开放的携带和隐藏的情况下，物体隐藏着衣服或袋子。这种能力是通过用于定位的初始信号处理来实现的，用于定位和生成范围 - 方位角升降图像立方体，然后是基于深度学习的预测网络和用于检测对象的多枪后处理模块。用于验证检测开放携带和隐藏物体的系统性能的广泛实验已经提出了一种自制雷达相机测试用和数据集。此外，分析了不同输入，因素和参数对系统性能的影响，为系统提供了直观的理解。该系统是旨在使用77GHz雷达检测携带物体的其他未来作品的第一个基线。

步态识别旨在通过相机来识别一个距离的人。随着深度学习的出现，步态识别的重大进步通过使用深度学习技术在许多情况下取得了鼓舞人心的成功。然而，对视频监视的越来越多的需求引入了更多的挑战，包括在各种方差下进行良好的识别，步态序列中的运动信息建模，由于协议方差，生物量标准安全性和预防隐私而引起的不公平性能比较。本文对步态识别的深度学习进行了全面的调查。我们首先介绍了从传统算法到深层模型的步态识别的奥德赛，从而提供了对步态识别系统的整个工作流程的明确知识。然后，从深度表示和建筑的角度讨论了步态识别的深入学习，并深入摘要。具体而言，深层步态表示分为静态和动态特征，而深度体系结构包括单流和多流架构。遵循我们提出的新颖性分类法，它可能有益于提供灵感并促进对步态认识的感知。此外，我们还提供了所有基于视觉的步态数据集和性能分析的全面摘要。最后，本文讨论了一些潜在潜在前景的开放问题。

使用毫米波（MMWAVE）信号的人类手势识别提供有吸引力的应用，包括智能家居和车载界面。虽然现有的作品在受控设置下实现有前途的性能，但实际应用仍然有限，因为需要密集数据收集，适应新域时的额外培训努力（即环境，人员和地点）和实时识别的表现不佳。在本文中，我们提出了Di-Gesture，一个独立于域和实时MMWAVE手势识别系统。具体地，我们首先导出与具有空间时间处理的人体手势对应的信号变化。为了增强系统的稳健性并减少数据收集工作，我们根据信号模式与手势变化之间的相关性设计数据增强框架。此外，我们提出了一种动态窗口机制来自动且准确地执行手势分割，从而能够实时识别。最后，我们建立了一种轻量级神经网络，以从用于手势分类的数据中提取空间信息。广泛的实验结果表明，Di-Gesture分别为新用户，环境和地点的平均精度为97.92％，99.18％和98.76％。在实时场景中，Di-Gesutre的准确性达到97％以上，平均推断时间为2.87ms，这表明了我们系统的优越稳健性和有效性。

目前，现有的步态识别系统专注于从轮廓图像中提取强大的步态特征的开发方法，他们确实取得了巨大的成功。然而，步态可以对衣服和携带物品等外观特征敏感。与基于外观的方法相比，由于对这些变化的稳健性，基于模型的步态识别是有前途的。近年来，随着人类姿势估计的发展，基于模型的步态识别方法的难度已被减轻。在本文中，为了抵抗受试者的增加和视图变化，建立了局部特征，提出了暹罗网络以最大化来自相同主题的样本的距离。我们利用近期行动识别的进步将人类姿势序列嵌入到向量中，并引入空间 - 时间图卷积块（STGCB），该卷积块（STGCB）已经过去用于步态识别的动作识别。在名为OuMVLP-POSE的非常大的人口数据集的实验和流行的DataSet，Casia-B，表明我们的方法在基于模型的步态识别中归档一些最先进的（SOTA）性能。我们的方法的代码和模型可在接受后的https://github.com/timelesnive/gait-for-large-dataset中获得。

人体步态是指不仅代表活动能力的每日运动，而且还可以用人类观察者或计算机来识别步行者。最近的研究表明，步态甚至传达了有关沃克情绪的信息。不同情绪状态中的个体可能显示出不同的步态模式。各种情绪和步态模式之间的映射为自动情绪识别提供了新的来源。与传统的情绪检测生物识别技术（例如面部表达，言语和生理参数）相比，步态是可以观察到的，更难以模仿，并且需要从该主题中进行较少的合作。这些优势使步态成为情感检测的有前途的来源。本文回顾了有关基于步态的情绪检测的当前研究，尤其是关于步态参数如何受到不同情绪状态的影响以及如何通过不同的步态模式识别情绪状态的研究。我们专注于情感识别过程中应用的详细方法和技术：数据收集，预处理和分类。最后，我们讨论了使用智能计算和大数据的最先进技术的状态来讨论高效有效的基于步态的情感识别的可能发展。

基于光学传感器的运动跟踪系统通常遭受问题，例如差的照明条件，遮挡，有限的覆盖，并且可以提高隐私问题。最近，已经出现了使用商业WiFi设备的基于射频（RF）的方法，这些方法提供了低成本的普遍感感知，同时保留隐私。然而，RF感测系统的输出，例如范围多普勒谱图，不能直观地代表人类运动，并且通常需要进一步处理。在本研究中，提出了基于WiFi微多普勒签名的人类骨骼运动重建的新颖框架。它提供了一种有效的解决方案，通过重建具有17个关键点的骨架模型来跟踪人类活动，这可以帮助以更易于理解的方式解释传统的RF感测输出。具体地，MDPose具有各种增量阶段来逐渐地解决一系列挑战：首先，实现去噪算法以去除可能影响特征提取的任何不需要的噪声，并增强弱多普勒签名。其次，应用卷积神经网络（CNN）-Recurrent神经网络（RNN）架构用于从清洁微多普勒签名和恢复关键点的速度信息学习时间空间依赖性。最后，采用姿势优化机制来估计骨架的初始状态并限制误差的增加。我们在各种环境中使用了许多受试者进行了全面的测试，其中许多受试者具有单个接收器雷达系统，以展示MDPOST的性能，并在所有关键点位置报告29.4mm的绝对误差，这优于最先进的RF-基于姿势估计系统。

步态识别的关键目标是从步态序列中获取框架间的步行习惯代表。但是，与框架内特征相比，框架之间的关系尚未得到足够的关注。在本文中，出于光流的动​​机，提出了双边运动导向的特征，这可以使经典的卷积结构具有直接在功能级别上直接描绘步态运动模式的能力。基于此类特征，我们开发了一组多尺度的时间表示，迫使运动上下文在各个时间分辨率上都可以丰富描述。此外，设计了一个校正块，以消除轮廓的分割噪声，以获取更精确的步态信息。随后，将时间特征集和空间特征组合在一起，以全面地表征步态过程。广泛的实验是在CASIA-B和OU-MVLP数据集上进行的，结果实现了出色的识别性能，这证明了该方法的有效性。

近年来，MMWave FMCW雷达吸引了人类居中应用的大量研究兴趣，例如人类姿态/活动识别。大多数现有的管道由传统的离散傅立叶变换（DFT）预处理和深神经网络分类器混合方法建立，其中大多数以前的作品专注于设计下游分类器以提高整体精度。在这项工作中，我们返回返回并查看预处理模块。为了避免传统DFT预处理的缺点，我们提出了一个名为Cubelearn的学习预处理模块，直接从原始雷达信号中提取特征，并为MMWAVE FMCW雷达运动识别应用构建端到端的深神经网络。广泛的实验表明，我们的立方体模块一直提高不同管道的分类准确性，特别是利益以前较弱的模型。我们提供关于所提出的模块的初始化方法和结构的消融研究，以及对PC和边缘设备上运行时间的评估。这项工作也用作不同方法对数据立方体切片的比较。通过我们的任务无关设计，我们向雷达识别问题提出了一步迈向通用端到端解决方案。

肌肉骨骼和神经系统疾病是老年人行走问题的最常见原因，它们通常导致生活质量降低。分析步行运动数据手动需要训练有素的专业人员，并且评估可能并不总是客观的。为了促进早期诊断，最近基于深度学习的方法显示了自动分析的有希望的结果，这些方法可以发现传统的机器学习方法中未发现的模式。我们观察到，现有工作主要应用于单个联合特征，例如时间序列的联合职位。由于发现了诸如通常较小规模的医疗数据集的脚之间的距离（即步幅宽度）之类的挑战，因此这些方法通常是优选的。结果，我们提出了一种解决方案，该解决方案明确地将单个关节特征和关节间特征作为输入，从而使系统免于从小数据中发现更复杂的功能。由于两种特征的独特性质，我们引入了一个两流框架，其中一个流从关节位置的时间序列中学习，另一个从相对关节位移的时间序列中学习。我们进一步开发了一个中层融合模块，以将发现的两个流中发现的模式结合起来进行诊断，从而导致数据互补表示，以获得更好的预测性能。我们使用3D骨架运动的基准数据集涉及45例肌肉骨骼和神经系统疾病的患者，并实现95.56％的预测准确性，效果优于最先进的方法，从而验证了我们的系统。

Unhealthy dietary habits are considered as the primary cause of multiple chronic diseases such as obesity and diabetes. The automatic food intake monitoring system has the potential to improve the quality of life (QoF) of people with dietary related diseases through dietary assessment. In this work, we propose a novel contact-less radar-based food intake monitoring approach. Specifically, a Frequency Modulated Continuous Wave (FMCW) radar sensor is employed to recognize fine-grained eating and drinking gestures. The fine-grained eating/drinking gesture contains a series of movement from raising the hand to the mouth until putting away the hand from the mouth. A 3D temporal convolutional network (3D-TCN) is developed to detect and segment eating and drinking gestures in meal sessions by processing the Range-Doppler Cube (RD Cube). Unlike previous radar-based research, this work collects data in continuous meal sessions. We create a public dataset that contains 48 meal sessions (3121 eating gestures and 608 drinking gestures) from 48 participants with a total duration of 783 minutes. Four eating styles (fork & knife, chopsticks, spoon, hand) are included in this dataset. To validate the performance of the proposed approach, 8-fold cross validation method is applied. Experimental results show that our proposed 3D-TCN outperforms the model that combines a convolutional neural network and a long-short-term-memory network (CNN-LSTM), and also the CNN-Bidirectional LSTM model (CNN-BiLSTM) in eating and drinking gesture detection. The 3D-TCN model achieves a segmental F1-score of 0.887 and 0.844 for eating and drinking gestures, respectively. The results of the proposed approach indicate the feasibility of using radar for fine-grained eating and drinking gesture detection and segmentation in meal sessions.