基于WiFi的传感引起了近年来的巨大关注。基本原理是由人类引起的信号波动携带可以从WiFi的信道状态信息中提取的人类行为的信息。尽管如此,先前的研究主要关注单任务传感(STS),例如手势识别,室内定位,用户识别。由于手势引起的波动与身体特征和用户的位置高度耦合,因此我们提出了一种基于WiFi的多任务感测模型(Wimuse)来执行手势识别,室内定位和用户识别任务。但是,这些任务具有不同的难度级别(即,不平衡问题),需要特定于任务特定信息(即,差异问题)。为了解决这些问题,Wimuse采用知识蒸馏技术和任务特定的残余适配器。我们首先为每项任务训练STS模型。然后,为了解决不平衡问题,鼓励Wimuse中提取的共同特征接近STS模型的对应特征。此外,对于每个任务,应用了特定于任务特定的残差适配器以提取与公共功能融合的任务特定的补偿功能以解决差异问题。我们对三个公共数据集进行全面的实验,评估表明,Wimuse实现了最先进的性能,平均准确性为85.20%,98.39%,98.39%和98.725%的手势识别,室内本地化和用户识别, 分别。
translated by 谷歌翻译
作为人类识别的重要生物标志物,可以通过被动传感器在没有主题合作的情况下以远距离收集人步态,这在预防犯罪,安全检测和其他人类识别应用中起着至关重要的作用。目前,大多数研究工作都是基于相机和计算机视觉技术来执行步态识别的。但是,在面对不良的照明时,基于视觉的方法并不可靠,导致性能降解。在本文中,我们提出了一种新型的多模式步态识别方法,即gaitfi,该方法利用WiFi信号和视频进行人类识别。在GAITFI中,收集了反映WiFi多路径传播的通道状态信息(CSI),以捕获人体步态,而视频则由相机捕获。为了了解强大的步态信息,我们建议使用轻量级残留卷积网络(LRCN)作为骨干网络,并通过集成WiFi和Vision功能来进一步提出两流性gaitfi,以进行步态检索任务。通过在不同级别的特征上的三胞胎损失和分类损失进行训练。广泛的实验是在现实世界中进行的,该实验表明,基于单个WiFi或摄像机的GAITFI优于最先进的步态识别方法,对于12个受试者的人类识别任务而达到94.2%。
translated by 谷歌翻译
由于高速互联网访问的要求增加,WiFi技术已应用于各个地方。最近,除了网络服务之外,WiFi Sensing在智能家居中还具有吸引力,因为它是无设备,具有成本效益和隐私性的。尽管已经开发了许多WiFi传感方法,但其中大多数仅考虑单个智能家庭场景。没有强大的云服务器和大量用户的连接,大规模的WiFi感应仍然很困难。在本文中,我们首先分析和总结了这些障碍,并提出了一个有效的大规模WiFi传感框架,即有效的障碍。 EfficityFI与中心服务器处的WiFi APS和云计算一起使用Edge Computing。它由一个新颖的深神经网络组成,该网络可以在Edge处压缩细粒的WiFi通道状态信息(CSI),在云中恢复CSI,并同时执行感应任务。量化的自动编码器和联合分类器旨在以端到端的方式实现这些目标。据我们所知,EfficityFi是第一个启用IoT-Cloud WiFi传感框架,可大大减少开销的交流,同时准确地实现感应任务。我们通过WiFi传感利用人类活动识别和鉴定为两个案例研究,并进行了广泛的实验以评估有效性。结果表明,它将CSI数据从1.368MB/s压缩至0.768kb/s,数据重建的误差极低,并且可以达到超过98%的人类活动识别精度。
translated by 谷歌翻译
In this article we present SHARP, an original approach for obtaining human activity recognition (HAR) through the use of commercial IEEE 802.11 (Wi-Fi) devices. SHARP grants the possibility to discern the activities of different persons, across different time-spans and environments. To achieve this, we devise a new technique to clean and process the channel frequency response (CFR) phase of the Wi-Fi channel, obtaining an estimate of the Doppler shift at a radio monitor device. The Doppler shift reveals the presence of moving scatterers in the environment, while not being affected by (environment-specific) static objects. SHARP is trained on data collected as a person performs seven different activities in a single environment. It is then tested on different setups, to assess its performance as the person, the day and/or the environment change with respect to those considered at training time. In the worst-case scenario, it reaches an average accuracy higher than 95%, validating the effectiveness of the extracted Doppler information, used in conjunction with a learning algorithm based on a neural network, in recognizing human activities in a subject and environment independent way. The collected CFR dataset and the code are publicly available for replicability and benchmarking purposes.
translated by 谷歌翻译
阿凡达(Avatar)是指虚拟世界中物理用户的代表,该代表可以从事不同的活动并与Metaverse中的其他对象进行交互。模拟化身需要准确的人类姿势估计。尽管基于摄像头的解决方案产生了出色的性能,但它们遇到了隐私问题,并因不同的照明而引起的性能退化,尤其是在智能家居中。在本文中,我们提出了一种基于WiFi的IOT基于Metavers Avatar模拟的人类姿势估计方案,即Metafi。具体而言,深度神经网络设计具有定制的卷积层和残留块,以将渠道状态信息映射到人体姿势地标。它被强制从准确的计算机视觉模型中学习注释,从而实现跨模式监督。 WiFi无处不在且强大的照明,使其成为智能家居中的头像应用的可行解决方案。实验是在现实世界中进行的,结果表明,METAFI以95.23%的50@PCK实现了很高的性能。
translated by 谷歌翻译
近年来,WiFi传感一直在迅速发展。通过传播模型和深度学习方法的能力,实现了许多具有挑战性的应用,例如基于WiFi的人类活动识别和手势识别。但是,与深入学习视觉识别和自然语言处理相反,没有足够全面的公共基准。在本文中,我们强调了最新的深度学习进展,使WiFi传感能够感测,然后提出了一个基准SensenFI,以研究各种深度学习模型对WiFi传感的有效性。这些高级模型是根据独特的传感任务,WiFi平台,识别精度,模型大小,计算复杂性,功能可传递性以及无监督学习的适应性进行比较的。从CSI硬件平台到传感算法,它也被认为是基于深度学习的WiFi传感的教程。广泛的实验为我们提供了深层模型设计,学习策略技能和培训技术的经验。据我们所知,这是第一个带开源库的基准,用于WiFi传感研究中的深度学习。基准代码可在https://github.com/chenxinyan-sg/wifi-csi-sensing-benchmark上获得。
translated by 谷歌翻译
我们提出了一个统一的查看,即通过通用表示,一个深层神经网络共同学习多个视觉任务和视觉域。同时学习多个问题涉及最大程度地减少具有不同幅度和特征的多个损失函数的加权总和,从而导致一个损失的不平衡状态,与学习每个问题的单独模型相比,一个损失的不平衡状态主导了优化和差的结果。为此,我们提出了通过小容量适配器将多个任务/特定于域网络的知识提炼到单个深神经网络中的知识。我们严格地表明,通用表示在学习NYU-V2和CityScapes中多个密集的预测问题方面实现了最新的表现,来自视觉Decathlon数据集中的不同域中的多个图像分类问题以及MetadataSet中的跨域中的几个域中学习。最后,我们还通过消融和定性研究进行多次分析。
translated by 谷歌翻译
Wearable sensor-based human activity recognition (HAR) has emerged as a principal research area and is utilized in a variety of applications. Recently, deep learning-based methods have achieved significant improvement in the HAR field with the development of human-computer interaction applications. However, they are limited to operating in a local neighborhood in the process of a standard convolution neural network, and correlations between different sensors on body positions are ignored. In addition, they still face significant challenging problems with performance degradation due to large gaps in the distribution of training and test data, and behavioral differences between subjects. In this work, we propose a novel Transformer-based Adversarial learning framework for human activity recognition using wearable sensors via Self-KnowledgE Distillation (TASKED), that accounts for individual sensor orientations and spatial and temporal features. The proposed method is capable of learning cross-domain embedding feature representations from multiple subjects datasets using adversarial learning and the maximum mean discrepancy (MMD) regularization to align the data distribution over multiple domains. In the proposed method, we adopt the teacher-free self-knowledge distillation to improve the stability of the training procedure and the performance of human activity recognition. Experimental results show that TASKED not only outperforms state-of-the-art methods on the four real-world public HAR datasets (alone or combined) but also improves the subject generalization effectively.
translated by 谷歌翻译
近年来,由渠道状态信息(CSI)启用了基于WiFi的智能人类传感技术(CSI)。但是,在不同的环境中部署时,基于CSI的传感系统会遭受性能降解。现有作品通过使用新环境中的大量未标记的高质量数据来通过域的适应来解决这一问题,这在实践中通常不可用。在本文中,我们提出了一种新颖的增强环境不变的鲁棒wifi wifi识别系统,名为Airfi,该系统从新的角度涉及环境依赖问题。 Airfi是一个新颖的领域泛化框架,无论环境如何,都可以学习CSI的关键部分,并将模型推广到看不见的场景,不需要收集任何数据以适应新环境。 Airfi从几个培训环境环境中提取了共同的功能,并最大程度地减少了它们之间的分布差异。该功能将进一步增强,以使环境更强大。此外,可以通过几次学习技术进一步改进该系统。与最先进的方法相比,Airfi能够在不同的环境环境中工作,而无需从新环境中获取任何CSI数据。实验结果表明,我们的系统在新环境中保持强大,并优于比较系统。
translated by 谷歌翻译
由于复杂且巨大的模型结构,大多数现有的显着对象检测(SOD)模型很难应用。尽管提出了一些轻巧的模型,但准确性几乎不令人满意。在本文中,我们设计了一种新颖的语义引导的上下文融合网络(SCFNET),该网络重点介绍了多层次特征的交互式融合,以进行准确有效的显着对象检测。此外,我们将知识蒸馏应用于SOD任务,并提供相当大的数据集KD-SOD80K。详细说明,我们通过未标记的图像将丰富的知识从经验丰富的老师转移到未经训练的SCFNET,使SCFNET能够学习强大的概括能力,以更准确地检测显着对象。基于知识蒸馏的SCFNET(KDSCFNET)具有与最先进的重量级方法相当的精度,该方法少于1M参数和174 fps实时检测速度。广泛的实验证明了所提出的蒸馏方法和SOD框架的鲁棒性和有效性。代码和数据:https://github.com/zhangjincv/kd-scfnet。
translated by 谷歌翻译
从物理层和粗粒度接收信号强度指示符(RSSI)测量的细粒度通道状态信息(CSI)互补,中间粒度的空间光束属性(例如,光束SNR)可在毫米波( MMWAVE)在强制波束训练阶段的频带可以重新估算Wi-Fi传感应用。在本文中,我们提出了一种用于Wi-Fi的多频带Wi-Fi融合方法,该方法是在粒度的60GHz处,从Sub-6 GHz和中粒梁SNR中的细粒度CSI的特征进行分层熔化的特征匹配框架。通过以不同的粒度水平与CSI和光束SNR配对的两个特征映射来实现粒度匹配,并将所有配对特征映射到具有可读权重的融合特征映射中。为了进一步解决有限标记的培训数据问题,我们提出了一种基于AutoEncoder的多频带Wi-Fi融合网络,可以以无监督的方式预先培训。一旦预先培训了基于AutoEncoder的融合网络,我们将通过微调融合块来分离解码器并将多任务传感头附加到融合特征映射并从头开始重新培训多任务头。通过内部实验Wi-Fi传感数据集进行多频带Wi-Fi融合框架,跨越三个任务:1)姿势识别; 2)占用感应;和3)室内本地化。与四种基线方法(即,仅CSI,仅限CSIS SNR,输入融合和特征融合)进行比较演示了粒度匹配,提高了多任务传感性能。定量性能被评估为标记培训数据,潜在空间维度和微调学习率的数量的函数。
translated by 谷歌翻译
第五代(5G)网络和超越设想巨大的东西互联网(物联网)推出,以支持延长现实(XR),增强/虚拟现实(AR / VR),工业自动化,自主驾驶和智能所有带来的破坏性应用一起占用射频(RF)频谱的大规模和多样化的IOT设备。随着频谱嘎嘎和吞吐量挑战,这种大规模的无线设备暴露了前所未有的威胁表面。 RF指纹识别是预约的作为候选技术,可以与加密和零信任安全措施相结合,以确保无线网络中的数据隐私,机密性和完整性。在未来的通信网络中,在这项工作中,在未来的通信网络中的相关性,我们对RF指纹识别方法进行了全面的调查,从传统观点到最近的基于深度学习(DL)的算法。现有的调查大多专注于无线指纹方法的受限制呈现,然而,许多方面仍然是不可能的。然而,在这项工作中,我们通过解决信号智能(SIGINT),应用程序,相关DL算法,RF指纹技术的系统文献综述来缓解这一点,跨越过去二十年的RF指纹技术的系统文献综述,对数据集和潜在研究途径的讨论 - 必须以百科全书的方式阐明读者的必要条件。
translated by 谷歌翻译
未来的通信网络必须解决稀缺范围,以适应异质无线设备的广泛增长。无线信号识别对于频谱监视,频谱管理,安全通信等越来越重要。因此,对边缘的综合频谱意识有可能成为超越5G网络的新兴推动力。该领域的最新研究具有(i)仅关注单个任务 - 调制或信号(协议)分类 - 在许多情况下,该系统不足以对系统作用,(ii)考虑要么考虑雷达或通信波形(同质波形类别),(iii)在神经网络设计阶段没有解决边缘部署。在这项工作中,我们首次在无线通信域中,我们利用了基于深神经网络的多任务学习(MTL)框架的潜力,同时学习调制和信号分类任务,同时考虑异质无线信号,例如雷达和通信波形。在电磁频谱中。提出的MTL体系结构受益于两项任务之间的相互关系,以提高分类准确性以及使用轻型神经网络模型的学习效率。此外,我们还将对模型进行实验评估,并通过空中收集的样品进行了对模型压缩的第一手洞察力,以及在资源受限的边缘设备上部署的深度学习管道。我们在两个参考体系结构上展示了所提出的模型的显着计算,记忆和准确性提高。除了建模适用于资源约束的嵌入式无线电平台的轻型MTL模型外,我们还提供了一个全面的异质无线信号数据集,以供公众使用。
translated by 谷歌翻译
由于无频率,隐私保护和RF信号的广泛覆盖性质,设备自由人的手势识别已得到赞誉。然而,在应用于新域时,从特定域收集的数据训练以识别的神经网络模型受到显着的性能下降。为了解决这一挑战,我们通过有效使用未标记的目标域数据,为设备免费手势识别提出了无监督的域适应框架。具体而言,我们使用伪标签和一致性正则化,并在目标域数据上进行详细设计,以生成伪标签并对齐目标域的实例特征。然后,我们通过随机擦除输入数据来设计两个数据增强方法以增强模型的稳健性。此外,我们应用置信控制约束来解决过度频繁问题。我们对公共WiFi数据集和公共毫米波雷达数据集进行了广泛的实验。实验结果表明了所提出的框架的优越效果。
translated by 谷歌翻译
低成本毫米波(MMWAVE)通信和雷达设备的商业可用性开始提高消费市场中这种技术的渗透,为第五代(5G)的大规模和致密的部署铺平了道路(5G) - 而且以及6G网络。同时,普遍存在MMWAVE访问将使设备定位和无设备的感测,以前所未有的精度,特别是对于Sub-6 GHz商业级设备。本文使用MMWAVE通信和雷达设备在基于设备的定位和无设备感应中进行了现有技术的调查,重点是室内部署。我们首先概述关于MMWAVE信号传播和系统设计的关键概念。然后,我们提供了MMWaves启用的本地化和感应方法和算法的详细说明。我们考虑了在我们的分析中的几个方面,包括每个工作的主要目标,技术和性能,每个研究是否达到了一定程度的实现,并且该硬件平台用于此目的。我们通过讨论消费者级设备的更好算法,密集部署的数据融合方法以及机器学习方法的受过教育应用是有前途,相关和及时的研究方向的结论。
translated by 谷歌翻译
目前,这是一个热门的研究主题,可以在深度学习和物联网技术的帮助下实现大量光谱数据的准确,高效和实时识别。深度神经网络在光谱分析中起着关键作用。但是,更深层模型的推断是以静态方式进行的,不能根据设备进行调整。并非所有样本都需要分配所有计算以实现自信的预测,这阻碍了最大化整体性能。为了解决上述问题,我们提出了一个具有自适应推理的光谱数据分类框架。具体而言,要为不同样本分配不同的计算,同时更好地利用不同设备之间的协作,我们利用早期外观体系结构,将中间分类器放置在架构的不同深度,并在预测置信度达到预设阈值时输出结果。我们提出了一个自我介绍学习的训练范式,最深的分类器对浅的分类器进行了软监督,以最大程度地提高其性能和训练速度。同时,为了减轻早期外观范式中中间分类器的位置和数字设置的性能脆弱性,我们提出了一个自适应的残留网络。它可以调整不同曲线位置下每个块中的层数,因此它可以专注于曲线的重要位置(例如:拉曼峰),并根据任务性能和计算资源准确地分配适当的计算预算。据我们所知,本文是首次尝试通过自适应推断物联网平台下的光谱检测来进行优化。我们进行了许多实验,实验结果表明,我们所提出的方法可以比现有方法实现更高的计算预算性能。
translated by 谷歌翻译
深度学习已被广​​泛用于医学图像分割,并且录制了录制了该领域深度学习的成功的大量论文。在本文中,我们使用深层学习技术对医学图像分割的全面主题调查。本文进行了两个原创贡献。首先,与传统调查相比,直接将深度学习的文献分成医学图像分割的文学,并为每组详细介绍了文献,我们根据从粗略到精细的多级结构分类目前流行的文献。其次,本文侧重于监督和弱监督的学习方法,而不包括无监督的方法,因为它们在许多旧调查中引入而且他们目前不受欢迎。对于监督学习方法,我们分析了三个方面的文献:骨干网络的选择,网络块的设计,以及损耗功能的改进。对于虚弱的学习方法,我们根据数据增强,转移学习和交互式分割进行调查文献。与现有调查相比,本调查将文献分类为比例不同,更方便读者了解相关理由,并将引导他们基于深度学习方法思考医学图像分割的适当改进。
translated by 谷歌翻译
使用毫米波(MMWAVE)信号的人类手势识别提供有吸引力的应用,包括智能家居和车载界面。虽然现有的作品在受控设置下实现有前途的性能,但实际应用仍然有限,因为需要密集数据收集,适应新域时的额外培训努力(即环境,人员和地点)和实时识别的表现不佳。在本文中,我们提出了Di-Gesture,一个独立于域和实时MMWAVE手势识别系统。具体地,我们首先导出与具有空间时间处理的人体手势对应的信号变化。为了增强系统的稳健性并减少数据收集工作,我们根据信号模式与手势变化之间的相关性设计数据增强框架。此外,我们提出了一种动态窗口机制来自动且准确地执行手势分割,从而能够实时识别。最后,我们建立了一种轻量级神经网络,以从用于手势分类的数据中提取空间信息。广泛的实验结果表明,Di-Gesture分别为新用户,环境和地点的平均精度为97.92%,99.18%和98.76%。在实时场景中,Di-Gesutre的准确性达到97%以上,平均推断时间为2.87ms,这表明了我们系统的优越稳健性和有效性。
translated by 谷歌翻译
Recent years witnessed the breakthrough of face recognition with deep convolutional neural networks. Dozens of papers in the field of FR are published every year. Some of them were applied in the industrial community and played an important role in human life such as device unlock, mobile payment, and so on. This paper provides an introduction to face recognition, including its history, pipeline, algorithms based on conventional manually designed features or deep learning, mainstream training, evaluation datasets, and related applications. We have analyzed and compared state-of-the-art works as many as possible, and also carefully designed a set of experiments to find the effect of backbone size and data distribution. This survey is a material of the tutorial named The Practical Face Recognition Technology in the Industrial World in the FG2023.
translated by 谷歌翻译
海洋生态系统及其鱼类栖息地越来越重要,因为它们在提供有价值的食物来源和保护效果方面的重要作用。由于它们的偏僻且难以接近自然,因此通常使用水下摄像头对海洋环境和鱼类栖息地进行监测。这些相机产生了大量数字数据,这些数据无法通过当前的手动处理方法有效地分析,这些方法涉及人类观察者。 DL是一种尖端的AI技术,在分析视觉数据时表现出了前所未有的性能。尽管它应用于无数领域,但仍在探索其在水下鱼类栖息地监测中的使用。在本文中,我们提供了一个涵盖DL的关键概念的教程,该教程可帮助读者了解对DL的工作原理的高级理解。该教程还解释了一个逐步的程序,讲述了如何为诸如水下鱼类监测等挑战性应用开发DL算法。此外,我们还提供了针对鱼类栖息地监测的关键深度学习技术的全面调查,包括分类,计数,定位和细分。此外,我们对水下鱼类数据集进行了公开调查,并比较水下鱼类监测域中的各种DL技术。我们还讨论了鱼类栖息地加工深度学习的新兴领域的一些挑战和机遇。本文是为了作为希望掌握对DL的高级了解,通过遵循我们的分步教程而为其应用开发的海洋科学家的教程,并了解如何发展其研究,以促进他们的研究。努力。同时,它适用于希望调查基于DL的最先进方法的计算机科学家,以进行鱼类栖息地监测。
translated by 谷歌翻译