Gait recognition, which identifies individuals based on their walking patterns, is an important biometric technique since it can be observed from a distance and does not require the subject's cooperation. Recognizing a person's gait is difficult because of the appearance variants in human silhouette sequences produced by varying viewing angles, carrying objects, and clothing. Recent research has produced a number of ways for coping with these variants. In this paper, we present the usage of inferring 3-D body shapes distilled from limited images, which are, in principle, invariant to the specified variants. Inference of 3-D shape is a difficult task, especially when only silhouettes are provided in a dataset. We provide a method for learning 3-D body inference from silhouettes by transferring knowledge from 3-D shape prior from RGB photos. We use our method on multiple existing state-of-the-art gait baselines and obtain consistent improvements for gait identification on two public datasets, CASIA-B and OUMVLP, on several variants and settings, including a new setting of novel views not seen during training.
translated by 谷歌翻译
步态识别是指根据人的身体形状和步行方式对人的识别或识别,这些视频数据是从远处捕获的视频数据中得出的,被广泛用于预防犯罪,法医身份和社会保障中。但是,据我们所知,大多数现有方法都使用外观,姿势和时间feautures,而无需考虑用于全球和局部信息融合的学习时间关注机制。在本文中,我们提出了一个新型的步态识别框架,称为“时间关注”和“关键”引导的嵌入(Gaittake),该框架有效地融合了基于时间注意的全球和局部外观特征以及时间聚集的人类姿势特征。实验结果表明,我们所提出的方法在步态识别中获得了新的SOTA,排名1的准确性为98.0%(正常),97.5%(袋)和92.2%(涂层)(涂层)在CASIA-B GAIT数据集中;OU-MVLP步态数据集的精度为90.4%。
translated by 谷歌翻译
人的步态被认为是一种独特的生物识别标识符,其可以在距离处以覆盖方式获取。但是,在受控场景中捕获的现有公共领域步态数据集接受的模型导致应用于现实世界无约束步态数据时的剧烈性能下降。另一方面,视频人员重新识别技术在大规模公共可用数据集中实现了有希望的性能。鉴于服装特性的多样性,衣物提示对于人们的认可不可靠。因此,实际上尚不清楚为什么最先进的人重新识别方法以及他们的工作。在本文中,我们通过从现有的视频人重新识别挑战中提取剪影来构建一个新的步态数据集,该挑战包括1,404人以不受约束的方式行走。基于该数据集,可以进行步态认可与人重新识别之间的一致和比较研究。鉴于我们的实验结果表明,目前在受控情景收集的数据下设计的目前的步态识别方法不适合真实监视情景,我们提出了一种名为Realgait的新型步态识别方法。我们的结果表明,在实际监视情景中识别人的步态是可行的,并且潜在的步态模式可能是视频人重新设计在实践中的真正原因。
translated by 谷歌翻译
布换人员重新识别(CC-REID)旨在在长时间匹配不同地点的同一个人,例如,超过日子,因此不可避免地满足换衣服的挑战。在本文中,我们专注于处理更具有挑战性的环境下的CC-Reid问题,即,只有一个图像,它可以实现高效和延迟的行人确定实时监控应用。具体而言,我们将步态识别作为辅助任务来驱动图像Reid模型来通过利用个人独特和独立布的步态信息来学习布不可知的表现,我们将此框架命名为Gi-Reid。 Gi-Reid采用两流架构,该架构由图像Reid-Stream和辅助步态识别流(步态流)组成。在推理的高计算效率中丢弃的步态流充当调节器,以鼓励在训练期间捕获捕获布不变的生物识别运动特征。为了从单个图像获取时间连续运动提示,我们设计用于步态流的步态序列预测(GSP)模块,以丰富步态信息。最后,为有效的知识正则化强制执行两个流的高级语义一致性。基于多种图像的布更换Reid基准测试的实验,例如LTCC,PRCC,Real28和VC衣服,证明了GI-REID对最先进的人来说。代码在https://github.com/jinx-ustc/gi -reid提供。
translated by 谷歌翻译
步态是长距离识别个体的最有前途的生物识别技术之一。尽管大多数以前的方法都集中在识别轮廓上,但直接从RGB图像中提取步态特征的几种端到端方法表现更好。但是,我们证明了这些端到端方法可能不可避免地会遭受步态液化的噪音,即低级纹理和丰富多彩的信息。在实验上,我们设计了跨域评估以支持这种观点。在这项工作中,我们提出了一个名为Gaitedge的新颖端到端框架,该框架可以有效地阻止步态 - 近距离信息并发布端到端训练潜力。具体而言,Gaitede合成了行人分割网络的输出,然后将其馈送到随后的识别网络中,在该网络中,合成轮廓由身体的可训练边缘和固定内部室内装饰组成,以限制识别网络接收的信息。此外,对齐轮廓的步态嵌入了盖地,而不会失去不同的性能。关于CASIA-B和我们新建的TTG-200的实验结果表明,Gaitedge明显优于先前的方法,并提供了更实用的端到端范式。所有源代码均可在https://github.com/shiqiyu/opengait上获得。
translated by 谷歌翻译
现有的步态识别研究以实验室场景为主。由于人们生活在现实世界中,因此野外的步态识别是一个更实用的问题,最近引起了多媒体和计算机视觉社区的关注。在现有基准上获得最先进性能的当前方法在最近提出的野外数据集上的准确性差得多,因为这些方法几乎无法模拟不受约束场景中步态序列的各种时间动力学。因此,本文提出了一种新型的多跳时间开关方法,以实现实际场景中步态模式的有效时间建模。具体来说,我们设计了一个新型的步态识别网络,称为多跳临时交换机网络(MTSGait),以同时学习空间特征和多尺度的时间功能。与现有的3D卷积进行时间建模的方法不同,我们的MTSGAIT通过2D卷积对步态序列的时间动力学进行建模。通过这种方式,与基于3D卷积的模型相比,它以较少的模型参数来达到高效率,并减少了优化的难度。基于2D卷积内核的特定设计,我们的方法可以消除相邻帧之间特征的不对准。此外,提出了一种新的采样策略,即非环保连续采样,以使模型学习更强大的时间特征。最后,与最新方法相比,提出的方法在两个公共步态数据集(即增长和步态3D)上取得了出色的性能。
translated by 谷歌翻译
步态描绘了个人独特而区别的步行模式,并已成为人类识别最有希望的生物识别特征之一。作为一项精细的识别任务,步态识别很容易受到许多因素的影响,并且通常需要大量完全注释的数据,这些数据是昂贵且无法满足的。本文提出了一个大规模的自我监督基准,以通过对比度学习进行步态识别,旨在通过提供信息丰富的步行先验和各种现实世界中的多样化的变化,从大型的无标记的步行视频中学习一般步态代表。具体而言,我们收集了一个由1.02m步行序列组成的大规模的无标记的步态数据集gaitu-1m,并提出了一个概念上简单而经验上强大的基线模型步态。在实验上,我们在四个广泛使用的步态基准(Casia-B,Ou-Mvlp,Grew and Grew and Gait3d)上评估了预训练的模型,或者在不转移学习的情况下。无监督的结果与基于早期模型和基于GEI的早期方法相当甚至更好。在转移学习后,我们的方法在大多数情况下都超过现有方法。从理论上讲,我们讨论了步态特异性对比框架的关键问题,并提供了一些进一步研究的见解。据我们所知,Gaitlu-1M是第一个大规模未标记的步态数据集,而GaitSSB是第一种在上述基准测试基准上取得显着无监督结果的方法。 GaitSSB的源代码将集成到OpenGait中,可在https://github.com/shiqiyu/opengait上获得。
translated by 谷歌翻译
步态识别旨在识别个人特定的步行模式,这高度取决于观察到每个身体部分的不同周期运动。但是,大多数现有方法都平等处理每个部分,并忽略了由于步态序列的高采样率而忽略了数据冗余。在这项工作中,我们提出了一个细粒运动表示网络(GAITFM),以提高三个方面的步态识别性能。首先,细粒部分序列学习(FPSL)模块旨在探索独立于部分的时空表示。其次,一种称为局部运动聚集(LMA)的框架压缩策略用于增强运动变化。最后,加权的广义平均池(WGEM)层可自适应地在空间下采样中保持更多的判别信息。在两个公共数据集Casia-B和OUMVLP上进行的实验表明,我们的方法达到了最先进的表现。在CASIA-B数据集上,我们的方法可实现正常步行,袋装行走和带外套行走的98.0%,95.7%和87.9%的排名1精度。在OUMVLP数据集上,我们的方法的排名准确性为90.5%。
translated by 谷歌翻译
步态识别旨在通过相机来识别一个距离的人。随着深度学习的出现,步态识别的重大进步通过使用深度学习技术在许多情况下取得了鼓舞人心的成功。然而,对视频监视的越来越多的需求引入了更多的挑战,包括在各种方差下进行良好的识别,步态序列中的运动信息建模,由于协议方差,生物量标准安全性和预防隐私而引起的不公平性能比较。本文对步态识别的深度学习进行了全面的调查。我们首先介绍了从传统算法到深层模型的步态识别的奥德赛,从而提供了对步态识别系统的整个工作流程的明确知识。然后,从深度表示和建筑的角度讨论了步态识别的深入学习,并深入摘要。具体而言,深层步态表示分为静态和动态特征,而深度体系结构包括单流和多流架构。遵循我们提出的新颖性分类法,它可能有益于提供灵感并促进对步态认识的感知。此外,我们还提供了所有基于视觉的步态数据集和性能分析的全面摘要。最后,本文讨论了一些潜在潜在前景的开放问题。
translated by 谷歌翻译
基于IDEO的人重新识别(RE-ID)旨在将以不相交的监视摄像机捕获的视频序列中的人物图像匹配。基于传统的基于视频的人重新ID方法专注于探索外观信息,因此,易受照明变化,场景噪声,摄像机参数以及尤其是衣服/携带变化。步态识别提供隐式生物识别解决方案,以缓解上述头痛。尽管如此,随着相机视图的变化,它会经历严重的性能变性。在此文件中试图解决这些问题,我们提出了一种框架,该框架利用视频中的序列掩模(SEQMASKS),以密切地集成外观信息和步态建模。具体而言,为了充分验证我们方法的有效性,我们构建了基于火星的名为MaskMars的新型数据集。我们提出的大型野生视频RE-ID数据集Maskmars的综合实验证明了我们非凡的性能和泛化能力。步态识别度量Casia-B数据集的验证进一步展示了Hybrid模型的能力。
translated by 谷歌翻译
现有的步态识别方法要么直接从原始步态序列建立全局特征表示(GFR),要么从几个本地部分生成本地特征表示(LFR)。但是,随着在更深层次的网络层中,GFR倾向于忽略人类姿势的局部细节。尽管LFR允许网络专注于每个局部区域的详细姿势信息,但它忽略了不同地方部分之间的关​​系,因此仅利用了几个特定区域的有限本地信息。为了解决这些问题,我们提出了一个名为GaitGL的基于全球的步态识别网络,以生成更具歧视性的特征表示。具体来说,开发了一个新颖的全球和局部卷积层(GLCL),以充分利用每一层中的全局视觉信息和局部区域细节。 GLCL是一种双支分支结构,由GFR提取器和基于掩模的LFR提取器组成。 GFR提取器旨在提取上下文信息,例如各个身体部位之间的关系,并提出了基于掩码的LFR提取器,以利用当地区域的详细姿势变化。此外,我们引入了一种基于面膜的新型策略,以提高局部特征提取能力。具体而言,我们设计了一对互补口罩以随机遮住特征图,然后在各种封闭的特征图上训练我们的基于面具的LFR提取器。通过这种方式,LFR提取器将学会完全利用本地信息。广泛的实验表明,步态比最先进的步态识别方法更好。 CASIA-B,OU-MVLP,增长和GAIT3D的平均排名准确性分别为93.6%,98.7%,68.0%和63.8%,明显优于竞争方法。拟议的方法在两场比赛中赢得了一等奖:HID 2020和HID 2021。
translated by 谷歌翻译
作为一种新兴的生物识别技术,基于视觉的步态鉴定是生物识别中的重要研究含量。大多数现有的步态识别方法从步态视频提取特征,并通过库中的查询识别探测样本。然而,视频数据包含冗余信息,并且可以容易地受到袋装(BG)和衣服(CL)的影响。由于人体骨架传达了有关人类Gaits的基本信息,因此我们的项目中提出了一种基于骨架的步态识别网络。首先,从视频中提取骨架序列并将它们映射到步态图中。然后,构建基于时空图卷积网络(ST-GCN)的特征提取网络以学习步态表示。最后,通过与画廊中最相似的碎片匹配来识别探针样品。我们在Casia-B数据集上测试了我们的方法。结果表明,我们的方法是高度自适应,并获得BG,CL条件和平均的先进结果。
translated by 谷歌翻译
步态识别能够实现长途且无接触式识别,是一项重要的生物识别技术。最近的步态识别方法着重于学习步行过程中人类运动或外观的模式,并构建相应的时空表示。但是,不同的个体有自己的运动模式定律,简单的时空特征很难描述人类部位运动的变化,尤其是当包括服装和携带等混淆变量时,可以降低特征的区分性。在本文中,我们提出了运动激发模块(MEM)来指导时空特征,以专注于具有较大动态变化的人类部位,MEM了解框架和间隔之间的差异信息,以获得时间运动变化的表示形式,值得一提的是,MEM可以适应不确定长度的帧序列,并且不会添加任何其他参数。此外,我们提出了精细的提取器(FFE),该提取器(FFE)独立地根据个体的不同水平部分学习人体的时空表示。受益于MEM和FFE,我们的方法创新地结合了运动变化信息,从而显着改善了在跨外观条件下模型的性能。在流行的数据集Casia-B上,我们提出的运动步态比现有的步态识别方法更好。
translated by 谷歌翻译
步态识别的关键目标是从步态序列中获取框架间的步行习惯代表。但是,与框架内特征相比,框架之间的关系尚未得到足够的关注。在本文中,出于光流的动​​机,提出了双边运动导向的特征,这可以使经典的卷积结构具有直接在功能级别上直接描绘步态运动模式的能力。基于此类特征,我们开发了一组多尺度的时间表示,迫使运动上下文在各个时间分辨率上都可以丰富描述。此外,设计了一个校正块,以消除轮廓的分割噪声,以获取更精确的步态信息。随后,将时间特征集和空间特征组合在一起,以全面地表征步态过程。广泛的实验是在CASIA-B和OU-MVLP数据集上进行的,结果实现了出色的识别性能,这证明了该方法的有效性。
translated by 谷歌翻译
目前,现有的步态识别系统专注于从轮廓图像中提取强大的步态特征的开发方法,他们确实取得了巨大的成功。然而,步态可以对衣服和携带物品等外观特征敏感。与基于外观的方法相比,由于对这些变化的稳健性,基于模型的步态识别是有前途的。近年来,随着人类姿势估计的发展,基于模型的步态识别方法的难度已被减轻。在本文中,为了抵抗受试者的增加和视图变化,建立了局部特征,提出了暹罗网络以最大化来自相同主题的样本的距离。我们利用近期行动识别的进步将人类姿势序列嵌入到向量中,并引入空间 - 时间图卷积块(STGCB),该卷积块(STGCB)已经过去用于步态识别的动作识别。在名为OuMVLP-POSE的非常大的人口数据集的实验和流行的DataSet,Casia-B,表明我们的方法在基于模型的步态识别中归档一些最先进的(SOTA)性能。我们的方法的代码和模型可在接受后的https://github.com/timelesnive/gait-for-large-dataset中获得。
translated by 谷歌翻译
我们第一次尝试解决步态转移问题。与运动转移相反,这里的目的不是模仿源的正常动作,而是将源的运动转变为目标的典型步态模式。使用步态识别模型,我们证明了现有技术产生的差异很容易被检测到。我们介绍了一种新型模型,即Cycle Transformers Gan(Ctrgan),该模型可以成功地产生目标的自然步态。 Ctrgan的发电机由一个解码器和编码器组成,两个变压器都在完整图像之间的时间域上,而不是斑块之间的空间域之间的时间域。虽然最近在计算机视觉中的变压器研究主要集中在判别任务上,但我们引入了一个可以应用于综合任务的体系结构。我们使用广泛使用的步态识别数据集,我们证明我们的方法能够比现有方法更现实的个性化步态,即使与训练过程中没有可用的来源一起使用,也能够在数量级上产生更现实的个性化步态。
translated by 谷歌翻译
作为人类识别的重要生物标志物,可以通过被动传感器在没有主题合作的情况下以远距离收集人步态,这在预防犯罪,安全检测和其他人类识别应用中起着至关重要的作用。目前,大多数研究工作都是基于相机和计算机视觉技术来执行步态识别的。但是,在面对不良的照明时,基于视觉的方法并不可靠,导致性能降解。在本文中,我们提出了一种新型的多模式步态识别方法,即gaitfi,该方法利用WiFi信号和视频进行人类识别。在GAITFI中,收集了反映WiFi多路径传播的通道状态信息(CSI),以捕获人体步态,而视频则由相机捕获。为了了解强大的步态信息,我们建议使用轻量级残留卷积网络(LRCN)作为骨干网络,并通过集成WiFi和Vision功能来进一步提出两流性gaitfi,以进行步态检索任务。通过在不同级别的特征上的三胞胎损失和分类损失进行训练。广泛的实验是在现实世界中进行的,该实验表明,基于单个WiFi或摄像机的GAITFI优于最先进的步态识别方法,对于12个受试者的人类识别任务而达到94.2%。
translated by 谷歌翻译
我们提出了CrossHuman,这是一种新颖的方法,该方法从参数人类模型和多帧RGB图像中学习了交叉指导,以实现高质量的3D人类重建。为了恢复几何细节和纹理,即使在无形区域中,我们设计了一个重建管道,结合了基于跟踪的方法和无跟踪方法。给定一个单眼RGB序列,我们在整个序列中跟踪参数人模型,与目标框架相对应的点(体素)被参数体运动扭曲为参考框架。在参数体的几何学先验和RGB序列的空间对齐特征的指导下,稳健隐式表面被融合。此外,将多帧变压器(MFT)和一个自我监管的经过修补模块集成到框架中,以放宽参数主体的要求并帮助处理非常松散的布。与以前的作品相比,我们的十字人类可以在可见的和无形区域启用高保真的几何细节和纹理,并提高人类重建的准确性,即使在估计的不准确的参数人类模型下也是如此。实验表明我们的方法达到了最新的(SOTA)性能。
translated by 谷歌翻译
步态识别是一项重要的识别技术,因为步态不容易伪装,也不需要合作来识别受试者。但是,许多现有方法在保留时间信息和细粒度信息方面不足,从而减少了其歧视。当发现具有类似步行姿势的受试者时,这个问题更为严重。在本文中,我们试图增强从两个方面的时空步态特征的区分:有效提取时空步态特征和合理的提取特征细化。因此,提出了我们的方法,它由时空特征提取(SFE)和全局距离比对(GDA)组成。 SFE使用时间特征融合(TFF)和细粒特征提取(FFE),从原始轮廓中有效提取时空特征。 GDA在现实生活中使用大量未标记的步态数据作为优化提取的时空特征的基准。 GDA可以使提取的特征具有较低的阶层间相似性和高层的相似性,从而增强了它们的歧视。对Mini-OUMVLP和CASIA-B进行了广泛的实验,证明我们比某些最新方法的结果更好。
translated by 谷歌翻译
步态识别在预防犯罪和社会保障方面起了重要作用,因为它可以在不合作的情况下以远距离进行。但是,现有的数据集和方法无法有效地处理实际步态识别中最具挑战性的问题:穿着不同的衣服行走(CL)。为了解决这个问题,我们提出了两个基准:CASIA-BN-RCC和OUMVLP-RCC,以模拟实践中的布换状态。这两个基准可以迫使该算法与两个子数据集实现交叉视图和交叉插入。此外,我们提出了一个新框架,可以使用现成的骨干进行应用,以在渐进式功能学习中改善其在逼真的换衣服问题中的性能。具体而言,在我们的框架中,我们设计了渐进式映射和渐进的不确定性,以提取交叉视图功能,然后根据基础提取交叉插入功能。通过这种方式,跨视图子数据库的特征首先可以主导特征空间,并缓解由跨夹子子数据库的不良效应引起的不均匀分布。基准上的实验表明,我们的框架可以有效地改善CL条件下的识别性能。接受后,我们的代码和数据集将在接受后发布。
translated by 谷歌翻译