步态识别的关键目标是从步态序列中获取框架间的步行习惯代表。但是，与框架内特征相比，框架之间的关系尚未得到足够的关注。在本文中，出于光流的动​​机，提出了双边运动导向的特征，这可以使经典的卷积结构具有直接在功能级别上直接描绘步态运动模式的能力。基于此类特征，我们开发了一组多尺度的时间表示，迫使运动上下文在各个时间分辨率上都可以丰富描述。此外，设计了一个校正块，以消除轮廓的分割噪声，以获取更精确的步态信息。随后，将时间特征集和空间特征组合在一起，以全面地表征步态过程。广泛的实验是在CASIA-B和OU-MVLP数据集上进行的，结果实现了出色的识别性能，这证明了该方法的有效性。

步态识别能够实现长途且无接触式识别，是一项重要的生物识别技术。最近的步态识别方法着重于学习步行过程中人类运动或外观的模式，并构建相应的时空表示。但是，不同的个体有自己的运动模式定律，简单的时空特征很难描述人类部位运动的变化，尤其是当包括服装和携带等混淆变量时，可以降低特征的区分性。在本文中，我们提出了运动激发模块（MEM）来指导时空特征，以专注于具有较大动态变化的人类部位，MEM了解框架和间隔之间的差异信息，以获得时间运动变化的表示形式，值得一提的是，MEM可以适应不确定长度的帧序列，并且不会添加任何其他参数。此外，我们提出了精细的提取器（FFE），该提取器（FFE）独立地根据个体的不同水平部分学习人体的时空表示。受益于MEM和FFE，我们的方法创新地结合了运动变化信息，从而显着改善了在跨外观条件下模型的性能。在流行的数据集Casia-B上，我们提出的运动步态比现有的步态识别方法更好。

步态识别旨在通过相机来识别一个距离的人。随着深度学习的出现，步态识别的重大进步通过使用深度学习技术在许多情况下取得了鼓舞人心的成功。然而，对视频监视的越来越多的需求引入了更多的挑战，包括在各种方差下进行良好的识别，步态序列中的运动信息建模，由于协议方差，生物量标准安全性和预防隐私而引起的不公平性能比较。本文对步态识别的深度学习进行了全面的调查。我们首先介绍了从传统算法到深层模型的步态识别的奥德赛，从而提供了对步态识别系统的整个工作流程的明确知识。然后，从深度表示和建筑的角度讨论了步态识别的深入学习，并深入摘要。具体而言，深层步态表示分为静态和动态特征，而深度体系结构包括单流和多流架构。遵循我们提出的新颖性分类法，它可能有益于提供灵感并促进对步态认识的感知。此外，我们还提供了所有基于视觉的步态数据集和性能分析的全面摘要。最后，本文讨论了一些潜在潜在前景的开放问题。

人的步态被认为是一种独特的生物识别标识符，其可以在距离处以覆盖方式获取。但是，在受控场景中捕获的现有公共领域步态数据集接受的模型导致应用于现实世界无约束步态数据时的剧烈性能下降。另一方面，视频人员重新识别技术在大规模公共可用数据集中实现了有希望的性能。鉴于服装特性的多样性，衣物提示对于人们的认可不可靠。因此，实际上尚不清楚为什么最先进的人重新识别方法以及他们的工作。在本文中，我们通过从现有的视频人重新识别挑战中提取剪影来构建一个新的步态数据集，该挑战包括1,404人以不受约束的方式行走。基于该数据集，可以进行步态认可与人重新识别之间的一致和比较研究。鉴于我们的实验结果表明，目前在受控情景收集的数据下设计的目前的步态识别方法不适合真实监视情景，我们提出了一种名为Realgait的新型步态识别方法。我们的结果表明，在实际监视情景中识别人的步态是可行的，并且潜在的步态模式可能是视频人重新设计在实践中的真正原因。

步态识别旨在识别个人特定的步行模式，这高度取决于观察到每个身体部分的不同周期运动。但是，大多数现有方法都平等处理每个部分，并忽略了由于步态序列的高采样率而忽略了数据冗余。在这项工作中，我们提出了一个细粒运动表示网络（GAITFM），以提高三个方面的步态识别性能。首先，细粒部分序列学习（FPSL）模块旨在探索独立于部分的时空表示。其次，一种称为局部运动聚集（LMA）的框架压缩策略用于增强运动变化。最后，加权的广义平均池（WGEM）层可自适应地在空间下采样中保持更多的判别信息。在两个公共数据集Casia-B和OUMVLP上进行的实验表明，我们的方法达到了最先进的表现。在CASIA-B数据集上，我们的方法可实现正常步行，袋装行走和带外套行走的98.0％，95.7％和87.9％的排名1精度。在OUMVLP数据集上，我们的方法的排名准确性为90.5％。

现有的步态识别方法要么直接从原始步态序列建立全局特征表示（GFR），要么从几个本地部分生成本地特征表示（LFR）。但是，随着在更深层次的网络层中，GFR倾向于忽略人类姿势的局部细节。尽管LFR允许网络专注于每个局部区域的详细姿势信息，但它忽略了不同地方部分之间的关​​系，因此仅利用了几个特定区域的有限本地信息。为了解决这些问题，我们提出了一个名为GaitGL的基于全球的步态识别网络，以生成更具歧视性的特征表示。具体来说，开发了一个新颖的全球和局部卷积层（GLCL），以充分利用每一层中的全局视觉信息和局部区域细节。 GLCL是一种双支分支结构，由GFR提取器和基于掩模的LFR提取器组成。 GFR提取器旨在提取上下文信息，例如各个身体部位之间的关系，并提出了基于掩码的LFR提取器，以利用当地区域的详细姿势变化。此外，我们引入了一种基于面膜的新型策略，以提高局部特征提取能力。具体而言，我们设计了一对互补口罩以随机遮住特征图，然后在各种封闭的特征图上训练我们的基于面具的LFR提取器。通过这种方式，LFR提取器将学会完全利用本地信息。广泛的实验表明，步态比最先进的步态识别方法更好。 CASIA-B，OU-MVLP，增长和GAIT3D的平均排名准确性分别为93.6％，98.7％，68.0％和63.8％，明显优于竞争方法。拟议的方法在两场比赛中赢得了一等奖：HID 2020和HID 2021。

步态描绘了个人独特而区别的步行模式，并已成为人类识别最有希望的生物识别特征之一。作为一项精细的识别任务，步态识别很容易受到许多因素的影响，并且通常需要大量完全注释的数据，这些数据是昂贵且无法满足的。本文提出了一个大规模的自我监督基准，以通过对比度学习进行步态识别，旨在通过提供信息丰富的步行先验和各种现实世界中的多样化的变化，从大型的无标记的步行视频中学习一般步态代表。具体而言，我们收集了一个由1.02m步行序列组成的大规模的无标记的步态数据集gaitu-1m，并提出了一个概念上简单而经验上强大的基线模型步态。在实验上，我们在四个广泛使用的步态基准（Casia-B，Ou-Mvlp，Grew and Grew and Gait3d）上评估了预训练的模型，或者在不转移学习的情况下。无监督的结果与基于早期模型和基于GEI的早期方法相当甚至更好。在转移学习后，我们的方法在大多数情况下都超过现有方法。从理论上讲，我们讨论了步态特异性对比框架的关键问题，并提供了一些进一步研究的见解。据我们所知，Gaitlu-1M是第一个大规模未标记的步态数据集，而GaitSSB是第一种在上述基准测试基准上取得显着无监督结果的方法。 GaitSSB的源代码将集成到OpenGait中，可在https://github.com/shiqiyu/opengait上获得。

目前，现有的步态识别系统专注于从轮廓图像中提取强大的步态特征的开发方法，他们确实取得了巨大的成功。然而，步态可以对衣服和携带物品等外观特征敏感。与基于外观的方法相比，由于对这些变化的稳健性，基于模型的步态识别是有前途的。近年来，随着人类姿势估计的发展，基于模型的步态识别方法的难度已被减轻。在本文中，为了抵抗受试者的增加和视图变化，建立了局部特征，提出了暹罗网络以最大化来自相同主题的样本的距离。我们利用近期行动识别的进步将人类姿势序列嵌入到向量中，并引入空间 - 时间图卷积块（STGCB），该卷积块（STGCB）已经过去用于步态识别的动作识别。在名为OuMVLP-POSE的非常大的人口数据集的实验和流行的DataSet，Casia-B，表明我们的方法在基于模型的步态识别中归档一些最先进的（SOTA）性能。我们的方法的代码和模型可在接受后的https://github.com/timelesnive/gait-for-large-dataset中获得。

现有的步态识别研究以实验室场景为主。由于人们生活在现实世界中，因此野外的步态识别是一个更实用的问题，最近引起了多媒体和计算机视觉社区的关注。在现有基准上获得最先进性能的当前方法在最近提出的野外数据集上的准确性差得多，因为这些方法几乎无法模拟不受约束场景中步态序列的各种时间动力学。因此，本文提出了一种新型的多跳时间开关方法，以实现实际场景中步态模式的有效时间建模。具体来说，我们设计了一个新型的步态识别网络，称为多跳临时交换机网络（MTSGait），以同时学习空间特征和多尺度的时间功能。与现有的3D卷积进行时间建模的方法不同，我们的MTSGAIT通过2D卷积对步态序列的时间动力学进行建模。通过这种方式，与基于3D卷积的模型相比，它以较少的模型参数来达到高效率，并减少了优化的难度。基于2D卷积内核的特定设计，我们的方法可以消除相邻帧之间特征的不对准。此外，提出了一种新的采样策略，即非环保连续采样，以使模型学习更强大的时间特征。最后，与最新方法相比，提出的方法在两个公共步态数据集（即增长和步态3D）上取得了出色的性能。

步态识别是指根据人的身体形状和步行方式对人的识别或识别，这些视频数据是从远处捕获的视频数据中得出的，被广泛用于预防犯罪，法医身份和社会保障中。但是，据我们所知，大多数现有方法都使用外观，姿势和时间feautures，而无需考虑用于全球和局部信息融合的学习时间关注机制。在本文中，我们提出了一个新型的步态识别框架，称为“时间关注”和“关键”引导的嵌入（Gaittake），该框架有效地融合了基于时间注意的全球和局部外观特征以及时间聚集的人类姿势特征。实验结果表明，我们所提出的方法在步态识别中获得了新的SOTA，排名1的准确性为98.0％（正常），97.5％（袋）和92.2％（涂层）（涂层）在CASIA-B GAIT数据集中；OU-MVLP步态数据集的精度为90.4％。

步态识别是一项重要的识别技术，因为步态不容易伪装，也不需要合作来识别受试者。但是，许多现有方法在保留时间信息和细粒度信息方面不足，从而减少了其歧视。当发现具有类似步行姿势的受试者时，这个问题更为严重。在本文中，我们试图增强从两个方面的时空步态特征的区分：有效提取时空步态特征和合理的提取特征细化。因此，提出了我们的方法，它由时空特征提取（SFE）和全局距离比对（GDA）组成。 SFE使用时间特征融合（TFF）和细粒特征提取（FFE），从原始轮廓中有效提取时空特征。 GDA在现实生活中使用大量未标记的步态数据作为优化提取的时空特征的基准。 GDA可以使提取的特征具有较低的阶层间相似性和高层的相似性，从而增强了它们的歧视。对Mini-OUMVLP和CASIA-B进行了广泛的实验，证明我们比某些最新方法的结果更好。

作为一种新兴的生物识别技术，基于视觉的步态鉴定是生物识别中的重要研究含量。大多数现有的步态识别方法从步态视频提取特征，并通过库中的查询识别探测样本。然而，视频数据包含冗余信息，并且可以容易地受到袋装（BG）和衣服（CL）的影响。由于人体骨架传达了有关人类Gaits的基本信息，因此我们的项目中提出了一种基于骨架的步态识别网络。首先，从视频中提取骨架序列并将它们映射到步态图中。然后，构建基于时空图卷积网络（ST-GCN）的特征提取网络以学习步态表示。最后，通过与画廊中最相似的碎片匹配来识别探针样品。我们在Casia-B数据集上测试了我们的方法。结果表明，我们的方法是高度自适应，并获得BG，CL条件和平均的先进结果。

基于IDEO的人重新识别（RE-ID）旨在将以不相交的监视摄像机捕获的视频序列中的人物图像匹配。基于传统的基于视频的人重新ID方法专注于探索外观信息，因此，易受照明变化，场景噪声，摄像机参数以及尤其是衣服/携带变化。步态识别提供隐式生物识别解决方案，以缓解上述头痛。尽管如此，随着相机视图的变化，它会经历严重的性能变性。在此文件中试图解决这些问题，我们提出了一种框架，该框架利用视频中的序列掩模（SEQMASKS），以密切地集成外观信息和步态建模。具体而言，为了充分验证我们方法的有效性，我们构建了基于火星的名为MaskMars的新型数据集。我们提出的大型野生视频RE-ID数据集Maskmars的综合实验证明了我们非凡的性能和泛化能力。步态识别度量Casia-B数据集的验证进一步展示了Hybrid模型的能力。

基于模型的步态识别方法通常采用行人步行姿势来识别人类。但是，由于摄像头视图的改变，现有方法并未明确解决人类姿势的较大阶层差异。在本文中，我们建议通过通过低UPPER生成的对抗网络（Lugan）学习全级转换矩阵来为每个单视姿势样本生成多视图姿势序列。通过摄像机成像的先验，我们得出的是，跨视图之间的空间坐标满足了全级矩阵的线性转换，因此，本文采用了对抗性训练来从源姿势学习转换矩阵，并获得目标视图以获得目标。目标姿势序列。为此，我们实现了由图形卷积（GCN）层组成的发电机，完全连接（FC）层和两支分支卷积（CNN）层：GCN层和FC层编码源姿势序列和目标视图，然后是CNN分支最后，分别学习一个三角形基质和上三角基质，最后它们被乘以制定全级转换矩阵。出于对抗训练的目的，我们进一步设计了一个条件鉴别因子，该条件区分姿势序列是真实的还是产生的。为了启用高级相关性学习，我们提出了一个名为Multi尺度超图卷积（HGC）的插件播放模块，以替换基线中的空间图卷积层，该层可以同时模拟联合级别的部分，部分部分 - 水平和身体水平的相关性。在两个大型步态识别数据集（即CASIA-B和OUMVLP置位）上进行的广泛实验表明，我们的方法的表现优于基线模型，并以一个较大的边距基于基于姿势的方法。

In recent years, the Transformer architecture has shown its superiority in the video-based person re-identification task. Inspired by video representation learning, these methods mainly focus on designing modules to extract informative spatial and temporal features. However, they are still limited in extracting local attributes and global identity information, which are critical for the person re-identification task. In this paper, we propose a novel Multi-Stage Spatial-Temporal Aggregation Transformer (MSTAT) with two novel designed proxy embedding modules to address the above issue. Specifically, MSTAT consists of three stages to encode the attribute-associated, the identity-associated, and the attribute-identity-associated information from the video clips, respectively, achieving the holistic perception of the input person. We combine the outputs of all the stages for the final identification. In practice, to save the computational cost, the Spatial-Temporal Aggregation (STA) modules are first adopted in each stage to conduct the self-attention operations along the spatial and temporal dimensions separately. We further introduce the Attribute-Aware and Identity-Aware Proxy embedding modules (AAP and IAP) to extract the informative and discriminative feature representations at different stages. All of them are realized by employing newly designed self-attention operations with specific meanings. Moreover, temporal patch shuffling is also introduced to further improve the robustness of the model. Extensive experimental results demonstrate the effectiveness of the proposed modules in extracting the informative and discriminative information from the videos, and illustrate the MSTAT can achieve state-of-the-art accuracies on various standard benchmarks.

步态情绪识别在智能系统中起着至关重要的作用。大多数现有方法通过随着时间的推移专注于当地行动来识别情绪。但是，他们忽略了时间域中不同情绪的有效距离是不同的，而且步行过程中的当地行动非常相似。因此，情绪应由全球状态而不是间接的本地行动代表。为了解决这些问题，这项工作通过构建动态的时间接受场并设计多尺度信息聚集以识别情绪，从而在这项工作中介绍了新型的多量表自适应图卷积网络（MSA-GCN）。在我们的模型中，自适应选择性时空图卷积旨在动态选择卷积内核，以获得不同情绪的软时空特征。此外，跨尺度映射融合机制（CSFM）旨在构建自适应邻接矩阵，以增强信息相互作用并降低冗余。与以前的最先进方法相比，所提出的方法在两个公共数据集上实现了最佳性能，将地图提高了2 \％。我们还进行了广泛的消融研究，以显示不同组件在我们的方法中的有效性。

通常，基于生物谱系的控制系统可能不依赖于各个预期行为或合作适当运行。相反，这种系统应该了解未经授权的访问尝试的恶意程序。文献中提供的一些作品建议通过步态识别方法来解决问题。这些方法旨在通过内在的可察觉功能来识别人类，尽管穿着衣服或配件。虽然该问题表示相对长时间的挑战，但是为处理问题的大多数技术存在与特征提取和低分类率相关的几个缺点，以及其他问题。然而，最近的深度学习方法是一种强大的一组工具，可以处理几乎任何图像和计算机视觉相关问题，为步态识别提供最重要的结果。因此，这项工作提供了通过步态认可的关于生物识别检测的最近作品的调查汇编，重点是深入学习方法，强调他们的益处，暴露出弱点。此外，它还呈现用于解决相关约束的数据集，方法和体系结构的分类和表征描述。

步态是长距离识别个体的最有前途的生物识别技术之一。尽管大多数以前的方法都集中在识别轮廓上，但直接从RGB图像中提取步态特征的几种端到端方法表现更好。但是，我们证明了这些端到端方法可能不可避免地会遭受步态液化的噪音，即低级纹理和丰富多彩的信息。在实验上，我们设计了跨域评估以支持这种观点。在这项工作中，我们提出了一个名为Gaitedge的新颖端到端框架，该框架可以有效地阻止步态 - 近距离信息并发布端到端训练潜力。具体而言，Gaitede合成了行人分割网络的输出，然后将其馈送到随后的识别网络中，在该网络中，合成轮廓由身体的可训练边缘和固定内部室内装饰组成，以限制识别网络接收的信息。此外，对齐轮廓的步态嵌入了盖地，而不会失去不同的性能。关于CASIA-B和我们新建的TTG-200的实验结果表明，Gaitedge明显优于先前的方法，并提供了更实用的端到端范式。所有源代码均可在https://github.com/shiqiyu/opengait上获得。

人类相互作用的分析是人类运动分析的一个重要研究主题。它已经使用第一人称视觉（FPV）或第三人称视觉（TPV）进行了研究。但是，到目前为止，两种视野的联合学习几乎没有引起关注。原因之一是缺乏涵盖FPV和TPV的合适数据集。此外，FPV或TPV的现有基准数据集具有多个限制，包括样本数量有限，参与者，交互类别和模态。在这项工作中，我们贡献了一个大规模的人类交互数据集，即FT-HID数据集。 FT-HID包含第一人称和第三人称愿景的成对对齐的样本。该数据集是从109个不同受试者中收集的，并具有三种模式的90K样品。该数据集已通过使用几种现有的动作识别方法验证。此外，我们还引入了一种新型的骨骼序列的多视图交互机制，以及针对第一人称和第三人称视野的联合学习多流框架。两种方法都在FT-HID数据集上产生有希望的结果。可以预期，这一视力一致的大规模数据集的引入将促进FPV和TPV的发展，以及他们用于人类行动分析的联合学习技术。该数据集和代码可在\ href {https://github.com/endlichere/ft-hid} {here} {herefichub.com/endlichere.com/endlichere}中获得。

步态识别在预防犯罪和社会保障方面起了重要作用，因为它可以在不合作的情况下以远距离进行。但是，现有的数据集和方法无法有效地处理实际步态识别中最具挑战性的问题：穿着不同的衣服行走（CL）。为了解决这个问题，我们提出了两个基准：CASIA-BN-RCC和OUMVLP-RCC，以模拟实践中的布换状态。这两个基准可以迫使该算法与两个子数据集实现交叉视图和交叉插入。此外，我们提出了一个新框架，可以使用现成的骨干进行应用，以在渐进式功能学习中改善其在逼真的换衣服问题中的性能。具体而言，在我们的框架中，我们设计了渐进式映射和渐进的不确定性，以提取交叉视图功能，然后根据基础提取交叉插入功能。通过这种方式，跨视图子数据库的特征首先可以主导特征空间，并缓解由跨夹子子数据库的不良效应引起的不均匀分布。基准上的实验表明，我们的框架可以有效地改善CL条件下的识别性能。接受后，我们的代码和数据集将在接受后发布。