布换人员重新识别（CC-REID）旨在在长时间匹配不同地点的同一个人，例如，超过日子，因此不可避免地满足换衣服的挑战。在本文中，我们专注于处理更具有挑战性的环境下的CC-Reid问题，即，只有一个图像，它可以实现高效和延迟的行人确定实时监控应用。具体而言，我们将步态识别作为辅助任务来驱动图像Reid模型来通过利用个人独特和独立布的步态信息来学习布不可知的表现，我们将此框架命名为Gi-Reid。 Gi-Reid采用两流架构，该架构由图像Reid-Stream和辅助步态识别流（步态流）组成。在推理的高计算效率中丢弃的步态流充当调节器，以鼓励在训练期间捕获捕获布不变的生物识别运动特征。为了从单个图像获取时间连续运动提示，我们设计用于步态流的步态序列预测（GSP）模块，以丰富步态信息。最后，为有效的知识正则化强制执行两个流的高级语义一致性。基于多种图像的布更换Reid基准测试的实验，例如LTCC，PRCC，Real28和VC衣服，证明了GI-REID对最先进的人来说。代码在https://github.com/jinx-ustc/gi -reid提供。

人的步态被认为是一种独特的生物识别标识符，其可以在距离处以覆盖方式获取。但是，在受控场景中捕获的现有公共领域步态数据集接受的模型导致应用于现实世界无约束步态数据时的剧烈性能下降。另一方面，视频人员重新识别技术在大规模公共可用数据集中实现了有希望的性能。鉴于服装特性的多样性，衣物提示对于人们的认可不可靠。因此，实际上尚不清楚为什么最先进的人重新识别方法以及他们的工作。在本文中，我们通过从现有的视频人重新识别挑战中提取剪影来构建一个新的步态数据集，该挑战包括1,404人以不受约束的方式行走。基于该数据集，可以进行步态认可与人重新识别之间的一致和比较研究。鉴于我们的实验结果表明，目前在受控情景收集的数据下设计的目前的步态识别方法不适合真实监视情景，我们提出了一种名为Realgait的新型步态识别方法。我们的结果表明，在实际监视情景中识别人的步态是可行的，并且潜在的步态模式可能是视频人重新设计在实践中的真正原因。

步态描绘了个人独特而区别的步行模式，并已成为人类识别最有希望的生物识别特征之一。作为一项精细的识别任务，步态识别很容易受到许多因素的影响，并且通常需要大量完全注释的数据，这些数据是昂贵且无法满足的。本文提出了一个大规模的自我监督基准，以通过对比度学习进行步态识别，旨在通过提供信息丰富的步行先验和各种现实世界中的多样化的变化，从大型的无标记的步行视频中学习一般步态代表。具体而言，我们收集了一个由1.02m步行序列组成的大规模的无标记的步态数据集gaitu-1m，并提出了一个概念上简单而经验上强大的基线模型步态。在实验上，我们在四个广泛使用的步态基准（Casia-B，Ou-Mvlp，Grew and Grew and Gait3d）上评估了预训练的模型，或者在不转移学习的情况下。无监督的结果与基于早期模型和基于GEI的早期方法相当甚至更好。在转移学习后，我们的方法在大多数情况下都超过现有方法。从理论上讲，我们讨论了步态特异性对比框架的关键问题，并提供了一些进一步研究的见解。据我们所知，Gaitlu-1M是第一个大规模未标记的步态数据集，而GaitSSB是第一种在上述基准测试基准上取得显着无监督结果的方法。 GaitSSB的源代码将集成到OpenGait中，可在https://github.com/shiqiyu/opengait上获得。

步态识别旨在通过相机来识别一个距离的人。随着深度学习的出现，步态识别的重大进步通过使用深度学习技术在许多情况下取得了鼓舞人心的成功。然而，对视频监视的越来越多的需求引入了更多的挑战，包括在各种方差下进行良好的识别，步态序列中的运动信息建模，由于协议方差，生物量标准安全性和预防隐私而引起的不公平性能比较。本文对步态识别的深度学习进行了全面的调查。我们首先介绍了从传统算法到深层模型的步态识别的奥德赛，从而提供了对步态识别系统的整个工作流程的明确知识。然后，从深度表示和建筑的角度讨论了步态识别的深入学习，并深入摘要。具体而言，深层步态表示分为静态和动态特征，而深度体系结构包括单流和多流架构。遵循我们提出的新颖性分类法，它可能有益于提供灵感并促进对步态认识的感知。此外，我们还提供了所有基于视觉的步态数据集和性能分析的全面摘要。最后，本文讨论了一些潜在潜在前景的开放问题。

Person re-identification (Re-ID) aims at retrieving a person of interest across multiple non-overlapping cameras. With the advancement of deep neural networks and increasing demand of intelligent video surveillance, it has gained significantly increased interest in the computer vision community. By dissecting the involved components in developing a person Re-ID system, we categorize it into the closed-world and open-world settings. The widely studied closed-world setting is usually applied under various research-oriented assumptions, and has achieved inspiring success using deep learning techniques on a number of datasets. We first conduct a comprehensive overview with in-depth analysis for closed-world person Re-ID from three different perspectives, including deep feature representation learning, deep metric learning and ranking optimization. With the performance saturation under closed-world setting, the research focus for person Re-ID has recently shifted to the open-world setting, facing more challenging issues. This setting is closer to practical applications under specific scenarios. We summarize the open-world Re-ID in terms of five different aspects. By analyzing the advantages of existing methods, we design a powerful AGW baseline, achieving state-of-the-art or at least comparable performance on twelve datasets for FOUR different Re-ID tasks. Meanwhile, we introduce a new evaluation metric (mINP) for person Re-ID, indicating the cost for finding all the correct matches, which provides an additional criteria to evaluate the Re-ID system for real applications. Finally, some important yet under-investigated open issues are discussed.

现有的步态识别研究以实验室场景为主。由于人们生活在现实世界中，因此野外的步态识别是一个更实用的问题，最近引起了多媒体和计算机视觉社区的关注。在现有基准上获得最先进性能的当前方法在最近提出的野外数据集上的准确性差得多，因为这些方法几乎无法模拟不受约束场景中步态序列的各种时间动力学。因此，本文提出了一种新型的多跳时间开关方法，以实现实际场景中步态模式的有效时间建模。具体来说，我们设计了一个新型的步态识别网络，称为多跳临时交换机网络（MTSGait），以同时学习空间特征和多尺度的时间功能。与现有的3D卷积进行时间建模的方法不同，我们的MTSGAIT通过2D卷积对步态序列的时间动力学进行建模。通过这种方式，与基于3D卷积的模型相比，它以较少的模型参数来达到高效率，并减少了优化的难度。基于2D卷积内核的特定设计，我们的方法可以消除相邻帧之间特征的不对准。此外，提出了一种新的采样策略，即非环保连续采样，以使模型学习更强大的时间特征。最后，与最新方法相比，提出的方法在两个公共步态数据集（即增长和步态3D）上取得了出色的性能。

近年来，随着对公共安全的需求越来越多，智能监测网络的快速发展，人员重新识别（RE-ID）已成为计算机视野领域的热门研究主题之一。人员RE-ID的主要研究目标是从不同的摄像机中检索具有相同身份的人。但是，传统的人重新ID方法需要手动标记人的目标，这消耗了大量的劳动力成本。随着深度神经网络的广泛应用，出现了许多基于深入的基于学习的人物的方法。因此，本文促进研究人员了解最新的研究成果和该领域的未来趋势。首先，我们总结了对几个最近公布的人的研究重新ID调查，并补充了系统地分类基于深度学习的人的重新ID方法的最新研究方法。其次，我们提出了一种多维分类，根据度量标准和表示学习，将基于深度学习的人的重新ID方法分为四类，包括深度度量学习，本地特征学习，生成的对抗学习和序列特征学习的方法。此外，我们根据其方法和动机来细分以上四类，讨论部分子类别的优缺点。最后，我们讨论了一些挑战和可能的研究方向的人重新ID。

Gait recognition, which identifies individuals based on their walking patterns, is an important biometric technique since it can be observed from a distance and does not require the subject's cooperation. Recognizing a person's gait is difficult because of the appearance variants in human silhouette sequences produced by varying viewing angles, carrying objects, and clothing. Recent research has produced a number of ways for coping with these variants. In this paper, we present the usage of inferring 3-D body shapes distilled from limited images, which are, in principle, invariant to the specified variants. Inference of 3-D shape is a difficult task, especially when only silhouettes are provided in a dataset. We provide a method for learning 3-D body inference from silhouettes by transferring knowledge from 3-D shape prior from RGB photos. We use our method on multiple existing state-of-the-art gait baselines and obtain consistent improvements for gait identification on two public datasets, CASIA-B and OUMVLP, on several variants and settings, including a new setting of novel views not seen during training.

步态识别的关键目标是从步态序列中获取框架间的步行习惯代表。但是，与框架内特征相比，框架之间的关系尚未得到足够的关注。在本文中，出于光流的动​​机，提出了双边运动导向的特征，这可以使经典的卷积结构具有直接在功能级别上直接描绘步态运动模式的能力。基于此类特征，我们开发了一组多尺度的时间表示，迫使运动上下文在各个时间分辨率上都可以丰富描述。此外，设计了一个校正块，以消除轮廓的分割噪声，以获取更精确的步态信息。随后，将时间特征集和空间特征组合在一起，以全面地表征步态过程。广泛的实验是在CASIA-B和OU-MVLP数据集上进行的，结果实现了出色的识别性能，这证明了该方法的有效性。

步态是长距离识别个体的最有前途的生物识别技术之一。尽管大多数以前的方法都集中在识别轮廓上，但直接从RGB图像中提取步态特征的几种端到端方法表现更好。但是，我们证明了这些端到端方法可能不可避免地会遭受步态液化的噪音，即低级纹理和丰富多彩的信息。在实验上，我们设计了跨域评估以支持这种观点。在这项工作中，我们提出了一个名为Gaitedge的新颖端到端框架，该框架可以有效地阻止步态 - 近距离信息并发布端到端训练潜力。具体而言，Gaitede合成了行人分割网络的输出，然后将其馈送到随后的识别网络中，在该网络中，合成轮廓由身体的可训练边缘和固定内部室内装饰组成，以限制识别网络接收的信息。此外，对齐轮廓的步态嵌入了盖地，而不会失去不同的性能。关于CASIA-B和我们新建的TTG-200的实验结果表明，Gaitedge明显优于先前的方法，并提供了更实用的端到端范式。所有源代码均可在https://github.com/shiqiyu/opengait上获得。

In recent years, the Transformer architecture has shown its superiority in the video-based person re-identification task. Inspired by video representation learning, these methods mainly focus on designing modules to extract informative spatial and temporal features. However, they are still limited in extracting local attributes and global identity information, which are critical for the person re-identification task. In this paper, we propose a novel Multi-Stage Spatial-Temporal Aggregation Transformer (MSTAT) with two novel designed proxy embedding modules to address the above issue. Specifically, MSTAT consists of three stages to encode the attribute-associated, the identity-associated, and the attribute-identity-associated information from the video clips, respectively, achieving the holistic perception of the input person. We combine the outputs of all the stages for the final identification. In practice, to save the computational cost, the Spatial-Temporal Aggregation (STA) modules are first adopted in each stage to conduct the self-attention operations along the spatial and temporal dimensions separately. We further introduce the Attribute-Aware and Identity-Aware Proxy embedding modules (AAP and IAP) to extract the informative and discriminative feature representations at different stages. All of them are realized by employing newly designed self-attention operations with specific meanings. Moreover, temporal patch shuffling is also introduced to further improve the robustness of the model. Extensive experimental results demonstrate the effectiveness of the proposed modules in extracting the informative and discriminative information from the videos, and illustrate the MSTAT can achieve state-of-the-art accuracies on various standard benchmarks.

改变布料的人重新识别（REID）是一个新出现的研究主题，旨在检索换衣服的行人。由于带有不同衣服的人类外观表现出较大的变化，因此现有方法很难提取歧视性和健壮的特征表示。当前的作品主要集中在身体形状或轮廓草图上，但是人类的语义信息以及换衣服之前和之后的行人特征的潜在一致性未被充分探索或被忽略。为了解决这些问题，在这项工作中，提出了一种新颖的语义意识到的注意力和视觉屏蔽网络，用于换衣服的人Reid（缩写为SAV），其中关键的想法是屏蔽与衣服外观相关的线索，只关注衣服的外观对视图/姿势变化不敏感的视觉语义信息。具体而言，首先采用了视觉语义编码器来基于人类语义分割信息来定位人体和服装区域。然后，提出了人类的语义注意模块（HSA），以突出显示人类的语义信息并重新授予视觉特征图。此外，视觉服装屏蔽模块（VCS）还旨在通过覆盖衣服区域并将模型集中在与衣服无关的视觉语义信息上来提取更健壮的特征代表。最重要的是，这两个模块在端到端统一框架中共同探索。广泛的实验表明，所提出的方法可以显着胜过最先进的方法，并且可以为换衣的人提取更健壮的特征。与FSAM（在CVPR 2021中发布）相比，该方法可以分别在LTCC和PRCC数据集上以MAP（RANK-1）的形式获得32.7％（16.5％）和14.9％（ - ）。

计算机视觉任务可以从估计突出物区域和这些对象区域之间的相互作用中受益。识别对象区域涉及利用预借鉴模型来执行对象检测，对象分割和/或对象姿势估计。但是，由于以下原因，在实践中不可行：1）预用模型的训练数据集的对象类别可能不会涵盖一般计算机视觉任务的所有对象类别，2）佩戴型模型训练数据集之间的域间隙并且目标任务的数据集可能会影响性能，3）预磨模模型中存在的偏差和方差可能泄漏到导致无意中偏置的目标模型的目标任务中。为了克服这些缺点，我们建议利用一系列视频帧捕获一组公共对象和它们之间的相互作用的公共基本原理，因此视频帧特征之间的共分割的概念可以用自动的能力装配模型专注于突出区域，以最终的方式提高潜在的任务的性能。在这方面，我们提出了一种称为“共分割激活模块”（COSAM）的通用模块，其可以被插入任何CNN，以促进基于CNN的任何CNN的概念在一系列视频帧特征中的关注。我们在三个基于视频的任务中展示Cosam的应用即1）基于视频的人Re-ID，2）视频字幕分类，并证明COSAM能够在视频帧中捕获突出区域，从而引导对于显着的性能改进以及可解释的关注图。

作为人类识别的重要生物标志物，可以通过被动传感器在没有主题合作的情况下以远距离收集人步态，这在预防犯罪，安全检测和其他人类识别应用中起着至关重要的作用。目前，大多数研究工作都是基于相机和计算机视觉技术来执行步态识别的。但是，在面对不良的照明时，基于视觉的方法并不可靠，导致性能降解。在本文中，我们提出了一种新型的多模式步态识别方法，即gaitfi，该方法利用WiFi信号和视频进行人类识别。在GAITFI中，收集了反映WiFi多路径传播的通道状态信息（CSI），以捕获人体步态，而视频则由相机捕获。为了了解强大的步态信息，我们建议使用轻量级残留卷积网络（LRCN）作为骨干网络，并通过集成WiFi和Vision功能来进一步提出两流性gaitfi，以进行步态检索任务。通过在不同级别的特征上的三胞胎损失和分类损失进行训练。广泛的实验是在现实世界中进行的，该实验表明，基于单个WiFi或摄像机的GAITFI优于最先进的步态识别方法，对于12个受试者的人类识别任务而达到94.2％。

人重新识别是识别非重叠摄像机的个体的问题。尽管在重新识别问题中取得了显着进展，但由于同一人的外观变化以及其他外观相似的人，这仍然是一个具有挑战性的问题。一些先前的作品通过将正样本的特征与负面的特征分开来解决这些问题。但是，现有模型的性能在很大程度上取决于用于培训的样品的特征和统计数据。因此，我们提出了一个名为“采样独立鲁棒特征表示网络”（sirnet）的新型框架，该框架学习了从随机选择的样品中嵌入的分离特征。对精心设计的采样独立的最大差异损失引入了与集群同一人的模型样本。结果，所提出的框架可以使用学识渊博的功能产生额外的硬质量/积极因素，从而可以更好地辨别其他身份。大规模基准数据集的广泛实验结果验证了所提出的模型比以前的最新模型更有效。

Person recognition at a distance entails recognizing the identity of an individual appearing in images or videos collected by long-range imaging systems such as drones or surveillance cameras. Despite recent advances in deep convolutional neural networks (DCNNs), this remains challenging. Images or videos collected by long-range cameras often suffer from atmospheric turbulence, blur, low-resolution, unconstrained poses, and poor illumination. In this paper, we provide a brief survey of recent advances in person recognition at a distance. In particular, we review recent work in multi-spectral face verification, person re-identification, and gait-based analysis techniques. Furthermore, we discuss the merits and drawbacks of existing approaches and identify important, yet under explored challenges for deploying remote person recognition systems in-the-wild.

步态识别旨在识别个人特定的步行模式，这高度取决于观察到每个身体部分的不同周期运动。但是，大多数现有方法都平等处理每个部分，并忽略了由于步态序列的高采样率而忽略了数据冗余。在这项工作中，我们提出了一个细粒运动表示网络（GAITFM），以提高三个方面的步态识别性能。首先，细粒部分序列学习（FPSL）模块旨在探索独立于部分的时空表示。其次，一种称为局部运动聚集（LMA）的框架压缩策略用于增强运动变化。最后，加权的广义平均池（WGEM）层可自适应地在空间下采样中保持更多的判别信息。在两个公共数据集Casia-B和OUMVLP上进行的实验表明，我们的方法达到了最先进的表现。在CASIA-B数据集上，我们的方法可实现正常步行，袋装行走和带外套行走的98.0％，95.7％和87.9％的排名1精度。在OUMVLP数据集上，我们的方法的排名准确性为90.5％。

步态识别能够实现长途且无接触式识别，是一项重要的生物识别技术。最近的步态识别方法着重于学习步行过程中人类运动或外观的模式，并构建相应的时空表示。但是，不同的个体有自己的运动模式定律，简单的时空特征很难描述人类部位运动的变化，尤其是当包括服装和携带等混淆变量时，可以降低特征的区分性。在本文中，我们提出了运动激发模块（MEM）来指导时空特征，以专注于具有较大动态变化的人类部位，MEM了解框架和间隔之间的差异信息，以获得时间运动变化的表示形式，值得一提的是，MEM可以适应不确定长度的帧序列，并且不会添加任何其他参数。此外，我们提出了精细的提取器（FFE），该提取器（FFE）独立地根据个体的不同水平部分学习人体的时空表示。受益于MEM和FFE，我们的方法创新地结合了运动变化信息，从而显着改善了在跨外观条件下模型的性能。在流行的数据集Casia-B上，我们提出的运动步态比现有的步态识别方法更好。

感谢您的跨模式检索技术，通过将它们投射到一个共同的空间中，可以在24小时的监视系统中重新进行重新识别，从而实现了可见的信号（RGB-IR）重新识别（RE-ID）。但是，关于探测到探测器，几乎所有现有的基于RGB-IR的跨模式人RE-ID方法都集中在图像到图像匹配上，而视频对视频匹配包含更丰富的空间 - 和时间信息仍未探索。在本文中，我们主要研究基于视频的跨模式人Re-ID方法。为了实现这项任务，构建了一个基于视频的RGB-IR数据集，其中927个有效身份，具有463,259帧和21,863个曲目，由12个RGB/IR摄像机捕获。基于我们构造的数据集，我们证明，随着曲目中帧的增加，该性能确实达到了更多的增强功能，证明了视频对视频匹配在RGB-IR RE-ID中的重要性。此外，进一步提出了一种新颖的方法，不仅将两种模态投射到模态不变子空间，而且还提取了运动不变的时间记忆。多亏了这两种策略，我们基于视频的跨模式人重新ID取得了更好的结果。代码和数据集以：https：//github.com/vcmproject233/mitml发布。

基于IDEO的人重新识别（RE-ID）旨在将以不相交的监视摄像机捕获的视频序列中的人物图像匹配。基于传统的基于视频的人重新ID方法专注于探索外观信息，因此，易受照明变化，场景噪声，摄像机参数以及尤其是衣服/携带变化。步态识别提供隐式生物识别解决方案，以缓解上述头痛。尽管如此，随着相机视图的变化，它会经历严重的性能变性。在此文件中试图解决这些问题，我们提出了一种框架，该框架利用视频中的序列掩模（SEQMASKS），以密切地集成外观信息和步态建模。具体而言，为了充分验证我们方法的有效性，我们构建了基于火星的名为MaskMars的新型数据集。我们提出的大型野生视频RE-ID数据集Maskmars的综合实验证明了我们非凡的性能和泛化能力。步态识别度量Casia-B数据集的验证进一步展示了Hybrid模型的能力。