In video person re-identification (Re-ID), the network must consistently extract features of the target person from successive frames. Existing methods tend to focus only on how to use temporal information, which often leads to networks being fooled by similar appearances and same backgrounds. In this paper, we propose a Disentanglement and Switching and Aggregation Network (DSANet), which segregates the features representing identity and features based on camera characteristics, and pays more attention to ID information. We also introduce an auxiliary task that utilizes a new pair of features created through switching and aggregation to increase the network's capability for various camera scenarios. Furthermore, we devise a Target Localization Module (TLM) that extracts robust features against a change in the position of the target according to the frame flow and a Frame Weight Generation (FWG) that reflects temporal information in the final representation. Various loss functions for disentanglement learning are designed so that each component of the network can cooperate while satisfactorily performing its own role. Quantitative and qualitative results from extensive experiments demonstrate the superiority of DSANet over state-of-the-art methods on three benchmark datasets.

感谢您的跨模式检索技术，通过将它们投射到一个共同的空间中，可以在24小时的监视系统中重新进行重新识别，从而实现了可见的信号（RGB-IR）重新识别（RE-ID）。但是，关于探测到探测器，几乎所有现有的基于RGB-IR的跨模式人RE-ID方法都集中在图像到图像匹配上，而视频对视频匹配包含更丰富的空间 - 和时间信息仍未探索。在本文中，我们主要研究基于视频的跨模式人Re-ID方法。为了实现这项任务，构建了一个基于视频的RGB-IR数据集，其中927个有效身份，具有463,259帧和21,863个曲目，由12个RGB/IR摄像机捕获。基于我们构造的数据集，我们证明，随着曲目中帧的增加，该性能确实达到了更多的增强功能，证明了视频对视频匹配在RGB-IR RE-ID中的重要性。此外，进一步提出了一种新颖的方法，不仅将两种模态投射到模态不变子空间，而且还提取了运动不变的时间记忆。多亏了这两种策略，我们基于视频的跨模式人重新ID取得了更好的结果。代码和数据集以：https：//github.com/vcmproject233/mitml发布。

近年来，随着对公共安全的需求越来越多，智能监测网络的快速发展，人员重新识别（RE-ID）已成为计算机视野领域的热门研究主题之一。人员RE-ID的主要研究目标是从不同的摄像机中检索具有相同身份的人。但是，传统的人重新ID方法需要手动标记人的目标，这消耗了大量的劳动力成本。随着深度神经网络的广泛应用，出现了许多基于深入的基于学习的人物的方法。因此，本文促进研究人员了解最新的研究成果和该领域的未来趋势。首先，我们总结了对几个最近公布的人的研究重新ID调查，并补充了系统地分类基于深度学习的人的重新ID方法的最新研究方法。其次，我们提出了一种多维分类，根据度量标准和表示学习，将基于深度学习的人的重新ID方法分为四类，包括深度度量学习，本地特征学习，生成的对抗学习和序列特征学习的方法。此外，我们根据其方法和动机来细分以上四类，讨论部分子类别的优缺点。最后，我们讨论了一些挑战和可能的研究方向的人重新ID。

Person re-identification (Re-ID) aims at retrieving a person of interest across multiple non-overlapping cameras. With the advancement of deep neural networks and increasing demand of intelligent video surveillance, it has gained significantly increased interest in the computer vision community. By dissecting the involved components in developing a person Re-ID system, we categorize it into the closed-world and open-world settings. The widely studied closed-world setting is usually applied under various research-oriented assumptions, and has achieved inspiring success using deep learning techniques on a number of datasets. We first conduct a comprehensive overview with in-depth analysis for closed-world person Re-ID from three different perspectives, including deep feature representation learning, deep metric learning and ranking optimization. With the performance saturation under closed-world setting, the research focus for person Re-ID has recently shifted to the open-world setting, facing more challenging issues. This setting is closer to practical applications under specific scenarios. We summarize the open-world Re-ID in terms of five different aspects. By analyzing the advantages of existing methods, we design a powerful AGW baseline, achieving state-of-the-art or at least comparable performance on twelve datasets for FOUR different Re-ID tasks. Meanwhile, we introduce a new evaluation metric (mINP) for person Re-ID, indicating the cost for finding all the correct matches, which provides an additional criteria to evaluate the Re-ID system for real applications. Finally, some important yet under-investigated open issues are discussed.

In recent years, the Transformer architecture has shown its superiority in the video-based person re-identification task. Inspired by video representation learning, these methods mainly focus on designing modules to extract informative spatial and temporal features. However, they are still limited in extracting local attributes and global identity information, which are critical for the person re-identification task. In this paper, we propose a novel Multi-Stage Spatial-Temporal Aggregation Transformer (MSTAT) with two novel designed proxy embedding modules to address the above issue. Specifically, MSTAT consists of three stages to encode the attribute-associated, the identity-associated, and the attribute-identity-associated information from the video clips, respectively, achieving the holistic perception of the input person. We combine the outputs of all the stages for the final identification. In practice, to save the computational cost, the Spatial-Temporal Aggregation (STA) modules are first adopted in each stage to conduct the self-attention operations along the spatial and temporal dimensions separately. We further introduce the Attribute-Aware and Identity-Aware Proxy embedding modules (AAP and IAP) to extract the informative and discriminative feature representations at different stages. All of them are realized by employing newly designed self-attention operations with specific meanings. Moreover, temporal patch shuffling is also introduced to further improve the robustness of the model. Extensive experimental results demonstrate the effectiveness of the proposed modules in extracting the informative and discriminative information from the videos, and illustrate the MSTAT can achieve state-of-the-art accuracies on various standard benchmarks.

Systems for person re-identification (ReID) can achieve a high accuracy when trained on large fully-labeled image datasets. However, the domain shift typically associated with diverse operational capture conditions (e.g., camera viewpoints and lighting) may translate to a significant decline in performance. This paper focuses on unsupervised domain adaptation (UDA) for video-based ReID - a relevant scenario that is less explored in the literature. In this scenario, the ReID model must adapt to a complex target domain defined by a network of diverse video cameras based on tracklet information. State-of-art methods cluster unlabeled target data, yet domain shifts across target cameras (sub-domains) can lead to poor initialization of clustering methods that propagates noise across epochs, thus preventing the ReID model to accurately associate samples of same identity. In this paper, an UDA method is introduced for video person ReID that leverages knowledge on video tracklets, and on the distribution of frames captured over target cameras to improve the performance of CNN backbones trained using pseudo-labels. Our method relies on an adversarial approach, where a camera-discriminator network is introduced to extract discriminant camera-independent representations, facilitating the subsequent clustering. In addition, a weighted contrastive loss is proposed to leverage the confidence of clusters, and mitigate the risk of incorrect identity associations. Experimental results obtained on three challenging video-based person ReID datasets - PRID2011, iLIDS-VID, and MARS - indicate that our proposed method can outperform related state-of-the-art methods. Our code is available at: \url{https://github.com/dmekhazni/CAWCL-ReID}

从图像中学习代表，健壮和歧视性信息对于有效的人重新识别（RE-ID）至关重要。在本文中，我们提出了一种基于身体和手部图像的人重新ID的端到端判别深度学习的复合方法。我们仔细设计了本地感知的全球注意力网络（Laga-Net），这是一个多分支深度网络架构，由一个用于空间注意力的分支组成，一个用于渠道注意。注意分支集中在图像的相关特征上，同时抑制了无关紧要的背景。为了克服注意力机制的弱点，与像素改组一样，我们将相对位置编码整合到空间注意模块中以捕获像素的空间位置。全球分支机构打算保留全球环境或结构信息。对于打算捕获细粒度信息的本地分支，我们进行统一的分区以水平在Conv-Layer上生成条纹。我们通过执行软分区来检索零件，而无需明确分区图像或需要外部线索，例如姿势估计。一组消融研究表明，每个组件都会有助于提高拉加网络的性能。对四个受欢迎的人体重新ID基准和两个公开可用的手数据集的广泛评估表明，我们的建议方法始终优于现有的最新方法。

人重新识别（Reid）旨在从不同摄像机捕获的图像中检索一个人。对于基于深度学习的REID方法，已经证明，使用本地特征与人物图像的全局特征可以帮助为人员检索提供强大的特征表示。人类的姿势信息可以提供人体骨架的位置，有效地指导网络在这些关键领域更加关注这些关键领域，也可能有助于减少来自背景或闭塞的噪音分散。然而，先前与姿势相关的作品提出的方法可能无法充分利用姿势信息的好处，并没有考虑不同当地特征的不同贡献。在本文中，我们提出了一种姿势引导图注意网络，一个多分支架构，包括一个用于全局特征的一个分支，一个用于中粒体特征的一个分支，一个分支用于细粒度关键点特征。我们使用预先训练的姿势估计器来生成本地特征学习的关键点热图，并仔细设计图表卷积层以通过建模相似关系来重新评估提取的本地特征的贡献权重。实验结果表明我们对歧视特征学习的方法的有效性，我们表明我们的模型在几个主流评估数据集上实现了最先进的表演。我们还对我们的网络进行了大量的消融研究和设计不同类型的比较实验，以证明其有效性和鲁棒性，包括整体数据集，部分数据集，遮挡数据集和跨域测试。

人重新识别是识别非重叠摄像机的个体的问题。尽管在重新识别问题中取得了显着进展，但由于同一人的外观变化以及其他外观相似的人，这仍然是一个具有挑战性的问题。一些先前的作品通过将正样本的特征与负面的特征分开来解决这些问题。但是，现有模型的性能在很大程度上取决于用于培训的样品的特征和统计数据。因此，我们提出了一个名为“采样独立鲁棒特征表示网络”（sirnet）的新型框架，该框架学习了从随机选择的样品中嵌入的分离特征。对精心设计的采样独立的最大差异损失引入了与集群同一人的模型样本。结果，所提出的框架可以使用学识渊博的功能产生额外的硬质量/积极因素，从而可以更好地辨别其他身份。大规模基准数据集的广泛实验结果验证了所提出的模型比以前的最新模型更有效。

计算机视觉任务可以从估计突出物区域和这些对象区域之间的相互作用中受益。识别对象区域涉及利用预借鉴模型来执行对象检测，对象分割和/或对象姿势估计。但是，由于以下原因，在实践中不可行：1）预用模型的训练数据集的对象类别可能不会涵盖一般计算机视觉任务的所有对象类别，2）佩戴型模型训练数据集之间的域间隙并且目标任务的数据集可能会影响性能，3）预磨模模型中存在的偏差和方差可能泄漏到导致无意中偏置的目标模型的目标任务中。为了克服这些缺点，我们建议利用一系列视频帧捕获一组公共对象和它们之间的相互作用的公共基本原理，因此视频帧特征之间的共分割的概念可以用自动的能力装配模型专注于突出区域，以最终的方式提高潜在的任务的性能。在这方面，我们提出了一种称为“共分割激活模块”（COSAM）的通用模块，其可以被插入任何CNN，以促进基于CNN的任何CNN的概念在一系列视频帧特征中的关注。我们在三个基于视频的任务中展示Cosam的应用即1）基于视频的人Re-ID，2）视频字幕分类，并证明COSAM能够在视频帧中捕获突出区域，从而引导对于显着的性能改进以及可解释的关注图。

现有的步态识别研究以实验室场景为主。由于人们生活在现实世界中，因此野外的步态识别是一个更实用的问题，最近引起了多媒体和计算机视觉社区的关注。在现有基准上获得最先进性能的当前方法在最近提出的野外数据集上的准确性差得多，因为这些方法几乎无法模拟不受约束场景中步态序列的各种时间动力学。因此，本文提出了一种新型的多跳时间开关方法，以实现实际场景中步态模式的有效时间建模。具体来说，我们设计了一个新型的步态识别网络，称为多跳临时交换机网络（MTSGait），以同时学习空间特征和多尺度的时间功能。与现有的3D卷积进行时间建模的方法不同，我们的MTSGAIT通过2D卷积对步态序列的时间动力学进行建模。通过这种方式，与基于3D卷积的模型相比，它以较少的模型参数来达到高效率，并减少了优化的难度。基于2D卷积内核的特定设计，我们的方法可以消除相邻帧之间特征的不对准。此外，提出了一种新的采样策略，即非环保连续采样，以使模型学习更强大的时间特征。最后，与最新方法相比，提出的方法在两个公共步态数据集（即增长和步态3D）上取得了出色的性能。

人的步态被认为是一种独特的生物识别标识符，其可以在距离处以覆盖方式获取。但是，在受控场景中捕获的现有公共领域步态数据集接受的模型导致应用于现实世界无约束步态数据时的剧烈性能下降。另一方面，视频人员重新识别技术在大规模公共可用数据集中实现了有希望的性能。鉴于服装特性的多样性，衣物提示对于人们的认可不可靠。因此，实际上尚不清楚为什么最先进的人重新识别方法以及他们的工作。在本文中，我们通过从现有的视频人重新识别挑战中提取剪影来构建一个新的步态数据集，该挑战包括1,404人以不受约束的方式行走。基于该数据集，可以进行步态认可与人重新识别之间的一致和比较研究。鉴于我们的实验结果表明，目前在受控情景收集的数据下设计的目前的步态识别方法不适合真实监视情景，我们提出了一种名为Realgait的新型步态识别方法。我们的结果表明，在实际监视情景中识别人的步态是可行的，并且潜在的步态模式可能是视频人重新设计在实践中的真正原因。

被遮挡的人重新识别（RE-ID）旨在解决跨多个摄像机感兴趣的人时解决遮挡问题。随着深度学习技术的促进和对智能视频监视的需求的不断增长，现实世界应用中的频繁闭塞使闭塞的人重新引起了研究人员的极大兴趣。已经提出了大量封闭的人重新ID方法，而很少有针对遮挡的调查。为了填补这一空白并有助于提高未来的研究，本文提供了对封闭者重新ID的系统调查。通过对人体闭塞的深入分析，发现大多数现有方法仅考虑一部分闭塞问题。因此，我们从问题和解决方案的角度回顾了与闭塞相关的人重新ID方法。我们总结了个人重新闭塞引起的四个问题，即位置错位，规模错位，嘈杂的信息和缺失的信息。然后对解决不同问题的闭塞相关方法进行分类和引入。之后，我们总结并比较了四个流行数据集上最近被遮挡的人重新ID方法的性能：部分reid，部分易边，咬合 - 固定和遮挡的dukemtmc。最后，我们提供了有关有希望的未来研究方向的见解。

由于视频帧中存在各种干扰，因此基于视频的人重新识别（REID）具有挑战性。最近的方法使用时间聚合策略来解决此问题。在这项工作中，我们提出了一个新颖的环境感应注意网络（CSA-NET），该网络既改进框架特征提取和时间聚集步骤。首先，我们介绍了上下文传感渠道注意（CSCA）模块，该模块强调了每个帧信息渠道的响应。这些信息通道不仅可以参考每个单独的框架，还可以参考整个序列的内容。因此，CSCA探索了序列的每个帧的个性和全局上下文。其次，我们提出了对比特征聚合（CFA）模块，该模块预测了时间聚集的框架权重。在这里，每个帧的重量是以对比的方式确定的：即，不仅是由每个单独框架的质量，而且还取决于顺序中其他帧的平均质量。因此，它有效地促进了相对良好的框架的贡献。四个数据集的广泛实验结果表明，CSA-NET始终达到最新的性能。

无监督的视频人重新识别（Reid）方法通常取决于全局级别功能。许多监督的Reid方法采用了本地级别的功能，并实现了显着的性能改进。但是，将本地级别的功能应用于无监督的方法可能会引入不稳定的性能。为了提高无监督视频REID的性能稳定，本文介绍了一般方案融合零件模型和无监督的学习。在该方案中，全局级别功能分为等于的本地级别。用于探索无监督学习的本地感知模块以探索对本地级别功能的概括。建议克服本地级别特征的缺点来克服全局感知模块。来自这两个模块的功能融合以形成每个输入图像的鲁棒特征表示。此特征表示具有本地级别功能的优点，而不会遭受其缺点。综合实验是在三个基准上进行的，包括PRID2011，ILIDS-VID和Dukemtmc-Videoreid，结果表明，该方法实现了最先进的性能。广泛的消融研究证明了所提出的计划，本地感知模块和全局感知模块的有效性和稳健性。

具有大量空间和时间跨境的情景中的人重新识别（RE-ID）尚未完全探索。这部分原因是，现有的基准数据集主要由有限的空间和时间范围收集，例如，使用在校园特定区域的相机录制的视频中使用的视频。这种有限的空间和时间范围使得难以模拟真实情景中的人的困难。在这项工作中，我们贡献了一个新的大型时空上次最后一个数据集，包括10,862个图像，具有超过228k的图像。与现有数据集相比，最后一个具有挑战性和高度多样性的重新ID设置，以及显着更大的空间和时间范围。例如，每个人都可以出现在不同的城市或国家，以及在白天到夜间的各个时隙，以及春季到冬季的不同季节。为了我们的最佳知识，最后是一个新的Perse Re-ID数据集，具有最大的时空范围。基于最后，我们通过对14个RE-ID算法进行全面的绩效评估来验证其挑战。我们进一步提出了一种易于实施的基线，适用于如此挑战的重新ID设置。我们还验证了初步训练的模型可以在具有短期和更改方案的现有数据集中概括。我们期待持续激发未来的工程，以更现实和挑战的重新识别任务。有关DataSet的更多信息，请访问https://github.com/shuxjweb/last.git。

The combination of global and partial features has been an essential solution to improve discriminative performances in person re-identification (Re-ID) tasks. Previous part-based methods mainly focus on locating regions with specific pre-defined semantics to learn local representations, which increases learning difficulty but not efficient or robust to scenarios with large variances. In this paper, we propose an end-to-end feature learning strategy integrating discriminative information with various granularities. We carefully design the Multiple Granularity Network (MGN), a multi-branch deep network architecture consisting of one branch for global feature representations and two branches for local feature representations. Instead of learning on semantic regions, we uniformly partition the images into several stripes, and vary the number of parts in different local branches to obtain local feature representations with multiple granularities. Comprehensive experiments implemented on the mainstream evaluation datasets including Market-1501, DukeMTMC-reid and CUHK03 indicate that our method robustly achieves state-of-the-art performances and outperforms any existing approaches by a large margin. For example, on Market-1501 dataset in single query mode, we obtain a top result of Rank-1/mAP=96.6%/94.2% with this method after re-ranking.

最近，面部生物识别是对传统认证系统的方便替代的巨大关注。因此，检测恶意尝试已经发现具有重要意义，导致面部抗欺骗〜（FAS），即面部呈现攻击检测。与手工制作的功能相反，深度特色学习和技术已经承诺急剧增加FAS系统的准确性，解决了实现这种系统的真实应用的关键挑战。因此，处理更广泛的发展以及准确的模型的新研究区越来越多地引起了研究界和行业的关注。在本文中，我们为自2017年以来对与基于深度特征的FAS方法相关的文献综合调查。在这一主题上阐明，基于各种特征和学习方法的语义分类。此外，我们以时间顺序排列，其进化进展和评估标准（数据集内集和数据集互联集合中集）覆盖了FAS的主要公共数据集。最后，我们讨论了开放的研究挑战和未来方向。

Occluded person re-identification (Re-ID) in images captured by multiple cameras is challenging because the target person is occluded by pedestrians or objects, especially in crowded scenes. In addition to the processes performed during holistic person Re-ID, occluded person Re-ID involves the removal of obstacles and the detection of partially visible body parts. Most existing methods utilize the off-the-shelf pose or parsing networks as pseudo labels, which are prone to error. To address these issues, we propose a novel Occlusion Correction Network (OCNet) that corrects features through relational-weight learning and obtains diverse and representative features without using external networks. In addition, we present a simple concept of a center feature in order to provide an intuitive solution to pedestrian occlusion scenarios. Furthermore, we suggest the idea of Separation Loss (SL) for focusing on different parts between global features and part features. We conduct extensive experiments on five challenging benchmark datasets for occluded and holistic Re-ID tasks to demonstrate that our method achieves superior performance to state-of-the-art methods especially on occluded scene.

步态识别旨在通过相机来识别一个距离的人。随着深度学习的出现，步态识别的重大进步通过使用深度学习技术在许多情况下取得了鼓舞人心的成功。然而，对视频监视的越来越多的需求引入了更多的挑战，包括在各种方差下进行良好的识别，步态序列中的运动信息建模，由于协议方差，生物量标准安全性和预防隐私而引起的不公平性能比较。本文对步态识别的深度学习进行了全面的调查。我们首先介绍了从传统算法到深层模型的步态识别的奥德赛，从而提供了对步态识别系统的整个工作流程的明确知识。然后，从深度表示和建筑的角度讨论了步态识别的深入学习，并深入摘要。具体而言，深层步态表示分为静态和动态特征，而深度体系结构包括单流和多流架构。遵循我们提出的新颖性分类法，它可能有益于提供灵感并促进对步态认识的感知。此外，我们还提供了所有基于视觉的步态数据集和性能分析的全面摘要。最后，本文讨论了一些潜在潜在前景的开放问题。