媒体中的人员搜索已经看到互联网应用程序的潜力，例如视频剪辑和字符集。这项任务很常见，但忽略了以前的人员搜索工作，专注于监视场景。媒体情景从监视场景中有一些不同的挑战。例如，一个人可能经常改变衣服。为了减轻这个问题，本文提出了一个统一的探测器和图形网络（UDGNET），用于媒体中的人员搜索。 UDGNET是第一个检测和重新识别人体和头部的第一个人搜索框架。具体地，它首先基于统一网络构建两个分支以检测人体和头部，然后检测到的主体和头部用于重新识别。这种双重任务方法可以显着增强歧视性学习。为了解决布料不断变化的问题，UDGNET构建了两个图形，以探索布换器样本中的可靠链接，并利用图形网络来学习更好的嵌入。这种设计有效地增强了人们搜索的鲁棒性，以改变布什挑战。此外，我们证明了UDGNET可以通过基于锚和无锚的人搜索框架来实现，并进一步实现性能改进。本文还为媒体（PSM）中的人员搜索提供了大规模数据集，其提供身体和头部注释。它是迄今为止媒体搜索的最大数据集。实验表明，UDGNET在MAP中通过12.1％提高了Anipor的模型。同时，它在监控和长期情景中显示出良好的概括。数据集和代码将可用：https://github.com/shuxjweb/psm.git。

人员搜索旨在同时本地化和识别从现实，无折叠图像的查询人员。为了实现这一目标，最先进的模型通常在两级探测器上添加重新ID分支，如更快的R-CNN。由于ROI对准操作，该管道产生了有希望的准确性，因为重新ID特征与相应的对象区域明确对齐，但在此同时，由于致密物体锚，它引入了高计算开销。在这项工作中，我们通过引入以下专用设计，提出了一种无限制的方法来有效地解决这一具有挑战性的任务。首先，我们选择一个无锚的探测器（即，FCO）作为我们框架的原型。由于缺乏致密物体锚，与现有人搜索模型相比，它表现出明显更高的效率。其次，当直接容纳这种免费探测器的人搜索时，在学习强大的RE-ID功能方面存在几种主要挑战，我们将其总结为不同级别的未对准问题（即规模，区域和任务）。为了解决这些问题，我们提出了一个对齐的特征聚合模块来生成更辨别性和强大的功能嵌入。因此，我们将我们的模型命名为特征对齐的人搜索网络（SimblePs）。第三，通过调查基于锚和无锚模型的优点，我们进一步增强了带有ROI对齐头的对比，这显着提高了重新ID功能的鲁棒性，同时仍然保持模型高效。在两个具有挑战性的基准（即Cuhk-Sysu和PRW）上进行的广泛实验表明，我们的框架实现了最先进的或竞争性能，同时呈现更高的效率。所有源代码，数据和培训的型号可用于：https：//github.com/daodaofr/alignps。

具有大量空间和时间跨境的情景中的人重新识别（RE-ID）尚未完全探索。这部分原因是，现有的基准数据集主要由有限的空间和时间范围收集，例如，使用在校园特定区域的相机录制的视频中使用的视频。这种有限的空间和时间范围使得难以模拟真实情景中的人的困难。在这项工作中，我们贡献了一个新的大型时空上次最后一个数据集，包括10,862个图像，具有超过228k的图像。与现有数据集相比，最后一个具有挑战性和高度多样性的重新ID设置，以及显着更大的空间和时间范围。例如，每个人都可以出现在不同的城市或国家，以及在白天到夜间的各个时隙，以及春季到冬季的不同季节。为了我们的最佳知识，最后是一个新的Perse Re-ID数据集，具有最大的时空范围。基于最后，我们通过对14个RE-ID算法进行全面的绩效评估来验证其挑战。我们进一步提出了一种易于实施的基线，适用于如此挑战的重新ID设置。我们还验证了初步训练的模型可以在具有短期和更改方案的现有数据集中概括。我们期待持续激发未来的工程，以更现实和挑战的重新识别任务。有关DataSet的更多信息，请访问https://github.com/shuxjweb/last.git。

人员搜索旨在共同本地化和识别来自自然的查询人员，不可用的图像，这在过去几年中在计算机视觉社区中积极研究了这一图像。在本文中，我们将在全球和本地围绕目标人群的丰富的上下文信息中阐述，我们分别指的是场景和组上下文。与以前的作品单独处理这两种类型的作品，我们将它们利用统一的全球本地上下文网络（GLCNet），其具有直观的功能增强。具体地，以多级方式同时增强重新ID嵌入和上下文特征，最终导致人员搜索增强，辨别特征。我们对两个人搜索基准（即Cuhk-Sysu和PRW）进行实验，并将我们的方法扩展到更具有挑战性的环境（即，在MovieIenet上的字符搜索）。广泛的实验结果表明，在三个数据集上的最先进方法中提出的GLCNET的一致性改进。我们的源代码，预先训练的型号，以及字符搜索的新设置可以：https://github.com/zhengpeng7/llcnet。

人员搜索是人重新识别（RE-ID）的扩展任务。但是，大多数现有的一步人搜索工作尚未研究如何使用现有的高级RE-ID模型来提高由于人员检测和重新ID的集成而促进了一步人搜索性能。为了解决这个问题，我们提出了更快，更强大的一步人搜索框架，教师导师的解解网络（TDN），使单步搜索享受现有的重新ID研究的优点。所提出的TDN可以通过将高级人的RE-ID知识转移到人员搜索模型来显着提高人员搜索性能。在提议的TDN中，为了从重新ID教师模型到单步搜索模型的更好的知识转移，我们通过部分解除两个子任务来设计一个强大的一步人搜索基础框架。此外，我们提出了一种知识转移桥模块，以弥合在重新ID模型和一步人搜索模型之间不同的输入格式引起的比例差距。在测试期间，我们进一步提出了与上下文人员战略的排名来利用全景图像中的上下文信息以便更好地检索。两个公共人员搜索数据集的实验证明了该方法的有利性能。

人员搜索是一个有关的任务，旨在共同解决人员检测和人员重新识别（RE-ID）。虽然最先前的方法侧重于学习稳健的个人功能，但由于照明，大构成方差和遮挡，仍然很难区分令人困惑的人。上下文信息实际上是人们搜索任务，这些任务在减少混淆方面搜索。为此，我们提出了一个名为注意上下文感知嵌入（ACAE）的新颖的上下文特征头，这增强了上下文信息。 Acae反复审查图像内部和图像内的该人员，以查找类似的行人模式，允许它隐含地学会找到可能的共同旅行者和有效地模范上下文相关的实例的关系。此外，我们提出了图像记忆库来提高培训效率。实验上，ACAE在基于不同的一步法时显示出广泛的促销。我们的整体方法实现了最先进的结果与先前的一步法。

人员搜索统一人员检测和人重新识别（重新ID），以从全景画廊图像找到查询人员。一个主要挑战来自于不平衡的长尾人身份分布，这可以防止一步人搜索模型学习歧视性人员特征，以获得最终重新识别。但是，探索了如何解决一步人员搜索的重型不平衡的身份分布。设计用于长尾分类任务的技术，例如，图像级重新采样策略很难被有效地应用于与基于检测的多个多个多的人检测和重新ID子任务共同解决人员检测和重新ID子任务 - 框架框架。为了解决这个问题，我们提出了一个子任务主导的传输学习（STL）方法。 STL方法解决了主导的重新ID子批次的预测阶段的长尾问题，并通过转移学习来改善普试模型的一步人搜索。我们进一步设计了一个多级ROI融合池层，以提高一步人搜索的人特征的辨别能力。 Cuhk-Sysu和Prw Datasets的广泛实验证明了该方法的优越性和有效性。

人重新识别（Reid）旨在从不同摄像机捕获的图像中检索一个人。对于基于深度学习的REID方法，已经证明，使用本地特征与人物图像的全局特征可以帮助为人员检索提供强大的特征表示。人类的姿势信息可以提供人体骨架的位置，有效地指导网络在这些关键领域更加关注这些关键领域，也可能有助于减少来自背景或闭塞的噪音分散。然而，先前与姿势相关的作品提出的方法可能无法充分利用姿势信息的好处，并没有考虑不同当地特征的不同贡献。在本文中，我们提出了一种姿势引导图注意网络，一个多分支架构，包括一个用于全局特征的一个分支，一个用于中粒体特征的一个分支，一个分支用于细粒度关键点特征。我们使用预先训练的姿势估计器来生成本地特征学习的关键点热图，并仔细设计图表卷积层以通过建模相似关系来重新评估提取的本地特征的贡献权重。实验结果表明我们对歧视特征学习的方法的有效性，我们表明我们的模型在几个主流评估数据集上实现了最先进的表演。我们还对我们的网络进行了大量的消融研究和设计不同类型的比较实验，以证明其有效性和鲁棒性，包括整体数据集，部分数据集，遮挡数据集和跨域测试。

Person Search aims to simultaneously localize and recognize a target person from realistic and uncropped gallery images. One major challenge of person search comes from the contradictory goals of the two sub-tasks, i.e., person detection focuses on finding the commonness of all persons so as to distinguish persons from the background, while person re-identification (re-ID) focuses on the differences among different persons. In this paper, we propose a novel Sequential Transformer (SeqTR) for end-to-end person search to deal with this challenge. Our SeqTR contains a detection transformer and a novel re-ID transformer that sequentially addresses detection and re-ID tasks. The re-ID transformer comprises the self-attention layer that utilizes contextual information and the cross-attention layer that learns local fine-grained discriminative features of the human body. Moreover, the re-ID transformer is shared and supervised by multi-scale features to improve the robustness of learned person representations. Extensive experiments on two widely-used person search benchmarks, CUHK-SYSU and PRW, show that our proposed SeqTR not only outperforms all existing person search methods with a 59.3% mAP on PRW but also achieves comparable performance to the state-of-the-art results with an mAP of 94.8% on CUHK-SYSU.

Person re-identification (Re-ID) aims at retrieving a person of interest across multiple non-overlapping cameras. With the advancement of deep neural networks and increasing demand of intelligent video surveillance, it has gained significantly increased interest in the computer vision community. By dissecting the involved components in developing a person Re-ID system, we categorize it into the closed-world and open-world settings. The widely studied closed-world setting is usually applied under various research-oriented assumptions, and has achieved inspiring success using deep learning techniques on a number of datasets. We first conduct a comprehensive overview with in-depth analysis for closed-world person Re-ID from three different perspectives, including deep feature representation learning, deep metric learning and ranking optimization. With the performance saturation under closed-world setting, the research focus for person Re-ID has recently shifted to the open-world setting, facing more challenging issues. This setting is closer to practical applications under specific scenarios. We summarize the open-world Re-ID in terms of five different aspects. By analyzing the advantages of existing methods, we design a powerful AGW baseline, achieving state-of-the-art or at least comparable performance on twelve datasets for FOUR different Re-ID tasks. Meanwhile, we introduce a new evaluation metric (mINP) for person Re-ID, indicating the cost for finding all the correct matches, which provides an additional criteria to evaluate the Re-ID system for real applications. Finally, some important yet under-investigated open issues are discussed.

近年来，随着对公共安全的需求越来越多，智能监测网络的快速发展，人员重新识别（RE-ID）已成为计算机视野领域的热门研究主题之一。人员RE-ID的主要研究目标是从不同的摄像机中检索具有相同身份的人。但是，传统的人重新ID方法需要手动标记人的目标，这消耗了大量的劳动力成本。随着深度神经网络的广泛应用，出现了许多基于深入的基于学习的人物的方法。因此，本文促进研究人员了解最新的研究成果和该领域的未来趋势。首先，我们总结了对几个最近公布的人的研究重新ID调查，并补充了系统地分类基于深度学习的人的重新ID方法的最新研究方法。其次，我们提出了一种多维分类，根据度量标准和表示学习，将基于深度学习的人的重新ID方法分为四类，包括深度度量学习，本地特征学习，生成的对抗学习和序列特征学习的方法。此外，我们根据其方法和动机来细分以上四类，讨论部分子类别的优缺点。最后，我们讨论了一些挑战和可能的研究方向的人重新ID。

The combination of global and partial features has been an essential solution to improve discriminative performances in person re-identification (Re-ID) tasks. Previous part-based methods mainly focus on locating regions with specific pre-defined semantics to learn local representations, which increases learning difficulty but not efficient or robust to scenarios with large variances. In this paper, we propose an end-to-end feature learning strategy integrating discriminative information with various granularities. We carefully design the Multiple Granularity Network (MGN), a multi-branch deep network architecture consisting of one branch for global feature representations and two branches for local feature representations. Instead of learning on semantic regions, we uniformly partition the images into several stripes, and vary the number of parts in different local branches to obtain local feature representations with multiple granularities. Comprehensive experiments implemented on the mainstream evaluation datasets including Market-1501, DukeMTMC-reid and CUHK03 indicate that our method robustly achieves state-of-the-art performances and outperforms any existing approaches by a large margin. For example, on Market-1501 dataset in single query mode, we obtain a top result of Rank-1/mAP=96.6%/94.2% with this method after re-ranking.

遮挡对人重新识别（Reid）构成了重大挑战。现有方法通常依赖于外部工具来推断可见的身体部位，这在计算效率和Reid精度方面可能是次优。特别是，在面对复杂的闭塞时，它们可能会失败，例如行人之间的遮挡。因此，在本文中，我们提出了一种名为M质量感知部分模型（QPM）的新方法，用于遮挡鲁棒Reid。首先，我们建议共同学习零件特征和预测部分质量分数。由于没有提供质量注释，我们介绍了一种自动将低分分配给闭塞体部位的策略，从而削弱了遮挡体零落在Reid结果上的影响。其次，基于预测部分质量分数，我们提出了一种新颖的身份感知空间关注（ISA）模块。在该模块中，利用粗略标识感知功能来突出目标行人的像素，以便处理行人之间的遮挡。第三，我们设计了一种自适应和有效的方法，用于了解来自每个图像对的共同非遮挡区域的全局特征。这种设计至关重要，但经常被现有方法忽略。 QPM有三个关键优势：1）它不依赖于培训或推理阶段的任何外部工具; 2）它处理由物体和其他行人引起的闭塞; 3）它是高度计算效率。对闭塞Reid的四个流行数据库的实验结果证明QPM始终如一地以显着的利润方式优于最先进的方法。 QPM代码将被释放。

人搜索是多个子任务的集成任务，例如前景/背景分类，边界框回归和人员重新识别。因此，人搜索是一个典型的多任务学习问题，尤其是在以端到端方式解决时。最近，一些作品通过利用各种辅助信息，例如人关节关键点，身体部位位置，属性等，这带来了更多的任务并使人搜索模型更加复杂。每个任务的不一致的趋同率可能会损害模型优化。一个直接的解决方案是手动为不同的任务分配不同的权重，以补偿各种融合率。但是，鉴于人搜索的特殊情况，即有大量任务，手动加权任务是不切实际的。为此，我们提出了一种分组的自适应减肥方法（GALW）方法，该方法会自动和动态地调整每个任务的权重。具体而言，我们根据其收敛率对任务进行分组。同一组中的任务共享相同的可学习权重，这是通过考虑损失不确定性动态分配的。对两个典型基准（Cuhk-Sysu and Prw）的实验结果证明了我们方法的有效性。

很少有细粒度的分类和人搜索作为独特的任务和文学作品，已经分别对待了它们。但是，仔细观察揭示了重要的相似之处：这两个任务的目标类别只能由特定的对象细节歧视；相关模型应概括为新类别，而在培训期间看不到。我们提出了一个适用于这两个任务的新型统一查询引导网络（QGN）。QGN由一个查询引导的暹罗引文和兴奋子网组成，该子网还重新进行了所有网络层的查询和画廊功能，一个查询实习的区域建议特定于特定于特定的本地化以及查询指导的相似性子网络子网本网络用于公制学习。QGN在最近的一些少数细颗粒数据集上有所改善，在幼崽上的其他技术优于大幅度。QGN还对人搜索Cuhk-Sysu和PRW数据集进行了竞争性执行，我们在其中进行了深入的分析。

不同对象之间的闭塞是多对象跟踪（MOT）中的典型挑战，这通常导致由于丢失的检测到的对象导致较差的跟踪结果。多对象跟踪中的常见做法是重新识别出现后的错过对象。虽然重新识别可以提高跟踪性能，但是需要培训型号的身份的注释。此外，这种重新识别的做法仍然不能在探测器错过时跟踪那些高度遮挡的物体。在本文中，我们专注于在线多目标跟踪和设计两种新颖的模块，无监督的重新识别学习模块和遮挡估计模块，处理这些问题。具体地，所提出的无监督重新识别学习模块不需要任何（伪）身份信息，也不需要缩放性问题。所提出的遮挡估计模块尝试预测闭塞发生的位置，其用于估计探测器错过对象的位置。我们的研究表明，当应用于最先进的MOT方法时，所提出的无监督的重新识别学习与监督重新识别学习相当，并且通过所提出的遮挡估计模块进一步改善了跟踪性能。

The detection of human body and its related parts (e.g., face, head or hands) have been intensively studied and greatly improved since the breakthrough of deep CNNs. However, most of these detectors are trained independently, making it a challenging task to associate detected body parts with people. This paper focuses on the problem of joint detection of human body and its corresponding parts. Specifically, we propose a novel extended object representation that integrates the center location offsets of body or its parts, and construct a dense single-stage anchor-based Body-Part Joint Detector (BPJDet). Body-part associations in BPJDet are embedded into the unified representation which contains both the semantic and geometric information. Therefore, BPJDet does not suffer from error-prone association post-matching, and has a better accuracy-speed trade-off. Furthermore, BPJDet can be seamlessly generalized to jointly detect any body part. To verify the effectiveness and superiority of our method, we conduct extensive experiments on the CityPersons, CrowdHuman and BodyHands datasets. The proposed BPJDet detector achieves state-of-the-art association performance on these three benchmarks while maintains high accuracy of detection. Code will be released to facilitate further studies.

When considering person re-identification (re-ID) as a retrieval process, re-ranking is a critical step to improve its accuracy. Yet in the re-ID community, limited effort has been devoted to re-ranking, especially those fully automatic, unsupervised solutions. In this paper, we propose a -reciprocal encoding method to re-rank the re-ID results. Our hypothesis is that if a gallery image is similar to the probe in the -reciprocal nearest neighbors, it is more likely to be a true match. Specifically, given an image, areciprocal feature is calculated by encoding its -reciprocal nearest neighbors into a single vector, which is used for reranking under the Jaccard distance. The final distance is computed as the combination of the original distance and the Jaccard distance. Our re-ranking method does not require any human interaction or any labeled data, so it is applicable to large-scale datasets. Experiments on the largescale Market-1501, CUHK03, MARS, and PRW datasets confirm the effectiveness of our method 1 .

人搜索是一项具有挑战性的任务，旨在实现共同的行人检测和人重新识别（REID）。以前的作品在完全和弱监督的设置下取得了重大进步。但是，现有方法忽略了人搜索模型的概括能力。在本文中，我们采取了进一步的步骤和现在的域自适应人员搜索（DAPS），该搜索旨在将模型从标记的源域概括为未标记的目标域。在这种新环境下出现了两个主要挑战：一个是如何同时解决检测和重新ID任务的域未对准问题，另一个是如何在目标域上训练REID子任务而不可靠的检测结果。为了应对这些挑战，我们提出了一个强大的基线框架，并使用两个专用设计。 1）我们设计一个域对齐模块，包括图像级和任务敏感的实例级别对齐，以最大程度地减少域差异。 2）我们通过动态聚类策略充分利用未标记的数据，并使用伪边界框来支持目标域上的REID和检测训练。通过上述设计，我们的框架在MAP中获得了34.7％的地图，而PRW数据集的TOP-1则达到80.6％，超过了直接转移基线的大幅度。令人惊讶的是，我们无监督的DAPS模型的性能甚至超过了一些完全和弱监督的方法。该代码可在https://github.com/caposerenity/daps上找到。

改变布料的人重新识别（REID）是一个新出现的研究主题，旨在检索换衣服的行人。由于带有不同衣服的人类外观表现出较大的变化，因此现有方法很难提取歧视性和健壮的特征表示。当前的作品主要集中在身体形状或轮廓草图上，但是人类的语义信息以及换衣服之前和之后的行人特征的潜在一致性未被充分探索或被忽略。为了解决这些问题，在这项工作中，提出了一种新颖的语义意识到的注意力和视觉屏蔽网络，用于换衣服的人Reid（缩写为SAV），其中关键的想法是屏蔽与衣服外观相关的线索，只关注衣服的外观对视图/姿势变化不敏感的视觉语义信息。具体而言，首先采用了视觉语义编码器来基于人类语义分割信息来定位人体和服装区域。然后，提出了人类的语义注意模块（HSA），以突出显示人类的语义信息并重新授予视觉特征图。此外，视觉服装屏蔽模块（VCS）还旨在通过覆盖衣服区域并将模型集中在与衣服无关的视觉语义信息上来提取更健壮的特征代表。最重要的是，这两个模块在端到端统一框架中共同探索。广泛的实验表明，所提出的方法可以显着胜过最先进的方法，并且可以为换衣的人提取更健壮的特征。与FSAM（在CVPR 2021中发布）相比，该方法可以分别在LTCC和PRCC数据集上以MAP（RANK-1）的形式获得32.7％（16.5％）和14.9％（ - ）。