人员搜索是一个有关的任务，旨在共同解决人员检测和人员重新识别（RE-ID）。虽然最先前的方法侧重于学习稳健的个人功能，但由于照明，大构成方差和遮挡，仍然很难区分令人困惑的人。上下文信息实际上是人们搜索任务，这些任务在减少混淆方面搜索。为此，我们提出了一个名为注意上下文感知嵌入（ACAE）的新颖的上下文特征头，这增强了上下文信息。 Acae反复审查图像内部和图像内的该人员，以查找类似的行人模式，允许它隐含地学会找到可能的共同旅行者和有效地模范上下文相关的实例的关系。此外，我们提出了图像记忆库来提高培训效率。实验上，ACAE在基于不同的一步法时显示出广泛的促销。我们的整体方法实现了最先进的结果与先前的一步法。

Person Search aims to simultaneously localize and recognize a target person from realistic and uncropped gallery images. One major challenge of person search comes from the contradictory goals of the two sub-tasks, i.e., person detection focuses on finding the commonness of all persons so as to distinguish persons from the background, while person re-identification (re-ID) focuses on the differences among different persons. In this paper, we propose a novel Sequential Transformer (SeqTR) for end-to-end person search to deal with this challenge. Our SeqTR contains a detection transformer and a novel re-ID transformer that sequentially addresses detection and re-ID tasks. The re-ID transformer comprises the self-attention layer that utilizes contextual information and the cross-attention layer that learns local fine-grained discriminative features of the human body. Moreover, the re-ID transformer is shared and supervised by multi-scale features to improve the robustness of learned person representations. Extensive experiments on two widely-used person search benchmarks, CUHK-SYSU and PRW, show that our proposed SeqTR not only outperforms all existing person search methods with a 59.3% mAP on PRW but also achieves comparable performance to the state-of-the-art results with an mAP of 94.8% on CUHK-SYSU.

人员搜索旨在共同本地化和识别来自自然的查询人员，不可用的图像，这在过去几年中在计算机视觉社区中积极研究了这一图像。在本文中，我们将在全球和本地围绕目标人群的丰富的上下文信息中阐述，我们分别指的是场景和组上下文。与以前的作品单独处理这两种类型的作品，我们将它们利用统一的全球本地上下文网络（GLCNet），其具有直观的功能增强。具体地，以多级方式同时增强重新ID嵌入和上下文特征，最终导致人员搜索增强，辨别特征。我们对两个人搜索基准（即Cuhk-Sysu和PRW）进行实验，并将我们的方法扩展到更具有挑战性的环境（即，在MovieIenet上的字符搜索）。广泛的实验结果表明，在三个数据集上的最先进方法中提出的GLCNET的一致性改进。我们的源代码，预先训练的型号，以及字符搜索的新设置可以：https://github.com/zhengpeng7/llcnet。

人员搜索是人重新识别（RE-ID）的扩展任务。但是，大多数现有的一步人搜索工作尚未研究如何使用现有的高级RE-ID模型来提高由于人员检测和重新ID的集成而促进了一步人搜索性能。为了解决这个问题，我们提出了更快，更强大的一步人搜索框架，教师导师的解解网络（TDN），使单步搜索享受现有的重新ID研究的优点。所提出的TDN可以通过将高级人的RE-ID知识转移到人员搜索模型来显着提高人员搜索性能。在提议的TDN中，为了从重新ID教师模型到单步搜索模型的更好的知识转移，我们通过部分解除两个子任务来设计一个强大的一步人搜索基础框架。此外，我们提出了一种知识转移桥模块，以弥合在重新ID模型和一步人搜索模型之间不同的输入格式引起的比例差距。在测试期间，我们进一步提出了与上下文人员战略的排名来利用全景图像中的上下文信息以便更好地检索。两个公共人员搜索数据集的实验证明了该方法的有利性能。

Person re-identification (Re-ID) aims at retrieving a person of interest across multiple non-overlapping cameras. With the advancement of deep neural networks and increasing demand of intelligent video surveillance, it has gained significantly increased interest in the computer vision community. By dissecting the involved components in developing a person Re-ID system, we categorize it into the closed-world and open-world settings. The widely studied closed-world setting is usually applied under various research-oriented assumptions, and has achieved inspiring success using deep learning techniques on a number of datasets. We first conduct a comprehensive overview with in-depth analysis for closed-world person Re-ID from three different perspectives, including deep feature representation learning, deep metric learning and ranking optimization. With the performance saturation under closed-world setting, the research focus for person Re-ID has recently shifted to the open-world setting, facing more challenging issues. This setting is closer to practical applications under specific scenarios. We summarize the open-world Re-ID in terms of five different aspects. By analyzing the advantages of existing methods, we design a powerful AGW baseline, achieving state-of-the-art or at least comparable performance on twelve datasets for FOUR different Re-ID tasks. Meanwhile, we introduce a new evaluation metric (mINP) for person Re-ID, indicating the cost for finding all the correct matches, which provides an additional criteria to evaluate the Re-ID system for real applications. Finally, some important yet under-investigated open issues are discussed.

媒体中的人员搜索已经看到互联网应用程序的潜力，例如视频剪辑和字符集。这项任务很常见，但忽略了以前的人员搜索工作，专注于监视场景。媒体情景从监视场景中有一些不同的挑战。例如，一个人可能经常改变衣服。为了减轻这个问题，本文提出了一个统一的探测器和图形网络（UDGNET），用于媒体中的人员搜索。 UDGNET是第一个检测和重新识别人体和头部的第一个人搜索框架。具体地，它首先基于统一网络构建两个分支以检测人体和头部，然后检测到的主体和头部用于重新识别。这种双重任务方法可以显着增强歧视性学习。为了解决布料不断变化的问题，UDGNET构建了两个图形，以探索布换器样本中的可靠链接，并利用图形网络来学习更好的嵌入。这种设计有效地增强了人们搜索的鲁棒性，以改变布什挑战。此外，我们证明了UDGNET可以通过基于锚和无锚的人搜索框架来实现，并进一步实现性能改进。本文还为媒体（PSM）中的人员搜索提供了大规模数据集，其提供身体和头部注释。它是迄今为止媒体搜索的最大数据集。实验表明，UDGNET在MAP中通过12.1％提高了Anipor的模型。同时，它在监控和长期情景中显示出良好的概括。数据集和代码将可用：https://github.com/shuxjweb/psm.git。

计算机视觉任务可以从估计突出物区域和这些对象区域之间的相互作用中受益。识别对象区域涉及利用预借鉴模型来执行对象检测，对象分割和/或对象姿势估计。但是，由于以下原因，在实践中不可行：1）预用模型的训练数据集的对象类别可能不会涵盖一般计算机视觉任务的所有对象类别，2）佩戴型模型训练数据集之间的域间隙并且目标任务的数据集可能会影响性能，3）预磨模模型中存在的偏差和方差可能泄漏到导致无意中偏置的目标模型的目标任务中。为了克服这些缺点，我们建议利用一系列视频帧捕获一组公共对象和它们之间的相互作用的公共基本原理，因此视频帧特征之间的共分割的概念可以用自动的能力装配模型专注于突出区域，以最终的方式提高潜在的任务的性能。在这方面，我们提出了一种称为“共分割激活模块”（COSAM）的通用模块，其可以被插入任何CNN，以促进基于CNN的任何CNN的概念在一系列视频帧特征中的关注。我们在三个基于视频的任务中展示Cosam的应用即1）基于视频的人Re-ID，2）视频字幕分类，并证明COSAM能够在视频帧中捕获突出区域，从而引导对于显着的性能改进以及可解释的关注图。

人员搜索旨在同时本地化和识别从现实，无折叠图像的查询人员。为了实现这一目标，最先进的模型通常在两级探测器上添加重新ID分支，如更快的R-CNN。由于ROI对准操作，该管道产生了有希望的准确性，因为重新ID特征与相应的对象区域明确对齐，但在此同时，由于致密物体锚，它引入了高计算开销。在这项工作中，我们通过引入以下专用设计，提出了一种无限制的方法来有效地解决这一具有挑战性的任务。首先，我们选择一个无锚的探测器（即，FCO）作为我们框架的原型。由于缺乏致密物体锚，与现有人搜索模型相比，它表现出明显更高的效率。其次，当直接容纳这种免费探测器的人搜索时，在学习强大的RE-ID功能方面存在几种主要挑战，我们将其总结为不同级别的未对准问题（即规模，区域和任务）。为了解决这些问题，我们提出了一个对齐的特征聚合模块来生成更辨别性和强大的功能嵌入。因此，我们将我们的模型命名为特征对齐的人搜索网络（SimblePs）。第三，通过调查基于锚和无锚模型的优点，我们进一步增强了带有ROI对齐头的对比，这显着提高了重新ID功能的鲁棒性，同时仍然保持模型高效。在两个具有挑战性的基准（即Cuhk-Sysu和PRW）上进行的广泛实验表明，我们的框架实现了最先进的或竞争性能，同时呈现更高的效率。所有源代码，数据和培训的型号可用于：https：//github.com/daodaofr/alignps。

In recent years, the Transformer architecture has shown its superiority in the video-based person re-identification task. Inspired by video representation learning, these methods mainly focus on designing modules to extract informative spatial and temporal features. However, they are still limited in extracting local attributes and global identity information, which are critical for the person re-identification task. In this paper, we propose a novel Multi-Stage Spatial-Temporal Aggregation Transformer (MSTAT) with two novel designed proxy embedding modules to address the above issue. Specifically, MSTAT consists of three stages to encode the attribute-associated, the identity-associated, and the attribute-identity-associated information from the video clips, respectively, achieving the holistic perception of the input person. We combine the outputs of all the stages for the final identification. In practice, to save the computational cost, the Spatial-Temporal Aggregation (STA) modules are first adopted in each stage to conduct the self-attention operations along the spatial and temporal dimensions separately. We further introduce the Attribute-Aware and Identity-Aware Proxy embedding modules (AAP and IAP) to extract the informative and discriminative feature representations at different stages. All of them are realized by employing newly designed self-attention operations with specific meanings. Moreover, temporal patch shuffling is also introduced to further improve the robustness of the model. Extensive experimental results demonstrate the effectiveness of the proposed modules in extracting the informative and discriminative information from the videos, and illustrate the MSTAT can achieve state-of-the-art accuracies on various standard benchmarks.

闭塞者重新识别（REID）旨在匹配遮挡人物在不同的相机视图上的整体上。目标行人（TP）通常受到非行人闭塞（NPO）和Nontarget行人（NTP）的干扰。以前的方法主要集中在忽略NTP的特征污染的同时越来越越来越多的模型对非NPO的鲁棒性。在本文中，我们提出了一种新颖的特征擦除和扩散网络（FED），同时处理NPO和NTP。具体地，我们的建议闭塞擦除模块（OEM）消除了NPO特征，并由NPO增强策略辅助，该策略模拟整体行人图像上的NPO并产生精确的遮挡掩模。随后，我们随后，我们将行人表示与其他记忆特征弥散，以通过学习的跨关注机构通过新颖的特征扩散模块（FDM）实现的特征空间中的NTP特征。随着OEM的闭塞分数的指导，特征扩散过程主要在可见的身体部位上进行，保证合成的NTP特性的质量。通过在我们提出的联邦网络中联合优化OEM和FDM，我们可以大大提高模型对TP的看法能力，并减轻NPO和NTP的影响。此外，所提出的FDM仅用作用于训练的辅助模块，并将在推理阶段中丢弃，从而引入很少的推理计算开销。遮挡和整体人员Reid基准的实验表明了美联储最先进的优越性，喂养的含量在封闭式封闭的内容上取得了86.3％的排名 - 1准确性，超过其他人至少4.7％。

人员搜索统一人员检测和人重新识别（重新ID），以从全景画廊图像找到查询人员。一个主要挑战来自于不平衡的长尾人身份分布，这可以防止一步人搜索模型学习歧视性人员特征，以获得最终重新识别。但是，探索了如何解决一步人员搜索的重型不平衡的身份分布。设计用于长尾分类任务的技术，例如，图像级重新采样策略很难被有效地应用于与基于检测的多个多个多的人检测和重新ID子任务共同解决人员检测和重新ID子任务 - 框架框架。为了解决这个问题，我们提出了一个子任务主导的传输学习（STL）方法。 STL方法解决了主导的重新ID子批次的预测阶段的长尾问题，并通过转移学习来改善普试模型的一步人搜索。我们进一步设计了一个多级ROI融合池层，以提高一步人搜索的人特征的辨别能力。 Cuhk-Sysu和Prw Datasets的广泛实验证明了该方法的优越性和有效性。

近年来，随着对公共安全的需求越来越多，智能监测网络的快速发展，人员重新识别（RE-ID）已成为计算机视野领域的热门研究主题之一。人员RE-ID的主要研究目标是从不同的摄像机中检索具有相同身份的人。但是，传统的人重新ID方法需要手动标记人的目标，这消耗了大量的劳动力成本。随着深度神经网络的广泛应用，出现了许多基于深入的基于学习的人物的方法。因此，本文促进研究人员了解最新的研究成果和该领域的未来趋势。首先，我们总结了对几个最近公布的人的研究重新ID调查，并补充了系统地分类基于深度学习的人的重新ID方法的最新研究方法。其次，我们提出了一种多维分类，根据度量标准和表示学习，将基于深度学习的人的重新ID方法分为四类，包括深度度量学习，本地特征学习，生成的对抗学习和序列特征学习的方法。此外，我们根据其方法和动机来细分以上四类，讨论部分子类别的优缺点。最后，我们讨论了一些挑战和可能的研究方向的人重新ID。

人搜索是多个子任务的集成任务，例如前景/背景分类，边界框回归和人员重新识别。因此，人搜索是一个典型的多任务学习问题，尤其是在以端到端方式解决时。最近，一些作品通过利用各种辅助信息，例如人关节关键点，身体部位位置，属性等，这带来了更多的任务并使人搜索模型更加复杂。每个任务的不一致的趋同率可能会损害模型优化。一个直接的解决方案是手动为不同的任务分配不同的权重，以补偿各种融合率。但是，鉴于人搜索的特殊情况，即有大量任务，手动加权任务是不切实际的。为此，我们提出了一种分组的自适应减肥方法（GALW）方法，该方法会自动和动态地调整每个任务的权重。具体而言，我们根据其收敛率对任务进行分组。同一组中的任务共享相同的可学习权重，这是通过考虑损失不确定性动态分配的。对两个典型基准（Cuhk-Sysu and Prw）的实验结果证明了我们方法的有效性。

When considering person re-identification (re-ID) as a retrieval process, re-ranking is a critical step to improve its accuracy. Yet in the re-ID community, limited effort has been devoted to re-ranking, especially those fully automatic, unsupervised solutions. In this paper, we propose a -reciprocal encoding method to re-rank the re-ID results. Our hypothesis is that if a gallery image is similar to the probe in the -reciprocal nearest neighbors, it is more likely to be a true match. Specifically, given an image, areciprocal feature is calculated by encoding its -reciprocal nearest neighbors into a single vector, which is used for reranking under the Jaccard distance. The final distance is computed as the combination of the original distance and the Jaccard distance. Our re-ranking method does not require any human interaction or any labeled data, so it is applicable to large-scale datasets. Experiments on the largescale Market-1501, CUHK03, MARS, and PRW datasets confirm the effectiveness of our method 1 .

人搜索是一项具有挑战性的任务，旨在实现共同的行人检测和人重新识别（REID）。以前的作品在完全和弱监督的设置下取得了重大进步。但是，现有方法忽略了人搜索模型的概括能力。在本文中，我们采取了进一步的步骤和现在的域自适应人员搜索（DAPS），该搜索旨在将模型从标记的源域概括为未标记的目标域。在这种新环境下出现了两个主要挑战：一个是如何同时解决检测和重新ID任务的域未对准问题，另一个是如何在目标域上训练REID子任务而不可靠的检测结果。为了应对这些挑战，我们提出了一个强大的基线框架，并使用两个专用设计。 1）我们设计一个域对齐模块，包括图像级和任务敏感的实例级别对齐，以最大程度地减少域差异。 2）我们通过动态聚类策略充分利用未标记的数据，并使用伪边界框来支持目标域上的REID和检测训练。通过上述设计，我们的框架在MAP中获得了34.7％的地图，而PRW数据集的TOP-1则达到80.6％，超过了直接转移基线的大幅度。令人惊讶的是，我们无监督的DAPS模型的性能甚至超过了一些完全和弱监督的方法。该代码可在https://github.com/caposerenity/daps上找到。

随着深度卷积神经网络的兴起，对象检测在过去几年中取得了突出的进步。但是，这种繁荣无法掩盖小物体检测（SOD）的不令人满意的情况，这是计算机视觉中臭名昭著的挑战性任务之一，这是由于视觉外观不佳和由小目标的内在结构引起的嘈杂表示。此外，用于基准小对象检测方法基准测试的大规模数据集仍然是瓶颈。在本文中，我们首先对小物体检测进行了详尽的审查。然后，为了催化SOD的发展，我们分别构建了两个大规模的小物体检测数据集（SODA），SODA-D和SODA-A，分别集中在驾驶和空中场景上。 SODA-D包括24704个高质量的交通图像和277596个9个类别的实例。对于苏打水，我们收集2510个高分辨率航空图像，并在9个类别上注释800203实例。众所周知，拟议的数据集是有史以来首次尝试使用针对多类SOD量身定制的大量注释实例进行大规模基准测试。最后，我们评估主流方法在苏打水上的性能。我们预计发布的基准可以促进SOD的发展，并产生该领域的更多突破。数据集和代码将很快在：\ url {https://shaunyuan22.github.io/soda}上。

Most existing person re-identification methods compute the matching relations between person images across camera views based on the ranking of the pairwise similarities. This matching strategy with the lack of the global viewpoint and the context's consideration inevitably leads to ambiguous matching results and sub-optimal performance. Based on a natural assumption that images belonging to the same person identity should not match with images belonging to multiple different person identities across views, called the unicity of person matching on the identity level, we propose an end-to-end person unicity matching architecture for learning and refining the person matching relations. First, we adopt the image samples' contextual information in feature space to generate the initial soft matching results by using graph neural networks. Secondly, we utilize the samples' global context relationship to refine the soft matching results and reach the matching unicity through bipartite graph matching. Given full consideration to real-world person re-identification applications, we achieve the unicity matching in both one-shot and multi-shot settings of person re-identification and further develop a fast version of the unicity matching without losing the performance. The proposed method is evaluated on five public benchmarks, including four multi-shot datasets MSMT17, DukeMTMC, Market1501, CUHK03, and a one-shot dataset VIPeR. Experimental results show the superiority of the proposed method on performance and efficiency.

Object re-identification method is made up of backbone network, feature aggregation, and loss function. However, most backbone networks lack a special mechanism to handle rich scale variations and mine discriminative feature representations. In this paper, we firstly design a hierarchical similarity graph module (HSGM) to reduce the conflict of backbone and re-identification networks. The designed HSGM builds a rich hierarchical graph to mine the mapping relationships between global-local and local-local. Secondly, we divide the feature map along with the spatial and channel directions in each hierarchical graph. The HSGM applies the spatial features and channel features extracted from different locations as nodes, respectively, and utilizes the similarity scores between nodes to construct spatial and channel similarity graphs. During the learning process of HSGM, we utilize a learnable parameter to re-optimize the importance of each position, as well as evaluate the correlation between different nodes. Thirdly, we develop a novel hierarchical similarity graph network (HSGNet) by embedding the HSGM in the backbone network. Furthermore, HSGM can be easily embedded into backbone networks of any depth to improve object re-identification ability. Finally, extensive experiments on three large-scale object datasets demonstrate that the proposed HSGNet is superior to state-of-the-art object re-identification approaches.

人们在我们的日常互动中互相看待彼此或相互凝视是无处不在的，并且发现相互观察对于理解人类的社会场景具有重要意义。当前的相互视线检测方法集中在两阶段方法上，其推理速度受到两阶段管道的限制，第二阶段的性能受第一阶段的影响。在本文中，我们提出了一个新型的一阶段相互视线检测框架，称为相互视线变压器或MGTR，以端到端的方式执行相互视线检测。通过设计相互视线实例三元，MGTR可以检测每个人头边界框，并基于全局图像信息同时推断相互视线的关系，从而简化整个过程。两个相互视线数据集的实验结果表明，我们的方法能够加速相互视线检测过程而不会失去性能。消融研究表明，MGTR的不同组成部分可以捕获图像中不同级别的语义信息。代码可在https://github.com/gmbition/mgtr上找到

车辆重新识别（RE-ID）旨在通过不同的摄像机检索具有相同车辆ID的图像。当前的零件级特征学习方法通​​常通过统一的部门，外部工具或注意力建模来检测车辆零件。但是，此部分功能通常需要昂贵的额外注释，并在不可靠的零件遮罩预测的情况下导致次优性能。在本文中，我们提出了一个针对车辆重新ID的弱监督零件注意网络（Panet）和零件式网络（PMNET）。首先，Panet通过与零件相关的通道重新校准和基于群集的掩模生成无需车辆零件监管信息来定位车辆零件。其次，PMNET利用教师指导的学习来从锅et中提取特定于车辆的特定功能，并进行多尺度的全球零件特征提取。在推断过程中，PMNET可以自适应提取歧视零件特征，而无需围绕锅et定位，从而防止了不稳定的零件掩模预测。我们将重新ID问题作为一个多任务问题，并采用同质的不确定性来学习最佳的ID损失权衡。实验是在两个公共基准上进行的，这表明我们的方法优于最近的方法，这不需要额外的注释，即CMC@5的平均增加3.0％，而Veri776的MAP中不需要超过1.4％。此外，我们的方法可以扩展到遮挡的车辆重新ID任务，并具有良好的概括能力。