Visual place recognition (VPR) is usually considered as a specific image retrieval problem. Limited by existing training frameworks, most deep learning-based works cannot extract sufficiently stable global features from RGB images and rely on a time-consuming re-ranking step to exploit spatial structural information for better performance. In this paper, we propose StructVPR, a novel training architecture for VPR, to enhance structural knowledge in RGB global features and thus improve feature stability in a constantly changing environment. Specifically, StructVPR uses segmentation images as a more definitive source of structural knowledge input into a CNN network and applies knowledge distillation to avoid online segmentation and inference of seg-branch in testing. Considering that not all samples contain high-quality and helpful knowledge, and some even hurt the performance of distillation, we partition samples and weigh each sample's distillation loss to enhance the expected knowledge precisely. Finally, StructVPR achieves impressive performance on several benchmarks using only global retrieval and even outperforms many two-stage approaches by a large margin. After adding additional re-ranking, ours achieves state-of-the-art performance while maintaining a low computational cost.

视觉地位识别是自主驾驶导航和移动机器人定位等应用的具有挑战性的任务。分散注意力在复杂的场景中呈现的元素经常导致视觉场所的感知偏差。为了解决这个问题，必须将信息与任务相关区域中的信息集成到图像表示中至关重要。在本文中，我们介绍了一种基于视觉变压器的新型整体地点识别模型，TransVPR。它受益于变形金刚的自我关注操作的理想性能，这可以自然地聚合任务相关的特征。从多个级别的变压器的关注，重点关注不同的感兴趣区域，以产生全球图像表示。另外，由熔融注意掩模过滤的变压器层的输出令牌被认为是密钥贴片描述符，用于执行空间匹配以重新排名通过全局图像特征检索的候选。整个模型允许具有单个目标和图像级监控的端到端培训。 TransVPR在几个现实世界基准上实现最先进的性能，同时保持低计算时间和存储要求。

大型预训练的变压器是现代语义分割基准的顶部，但具有高计算成本和冗长的培训。为了提高这种约束，我们从综合知识蒸馏的角度来研究有效的语义分割，并考虑弥合多源知识提取和特定于变压器特定的斑块嵌入之间的差距。我们提出了基于变压器的知识蒸馏（TransKD）框架，该框架通过蒸馏出大型教师变压器的特征地图和补丁嵌入来学习紧凑的学生变形金刚，绕过长期的预训练过程并将FLOPS降低> 85.0％。具体而言，我们提出了两个基本和两个优化模块：（1）交叉选择性融合（CSF）可以通过通道注意和层次变压器内的特征图蒸馏之间的知识转移； （2）嵌入对齐（PEA）在斑块过程中执行尺寸转换，以促进贴片嵌入蒸馏； （3）全局本地上下文混合器（GL-MIXER）提取了代表性嵌入的全局和局部信息； （4）嵌入助手（EA）是一种嵌入方法，可以无缝地桥接老师和学生模型，并具有老师的渠道数量。关于CityScapes，ACDC和NYUV2数据集的实验表明，TransKD的表现优于最先进的蒸馏框架，并竞争了耗时的预训练方法。代码可在https://github.com/ruipingl/transkd上找到。

从世界上任何地方拍摄的单个地面RGB图像预测地理位置（地理位置）是一个非常具有挑战性的问题。挑战包括由于不同的环境场景而导致的图像多样性，相同位置的出现急剧变化，具体取决于一天中的时间，天气，季节和更重要的是，该预测是由单个图像可能只有一个可能只有一个图像做出的很少有地理线索。由于这些原因，大多数现有作品仅限于特定的城市，图像或全球地标。在这项工作中，我们专注于为行星尺度单位图地理定位开发有效的解决方案。为此，我们提出了转运器，这是一个统一的双分支变压器网络，在整个图像上关注细节，并在极端的外观变化下产生健壮的特征表示。转运器将RGB图像及其语义分割图作为输入，在每个变压器层之后的两个平行分支之间进行交互，并以多任务方式同时执行地理位置定位和场景识别。我们在四个基准数据集上评估转运器-IM2GPS，IM2GPS3K，YFCC4K，YFCC26K，并获得5.5％，14.1％，4.9％，9.9％的大陆级别准确度比最新的级别的精度提高。在现实世界测试图像上还验证了转运器，发现比以前的方法更有效。

近年来，已经产生了大量的视觉内容，并从许多领域共享，例如社交媒体平台，医学成像和机器人。这种丰富的内容创建和共享引入了新的挑战，特别是在寻找类似内容内容的图像检索（CBIR）-A的数据库中，即长期建立的研究区域，其中需要改进的效率和准确性来实时检索。人工智能在CBIR中取得了进展，并大大促进了实例搜索过程。在本调查中，我们审查了最近基于深度学习算法和技术开发的实例检索工作，通过深网络架构类型，深度功能，功能嵌入方法以及网络微调策略组织了调查。我们的调查考虑了各种各样的最新方法，在那里，我们识别里程碑工作，揭示各种方法之间的联系，并呈现常用的基准，评估结果，共同挑战，并提出未来的未来方向。

尽管配备的远景和语言预处理（VLP）在过去两年中取得了显着的进展，但它遭受了重大缺点：VLP型号不断增加的尺寸限制了其部署到现实世界的搜索场景（高潜伏期是不可接受的）。为了减轻此问题，我们提出了一种新颖的插件动态对比度蒸馏（DCD）框架，以压缩ITR任务的大型VLP模型。从技术上讲，我们面临以下两个挑战：1）由于GPU内存有限，在处理交叉模式融合功能期间优化了太多的负样本，因此很难直接应用于跨模式任务，因此很难直接应用于跨模式任务。 。 2）从不同的硬样品中静态优化学生网络的效率效率低下，这些样本对蒸馏学习和学生网络优化具有不同的影响。我们试图从两点克服这些挑战。首先，为了实现多模式对比度学习并平衡培训成本和效果，我们建议使用教师网络估算学生的困难样本，使学生吸收了预培训的老师的强大知识，并掌握知识来自硬样品。其次，要从硬样品对学习动态，我们提出动态蒸馏以动态学习不同困难的样本，从更好地平衡知识和学生的自学能力的困难的角度。我们成功地将我们提出的DCD策略应用于两个最先进的视觉语言预处理模型，即vilt和仪表。关于MS-Coco和FlickR30K基准测试的广泛实验显示了我们DCD框架的有效性和效率。令人鼓舞的是，与现有的ITR型号相比，我们可以至少加快推断至少129美元的$ \ times $。

Advanced visual localization techniques encompass image retrieval challenges and 6 Degree-of-Freedom (DoF) camera pose estimation, such as hierarchical localization. Thus, they must extract global and local features from input images. Previous methods have achieved this through resource-intensive or accuracy-reducing means, such as combinatorial pipelines or multi-task distillation. In this study, we present a novel method called SuperGF, which effectively unifies local and global features for visual localization, leading to a higher trade-off between localization accuracy and computational efficiency. Specifically, SuperGF is a transformer-based aggregation model that operates directly on image-matching-specific local features and generates global features for retrieval. We conduct experimental evaluations of our method in terms of both accuracy and efficiency, demonstrating its advantages over other methods. We also provide implementations of SuperGF using various types of local features, including dense and sparse learning-based or hand-crafted descriptors.

Person re-identification (Re-ID) aims at retrieving a person of interest across multiple non-overlapping cameras. With the advancement of deep neural networks and increasing demand of intelligent video surveillance, it has gained significantly increased interest in the computer vision community. By dissecting the involved components in developing a person Re-ID system, we categorize it into the closed-world and open-world settings. The widely studied closed-world setting is usually applied under various research-oriented assumptions, and has achieved inspiring success using deep learning techniques on a number of datasets. We first conduct a comprehensive overview with in-depth analysis for closed-world person Re-ID from three different perspectives, including deep feature representation learning, deep metric learning and ranking optimization. With the performance saturation under closed-world setting, the research focus for person Re-ID has recently shifted to the open-world setting, facing more challenging issues. This setting is closer to practical applications under specific scenarios. We summarize the open-world Re-ID in terms of five different aspects. By analyzing the advantages of existing methods, we design a powerful AGW baseline, achieving state-of-the-art or at least comparable performance on twelve datasets for FOUR different Re-ID tasks. Meanwhile, we introduce a new evaluation metric (mINP) for person Re-ID, indicating the cost for finding all the correct matches, which provides an additional criteria to evaluate the Re-ID system for real applications. Finally, some important yet under-investigated open issues are discussed.

最近，基于CNN的RGB-D显着对象检测（SOD）在检测准确性方面取得了显着提高。但是，现有模型通常在效率和准确性方面表现良好。这阻碍了他们在移动设备以及许多实际问题上的潜在应用。在本文中，为了弥合RGB-D SOD的轻质和大型模型之间的准确性差距，一个有效的模块可以极大地提高准确性，但提出了很少的计算。受深度质量是影响准确性的关键因素的启发，我们提出了有效的深度质量启发的功能操纵（DQFM）过程，该过程可以根据深度质量动态滤波深度特征。提出的DQFM求助于低级RGB和深度特征的对齐，以及深度流的整体注意力，以明确控制和增强交叉模式融合。我们嵌入了DQFM，以获得一个称为DFM-NET的有效的轻质RGB-D SOD模型，此外，我们还设计了一个定制的深度骨架和两阶段解码器作为基本零件。 9个RGB-D数据集的广泛实验结果表明，我们的DFM-NET优于最近的有效型号，在CPU上以约20 fps的速度运行，仅8.5mb型号大小，同时快2.9/2.4倍，比6.7/3.1倍，小于6.7/3.1倍最新的最佳型号A2DELE和手机。与非效率模型相比，它还保持最先进的准确性。有趣的是，进一步的统计数据和分析验证了DQFM在没有任何质量标签的各种品质的深度图中的能力。最后但并非最不重要的一点是，我们进一步应用DFM-NET来处理视频SOD（VSOD），与最近的有效模型相比，相当的性能，而比该领域的先前最佳状态的速度/2.3倍/小2.3倍。我们的代码可在https://github.com/zwbx/dfm-net上找到。

准确的语义分割模型通常需要大量的计算资源，从而抑制其在实际应用中的使用。最近的作品依靠精心制作的轻质模型来快速推断。但是，这些模型不能灵活地适应不同的准确性和效率要求。在本文中，我们提出了一种简单但有效的微小语义细分（SLIMSEG）方法，该方法可以在推理期间以不同的能力执行，具体取决于所需的准确性效率 - 折衷。更具体地说，我们在训练过程中采用逐步向下知识蒸馏采用参数化通道。观察到每个子模型的分割结果之间的差异主要在语义边界附近，我们引入了额外的边界指导语义分割损失，以进一步提高每个子模型的性能。我们表明，我们提出的具有各种主流网络的Slimseg可以产生灵活的模型，从而使计算成本的动态调整和比独立模型更好。关于语义分割基准，城市景观和Camvid的广泛实验证明了我们框架的概括能力。

以前通过一个位置的历史轨迹可能有助于推断该位置当前代理的未来轨迹。尽管在高清图的指导下进行了轨迹预测的大大改善，但只有少数作品探讨了这种当地历史信息。在这项工作中，我们将这些信息重新引入了轨迹预测系统的新类型的输入数据：本地行为数据，我们将其概念化为特定于位置的历史轨迹的集合。局部行为数据有助于系统强调预测区域，并更好地了解静态地图对象对移动代理的影响。我们提出了一个新型的本地行为感知（LBA）预测框架，该框架通过从观察到的轨迹，高清图和局部行为数据中融合信息来提高预测准确性。同样，如果这种历史数据不足或不可用，我们采用了本地行为（LBF）预测框架，该框架采用了基于知识依据的架构来推断缺失数据的影响。广泛的实验表明，通过这两个框架升级现有方法可显着提高其性能。特别是，LBA框架将SOTA方法在Nuscenes数据集上的性能提高了至少14％的K = 1度量。

在本文中，我们通过利用包含来自其他不同但相关类别的图像的标记数据集将来自新类的未标记的图像与新类别分组从新类别分组到不同的语义分区的问题。这是一个比传统的半监督学习更现实和具有挑战性的。我们为这个问题提出了一个双分支学习框架，一个分支专注于本地部分级信息和专注于整体特征的另一个分支。将知识从标记的数据传输到未标记的，我们建议使用两个分支机构的双重排名统计信息来生成伪标签，用于培训未标记的数据。我们进一步介绍了一个相互知识蒸馏方法，以允许信息交流并鼓励两个分支机构之间的协议，以发现新类别，允许我们的模型享受全球和当地特征的好处。我们全面评估了我们在通用对象分类的公共基准上的方法，以及用于细粒度的视觉识别的更具挑战性的数据集，实现最先进的性能。

我们提出了一个统一的查看，即通过通用表示，一个深层神经网络共同学习多个视觉任务和视觉域。同时学习多个问题涉及最大程度地减少具有不同幅度和特征的多个损失函数的加权总和，从而导致一个损失的不平衡状态，与学习每个问题的单独模型相比，一个损失的不平衡状态主导了优化和差的结果。为此，我们提出了通过小容量适配器将多个任务/特定于域网络的知识提炼到单个深神经网络中的知识。我们严格地表明，通用表示在学习NYU-V2和CityScapes中多个密集的预测问题方面实现了最新的表现，来自视觉Decathlon数据集中的不同域中的多个图像分类问题以及MetadataSet中的跨域中的几个域中学习。最后，我们还通过消融和定性研究进行多次分析。

Semantic segmentation works on the computer vision algorithm for assigning each pixel of an image into a class. The task of semantic segmentation should be performed with both accuracy and efficiency. Most of the existing deep FCNs yield to heavy computations and these networks are very power hungry, unsuitable for real-time applications on portable devices. This project analyzes current semantic segmentation models to explore the feasibility of applying these models for emergency response during catastrophic events. We compare the performance of real-time semantic segmentation models with non-real-time counterparts constrained by aerial images under oppositional settings. Furthermore, we train several models on the Flood-Net dataset, containing UAV images captured after Hurricane Harvey, and benchmark their execution on special classes such as flooded buildings vs. non-flooded buildings or flooded roads vs. non-flooded roads. In this project, we developed a real-time UNet based model and deployed that network on Jetson AGX Xavier module.

We tackle the problem of large scale visual place recognition, where the task is to quickly and accurately recognize the location of a given query photograph. We present the following three principal contributions. First, we develop a convolutional neural network (CNN) architecture that is trainable in an end-to-end manner directly for the place recognition task. The main component of this architecture, NetVLAD, is a new generalized VLAD layer, inspired by the "Vector of Locally Aggregated Descriptors" image representation commonly used in image retrieval. The layer is readily pluggable into any CNN architecture and amenable to training via backpropagation. Second, we develop a training procedure, based on a new weakly supervised ranking loss, to learn parameters of the architecture in an end-to-end manner from images depicting the same places over time downloaded from Google Street View Time Machine. Finally, we show that the proposed architecture significantly outperforms non-learnt image representations and off-the-shelf CNN descriptors on two challenging place recognition benchmarks, and improves over current stateof-the-art compact image representations on standard image retrieval benchmarks.

Recent years witnessed the breakthrough of face recognition with deep convolutional neural networks. Dozens of papers in the field of FR are published every year. Some of them were applied in the industrial community and played an important role in human life such as device unlock, mobile payment, and so on. This paper provides an introduction to face recognition, including its history, pipeline, algorithms based on conventional manually designed features or deep learning, mainstream training, evaluation datasets, and related applications. We have analyzed and compared state-of-the-art works as many as possible, and also carefully designed a set of experiments to find the effect of backbone size and data distribution. This survey is a material of the tutorial named The Practical Face Recognition Technology in the Industrial World in the FG2023.

可见红外人重新识别（VI-REID）由于可见和红外模式之间存在较大的差异而受到挑战。大多数开创性方法通过学习模态共享和ID相关的功能来降低类内变型和跨性间差异。但是，在VI-REID中尚未充分利用一个显式模态共享提示。此外，现有特征学习范例在全局特征或分区特征条带上强加约束，忽略了全局和零件特征的预测一致性。为了解决上述问题，我们将构成估算作为辅助学习任务，以帮助vi-reid任务在端到端的框架中。通过以互利的方式联合培训这两个任务，我们的模型学习了更高质量的模态共享和ID相关的功能。在它之上，通过分层特征约束（HFC）无缝同步全局功能和本地特征的学习，前者使用知识蒸馏策略监督后者。两个基准VI-REID数据集的实验结果表明，该方法始终如一地通过显着的利润来改善最先进的方法。具体而言，我们的方法在RegDB数据集上取决于针对最先进的方法的近20美元\％$地图改进。我们的兴趣调查结果突出了vi-reid中辅助任务学习的使用。

来自LIDAR或相机传感器的3D对象检测任务对于自动驾驶至关重要。先锋尝试多模式融合的尝试补充了稀疏的激光雷达点云，其中包括图像的丰富语义纹理信息，以额外的网络设计和开销为代价。在这项工作中，我们提出了一个名为SPNET的新型语义传递框架，以通过丰富的上下文绘画的指导来提高现有基于激光雷达的3D检测模型的性能，在推理过程中没有额外的计算成本。我们的关键设计是首先通过训练语义绘制的教师模型来利用地面真实标签中潜在的指导性语义知识，然后引导纯LIDAR网络通过不同的粒度传播模块来学习语义绘制的表示：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类：类别：类别：类别：类别：类别：类别：类别： - 通过，像素的传递和实例传递。实验结果表明，所提出的SPNET可以与大多数现有的3D检测框架无缝合作，其中AP增益为1〜5％，甚至在KITTI测试基准上实现了新的最新3D检测性能。代码可在以下网址获得：https：//github.com/jb892/sp​​net。

事件相机感测每个像素强度更改，并产生具有高动态范围和运动模糊的异步事件流，显示出与传统相机的优势。训练基于事件的模型的障碍是缺乏大规模标记的数据。现有作品学习结束任务主要依赖于从有源像素传感器（APS）帧获得的标记或伪标记的数据集;然而，这种数据集的质量远远远非基于规范图像的那些。在本文中，我们提出了一种新颖的方法，称为\ textbf {evdistill}，通过来自培训的教师网络的知识蒸馏（KD）来学习未标记和未配对的事件数据（目标模型）的学生网络图像数据（源码模式）。为了使KD跨越未配对的模态，我们首先提出了双向模型重建（BMR）模块来桥接两种方式，并同时利用它们通过制造的对蒸馏到知识，从而导致推断不额外计算。 BMR通过端到端的端到端的终端任务和KD损耗得到改善。其次，我们利用两种方式的结构相似之处，并通过匹配其分布来调整知识。此外，由于大多数先前的特征KD方法是单态的，而且对我们的问题不太适用，我们建议利用亲和力图KD损失来提高蒸馏。我们对语义分割和对象识别的广泛实验表明，Evdistill达到了比现有的作品和仅具有事件和APS帧的效果更好的结果。

Jitendra Malik once said, "Supervision is the opium of the AI researcher". Most deep learning techniques heavily rely on extreme amounts of human labels to work effectively. In today's world, the rate of data creation greatly surpasses the rate of data annotation. Full reliance on human annotations is just a temporary means to solve current closed problems in AI. In reality, only a tiny fraction of data is annotated. Annotation Efficient Learning (AEL) is a study of algorithms to train models effectively with fewer annotations. To thrive in AEL environments, we need deep learning techniques that rely less on manual annotations (e.g., image, bounding-box, and per-pixel labels), but learn useful information from unlabeled data. In this thesis, we explore five different techniques for handling AEL.