Cross-view geo-localization aims to estimate the location of a query ground image by matching it to a reference geo-tagged aerial images database. As an extremely challenging task, its difficulties root in the drastic view changes and different capturing time between two views. Despite these difficulties, recent works achieve outstanding progress on cross-view geo-localization benchmarks. However, existing methods still suffer from poor performance on the cross-area benchmarks, in which the training and testing data are captured from two different regions. We attribute this deficiency to the lack of ability to extract the spatial configuration of visual feature layouts and models' overfitting on low-level details from the training set. In this paper, we propose GeoDTR which explicitly disentangles geometric information from raw features and learns the spatial correlations among visual features from aerial and ground pairs with a novel geometric layout extractor module. This module generates a set of geometric layout descriptors, modulating the raw features and producing high-quality latent representations. In addition, we elaborate on two categories of data augmentations, (i) Layout simulation, which varies the spatial configuration while keeping the low-level details intact. (ii) Semantic augmentation, which alters the low-level details and encourages the model to capture spatial configurations. These augmentations help to improve the performance of the cross-view geo-localization models, especially on the cross-area benchmarks. Moreover, we propose a counterfactual-based learning process to benefit the geometric layout extractor in exploring spatial information. Extensive experiments show that GeoDTR not only achieves state-of-the-art results but also significantly boosts the performance on same-area and cross-area benchmarks.

Cross-view geo-localization aims to spot images of the same location shot from two platforms, e.g., the drone platform and the satellite platform. Existing methods usually focus on optimizing the distance between one embedding with others in the feature space, while neglecting the redundancy of the embedding itself. In this paper, we argue that the low redundancy is also of importance, which motivates the model to mine more diverse patterns. To verify this point, we introduce a simple yet effective regularization, i.e., Dynamic Weighted Decorrelation Regularization (DWDR), to explicitly encourage networks to learn independent embedding channels. As the name implies, DWDR regresses the embedding correlation coefficient matrix to a sparse matrix, i.e., the identity matrix, with dynamic weights. The dynamic weights are applied to focus on still correlated channels during training. Besides, we propose a cross-view symmetric sampling strategy, which keeps the example balance between different platforms. Albeit simple, the proposed method has achieved competitive results on three large-scale benchmarks, i.e., University-1652, CVUSA and CVACT. Moreover, under the harsh circumstance, e.g., the extremely short feature of 64 dimensions, the proposed method surpasses the baseline model by a clear margin.

地理定位的概念是指确定地球上的某些“实体”的位置的过程，通常使用全球定位系统（GPS）坐标。感兴趣的实体可以是图像，图像序列，视频，卫星图像，甚至图像中可见的物体。由于GPS标记媒体的大规模数据集由于智能手机和互联网而迅速变得可用，而深入学习已经上升以提高机器学习模型的性能能力，因此由于其显着影响而出现了视觉和对象地理定位的领域广泛的应用，如增强现实，机器人，自驾驶车辆，道路维护和3D重建。本文提供了对涉及图像的地理定位的全面调查，其涉及从捕获图像（图像地理定位）或图像内的地理定位对象（对象地理定位）的地理定位的综合调查。我们将提供深入的研究，包括流行算法的摘要，对所提出的数据集的描述以及性能结果的分析来说明每个字段的当前状态。

本文解决了基于跨视频的相机本地化（CVL）的问题。任务是通过利用其过去观察结果的信息来定位查询摄像机，即在以前的时间邮票处观察到的图像连续序列，并将它们与大型开销视图卫星图像匹配。该任务的关键挑战是为顺序地面视图图像学习强大的全局功能描述符，同时考虑其与参考卫星图像的域对齐。为此，我们介绍了CVLNET，该CVLNET首先通过探索地面和开头几何对应关系，然后利用预测图像之间的照片一致性来形成全局表示，首先将顺序地面视图图像投射到高架视图中。这样，跨视图域的差异就被桥接了。由于参考卫星图像通常会预先编写并定期采样，因此查询相机位置与其匹配的卫星图像中心之间始终存在未对准。在此激励的情况下，我们建议在相似性匹配之前估算查询摄像机的相对位移对卫星图像。在此位移估计过程中，我们还考虑了相机位置的不确定性。例如，相机不太可能在树上。为了评估所提出方法的性能，我们从Google Map中为Kitti数据集收集卫星图像，并构建一个新的基于跨视频的本地化本地化基准数据集Kitti-CVL。广泛的实验证明了基于视频的本地化对基于单个图像的本地化的有效性以及每个提出的模块比其他替代方案的优越性。

从世界上任何地方拍摄的单个地面RGB图像预测地理位置（地理位置）是一个非常具有挑战性的问题。挑战包括由于不同的环境场景而导致的图像多样性，相同位置的出现急剧变化，具体取决于一天中的时间，天气，季节和更重要的是，该预测是由单个图像可能只有一个可能只有一个图像做出的很少有地理线索。由于这些原因，大多数现有作品仅限于特定的城市，图像或全球地标。在这项工作中，我们专注于为行星尺度单位图地理定位开发有效的解决方案。为此，我们提出了转运器，这是一个统一的双分支变压器网络，在整个图像上关注细节，并在极端的外观变化下产生健壮的特征表示。转运器将RGB图像及其语义分割图作为输入，在每个变压器层之后的两个平行分支之间进行交互，并以多任务方式同时执行地理位置定位和场景识别。我们在四个基准数据集上评估转运器-IM2GPS，IM2GPS3K，YFCC4K，YFCC26K，并获得5.5％，14.1％，4.9％，9.9％的大陆级别准确度比最新的级别的精度提高。在现实世界测试图像上还验证了转运器，发现比以前的方法更有效。

跨视野地理位置化的现有工作基于将地面全景与空中图像相匹配的图像。在这项工作中，我们专注于地面视频，而不是图像，这些视频提供了对此任务很重要的其他上下文提示。没有针对此问题的现有数据集，因此我们提出了GAMA数据集，这是一个带有地面视频和相应空中图像的大型数据集。我们还提出了一种解决这个问题的新方法。在剪辑级，简短的视频剪辑与相应的空中图像匹配，后来用于获得长视频的视频级地理定位。此外，我们提出了一种分层方法，以进一步改善剪辑级地理定位。这是一个具有挑战性的数据集，未对齐和有限的视野，我们提出的方法的前1个召回率为19.4％和45.1％ @1.0英里。代码和数据集可在以下链接中获得：https：//github.com/svyas23/gama。

视觉地位识别是自主驾驶导航和移动机器人定位等应用的具有挑战性的任务。分散注意力在复杂的场景中呈现的元素经常导致视觉场所的感知偏差。为了解决这个问题，必须将信息与任务相关区域中的信息集成到图像表示中至关重要。在本文中，我们介绍了一种基于视觉变压器的新型整体地点识别模型，TransVPR。它受益于变形金刚的自我关注操作的理想性能，这可以自然地聚合任务相关的特征。从多个级别的变压器的关注，重点关注不同的感兴趣区域，以产生全球图像表示。另外，由熔融注意掩模过滤的变压器层的输出令牌被认为是密钥贴片描述符，用于执行空间匹配以重新排名通过全局图像特征检索的候选。整个模型允许具有单个目标和图像级监控的端到端培训。 TransVPR在几个现实世界基准上实现最先进的性能，同时保持低计算时间和存储要求。

视觉地位识别（VPR）通常关注本地化室外图像。但是，本地化包含部分户外场景的室内场景对于各种应用来说可能具有很大的值。在本文中，我们介绍了内部视觉地点识别（IOVPR），一个任务，旨在通过Windows可见的户外场景本地化图像。对于此任务，我们介绍了新的大型数据集Amsterdam-XXXL，在阿姆斯特丹拍摄的图像，由640万全景街头视图图像和1000个用户生成的室内查询组成。此外，我们介绍了一个新的培训协议，内部数据增强，以适应视觉地点识别方法，以便展示内外视觉识别的潜力。我们经验展示了我们提出的数据增强方案的优势，较小的规模，同时展示了现有方法的大规模数据集的难度。通过这项新任务，我们旨在鼓励为IOVPR制定方法。数据集和代码可用于HTTPS://github.com/saibr/iovpr的研究目的

对于语义引导的跨视图图像翻译，至关重要的是要了解从源视图图像进行示例像素以及在目标视图语义映射引导下对它们进行重新分配的位置，尤其是当源之间几乎没有重叠或急剧的视图差异时和目标图像。因此，一个不仅需要编码源视图图像和目标查看语义映射中的像素之间的长距离依赖关系，而且还需要转换这些学到的依赖关系。为此，我们提出了一个新颖的生成对抗网络Pi-Trans，该网络主要由一个新型的平行-CONVMLP模块和一个在多个语义级别上的隐式转换模块组成。广泛的实验结果表明，与两个具有挑战性的数据集中的最新方法相比，拟议的Pi-Trans通过较大的边缘实现了最佳的定性和定量性能。该代码将在https://github.com/amazingren/pi-trans上提供。

过去，图像检索是用于跨视图地理位置和无人机视觉本地化任务的主流解决方案。简而言之，图像检索的方式是通过过渡角度获得最终所需的信息，例如GPS。但是，图像检索的方式并非完全端到端。并且有一些多余的操作，例如需要提前准备功能库以及画廊构造的抽样间隔问题，这使得很难实施大规模应用程序。在本文中，我们提出了一个端到端定位方案，使用图像（FPI）查找点，该方案旨在通过源A的图像（无人机 - - 看法）。为了验证我们的框架的可行性，我们构建了一个新的数据集（UL14），该数据集旨在解决无人机视觉自我定位任务。同时，我们还建立了一个基于变压器的基线以实现端到端培训。另外，先前的评估方法不再适用于FPI框架。因此，提出了米级准确性（MA）和相对距离评分（RDS）来评估无人机定位的准确性。同时，我们初步比较了FPI和图像检索方法，而FPI的结构在速度和效率方面都可以提高性能。特别是，由于不同观点与剧烈的空间量表转换之间的巨大差异，FPI的任务仍然是巨大的挑战。

尽管提取了通过手工制作和基于学习的描述符实现的本地特征的进步，但它们仍然受到不符合非刚性转换的不变性的限制。在本文中，我们提出了一种计算来自静止图像的特征的新方法，该特征对于非刚性变形稳健，以避免匹配可变形表面和物体的问题。我们的变形感知当地描述符，命名优惠，利用极性采样和空间变压器翘曲，以提供旋转，尺度和图像变形的不变性。我们通过将等距非刚性变形应用于模拟环境中的对象作为指导来提供高度辨别的本地特征来培训模型架构端到端。该实验表明，我们的方法优于静止图像中的实际和现实合成可变形对象的不同数据集中的最先进的手工制作，基于学习的图像和RGB-D描述符。描述符的源代码和培训模型在https://www.verlab.dcc.ufmg.br/descriptors/neUrips2021上公开可用。

这项工作介绍了用于户外机器人技术的视觉跨视图定位。给定一个地面颜色图像和包含本地周围环境的卫星贴片，任务是确定地面摄像头在卫星贴片中的位置。相关工作解决了用于射程传感器（LIDAR，RADAR）的此任务，但对于视觉，仅作为初始跨视图图像检索步骤之后的次要回归步骤。由于还可以通过任何粗糙的本地化（例如，从GPS/GNSS，时间过滤）检索局部卫星贴片，因此我们删除图像检索目标并仅关注度量定位。我们设计了一种具有密集的卫星描述符的新型网络体系结构，在瓶颈处与相似性匹配（而不是图像检索中的输出）以及一个密集的空间分布作为输出，以捕获多模式的定位歧义。我们将使用全局图像描述符的最新回归基线进行比较。关于最近提出的活力和牛津机器人数据集的定量和定性实验结果验证了我们的设计。产生的概率与定位精度相关，甚至可以在未知的方向时大致估计地面摄像头的标题。总体而言，与最先进的面积相比，我们的方法将中值度量定位误差降低了51％，37％和28％，而在同一区域，整个区域和整个时间之间分别概括。

人员搜索是一个有关的任务，旨在共同解决人员检测和人员重新识别（RE-ID）。虽然最先前的方法侧重于学习稳健的个人功能，但由于照明，大构成方差和遮挡，仍然很难区分令人困惑的人。上下文信息实际上是人们搜索任务，这些任务在减少混淆方面搜索。为此，我们提出了一个名为注意上下文感知嵌入（ACAE）的新颖的上下文特征头，这增强了上下文信息。 Acae反复审查图像内部和图像内的该人员，以查找类似的行人模式，允许它隐含地学会找到可能的共同旅行者和有效地模范上下文相关的实例的关系。此外，我们提出了图像记忆库来提高培训效率。实验上，ACAE在基于不同的一步法时显示出广泛的促销。我们的整体方法实现了最先进的结果与先前的一步法。

细粒度的图像分析（FGIA）是计算机视觉和模式识别中的长期和基本问题，并为一组多种现实世界应用提供了基础。 FGIA的任务是从属类别分析视觉物体，例如汽车或汽车型号的种类。细粒度分析中固有的小阶级和阶级阶级内变异使其成为一个具有挑战性的问题。利用深度学习的进步，近年来，我们在深入学习动力的FGIA中见证了显着进展。在本文中，我们对这些进展的系统进行了系统的调查，我们试图通过巩固两个基本的细粒度研究领域 - 细粒度的图像识别和细粒度的图像检索来重新定义和扩大FGIA领域。此外，我们还审查了FGIA的其他关键问题，例如公开可用的基准数据集和相关域的特定于应用程序。我们通过突出几个研究方向和开放问题，从社区中突出了几个研究方向和开放问题。

玻璃在我们的日常生活中非常普遍。现有的计算机视觉系统忽略了它，因此可能会产生严重的后果，例如，机器人可能会坠入玻璃墙。但是，感知玻璃的存在并不简单。关键的挑战是，任意物体/场景可以出现在玻璃后面。在本文中，我们提出了一个重要的问题，即从单个RGB图像中检测玻璃表面。为了解决这个问题，我们构建了第一个大规模玻璃检测数据集（GDD），并提出了一个名为GDNet-B的新颖玻璃检测网络，该网络通过新颖的大型场探索大型视野中的丰富上下文提示上下文特征集成（LCFI）模块并将高级和低级边界特征与边界特征增强（BFE）模块集成在一起。广泛的实验表明，我们的GDNET-B可以在GDD测试集内外的图像上达到满足玻璃检测结果。我们通过将其应用于其他视觉任务（包括镜像分割和显着对象检测）来进一步验证我们提出的GDNET-B的有效性和概括能力。最后，我们显示了玻璃检测的潜在应用，并讨论了可能的未来研究方向。

Visual place recognition (VPR) is usually considered as a specific image retrieval problem. Limited by existing training frameworks, most deep learning-based works cannot extract sufficiently stable global features from RGB images and rely on a time-consuming re-ranking step to exploit spatial structural information for better performance. In this paper, we propose StructVPR, a novel training architecture for VPR, to enhance structural knowledge in RGB global features and thus improve feature stability in a constantly changing environment. Specifically, StructVPR uses segmentation images as a more definitive source of structural knowledge input into a CNN network and applies knowledge distillation to avoid online segmentation and inference of seg-branch in testing. Considering that not all samples contain high-quality and helpful knowledge, and some even hurt the performance of distillation, we partition samples and weigh each sample's distillation loss to enhance the expected knowledge precisely. Finally, StructVPR achieves impressive performance on several benchmarks using only global retrieval and even outperforms many two-stage approaches by a large margin. After adding additional re-ranking, ours achieves state-of-the-art performance while maintaining a low computational cost.

基于关注的编码器 - 解码器框架在现场文本识别中变得流行，主要是由于其在从视觉和语义域集成识别线索方面的优越性。然而，最近的研究表明，这两个线索可能在困难的文本中错位（例如，具有稀有文本形状）并引入诸如角色位置的约束来缓解问题。尽管有一定的成功，但无内容的位置嵌入稳定地与有意义的本地图像区域嵌入。在本文中，我们提出了一种名为多域字符距离感知（MDCDP）的新型模块，以建立视觉和语义相关位置编码。 MDCDP使用位置嵌入在注意机制后查询视觉和语义功能。它自然地编码了位置线索，其描述了字符之间的视觉和语义距离。我们开发一个名为CDISTNET的新型架构，堆叠MDCDP几次以指导精确的距离建模。因此，即使呈现的各种困难，视觉语义对准也很好地建造。我们将CDISTNET应用于两个增强的数据集和六个公共基准。实验表明，CDISTNET实现了最先进的识别准确性。虽然可视化也表明CDISTNET在视觉和语义域中实现了适当的注意本地化。我们将在验收时发布我们的代码。

本文提出了一种新颖的地理跟踪方法，即通过在室外环境中进行连续的度量自我定位，通过注册车辆的传感器信息，以看不见的目标区域的空中图像。地理跟踪方法为取代全球导航卫星系统（GNSS）的嘈杂信号提供了潜力，并且昂贵且难以维护通常用于此目的的先前地图。所提出的地理跟踪方法将来自板载摄像机和LiDAR传感器的数据与地理注册的正射击对准，以连续定位车辆。我们在公制学习环境中训练模型，以从地面和空中图像中提取视觉特征。地面特征通过激光雷达点投影到自上而下的视角，并与空中特征相匹配，以确定车辆和正射击之间的相对姿势。我们的方法是第一个在端到端可区分模型中使用板载摄像机在看不见的正射击上进行度量自定位。它表现出强烈的概括，对环境的变化是强大的，并且只需要地理姿势作为地面真理。我们在Kitti-360数据集上评估我们的方法，并达到平均绝对位置误差（APE）为0.94m。我们进一步与Kitti Odometry数据集的先前方法进行了比较，并在地理跟踪任务上实现了最新结果。

Person re-identification (Re-ID) aims at retrieving a person of interest across multiple non-overlapping cameras. With the advancement of deep neural networks and increasing demand of intelligent video surveillance, it has gained significantly increased interest in the computer vision community. By dissecting the involved components in developing a person Re-ID system, we categorize it into the closed-world and open-world settings. The widely studied closed-world setting is usually applied under various research-oriented assumptions, and has achieved inspiring success using deep learning techniques on a number of datasets. We first conduct a comprehensive overview with in-depth analysis for closed-world person Re-ID from three different perspectives, including deep feature representation learning, deep metric learning and ranking optimization. With the performance saturation under closed-world setting, the research focus for person Re-ID has recently shifted to the open-world setting, facing more challenging issues. This setting is closer to practical applications under specific scenarios. We summarize the open-world Re-ID in terms of five different aspects. By analyzing the advantages of existing methods, we design a powerful AGW baseline, achieving state-of-the-art or at least comparable performance on twelve datasets for FOUR different Re-ID tasks. Meanwhile, we introduce a new evaluation metric (mINP) for person Re-ID, indicating the cost for finding all the correct matches, which provides an additional criteria to evaluate the Re-ID system for real applications. Finally, some important yet under-investigated open issues are discussed.

We present HetNet (Multi-level \textbf{Het}erogeneous \textbf{Net}work), a highly efficient mirror detection network. Current mirror detection methods focus more on performance than efficiency, limiting the real-time applications (such as drones). Their lack of efficiency is aroused by the common design of adopting homogeneous modules at different levels, which ignores the difference between different levels of features. In contrast, HetNet detects potential mirror regions initially through low-level understandings (\textit{e.g.}, intensity contrasts) and then combines with high-level understandings (contextual discontinuity for instance) to finalize the predictions. To perform accurate yet efficient mirror detection, HetNet follows an effective architecture that obtains specific information at different stages to detect mirrors. We further propose a multi-orientation intensity-based contrasted module (MIC) and a reflection semantic logical module (RSL), equipped on HetNet, to predict potential mirror regions by low-level understandings and analyze semantic logic in scenarios by high-level understandings, respectively. Compared to the state-of-the-art method, HetNet runs 664$\%$ faster and draws an average performance gain of 8.9$\%$ on MAE, 3.1$\%$ on IoU, and 2.0$\%$ on F-measure on two mirror detection benchmarks.