本文从跨模式度量学习的角度来解决基于零点草图的图像检索（ZS-SBIR）问题。此任务具有两个特性：1）零拍摄设置需要具有良好的课堂紧凑性和识别新颖类别的课堂间差异的度量空间，而2）草图查询和照片库是不同的模态。从两个方面，公制学习视点益处ZS-SBIR。首先，它促进了深度度量学习（DML）中最近的良好实践的改进。通过在DML中结合两种基本学习方法，例如分类培训和成对培训，我们为ZS-SBIR设置了一个强大的基线。没有钟声和口哨，这种基线实现了竞争的检索准确性。其次，它提供了一个正确抑制模态间隙至关重要的洞察力。为此，我们设计了一种名为Domency Ippar Triplet硬挖掘（Mathm）的新颖方法。 Mathm增强了基线，具有三种类型的成对学习，例如跨模型样本对，模态样本对，以及它们的组合。\我们还设计了一种自适应加权方法，可以在动态训练期间平衡这三个组件。实验结果证实，Mathm根据强大的基线带来另一轮显着改进，并建立了新的最先进的性能。例如，在Tu-Berlin数据集上，我们达到了47.88 + 2.94％地图@全部和58.28 + 2.34％prip @ 100。代码将在：https://github.com/huangzongheng/mathm公开使用。

基于草图的3D形状检索是一项具有挑战性的任务，这是由于草图和3D形状之间的较大域差异。由于现有方法是在相同类别上进行培训和评估的，因此他们无法有效地识别培训期间未使用的类别。在本文中，我们建议用于基于零素描的3D检索的新型域分解生成对抗网络（DD-GAN），该域可以检索训练过程中未访问的不看到的类别。具体而言，我们首先通过删除草图和3D形状的学习特征来生成域不变的特征和特定于域特异性特征，在该特征中，域，域，不变的特征用于与相应的单词嵌入在一起。然后，我们开发了一个生成的对抗网络，该网络将所见类别的特定域特征与对齐的域不变特征结合在一起，以合成样品，在其中使用相应的单词嵌入式生成了看不见类别的合成样本。最后，我们使用看不见类别的综合样本与可见类别的真实样本相结合来训练网络进行检索，以便可以识别出看不见的类别。为了减少域移位问题，我们利用未看到的未见样本来增强歧视者的歧视能力。通过鉴别器将生成的样品与未看到的看不见的样品区分开，生成器可以生成更现实的看不见的样品。 SHEREC'13和SHEREC'14数据集的广泛实验表明，我们的方法显着提高了看不见类别的检索性能。

在本文中，我们提出了一种强大的样本生成方案来构建信息性三联网。所提出的硬样品生成是一种两级合成框架，通过两个阶段的有效正和负样品发生器产生硬样品。第一阶段将锚定向对具有分段线性操作，通过巧妙地设计条件生成的对抗网络来提高产生的样本的质量，以降低模式崩溃的风险。第二阶段利用自适应反向度量约束来生成最终的硬样本。在几个基准数据集上进行广泛的实验，验证了我们的方法比现有的硬样生成算法达到卓越的性能。此外，我们还发现，我们建议的硬样品生成方法结合现有的三态挖掘策略可以进一步提高深度度量学习性能。

最近对基于细粒的基于草图的图像检索（FG-SBIR）的重点已转向将模型概括为新类别，而没有任何培训数据。但是，在现实世界中，经过训练的FG-SBIR模型通常应用于新类别和不同的人类素描器，即不同的绘图样式。尽管这使概括问题复杂化，但幸运的是，通常可以使用一些示例，从而使模型适应新的类别/样式。在本文中，我们提供了一种新颖的视角 - 我们没有要求使用概括的模型，而是提倡快速适应的模型，在测试过程中只有很少的样本（以几种方式）。为了解决这个新问题，我们介绍了一种基于几个关键修改的基于新型的模型 - 静态元学习（MAML）框架：（1）作为基于边缘的对比度损失的检索任务，我们简化了内部循环中的MAML训练使其更稳定和易于处理。 （2）我们的对比度损失的边距也通过其余模型进行了元学习。 （3）在外循环中引入了另外三个正规化损失，以使元学习的FG-SBIR模型对类别/样式适应更有效。在公共数据集上进行的广泛实验表明，基于概括和基于零射的方法的增益很大，还有一些强大的射击基线。

Deep Metric Learning (DML) learns a non-linear semantic embedding from input data that brings similar pairs together while keeping dissimilar data away from each other. To this end, many different methods are proposed in the last decade with promising results in various applications. The success of a DML algorithm greatly depends on its loss function. However, no loss function is perfect, and it deals only with some aspects of an optimal similarity embedding. Besides, the generalizability of the DML on unseen categories during the test stage is an important matter that is not considered by existing loss functions. To address these challenges, we propose novel approaches to combine different losses built on top of a shared deep feature extractor. The proposed ensemble of losses enforces the deep model to extract features that are consistent with all losses. Since the selected losses are diverse and each emphasizes different aspects of an optimal semantic embedding, our effective combining methods yield a considerable improvement over any individual loss and generalize well on unseen categories. Here, there is no limitation in choosing loss functions, and our methods can work with any set of existing ones. Besides, they can optimize each loss function as well as its weight in an end-to-end paradigm with no need to adjust any hyper-parameter. We evaluate our methods on some popular datasets from the machine vision domain in conventional Zero-Shot-Learning (ZSL) settings. The results are very encouraging and show that our methods outperform all baseline losses by a large margin in all datasets.

A family of loss functions built on pair-based computation have been proposed in the literature which provide a myriad of solutions for deep metric learning. In this paper, we provide a general weighting framework for understanding recent pair-based loss functions. Our contributions are three-fold: (1) we establish a General Pair Weighting (GPW) framework, which casts the sampling problem of deep metric learning into a unified view of pair weighting through gradient analysis, providing a powerful tool for understanding recent pair-based loss functions; (2) we show that with GPW, various existing pair-based methods can be compared and discussed comprehensively, with clear differences and key limitations identified; (3) we propose a new loss called multi-similarity loss (MS loss) under the GPW, which is implemented in two iterative steps (i.e., mining and weighting). This allows it to fully consider three similarities for pair weighting, providing a more principled approach for collecting and weighting informative pairs. Finally, the proposed MS loss obtains new state-of-the-art performance on four image retrieval benchmarks, where it outperforms the most recent approaches, such as ABE [14] and HTL [4], by a large margin, e.g., , and 80.9% → 88.0% on In-Shop Clothes Retrieval dataset

人重新识别是识别非重叠摄像机的个体的问题。尽管在重新识别问题中取得了显着进展，但由于同一人的外观变化以及其他外观相似的人，这仍然是一个具有挑战性的问题。一些先前的作品通过将正样本的特征与负面的特征分开来解决这些问题。但是，现有模型的性能在很大程度上取决于用于培训的样品的特征和统计数据。因此，我们提出了一个名为“采样独立鲁棒特征表示网络”（sirnet）的新型框架，该框架学习了从随机选择的样品中嵌入的分离特征。对精心设计的采样独立的最大差异损失引入了与集群同一人的模型样本。结果，所提出的框架可以使用学识渊博的功能产生额外的硬质量/积极因素，从而可以更好地辨别其他身份。大规模基准数据集的广泛实验结果验证了所提出的模型比以前的最新模型更有效。

草图和照片之间的巨大领域差距以及高度抽象的草图表示构成了基于草图的图像检索（\下划线{Sbir}）的挑战。基于零拍的草图的图像检索（\下划线{ZS-SBIR}）更通用，实用，但由于所看到和未遵守的类别之间的额外知识差距，造成更大的挑战。要同时缓解两个间隙，我们提出了一个\ textbf {a} pproaching-and-\ textbf {c}映射\ textbf {net}工作（称为`\ textbf {acnet}''），以共同优化素描到照片合成与图像检索。检索模块引导综合模块生成大量不同的光相似图像，该图像逐渐接近照片域，从而更好地服务于检索模块，而不是以前学习域名不可知的表征和类别 - 无名的共同知识，以概括到未经证明的类别。通过检索引导产生的这些不同的图像可以有效地减轻了高梯度的混凝土类别训练样本的过度装备问题。我们还发现使用基于代理的NormsoftMax丢失是有效的，因为它的集中效果可以稳定我们的联合培训并促进未经看管分类的概括能力。我们的方法简单而且有效，这在两个广泛使用的ZS-SBIR数据集上实现了最先进的性能，并通过大边距超过以前的方法。

Person re-identification (Re-ID) aims at retrieving a person of interest across multiple non-overlapping cameras. With the advancement of deep neural networks and increasing demand of intelligent video surveillance, it has gained significantly increased interest in the computer vision community. By dissecting the involved components in developing a person Re-ID system, we categorize it into the closed-world and open-world settings. The widely studied closed-world setting is usually applied under various research-oriented assumptions, and has achieved inspiring success using deep learning techniques on a number of datasets. We first conduct a comprehensive overview with in-depth analysis for closed-world person Re-ID from three different perspectives, including deep feature representation learning, deep metric learning and ranking optimization. With the performance saturation under closed-world setting, the research focus for person Re-ID has recently shifted to the open-world setting, facing more challenging issues. This setting is closer to practical applications under specific scenarios. We summarize the open-world Re-ID in terms of five different aspects. By analyzing the advantages of existing methods, we design a powerful AGW baseline, achieving state-of-the-art or at least comparable performance on twelve datasets for FOUR different Re-ID tasks. Meanwhile, we introduce a new evaluation metric (mINP) for person Re-ID, indicating the cost for finding all the correct matches, which provides an additional criteria to evaluate the Re-ID system for real applications. Finally, some important yet under-investigated open issues are discussed.

Deep embeddings answer one simple question: How similar are two images? Learning these embeddings is the bedrock of verification, zero-shot learning, and visual search. The most prominent approaches optimize a deep convolutional network with a suitable loss function, such as contrastive loss or triplet loss. While a rich line of work focuses solely on the loss functions, we show in this paper that selecting training examples plays an equally important role. We propose distance weighted sampling, which selects more informative and stable examples than traditional approaches. In addition, we show that a simple margin based loss is sufficient to outperform all other loss functions. We evaluate our approach on the Stanford Online Products, CAR196, and the CUB200-2011 datasets for image retrieval and clustering, and on the LFW dataset for face verification. Our method achieves state-of-the-art performance on all of them.

深度度量学习（DML）有助于学习嵌入功能，以将语义上的数据投射到附近的嵌入空间中，并在许多应用中起着至关重要的作用，例如图像检索和面部识别。但是，DML方法的性能通常很大程度上取决于采样方法，从训练中的嵌入空间中选择有效的数据。实际上，嵌入空间中的嵌入是通过一些深层模型获得的，其中嵌入空间通常由于缺乏训练点而在贫瘠的区域中，导致所谓的“缺失嵌入”问题。此问题可能会损害样品质量，从而导致DML性能退化。在这项工作中，我们研究了如何减轻“缺失”问题以提高采样质量并实现有效的DML。为此，我们提出了一个密集锚定的采样（DAS）方案，该方案将嵌入的数据点视为“锚”，并利用锚附近的嵌入空间来密集地生成无数据点的嵌入。具体而言，我们建议用判别性特征缩放（DFS）和多个锚点利用单个锚周围的嵌入空间，并具有记忆转换转换（MTS）。通过这种方式，通过有或没有数据点的嵌入方式，我们能够提供更多的嵌入以促进采样过程，从而提高DML的性能。我们的方法毫不费力地集成到现有的DML框架中，并在没有铃铛和哨声的情况下改进了它们。在三个基准数据集上进行的广泛实验证明了我们方法的优势。

在本文中，我们提出了第一次尝试无监督的SBIR来删除常规培训所需的标签成本（类别注释和素描 - 光配对）。由于该问题的独特跨域（草图和照片）性质，现有的单域无监督表示学习方法在本应用程序中的性能很差。因此，我们介绍了一个新型框架，该框架同时执行了无监督的表示学习和素描域的对准。从技术上讲，这是通过利用联合分配最佳运输（JDOT）来对齐的，以使来自不同领域的数据在表示过程中对齐，我们将其扩展到可训练的群集原型和功能记忆库以进一步提高可扩展性和功效。广泛的实验表明，我们的框架在新的无监督环境中取得了出色的性能，并且在零拍设置中的性能比最先进的表现相当或更好。

学习模态不变功能是可见热跨模板人员重新凝视（VT-REID）问题的核心，其中查询和画廊图像来自不同的模式。现有工作通过使用对抗性学习或仔细设计特征提取模块来隐式地将像素和特征空间中的模态对齐。我们提出了一个简单但有效的框架MMD-REID，通过明确的差异减少约束来降低模态差距。 MMD-REID从最大均值（MMD）中获取灵感，广泛使用的统计工具用于确定两个分布之间的距离。 MMD-REID采用新的基于边缘的配方，以匹配可见和热样品的类条件特征分布，以最大限度地减少级别的距离，同时保持特征辨别性。 MMD-Reid是一个简单的架构和损失制定方面的框架。我们对MMD-REID的有效性进行了广泛的实验，以使MMD-REID对调整边缘和阶级条件分布的有效性，从而学习模型无关和身份的一致特征。所提出的框架显着优于Sysu-MM01和RegDB数据集的最先进的方法。代码将在https://github.com/vcl-iisc/mmd -reid发布

学习遥感（RS）图像之间的相似性形成基于内容的RS图像检索（CBIR）的基础。最近，将图像的语义相似性映射到嵌入（度量标准）空间的深度度量学习方法已经发现非常流行。学习公制空间的常见方法依赖于将与作为锚称为锚的参考图像的类似（正）和不同（负）图像的三胞胎的选择。选择三胞胎是一个难以为多标签RS CBIR的困难任务，其中每个训练图像由多个类标签注释。为了解决这个问题，在本文中，我们提出了一种在为多标签RS CBIR问题定义的深神经网络（DNN）的框架中提出了一种新颖的三联样品采样方法。该方法基于两个主要步骤选择一小部分最多代表性和信息性三元组。在第一步中，使用迭代算法从当前迷你批量选择在嵌入空间中彼此多样化的一组锚。在第二步中，通过基于新颖的策略评估彼此之间的图像的相关性，硬度和多样性来选择不同的正面和负图像。在两个多标签基准档案上获得的实验结果表明，在DNN的上下文中选择最具信息丰富和代表性的三胞胎，导致：i）降低DNN训练阶段的计算复杂性，而性能没有任何显着损失; ii）由于信息性三元组允许快速收敛，因此学习速度的增加。所提出的方法的代码在https://git.tu-berlin.de/rsim/image-reetrieval-from-tropls上公开使用。

近年来，人们对建立面孔和名人声音之间的关联的兴趣越来越大，从而利用YouTube的视听信息。先前的工作采用公制学习方法来学习适合关联匹配和验证任务的嵌入式空间。尽管显示出一些进展，但由于依赖距离依赖的边缘参数，运行时训练的复杂性差以及对精心制作的负面采矿程序的依赖，这种制剂是限制性的。在这项工作中，我们假设一个丰富的表示形式以及有效但有效的监督对于实现面部voice关联任务的歧视性关节嵌入空间很重要。为此，我们提出了一种轻巧的插件机制，该机制利用这两种方式中的互补线索以通过正交性约束来根据其身份标签形成丰富的融合杂物并将其簇形成。我们将我们提出的机制作为融合和正交投影（FOP）创造，并在两个流网络中实例化。在Voxceleb1和Mav-Celeb数据集上评估了总体结果框架，其中包括许多任务，包括跨模式验证和匹配。结果表明，我们的方法对当前的最新方法有利，而我们提出的监督表述比当代方法所采用的方法更有效。此外，我们还利用跨模式验证和匹配任务来分析多种语言对面部声音协会的影响。代码可用：\ url {https://github.com/msaadsaeed/fop}

细粒度的图像分析（FGIA）是计算机视觉和模式识别中的长期和基本问题，并为一组多种现实世界应用提供了基础。 FGIA的任务是从属类别分析视觉物体，例如汽车或汽车型号的种类。细粒度分析中固有的小阶级和阶级阶级内变异使其成为一个具有挑战性的问题。利用深度学习的进步，近年来，我们在深入学习动力的FGIA中见证了显着进展。在本文中，我们对这些进展的系统进行了系统的调查，我们试图通过巩固两个基本的细粒度研究领域 - 细粒度的图像识别和细粒度的图像检索来重新定义和扩大FGIA领域。此外，我们还审查了FGIA的其他关键问题，例如公开可用的基准数据集和相关域的特定于应用程序。我们通过突出几个研究方向和开放问题，从社区中突出了几个研究方向和开放问题。

The heterogeneity gap problem is the main challenge in cross-modal retrieval. Because cross-modal data (e.g. audiovisual) have different distributions and representations that cannot be directly compared. To bridge the gap between audiovisual modalities, we learn a common subspace for them by utilizing the intrinsic correlation in the natural synchronization of audio-visual data with the aid of annotated labels. TNN-CCCA is the best audio-visual cross-modal retrieval (AV-CMR) model so far, but the model training is sensitive to hard negative samples when learning common subspace by applying triplet loss to predict the relative distance between inputs. In this paper, to reduce the interference of hard negative samples in representation learning, we propose a new AV-CMR model to optimize semantic features by directly predicting labels and then measuring the intrinsic correlation between audio-visual data using complete cross-triple loss. In particular, our model projects audio-visual features into label space by minimizing the distance between predicted label features after feature projection and ground label representations. Moreover, we adopt complete cross-triplet loss to optimize the predicted label features by leveraging the relationship between all possible similarity and dissimilarity semantic information across modalities. The extensive experimental results on two audio-visual double-checked datasets have shown an improvement of approximately 2.1% in terms of average MAP over the current state-of-the-art method TNN-CCCA for the AV-CMR task, which indicates the effectiveness of our proposed model.

Deep metric learning has gained much popularity in recent years, following the success of deep learning. However, existing frameworks of deep metric learning based on contrastive loss and triplet loss often suffer from slow convergence, partially because they employ only one negative example while not interacting with the other negative classes in each update. In this paper, we propose to address this problem with a new metric learning objective called multi-class N -pair loss. The proposed objective function firstly generalizes triplet loss by allowing joint comparison among more than one negative examples -more specifically, N -1 negative examples -and secondly reduces the computational burden of evaluating deep embedding vectors via an efficient batch construction strategy using only N pairs of examples, instead of (N +1)×N . We demonstrate the superiority of our proposed loss to the triplet loss as well as other competing loss functions for a variety of tasks on several visual recognition benchmark, including fine-grained object recognition and verification, image clustering and retrieval, and face verification and identification.

大多数深度度量学习（DML）方法采用了一种策略，该策略迫使所有积极样本在嵌入空间中靠近，同时使它们远离负面样本。但是，这种策略忽略了正（负）样本的内部关系，并且通常导致过度拟合，尤其是在存在硬样品和标签错误的情况下。在这项工作中，我们提出了一个简单而有效的正则化，即列表自我验证（LSD），该化逐渐提炼模型的知识，以适应批处理中每个样本对的更合适的距离目标。LSD鼓励在正（负）样本中更平稳的嵌入和信息挖掘，以减轻过度拟合并从而改善概括。我们的LSD可以直接集成到一般的DML框架中。广泛的实验表明，LSD始终提高多个数据集上各种度量学习方法的性能。

图像文本检索（ITR）在桥接视觉和舌形式方面具有挑战性。对比度学习已被大多数先前的艺术所采用。除了有限的负面图像文本对外，约束学习的能力受到手动加权负对以及对外部知识的不认识的限制。在本文中，我们提出了新型耦合多样性敏感的动量约束学习（编码器），以改善跨模式表示。首先，发明了一种新颖的多样性对比度学习（DCL）体系结构。我们引入了两种模式的动态词典，以扩大图像文本对的比例，并且通过自适应负面对加权实现多样性敏感性。此外，编码器设计了两个分支。一个人从图像/文本中学习实例级的嵌入式，它还基于其嵌入为其输入图像/文本生成伪在线聚类标签。同时，另一个分支学会从常识知识图中查询以形成两种模式的概念级描述符。之后，两个分支都利用DCL来对齐跨模式嵌入空间，而额外的伪聚类标签预测损失则用于促进第二个分支的概念级表示学习。在两个流行的基准测试（即Mscoco和Flicker30k）上进行的广泛实验，验证编码器的表现明显优于最先进的方法。