在本文中,我们首先尝试调查深度哈希学习与车辆重新识别的集成。我们提出了一个深度哈希的车辆重新识别框架,被称为DVHN,这基本上减少了存储器使用,并在预留最接近的邻居搜索精度的同时提高检索效率。具体地,〜DVHN通过联合优化特征学习网络和哈希码生成模块,直接为每个图像直接学习离散的紧凑型二进制哈希代码。具体地,我们直接将来自卷积神经网络的输出限制为离散二进制代码,并确保学习的二进制代码是对分类的最佳选择。为了优化深度离散散列框架,我们进一步提出了一种用于学习二进制相似性保存散列代码的交替最小化方法。在两个广泛研究的车辆重新识别数据集 - \ textbf {sportid}和\ textbf {veri} - 〜〜\ textbf {veri} - 〜已经证明了我们对最先进的深哈希方法的方法的优越性。 2048美元的TextBF {DVHN}价格可以实现13.94 \%和10.21 \%的准确性改进\ textbf {map}和\ textbf {stuckbf {stank @ 1}的\ textbf {stuckid(800)} dataSet。对于\ textbf {veri},我们分别实现了35.45 \%和32.72 \%\ textbf {rank @ 1}和\​​ textbf {map}的性能增益。
translated by 谷歌翻译
最近,深度散列方法已广泛用于图像检索任务。大多数现有的深度散列方法采用一对一量化以降低信息损失。然而,这种类无关的量化不能为网络培训提供歧视反馈。此外,这些方法仅利用单个标签来集成散列函数学习数据的监督信息,这可能导致较差的网络泛化性能和相对低质量的散列代码,因为数据的帧间信息完全忽略。在本文中,我们提出了一种双语义非对称散列(DSAH)方法,其在三倍的约束下产生鉴别性哈希码。首先,DSAH在进行类结构量化之前利用类,以便在量化过程中传输类信息。其次,设计简单但有效的标签机制旨在表征类内的紧凑性和数据间数据间可分离性,从而实现了语义敏感的二进制代码学习。最后,设计了一种有意义的成对相似性保存损耗,以最小化基于亲和图的类相关网络输出之间的距离。利用这三个主要组件,可以通过网络生成高质量的哈希代码。在各种数据集上进行的广泛实验表明了DSAH的优越性与最先进的深度散列方法相比。
translated by 谷歌翻译
由于其在计算和存储的效率,散列广泛应用于大型多媒体数据上的多模式检索。在本文中,我们提出了一种用于可伸缩图像文本和视频文本检索的新型深度语义多模式散列网络(DSMHN)。所提出的深度散列框架利用2-D卷积神经网络(CNN)作为骨干网络,以捕获图像文本检索的空间信息,而3-D CNN作为骨干网络以捕获视频的空间和时间信息 - 文本检索。在DSMHN中,通过显式保留帧间性相似性和岩石性语义标签,共同学习两组模态特定散列函数。具体地,假设学习散列代码应该是对分类任务的最佳选择,通过在所得哈希代码上嵌入语义标签来共同训练两个流网络以学习散列函数。此外,提出了一种统一的深层多模式散列框架,通过利用特征表示学习,互相相似度 - 保存学习,语义标签保留学习和哈希函数学习同时利用不同类型的损耗功能来学习紧凑和高质量的哈希码。该提议的DSMHN方法是用于图像文本和视频文本检索的通用和可扩展的深度散列框架,其可以灵活地集成在不同类型的损耗功能中。我们在四个广泛使用的多媒体检索数据集中对单一模态和跨模型检索任务进行广泛的实验。图像文本和视频文本检索任务的实验结果表明DSMHN显着优于最先进的方法。
translated by 谷歌翻译
人重新识别(REID)与跨不同相机的行人相匹配。采用真实功能描述符的现有REID方法已经达到了很高的精度,但是由于缓慢的欧几里得距离计算以及复杂的快速算法,它们的效率很低。最近,一些作品建议生产二进制编码的人描述符,而这些描述符仅需要快速锤击距离计算和简单的计数算法。但是,考虑到稀疏的二进制空间,这种二进制编码的描述符的性能,尤其是使用短代码(例如32位和64位)的性能几乎是令人满意的。为了在模型的准确性和效率之间取得平衡,我们提出了一种新颖的子空间一致性(SCR)算法,该算法可以比在相同维度下的实现功能,同时维持竞争精度,比实际价值的功能加快REID程序的$ 0.25 $倍。尤其是在简短的代码下。 SCR转换实价特征向量(例如,2048 Float32),带有简短的二进制代码(例如64位),首先将房地产品向量向量向量矢量分为$ M $子空间,每个vector vector vector vector value value value value value value value value value value value value coppection vetor vector vector vector vector vector vection velets velects velects velects velects vare cob $ m $ subpaces。因此,两个样品之间的距离可以表示为与质心相应距离的求和,可以通过离线计算加速并通过查找表维护。另一方面,与使用二进制代码相比,这些真实价值的质心有助于实现明显更高的准确性。最后,我们将距离查找表转换为整数,并应用计数算法以加快排名阶段。我们还提出了一个具有迭代框架的新型一致性正则化。 Market-1501和Dukemtmc-Reid的实验结果显示出令人鼓舞和令人兴奋的结果。在简短的代码下,我们拟议的SCR享有真实价值的准确性和哈希级速度。
translated by 谷歌翻译
哈希(Hashing)将项目数据投入二进制代码已显示出由于其储存量低和高查询速度而显示出跨模式检索的非凡人才。尽管在某些情况下取得了经验成功,但现有的跨模式散列方法通常不存在带有大量标记信息的数据时跨模式差距跨模式差距。为了避免以分裂和纠纷策略的激励,我们提出了深层的歧管散列(DMH),这是一种新颖的方法,是将半分配的无监督的交叉模式检索分为三个子问题,并建立一个简单而又简单而又又有一个简单的方法每个子问题的效率模型。具体而言,第一个模型是通过基于多种学习的半生数据补充的半生数据来构建的,用于获得模态不变的特征,而第二个模型和第三个模型旨在分别学习哈希码和哈希功能。在三个基准上进行的广泛实验表明,与最先进的完全配对和半成本无监督的跨模式散列方法相比,我们的DMH的优势。
translated by 谷歌翻译
近年来,已经产生了大量的视觉内容,并从许多领域共享,例如社交媒体平台,医学成像和机器人。这种丰富的内容创建和共享引入了新的挑战,特别是在寻找类似内容内容的图像检索(CBIR)-A的数据库中,即长期建立的研究区域,其中需要改进的效率和准确性来实时检索。人工智能在CBIR中取得了进展,并大大促进了实例搜索过程。在本调查中,我们审查了最近基于深度学习算法和技术开发的实例检索工作,通过深网络架构类型,深度功能,功能嵌入方法以及网络微调策略组织了调查。我们的调查考虑了各种各样的最新方法,在那里,我们识别里程碑工作,揭示各种方法之间的联系,并呈现常用的基准,评估结果,共同挑战,并提出未来的未来方向。
translated by 谷歌翻译
最近流行的对比学习范式提出了无监督的哈希的发展。但是,以前的基于学习的作品受到(1)基于全球图像表示的数据相似性挖掘的障碍,以及(2)由数据增强引起的哈希代码语义损失。在本文中,我们提出了一种新颖的方法,即加权的伴侣哈希(WCH),以朝着解决这两个问题迈出一步。我们介绍了一个新型的相互注意模块,以减轻由缺失的图像结构引起的网络特征中信息不对称问题的问题。此外,我们探索了图像之间的细粒语义关系,即,我们将图像分为多个斑块并计算斑块之间的相似性。反映深层图像关系的聚合加权相似性是经过蒸馏而来的,以促进哈希码以蒸馏损失的方式学习,从而获得更好的检索性能。广泛的实验表明,所提出的WCH在三个基准数据集上显着优于现有的无监督哈希方法。
translated by 谷歌翻译
在基于哈希的图像检索系统中,原始的变换输入通常会产生不同的代码,降低检索精度。要缓解此问题,可以在培训期间应用数据增强。然而,即使一个内容的增强样本在真实空间中相似,量化也可以在汉明空间远离它们。这导致可以阻碍培训和降低性能的表示差异。在这项工作中,我们提出了一种新型的自蒸馏散列方案,以最小化差异,同时利用增强数据的潜力。通过将弱变换样本的哈希知识转移到强大的样本,我们使哈希代码对各种变换不敏感。我们还引入了基于哈希代理的相似度学习和基于二进制交叉熵的量化损耗,以提供优质的质量哈希代码。最终,我们构建一个深度散列框架,产生鉴别性哈希代码。基准测试的广泛实验验证了我们的自蒸馏改善了现有的深度散列方法,我们的框架达到了最先进的检索结果。代码将很快发布。
translated by 谷歌翻译
与传统的散列方法相比,深度散列方法生成具有丰富语义信息的哈希代码,大大提高了图像检索场中的性能。然而,对于当前的深度散列方法预测硬示例的相似性是不满意的。它存在影响学习难度示例能力的两个主要因素,这是弱的关键特征提取和硬示例的短缺。在本文中,我们提供了一种新的端到端模型,可以从硬示例中提取关键特征,并使用准确的语义信息获得哈希码。此外,我们还重新设计了一个艰难的成对损失功能,以评估难度和更新的例子罚款。它有效缓解了硬例中的短缺问题。CiFAR-10和Nus-rige的实验结果表明我们的模型表现出基于主流散列的图像检索方法的表现。
translated by 谷歌翻译
图像检索已成为一种越来越有吸引力的技术,具有广泛的多媒体应用前景,在该技术中,深层哈希是朝着低存储和有效检索的主要分支。在本文中,我们对深度学习中的度量学习进行了深入的研究,以在多标签场景中建立强大的度量空间,在多标签场景中,两人的损失遭受了高度计算的开销和汇聚难度,而代理损失理论上是无法表达的。深刻的标签依赖性和在构造的超球场空间中表现出冲突。为了解决这些问题,我们提出了一个新颖的度量学习框架,该框架具有混合代理损失(hyt $^2 $损失),该框架构建了具有高效训练复杂性W.R.T.的表现力度量空间。整个数据集。拟议的催眠$^2 $损失着重于通过可学习的代理和发掘无关的数据与数据相关性来优化超晶体空间,这整合了基于成对方法的足够数据对应关系以及基于代理方法的高效效率。在四个标准的多标签基准上进行的广泛实验证明,所提出的方法优于最先进的方法,在不同的哈希片中具有强大的功能,并且以更快,更稳定的收敛速度实现了显着的性能增长。我们的代码可从https://github.com/jerryxu0129/hyp2-loss获得。
translated by 谷歌翻译
监督基于深度学习的哈希和矢量量化是实现快速和大规模的图像检索系统。通过完全利用标签注释,与传统方法相比,它们正在实现出色的检索性能。但是,令人生心的是为大量训练数据准确地分配标签,并且还有注释过程易于出错。为了解决这些问题,我们提出了第一款深度无监督的图像检索方法被称为自我监督的产品量化(SPQ)网络,该方法是无标签和以自我监督的方式培训的。我们通过比较单独转换的图像(视图)来设计一个交叉量化的对比学习策略,该横向学习策略共同学习码字和深视觉描述符。我们的方法分析了图像内容以提取描述性功能,允许我们理解图像表示以准确检索。通过对基准进行广泛的实验,我们证明该方法即使没有监督预测,也会产生最先进的结果。
translated by 谷歌翻译
通过将高维数据点编码为二进制代码以进行有效检索,深度哈希已被广泛应用于大规模图像检索。与基于成对/三胞胎相似性的哈希学习相比,基于中央相似性的哈希可以更有效地捕获全局数据分布。但是,对于多标签图像检索,以前的方法仅使用具有相等权重的多个哈希中心来生成一个质心作为学习目标,该目标忽略了哈希中心的权重与图像中实例区域的比例之间的关系。为了解决上述问题,我们提出了一种两步的替代优化方法,即实例加权中心相似性(ICS),以自动学习与哈希代码相对应的中心重量。首先,我们应用最大熵正常器来防止一个哈希中心主导损失函数,并通过投影梯度下降计算中心重量。其次,我们通过固定中心权重的标准背部传播来更新神经网络参数。更重要的是,学到的中心重量可以很好地反映图像中前景实例的比例。我们的方法在图像检索基准测试中实现了最先进的性能,尤其是在MS可可数据集中将地图提高了1.6%-6.4%。
translated by 谷歌翻译
跨模态散列(CMH)是跨模型近似最近邻搜索中最有前途的方法之一。大多数CMH解决方案理想地假设培训和测试集的标签是相同的。但是,通常违反假设,导致零拍摄的CMH问题。最近解决此问题的努力侧重于使用标签属性将知识转移到未见的类。但是,该属性与多模态数据的特征隔离。为了减少信息差距,我们介绍了一种名为LAEH的方法(嵌入零拍跨模型散列的标签属性)。 Laeh首先通过Word2Vec模型获取标签的初始语义属性向量,然后使用转换网络将它们转换为常见的子空间。接下来,它利用散列向量和特征相似矩阵来指导不同方式的特征提取网络。与此同时,Laeh使用属性相似性作为标签相似度的补充,以纠正标签嵌入和常见子空间。实验表明,Laeh优于相关代表零射和跨模态散列方法。
translated by 谷歌翻译
由于需要经济的储存和二元法规的效率,因此无监督的哈希对二元表示学习引起了很多关注。它旨在编码锤子空间中的高维特征,并在实例之间保持相似性。但是,大多数现有方法在基于多种的方法中学习哈希功能。这些方法捕获了数据的局部几何结构(即成对关系),并且在处理具有不同语义信息的实际特征(例如颜色和形状)的真实情况时缺乏令人满意的性能。为了应对这一挑战,在这项工作中,我们提出了一种有效的无监督方法,即共同个性化的稀疏哈希(JPSH),以进行二进制表示学习。具体来说,首先,我们提出了一个新颖的个性化哈希模块,即个性化的稀疏哈希(PSH)。构建了不同的个性化子空间,以反映不同群集的特定类别属性,同一群集中的自适应映射实例与同一锤子空间。此外,我们为不同的个性化子空间部署稀疏约束来选择重要功能。我们还收集了其他群集的优势,以避免过度拟合,以构建PSH模块。然后,为了在JPSH中同时保留语义和成对的相似性,我们将基于PSH和歧管的哈希学习纳入无缝配方中。因此,JPSH不仅将这些实例与不同的集群区分开,而且还保留了集群中的本地邻里结构。最后,采用了交替优化算法,用于迭代捕获JPSH模型的分析解决方案。在四个基准数据集上进行的大量实验验证了JPSH是否在相似性搜索任务上优于几个哈希算法。
translated by 谷歌翻译
Hierarchical semantic structures, naturally existing in real-world datasets, can assist in capturing the latent distribution of data to learn robust hash codes for retrieval systems. Although hierarchical semantic structures can be simply expressed by integrating semantically relevant data into a high-level taxon with coarser-grained semantics, the construction, embedding, and exploitation of the structures remain tricky for unsupervised hash learning. To tackle these problems, we propose a novel unsupervised hashing method named Hyperbolic Hierarchical Contrastive Hashing (HHCH). We propose to embed continuous hash codes into hyperbolic space for accurate semantic expression since embedding hierarchies in hyperbolic space generates less distortion than in hyper-sphere space and Euclidean space. In addition, we extend the K-Means algorithm to hyperbolic space and perform the proposed hierarchical hyperbolic K-Means algorithm to construct hierarchical semantic structures adaptively. To exploit the hierarchical semantic structures in hyperbolic space, we designed the hierarchical contrastive learning algorithm, including hierarchical instance-wise and hierarchical prototype-wise contrastive learning. Extensive experiments on four benchmark datasets demonstrate that the proposed method outperforms the state-of-the-art unsupervised hashing methods. Codes will be released.
translated by 谷歌翻译
由于在大异构数据上加速查询时间的同时减少存储的优点,已经广泛研究了跨模型散列,以便对多模态数据的近似邻近搜索进行广泛研究。大多数散列方法假设培训数据是类平衡的。但是,在实践中,现实世界数据通常具有长尾的分布。在本文中,我们介绍了一种基于元学习的跨模态散列方法(MetacMH)来处理长尾数据。由于尾部类中缺乏培训样本,MetacMH首先从不同模式中的数据中学习直接功能,然后引入关联内存模块,以了解尾部类别的样本的存储器功能。然后,它结合了直接和内存功能以获得每个样本的元特征。对于长尾分布的头部类别的样本,直接功能的重量越大,因为有足够的训练数据来学习它们;虽然对于罕见的类,但内存功能的重量越大。最后,MetacMH使用似然损耗函数来保持不同模式中的相似性,并以端到端的方式学习哈希函数。长尾数据集的实验表明,MetacMH比最先进的方法表现出明显好,特别是在尾部课上。
translated by 谷歌翻译
Person re-identification (Re-ID) aims at retrieving a person of interest across multiple non-overlapping cameras. With the advancement of deep neural networks and increasing demand of intelligent video surveillance, it has gained significantly increased interest in the computer vision community. By dissecting the involved components in developing a person Re-ID system, we categorize it into the closed-world and open-world settings. The widely studied closed-world setting is usually applied under various research-oriented assumptions, and has achieved inspiring success using deep learning techniques on a number of datasets. We first conduct a comprehensive overview with in-depth analysis for closed-world person Re-ID from three different perspectives, including deep feature representation learning, deep metric learning and ranking optimization. With the performance saturation under closed-world setting, the research focus for person Re-ID has recently shifted to the open-world setting, facing more challenging issues. This setting is closer to practical applications under specific scenarios. We summarize the open-world Re-ID in terms of five different aspects. By analyzing the advantages of existing methods, we design a powerful AGW baseline, achieving state-of-the-art or at least comparable performance on twelve datasets for FOUR different Re-ID tasks. Meanwhile, we introduce a new evaluation metric (mINP) for person Re-ID, indicating the cost for finding all the correct matches, which provides an additional criteria to evaluate the Re-ID system for real applications. Finally, some important yet under-investigated open issues are discussed.
translated by 谷歌翻译
在本文中,我们提出了基于抑制增强面膜的注意力和交互式通道转换(Semicon),以学习处理大规模细粒图像检索任务的二进制哈希码。在半号中,我们首先开发出基于抑制增强的面膜(SEM)的注意力,以动态定位判别图像区域。更重要的是,与现有的注意机制不同,我们的SEM是为了限制此类区域而开发的,然后通过考虑以阶段的方式考虑激活区域之间的关系来限制其他互补区域。在每个阶段,交互式通道变换(ICON)模块之后旨在利用跨参与激活张量的通道之间的相关性。由于通道通常可以与细粒对象的部分相对应,因此也可以相应地建模该部分相关性,从而进一步提高细粒的检索精度。此外,要作为计算经济,图标是通过有效的两步过程实现的。最后,对我们的分号的哈希学习由全球和本地级分支组成,以更好地表示细粒对象,然后生成与多个级别相对应的二进制哈希码。五个基准细粒数据集的实验显示了我们优于竞争方法。
translated by 谷歌翻译
跨模式哈希是解决大型多媒体检索问题的成功方法。提出了许多基于矩阵分解的哈希方法。但是,现有方法仍然在一些问题上遇到困难,例如如何有效地生成二元代码,而不是直接放松它们的连续性。此外,大多数现有方法选择使用$ n \ times n $相似性矩阵进行优化,这使得内存和计算无法承受。在本文中,我们提出了一种新型的不对称可伸缩式模式哈希(ASCMH)来解决这些问题。首先,它引入了集体矩阵分解,以从不同模态的内核特征中学习一个共同的潜在空间,然后将相似性矩阵优化转换为距距离距离差异问题,并借助语义标签和共同的潜在空间。因此,$ n \ times n $不对称优化的计算复杂性得到了缓解。在一系列哈希码中,我们还采用了标签信息的正交约束,这对于搜索准确性是必不可少的。因此,可以大大减少计算的冗余。为了有效的优化并可扩展到大规模数据集,我们采用了两步方法,而不是同时优化。在三个基准数据集上进行了广泛的实验:Wiki,Mirflickr-25K和NUS范围内,表明我们的ASCMH在准确性和效率方面表现出了最先进的跨模式散列方法。
translated by 谷歌翻译
在本文中,我们采用了最大化的互信息(MI)方法来解决无监督的二进制哈希代码的问题,以实现高效的跨模型检索。我们提出了一种新颖的方法,被称为跨模型信息最大散列(CMIMH)。首先,要学习可以保留模跨和跨间相似性的信息的信息,我们利用最近估计MI的变分的进步,以最大化二进制表示和输入特征之间的MI以及不同方式的二进制表示之间的MI。通过在假设由多变量Bernoulli分布模型的假设下联合最大化这些MIM,我们可以学习二进制表示,该二进制表示,其可以在梯度下降中有效地以微量批量方式有效地保留帧内和模态的相似性。此外,我们发现尝试通过学习与来自不同模式的相同实例的类似二进制表示来最小化模态差距,这可能导致更少的信息性表示。因此,在减少模态间隙和失去模态 - 私人信息之间平衡对跨模型检索任务很重要。标准基准数据集上的定量评估表明,该方法始终如一地优于其他最先进的跨模型检索方法。
translated by 谷歌翻译