图像复制检测对于现实生活社交媒体具有重要意义。在本文中，提出了一种数据驱动和本地验证（D ^ 2LV）方法以竞争图像相似性挑战：在神经潜获器中的匹配轨道。在D ^ 2LV中，无监督的预训练替代普通使用的受监管。在培训时，我们设计了一套基本和六个先进的转换，简单但有效的基线学会了强大的表示。在测试期间，提出了全球局部和本地全球匹配策略。该策略在参考和查询图像之间执行本地验证。实验表明，所提出的方法是有效的。拟议的方法在Facebook AI图像相似度挑战上排名第一是1,103名参与者：匹配轨道。代码和培训的型号可在https://github.com/wangwenhao0716/isc-track1-submission上获得。
translated by 谷歌翻译
图像复制检测对于现实生活社交媒体具有重要意义。在本文中，提出了一袋技巧和强大的基线进行图像复制检测。无监督的预训练替代普通使用的受监管。除此之外，我们设计了一个描述符的拉伸策略，以稳定不同疑问的分数。实验表明，所提出的方法是有效的。拟议的基线在Facebook AI图像相似度挑战上排名第三，其中526名参与者中的第三个参与者：描述符轨道。代码和培训的型号可在https://github.com/wangwenhao0716/isc-track2-submission上获得。
translated by 谷歌翻译
作为计算机视觉的基本任务，图像相似性检索正面临大规模数据和图像复制攻击的挑战。本文介绍了由Facebook AI组织的图像相似性挑战（ISC）2021的匹配轨道的第3个解决方案。我们提出了一种组合全局描述符和本地描述符的多分支检索方法来覆盖所有攻击案例。具体而言，我们尝试了许多策略来优化全局描述符，包括丰富的数据增强，具有单个变压器模型的自我监督学习，覆盖检测预处理。此外，我们介绍了稳健的SIFT功能和GPU Faiss，用于局部检索，弥补了全球检索的缺点。最后，knn匹配算法用于判断匹配和合并分数。我们展示了我们的方法的一些消融实验，揭示了全球和局部特征的互补优势。
translated by 谷歌翻译
产品检索在电子商务领域非常重要。本文介绍了我们在eBay Eproduct Visual Search Challenge（FGVC9）中介绍的第一个解决方案，该解决方案是来自视觉模型和视觉模型的大约20个模型的集合。尽管模型合奏很普遍，但我们表明，将视觉模型和视觉模型结合起来带来了特殊的互补性，这是我们优越性的关键因素。具体而言，对于视觉模型，我们使用两阶段的训练管道，该管道首先从训练集中提供的粗制标签中学习，然后进行细粒度的自学训练，从而产生粗到5的度量度量学习方式。对于视觉语言模型，我们将训练图像的文本描述用作微调图像编码器（功能提取器）的监督信号。通过这些设计，我们的解决方案达到了0.7623 Mar@10，在所有竞争对手中排名第一。该代码可在：\ href {https://github.com/wangwenhao0716/v2l} {v $^2 $ l}中获得。
translated by 谷歌翻译
复制检测，这是一个任务，用于确定图像是否是数据库中任何图像的修改副本，是一个未解决的问题。因此，我们通过培训具有对比学习的卷积神经网络（CNNS）来解决副本检测。具有大型记忆库和硬数据增强的培训使CNN能够获得更辨别的表示。我们提出的负嵌入减法进一步提高了复印检测精度。使用我们的方法，我们在Facebook AI图像相似度挑战中取得了第一名：描述符轨道。我们的代码在这里公开提供：\ url {https://github.com/lyakaap/isc21-descriptor-track--st}
translated by 谷歌翻译
最近，电子学习平台已经发展为学生可以发表疑问（用智能手机拍摄的快照）并在几分钟内解决的地方。但是，这些平台的质量差异很大的学生寄出疑问的数量显着增加，这不仅给教师导航解决方案带来了挑战，还增加了每个疑问的分辨率时间。两者都是不可接受的，因为高度怀疑的时间阻碍了学生学习进度的学习。这需要方法来自动识别存储库中是否存在类似的疑问，然后将其作为验证和与学生沟通的合理解决方案。监督的学习技术（如暹罗建筑）需要标签来识别比赛，这是不可行的，因为标签稀缺且昂贵。因此，在这项工作中，我们基于通过自我监督技术学到的表示形式开发了符合范式的标签不足的疑问。在BYOL的先前理论见解（Bootstrap您自己的潜在空间）的基础上，我们提出了Custom Byol，将特定于域特异性的增强与对比目标结合在一起，而不是各种适当构建的数据视图。结果强调，与BYOL和监督学习实例相比，Custom Byol分别将TOP-1匹配精度提高了大约6 \％和5 \％。我们进一步表明，基于BYOL的学习实例在标准杆上的性能比人类标签更好。
translated by 谷歌翻译
translated by 谷歌翻译
现有人重新识别（Reid）方法通常直接加载预先训练的ImageNet权重以进行初始化。然而，作为一个细粒度的分类任务，Reid更具挑战性，并且存在于想象成分类之间的大域差距。在本文中，通过自我监督的代表性的巨大成功的巨大成功，在本文中，我们为基于对比学习（CL）管道的对比训练，为REID设计了一个无人监督的训练框架，被称为上限。在预培训期间，我们试图解决学习细粒度的重点问题的两个关键问题：（1）CL流水线中的增强可能扭曲人物图像中的鉴别条款。 （2）未完全探索人物图像的细粒度局部特征。因此，我们在Up-Reid中引入了一个身份内 - 身份（i $ ^ 2 $ - ）正则化，该正常化是从全局图像方面和本地补丁方面的两个约束：在增强和原始人物图像之间强制强制实施全局一致性为了增加增强的稳健性，而使用每个图像的本地斑块之间的内在对比度约束来完全探索局部鉴别的线索。在多个流行的RE-ID数据集上进行了广泛的实验，包括PersonX，Market1501，CuHK03和MSMT17，表明我们的上部Reid预训练模型可以显着使下游REID微调和实现最先进的性能。代码和模型将被释放到https://github.com/frost-yang-99/up -reid。
translated by 谷歌翻译
在亲自重新识别（REID）中，最近的研究已经验证了未标记的人图像上的模型的预训练要比ImageNet上要好得多。但是，这些研究直接应用了为图像分类设计的现有自我监督学习（SSL）方法，用于REID，而无需在框架中进行任何适应。这些SSL方法将本地视图的输出（例如红色T恤，蓝色短裤）与同时的全球视图相匹配，从而丢失了很多细节。在本文中，我们提出了一种特定于REID的预训练方法，部分意识的自我监督预训练（PASS），该方法可以生成零件级别的功能以提供细粒度的信息，并且更适合REID。通行证将图像分为几个局部区域，每个区域随机裁剪的本地视图都有特定的可学习[部分]令牌。另一方面，所有地方区域的[部分]也附加到全球视图中。通行证学习以匹配同一[部分]上本地视图的输出和全局视图。也就是说，从本地区域获得的本地视图的[部分]仅与从全球视图中学到的相应[部分]相匹配。结果，每个[部分]可以专注于图像的特定局部区域，并提取该区域的细粒度信息。实验显示通行证在Market1501和MSMT17上的新最先进的表演以及各种REID任务（例如Vanilla vit-s/16）通过Pass Achieves 92.2 \％/90.2 \％/88.5 \％地图准确性，例如Vanilla vit-s/16在Market1501上进行监督/UDA/USL REID。我们的代码可在https://github.com/casia-iva-lab/pass-reid上找到。
translated by 谷歌翻译
对比的自我监督学习在很大程度上缩小了对想象成的预先训练的差距。然而，它的成功高度依赖于想象成的以对象形象，即相同图像的不同增强视图对应于相同的对象。当预先训练在具有许多物体的更复杂的场景图像上，如此重种策划约束会立即不可行。为了克服这一限制，我们介绍了对象级表示学习（ORL），这是一个新的自我监督的学习框架迈向场景图像。我们的主要洞察力是利用图像级自我监督的预培训作为发现对象级语义对应之前的，从而实现了从场景图像中学习的对象级表示。对Coco的广泛实验表明，ORL显着提高了自我监督学习在场景图像上的性能，甚至超过了在几个下游任务上的监督Imagenet预训练。此外，当可用更加解标的场景图像时，ORL提高了下游性能，证明其在野外利用未标记数据的巨大潜力。我们希望我们的方法可以激励未来的研究从场景数据的更多通用无人监督的代表。
translated by 谷歌翻译
We introduce Bootstrap Your Own Latent (BYOL), a new approach to self-supervised image representation learning. BYOL relies on two neural networks, referred to as online and target networks, that interact and learn from each other. From an augmented view of an image, we train the online network to predict the target network representation of the same image under a different augmented view. At the same time, we update the target network with a slow-moving average of the online network. While state-of-the art methods rely on negative pairs, BYOL achieves a new state of the art without them. BYOL reaches 74.3% top-1 classification accuracy on ImageNet using a linear evaluation with a ResNet-50 architecture and 79.6% with a larger ResNet. We show that BYOL performs on par or better than the current state of the art on both transfer and semi-supervised benchmarks. Our implementation and pretrained models are given on GitHub. 3 * Equal contribution; the order of first authors was randomly selected.
translated by 谷歌翻译
In contrastive self-supervised learning, the common way to learn discriminative representation is to pull different augmented "views" of the same image closer while pushing all other images further apart, which has been proven to be effective. However, it is unavoidable to construct undesirable views containing different semantic concepts during the augmentation procedure. It would damage the semantic consistency of representation to pull these augmentations closer in the feature space indiscriminately. In this study, we introduce feature-level augmentation and propose a novel semantics-consistent feature search (SCFS) method to mitigate this negative effect. The main idea of SCFS is to adaptively search semantics-consistent features to enhance the contrast between semantics-consistent regions in different augmentations. Thus, the trained model can learn to focus on meaningful object regions, improving the semantic representation ability. Extensive experiments conducted on different datasets and tasks demonstrate that SCFS effectively improves the performance of self-supervised learning and achieves state-of-the-art performance on different downstream tasks.
translated by 谷歌翻译
在深度学习研究中，自学学习（SSL）引起了极大的关注，引起了计算机视觉和遥感社区的兴趣。尽管计算机视觉取得了很大的成功，但SSL在地球观测领域的大部分潜力仍然锁定。在本文中，我们对在遥感的背景下为计算机视觉的SSL概念和最新发展提供了介绍，并回顾了SSL中的概念和最新发展。此外，我们在流行的遥感数据集上提供了现代SSL算法的初步基准，从而验证了SSL在遥感中的潜力，并提供了有关数据增强的扩展研究。最后，我们确定了SSL未来研究的有希望的方向的地球观察（SSL4EO），以铺平了两个领域的富有成效的相互作用。
translated by 谷歌翻译
近年来，基于对比的自我监督学习方法取得了巨大的成功。但是，自学要求非常长的训练时期（例如，MoCO V3的800个时代）才能获得有希望的结果，这对于一般学术界来说是不可接受的，并阻碍了该主题的发展。这项工作重新审视了基于动量的对比学习框架，并确定了两种增强观点仅产生一个积极对的效率低下。我们提出了快速MOCO-一个新颖的框架，该框架利用组合贴片从两个增强视图中构造了多对正面，该视图提供了丰富的监督信号，这些信号带来了可忽视的额外计算成本，从而带来了显着的加速。经过100个时期训练的快速MOCO实现了73.5％的线性评估精度，类似于经过800个时期训练的MOCO V3（Resnet-50骨干）。额外的训练（200个时期）进一步将结果提高到75.1％，这与最先进的方法相当。几个下游任务的实验也证实了快速MOCO的有效性。
translated by 谷歌翻译
我们专注于更好地理解增强不变代表性学习的关键因素。我们重新访问moco v2和byol，并试图证明以下假设的真实性：不同的框架即使具有相同的借口任务也会带来不同特征的表示。我们建立了MoCo V2和BYOL之间公平比较的第一个基准，并观察：（i）复杂的模型配置使得可以更好地适应预训练数据集； （ii）从实现竞争性转移表演中获得的预训练和微调阻碍模型的优化策略不匹配。鉴于公平的基准，我们进行进一步的研究并发现网络结构的不对称性赋予对比框架在线性评估协议下正常工作，同时可能会损害长尾分类任务的转移性能。此外，负样本并不能使模型更明智地选择数据增强，也不会使不对称网络结构结构。我们相信我们的发现为将来的工作提供了有用的信息。
translated by 谷歌翻译
Recently the focus of the computer vision community has shifted from expensive supervised learning towards self-supervised learning of visual representations. While the performance gap between supervised and self-supervised has been narrowing, the time for training self-supervised deep networks remains an order of magnitude larger than its supervised counterparts, which hinders progress, imposes carbon cost, and limits societal benefits to institutions with substantial resources. Motivated by these issues, this paper investigates reducing the training time of recent self-supervised methods by various model-agnostic strategies that have not been used for this problem. In particular, we study three strategies: an extendable cyclic learning rate schedule, a matching progressive augmentation magnitude and image resolutions schedule, and a hard positive mining strategy based on augmentation difficulty. We show that all three methods combined lead up to 2.7 times speed-up in the training time of several self-supervised methods while retaining comparable performance to the standard self-supervised learning setting.
translated by 谷歌翻译
最近的蒙版图像建模（MIM）在自我监督学习（SSL）中受到了很多关注，该学习要求目标模型恢复输入图像的掩盖部分。尽管基于MIM的预训练方法在转移到许多下游任务时达到了新的最新性能，但可视化表明，与基于基于对比性学习预训练相比，学习的表示形式不可分割，尤其是相比。这激发了我们思考MIM预培训表示的线性可分离性是否可以进一步改善，从而改善了训练的性能。由于MIM和对比度学习倾向于利用不同的数据增强和培训策略，因此将这两个借口任务结合起来并不是微不足道的。在这项工作中，我们提出了一个新颖而灵活的预训练框架，名为Mimco，该框架通过两阶段的预培训结合了MIM和对比度学习。具体而言，MIMCO将预先训练的对比学习模型作为教师模型，并通过两种类型的学习目标进行了预培训：贴片级和图像级的重建损失。关于下游任务的广泛转移实验证明了我们的MIMCO预训练框架的出色表现。以VIT-S为例，当使用预先训练的MoCov3-Vit-S作为教师模型时，Mimco只需要100个时期的预训练时期即可达到Imagenet-1K上的82.53％Top-1 FineTuning精度，这表现优于表现最先进的自我监督学习对手。
translated by 谷歌翻译
监督学习可以学习大型代表性空间，这对于处理困难的学习任务至关重要。然而，由于模型的设计，经典图像分类方法争取在处理小型数据集时概括为新的问题和新情况。事实上，监督学习可能失去图像特征的位置，这导致在非常深刻的架构中的监督崩溃。在本文中，我们调查了如何有效地对未标记数据的强大和充分增强的自我监督，可以有效地培训神经网络的第一层，甚至比监督学习更好，无需数百万标记的数据。主要目标是通过获取通用任务 - 不可知的低级功能来断开像素数据与注释的连接。此外，我们调查视觉变形金刚（VIV）并表明，从自我监督架构中得出的低级功能可以提高这种紧急架构的鲁棒性和整体性能。我们在最小的开源数据集STL-10上评估了我们的方法，当从自我监督的学习架构输入到vit而不是原始时，我们获得了从41.66％的显着提升到83.25％。图片。
translated by 谷歌翻译
最近自我监督学习成功的核心组成部分是裁剪数据增强，其选择要在自我监督损失中用作正视图的图像的子区域。底层假设是给定图像的随机裁剪和调整大小的区域与感兴趣对象的信息共享信息，其中学习的表示将捕获。这种假设在诸如想象网的数据集中大多满足，其中存在大，以中心为中心的对象，这很可能存在于完整图像的随机作物中。然而，在诸如OpenImages或Coco的其他数据集中，其更像是真实世界未保健数据的代表，通常存在图像中的多个小对象。在这项工作中，我们表明，基于通常随机裁剪的自我监督学习在此类数据集中表现不佳。我们提出用从对象提案算法获得的作物取代一种或两种随机作物。这鼓励模型学习对象和场景级别语义表示。使用这种方法，我们调用对象感知裁剪，导致对分类和对象检测基准的场景裁剪的显着改进。例如，在OpenImages上，我们的方法可以使用基于Moco-V2的预训练来实现8.8％的提高8.8％地图。我们还显示了对Coco和Pascal-Voc对象检测和分割任务的显着改善，通过最先进的自我监督的学习方法。我们的方法是高效，简单且通用的，可用于最现有的对比和非对比的自我监督的学习框架。
translated by 谷歌翻译
图像复制检测（ICD）旨在确定查询图像是否是参考集中的任何图像的编辑副本。当前，ICD的公共基准非常有限，而在现实世界中，遍布整个关键的挑战，即分散了严格的负面查询。具体而言，某些查询不是编辑的副本，而是与某些参考图像的本质相似。这些硬负查询很容易被错误地识别为已编辑的副本，从而显着损害了ICD的精度。这种观察激发了我们建立以这种特征为特征的第一个ICD基准。基于现有的ICD数据集，本文通过分别在培训和测试集中添加100、000和24、252硬负对来构建新数据集。此外，本文进一步揭示了解决ICD中严重负面问题的独特困难，即当前的度量学习与ICD之间存在根本的冲突。这场冲突是：公制学习采用对称距离，而编辑的副本是不对称的（单向）过程，例如，部分作物接近其整体参考图像，并且是编辑的副本，而后者则不能是编辑的副本。以前（尽管距离同样小）。这种洞察力导致不对称的相似性学习（ASL）方法，该方法允许在两个方向上的相似性（查询<->参考图像）彼此不同。实验结果表明，ASL通过明确的边缘胜过最先进的方法，证实解决对称性 - 对称冲突对于ICD至关重要。
translated by 谷歌翻译