大规模弱监督的产品检索是实际上有用但在计算上具有挑战性的问题。本文介绍了在第九届CVPR 2022的第九次透明视觉分类研讨会（FGVC9）举行的eBay视觉搜索挑战赛（Eproduct）的新颖解决方案。这项竞赛提出了两个挑战：（a）电子商务是一个非常好的挑战。 - 包含的领域，包括许多具有细微视觉差异的产品； （b）缺少用于模型训练的目标实例级标签，只有粗糙的类别标签和产品标签可用。为了克服这些障碍，我们通过一系列专用设计制定了强大的解决方案：（a）我们从产品头衔中挖掘了数千个伪属性，而不是直接使用文本培训数据，并将其用作多标签分类的基础真相。 （b）我们将几个强大的骨架与高级培训配方结合在一起，以进行更判别的表示。 （c）我们进一步介绍了许多后处理技术，包括美白，重新排列和模型集合以进行检索。通过达到71.53％的3月，我们的解决方案“涉及国王”在排行榜上获得了第二个职位。

事实证明，大规模的视觉和语言（V+L）预训练已被证明有效地增强了下游V+L任务。但是，当涉及时尚域时，现有的V+L方法是不足的，因为它们忽略了时尚V+L数据和下游任务的独特特征。在这项工作中，我们提出了一个以时尚为中心的新型V+L表示框架，被称为Fashionvil。它包含两个新型时尚特定的预训练任务，旨在使用时尚V+L数据利用两个内在属性。首先，与其他域仅包含单个图像文本对的其他域相比，时尚域中可能有多个图像。因此，我们提出了一项多视图对比学习任务，以将一个图像的可视化表示为另一个图像+文本的组成多模式表示。其次，时尚文本（例如，产品描述）通常包含丰富的细粒概念（属性/名词短语）。为了利用这一点，引入了伪归因于分类任务，以鼓励同一概念的学习的单峰（视觉/文本）表示。此外，时尚V+L任务唯一包含不符合常见的一流或两流体系结构的任务（例如，文本引导的图像检索）。因此，我们提出了一个灵活的，多功能的V+L模型体系结构，该体系结构由模态 - 静态变压器组成，以便可以灵活地适应任何下游任务。广泛的实验表明，我们的FashionVil在五个下游任务中实现了新的最新技术。代码可从https://github.com/brandonhanx/mmf获得。

我们在这项研究中的目标是研究一个更现实的环境，在这种环境中，我们可以为细粒度的产品类别进行弱监督的多模式实例级产品检索。我们首先贡献了product1m数据集，并定义了两个实际实例级检索任务，以实现价格比较和个性化建议的评估。对于两个实例级任务，如何准确地指出视觉语言数据中提到的产品目标并有效地降低了无关紧要的内容的影响非常具有挑战性。为了解决这个问题，我们利用训练一个更有效的跨模式与模型，该模型能够自适应地能够通过使用一个实体图，其节点和边缘分别表示实体和相似性，从而可以从多模式数据中合并来自多模式数据的关键概念信息。实体。具体而言，为实例级别的商品检索提出了一种新型的实体图增强的跨模式预处理（EGE-CMP）模型，该模型明确地将基于节点的基于节点的基于节点和子图的方式显式地注入实体知识。自我监管的混合流变压器可以减少不同对象内容之间的混淆，从而有效地指导网络专注于具有真实语义的实体。实验结果很好地验证了我们的EGE-CMP的功效和概括性，表现优于几个SOTA跨模式基线，例如夹子，Uniter和Capture。

The booming development and huge market of micro-videos bring new e-commerce channels for merchants. Currently, more micro-video publishers prefer to embed relevant ads into their micro-videos, which not only provides them with business income but helps the audiences to discover their interesting products. However, due to the micro-video recording by unprofessional equipment, involving various topics and including multiple modalities, it is challenging to locate the products related to micro-videos efficiently, appropriately, and accurately. We formulate the microvideo-product retrieval task, which is the first attempt to explore the retrieval between the multi-modal and multi-modal instances. A novel approach named Multi-Queue Momentum Contrast (MQMC) network is proposed for bidirectional retrieval, consisting of the uni-modal feature and multi-modal instance representation learning. Moreover, a discriminative selection strategy with a multi-queue is used to distinguish the importance of different negatives based on their categories. We collect two large-scale microvideo-product datasets (MVS and MVS-large) for evaluation and manually construct the hierarchical category ontology, which covers sundry products in daily life. Extensive experiments show that MQMC outperforms the state-of-the-art baselines. Our replication package (including code, dataset, etc.) is publicly available at https://github.com/duyali2000/MQMC.

Previous work on action representation learning focused on global representations for short video clips. In contrast, many practical applications, such as video alignment, strongly demand learning the intensive representation of long videos. In this paper, we introduce a new framework of contrastive action representation learning (CARL) to learn frame-wise action representation in a self-supervised or weakly-supervised manner, especially for long videos. Specifically, we introduce a simple but effective video encoder that considers both spatial and temporal context by combining convolution and transformer. Inspired by the recent massive progress in self-supervised learning, we propose a new sequence contrast loss (SCL) applied to two related views obtained by expanding a series of spatio-temporal data in two versions. One is the self-supervised version that optimizes embedding space by minimizing KL-divergence between sequence similarity of two augmented views and prior Gaussian distribution of timestamp distance. The other is the weakly-supervised version that builds more sample pairs among videos using video-level labels by dynamic time wrapping (DTW). Experiments on FineGym, PennAction, and Pouring datasets show that our method outperforms previous state-of-the-art by a large margin for downstream fine-grained action classification and even faster inference. Surprisingly, although without training on paired videos like in previous works, our self-supervised version also shows outstanding performance in video alignment and fine-grained frame retrieval tasks.

细粒度的图像分析（FGIA）是计算机视觉和模式识别中的长期和基本问题，并为一组多种现实世界应用提供了基础。 FGIA的任务是从属类别分析视觉物体，例如汽车或汽车型号的种类。细粒度分析中固有的小阶级和阶级阶级内变异使其成为一个具有挑战性的问题。利用深度学习的进步，近年来，我们在深入学习动力的FGIA中见证了显着进展。在本文中，我们对这些进展的系统进行了系统的调查，我们试图通过巩固两个基本的细粒度研究领域 - 细粒度的图像识别和细粒度的图像检索来重新定义和扩大FGIA领域。此外，我们还审查了FGIA的其他关键问题，例如公开可用的基准数据集和相关域的特定于应用程序。我们通过突出几个研究方向和开放问题，从社区中突出了几个研究方向和开放问题。

细粒度的视觉分类（FGVC）是计算机视觉和模式识别的一个长期存在的基本问题，并为各种各样的现实应用程序提供了基础。本文描述了我们在Snakeclef2022上使用FGVC的贡献。首先，我们设计了一个强大的多模式主链，以利用各种元信息来协助细粒度的识别。其次，我们提供了新的损失功能，可以用数据集解决长时间的分布。然后，为了充分利用未标记的数据集，我们使用自我监督的学习和监督学习联合培训来提供预训练的模型。此外，我们的实验也考虑了一些有效的数据过程技巧。最后但并非最不重要的一点是，在下游任务中进行了微调，并具有艰苦的型号模型性能。广泛的实验表明，我们的方法可以有效地提高细粒识别的性能。我们的方法分别可以在私人和公共数据集上获得宏F1分别为92.7％和89.4％，这是私人排行榜上参与者中的第一名。

弱监督的点云语义分割方法需要1 \％或更少的标签，希望实现与完全监督的方法几乎相同的性能，这些方法最近引起了广泛的研究关注。该框架中的一个典型解决方案是使用自我训练或伪标记来从点云本身挖掘监督，但忽略了图像中的关键信息。实际上，在激光雷达场景中广泛存在相机，而这种互补信息对于3D应用似乎非常重要。在本文中，我们提出了一种用于3D分割的新型交叉模式弱监督的方法，并结合了来自未标记图像的互补信息。基本上，我们设计了一个配备有效标签策略的双分支网络，以最大程度地发挥标签的力量，并直接实现2D到3D知识转移。之后，我们以期望最大（EM）的视角建立了一个跨模式的自我训练框架，该框架在伪标签估计和更新参数之间进行了迭代。在M-Step中，我们提出了一个跨模式关联学习，通过增强3D点和2D超级像素之间的周期矛盾性，从图像中挖掘互补的监督。在E-Step中，伪标签的自我校准机制被得出过滤噪声标签，从而为网络提供了更准确的标签，以进行全面训练。广泛的实验结果表明，我们的方法甚至优于最先进的竞争对手，而少于1 \％的主动选择注释。

We investigate composed image retrieval with text feedback. Users gradually look for the target of interest by moving from coarse to fine-grained feedback. However, existing methods merely focus on the latter, i.e, fine-grained search, by harnessing positive and negative pairs during training. This pair-based paradigm only considers the one-to-one distance between a pair of specific points, which is not aligned with the one-to-many coarse-grained retrieval process and compromises the recall rate. In an attempt to fill this gap, we introduce a unified learning approach to simultaneously modeling the coarse- and fine-grained retrieval by considering the multi-grained uncertainty. The key idea underpinning the proposed method is to integrate fine- and coarse-grained retrieval as matching data points with small and large fluctuations, respectively. Specifically, our method contains two modules: uncertainty modeling and uncertainty regularization. (1) The uncertainty modeling simulates the multi-grained queries by introducing identically distributed fluctuations in the feature space. (2) Based on the uncertainty modeling, we further introduce uncertainty regularization to adapt the matching objective according to the fluctuation range. Compared with existing methods, the proposed strategy explicitly prevents the model from pushing away potential candidates in the early stage, and thus improves the recall rate. On the three public datasets, i.e., FashionIQ, Fashion200k, and Shoes, the proposed method has achieved +4.03%, + 3.38%, and + 2.40% Recall@50 accuracy over a strong baseline, respectively.

卷积神经网络（CNN）通过使用大型数据集在图像分类方面取得了重大成功。但是，在小规模数据集上从头开始学习，有效地有效地学习，这仍然是巨大的挑战。借助有限的培训数据集，类别的概念将是模棱两可的，因为过度参数化的CNN倾向于简单地记住数据集，从而导致概括能力差。因此，研究如何在避免过度拟合的同时学习更多的判别性表示至关重要。由于类别的概念往往是模棱两可的，因此获取更多个人信息很重要。因此，我们提出了一个新框架，称为“吸引和修复”，由对比度正规化（CR）组成以丰富特征表示形式，对称交叉熵（SCE），以平衡不同类别的拟合和平均教师以校准标签信息。具体而言，SCE和CR学习歧视性表示，同时通过班级信息（吸引）和实例（拒绝）之间的适应性权衡缓解过度构成。之后，平均教师通过校准更准确的软伪标签来进一步提高性能。足够的实验验证了吸引和修复框架的有效性。加上其他策略，例如积极的数据增强，tencrop推断和模型结合，我们在ICCV 2021 vipriors图像分类挑战中获得了第二名。

Recent methods for deep metric learning have been focusing on designing different contrastive loss functions between positive and negative pairs of samples so that the learned feature embedding is able to pull positive samples of the same class closer and push negative samples from different classes away from each other. In this work, we recognize that there is a significant semantic gap between features at the intermediate feature layer and class labels at the final output layer. To bridge this gap, we develop a contrastive Bayesian analysis to characterize and model the posterior probabilities of image labels conditioned by their features similarity in a contrastive learning setting. This contrastive Bayesian analysis leads to a new loss function for deep metric learning. To improve the generalization capability of the proposed method onto new classes, we further extend the contrastive Bayesian loss with a metric variance constraint. Our experimental results and ablation studies demonstrate that the proposed contrastive Bayesian metric learning method significantly improves the performance of deep metric learning in both supervised and pseudo-supervised scenarios, outperforming existing methods by a large margin.

视频突出显示检测是一个至关重要但充满挑战的问题，旨在识别未修剪视频中有趣的时刻。该任务的关键在于有效的视频表示形式共同追求两个目标，即\ textit {i.e。}，跨模式表示学习和精细元素特征歧视。在本文中，这两个挑战不仅通过丰富表示建模的模式内部和跨模式关系来应对，而且还以歧视性的方式塑造了这些特征。我们提出的方法主要利用模式内编码和交叉模式共发生编码来完全表示建模。具体而言，编码的模式内模式可以增强模态特征，并通过音频和视觉信号中的模式关系学习来抑制无关的模态。同时，跨模式的共同发生编码着重于同时模式间关系，并选择性地捕获了多模式之间的有效信息。从本地上下文中抽象的全局信息进一步增强了多模式表示。此外，我们使用硬对对比度学习（HPCL）方案扩大了特征嵌入的判别能力。进一步采用了硬对采样策略来开采硬样品，以改善HPCL中的特征歧视。与其他最新方法相比，在两个基准上进行的广泛实验证明了我们提出的方法的有效性和优势。

Inspired by the impressive success of contrastive learning (CL), a variety of graph augmentation strategies have been employed to learn node representations in a self-supervised manner. Existing methods construct the contrastive samples by adding perturbations to the graph structure or node attributes. Although impressive results are achieved, it is rather blind to the wealth of prior information assumed: with the increase of the perturbation degree applied on the original graph, 1) the similarity between the original graph and the generated augmented graph gradually decreases; 2) the discrimination between all nodes within each augmented view gradually increases. In this paper, we argue that both such prior information can be incorporated (differently) into the contrastive learning paradigm following our general ranking framework. In particular, we first interpret CL as a special case of learning to rank (L2R), which inspires us to leverage the ranking order among positive augmented views. Meanwhile, we introduce a self-ranking paradigm to ensure that the discriminative information among different nodes can be maintained and also be less altered to the perturbations of different degrees. Experiment results on various benchmark datasets verify the effectiveness of our algorithm compared with the supervised and unsupervised models.

图像文本检索（ITR）在桥接视觉和舌形式方面具有挑战性。对比度学习已被大多数先前的艺术所采用。除了有限的负面图像文本对外，约束学习的能力受到手动加权负对以及对外部知识的不认识的限制。在本文中，我们提出了新型耦合多样性敏感的动量约束学习（编码器），以改善跨模式表示。首先，发明了一种新颖的多样性对比度学习（DCL）体系结构。我们引入了两种模式的动态词典，以扩大图像文本对的比例，并且通过自适应负面对加权实现多样性敏感性。此外，编码器设计了两个分支。一个人从图像/文本中学习实例级的嵌入式，它还基于其嵌入为其输入图像/文本生成伪在线聚类标签。同时，另一个分支学会从常识知识图中查询以形成两种模式的概念级描述符。之后，两个分支都利用DCL来对齐跨模式嵌入空间，而额外的伪聚类标签预测损失则用于促进第二个分支的概念级表示学习。在两个流行的基准测试（即Mscoco和Flicker30k）上进行的广泛实验，验证编码器的表现明显优于最先进的方法。

最近，自我监督的表示学习（SSRL）在计算机视觉，语音，自然语言处理（NLP）以及最近的其他类型的模式（包括传感器的时间序列）中引起了很多关注。自我监督学习的普及是由传统模型通常需要大量通知数据进行培训的事实所驱动的。获取带注释的数据可能是一个困难且昂贵的过程。已经引入了自我监督的方法，以通过使用从原始数据自由获得的监督信号对模型进行判别预训练来提高训练数据的效率。与现有的对SSRL的评论不同，该评论旨在以单一模式为重点介绍CV或NLP领域的方法，我们旨在为时间数据提供对多模式自我监督学习方法的首次全面审查。为此，我们1）提供现有SSRL方法的全面分类，2）通过定义SSRL框架的关键组件来引入通用管道，3）根据其目标功能，网络架构和潜在应用程序，潜在的应用程序，潜在的应用程序，比较现有模型， 4）查看每个类别和各种方式中的现有多模式技术。最后，我们提出了现有的弱点和未来的机会。我们认为，我们的工作对使用多模式和/或时间数据的域中SSRL的要求有了一个观点

跨模型检索（CMR）是多式化计算和信息检索的重要研究主题，它将一种类型的数据作为查询来检索另一种类型的相关数据，并且已广泛用于许多现实世界应用程序。最近，由剪辑代表的视觉语言预训练模型表明了其在各种视觉和语言相关任务方面学习视觉和文本表示的优势及其令人印象深刻的性能。虽然剪辑以及以前的预训练模型表现出令人遗憾的CMR性能改善，但由于缺乏多式联级关联，很少探索这些预测模型对监督CMR的训练模型的性能和影响。在本文中，我们将剪辑作为当前代表性的视觉 - 语言预训练模型，进行全面的实证研究，并提供对其性能和对监督CMR的影响的见解。为此，我们首先提出了一种新颖的模型剪辑4cmr（\ textBF {Clip for}监督\ textbf {c} ross- \ textbf {m} odal \ textbf {r} etrieval），该剪辑作为骨干网络来执行监督CMR。然后，我们在CMR中重新审视现有的损失函数设计，包括最常见的一对损失，类明智的损失和混合动力车，并提供对应用夹子的见解。此外，我们调查了监督CMR中的几个有关问题，并通过CLIP4CMR为该领域提供了新的视角，包括对模态不平衡的鲁棒性和对超参数的敏感性。广泛的实验结果表明，CLIP4CMR实现了SOTA的结果，在基准数据集维基百科，Nus-rive，Pascal句子和XMediaet上有重大改进。我们的数据和代码在https://github.com/zhixiongz/clip4cmr上公开提供。

了解产品内容的视觉和语言表示对于电子商务中的搜索和推荐应用程序至关重要。作为在线购物平台的骨干，受到代表学习研究的最新成功的启发，我们提出了一个对比度学习框架，该框架使用未标记的原始产品文本和图像来对齐语言和视觉模型。我们介绍了我们用来培训大规模代表性学习模型的技术，并共享解决特定领域挑战的解决方案。我们使用预先训练的模型作为多种下游任务的骨干进行研究，包括类别分类，属性提取，产品匹配，产品聚类和成人产品识别。实验结果表明，我们所提出的方法在每个下游任务中均优于单个模态和多种方式的基线。

实例级图像检索（IIR）或简单的实例检索，涉及在数据集中查找包含查询实例（例如对象）的数据集中所有图像的问题。本文首次尝试使用基于实例歧视的对比学习（CL）解决此问题。尽管CL在许多计算机视觉任务中表现出令人印象深刻的性能，但在IIR领域也从未找到过类似的成功。在这项工作中，我们通过探索从预先训练和微调的CL模型中得出判别表示的能力来解决此问题。首先，我们通过比较预先训练的深度神经网络（DNN）分类器与CL模型学到的功能相比，研究了IIR转移学习的功效。这些发现启发了我们提出了一种新的培训策略，该策略通过使用平均精度（AP）损失以及微调方法来学习针对IIR量身定制的对比功能表示形式，从而优化CL以学习为导向IIR的功能。我们的经验评估表明，从挑战性的牛津和巴黎数据集中的预先培训的DNN分类器中学到的现成的特征上的表现显着提高。

我们在没有监督的情况下解决了学习对象探测器的问题。与弱监督的对象检测不同，我们不假设图像级类标签。取而代之的是，我们使用音频组件来“教”对象检测器，从视听数据中提取监督信号。尽管此问题与声音源本地化有关，但它更难，因为检测器必须按类型对对象进行分类，列举对象的每个实例，并且即使对象保持沉默，也可以这样做。我们通过首先设计一个自制的框架来解决这个问题，该框架具有一个对比目标，该目标共同学会了分类和本地化对象。然后，在不使用任何监督的情况下，我们只需使用这些自我监督的标签和盒子来训练基于图像的对象检测器。因此，对于对象检测和声音源定位的任务，我们优于先前的无监督和弱监督的检测器。我们还表明，我们可以将该探测器与每个伪级标签的标签保持一致，并展示我们的方法如何学习检测超出仪器（例如飞机和猫）的通用对象。

从组织学图像开发AI辅助腺体分割方法对于自动癌症诊断和预后至关重要。但是，像素级注释的高成本阻碍了其对更广泛的疾病的应用。计算机视觉中现有的弱监督语义分割方法获得了腺体分割的退化结果，因为腺体数据集的特征和问题与一般对象数据集不同。我们观察到，与自然图像不同，组织学图像的关键问题是，在不同组织之间拥有阶级与形态同质性和低色对比的混淆。为此，我们提出了一种新颖的在线方法简单的示例采矿（OEEM），该方法鼓励网络专注于可靠的监督信号，而不是嘈杂的信号，因此减轻了伪掩模中不可避免的错误预测的影响。根据腺数据集的特征，我们为腺体分割设计了强大的框架。我们的结果分别超过了MIOU的许多完全监督的方法和弱监督的方法，用于腺体分割超过4.4％和6.04％。代码可从https://github.com/xmed-lab/oeem获得。