潜在文本表示展示了几何规律，如着名的类比：女王是王的女人是男人。在图像表示上没有证明这种结构化语义关系。最近的作品，旨在将该语义差距缩短嵌入图像和文本到多峰空间，使传送文本定义的变换传输到图像模态。我们介绍SIMAT数据集以评估文本驱动图像变换的任务。 SIMAT包含6K图像和18K“转换查询”，其瞄准替换场景元素或更改其成对关系。目标是检索与（源图像，转换）查询一致的图像。我们使用匹配Oracle（OSCAR）的图像/文本来评估图像转换是否成功。 SIMAT DataSet将被公开可用。我们使用SIMAT来表明Vanilla Clip MultimoDal Embeddings不太适合文本驱动的图像转换，但Coco DataSet上的简单FineTuning可以带来戏剧性的改进。我们还研究利用普雷雷普雷普明的通用句子编码器（FastText，Lable和Labse）的几何特性是有益的。

Pre-trained representations are becoming crucial for many NLP and perception tasks. While representation learning in NLP has transitioned to training on raw text without human annotations, visual and vision-language representations still rely heavily on curated training datasets that are expensive or require expert knowledge. For vision applications, representations are mostly learned using datasets with explicit class labels such as Ima-geNet or OpenImages. For vision-language, popular datasets like Conceptual Captions, MSCOCO, or CLIP all involve a non-trivial data collection (and cleaning) process. This costly curation process limits the size of datasets and hence hinders the scaling of trained models. In this paper, we leverage a noisy dataset of over one billion image alt-text pairs, obtained without expensive filtering or post-processing steps in the Conceptual Captions dataset. A simple dual-encoder architecture learns to align visual and language representations of the image and text pairs using a contrastive loss. We show that the scale of our corpus can make up for its noise and leads to state-of-the-art representations even with such a simple learning scheme. Our visual representation achieves strong performance when transferred to classification tasks such as ImageNet and VTAB. The aligned visual and language representations enables zero-shot image classification and also set new state-of-the-art results on Flickr30K and MSCOCO image-text retrieval benchmarks, even when compared with more sophisticated crossattention models. The representations also enable cross-modality search with complex text and text + image queries.

在Web规模数据上预测的大型视觉和语言模型提供了对许多V＆L问题无价的表示。但是，目前尚不清楚如何将它们用于以非结构化语言为特定于用户特定的视觉概念。这个问题来自多个域，从个性化图像检索到与智能设备的个性化交互。我们介绍了一个新的学习设置，称为个性化视觉和语言（PERVL），并使用两个新的基准数据集来检索和细分用户特定的“个性化”概念“野外”。在PERVL中，应该独立于下游任务（2）允许经过审慎的模型以免费语言来推论它们，并且（3）不需要个性化的负面示例。我们提出了一个用于解决PERVL的体系结构，该体系结构通过扩展了一个预审计模型的输入词汇，并用新单词嵌入新的个性化概念。然后，模型可以通过简单地在句子中使用它们来推理它们。我们证明我们的方法从几个示例中学习了个性化的视觉概念，并且可以使用丰富的文本查询有效地将它们应用于图像检索和语义细分中。

我们解决了用草图和文本查询检索图像的问题。我们提出任务形成器（文本和草图变压器），这是一种可使用文本说明和草图作为输入的端到端训练模型。我们认为，两种输入方式都以一种单独的方式无法轻易实现的方式相互补充。任务形成器遵循延迟融合双编码方法，类似于剪辑，该方法允许有效且可扩展的检索，因为检索集可以独立于查询而独立于索引。我们从经验上证明，与传统的基于文本的图像检索相比，除文本外，使用输入草图（甚至是绘制的草图）大大增加了检索召回。为了评估我们的方法，我们在可可数据集的测试集中收集了5,000个手绘草图。收集的草图可获得https://janesjanes.github.io/tsbir/。

远见和语言预测已成为解决多模式下游任务的普遍方法。当前的趋势是朝着更大的模型和预处理数据集迈进。从长远来看，这一计算头急促似乎是不合理的，而是朝着可持续的解决方案迈进，事实上，排除了资源有限的学术实验室。在这项工作中，我们提出了一个称为VICHA的新框架，该框架有效利用输入数据以通过以下方式提高学习，以： ，（c）利用图像级注释，称为视觉概念，使用现有基础模型（例如剪辑）获得，以提高图像编码器的性能。尽管对数据的预估计少了四倍，但我们的VICHA策略在下游任务（例如图像文本检索，VQA，视觉推理，视觉上和视觉接地）上的其他方法优于其他方法。该代码将在此处公开提供：https：//github.com/mshukor/vicha

最近的文本到图像匹配模型对大型图像和句子的大公司进行了对比学习。虽然这些模型可以提供用于匹配和随后的零拍任务的强大分数，但它们不能给出给定图像的标题。在这项工作中，我们重新利用这些模型来生成在推理时间的图像时生成描述性文本，而无需进一步的训练或调整步骤。这是通过将具有大语言模型的视觉语义模型组合，从两种网络级模型中的知识中获益。由受监督标题方法获得的标题的限制性较小。此外，作为零射击学习方法，它非常灵活，我们展示了执行图像算法的能力，其中输入可以是图像或文本，输出是句子。这使得新颖的高级视觉能力，例如比较两个图像或解决视觉类比测试。

Many high-level skills that are required for computer vision tasks, such as parsing questions, comparing and contrasting semantics, and writing descriptions, are also required in other domains such as natural language processing. In this paper, we ask whether this makes it possible to learn those skills from text data and then use them to complete vision tasks without ever training on visual training data. Key to our approach is exploiting the joint embedding space of contrastively trained vision and language encoders. In practice, there can be systematic differences between embedding spaces for different modalities in contrastive models, and we analyze how these differences affect our approach and study a variety of strategies to mitigate this concern. We produce models using only text training data on three tasks: image captioning, visual entailment and visual question answering, and evaluate them on standard benchmarks using images. We find that this kind of transfer is possible and results in only a small drop in performance relative to models trained on images. We also showcase a variety of stylistic image captioning models that were trained using no image data and no human-curated language data, but instead text data from books, the web, or language models.

Multimodal models are becoming increasingly effective, in part due to unified components, such as the Transformer architecture. However, multimodal models still often consist of many task- and modality-specific pieces and training procedures. For example, CLIP (Radford et al., 2021) trains independent text and image towers via a contrastive loss. We explore an additional unification: the use of a pure pixel-based model to perform image, text, and multimodal tasks. Our model is trained with contrastive loss alone, so we call it CLIP-Pixels Only (CLIPPO). CLIPPO uses a single encoder that processes both regular images and text rendered as images. CLIPPO performs image-based tasks such as retrieval and zero-shot image classification almost as well as CLIP, with half the number of parameters and no text-specific tower or embedding. When trained jointly via image-text contrastive learning and next-sentence contrastive learning, CLIPPO can perform well on natural language understanding tasks, without any word-level loss (language modelling or masked language modelling), outperforming pixel-based prior work. Surprisingly, CLIPPO can obtain good accuracy in visual question answering, simply by rendering the question and image together. Finally, we exploit the fact that CLIPPO does not require a tokenizer to show that it can achieve strong performance on multilingual multimodal retrieval without

出色的图像文本检索模型取决于高质量标记的数据。尽管现有图像文本检索数据集的构建者努力确保标题与链接的图像匹配，但它们无法阻止字幕拟合其他图像。我们观察到，如此多的匹配现象在广泛使用的检索数据集中非常普遍，其中一个标题可以描述多达178张图像。这些较大的匹配失误数据不仅使训练中的模型混淆，而且还会削弱评估精度。受视觉和文本核心任务的启发，我们提出了一个多模式的核心分类器，以确定句子是否由图像和其链接的字幕所带来。随后，我们通过将这些需要的字幕添加为图像的附加标签来修改图像文本检索数据集，并制定通用可变率策略，以教授检索模型以区分所需的字幕和其他负样本。在实验中，我们手动注释了一个需要校正的图像文本检索数据集进行评估。结果表明，所提出的元素分类器可实现约78％的精度，并始终提高图像文本检索基线的性能。

使用自然语言作为培训视觉识别模型的监督持有巨大的承诺。最近的作品表明，如果在大型训练数据集中的图像和标题之间的对齐形式使用此类监督，则结果对齐模型在零拍摄分类中表现出色，如下游任务2。在本文中，我们专注于挑逗语言监督的哪些部分对于训练零拍摄图像分类模型至关重要。通过广泛和仔细的实验​​，我们表明：1）可以将简单的单词（弓）标题用作数据集中大多数图像标题的替代品。令人惊讶的是，我们观察到这种方法在与单词平衡结合时提高了零拍分类性能。 2）使用船首净化模型，我们可以通过在没有标题的图像上生成伪弓标题来获得更多培训数据。使用真实和伪弓形标题培训的模型达到了更强的零射性能。在ImageNet-1K零拍评估中，我们只使用3M图像标题对的最佳模型，使用15M图像标题对培训的剪辑模型（31.5％VS 31.3％）进行剪辑。

我们提出了Clip-Lite，一种通过与文本注释的特征对齐方式进行视觉表示学习的信息有效方法。与先前提出的剪辑模型相比，剪辑液在优化其对比学学习目标期间只需要一个负图像文本样本对。我们通过利用信息有效的较低限制来实现这一点，以最大化两个输入模态之间的相互信息。这允许剪辑Lite培训，在获得比夹子的更好的性能的同时具有显着减少的数据和批量尺寸。我们通过在Coco-Tablions数据集上预先绘制来评估剪贴画并对其他数据集进行测试传输。 Clip-Lite在Pascal VOC分类上获得+ 15.4％的映射绝对增益，并在ImageNet上获得A + 22.1％的前1个精度增益，同时与其他更复杂，文本监督模型相当或优越。 Clip-Lite还优于剪辑图像和文本检索，零拍分类和视觉接地。最后，通过在表示学习期间执行显式图像文本对齐，我们显示Clip-Lite可以利用语言语义来鼓励可以在下游任务中使用的无偏见的视觉表示。

学习医学图像的视觉表示（例如X射线）是医学图像理解的核心，但由于人类注释的稀缺性，其进步已经阻止了它。现有的工作通常依赖于从成像网预处理传输的微调权重，由于图像特征截然不同，这是次优的，或者是从文本报告数据与医学图像配对的基于规则的标签提取，这是不准确的，难以推广。同时，最近的几项研究表明，从自然图像中学习的对比度学习令人兴奋，但由于它们的高层间相似性，我们发现这些方法对医学图像无济于事。我们提出了Concirt，这是一种替代的无监督策略，通过利用自然存在的配对描述性文本来学习医学视觉表示。我们通过两种模式之间的双向对比度目标对医学图像进行预处理编码的新方法是域，无关，不需要其他专家输入。我们通过将预处理的权重转移到4个医学图像分类任务和2个零射击检索任务中来测试交通，并证明它导致图像表示，在大多数设置中，它们都超过了强大的基线。值得注意的是，在所有4个分类任务中，我们的方法仅需要10 \％标记的培训数据与成像网初始化的对应物，以实现更好或可比的性能，从而证明了卓越的数据效率。

否定是一种常见的语言技能，使人类能够表达我们不想要的东西。自然，人们可能会期望视频检索能够以否定的方式支持自然语言查询，例如，发现坐在地板上而不是和狗一起玩的孩子的照片。但是，最先进的基于深度学习的视频检索模型缺乏这种能力，因为它们通常在视频说明数据集中受过培训，例如MSR-VTT和VATEX，而缺乏否定的描述。他们的检索结果基本上忽略了示例查询中的否定器，错误地返回的视频显示了孩子们玩狗。本文介绍了关于学习视频检索中否定的第一个研究，并做出如下的贡献。通过重新修复两个现有数据集（MSR-VTT和VATEX），我们提出了一个新的评估协议，以进行否定。我们建议一种基于学习的方法来培训否定视频检索模型。关键的想法是首先通过部分否定其原始标题来为特定的培训视频构造软性标题，然后对三胞胎进行双向约束损失。这种辅助损失将重量添加到标准检索损失中。重新组合基准的实验表明，通过拟议的方法重新训练剪辑（对比语言图像预训练）模型清楚地提高了其用否定处理查询的能力。此外，原始基准测试的模型性能也得到了改进。

Vision-Language Pretraining (VLP) and Foundation models have been the go-to recipe for achieving SoTA performance on general benchmarks. However, leveraging these powerful techniques for more complex vision-language tasks, such as cooking applications, with more structured input data, is still little investigated. In this work, we propose to leverage these techniques for structured-text based computational cuisine tasks. Our strategy, dubbed VLPCook (Structured Vision-Language Pretraining for Computational Cooking), first transforms existing image-text pairs to image and structured-text pairs. This allows to pretrain our VLPCook model using VLP objectives adapted to the strutured data of the resulting datasets, then finetuning it on downstream computational cooking tasks. During finetuning, we also enrich the visual encoder, leveraging pretrained foundation models (e.g. CLIP) to provide local and global textual context. VLPCook outperforms current SoTA by a significant margin (+3.3 Recall@1 absolute improvement) on the task of Cross-Modal Food Retrieval on the large Recipe1M dataset. Finally, we conduct further experiments on VLP to validate their importance, especially on the Recipe1M+ dataset. The code will be made publicly available.

最先进的愿景和愿景和语言模型依靠大规模的Visio-linguisting预借鉴，以获得各种下游任务的良好性能。通常，这种模型通常是跨模态（对比）或多模态（具有早期融合）但不是两者;它们通常只针对特定的方式或任务。有希望的方向将是使用单一整体普遍模型，作为“基础”，目标是一次性的所有方式 - 真正的视觉和语言基础模型应该擅长视力任务，语言任务和交叉和多数模态视觉和语言任务。我们将Flava介绍在这样的模型中，并在跨越这些目标模式的广泛的35个任务上展示令人印象深刻的性能。

传统的计算机视觉模型受过培训，以预测固定的预定义类别。最近，自然语言已被证明是一个更广泛而更丰富的监督来源，为视觉概念提供更精细的描述，而不是监督“黄金”标签。以前的作品，例如剪辑，使用InfoNce丢失来训练模型以预测图像和文本标题之间的配对。然而，剪辑是饥饿的数据，需要超过400米的图像文本对进行培训。效率低下可以归因于图像文本对嘈杂的事实。为了解决这个问题，我们提出了水獭（有效的零射击识别的最佳运输蒸馏），它使用在线熵最佳运输，找到一个软图像文本与标签进行对比学习。基于预磨料的图像和文本编码器，用电站培训的型号实现了强大的性能，只有3M图像文本对。与InfoNce损失相比，标记平滑和知识蒸馏，OTTER始终如一地优于零拍摄图像（19,958类）和来自腾讯ML图像的多标记Imagenet 10k（10032类）的零拍摄评估中的这些基线。在4个不同的数据集/架构设置x 6度量上，OTTER优于（32）或绑定（2）34中的所有基准。

语言基础与视觉是一个积极的研究领域，旨在通过利用视觉感知知识来丰富基于文本的单词含义的表示。尽管进行了多次接地尝试，但仍不清楚如何以一种保持文本和视觉知识的适当平衡的方式将视觉知识注入语言嵌入一词。一些普遍的问题是以下内容。视觉基础对抽象单词有益吗？还是仅限于具体单词的贡献？弥合文本和视觉之间差距的最佳方法是什么？通过视觉接地的文本嵌入，我们可以获得多少收益？本研究通过提出一种简单但非常有效的基础方法来解决这些问题，以预先训练的单词嵌入。我们的模型将文本嵌入与视觉保持一致，同时在很大程度上保留了在文本语料库中使用单词使用的分布统计数据。通过应用学习的对齐方式，我们能够生成视觉接地的嵌入，用于看不见的单词，包括抽象单词。一系列对单词相似性基准的评估表明，视觉接地不仅对具体单词有益，而且对抽象单词也有益。我们还表明，我们的视觉接地方法为上下文化的嵌入提供了优势，但只有在对相对尺寸相对较小的语料库进行培训时，我们才能提供优势。可以在https://github.com/hazel1994/visaly_grounded_word_word_embeddings_2上获得英语的代码和接地嵌入。

可以代表和描述环境声音的机器具有实际潜力，例如，用于音频标记和标题系统。普遍的学习范式已经依赖于并行音频文本数据，但是，Web上几乎没有可用。我们提出了vip-ant，它在不使用任何并行音频文本数据的情况下诱导\ textbf {a} udio- \ textBF {t} EXT对齐。我们的主要思想是在双模形图像文本表示和双模态图像 - 音频表示之间共享图像模型;图像模态用作枢轴，并将音频和文本连接在三模态嵌入空间中。在没有配对的音频文本数据的困难零拍设置中，我们的模型在ESC50和US8K音频分类任务上展示了最先进的零点性能，甚至超过了披肩标题的领域的监督状态检索（带音频查询）2.2 \％R @ 1。我们进一步调查了最小音频监控的情况，发现，例如，只有几百个监督的音频文本对将零拍音频分类精度提高8 \％US8K。然而，为了匹配人类奇偶校验，我们的经验缩放实验表明我们需要大约2米$ 2 ^ {21} \约2M $监督的音频标题对。我们的工作开辟了新的途径，用于学习音频文本连接，几乎没有并行音频文本数据。

Large-scale pre-training methods of learning cross-modal representations on image-text pairs are becoming popular for vision-language tasks. While existing methods simply concatenate image region features and text features as input to the model to be pre-trained and use selfattention to learn image-text semantic alignments in a brute force manner, in this paper, we propose a new learning method Oscar 1 , which uses object tags detected in images as anchor points to significantly ease the learning of alignments. Our method is motivated by the observation that the salient objects in an image can be accurately detected, and are often mentioned in the paired text. We pre-train an Oscar model on the public corpus of 6.5 million text-image pairs, and fine-tune it on downstream tasks, creating new state-of-the-arts on six well-established vision-language understanding and generation tasks. 2

In this paper, we study the problem of image-text matching. Inferring the latent semantic alignment between objects or other salient stuff (e.g. snow, sky, lawn) and the corresponding words in sentences allows to capture fine-grained interplay between vision and language, and makes image-text matching more interpretable. Prior work either simply aggregates the similarity of all possible pairs of regions and words without attending differentially to more and less important words or regions, or uses a multi-step attentional process to capture limited number of semantic alignments which is less interpretable. In this paper, we present Stacked Cross Attention to discover the full latent alignments using both image regions and words in a sentence as context and infer image-text similarity. Our approach achieves the state-of-the-art results on the MS-COCO and Flickr30K datasets. On Flickr30K, our approach outperforms the current best methods by 22.1% relatively in text retrieval from image query, and 18.2% relatively in image retrieval with text query (based on Recall@1). On MS-COCO, our approach improves sentence retrieval by 17.8% relatively and image retrieval by 16.6% relatively (based on Recall@1 using the 5K test set). Code has been made available at: https: //github.com/kuanghuei/SCAN.