有效的沟通需要适应与每个交流伙伴共享的特质共同基础。我们研究了这个问题的特别具有挑战性的实例化：流行的游戏dixit。我们将一轮dixit作为多代理图像参考游戏，在其中（训练有素的）扬声器模型描述了目标图像，以使一个（预审计的）侦听器模型可以从一组干扰器中正确识别它，但另一个听众无法识别它。为了适应这种设置，演讲者必须利用与不同听众共享的共同点的差异。我们表明，在这种对比性的多代理设置中，在剪辑视觉编码器和大型语言模型之间进行基于注意力的适配器会产生与上下文相关的自然语言专业化，而无需直接监督。在一系列受控的实验中，我们表明说话者可以根据各对不同听众的特质优势和劣势来适应。此外，我们显示了说话者专业化对看不见的现实世界数据的零拍传输。我们的实验为复杂的多方设置中的自适应沟通提供了一步，并突出了Dixit等游戏带来的有趣的研究挑战。我们希望我们的工作能够激发创造性的新方法，以适应预处理的模型。

Many high-level skills that are required for computer vision tasks, such as parsing questions, comparing and contrasting semantics, and writing descriptions, are also required in other domains such as natural language processing. In this paper, we ask whether this makes it possible to learn those skills from text data and then use them to complete vision tasks without ever training on visual training data. Key to our approach is exploiting the joint embedding space of contrastively trained vision and language encoders. In practice, there can be systematic differences between embedding spaces for different modalities in contrastive models, and we analyze how these differences affect our approach and study a variety of strategies to mitigate this concern. We produce models using only text training data on three tasks: image captioning, visual entailment and visual question answering, and evaluate them on standard benchmarks using images. We find that this kind of transfer is possible and results in only a small drop in performance relative to models trained on images. We also showcase a variety of stylistic image captioning models that were trained using no image data and no human-curated language data, but instead text data from books, the web, or language models.

大规模预制速度迅速成为视觉语言（VL）建模中的规范。然而，普遍的VL方法受标记数据的要求和复杂的多步预介质目标的要求受限。我们呈现Magma - 使用基于适配器的FineTuning使用额外的方式增强生成语言模型的简单方法。在冻结的情况下，我们培训一系列VL模型，从视觉和文本输入的任意组合自动生成文本。使用单一语言建模目的，预先预测完全结束于结束，与先前的方法相比，简化优化。重要的是，在培训期间，语言模型权重保持不变，允许从语言预磨练转移百科全书知识和内心的学习能力。 Magma在开放式生成任务上冻结的岩浆，实现了最先进的状态，结果在Okvqa基准和竞争结果上的一系列其他流行的VL基准测试中，同时预先训练用于培训SIMVLM的样本数量的0.2％。

剪辑的发展[Radford等，2021]引发了关于语言监督是否可以导致与传统仅图像方法更可转移表示的视觉模型的争论。我们的工作通过对两种方法的学习能力进行了对下游分类任务的学习能力进行仔细控制的比较来研究这个问题。我们发现，当预训练数据集符合某些标准时 - 它足够大，并且包含具有较低变异性的描述性字幕 - 仅图像的方法也与剪辑的传输性能不匹配，即使它们接受了更多图像数据的培训。但是，与人们期望的相反，在某些情况下，没有满足这些标准，其中通过标题增加的监督实际上是有害的。在我们的发现的激励下，我们设计了简单的处方，以使剪辑能够更好地利用现有预训练数据集中存在的语言信息。

State-of-the-art computer vision systems are trained to predict a fixed set of predetermined object categories. This restricted form of supervision limits their generality and usability since additional labeled data is needed to specify any other visual concept. Learning directly from raw text about images is a promising alternative which leverages a much broader source of supervision. We demonstrate that the simple pre-training task of predicting which caption goes with which image is an efficient and scalable way to learn SOTA image representations from scratch on a dataset of 400 million (image, text) pairs collected from the internet. After pre-training, natural language is used to reference learned visual concepts (or describe new ones) enabling zero-shot transfer of the model to downstream tasks. We study the performance of this approach by benchmarking on over 30 different existing computer vision datasets, spanning tasks such as OCR, action recognition in videos, geo-localization, and many types of fine-grained object classification. The model transfers non-trivially to most tasks and is often competitive with a fully supervised baseline without the need for any dataset specific training. For instance, we match the accuracy of the original ResNet-50 on ImageNet zero-shot without needing to use any of the 1.28 million training examples it was trained on. We release our code and pre-trained model weights at https://github.com/OpenAI/CLIP.

我们介绍了一种零拍的视频字幕方法，该方法采用了两个冷冻网络：GPT-2语言模型和剪辑图像文本匹配模型。匹配分数用于引导语言模型生成一个句子，该句子的平均匹配分数高于视频帧的一个子集。与零拍图像字幕方法不同，我们的工作立即考虑整个句子。这是通过在生成过程中优化从头开始的一部分，通过在提示中修改所有其他令牌的表示，并通过迭代重复该过程，逐渐提高生成句子的特殊性和全面性来实现。我们的实验表明，生成的字幕是连贯的，并显示了广泛的现实知识。我们的代码可在以下网址找到：https：//github.com/yoadtew/zero-shot-video-to-text

我们介绍了自回归文本到图像（Parti）模型的途径，该模型生成高保真的影像图像并支持涉及复杂组成和世界知识的内容丰富的合成。 Parti将文本对图像生成视为类似于机器翻译的序列到序列建模问题，图像令牌的序列是目标输出，而不是其他语言的文本令牌。这种策略自然可以利用大型语言模型的先前工作，通过扩展数据和模型尺寸，能力和性能的持续进展。我们的方法很简单：首先，Parti使用基于变压器的图像令牌VIT-VQGAN将图像编码为离散令牌的序列。其次，我们通过将编码器二次变压器模型缩放到20B参数来实现一致的质量改进，其新的最新零弹药FID得分为7.23，而MS-Coco的FIDED得分为3.22。我们对本地化叙述以及党的详细分析（P2），这是1600多个英语提示的新的整体基准，证明了Parti在各种类别和难度方面的有效性。我们还探索并突出了我们的模型的局限性，以定义和体现关注重点领域以进一步改进。有关高分辨率图像，请参见https://parti.research.google/。

最近的文本到图像匹配模型对大型图像和句子的大公司进行了对比学习。虽然这些模型可以提供用于匹配和随后的零拍任务的强大分数，但它们不能给出给定图像的标题。在这项工作中，我们重新利用这些模型来生成在推理时间的图像时生成描述性文本，而无需进一步的训练或调整步骤。这是通过将具有大语言模型的视觉语义模型组合，从两种网络级模型中的知识中获益。由受监督标题方法获得的标题的限制性较小。此外，作为零射击学习方法，它非常灵活，我们展示了执行图像算法的能力，其中输入可以是图像或文本，输出是句子。这使得新颖的高级视觉能力，例如比较两个图像或解决视觉类比测试。

作为人类，我们通过我们所有的感官来驾驭世界，使用每个人从每个人纠正其他人。我们介绍了Merlot Reserve，一个模型，该模型是联合随着时间的推移而表示视频的模型 - 通过从音频，字幕和视频帧学习的新培训目标。给出了一个视频，我们用掩模令牌替换文本和音频的片段;该模型通过选择正确的蒙版片段来学习。我们的目标比替代方面更快地学习，并在规模上表现良好：我们预先逼近2000万YouTube视频。经验结果表明，Merlot Reserve学会通过所有组成模式的视频的强烈陈述。在FineTuned时，它在VCR和TVQA上为VCR和TVQA进行了新的最先进，优先于前勤工作分别为5％和7％。消融表明，两个任务都受益于音频预制 - 甚至录像机，围绕图像中心的QA任务（没有声音）。此外，我们的客观使开箱即用的预测，揭示了强大的多式联合致辞理解。在一个完全零拍摄的环境中，我们的模型在四个视频理解任务中获得竞争结果，甚至优于最近提出的定位推理（星）基准的监督方法。我们分析为什么包含音频导致更好的视觉语言表示，这表明未来研究的重要机会。我们通过讨论多式联运预测的道德和社会影响来得出结论。

Large-scale vision-language models such as CLIP have shown impressive performance on zero-shot image classification and image-to-text retrieval. However, such zero-shot performance of CLIP-based models does not realize in tasks that require a finer-grained correspondence between vision and language, such as Visual Question Answering (VQA). We investigate why this is the case, and report an interesting phenomenon of CLIP, which we call the Concept Association Bias (CAB), as a potential cause of the difficulty of applying CLIP to VQA and similar tasks. CAB is especially apparent when two concepts are present in the given image while a text prompt only contains a single concept. In such a case, we find that CLIP tends to treat input as a bag of concepts and attempts to fill in the other missing concept crossmodally, leading to an unexpected zero-shot prediction. For example, when asked for the color of a lemon in an image, CLIP predicts ``purple'' if the image contains a lemon and an eggplant. We demonstrate the Concept Association Bias of CLIP by showing that CLIP's zero-shot classification performance greatly suffers when there is a strong concept association between an object (e.g. lemon) and an attribute (e.g. its color). On the other hand, when the association between object and attribute is weak, we do not see this phenomenon. Furthermore, we show that CAB is significantly mitigated when we enable CLIP to learn deeper structure across image and text embeddings by adding an additional Transformer on top of CLIP and fine-tuning it on VQA. We find that across such fine-tuned variants of CLIP, the strength of CAB in a model predicts how well it performs on VQA.

图像标题是视觉语言理解的基本任务，其中模型将文本信息标题预测到给定输入图像。在本文中，我们提出了一种解决此任务的简单方法。我们使用剪辑编码作为标题的前缀，通过采用简单的映射网络，然后微调语言模型以生成图像标题。最近提出的剪辑模型包含丰富的语义特征，这些功能培训了文本背景，使其最适合视觉语言感知。我们的关键思想与预先接受训练的语言模型（GPT2）一起，我们获得了广泛了解视觉和文本数据。因此，我们的方法只需要相当快速的培训来产生称职的标题模型。如果没有额外的注释或预训练，它有效地为大规模和多样化的数据集生成有意义的标题。令人惊讶的是，即使仅在训练映射网络时，我们的方法也很好地运行良好，而剪辑和语言模型仍然冻结，则允许较轻的培训参数较轻的架构。通过定量评估，我们展示了我们的模型在充满挑战的概念标题和Nocaps数据集上实现了最先进的方法的可比结果，而它更简单，更快，更轻。我们的代码在https://github.com/rmokady/clip_prefix_caption中提供。

Inspired by progress in large-scale language modeling, we apply a similar approach towards building a single generalist agent beyond the realm of text outputs. The agent, which we refer to as Gato, works as a multi-modal, multi-task, multi-embodiment generalist policy. The same network with the same weights can play Atari, caption images, chat, stack blocks with a real robot arm and much more, deciding based on its context whether to output text, joint torques, button presses, or other tokens. In this report we describe the model and the data, and document the current capabilities of Gato.

For robots to be generally useful, they must be able to find arbitrary objects described by people (i.e., be language-driven) even without expensive navigation training on in-domain data (i.e., perform zero-shot inference). We explore these capabilities in a unified setting: language-driven zero-shot object navigation (L-ZSON). Inspired by the recent success of open-vocabulary models for image classification, we investigate a straightforward framework, CLIP on Wheels (CoW), to adapt open-vocabulary models to this task without fine-tuning. To better evaluate L-ZSON, we introduce the Pasture benchmark, which considers finding uncommon objects, objects described by spatial and appearance attributes, and hidden objects described relative to visible objects. We conduct an in-depth empirical study by directly deploying 21 CoW baselines across Habitat, RoboTHOR, and Pasture. In total, we evaluate over 90k navigation episodes and find that (1) CoW baselines often struggle to leverage language descriptions, but are proficient at finding uncommon objects. (2) A simple CoW, with CLIP-based object localization and classical exploration -- and no additional training -- matches the navigation efficiency of a state-of-the-art ZSON method trained for 500M steps on Habitat MP3D data. This same CoW provides a 15.6 percentage point improvement in success over a state-of-the-art RoboTHOR ZSON model.

对比训练有素的语言图像模型，例如剪辑，Align和Basic，已经证明了对多种具有挑战性的自然分配变化的前所未有的鲁棒性。由于这些语言图像模型与以前的培训方法有多种不同，因此一个重要的问题是导致稳定性增长的原因。我们通过系统的实验研究回答这个问题。具体而言，我们研究了鲁棒性增长的五个不同可能的原因：（i）训练集大小，（ii）培训分配，（iii）在培训时进行语言监督，（iv）测试时语言监督，以及（v）对比损失函数。我们的实验表明，更多样化的训练分布是稳健性增长的主要原因，其他因素几乎没有稳健性。除了实验结果之外，我们还引入了Imagenet捕获，这是一种来自Flickr的原始文本注释的Imagenet版本，以实现语言图像训练的进一步受控实验。

在Web规模数据上预测的大型视觉和语言模型提供了对许多V＆L问题无价的表示。但是，目前尚不清楚如何将它们用于以非结构化语言为特定于用户特定的视觉概念。这个问题来自多个域，从个性化图像检索到与智能设备的个性化交互。我们介绍了一个新的学习设置，称为个性化视觉和语言（PERVL），并使用两个新的基准数据集来检索和细分用户特定的“个性化”概念“野外”。在PERVL中，应该独立于下游任务（2）允许经过审慎的模型以免费语言来推论它们，并且（3）不需要个性化的负面示例。我们提出了一个用于解决PERVL的体系结构，该体系结构通过扩展了一个预审计模型的输入词汇，并用新单词嵌入新的个性化概念。然后，模型可以通过简单地在句子中使用它们来推理它们。我们证明我们的方法从几个示例中学习了个性化的视觉概念，并且可以使用丰富的文本查询有效地将它们应用于图像检索和语义细分中。

鉴于大型语言模型的广泛能力，应该有可能朝着一般的文本的助手工作，这些助手与人类价值一致，这意味着它是有帮助，诚实的和无害的。在此方向上的初始遗传，我们研究简单的基线技术和评估，例如提示。我们发现，从模型规模增加适度的干预措施的好处，概括为各种对准评估，并不会损害大型模型的性能。接下来，我们调查与对齐，比较仿制，二进制歧视和排名偏好建模相关的几个培训目标的缩放趋势。我们发现排名优先级模型比模仿学习更好地表现得多，并且通常以模型大小更有利地缩放。相比之下，二进制歧视通常与模仿学习非常类似地执行和缩放。最后，我们研究了一种“偏好模型预训练阶段的培训阶段，其目的是在对人偏好的芬明时提高样本效率。

连接视觉和语言在生成智能中起着重要作用。因此，已经致力于图像标题的大型研究工作，即用句法和语义有意义的句子描述图像。从2015年开始，该任务通常通过由Visual Encoder组成的管道和文本生成的语言模型来解决任务。在这些年来，两种组件通过对象区域，属性，介绍多模态连接，完全关注方法和伯特早期融合策略的利用而显着发展。但是，无论令人印象深刻的结果，图像标题的研究还没有达到结论性答案。这项工作旨在提供图像标题方法的全面概述，从视觉编码和文本生成到培训策略，数据集和评估度量。在这方面，我们量化地比较了许多相关的最先进的方法来确定架构和培训策略中最有影响力的技术创新。此外，讨论了问题的许多变体及其开放挑战。这项工作的最终目标是作为理解现有文献的工具，并突出显示计算机视觉和自然语言处理的研究领域的未来方向可以找到最佳的协同作用。

这项工作是在培训生成动作/视频识别模型上，其输出是描述视频的自由形式的特定动作标题（而不是动作类标签）。生成的方法具有实用的优势，例如生产更细粒度和人类可读的产出，并且自然而然地是开放的。为此，我们提议适应视频/动作识别的预先训练的生成视觉和语言（V＆L）基础模型。据我们所知，最近有几次尝试适应了用对比度学习（例如剪辑）训练的V＆L模型（例如剪辑），但据我们所知，我们提出了第一种设定实现这一目标的方法来实现生成模型的方法。我们首先表明，生成模型的直接微调生产具有严重过度拟合的动作类别。为了减轻这一点，我们介绍了REST，这是一个由两个关键组成部分组成的培训框架：一种无监督的方法，用于通过伪捕获生成和自我训练，将生成模型适应动作/视频，即不使用任何动作特定的标签； （b）基于剪辑的检索方法，用于为每个视频发现一套伪装的伪扣，以训练该模型。重要的是，我们表明这两个组件对于获得高精度都是必要的。我们评估零拍动识别的问题的休息，我们表明，与基于对比的学习方法相比，我们的方法非常有竞争力。代码将可用。

视频问题回答（VideoQA）是一项复杂的任务，需要多种模式数据进行培训。但是，对视频的问题和答案的手动注释是乏味的，禁止可扩展性。为了解决这个问题，最近的方法考虑了零拍设置，而无需手动注释视觉问题。特别是，一种有前途的方法调整了在网络级文本数据中预测的冻结自回归语言模型，以适应多模式输入。相比之下，我们在这里建立在冷冻双向语言模型（BILM）的基础上，并表明这种方法为零拍出的VideoQA提供了更强大，更便宜的替代方案。特别是（i）我们使用轻型训练模块将视觉输入与冷冻的BILM结合在一起，（ii）我们使用Web-Scrafe Multi-Mododal数据训练此类模块，最后（iii）我们通过掩盖语言执行零声录像带推断建模，其中蒙版文本是给定问题的答案。我们提出的方法Frozenbilm在零摄影的视频中的表现优于最高的，包括LSMDC-FIB，包括LSMDC-FIB，IVQA，MSRVTT-QA，MSVD-QA，ActivityNet-QA，TGIF-FRAMEQA，TGIF-FRAMEQA，，TGIF-FRAMEQA，，TGIF-FRAMEQA，，，MSRVTT-QA，MSRVTT-QA，MSRVTT-QA，MSRVTT-QA，MSRVTT-QA，，均优于最新技术。 How2QA和TVQA。它还在几次且完全监督的环境中展示了竞争性能。我们的代码和模型将在https://antoyang.github.io/frozenbilm.html上公开提供。

文本到图像合成的最新进展导致了较大的经过验证的变压器，具有出色的能力，可以从给定文本产生可视化。但是，这些模型不适合专门的任务，例如故事可视化，该任务要求代理商制作一系列图像，给定相应的字幕序列，形成叙述。此外，我们发现故事可视化任务无法适应新叙事中看不见的情节和角色的概括。因此，我们首先提出了故事延续的任务，其中生成的视觉故事是在源图像上进行的，从而可以更好地对具有新角色的叙述进行更好的概括。然后，我们使用特定于（a）顺序图像生成的任务特定模块和（b）从初始帧复制相关元素的任务特定模块来增强或“复古”文本对图像合成模型。然后，我们探讨了预训练模型的全模型芬太尼以及对参数适应的及时调整。我们在两个现有数据集（PororoSV和FlintStonessV）上评估了我们的方法storydall-e，并介绍了从视频吸引数据集收集的新数据集DIDEMOSV。我们还基于生成的对抗网络（GAN）开发了一个模型故事游戏，以进行故事的延续，并将其与StoryDall-E模型进行比较，以展示我们方法的优势。我们表明，我们的复古拟合方法优于基于GAN的模型，用于故事延续，并促进从源图像中复制视觉元素，从而改善了生成的视觉故事中的连续性。最后，我们的分析表明，经过审计的变压器努力理解包含几个角色的叙述。总体而言，我们的工作表明，可以验证的文本对图像合成模型可以适应复杂和低资源的任务，例如故事延续。