本文探讨了时间视频接地（TVG）的任务，在该任务中，给定未修剪的视频和查询句子，目标是在提供的自然语言查询描述的视频中识别和确定动作实例的时间界。最近的作品通过使用大型预训练的语言模型（PLM）直接编码查询来解决此任务。但是，很难隔离改进的语言表示的影响，因为这些作品还提出了视觉输入的改进。此外，这些PLM大大增加了训练TVG模型的计算成本。因此，本文研究了PLM在TVG任务中的影响，并根据适配器评估了NLP参数效率培训替代方案的适用性。我们将流行的PLM与选择现有方法和测试不同的适配器相结合，以减少其他参数的影响。我们在三个具有挑战性的数据集上的结果表明，当TVG模型对该任务进行微调时，可以从PLM中受益匪浅，并且适配器是完全微调的有效替代方法，即使它们并不适合我们的任务。具体而言，适配器有助于节省计算成本，从而使PLM集成在较大的TVG模型中，并提供与最先进模型相当的结果。最后，通过对TVG中不同类型的适配器进行基准测试，我们的结果阐明了哪种适配器最适合每个研究的情况。
translated by 谷歌翻译
我们提出了Locommer，一种基于变压器的视频接地模型，其在恒定的存储空间中运行，无论视频长度如何，即帧数。 Locommer专为任务而设计，在那里需要处理整个长视频，并在其核心贴上两个主要贡献。首先，我们的模型包含一种新的采样技术，将输入要素序列分成固定数量的部分，并使用随机方法选择每个部分的单个特征，这允许我们获得代表视频内容的特征样本集在手中的任务，同时保持内存占用空间。其次，我们提出了一种模块化设计，将功能分开，使我们能够通过监督自我关注头来学习归纳偏差，同时还有效利用预先接受训练的文本和视频编码器。我们在相关的基准数据集中测试我们的建议，以进行视频接地，表明该表现形式不仅可以实现优异的结果，包括在YouCookii上的最先进的性能，也可以比竞争对手更有效，并且它一直有效在平均工作的情况下，最新工作的表现，均值较大，最终导致Chardes-STA的新的最先进的性能。
translated by 谷歌翻译
2021-12-13
最近，在大型文本语料库上预先培训的微调语言模型已经为Vision-and Langual（V＆L）任务以及纯语言任务提供了巨大的改进。但是，微调预训练模型的整个参数集变得不切实际，因为模型大小正在快速增长。因此，在本文中，我们将基于适配器的参数高效转移学习技术引入VL-BART和VL-T5等V＆L型号。我们在四个不同V＆L任务的统一多任务设置中评估我们的方法：VQAV2，GQA，NLVR2和MSCOCO图像标题。通过仔细的培训和彻底的实验，我们将三种流行的基于适配器的方法（适配器，Hyperformer，Compacter）基准，抵御标准的全部微调和最近提出的及时调整方法。我们还通过分享其权重以获得跨任务的知识来增强适配器的效率和性能。我们的结果表明，使用权重共享技术（总参数的4.4％）培训适配器可以匹配微调整个模型的性能。最后，我们提出了一个全面的分析，包括适配器和任务特定提示的组合以及V＆L对适配器进行培训的影响。我们的代码可用于：https://github.com/ylsung/vl_adapter。
translated by 谷歌翻译
视频问题回答（VideoQA）是一项复杂的任务，需要多种模式数据进行培训。但是，对视频的问题和答案的手动注释是乏味的，禁止可扩展性。为了解决这个问题，最近的方法考虑了零拍设置，而无需手动注释视觉问题。特别是，一种有前途的方法调整了在网络级文本数据中预测的冻结自回归语言模型，以适应多模式输入。相比之下，我们在这里建立在冷冻双向语言模型（BILM）的基础上，并表明这种方法为零拍出的VideoQA提供了更强大，更便宜的替代方案。特别是（i）我们使用轻型训练模块将视觉输入与冷冻的BILM结合在一起，（ii）我们使用Web-Scrafe Multi-Mododal数据训练此类模块，最后（iii）我们通过掩盖语言执行零声录像带推断建模，其中蒙版文本是给定问题的答案。我们提出的方法Frozenbilm在零摄影的视频中的表现优于最高的，包括LSMDC-FIB，包括LSMDC-FIB，IVQA，MSRVTT-QA，MSVD-QA，ActivityNet-QA，TGIF-FRAMEQA，TGIF-FRAMEQA，，TGIF-FRAMEQA，，TGIF-FRAMEQA，，，MSRVTT-QA，MSRVTT-QA，MSRVTT-QA，MSRVTT-QA，MSRVTT-QA，，均优于最新技术。 How2QA和TVQA。它还在几次且完全监督的环境中展示了竞争性能。我们的代码和模型将在https://antoyang.github.io/frozenbilm.html上公开提供。
translated by 谷歌翻译
微调下游任务的大型预训练语言模型已成为NLP中的事实上学习范式。然而，常规方法微调预先训练模型的所有参数，这变得越来越稳定，因为模型尺寸和增长的任务数量。最近的工作提出了各种参数有效的转移学习方法，只需微调少数（额外）参数以获得强大的性能。虽然有效，但各种方法中的成功和联系的关键成分尚不清楚。在本文中，我们分解了最先进的参数有效的传输学习方法的设计，并提出了一个在它们之间建立连接的统一框架。具体而言，我们将它们重新框架作为预先训练的模型对特定隐藏状态的修改，并定义了一组设计尺寸，不同的方法变化，例如计算修改的功能和应用修改的位置。通过跨机翻译的全面实证研究，文本摘要，语言理解和文本分类基准，我们利用统一的视图来确定以前的方法中的重要设计选择。此外，我们的统一框架使得能够在不同的方法中传输设计元素，因此我们能够实例化新的参数高效的微调方法，该方法比以前的方法更加有效，而是更有效，实现可比的结果在所有四个任务上调整所有参数。
translated by 谷歌翻译
语言基础与视觉是一个积极的研究领域，旨在通过利用视觉感知知识来丰富基于文本的单词含义的表示。尽管进行了多次接地尝试，但仍不清楚如何以一种保持文本和视觉知识的适当平衡的方式将视觉知识注入语言嵌入一词。一些普遍的问题是以下内容。视觉基础对抽象单词有益吗？还是仅限于具体单词的贡献？弥合文本和视觉之间差距的最佳方法是什么？通过视觉接地的文本嵌入，我们可以获得多少收益？本研究通过提出一种简单但非常有效的基础方法来解决这些问题，以预先训练的单词嵌入。我们的模型将文本嵌入与视觉保持一致，同时在很大程度上保留了在文本语料库中使用单词使用的分布统计数据。通过应用学习的对齐方式，我们能够生成视觉接地的嵌入，用于看不见的单词，包括抽象单词。一系列对单词相似性基准的评估表明，视觉接地不仅对具体单词有益，而且对抽象单词也有益。我们还表明，我们的视觉接地方法为上下文化的嵌入提供了优势，但只有在对相对尺寸相对较小的语料库进行培训时，我们才能提供优势。可以在https://github.com/hazel1994/visaly_grounded_word_word_embeddings_2上获得英语的代码和接地嵌入。
translated by 谷歌翻译
Given an untrimmed video and natural language query, video sentence grounding aims to localize the target temporal moment in the video. Existing methods mainly tackle this task by matching and aligning semantics of the descriptive sentence and video segments on a single temporal resolution, while neglecting the temporal consistency of video content in different resolutions. In this work, we propose a novel multi-resolution temporal video sentence grounding network: MRTNet, which consists of a multi-modal feature encoder, a Multi-Resolution Temporal (MRT) module, and a predictor module. MRT module is an encoder-decoder network, and output features in the decoder part are in conjunction with Transformers to predict the final start and end timestamps. Particularly, our MRT module is hot-pluggable, which means it can be seamlessly incorporated into any anchor-free models. Besides, we utilize a hybrid loss to supervise cross-modal features in MRT module for more accurate grounding in three scales: frame-level, clip-level and sequence-level. Extensive experiments on three prevalent datasets have shown the effectiveness of MRTNet.
translated by 谷歌翻译
2022-12-15
Vision transformers (ViTs) have achieved impressive results on various computer vision tasks in the last several years. In this work, we study the capability of frozen ViTs, pretrained only on visual data, to generalize to audio-visual data without finetuning any of its original parameters. To do so, we propose a latent audio-visual hybrid (LAVISH) adapter that adapts pretrained ViTs to audio-visual tasks by injecting a small number of trainable parameters into every layer of a frozen ViT. To efficiently fuse visual and audio cues, our LAVISH adapter uses a small set of latent tokens, which form an attention bottleneck, thus, eliminating the quadratic cost of standard cross-attention. Compared to the existing modality-specific audio-visual methods, our approach achieves competitive or even better performance on various audio-visual tasks while using fewer tunable parameters and without relying on costly audio pretraining or external audio encoders. Our code is available at https://genjib.github.io/project_page/LAVISH/
translated by 谷歌翻译
通过微调将大规模的预训练语言模型适应下游任务是实现NLP基准测试最先进性能的标准方法。然而，微调具有数百万或数十亿个参数的所有重量模型是对低资源设置中不稳定的采样低效，并且浪费，因为它需要为每个任务存储模型的单独副本。最近的工作已经开发了参数高效的微调方法，但这些方法仍然需要相对大量的参数或表现不足标准微调。在这项工作中，我们提出了一种特殊调整大型语言模型的方法，其在任务性能和比率参数之间具有更好的权衡的方法，而不是比上事先工作。 Compacter通过构建适配器，低级优化和参数化超复分乘法层的思想之上来实现这一目标。具体地，Compacter将特定于特定的权重矩阵插入到预估计模型的权重中，这些权重被有效地计算为共享的“慢速”权重和“快速”等级 - 每个Compacter层定义的矩阵之间的矩阵产品的总和。仅通过培训0.047％的预磨料模型的参数，Compacter会在胶水上标准微调和胜过标准微调的标准微调和低资源设置。我们的代码在〜\ url {https://github.com/rabeehk/compacter}上公开使用。
translated by 谷歌翻译
2021-10-14
最近的参数效率语言模型调整（PELT）方法可以使微调的性能与较少的可训练参数相匹配，并且在训练数据受到限制时尤其表现良好。但是，不同的PELT方法在相同的任务上的性能可能会有所不同，因此为特定任务选择最合适的方法是不平凡的，尤其是考虑到快速增长的新PELT方法和任务。鉴于模型多样性和模型选择的难度，我们提出了一个统一的框架Unipelt，该框架将不同的毛皮方法纳入了子模型，并学会了激活最适合当前数据或通过门控机制设置的方法。在胶水基准上，与最佳的单个毛皮方法相比，UniPelt始终达到1〜4％的增长，而其融合甚至超过了不同设置下的微调。此外，UniPelt通常超过上限，该上限在每个任务上单独使用的所有子模型的最佳性能，表明多种PELT方法的混合物可能本质上比单个方法更有效。
translated by 谷歌翻译
我们为大规模训练的大规模训练语言模型提供了更简单，更稀疏，更快的算法，这些算法在许多标准的NLP任务上实现了最新的隐私与实用性权衡。我们为此问题提出了一个元框架，这是受高度参数效率方法进行微调成功的启发。我们的实验表明，这些方法的差异化适应能力在三个重要方面优于以前的私人算法：实用程序，隐私以及私人培训的计算和记忆成本。在许多经常研究的数据集中，私人模型的实用性接近了非私人模型的方法。例如，在MNLI数据集上，我们使用Roberta-large的准确度为87.8 \％$，使用Roberta-Base $ 83.5 \％$，其隐私预算为$ \ Epsilon = 6.7 $。相比之下，缺乏隐私限制，罗伯塔·莱格（Roberta-Large）的准确度为$ 90.2 \％$。我们的发现对于自然语言生成任务类似。与DART，GPT-2-SMALL，GPT-2中，GPT-2-MEDIUM，GPT-2-LARGE和GPT-2-XL的私人微调达到38.5、42.0、43.1和43.8（$ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ 43.8） epsilon = 6.8，\ delta = $ 1E-5），而非私人基线为$ 48.1 $。我们所有的实验都表明，较大的模型更适合私人微调：虽然众所周知，它们旨在非优先实现卓越的准确性，但我们发现当引入隐私时，它们也更好地保持其准确性。
translated by 谷歌翻译
大规模预制速度迅速成为视觉语言（VL）建模中的规范。然而，普遍的VL方法受标记数据的要求和复杂的多步预介质目标的要求受限。我们呈现Magma - 使用基于适配器的FineTuning使用额外的方式增强生成语言模型的简单方法。在冻结的情况下，我们培训一系列VL模型，从视觉和文本输入的任意组合自动生成文本。使用单一语言建模目的，预先预测完全结束于结束，与先前的方法相比，简化优化。重要的是，在培训期间，语言模型权重保持不变，允许从语言预磨练转移百科全书知识和内心的学习能力。 Magma在开放式生成任务上冻结的岩浆，实现了最先进的状态，结果在Okvqa基准和竞争结果上的一系列其他流行的VL基准测试中，同时预先训练用于培训SIMVLM的样本数量的0.2％。
translated by 谷歌翻译
变压器架构已经带来了计算语言领域的根本变化，这已经由经常性神经网络主导多年。它的成功还意味着具有语言和愿景的跨模型任务的大幅度变化，许多研究人员已经解决了这个问题。在本文中，我们审查了该领域中的一些最关键的里程碑，以及变压器架构如何纳入Visuol语言跨模型任务的整体趋势。此外，我们讨论了当前的局限性，并推测了我们发现迫在眉睫的一些前景。
translated by 谷歌翻译
Recent video+language datasets cover domains where the interaction is highly structured, such as instructional videos, or where the interaction is scripted, such as TV shows. Both of these properties can lead to spurious cues to be exploited by models rather than learning to ground language. In this paper, we present GrOunded footbAlL commentaries (GOAL), a novel dataset of football (or `soccer') highlights videos with transcribed live commentaries in English. As the course of a game is unpredictable, so are commentaries, which makes them a unique resource to investigate dynamic language grounding. We also provide state-of-the-art baselines for the following tasks: frame reordering, moment retrieval, live commentary retrieval and play-by-play live commentary generation. Results show that SOTA models perform reasonably well in most tasks. We discuss the implications of these results and suggest new tasks for which GOAL can be used. Our codebase is available at: https://gitlab.com/grounded-sport-convai/goal-baselines.
translated by 谷歌翻译
Transfer learning, where a model is first pre-trained on a data-rich task before being finetuned on a downstream task, has emerged as a powerful technique in natural language processing (NLP). The effectiveness of transfer learning has given rise to a diversity of approaches, methodology, and practice. In this paper, we explore the landscape of transfer learning techniques for NLP by introducing a unified framework that converts all text-based language problems into a text-to-text format. Our systematic study compares pre-training objectives, architectures, unlabeled data sets, transfer approaches, and other factors on dozens of language understanding tasks. By combining the insights from our exploration with scale and our new "Colossal Clean Crawled Corpus", we achieve state-of-the-art results on many benchmarks covering summarization, question answering, text classification, and more. To facilitate future work on transfer learning for NLP, we release our data set, pre-trained models, and code.
translated by 谷歌翻译
最近出现了有希望的表现，利用大型预训练的模型来实现各种感兴趣的下游任务。由于模型的规模不断增长，因此，在模型培训和存储方面，基于标准的完整任务适应策略的成本高昂。这导致了参数有效传输学习的新研究方向。但是，现有的尝试通常集中在预训练模型的相同模式（例如图像理解）的下游任务上。这会产生限制，因为在某些特定的方式（例如，视频理解）中，具有足够知识的强大预训练模型较少或不可用。在这项工作中，我们研究了这样一种新型的跨模式转移学习设置，即参数有效的图像到视频传输学习。为了解决此问题，我们为每个视频任务提出了一个新的时空适配器（ST-ADAPTER），以进行参数有效调整。凭借紧凑设计中的内置时空推理能力，ST-ADAPTER可以实现预训练的图像模型，而无需时间知识，以小（〜8％）的每任务参数成本来理解动态视频内容，以大约需要与以前的工作相比，更新参数少20倍。在视频动作识别任务上进行的广泛实验表明，我们的ST-ADAPTER可以匹配甚至优于强大的完整微调策略和最先进的视频模型，同时享受参数效率的优势。
translated by 谷歌翻译
大型神经模型的培训和推断很昂贵。但是，对于许多应用程序域，虽然新任务和模型经常出现，但建模的基础文档主要保持不变。我们研究如何通过嵌入回收利用（ER）来降低此类设置的计算成本：在执行训练或推理时从以前的模型中重新使用激活。与以前的工作相反，重点是冻结小型分类头进行填充，这通常会导致绩效显着下降，我们提出了从预告片的模型中缓存中间层的输出，并为新任务的剩余层进行填充。我们表明，我们的方法在训练过程中提供了100％的速度和55-86％的推理，并且对科学领域中文本分类和实体识别任务的准确性产生了可观的影响。对于通用域的问答任务，ER提供了类似的加速和少量准确性。最后，我们确定了ER的几个开放挑战和未来的方向。
translated by 谷歌翻译
连接视觉和语言在生成智能中起着重要作用。因此，已经致力于图像标题的大型研究工作，即用句法和语义有意义的句子描述图像。从2015年开始，该任务通常通过由Visual Encoder组成的管道和文本生成的语言模型来解决任务。在这些年来，两种组件通过对象区域，属性，介绍多模态连接，完全关注方法和伯特早期融合策略的利用而显着发展。但是，无论令人印象深刻的结果，图像标题的研究还没有达到结论性答案。这项工作旨在提供图像标题方法的全面概述，从视觉编码和文本生成到培训策略，数据集和评估度量。在这方面，我们量化地比较了许多相关的最先进的方法来确定架构和培训策略中最有影响力的技术创新。此外，讨论了问题的许多变体及其开放挑战。这项工作的最终目标是作为理解现有文献的工具，并突出显示计算机视觉和自然语言处理的研究领域的未来方向可以找到最佳的协同作用。
translated by 谷歌翻译
We introduce LaViLa, a new approach to learning video-language representations by leveraging Large Language Models (LLMs). We repurpose pre-trained LLMs to be conditioned on visual input, and finetune them to create automatic video narrators. Our auto-generated narrations offer a number of advantages, including dense coverage of long videos, better temporal synchronization of the visual information and text, and much higher diversity of text. The video-text embedding learned contrastively with these additional auto-generated narrations outperforms the previous state-of-the-art on multiple first-person and third-person video tasks, both in zero-shot and finetuned setups. Most notably, LaViLa obtains an absolute gain of 10.1% on EGTEA classification and 5.9% Epic-Kitchens-100 multi-instance retrieval benchmarks. Furthermore, LaViLa trained with only half the narrations from the Ego4D dataset outperforms baseline models trained on the full set, and shows positive scaling behavior on increasing pre-training data and model size.
translated by 谷歌翻译
Transformer models have shown great success handling long-range interactions, making them a promising tool for modeling video. However they lack inductive biases and scale quadratically with input length. These limitations are further exacerbated when dealing with the high dimensionality introduced with the temporal dimension. While there are surveys analyzing the advances of Transformers for vision, none focus on an in-depth analysis of video-specific designs. In this survey we analyze main contributions and trends of works leveraging Transformers to model video. Specifically, we delve into how videos are handled as input-level first. Then, we study the architectural changes made to deal with video more efficiently, reduce redundancy, re-introduce useful inductive biases, and capture long-term temporal dynamics. In addition we provide an overview of different training regimes and explore effective self-supervised learning strategies for video. Finally, we conduct a performance comparison on the most common benchmark for Video Transformers (i.e., action classification), finding them to outperform 3D ConvNets even with less computational complexity.
translated by 谷歌翻译