Fine-tuning a Pre-trained Language Model (PLM) on a specific downstream task has been a well-known paradigm in Natural Language Processing. However, with the ever-growing size of PLMs, training the entire model on several downstream tasks becomes very expensive and resource-hungry. Recently, different Parameter Efficient Tuning (PET) techniques are proposed to improve the efficiency of fine-tuning PLMs. One popular category of PET methods is the low-rank adaptation methods which insert learnable truncated SVD modules into the original model either sequentially or in parallel. However, low-rank decomposition suffers from limited representation power. In this work, we address this problem using the Kronecker product instead of the low-rank representation. We introduce KronA, a Kronecker product-based adapter module for efficient fine-tuning of Transformer-based PLMs. We apply the proposed methods for fine-tuning T5 on the GLUE benchmark to show that incorporating the Kronecker-based modules can outperform state-of-the-art PET methods.

微调下游任务的大型预训练语言模型已成为NLP中的事实上学习范式。然而，常规方法微调预先训练模型的所有参数，这变得越来越稳定，因为模型尺寸和增长的任务数量。最近的工作提出了各种参数有效的转移学习方法，只需微调少数（额外）参数以获得强大的性能。虽然有效，但各种方法中的成功和联系的关键成分尚不清楚。在本文中，我们分解了最先进的参数有效的传输学习方法的设计，并提出了一个在它们之间建立连接的统一框架。具体而言，我们将它们重新框架作为预先训练的模型对特定隐藏状态的修改，并定义了一组设计尺寸，不同的方法变化，例如计算修改的功能和应用修改的位置。通过跨机翻译的全面实证研究，文本摘要，语言理解和文本分类基准，我们利用统一的视图来确定以前的方法中的重要设计选择。此外，我们的统一框架使得能够在不同的方法中传输设计元素，因此我们能够实例化新的参数高效的微调方法，该方法比以前的方法更加有效，而是更有效，实现可比的结果在所有四个任务上调整所有参数。

通过微调将大规模的预训练语言模型适应下游任务是实现NLP基准测试最先进性能的标准方法。然而，微调具有数百万或数十亿个参数的所有重量模型是对低资源设置中不稳定的采样低效，并且浪费，因为它需要为每个任务存储模型的单独副本。最近的工作已经开发了参数高效的微调方法，但这些方法仍然需要相对大量的参数或表现不足标准微调。在这项工作中，我们提出了一种特殊调整大型语言模型的方法，其在任务性能和比率参数之间具有更好的权衡的方法，而不是比上事先工作。 Compacter通过构建适配器，低级优化和参数化超复分乘法层的思想之上来实现这一目标。具体地，Compacter将特定于特定的权重矩阵插入到预估计模型的权重中，这些权重被有效地计算为共享的“慢速”权重和“快速”等级 - 每个Compacter层定义的矩阵之间的矩阵产品的总和。仅通过培训0.047％的预磨料模型的参数，Compacter会在胶水上标准微调和胜过标准微调的标准微调和低资源设置。我们的代码在〜\ url {https://github.com/rabeehk/compacter}上公开使用。

Conventional fine-tuning encounters increasing difficulties given the size of current Pre-trained Language Models, which makes parameter-efficient tuning become the focal point of frontier research. Previous methods in this field add tunable adapters into MHA or/and FFN of Transformer blocks to enable PLMs achieve transferability. However, as an important part of Transformer architecture, the power of layer normalization for parameter-efficent tuning is ignored. In this paper, we first propose LN-tuning, by tuning the gain and bias term of Layer Normalization module with only 0.03\% parameters, which is of high time-efficency and significantly superior to baselines which are less than 0.1\% tunable parameters. Further, we study the unified framework of combining LN-tuning with previous ones and we find that: (1) the unified framework of combining prefix-tuning, the adapter-based method working on MHA, and LN-tuning achieves SOTA performance. (2) unified framework which tunes MHA and LayerNorm simultaneously can get performance improvement but those which tune FFN and LayerNorm simultaneous will cause performance decrease. Ablation study validates LN-tuning is of no abundant parameters and gives a further understanding of it.

最近的参数效率语言模型调整（PELT）方法可以使微调的性能与较少的可训练参数相匹配，并且在训练数据受到限制时尤其表现良好。但是，不同的PELT方法在相同的任务上的性能可能会有所不同，因此为特定任务选择最合适的方法是不平凡的，尤其是考虑到快速增长的新PELT方法和任务。鉴于模型多样性和模型选择的难度，我们提出了一个统一的框架Unipelt，该框架将不同的毛皮方法纳入了子模型，并学会了激活最适合当前数据或通过门控机制设置的方法。在胶水基准上，与最佳的单个毛皮方法相比，UniPelt始终达到1〜4％的增长，而其融合甚至超过了不同设置下的微调。此外，UniPelt通常超过上限，该上限在每个任务上单独使用的所有子模型的最佳性能，表明多种PELT方法的混合物可能本质上比单个方法更有效。

尽管参数有效调整（PET）方法在自然语言处理（NLP）任务上显示出巨大的潜力，但其有效性仍然对计算机视觉（CV）任务的大规模转向进行了研究。本文提出了Conv-Adapter，这是一种专为CONCNET设计的PET模块。 Conv-Adapter具有轻巧的，可转让的域和架构，不合时宜，并且在不同的任务上具有广义性能。当转移下游任务时，Conv-Adapter将特定于任务的特征调制到主链的中间表示，同时保持预先训练的参数冻结。通过仅引入少量可学习的参数，例如，仅3.5％的RESNET50的完整微调参数，Conv-Adapter优于先前的宠物基线方法，并实现可比性或超过23个分类任务的全面调查的性能。它还在几乎没有分类的情况下表现出卓越的性能，平均利润率为3.39％。除分类外，Conv-Adapter可以推广到检测和细分任务，其参数降低了50％以上，但性能与传统的完整微调相当。

基于BERT的微调模型在内存，计算和时间上是资源密集的。尽管许多先前的工作旨在通过压缩技术（例如修剪）提高推论效率，但这些作品并未明确解决培训对下游任务的计算挑战。我们介绍了学习者模块和启动，新颖的方法，以利用预训练的语言模型的过度参数化，以获得收敛速度和资源利用率的好处。学习者模块通过微调参数的微调来导航1）有效训练的双结合，以及2）通过确保快速收敛和高度度量得分有效训练。我们在Distilbert上的结果表明，学习者在与基础方面的表现或超过基线。学习者训练7倍的参数比胶水上的最新方法少。在可乐方面，学习者快速调整20％，并且资源利用率显着降低。

通过微调调整大型预训练模型（PTM）会施加过刺激的计算和存储负担。对参数有效调整（PET）的最新研究发现，与常规微调相比，仅优化以PTM为条件的一小部分参数才能产生PAR性能。通常，PET方法精确设计参数有效的模块（PET模块）可以应用于PTMS内部的任意细粒位置。但是，这些细粒度位置的有效性很大程度上依赖于复杂的手动指定，因此通常会产生次优的结果。与手动指定相反，我们以自动方式探索构建宠物模块。我们将自动\ textbf {s} earch \ textbf {s} parse \ textbf {s} \ textbf {p} arameter- \ textbf {e} fficbf {e} fficient \ textbf {t textbf {t} uning（s $^3 $ pet） 。基于各种PET方法的统一框架，S $^3 $ PET通过双层优化进行了可区分的PET结构搜索，并提出了移动的全局Sigmoid方法，以明确控制可训练的参数的数量。广泛的实验表明，S $^3 $ PET超过了具有较低训练参数的手册和随机结构。搜索结构可保留99 \％的微调性能，具有0.01 \％可训练的参数。此外，S $^3 $ PET的优势通过极低的训练参数预算（0.0009 \％$ \ sim $ 0.01 \％）进行扩增。搜索结构是可转移和解释的，为PET方法的未来设计提供了建议和指导。

Recent work has explored the potential to adapt a pre-trained vision transformer (ViT) by updating only a few parameters so as to improve storage efficiency, called parameter-efficient transfer learning (PETL). Current PETL methods have shown that by tuning only 0.5% of the parameters, ViT can be adapted to downstream tasks with even better performance than full fine-tuning. In this paper, we aim to further promote the efficiency of PETL to meet the extreme storage constraint in real-world applications. To this end, we propose a tensorization-decomposition framework to store the weight increments, in which the weights of each ViT are tensorized into a single 3D tensor, and their increments are then decomposed into lightweight factors. In the fine-tuning process, only the factors need to be updated and stored, termed Factor-Tuning (FacT). On VTAB-1K benchmark, our method performs on par with NOAH, the state-of-the-art PETL method, while being 5x more parameter-efficient. We also present a tiny version that only uses 8K (0.01% of ViT's parameters) trainable parameters but outperforms full fine-tuning and many other PETL methods such as VPT and BitFit. In few-shot settings, FacT also beats all PETL baselines using the fewest parameters, demonstrating its strong capability in the low-data regime.

In computer vision, it has achieved great transfer learning performance via adapting large-scale pretrained vision models (e.g., vision transformers) to downstream tasks. Common approaches for model adaptation either update all model parameters or leverage linear probes. In this paper, we aim to study parameter-efficient model adaptation strategies for vision transformers on the image classification task. We formulate efficient model adaptation as a subspace training problem and perform a comprehensive benchmarking over different efficient adaptation methods. We conduct an empirical study on each efficient model adaptation method focusing on its performance alongside parameter cost. Furthermore, we propose a parameter-efficient model adaptation framework, which first selects submodules by measuring local intrinsic dimensions and then projects them into subspace for further decomposition via a novel Kronecker Adaptation (KAdaptation) method. We analyze and compare our method with a diverse set of baseline model adaptation methods (including state-of-the-art methods for pretrained language models). Our method performs the best in terms of the tradeoff between accuracy and parameter efficiency across 20 image classification datasets under the few-shot setting and 7 image classification datasets under the full-shot setting.

我们为大规模训练的大规模训练语言模型提供了更简单，更稀疏，更快的算法，这些算法在许多标准的NLP任务上实现了最新的隐私与实用性权衡。我们为此问题提出了一个元框架，这是受高度参数效率方法进行微调成功的启发。我们的实验表明，这些方法的差异化适应能力在三个重要方面优于以前的私人算法：实用程序，隐私以及私人培训的计算和记忆成本。在许多经常研究的数据集中，私人模型的实用性接近了非私人模型的方法。例如，在MNLI数据集上，我们使用Roberta-large的准确度为87.8 \％$，使用Roberta-Base $ 83.5 \％$，其隐私预算为$ \ Epsilon = 6.7 $。相比之下，缺乏隐私限制，罗伯塔·莱格（Roberta-Large）的准确度为$ 90.2 \％$。我们的发现对于自然语言生成任务类似。与DART，GPT-2-SMALL，GPT-2中，GPT-2-MEDIUM，GPT-2-LARGE和GPT-2-XL的私人微调达到38.5、42.0、43.1和43.8（$ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ 43.8） epsilon = 6.8，\ delta = $ 1E-5），而非私人基线为$ 48.1 $。我们所有的实验都表明，较大的模型更适合私人微调：虽然众所周知，它们旨在非优先实现卓越的准确性，但我们发现当引入隐私时，它们也更好地保持其准确性。

Recently, a large number of tuning strategies have been proposed to adapt pre-trained language models to downstream tasks. In this paper, we perform an extensive empirical evaluation of various tuning strategies for multilingual learning, particularly in the context of text summarization. Specifically, we explore the relative advantages of three families of multilingual tuning strategies (a total of five models) and empirically evaluate them for summarization over 45 languages. Experimentally, we not only established a new state-of-the-art on the XL-Sum dataset but also derive a series of observations that hopefully can provide hints for future research on the design of multilingual tuning strategies.

具有数百万参数的基于变压器的预训练模型需要大量存储。最近的方法通过培训适配器解决了这一缺点，但是这些方法仍然需要相对较大的参数。在这项研究中，提出了一种令人惊讶的简单但有效的适配器体系结构的Adapterbias。AdapterBias向变压器层的隐藏输出添加了代币依赖性转移，以适应仅使用向量和线性层的下游任务。进行了广泛的实验，以证明适配性的有效性。实验表明，与先前的作品相比，我们提出的方法可以大大减少可训练的参数，而任务性能与微调的预训练模型相比最小。我们进一步发现，适应性比亚斯自动学习以将更重要的表示形式分配给与任务相关的代币转移。

This work introduces a new multi-task, parameter-efficient language model (LM) tuning method that learns to transfer knowledge across different tasks via a mixture of soft prompts-small prefix embedding vectors pre-trained for different tasks. Our method, called ATTEMPT (ATTEntional Mixtures of Prompt Tuning), obtains source prompts as encodings of large-scale source tasks into a small number of parameters and trains an attention module to interpolate the source prompts and a newly initialized target prompt for every instance in the target task. During training, only the target task prompt and the attention weights, which are shared between tasks in multi-task training, are updated, while the original LM and source prompts are intact. ATTEMPT is highly parameter-efficient (e.g., updates 2,300 times fewer parameters than full fine-tuning) while achieving high task performance using knowledge from high-resource tasks. Moreover, it is modular using pre-trained soft prompts, and can flexibly add or remove source prompts for effective knowledge transfer. Our experimental results across 21 diverse NLP datasets show that ATTEMPT significantly outperforms prompt tuning and outperforms or matches fully fine-tuned or other parameter-efficient tuning approaches that use over ten times more parameters. Finally, ATTEMPT outperforms previous work in few-shot learning settings.

Parameter-efficient methods (like Prompt or Adapters) for adapting pre-trained language models to downstream tasks have been popular recently. However, hindrances still prevent these methods from reaching their full potential. For example, two significant challenges are few-shot adaptation and cross-task generalization ability. To tackle these issues, we propose a general framework to enhance the few-shot adaptation and cross-domain generalization ability of parameter-efficient methods. In our framework, we prime the self-supervised model for parameter-efficient methods to rapidly adapt to various downstream few-shot tasks. To evaluate the authentic generalization ability of these parameter-efficient methods, we conduct experiments on a few-shot cross-domain benchmark containing 160 diverse NLP tasks. The experiment result reveals that priming by tuning PLM only with extra training tasks leads to the best performance. Also, we perform a comprehensive analysis of various parameter-efficient methods under few-shot cross-domain scenarios.

巨大的预训练模型已成为自然语言处理（NLP）的核心，它是针对一系列下游任务进行微调的起点。然而，此范式的两个疼痛点持续：（a）随着预训练的模型的增长越大（例如，GPT-3的175b参数），即使是微调过程也可能是耗时的，并且计算昂贵； （b）默认情况下，微调模型的大小与起点相同，由于其更专业的功能，这既不明智，也不是实际的，因为许多微调模型将部署在资源受限的环境中。为了解决这些疼痛点，我们通过在重量更新和最终模型权重中利用稀疏性来提出一个用于资源和参数有效的微调的框架。我们提出的框架被称为双重稀疏性的有效调整（DSEE），旨在实现两个关键目标：（i）参数有效的微调 - 通过在预训练的权重的顶部强制实施稀疏性的低级更新； （ii）资源有效的推论 - 通过鼓励对最终微调模型的稀疏重量结构。我们通过统一的方法在预训练的语言模型中利用非结构化和结构化的稀疏模式来利用这两个方向的稀疏性。广泛的实验和深入研究，对数十个数据集进行了不同的网络骨干（即Bert，Roberta和GPT-2），始终显示出令人印象深刻的参数 - /推理效率，同时保持竞争性下游性能。例如，DSEE在达到可比性能的同时节省了约25％的推理拖失lo，在BERT上具有0.5％的可训练参数。代码可在https://github.com/vita-group/dsee中找到。

几乎没有射击的内在学习（ICL）使预训练的语言模型能够通过为输入的一部分提供少量的培训示例来执行以前的任务，而无需任何基于梯度的培训。 ICL会产生大量的计算，内存和存储成本，因为它每次进行预测时都涉及处理所有培训示例。参数有效的微调（PEFT）（例如，适配器模块，提示调谐，稀疏更新方法等）提供了替代范式，其中训练了一组少量参数以启用模型来执行新任务。在本文中，我们严格地比较了几个ICL和PEFT，并证明后者提供了更好的准确性，并大大降低了计算成本。在此过程中，我们引入了一种称为（IA）$^3 $的新PEFT方法，该方法通过学习的向量来扩展激活，从而获得更强的性能，同时仅引入相对少量的新参数。我们还提出了一个基于称为T-FEW的T0模型的简单食谱，可以将其应用于新任务，而无需特定于任务的调整或修改。我们通过将T-FEW应用于木筏基准，首次实现超人性能，并以6％的绝对性能优于最先进的方法来验证T-FEW对完全看不见的任务的有效性。我们实验中使用的所有代码均可公开使用。

及时调整是以参数有效的方式对预训练的预训练语言模型的新范式。在这里，我们探讨了超级核武器的使用来产生超预价：我们提出了HyperPrompt，这是一种用于迅速基于变形金刚自我注意的任务调节的新型体系结构。超预要是通过超网络通过一代人来学习的端到端。 HyperPrompt允许网络学习特定于任务的功能地图，其中超预告是要参与的查询的任务全局记忆，同时启用了任务之间的灵活信息共享。我们表明，HyperPrompt与强大的多任务学习基线具有竞争力，其额外的任务条件参数的$ 0.14 \％$ $ \％，实现了出色的参数和计算效率。通过广泛的经验实验，我们证明，超级启示可以比强大的T5多任务学习基准和参数效率高效的适配器变体获得卓越的性能，包括及时调整和SuplyFormer ++在许多模型尺寸的自然语言理解胶水和SuperGrue的基准上。

大型审慎的语言模型（PLM）通常是通过微调或提示来适应域或任务的。填充需要修改所有参数，并具有足够的数据以避免过度拟合，同时提示不需要培训，也不需要示例，而是限制性能。取而代之的是，我们通过学习学习一般和适应性PLM之间的差异来为数据和参数有效适应。通过我们提出的动态低级别重新聚体和学识渊博的体系结构控制器，通过模型权重和子层结构来表示这种差异。实验对话完成，低资源抽象摘要以及多域语言建模的实验显示了通过域自适应预处理进行适应时间和性能的改善。消融表明我们的任务自适应重新聚体化（TARP）和模型搜索（TAMS）组件分别改进了其他参数效率转移（如适配器和结构学习方法），例如学习的稀疏。

最近在各种领域中采用了关于下游任务的大型预训练模型。但是，更新大型预训练模型的整个参数集是昂贵的。尽管最近提出的参数效率转移学习（PETL）技术允许在预先训练的骨干网络内更新一小部分参数（例如，仅使用2％的参数）用于新任务，但它们只能通过最多减少训练记忆要求30％。这是因为可训练参数的梯度计算仍然需要通过大型预训练的骨干模型反向传播。为了解决这个问题，我们提出了梯子侧调（LST），这是一种新的PETL技术，可将训练记忆要求减少更多。与现有的参数效率方法不同，将其他参数插入骨干网络中，我们训练梯子侧网络，梯子侧网络是一个小而独立的网络，将中间激活作为通过快速连接（梯子）从骨干网络中获得的输入作为输入，并进行预测。 LST的内存要求明显低于以前的方法，因为它不需要通过骨干网络反向传播，而是仅通过侧网和梯子连接。我们使用NLP（胶）和视觉语言（VQA，GQA，NLVR2，MSCOCO）任务上的各种模型（T5，CLIP-T5）进行评估。 LST节省了69％的内存成本来微调整个网络，而其他方法仅将其中的26％保存在相似的参数使用中（因此，更多的内存节省了2.7倍）。此外，LST在低内存状态下的适配器和洛拉的精度高。为了进一步显示这种更好的记忆效率的优势，我们还将LST应用于较大的T5型号（T5-Large，T5-3B），比完整的微调和其他PETL方法获得更好的胶水性能。我们对VL任务的实验也完全相同。