持续学习(CL)逐步学习一系列任务,其目标是实现两个主要目标:克服灾难性的遗忘(CF)并鼓励跨任务的知识转移(KT)。然而,大多数现有技术只关注克服CF并且没有鼓励KT的机制,因此在KT中不好做得很好。虽然有几篇论文试图处理CF和KT,但我们的实验表明,当任务没有太多的共享知识时,他们患有严重的CF。另一个观察是,大多数电流CL方法不使用预先训练的型号,但已经表明这种模型可以显着提高结束任务性能。例如,在自然语言处理中,微调伯特的预训练语言模型是最有效的方法之一。然而,对于CL,这种方法遭受严重的CF.一个有趣的问题是如何充分利用预先训练的电流模型。本文提出了一种名为CTR的新型模型来解决这些问题。我们的实验结果表明了CTR的有效性
translated by 谷歌翻译
本文研究了一系列方面情绪分类(ASC)任务的持续学习(CL)。虽然已经提出了一些CL技术进行了文档情绪分类,但我们不知道任何CL在ASC上工作。逐步学习一系列ASC任务的CL系统应该解决以下两个问题:(1)将从以前任务的传输知识从以前的任务中学到的新任务,以帮助它学习更好的模型,并且(2)保持模型的性能以前的任务让他们没有忘记。本文提出了一种新颖的基于胶囊网络的模型,称为B-CL以解决这些问题。B-CL通过前向和后向知识传输显着提高了新任务和旧任务的ASC性能。通过广泛的实验证明了B-CL的有效性。
translated by 谷歌翻译
本文研究了一个特定CL设置中的一系列方面情绪分类(ASC)任务的持续学习(CL),称为域增量学习(DIL)。每个任务都来自不同的域或产品。DIL设置特别适合ASC,因为在测试中,系统不需要知道测试数据所属的任务/域。据我们所知,此环境尚未在ASC之前进行过研究。本文提出了一种名为CLASSIC的新型模型。关键新颖性是一种对比的持续学习方法,可以通过从旧任务到新任务的任务和知识蒸馏的知识转移,这消除了对测试中的任务ID的需求。实验结果表明了经典的高效性。
translated by 谷歌翻译
本文研究了情绪分类(SC)的持续学习(CL)。在此设置中,CL系统在神经网络中逐步了解一系列SC任务,其中每个任务构建分类器以对特定产品类别或域的评论的情绪进行分类。两个自然问题是:系统可以将过去的知识从以前的任务转移到新任务中,帮助它为新任务学习更好的模型吗?而且,先前任务的旧模型也在过程中得到改善?本文提出了一种称为KAN的新技术来实现这些目标。KAN可以通过前向和向后知识转移来显着提高新任务和旧任务的SC准确性。通过广泛的实验证明了KAN的有效性。
translated by 谷歌翻译
现有研究持续学习一系列任务,专注于处理灾难性遗忘,其中任务被认为是不同的,并且具有很少的共享知识。在任务相似并分享知识时,还有一些工作已经完成了将以前学到的新任务转移到新任务。据我们所知,没有提出任何技术来学习一系列混合类似和不同的任务,这些任务可以处理遗忘,并转发知识向前和向后转移。本文提出了这样的技术,用于在同一网络中学习两种类型的任务。对于不同的任务,该算法侧重于处理遗忘,并且对于类似的任务,该算法侧重于选择性地传送从一些类似先前任务中学到的知识来改善新的任务学习。此外,该算法自动检测新任务是否类似于任何先前的任务。使用混合任务序列进行实证评估,证明了所提出的模型的有效性。
translated by 谷歌翻译
本文研究持续学习(CL)的逐步学习(CIL)。已经提出了许多方法来处理CIL中的灾难性遗忘(CF)。大多数方法都会为单个头网络中所有任务的所有类别构建单个分类器。为了防止CF,一种流行的方法是记住以前任务中的少数样本,并在培训新任务时重播它们。但是,这种方法仍然患有严重的CF,因为在内存中仅使用有限的保存样本数量来更新或调整了先前任务的参数。本文提出了一种完全不同的方法,该方法使用变压器网络为每个任务(称为多头模型)构建一个单独的分类器(头部),称为更多。与其在内存中使用保存的样本在现有方法中更新以前的任务/类的网络,不如利用保存的样本来构建特定任务分类器(添加新的分类头),而无需更新用于先前任务/类的网络。新任务的模型经过培训,可以学习任务的类别,并且还可以检测到不是从相同数据分布(即,均分布(OOD))的样本。这使测试实例属于的任务的分类器能够为正确的类产生高分,而其他任务的分类器可以产生低分,因为测试实例不是来自这些分类器的数据分布。实验结果表明,更多的表现优于最先进的基线,并且自然能够在持续学习环境中进行OOD检测。
translated by 谷歌翻译
Fine-tuning large pre-trained models is an effective transfer mechanism in NLP. However, in the presence of many downstream tasks, fine-tuning is parameter inefficient: an entire new model is required for every task. As an alternative, we propose transfer with adapter modules. Adapter modules yield a compact and extensible model; they add only a few trainable parameters per task, and new tasks can be added without revisiting previous ones. The parameters of the original network remain fixed, yielding a high degree of parameter sharing. To demonstrate adapter's effectiveness, we transfer the recently proposed BERT Transformer model to 26 diverse text classification tasks, including the GLUE benchmark. Adapters attain near state-of-the-art performance, whilst adding only a few parameters per task. On GLUE, we attain within 0.4% of the performance of full fine-tuning, adding only 3.6% parameters per task. By contrast, fine-tuning trains 100% of the parameters per task.
translated by 谷歌翻译
随着时间的流逝,不断扩大知识并利用其快速推广到新任务的能力是人类语言智能的关键特征。然而,现有对新任务进行快速概括的模型(例如,很少的学习方法)主要是在固定数据集中的单个镜头中训练,无法动态扩展其知识;虽然不断学习算法并非专门设计用于快速概括。我们提出了一种新的学习设置,对几杆学习者(CLIF)的持续学习,以应对统一设置的两个学习设置的挑战。 CLIF假设模型从依次到达的一系列不同的NLP任务中学习,从而积累了知识,以改善对新任务的概括,同时还保留了较早所学的任务的性能。我们研究了在持续学习设置中如何影响概括能力,评估许多持续学习算法,并提出一种新型的正则适配器生成方法。我们发现,灾难性的遗忘影响着概括能力的程度远低于所见任务的表现。虽然持续学习算法仍然可以为概括能力带来可观的好处。
translated by 谷歌翻译
在许多实际情况下,随着时间的推移,用于训练机器学习模型的数据将获得。但是,神经网络模型努力不断学习新概念,而不会忘记过去学到了什么。这种现象被称为灾难性的遗忘,由于实际的约束,通常很难预防,例如可以存储的数据量或可以使用的有限计算源。此外,从头开始培训大型神经网络,例如变形金刚,非常昂贵,需要大量的培训数据,这可能在感兴趣的应用程序领域中不可用。最近的趋势表明,基于参数扩展的动态体系结构可以在持续学习中有效地减少灾难性遗忘,但是这种需要复杂的调整以平衡不断增长的参数,并且几乎无法在任务中共享任何信息。结果,他们难以扩展到没有大量开销的大量任务。在本文中,我们在计算机视觉域中验证了一种最新的解决方案,称为适配器的自适应蒸馏(ADA),该解决方案是为了使用预先训练的变压器和适配器在文本分类任务上进行连续学习。我们在不同的分类任务上进行了经验证明,此方法在不进行模型或增加模型参数数量的情况下保持良好的预测性能。此外,与最先进的方法相比,推理时间的速度明显更快。
translated by 谷歌翻译
在单独或多任务设置中评估了当前最新的视觉和语言模型,从而忽略了持续学习(CL)任务到达时的挑战。现有的CLENG分类促进了有关调整任务和减轻“灾难性遗忘”的研究,但仅限于仅视觉和仅语言的任务。我们提出了攀登,这是研究CL设置中学习多模式任务的挑战的基准,并系统地评估上游持续学习如何迅速概括为新的多模式和单峰任务。攀登包括几种CL算法的实现以及可以在多模式和单峰任务上部署的修改视觉语言变压器(VILT)模型。我们发现,常见的CL方法可以帮助减轻多模式任务学习期间的遗忘,但不要实现交叉任务知识转移。我们设想,攀登将有助于针对这种具有挑战性的多模式环境的新的CL算法进行研究。
translated by 谷歌翻译
对比性语言图像预训练(剪辑)模型是最近提出的大规模训练模型,它吸引了计算机视觉社区越来越多的关注。从其巨大的图像文本训练集中受益,剪辑模型在零拍学习和图像文本匹配方面学习了出色的功能。为了提高剪辑在某些目标视觉概念上的识别性能,通常希望通过在额外的培训数据上微调一些利益来进一步更新剪辑模型。但是,此操作引起了一个重要的关注:更新会损害零镜头学习或剪辑的图像文本匹配能力,即灾难性的遗忘问题吗?如果是,是否可以适应现有的持续学习算法来减轻灾难性遗忘的风险?为了回答这些问题,这项工作对剪辑模型的持续学习问题进行了系统性研究。我们构建评估协议,以衡量微调更新的影响,并探索不同的方法来升级现有的持续学习方法,以减轻剪辑模型的遗忘问题。我们的研究揭示了剪辑持续学习问题的特殊挑战,并为进一步的研究奠定了基础。此外,我们提出了一种新算法,被称为学习,而无需通过重播词汇(VR-LWF)忘记,该算法显示出减轻剪辑模型遗忘问题的确切有效性。
translated by 谷歌翻译
Continual learning (CL) learns a sequence of tasks incrementally. There are two popular CL settings, class incremental learning (CIL) and task incremental learning (TIL). A major challenge of CL is catastrophic forgetting (CF). While a number of techniques are already available to effectively overcome CF for TIL, CIL remains to be highly challenging. So far, little theoretical study has been done to provide a principled guidance on how to solve the CIL problem. This paper performs such a study. It first shows that probabilistically, the CIL problem can be decomposed into two sub-problems: Within-task Prediction (WP) and Task-id Prediction (TP). It further proves that TP is correlated with out-of-distribution (OOD) detection, which connects CIL and OOD detection. The key conclusion of this study is that regardless of whether WP and TP or OOD detection are defined explicitly or implicitly by a CIL algorithm, good WP and good TP or OOD detection are necessary and sufficient for good CIL performances. Additionally, TIL is simply WP. Based on the theoretical result, new CIL methods are also designed, which outperform strong baselines in both CIL and TIL settings by a large margin.
translated by 谷歌翻译
由于开放的社交平台允许大量未经验证的信息流动,因此谣言可以出乎意料地出现并迅速传播。但是,现有的谣言检测(RD)模型通常会采用相同的培训和测试分布,并且无法应对不断变化的社交网络环境。本文提出了一个持续的及时调整RD(CPT-RD)框架,该框架避免了在顺序任务学习过程中上游任务的灾难性遗忘(CF),并使域任务之间的双向知识转移。具体而言,我们提出以下策略:(a)我们的设计明确地将共享和特定于领域的知识分解,从而减少了优化过程中不同领域的干扰; (b)几种技术旨在转移上游任务的知识以应对紧急情况; (c)任务条件的及时性超网(TPHNET)用于合并过去的域。此外,CPT-RD避免了CF,而无需进行排练缓冲区。
translated by 谷歌翻译
持续学习背后的主流范例一直在使模型参数调整到非静止数据分布,灾难性遗忘是中央挑战。典型方法在测试时间依赖排练缓冲区或已知的任务标识,以检索学到的知识和地址遗忘,而这项工作呈现了一个新的范例,用于持续学习,旨在训练更加简洁的内存系统而不在测试时间访问任务标识。我们的方法学会动态提示(L2P)预先训练的模型,以在不同的任务转换下顺序地学习任务。在我们提出的框架中,提示是小型可学习参数,这些参数在内存空间中保持。目标是优化提示,以指示模型预测并明确地管理任务不变和任务特定知识,同时保持模型可塑性。我们在流行的图像分类基准下进行全面的实验,具有不同挑战的持续学习环境,其中L2P始终如一地优于现有最先进的方法。令人惊讶的是,即使没有排练缓冲区,L2P即使没有排练缓冲,L2P也能实现竞争力的结果,并直接适用于具有挑战性的任务不可行的持续学习。源代码在https://github.com/google-Research/l2p中获得。
translated by 谷歌翻译
当在具有不同分布的数据集上不断学习时,神经网络往往会忘记以前学习的知识,这一现象被称为灾难性遗忘。数据集之间的分配更改会导致更多的遗忘。最近,基于参数 - 隔离的方法在克服遗忘时具有巨大的潜力。但是,当他们在培训过程中修复每个数据集的神经路径时,他们的概括不佳,并且在推断过程中需要数据集标签。此外,他们不支持向后的知识转移,因为它们优先于过去的数据。在本文中,我们提出了一种名为ADAPTCL的新的自适应学习方法,该方法完全重复使用并在学习的参数上生长,以克服灾难性的遗忘,并允许在不需要数据集标签的情况下进行积极的向后传输。我们提出的技术通过允许最佳的冷冻参数重复使用在相同的神经路径上生长。此外,它使用参数级数据驱动的修剪来为数据分配同等优先级。我们对MNIST变体,域和食物新鲜度检测数据集进行了广泛的实验,而无需数据集标签。结果表明,我们所提出的方法优于替代基线,可以最大程度地减少遗忘和实现积极的向后知识转移。
translated by 谷歌翻译
模块化是持续学习(CL)的令人信服的解决方案,是相关任务建模的问题。学习和组合模块来解决不同的任务提供了一种抽象来解决CL的主要挑战,包括灾难性的遗忘,向后和向前传输跨任务以及子线性模型的增长。我们引入本地模块组成(LMC),该方法是模块化CL的方法,其中每个模块都提供了局部结构组件,其估计模块与输入的相关性。基于本地相关评分进行动态模块组合。我们展示了对任务身份(IDS)的不可知性来自(本地)结构学习,该结构学习是特定于模块和/或模型特定于以前的作品,使LMC适用于与以前的作品相比的更多CL设置。此外,LMC还跟踪输入分布的统计信息,并在检测到异常样本时添加新模块。在第一组实验中,LMC与最近的持续转移学习基准上的现有方法相比,不需要任务标识。在另一个研究中,我们表明结构学习的局部性允许LMC插入相关但未遵守的任务(OOD),以及在不同任务序列上独立于不同的任务序列培训的模块化网络,而无需任何微调。最后,在寻找LMC的限制,我们在30和100个任务的更具挑战性序列上研究它,展示了本地模块选择在存在大量候选模块时变得更具挑战性。在此设置中,与Oracle基准的基线相比,最佳执行LMC产生的模块更少,但它达到了较低的总体精度。 CodeBase可在https://github.com/oleksost/lmc下找到。
translated by 谷歌翻译
持续学习旨在使单个模型能够学习一系列任务,而不会造成灾难性的遗忘。表现最好的方法通常需要排练缓冲区来存储过去的原始示例以进行经验重播,但是,由于隐私和内存约束,这会限制其实际价值。在这项工作中,我们提出了一个简单而有效的框架,即DualPrompt,该框架学习了一组称为提示的参数,以正确指示预先训练的模型,以依次学习到达的任务,而不会缓冲过去的示例。 DualPrompt提出了一种新颖的方法,可以将互补提示附加到预训练的主链上,然后将目标提出为学习任务不变和特定于任务的“指令”。通过广泛的实验验证,双启示始终在具有挑战性的课堂开发环境下始终设置最先进的表现。尤其是,双启示的表现优于最近的高级持续学习方法,其缓冲尺寸相对较大。我们还引入了一个更具挑战性的基准Split Imagenet-R,以帮助概括无连续的持续学习研究。源代码可在https://github.com/google-research/l2p上找到。
translated by 谷歌翻译
经过审计的语言模型(PTLMS)通常是通过大型静态语料库学习的,并针对各种下游任务进行了微调。但是,当部署在现实世界中时,基于PTLM的模型必须处理偏离PTLM最初培训的数据分布。在本文中,我们研究了一个终身语言模型预处理挑战,其中不断更新PTLM以适应新兴数据。在域内收入的研究纸流和按时间顺序排序的推文流上,我们从具有不同持续学习算法的PTLM逐渐预处理PTLM,并跟踪下游任务性能(经过微调之后)。我们评估了PTLM在保留早期语料库中学习知识的同时适应新语料库的能力。我们的实验表明,基于蒸馏的方法最有效地在早期域中保持下游性能。该算法还可以改善知识传递,从而使模型能够比最新数据实现更好的下游性能,并在由于时间而在培训和评估之间存在分配差距时改善时间概括。我们认为,我们的问题制定,方法和分析将激发未来的研究朝着语言模型的持续预处理。
translated by 谷歌翻译
人类在整个生命周期中不断学习,通过积累多样化的知识并为未来的任务进行微调。当出现类似目标时,神经网络会遭受灾难性忘记,在学习过程中跨顺序任务跨好任务的数据分布是否不固定。解决此类持续学习(CL)问题的有效方法是使用超网络为目标网络生成任务依赖权重。但是,现有基于超网的方法的持续学习性能受到整个层之间权重的独立性的假设,以维持参数效率。为了解决这一限制,我们提出了一种新颖的方法,该方法使用依赖关系保留超网络来为目标网络生成权重,同时还保持参数效率。我们建议使用基于复发的神经网络(RNN)的超网络,该网络可以有效地生成层权重,同时允许在它们的依赖关系中。此外,我们为基于RNN的超网络提出了新颖的正则化和网络增长技术,以进一步提高持续的学习绩效。为了证明所提出的方法的有效性,我们对几个图像分类持续学习任务和设置进行了实验。我们发现,基于RNN HyperNetworks的建议方法在所有这些CL设置和任务中都优于基准。
translated by 谷歌翻译
Modern machine learning pipelines are limited due to data availability, storage quotas, privacy regulations, and expensive annotation processes. These constraints make it difficult or impossible to maintain a large-scale model trained on growing annotation sets. Continual learning directly approaches this problem, with the ultimate goal of devising methods where a neural network effectively learns relevant patterns for new (unseen) classes without significantly altering its performance on previously learned ones. In this paper, we address the problem of continual learning for video data. We introduce PIVOT, a novel method that leverages the extensive knowledge in pre-trained models from the image domain, thereby reducing the number of trainable parameters and the associated forgetting. Unlike previous methods, ours is the first approach that effectively uses prompting mechanisms for continual learning without any in-domain pre-training. Our experiments show that PIVOT improves state-of-the-art methods by a significant 27% on the 20-task ActivityNet setup.
translated by 谷歌翻译