本文研究了一个特定CL设置中的一系列方面情绪分类(ASC)任务的持续学习(CL),称为域增量学习(DIL)。每个任务都来自不同的域或产品。DIL设置特别适合ASC,因为在测试中,系统不需要知道测试数据所属的任务/域。据我们所知,此环境尚未在ASC之前进行过研究。本文提出了一种名为CLASSIC的新型模型。关键新颖性是一种对比的持续学习方法,可以通过从旧任务到新任务的任务和知识蒸馏的知识转移,这消除了对测试中的任务ID的需求。实验结果表明了经典的高效性。
translated by 谷歌翻译
本文研究了一系列方面情绪分类(ASC)任务的持续学习(CL)。虽然已经提出了一些CL技术进行了文档情绪分类,但我们不知道任何CL在ASC上工作。逐步学习一系列ASC任务的CL系统应该解决以下两个问题:(1)将从以前任务的传输知识从以前的任务中学到的新任务,以帮助它学习更好的模型,并且(2)保持模型的性能以前的任务让他们没有忘记。本文提出了一种新颖的基于胶囊网络的模型,称为B-CL以解决这些问题。B-CL通过前向和后向知识传输显着提高了新任务和旧任务的ASC性能。通过广泛的实验证明了B-CL的有效性。
translated by 谷歌翻译
持续学习(CL)逐步学习一系列任务,其目标是实现两个主要目标:克服灾难性的遗忘(CF)并鼓励跨任务的知识转移(KT)。然而,大多数现有技术只关注克服CF并且没有鼓励KT的机制,因此在KT中不好做得很好。虽然有几篇论文试图处理CF和KT,但我们的实验表明,当任务没有太多的共享知识时,他们患有严重的CF。另一个观察是,大多数电流CL方法不使用预先训练的型号,但已经表明这种模型可以显着提高结束任务性能。例如,在自然语言处理中,微调伯特的预训练语言模型是最有效的方法之一。然而,对于CL,这种方法遭受严重的CF.一个有趣的问题是如何充分利用预先训练的电流模型。本文提出了一种名为CTR的新型模型来解决这些问题。我们的实验结果表明了CTR的有效性
translated by 谷歌翻译
本文研究了情绪分类(SC)的持续学习(CL)。在此设置中,CL系统在神经网络中逐步了解一系列SC任务,其中每个任务构建分类器以对特定产品类别或域的评论的情绪进行分类。两个自然问题是:系统可以将过去的知识从以前的任务转移到新任务中,帮助它为新任务学习更好的模型吗?而且,先前任务的旧模型也在过程中得到改善?本文提出了一种称为KAN的新技术来实现这些目标。KAN可以通过前向和向后知识转移来显着提高新任务和旧任务的SC准确性。通过广泛的实验证明了KAN的有效性。
translated by 谷歌翻译
现有研究持续学习一系列任务,专注于处理灾难性遗忘,其中任务被认为是不同的,并且具有很少的共享知识。在任务相似并分享知识时,还有一些工作已经完成了将以前学到的新任务转移到新任务。据我们所知,没有提出任何技术来学习一系列混合类似和不同的任务,这些任务可以处理遗忘,并转发知识向前和向后转移。本文提出了这样的技术,用于在同一网络中学习两种类型的任务。对于不同的任务,该算法侧重于处理遗忘,并且对于类似的任务,该算法侧重于选择性地传送从一些类似先前任务中学到的知识来改善新的任务学习。此外,该算法自动检测新任务是否类似于任何先前的任务。使用混合任务序列进行实证评估,证明了所提出的模型的有效性。
translated by 谷歌翻译
本文研究持续学习(CL)的逐步学习(CIL)。已经提出了许多方法来处理CIL中的灾难性遗忘(CF)。大多数方法都会为单个头网络中所有任务的所有类别构建单个分类器。为了防止CF,一种流行的方法是记住以前任务中的少数样本,并在培训新任务时重播它们。但是,这种方法仍然患有严重的CF,因为在内存中仅使用有限的保存样本数量来更新或调整了先前任务的参数。本文提出了一种完全不同的方法,该方法使用变压器网络为每个任务(称为多头模型)构建一个单独的分类器(头部),称为更多。与其在内存中使用保存的样本在现有方法中更新以前的任务/类的网络,不如利用保存的样本来构建特定任务分类器(添加新的分类头),而无需更新用于先前任务/类的网络。新任务的模型经过培训,可以学习任务的类别,并且还可以检测到不是从相同数据分布(即,均分布(OOD))的样本。这使测试实例属于的任务的分类器能够为正确的类产生高分,而其他任务的分类器可以产生低分,因为测试实例不是来自这些分类器的数据分布。实验结果表明,更多的表现优于最先进的基线,并且自然能够在持续学习环境中进行OOD检测。
translated by 谷歌翻译
Continual learning (CL) learns a sequence of tasks incrementally. There are two popular CL settings, class incremental learning (CIL) and task incremental learning (TIL). A major challenge of CL is catastrophic forgetting (CF). While a number of techniques are already available to effectively overcome CF for TIL, CIL remains to be highly challenging. So far, little theoretical study has been done to provide a principled guidance on how to solve the CIL problem. This paper performs such a study. It first shows that probabilistically, the CIL problem can be decomposed into two sub-problems: Within-task Prediction (WP) and Task-id Prediction (TP). It further proves that TP is correlated with out-of-distribution (OOD) detection, which connects CIL and OOD detection. The key conclusion of this study is that regardless of whether WP and TP or OOD detection are defined explicitly or implicitly by a CIL algorithm, good WP and good TP or OOD detection are necessary and sufficient for good CIL performances. Additionally, TIL is simply WP. Based on the theoretical result, new CIL methods are also designed, which outperform strong baselines in both CIL and TIL settings by a large margin.
translated by 谷歌翻译
在许多实际情况下,随着时间的推移,用于训练机器学习模型的数据将获得。但是,神经网络模型努力不断学习新概念,而不会忘记过去学到了什么。这种现象被称为灾难性的遗忘,由于实际的约束,通常很难预防,例如可以存储的数据量或可以使用的有限计算源。此外,从头开始培训大型神经网络,例如变形金刚,非常昂贵,需要大量的培训数据,这可能在感兴趣的应用程序领域中不可用。最近的趋势表明,基于参数扩展的动态体系结构可以在持续学习中有效地减少灾难性遗忘,但是这种需要复杂的调整以平衡不断增长的参数,并且几乎无法在任务中共享任何信息。结果,他们难以扩展到没有大量开销的大量任务。在本文中,我们在计算机视觉域中验证了一种最新的解决方案,称为适配器的自适应蒸馏(ADA),该解决方案是为了使用预先训练的变压器和适配器在文本分类任务上进行连续学习。我们在不同的分类任务上进行了经验证明,此方法在不进行模型或增加模型参数数量的情况下保持良好的预测性能。此外,与最先进的方法相比,推理时间的速度明显更快。
translated by 谷歌翻译
经过审计的语言模型(PTLMS)通常是通过大型静态语料库学习的,并针对各种下游任务进行了微调。但是,当部署在现实世界中时,基于PTLM的模型必须处理偏离PTLM最初培训的数据分布。在本文中,我们研究了一个终身语言模型预处理挑战,其中不断更新PTLM以适应新兴数据。在域内收入的研究纸流和按时间顺序排序的推文流上,我们从具有不同持续学习算法的PTLM逐渐预处理PTLM,并跟踪下游任务性能(经过微调之后)。我们评估了PTLM在保留早期语料库中学习知识的同时适应新语料库的能力。我们的实验表明,基于蒸馏的方法最有效地在早期域中保持下游性能。该算法还可以改善知识传递,从而使模型能够比最新数据实现更好的下游性能,并在由于时间而在培训和评估之间存在分配差距时改善时间概括。我们认为,我们的问题制定,方法和分析将激发未来的研究朝着语言模型的持续预处理。
translated by 谷歌翻译
随着时间的流逝,不断扩大知识并利用其快速推广到新任务的能力是人类语言智能的关键特征。然而,现有对新任务进行快速概括的模型(例如,很少的学习方法)主要是在固定数据集中的单个镜头中训练,无法动态扩展其知识;虽然不断学习算法并非专门设计用于快速概括。我们提出了一种新的学习设置,对几杆学习者(CLIF)的持续学习,以应对统一设置的两个学习设置的挑战。 CLIF假设模型从依次到达的一系列不同的NLP任务中学习,从而积累了知识,以改善对新任务的概括,同时还保留了较早所学的任务的性能。我们研究了在持续学习设置中如何影响概括能力,评估许多持续学习算法,并提出一种新型的正则适配器生成方法。我们发现,灾难性的遗忘影响着概括能力的程度远低于所见任务的表现。虽然持续学习算法仍然可以为概括能力带来可观的好处。
translated by 谷歌翻译
由于其非参数化干扰和灾难性遗忘的非参数化能力,核心连续学习\ Cite {derakhshani2021kernel}最近被成为一个强大的持续学习者。不幸的是,它的成功是以牺牲一个明确的内存为代价来存储来自过去任务的样本,这妨碍了具有大量任务的连续学习设置的可扩展性。在本文中,我们介绍了生成的内核持续学习,探讨了生成模型与内核之间的协同作用以进行持续学习。生成模型能够生产用于内核学习的代表性样本,其消除了在内核持续学习中对内存的依赖性。此外,由于我们仅在生成模型上重播,我们避免了与在整个模型上需要重播的先前的方法相比,在计算上更有效的情况下避免任务干扰。我们进一步引入了监督的对比正规化,使我们的模型能够为更好的基于内核的分类性能产生更具辨别性样本。我们对三种广泛使用的连续学习基准进行了广泛的实验,展示了我们贡献的能力和益处。最值得注意的是,在具有挑战性的SplitCifar100基准测试中,只需一个简单的线性内核,我们获得了与内核连续学习的相同的准确性,对于内存的十分之一,或者对于相同的内存预算的10.1%的精度增益。
translated by 谷歌翻译
Fine-tuning large pre-trained models is an effective transfer mechanism in NLP. However, in the presence of many downstream tasks, fine-tuning is parameter inefficient: an entire new model is required for every task. As an alternative, we propose transfer with adapter modules. Adapter modules yield a compact and extensible model; they add only a few trainable parameters per task, and new tasks can be added without revisiting previous ones. The parameters of the original network remain fixed, yielding a high degree of parameter sharing. To demonstrate adapter's effectiveness, we transfer the recently proposed BERT Transformer model to 26 diverse text classification tasks, including the GLUE benchmark. Adapters attain near state-of-the-art performance, whilst adding only a few parameters per task. On GLUE, we attain within 0.4% of the performance of full fine-tuning, adding only 3.6% parameters per task. By contrast, fine-tuning trains 100% of the parameters per task.
translated by 谷歌翻译
对比性语言图像预训练(剪辑)模型是最近提出的大规模训练模型,它吸引了计算机视觉社区越来越多的关注。从其巨大的图像文本训练集中受益,剪辑模型在零拍学习和图像文本匹配方面学习了出色的功能。为了提高剪辑在某些目标视觉概念上的识别性能,通常希望通过在额外的培训数据上微调一些利益来进一步更新剪辑模型。但是,此操作引起了一个重要的关注:更新会损害零镜头学习或剪辑的图像文本匹配能力,即灾难性的遗忘问题吗?如果是,是否可以适应现有的持续学习算法来减轻灾难性遗忘的风险?为了回答这些问题,这项工作对剪辑模型的持续学习问题进行了系统性研究。我们构建评估协议,以衡量微调更新的影响,并探索不同的方法来升级现有的持续学习方法,以减轻剪辑模型的遗忘问题。我们的研究揭示了剪辑持续学习问题的特殊挑战,并为进一步的研究奠定了基础。此外,我们提出了一种新算法,被称为学习,而无需通过重播词汇(VR-LWF)忘记,该算法显示出减轻剪辑模型遗忘问题的确切有效性。
translated by 谷歌翻译
当自我监督的模型已经显示出比在规模上未标记的数据训练的情况下的监督对方的可比视觉表现。然而,它们的功效在持续的学习(CL)场景中灾难性地减少,其中数据被顺序地向模型呈现给模型。在本文中,我们表明,通过添加将表示的当前状态映射到其过去状态,可以通过添加预测的网络来无缝地转换为CL的蒸馏机制。这使我们能够制定一个持续自我监督的视觉表示的框架,学习(i)显着提高了学习象征的质量,(ii)与若干最先进的自我监督目标兼容(III)几乎没有近似参数调整。我们通过在各种CL设置中培训六种受欢迎的自我监督模型来证明我们的方法的有效性。
translated by 谷歌翻译
基于方面的情绪分析旨在确定产品评论中特定方面的情感极性。我们注意到,大约30%的评论不包含明显的观点词,但仍然可以传达清晰的人类感知情绪取向,称为隐含情绪。然而,最近的基于神经网络的方法几乎没有关注隐性情绪,这一审查有所关注。为了克服这个问题,我们通过域名语言资源检索的大规模情绪注释的Corpora采用监督对比培训。通过将隐式情感表达式的表示对准与具有相同情绪标签的人,预培训过程可以更好地捕获隐含和明确的情绪方向,以便在评论中的方面。实验结果表明,我们的方法在Semeval2014基准上实现了最先进的性能,综合分析验证了其对学习隐含情绪的有效性。
translated by 谷歌翻译
在单独或多任务设置中评估了当前最新的视觉和语言模型,从而忽略了持续学习(CL)任务到达时的挑战。现有的CLENG分类促进了有关调整任务和减轻“灾难性遗忘”的研究,但仅限于仅视觉和仅语言的任务。我们提出了攀登,这是研究CL设置中学习多模式任务的挑战的基准,并系统地评估上游持续学习如何迅速概括为新的多模式和单峰任务。攀登包括几种CL算法的实现以及可以在多模式和单峰任务上部署的修改视觉语言变压器(VILT)模型。我们发现,常见的CL方法可以帮助减轻多模式任务学习期间的遗忘,但不要实现交叉任务知识转移。我们设想,攀登将有助于针对这种具有挑战性的多模式环境的新的CL算法进行研究。
translated by 谷歌翻译
识别和理解文本中的潜在情绪或情绪是多种自然语言处理应用程序的关键组成部分。虽然简单的极性情感分析是一个良好研究的主题,但在识别使用文本数据的更复杂,更精细的情绪方面取得了更少的进步。在本文中,我们介绍了一种基于变压器的模型,具有适配器层的融合,它利用更简单的情绪分析任务来改善大规模数据集(例如CMU-MOSEI)上的情绪检测任务,仅使用文本方式。结果表明,我们的建议方法与其他方法具有竞争力。即使使用仅使用文本方式,我们也能为CMU-MOSEI的情感识别获得最先进的结果。
translated by 谷歌翻译
由于开放的社交平台允许大量未经验证的信息流动,因此谣言可以出乎意料地出现并迅速传播。但是,现有的谣言检测(RD)模型通常会采用相同的培训和测试分布,并且无法应对不断变化的社交网络环境。本文提出了一个持续的及时调整RD(CPT-RD)框架,该框架避免了在顺序任务学习过程中上游任务的灾难性遗忘(CF),并使域任务之间的双向知识转移。具体而言,我们提出以下策略:(a)我们的设计明确地将共享和特定于领域的知识分解,从而减少了优化过程中不同领域的干扰; (b)几种技术旨在转移上游任务的知识以应对紧急情况; (c)任务条件的及时性超网(TPHNET)用于合并过去的域。此外,CPT-RD避免了CF,而无需进行排练缓冲区。
translated by 谷歌翻译
Despite significant advances, the performance of state-of-the-art continual learning approaches hinges on the unrealistic scenario of fully labeled data. In this paper, we tackle this challenge and propose an approach for continual semi-supervised learning -- a setting where not all the data samples are labeled. An underlying issue in this scenario is the model forgetting representations of unlabeled data and overfitting the labeled ones. We leverage the power of nearest-neighbor classifiers to non-linearly partition the feature space and learn a strong representation for the current task, as well as distill relevant information from previous tasks. We perform a thorough experimental evaluation and show that our method outperforms all the existing approaches by large margins, setting a strong state of the art on the continual semi-supervised learning paradigm. For example, on CIFAR100 we surpass several others even when using at least 30 times less supervision (0.8% vs. 25% of annotations).
translated by 谷歌翻译
对于人工学习系统,随着时间的流逝,从数据流进行持续学习至关重要。对监督持续学习的新兴研究取得了长足的进步,而无监督学习中灾难性遗忘的研究仍然是空白的。在无监督的学习方法中,自居民学习方法在视觉表示上显示出巨大的潜力,而无需大规模标记的数据。为了改善自我监督学习的视觉表示,需要更大和更多的数据。在现实世界中,始终生成未标记的数据。这种情况为学习自我监督方法提供了巨大的优势。但是,在当前的范式中,将先前的数据和当前数据包装在一起并再次培训是浪费时间和资源。因此,迫切需要一种持续的自我监督学习方法。在本文中,我们首次尝试通过提出彩排方法来实现连续的对比自我监督学习,从而使以前的数据保持了一些典范。我们通过模仿旧网络通过一组保存的示例,通过模仿旧网络推断出的相似性分数分布,而不是将保存的示例与当前数据集结合到当前的培训数据集,而是利用自我监督的知识蒸馏将对比度信息传输到当前网络。此外,我们建立一个额外的样本队列,以帮助网络区分以前的数据和当前数据并在学习自己的功能表示时防止相互干扰。实验结果表明,我们的方法在CIFAR100和Imagenet-Sub上的性能很好。与基线的学习任务无需采用任何技术,我们将图像分类在CIFAR100上提高了1.60%,Imagenet-Sub上的2.86%,在10个增量步骤设置下对Imagenet-Full进行1.29%。
translated by 谷歌翻译