The recent emergence of new algorithms for permuting models into functionally equivalent regions of the solution space has shed some light on the complexity of error surfaces, and some promising properties like mode connectivity. However, finding the right permutation is challenging, and current optimization techniques are not differentiable, which makes it difficult to integrate into a gradient-based optimization, and often leads to sub-optimal solutions. In this paper, we propose a Sinkhorn re-basin network with the ability to obtain the transportation plan that better suits a given objective. Unlike the current state-of-art, our method is differentiable and, therefore, easy to adapt to any task within the deep learning domain. Furthermore, we show the advantage of our re-basin method by proposing a new cost function that allows performing incremental learning by exploiting the linear mode connectivity property. The benefit of our method is compared against similar approaches from the literature, under several conditions for both optimal transport finding and linear mode connectivity. The effectiveness of our continual learning method based on re-basin is also shown for several common benchmark datasets, providing experimental results that are competitive with state-of-art results from the literature.

深度学习的成功归功于我们能够相对轻松地解决某些大规模的非凸优化问题。尽管非凸优化是NP硬化，但简单的算法（通常是随机梯度下降的变体）在拟合大型神经网络的实践中具有令人惊讶的有效性。我们认为，在考虑了所有可能的隐藏单元对称对称性之后，神经网络损失景观包含（几乎）一个盆地。我们介绍了三种算法以缩小一个模型的单元，以使它们与参考模型的单位保持一致。这种转换产生了一组功能等效的权重，该权重位于参考模型附近的大约凸盆地中。在实验上，我们证明了各种模型架构和数据集中的单个盆地现象，包括在CIFAR-10和CIFAR-100上独立训练的Resnet模型之间的第一个（据我们所知）的（据我们所知）的第一次演示。此外，我们确定了有趣的现象，将模型宽度和训练时间与各种模型和数据集的模式连接性有关。最后，我们讨论了单个盆地理论的缺点，包括对线性模式连接假设的反例。

A growing body of research in continual learning focuses on the catastrophic forgetting problem. While many attempts have been made to alleviate this problem, the majority of the methods assume a single model in the continual learning setup. In this work, we question this assumption and show that employing ensemble models can be a simple yet effective method to improve continual performance. However, ensembles' training and inference costs can increase significantly as the number of models grows. Motivated by this limitation, we study different ensemble models to understand their benefits and drawbacks in continual learning scenarios. Finally, to overcome the high compute cost of ensembles, we leverage recent advances in neural network subspace to propose a computationally cheap algorithm with similar runtime to a single model yet enjoying the performance benefits of ensembles.

持续学习研究的主要重点领域是通过设计新算法对分布变化更强大的新算法来减轻神经网络中的“灾难性遗忘”问题。尽管持续学习文献的最新进展令人鼓舞，但我们对神经网络的特性有助于灾难性遗忘的理解仍然有限。为了解决这个问题，我们不关注持续的学习算法，而是在这项工作中专注于模型本身，并研究神经网络体系结构对灾难性遗忘的“宽度”的影响，并表明宽度在遗忘遗产方面具有出人意料的显着影响。为了解释这种效果，我们从各个角度研究网络的学习动力学，例如梯度正交性，稀疏性和懒惰的培训制度。我们提供了与不同架构和持续学习基准之间的经验结果一致的潜在解释。

在本文中，我们推测，如果考虑到神经网络的置换不变性，SGD解决方案可能不会在它们之间的线性插值中没有障碍。尽管这是一个大胆的猜想，但我们展示了广泛的经验尝试却没有反驳。我们进一步提供了初步的理论结果来支持我们的猜想。我们的猜想对彩票票证假设，分布式培训和合奏方法有影响。

我们通过将其基于实现功能空间而不是参数空间的几何形状来系统地研究深度神经网络景观的方法。将分类器分组到等效类中，我们开发了一个标准化的参数化，其中所有对称性都被删除，从而导致环形拓扑。在这个空间上，我们探讨了误差景观而不是损失。这使我们能够得出有意义的概念，即最小化器的平坦度和连接它们的地球通道的概念。使用不同的优化算法，这些算法采样具有不同平坦度的最小化器，我们研究模式连接性和相对距离。测试各种最先进的体系结构和基准数据集，我们确认了平面度和泛化性能之间的相关性；我们进一步表明，在功能空间中，minima彼此更近，并且连接它们的大地测量学的屏障很小。我们还发现，通过梯度下降的变体发现的最小化器可以通过由参数空间中的两个直线组成的零误差路径连接，即带有单个弯曲的多边形链。我们观察到具有二进制权重和激活的神经网络中相似的定性结果，这为在这种情况下的连通性提供了第一个结果之一。我们的结果取决于对称性的去除，并且与对简单浅层模型进行的一些分析研究所描述的丰富现象学非常吻合。

我们引入了一个新的培训范式，该范围对神经网络参数空间进行间隔约束以控制遗忘。当代持续学习（CL）方法从一系列数据流有效地培训神经网络，同时减少灾难性遗忘的负面影响，但它们不能提供任何确保的确保网络性能不会随着时间的流逝而无法控制地恶化。在这项工作中，我们展示了如何通过将模型的持续学习作为其参数空间的持续收缩来遗忘。为此，我们提出了Hypertrectangle训练，这是一种新的训练方法，其中每个任务都由参数空间中的超矩形表示，完全包含在先前任务的超矩形中。这种配方将NP-HARD CL问题降低到多项式时间，同时提供了完全防止遗忘的弹性。我们通过开发Intercontinet（间隔持续学习）算法来验证我们的主张，该算法利用间隔算术来有效地将参数区域建模为高矩形。通过实验结果，我们表明我们的方法在不连续的学习设置中表现良好，而无需存储以前的任务中的数据。

Continual Learning (CL) is a field dedicated to devise algorithms able to achieve lifelong learning. Overcoming the knowledge disruption of previously acquired concepts, a drawback affecting deep learning models and that goes by the name of catastrophic forgetting, is a hard challenge. Currently, deep learning methods can attain impressive results when the data modeled does not undergo a considerable distributional shift in subsequent learning sessions, but whenever we expose such systems to this incremental setting, performance drop very quickly. Overcoming this limitation is fundamental as it would allow us to build truly intelligent systems showing stability and plasticity. Secondly, it would allow us to overcome the onerous limitation of retraining these architectures from scratch with the new updated data. In this thesis, we tackle the problem from multiple directions. In a first study, we show that in rehearsal-based techniques (systems that use memory buffer), the quantity of data stored in the rehearsal buffer is a more important factor over the quality of the data. Secondly, we propose one of the early works of incremental learning on ViTs architectures, comparing functional, weight and attention regularization approaches and propose effective novel a novel asymmetric loss. At the end we conclude with a study on pretraining and how it affects the performance in Continual Learning, raising some questions about the effective progression of the field. We then conclude with some future directions and closing remarks.

增量任务学习（ITL）是一个持续学习的类别，试图培训单个网络以进行多个任务（一个接一个），其中每个任务的培训数据仅在培训该任务期间可用。当神经网络接受较新的任务培训时，往往会忘记旧任务。该特性通常被称为灾难性遗忘。为了解决此问题，ITL方法使用情节内存，参数正则化，掩盖和修剪或可扩展的网络结构。在本文中，我们提出了一个基于低级别分解的新的增量任务学习框架。特别是，我们表示每一层的网络权重作为几个等级1矩阵的线性组合。为了更新新任务的网络，我们学习一个排名1（或低级别）矩阵，并将其添加到每一层的权重。我们还引入了一个其他选择器向量，该向量将不同的权重分配给对先前任务的低级矩阵。我们表明，就准确性和遗忘而言，我们的方法的表现比当前的最新方法更好。与基于情节的内存和基于面具的方法相比，我们的方法还提供了更好的内存效率。我们的代码将在https://github.com/csiplab/task-increment-rank-update.git上找到。

本文认为，连续学习方法可以通过分割多种模型的学习者的容量来利益。我们使用统计学习理论和实验分析来展示多种任务在单个型号培训时以非琐碎的方式互相交互。特定任务上的泛化误差可以随着协同任务培训，但在竞争任务训练时也可以恶化。该理论激励了我们名为Model动物园的方法，这是从升压文献的启发，增长了小型型号的集合，每个集中都在持续学习的一集中训练。我们展示了模型动物园的准确性提高了各种持续学习基准问题。

恶意软件（恶意软件）分类为持续学习（CL）制度提供了独特的挑战，这是由于每天收到的新样本的数量以及恶意软件的发展以利用新漏洞。在典型的一天中，防病毒供应商将获得数十万个独特的软件，包括恶意和良性，并且在恶意软件分类器的一生中，有超过十亿个样品很容易积累。鉴于问题的规模，使用持续学习技术的顺序培训可以在减少培训和存储开销方面提供可观的好处。但是，迄今为止，还没有对CL应用于恶意软件分类任务的探索。在本文中，我们研究了11种应用于三个恶意软件任务的CL技术，涵盖了常见的增量学习方案，包括任务，类和域增量学习（IL）。具体而言，使用两个现实的大规模恶意软件数据集，我们评估了CL方法在二进制恶意软件分类（domain-il）和多类恶意软件家庭分类（Task-IL和类IL）任务上的性能。令我们惊讶的是，在几乎所有情况下，持续的学习方法显着不足以使训练数据的幼稚关节重播 - 在某些情况下，将精度降低了70个百分点以上。与关节重播相比，有选择性重播20％的存储数据的一种简单方法可以实现更好的性能，占训练时间的50％。最后，我们讨论了CL技术表现出乎意料差的潜在原因，希望它激发进一步研究在恶意软件分类域中更有效的技术。

已知生物制剂在他们的生活过程中学习许多不同的任务，并且能够重新审视以前的任务和行为，而没有表现不损失。相比之下，人工代理容易出于“灾难性遗忘”，在以前任务上的性能随着所获取的新的任务而恶化。最近使用该方法通过鼓励参数保持接近以前任务的方法来解决此缺点。这可以通过（i）使用特定的参数正常数来完成，该参数正常数是在参数空间中映射合适的目的地，或（ii）通过将渐变投影到不会干扰先前任务的子空间来指导优化旅程。然而，这些方法通常在前馈和经常性神经网络中表现出子分子表现，并且经常性网络对支持生物持续学习的神经动力学研究感兴趣。在这项工作中，我们提出了自然的持续学习（NCL），一种统一重量正则化和预测梯度下降的新方法。 NCL使用贝叶斯重量正常化来鼓励在收敛的所有任务上进行良好的性能，并将其与梯度投影结合使用先前的精度，这可以防止在优化期间陷入灾难性遗忘。当应用于前馈和经常性网络中的连续学习问题时，我们的方法占据了标准重量正则化技术和投影的方法。最后，训练有素的网络演变了特定于任务特定的动态，这些动态被认为是学习的新任务，类似于生物电路中的实验结果。

The ability to learn tasks in a sequential fashion is crucial to the development of artificial intelligence. Neural networks are not, in general, capable of this and it has been widely thought that catastrophic forgetting is an inevitable feature of connectionist models. We show that it is possible to overcome this limitation and train networks that can maintain expertise on tasks which they have not experienced for a long time. Our approach remembers old tasks by selectively slowing down learning on the weights important for those tasks. We demonstrate our approach is scalable and effective by solving a set of classification tasks based on the MNIST hand written digit dataset and by learning several Atari 2600 games sequentially.

We motivate Energy-Based Models (EBMs) as a promising model class for continual learning problems. Instead of tackling continual learning via the use of external memory, growing models, or regularization, EBMs change the underlying training objective to cause less interference with previously learned information. Our proposed version of EBMs for continual learning is simple, efficient, and outperforms baseline methods by a large margin on several benchmarks. Moreover, our proposed contrastive divergence-based training objective can be combined with other continual learning methods, resulting in substantial boosts in their performance. We further show that EBMs are adaptable to a more general continual learning setting where the data distribution changes without the notion of explicitly delineated tasks. These observations point towards EBMs as a useful building block for future continual learning methods.

Artificial neural networks thrive in solving the classification problem for a particular rigid task, acquiring knowledge through generalized learning behaviour from a distinct training phase. The resulting network resembles a static entity of knowledge, with endeavours to extend this knowledge without targeting the original task resulting in a catastrophic forgetting. Continual learning shifts this paradigm towards networks that can continually accumulate knowledge over different tasks without the need to retrain from scratch. We focus on task incremental classification, where tasks arrive sequentially and are delineated by clear boundaries. Our main contributions concern (1) a taxonomy and extensive overview of the state-of-the-art; (2) a novel framework to continually determine the stability-plasticity trade-off of the continual learner; (3) a comprehensive experimental comparison of 11 state-of-the-art continual learning methods and 4 baselines. We empirically scrutinize method strengths and weaknesses on three benchmarks, considering Tiny Imagenet and large-scale unbalanced iNaturalist and a sequence of recognition datasets. We study the influence of model capacity, weight decay and dropout regularization, and the order in which the tasks are presented, and qualitatively compare methods in terms of required memory, computation time and storage.

在线持续学习是一个充满挑战的学习方案，模型必须从非平稳的数据流中学习，其中每个样本只能看到一次。主要的挑战是在避免灾难性遗忘的同时逐步学习，即在从新数据中学习时忘记先前获得的知识的问题。在这种情况下，一种流行的解决方案是使用较小的内存来保留旧数据并随着时间的推移进行排练。不幸的是，由于内存尺寸有限，随着时间的推移，内存的质量会恶化。在本文中，我们提出了OLCGM，这是一种基于新型重放的持续学习策略，该策略使用知识冷凝技术连续压缩记忆并更好地利用其有限的尺寸。样品冷凝步骤压缩了旧样品，而不是像其他重播策略那样将其删除。结果，实验表明，每当与数据的复杂性相比，每当记忆预算受到限制，OLCGM都会提高与最先进的重播策略相比的最终准确性。

人类智慧的主食是以不断的方式获取知识的能力。在Stark对比度下，深网络忘记灾难性，而且为此原因，类增量连续学习促进方法的子字段逐步学习一系列任务，将顺序获得的知识混合成综合预测。这项工作旨在评估和克服我们以前提案黑暗体验重播（Der）的陷阱，这是一种简单有效的方法，将排练和知识蒸馏结合在一起。灵感来自于我们的思想不断重写过去的回忆和对未来的期望，我们赋予了我的能力，即我的能力来修改其重播记忆，以欢迎有关过去数据II的新信息II）为学习尚未公开的课程铺平了道路。我们表明，这些策略的应用导致了显着的改进;实际上，得到的方法 - 被称为扩展-DAR（X-DER） - 优于标准基准（如CiFar-100和MiniimAgeNet）的技术状态，并且这里引入了一个新颖的。为了更好地了解，我们进一步提供了广泛的消融研究，以证实并扩展了我们以前研究的结果（例如，在持续学习设置中知识蒸馏和漂流最小值的价值）。

持续学习的目标（CL）是随着时间的推移学习不同的任务。与CL相关的主要Desiderata是在旧任务上保持绩效，利用后者来改善未来任务的学习，并在培训过程中引入最小的开销（例如，不需要增长的模型或再培训）。我们建议通过固定密度的稀疏神经网络来解决这些避难所的神经启发性塑性适应（NISPA）体系结构。 NISPA形成了稳定的途径，可以从较旧的任务中保存知识。此外，NISPA使用连接重新设计来创建新的塑料路径，以重用有关新任务的现有知识。我们对EMNIST，FashionMnist，CIFAR10和CIFAR100数据集的广泛评估表明，NISPA的表现明显胜过代表性的最先进的持续学习基线，并且与盆地相比，它的可学习参数最多少了十倍。我们还认为稀疏是持续学习的重要组成部分。 NISPA代码可在https://github.com/burakgurbuz97/nispa上获得。

While deep learning has led to remarkable advances across diverse applications, it struggles in domains where the data distribution changes over the course of learning. In stark contrast, biological neural networks continually adapt to changing domains, possibly by leveraging complex molecular machinery to solve many tasks simultaneously. In this study, we introduce intelligent synapses that bring some of this biological complexity into artificial neural networks. Each synapse accumulates task relevant information over time, and exploits this information to rapidly store new memories without forgetting old ones. We evaluate our approach on continual learning of classification tasks, and show that it dramatically reduces forgetting while maintaining computational efficiency.

机器学习的一个显着缺点是模型能够更快地解决新问题，而不会忘记获得的知识。为了更好地理解这个问题，已经出现了持续的学习来系统地调查学习协议，其中模型顺序地观察由一系列任务产生的样本。首先，我们提出了一种促进学习和遗忘之间进行权衡的最优性原则。我们从有界合理性的信息化学制定中获得了这一原则，并显示了与其他连续学习方法的联系。其次，基于这一原则，我们提出了一种神经网络层，用于持续学习，称为变分的专家（移动），缓解遗忘，同时使知识有益转移到新任务。我们对MNIST和CIFAR10数据集的变型的实验表明，与最先进的方法相比，移动层的竞争性能。