最近提出的弱分解表示，旨在放大先前的解开定义的某些限制，以换取更多的灵活性。但是，目前，只有随着数据变化的增加数量，才能通过增加监督量来实现弱分解。在本文中，我们介绍了弱解释的模块化表示，这是一种新颖的方法，允许与生成因子的数量保持监督信息的量。实验表明，使用模块化表示的模型可以提高其相对于以前的工作的性能，而无需额外监督。
translated by 谷歌翻译
在处理大规模网络和关系数据时，降低图是基本的。它们可以通过在粗糙的结构中求解它们来缩小高度计算影响的尺寸。同时，图减少起着在图神经网络中合并层的作用，从结构中提取多分辨率表示。在这些情况下，还原机制保留距离关系和拓扑特性的能力似乎是基本的，以及可扩展性，使其能够应用于实际大小的问题。在本文中，我们基于最大重量$ k $独立的集合的图理论概念引入了图形粗化机制，从而提供了一种贪婪的算法，该算法允许在GPU上有效地并行实现。我们的方法是常规数据（图像，序列）中的第一个图形结构化对应物。我们证明了在路径长度上的失真界限的理论保证，以及在污垢图中保留关键拓扑特性的能力。我们利用这些概念来定义我们在图形分类任务中经验评估的图表合并机制，表明它与文献中的合并方法进行了比较。
translated by 谷歌翻译
持续的学习方法努力减轻灾难性遗忘（CF），在学习新任务时，从以前学习的任务中丢失了知识。在这些算法中，有些在训练时维护以前任务中的样本子集。这些样本称为内存。这些方法表现出出色的性能，同时在概念上简单易于实现。然而，尽管它们很受欢迎，但几乎没有做任何事情来理解要包含在记忆中的元素。当前，这种记忆通常是通过随机抽样填充的，没有指导原则可以有助于保留以前的知识。在这项工作中，我们提出了一个基于称为一致性意识采样（CAWS）的样本的学习一致性的标准。该标准优先考虑通过深网更容易学习的样本。我们对三种不同的基于内存的方法进行研究：AGEM，GDUMB和经验重播，在MNIST，CIFAR-10和CIFAR-100数据集上。我们表明，使用最一致的元素在受到计算预算的约束时会产生性能提高；如果在没有这种约束的情况下，随机抽样是一个强大的基线。但是，在经验重播上使用CAWS可以改善随机基线的性能。最后，我们表明CAWS取得了与流行的内存选择方法相似的结果，同时需要大大减少计算资源。
translated by 谷歌翻译
我们研究了不同修剪技术对具有对比损失功能的深神经网络所学的表示的影响。我们的工作发现，相对于经过传统的跨透明损失训练的模型，在高稀疏度水平上，对比度学习的示例数量更高。为了理解这种明显的差异，我们使用派（Hooker等，2019），Q-Score（Kalibhat等，2022）和PD-Score（Baldock等，2021）等指标（Hooker等，2019），测量修剪对学习的表示质量的影响。我们的分析表明，修剪方法实施的时间表很重要。我们发现，当在训练阶段早期引入修剪时，稀疏性对学习表示的质量的负面影响最高。
translated by 谷歌翻译
时间序列数据的持续学习（CL）代表了现实世界应用的有希望但知之甚少的途径。我们为人类国家监测提出了两个新的CLENG基准。我们仔细设计了基准，以反映现实世界中的环境，其中不断添加新主题。我们进行了经验评估，以评估流行策略减轻基准中遗忘的能力。我们的结果表明，可能由于我们的基准的领域收入属性，即使使用简单的填充也可以轻松解决忘记，并且现有的策略在积累固定，固定的，测试的主题上积累知识而挣扎。
translated by 谷歌翻译
在线持续学习是一个充满挑战的学习方案，模型必须从非平稳的数据流中学习，其中每个样本只能看到一次。主要的挑战是在避免灾难性遗忘的同时逐步学习，即在从新数据中学习时忘记先前获得的知识的问题。在这种情况下，一种流行的解决方案是使用较小的内存来保留旧数据并随着时间的推移进行排练。不幸的是，由于内存尺寸有限，随着时间的推移，内存的质量会恶化。在本文中，我们提出了OLCGM，这是一种基于新型重放的持续学习策略，该策略使用知识冷凝技术连续压缩记忆并更好地利用其有限的尺寸。样品冷凝步骤压缩了旧样品，而不是像其他重播策略那样将其删除。结果，实验表明，每当与数据的复杂性相比，每当记忆预算受到限制，OLCGM都会提高与最先进的重播策略相比的最终准确性。
translated by 谷歌翻译
如今，预测机器学习模型通常以无状态和昂贵的方式进行更新。想要建立基于机器学习的应用程序和系统的公司的两个主要未来趋势是实时推理和持续更新。不幸的是，这两种趋势都需要一个成熟的基础设施，这很难实现本地人。本文定义了一种新颖的软件服务和模型交付基础架构，称为连续学习 - 服务（CLAAS）来解决这些问题。具体而言，它包含持续的机器学习和连续的集成技术。它为数据科学家提供了模型更新和验证工具的支持，而无需进行本地解决方案，并且以高效，陈述和易于使用的方式提供了支持。最后，此CL模型服务易于封装在任何机器学习基础架构或云系统中。本文介绍了在两种现实世界中评估的CLAAS实例化的设计和实现。前者是使用core50数据集的机器人对象识别设置，而后者是命名类别，并且使用时尚域中的deepfashion-c数据集属性预测。我们的初步结果表明，无论计算在Continuum Edge-Cloud中的何处，连续学习模型服务的可用性和效率以及解决方案在解决现实世界用例中的有效性。
translated by 谷歌翻译
从非稳定性数据流不断学习是过去几年中日益普及的具有挑战性的研究课题。能够在高效，有效和可扩展的方式中不断地学习，适应和推广，是人工智能系统可持续发展的基础。然而，以持续学习的代理为中心的视图需要直接学习原始数据，这限制了独立代理，效率和当前方法的隐私之间的相互作用。相反，我们认为，持续学习系统应该利用经过培训的模型的形式利用压缩信息的可用性。在本文中，我们介绍并将一个名为“EX-Modul持续学习”（EXML）的新范式介绍并形式化，其中代理从一系列先前培训的模型而不是原始数据学习。我们进一步贡献了三种前模型连续学习算法和包括三个数据集（Mnist，CiFar-10和Core50）的经验设置，以及所提出的算法广泛测试的八种情况。最后，我们突出了前模式范式的特点，我们指出了有趣的未来研究方向。
translated by 谷歌翻译
在不同的持续学习场景中可以经验经验评估模型的能力。每种情况都定义了限制和学习环境的机会。在这里，我们挑战了持续学习文学中的当前趋势，主要是在类渐进式场景上进行实验，其中一项经验中的课程从未被重新审视。我们对这种环境的过度注重可能是对持续学习的未来研究来限制，因为类增量场景人为地加剧了灾难性的遗忘，以牺牲其他重要目标等于前向传递和计算效率。在许多现实世界环境中，实际上，重复先前遇到的概念自然地发生，有助于软化对先前知识的破坏。我们倡导更深入地研究替代持续学习场景，其中重复通过传入信息流中的设计集成。从已经现有的提案开始，我们描述了这种级别的级别与重复方案的优势可以提供更全面的持续学习模型的评估。
translated by 谷歌翻译
云自动缩放机制通常基于缩放集群的无功自动化规则，每当某些指标，例如情况下的平均CPU使用量超过预定义阈值。调整这些规则在缩放群集时变得特别繁琐，群集涉及不可忽略的时间来引导新实例，因为它经常在生产云服务中发生。要处理此问题，我们提出了一种基于在不久的将来进化的系统的自动缩放云服务的架构。我们的方法利用时序预测技术，如基于机器学习和人工神经网络的那些，以预测关键指标的未来动态，例如资源消耗度量，并在它们上应用基于阈值的缩放策略。结果是一种预测自动化策略，例如，能够在云应用程序的负载中自动预测峰值，并提前触发适当的缩放操作以适应流量的预期增加。我们将我们的方法称为开源OpenStack组件，它依赖于并扩展，并扩展了Monasca所提供的监控能力，从而增加了可以通过散热或尖林等管制成分来利用的预测度量。我们使用经常性神经网络和多层的Perceptron显示实验结果，作为预测器，与简单的线性回归和传统的非预测自动缩放策略进行比较。但是，所提出的框架允许根据需要轻松定制预测政策。
translated by 谷歌翻译