随机卷积内核变换（火箭）是使用大量不同配置的大量独立的随机初始化的1-D卷积内核来提取时间序列的快速，高效和新颖的方法。每个时间序列上的卷积操作的输出由部分正值（PPV）表示。来自所有内核的PPV的串联是输入特征向量到脊回归分类器。与典型的深度学习模型不同，内核未经训练，内核或串联功能和分类器之间没有加权/训练的连接。由于这些核是随机生成的，因此这些核中的一部分可能不会在模型的性能中贡献积极贡献。因此，需要选择最重要的内核并修剪冗余且不重要的内核，对于降低计算复杂性并加速了火箭在边缘设备上应用的推理。这些内核的选择是组合优化问题。在本文中，我们提出了一种在保持分类性能的同时选择这些内核的方案。首先，原始型号已全额培训。然后，初始化了二元候选状态媒介的群体，其中矢量的每个元素代表核的主动/非活动状态。基于人群的优化算法会进化人口，以找到最佳的状态向量，该媒介可最大程度地减少活性内核的数量，同时最大程度地提高分类器的准确性。该激活函数是活性内核总数的线性组合以及预训练的分类器与活动核的分类精度。最后，使用最佳状态矢量中的选定核用于训练脊回归分类器与所选核。
translated by 谷歌翻译
现代深度神经网络往往太大而无法在许多实际情况下使用。神经网络修剪是降低这种模型的大小的重要技术和加速推断。Gibbs修剪是一种表达和设计神经网络修剪方法的新框架。结合统计物理和随机正则化方法的方法，它可以同时培训和修剪网络，使得学习的权重和修剪面膜彼此很好地适应。它可用于结构化或非结构化修剪，我们为每个提出了许多特定方法。我们将拟议的方法与许多当代神经网络修剪方法进行比较，发现Gibbs修剪优于它们。特别是，我们通过CIFAR-10数据集来实现修剪Reset-56的新型最先进的结果。
translated by 谷歌翻译