多变量时间序列分类是机器学习社区中的一个高价值和众所周知的问题。特征提取是分类任务的主要步骤。传统方法采用手工制作的特征进行分类,而卷积神经网络(CNN)能够自动提取特征。在本文中,我们使用扩张卷积神经网络进行多变量时间序列分类。为了部署扩张的CNN,将多变量时间序列转换为类似图像的样式,并且应用叠加的双向和跨步卷积以同时提取时间序列中的变量的特征之间和之间。我们在两个人类活动识别时间序列上评估我们的模型,发现为时间序列提取的自动特征可以与手工制作的特征一样有效。
translated by 谷歌翻译
尽管深度神经网络(DNN)在广泛的实际任务中有许多最先进的应用,但两个主要挑战阻碍了DNN的进一步优化:超参数优化和缺乏计算能力。最近的努力表明量化权重并且通过使用有限的计算资源,DNN层的激活以降低位宽,朝着减少存储器带宽和功耗迈出了重要的一步。本文建立了算法洞察力,可以减少DNN中操作的位宽,而不会影响其分类准确性。虽然在推理期间使用高比特权重和激活在大多数情况下保持准确性,但是较低的比特宽度可以在利用较少功率的同时实现相同的准确度。然而,深度量化(量化位宽低于8)同时保持精度需要大量的反复试验,微调以及重新训练。通过将量化位宽作为选择位宽优化问题的超参数,我们通过最新的基于策略梯度的强化学习(RL)算法(称为近端策略优化[10](PPO))来解决这个问题,以便有效地探索DNN量化的大型设计空间。所提出的技术还开启了执行网络的异构量化的可能性(例如,将每个层量化为不同的比特宽度),因为RL代理在每个层的灵敏度方面相对于准确度而言,以便执行整个网络的量化。我们在包括MNIST,CIFAR10,SVHN在内的几个神经网络上评估了我们的方法,并且RL代理将这些网络量化为平均位宽分别为2.25,5和4,在所有情况下精度损失小于0.3%。
translated by 谷歌翻译