深度神经网络(DNNS)的端到端培训在越来越多的应用程序中产生了最先进的性能状态,但它并不能洞悉提取的功能或控制所提取的功能。我们在这里报告了一种有希望的神经启发的方法,可以用更稀疏和更强的激活进行DNN。我们使用标准的随机梯度培训,以促进HEBBIAN(“ Fire dise Coled”,“ Wire dide”)更新的端到端判别成本功能,以及剩余神经元的反Hebbian更新。我们使用激活的分裂归一化(使用强输出抑制弱输出),以及隐式$ \ ell_2 $归一化神经元权重的标准化。在CIFAR-10上进行标准图像分类任务的实验表明,相对于基线端到端训练的体系结构,我们提出的体系结构(a)导致稀疏激活(仅略有妥协准确性),(b)表现出更健壮性噪声(不接受嘈杂数据训练),(c)对对抗性扰动表现出更大的鲁棒性(没有对抗性训练)。
translated by 谷歌翻译