深度神经网络(DNNS)的端到端培训在越来越多的应用程序中产生了最先进的性能状态,但它并不能洞悉提取的功能或控制所提取的功能。我们在这里报告了一种有希望的神经启发的方法,可以用更稀疏和更强的激活进行DNN。我们使用标准的随机梯度培训,以促进HEBBIAN(“ Fire dise Coled”,“ Wire dide”)更新的端到端判别成本功能,以及剩余神经元的反Hebbian更新。我们使用激活的分裂归一化(使用强输出抑制弱输出),以及隐式$ \ ell_2 $归一化神经元权重的标准化。在CIFAR-10上进行标准图像分类任务的实验表明,相对于基线端到端训练的体系结构,我们提出的体系结构(a)导致稀疏激活(仅略有妥协准确性),(b)表现出更健壮性噪声(不接受嘈杂数据训练),(c)对对抗性扰动表现出更大的鲁棒性(没有对抗性训练)。
translated by 谷歌翻译
已知机器学习模型易于对抗对抗攻击,这可以通过引入小而设计的扰动来导致错误分类。在本文中,我们考虑了经典假设检测问题,以便在防止这种对抗扰动的捍卫方面发展基本的洞察力。我们将对抗扰动作为滋扰参数来解释对抗性扰动,并提出基于将广义似然比测试(GLRT)应用于所得复合假说检测问题的防御,共同估计兴趣类和对抗扰动。虽然GLRT方法适用于一般多级假设检测,但我们首先在$ \ ell _ {\ infty} $ norm-fundersarial扰动下对白高斯噪声中的二元假设检测进行评估,这是一个已知的最低限度防御优化最糟糕的攻击提供基准。我们派生了GLRT防御的最坏情况攻击,并表明其渐近性能(随着数据的维度增加)接近MIMIMAX防御。对于非渐近制度,我们通过模拟显示GLRT防御与最坏情况下的最小攻击性能竞争,同时在较弱的攻击下产生更好的稳健性准确性权衡。我们还说明了多级假设检测问题的GLRT方法,其中尚不清楚最少的策略,通过提供一种找到最佳噪声感知攻击的方法,评估其在噪声无神不可知和噪声感知的逆势环境下的性能和启发式攻击,发现在高SNR制度中接近最佳的噪声无关攻击。
translated by 谷歌翻译