深度神经网络过度参数化,这意味着参数的数量远远大于用于训练网络的样本数量。即使在这样的制度下,深层架构也不会过度配合。这种现象是一个活跃的研究领域,并且已经提出了许多理论来理解这种特殊的观察。这些包括VapnikChervonenkis(VC)维边界和Rademacher复杂边界,其表明网络的容量由权重的范数表征,而不是参数的数量。然而,尚未研究输入噪声对浅层和深层架构的这些措施的影响。在本文中,我们分析了各种正则化方案对神经网络复杂性的影响,我们用损失,权重的$ L_2 $范数,Rademacher复杂性(直接近似正则化复杂度-DARC1),基于VC维度的低复杂度神经网络(LCNN)来表征。 )不同程度的高斯输入噪声。我们证明了$ L_2 $正则化导致了一个更简单的假设类,并且DARC1正则化器随后对于浅层和深层架构都进行了更好的泛化。雅可比正则化器适用于具有高水平输入噪声的浅层架构。对于浅层和深层架构,光谱归一化获得最高的测试设备准确度。我们还表明,Dropoutalone在输入噪声存在的情况下表现不佳。最后,我们展示了较深的体系结构对输入噪声的鲁棒性,而不是它们的浅部分。
translated by 谷歌翻译
解释深度学习的不合理有效性已经让全球各地的研究人员望而却步。各种作者都描述了多个度量标准来评估深层体系结构的容量。在本文中,我们提到了对具有铰链损耗的支持向量机(SVM)所描述的半边界限,将其应用于深度前馈体系结构并导出与先前限制的术语不同的Vapnik-Chervonenkis(VC)边界。网络的权重数量。在这样做的过程中,我们还提出了Dropout和Dropconnect等技术在降低网络容量方面的有效性。最后,我们描述了最大化输入和输出裕度的效果,以实现输入噪声稳健的深层体系结构。
translated by 谷歌翻译