我们介绍了无界深度神经网络(UDN),这是一个无限深的概率模型,可使其复杂性适应训练数据。 UDN包含一个无限的隐藏层序列,并将无限的先验放在截断L上,该层产生数据的层。给定观测数据集,后UDN提供了无限神经网络参数及其截断的条件分布。我们开发了一种新型的变分推理算法来近似此后部,优化了神经网络权重和截断深度L的分布,而没有任何上限。任意深度的网络权重,并且随着其截断的分布被优化,它会动态创建或删除自由变分参数。 (与启发式搜索的方法不同,该算法仅通过基于梯度的优化来探讨截断的空间。)我们研究了UDN,对真实和合成数据进行了研究。我们发现UDN将其后深度适应数据集的复杂性。它的表现优于类似计算复杂性的标准神经网络;它的表现优于无限深度神经网络的其他方法。
translated by 谷歌翻译