高维数据的歧管假设假设数据是通过改变从低维潜在空间获得的一组参数而生成的。深层生成模型(DGM)被广泛用于以无监督的方式学习数据表示。 DGM使用瓶颈体系结构(例如变异自动编码器(VAE))参数化数据空间中的基础低维歧管。 VAE的瓶颈尺寸被视为取决于数据集的超参数,并在广泛调整后在设计时间固定。由于大多数实际数据集的内在维度尚不清楚,因此固有维度与选择为超参数的潜在维度之间存在不匹配。这种不匹配可能会对表示形式学习和样本生成任务的模型性能产生负面影响。本文提出了相关性编码网络(RENS):一种新型的基于VAE的概率VAE框架,该框架在潜在空间中使用自动相关性确定(ARD)来学习数据特定的瓶颈维度。每个潜在维度的相关性是直接从数据以及使用随机梯度下降的其他模型参数以及适合非高斯先验的重新聚集技巧的其他模型参数中学到的。我们利用深处的概念来捕获数据和潜在空间中的置换统计属性,以确定相关性。所提出的框架是一般且灵活的,可用于最先进的VAE模型,该模型利用正规化器在潜在空间中施加特定特征(例如,脱离)。通过对合成和公共图像数据集进行了广泛的实验,我们表明,所提出的模型了解了相关的潜在瓶颈维度,而不会损害样品的表示和发电质量。
translated by 谷歌翻译