我们提出了一种神经混合模型,该模型由在由深度可逆变换(即,正常化流动)计算的特征的一组上定义的线性模型组成。我们模型的一个吸引人的特性是,p(特征),特征密度和p(目标|特征),预测分布,可以在单个前馈传递中精确计算。我们表明,尽管存在可逆性约束,我们的混合模型可以实现与纯预测模型的相似性。然而,尽管存在混合优化目标,生成组件仍然是输入特征的良好模型。这提供了额外的功能,例如检测分发外输入和启用半监督学习。精确关联密度p(目标,特征)的可用性也使我们可以很好地计算许多量,使我们的混合模型成为概率深度学习的下行应用的有用构建块。
translated by 谷歌翻译
我们介绍了一种基于功能空间上的近似贝叶斯推理而不是深度神经网络参数的有监督连续学习的新方法。我们使用通过将神经网络的最后一层的权重视为随机和高斯分布而获得的高斯过程。用于连续学习的功能正则化自然地通过以顺序方式应用变分稀疏GP推理方法来遇到新任务。在该过程的每个步骤中,构造当前任务的概要,其包括(i)诱导输入和(ii)在这些输入处的函数值的后验分布。本摘要通过出现在变分下界中的Kullback-Leiblerregularisation术语来定期学习未来任务,并减少灾难性遗忘的影响。我们充分发展了方法理论,并证明了它在分类数据集中的有效性,如Split-MNIST,Permuted-MNIST和Omniglot。
translated by 谷歌翻译
为了改善深度神经网络indata-scarce,non-i.i.d。或无监督设置的性能,最近的研究致力于将对称变换下的不变性编码到神经网络体系结构中。我们将神经网络输入和输出视为随机变量,并从概率对称的角度考虑群不变性。利用概率和统计学中的工具,我们建立了功能和概率对称之间的联系,并获得了在紧凑群的作用下不变或等变的联合和条件概率分布的生成函数表示。这些表示完全表征了可用于对这种分布进行建模的神经网络结构,并产生了构建不变随机或确定性神经网络的通用程序。我们开发了可交换序列和数组的一般程序的细节,并将一些最近的例子作为特例回收。
translated by 谷歌翻译
变分自动编码器(VAE)模型已经广泛流行,作为一种学习生成高维空间观察的生成模型和嵌入的方法。在现实世界中,许多这样的观察可以被认为是分层结构的,例如通过进化树相关的生物有机体数据。此外,从理论上证明,具有分层结构的数据可以有效地嵌入双曲空间。因此,我们赋予VAE双曲线几何学,并且凭经验证明它可以比欧几里德对应物更好地推广到看不见的数据,并且可以定性地恢复等级结构。
translated by 谷歌翻译
神经过程(NPs)(Garnelo等2018a; b)通过学习来回归以将观察到的输入 - 输出对的上下文集映射到分布式回归函数。每个函数都根据上下文对输出的分布进行建模。 NP具有有效拟合数据的优势,具有上下文输入 - 输出对数量的线性复杂度,并且可以学习一大类条件分布;它们学习以仲裁集的上下文集为条件的预测分布。尽管如此,我们还是表明NPs存在一个基本的缺点,即在观察到的数据条件的输入上给出了不准确的预测。我们通过将注意力集中到NP来解决这个问题,允许每个输入位置参与预测的相关上下文点。我们证明,这极大地提高了预测的准确性,显着加快了训练速度,并扩展了可以建模的功能范围。
translated by 谷歌翻译
我们在VariationalAuto-Encoders(VAEs)中通过将其作为潜在表征的\ emph {分解}来展开广泛的解开概念,其特征在于i)在数据的潜在编码中强制适当的重叠水平,以及ii)正则化通过先验表示的平均编码到期望的结构。我们通过证明a)$ \ beta $ -VAE纯粹通过潜在编码中的重叠的规范化,以及通过其平均(高斯)编码器方差来解开,并且b)解开,因为独立性之间的独立性,可以被视为正则化先前具有特定特征的总和。我们通过展示这些因素的简单操作来验证这种表征,例如使用旋转变异驱动器,可以帮助改善解缠结,并讨论这种特征如何提供一个更通用的框架来结合分解的概念,而不仅仅是潜伏之间的独立性。
translated by 谷歌翻译
我们专注于学习单个电机模块的问题,该模块可以灵活地表达一系列行为,以控制高维物理模拟人形机器人。为此,我们提出了一种具有潜在变量瓶颈的逆模型的一般结构的电机架构。通过Weshow可以完全离线训练这个模型,以完成数千个专家政策并学习电机原始嵌入空间。训练的神经概率运动原始系统可以执行全身人形行为的一次性模仿,强有力地模仿未经观察的行为。此外,我们证明了直接控制控制器重用学习的电机原始空间来解决任务,并且产生的运动相对自然。为了支持我们的模型训练,我们比较了两种离线策略克隆方法,包括一种经验有效的方法,我们称之为线性反馈策略克隆。我们鼓励读者查看总结我们结果的补充视频(https://youtu.be/1NAHsrrH2t0)。
translated by 谷歌翻译
我们提出了一种新的神经网络验证方法,该方法基于估计属性被违反的输入比例。具体而言,我们会估算在输入模型下违反财产的事件的概率。这允许经典验证作为一种特殊情况,其中只考虑这个期望是否正好为零的问题。当财产被违反时,我们的方法提供了关于网络的稳健性的信息性概念,而不仅仅是传统的断言。网络不可验证。此外,与传统的形式验证方法相比,它提供了扩展到更大网络的能力。实现这一目标的关键是多层次分裂的适应性,一种预测罕见事件概率的蒙特卡罗方法,以及我们的统计验证框架。我们证明了我们的方法能够模拟基准问题的现有验证程序,同时扩展到更大的网络,并以准确估计违规概率的形式提供可靠的附加信息。
translated by 谷歌翻译
我们研究自适应重要性抽样(AIS)作为在线学习问题,并且考虑到在这种适应中探索和开发之间权衡的重要性。借用土匪文献中的思想,我们提出戴基,一种基于分区的AIS算法。我们进一步介绍AIS的概念,并表明Daisee有$ \ mathcal {O}(\ sqrt {T}(\ logT)^ {\ frac {3} {4}})$累积伪遗憾,其中$ T $是项目的数量。然后,我们扩展Daisee以自适应地学习样本空间的分层分区,以获得更有效的采样,并根据经验确认两种算法的性能。
translated by 谷歌翻译
可以要求在野外部署的神经网络对从与训练数据的分布不同的分布中得出的输入进行预测。大量的工作表明,很容易找到或合成神经网络高度自信但错误的输入。人们普遍认为生成模型对于这种错误的置信度是稳健的,因为建模输入特征的密度可用于检测新颖的,分布不均的输入。在本文中,我们挑战这一假设。我们发现基于流量的模型,VAE和PixelCNN的模型密度无法区分常见物体(如狗,卡车和马匹(即CIFAR-10)的图像与门牌号码(即SVHN)的图像,从而为后者指定更高的可能性。模型是对前者进行训练的。我们特别关注基于流动的生成模型的分析,因为它们是通过精确的边际可能性进行训练和评估的。当我们将流模型限制为恒定体积变换时,我们发现这种行为仍然存在。这些转换允许一些理论分析,并且我们表明可能性的差异可以通过数据的位置和方差以及模型曲率来解释,这表明这种行为更多的属性不仅限于我们实验中使用的数据集对。我们的结果告诫不要使用深度生成模型的密度估计来识别类似于训练分布的输入,直到他们更好地理解分布式输入的行为。
translated by 谷歌翻译