我们介绍了一种基于功能空间上的近似贝叶斯推理而不是深度神经网络参数的有监督连续学习的新方法。我们使用通过将神经网络的最后一层的权重视为随机和高斯分布而获得的高斯过程。用于连续学习的功能正则化自然地通过以顺序方式应用变分稀疏GP推理方法来遇到新任务。在该过程的每个步骤中,构造当前任务的概要,其包括(i)诱导输入和(ii)在这些输入处的函数值的后验分布。本摘要通过出现在变分下界中的Kullback-Leiblerregularisation术语来定期学习未来任务,并减少灾难性遗忘的影响。我们充分发展了方法理论,并证明了它在分类数据集中的有效性,如Split-MNIST,Permuted-MNIST和Omniglot。
translated by 谷歌翻译
我们提出了一个概率框架,通过将行为策略定义为贝叶斯后验分布,直接在重新学习(RL)算法中插入先验知识。这种后验将任务特定信息与先验知识相结合,从而允许实现跨任务的转移学习。由此产生的方法是灵活的,它可以很容易地与任何标准的非政策和政策算法相结合,例如基于时间差异和政策梯度的算法。我们通过将先验知识表示为可用于各种任务(例如导航任务)的一般确定性规则来开发此贝叶斯转移RL框架的特定实例。此外,我们通过开发一种新的时间学习算法详细阐述了近期概率的熵正则化RL,并展示了如何将其与贝叶斯转移RL相结合。最后,我们展示了解决迷宫的方法,并证明可以获得显着的加速。
translated by 谷歌翻译
我们引入了完全可扩展的高斯过程,这是一种实现方案,解决了与高维输入数据一起处理大量训练实例的问题。我们的关键思想是在诱导变量(称为子空间诱导输入)之上的表示技巧。这与基于矩阵预处理的变分分布的参数化相结合,这导致简化和数值稳定的变分下界。我们的说明性应用程序基于挑战极端多标签分类问题,以及大量类标签的额外负担。我们通过呈现预测性能以及具有极大数量的实例和输入维度的低计算时间indatase来证明我们的方法的有用性。
translated by 谷歌翻译
The reparameterization gradient has become a widely used method to obtainMonte Carlo gradients to optimize the variational objective. However, thistechnique does not easily apply to commonly used distributions such as beta orgamma without further approximations, and most practical applications of thereparameterization gradient fit Gaussian distributions. In this paper, weintroduce the generalized reparameterization gradient, a method that extendsthe reparameterization gradient to a wider class of variational distributions.Generalized reparameterizations use invertible transformations of the latentvariables which lead to transformed distributions that weakly depend on thevariational parameters. This results in new Monte Carlo gradients that combinereparameterization gradients and score function gradients. We demonstrate ourapproach on variational inference for two complex probabilistic models. Thegeneralized reparameterization is effective: even a single sample from thevariational distribution is enough to obtain a low-variance gradient.
translated by 谷歌翻译
从不同平台获得的对相同对象的多组测量可以反映所研究系统的部分互补信息。对这些数据集的综合分析不仅为我们提供了更深入理解所研究系统的机会,而且还引入了一些新的统计挑战。首先,在所有或一些数据集中共同的信息分离以及特定于每个数据集的信息是有问题的。此外,这些数据集通常是定量和离散(二进制或类别)数据类型的混合,而常用的数据融合方法要求alldata集是定量的。在本文中,我们提出了一个指数族同时成分分析(ESCA)模型来解决多个数据集的潜在混合数据类型问题。此外,加载矩阵的结构化稀疏模式是通过几乎无偏的组凹入性来诱导的,以解开多个数据集的全局,局部公共和不同信息。基于Majorization-Minimization的算法被推导出所提出的模型。推导出解析解用于在每次迭代中更新模型的所有参数,并且算法将在每次迭代中单调地减少目标函数。对于模型选择,实施基于收益值的交叉验证程序。使用综合模拟以及来自慢性淋巴细胞白血病(CLL)研究的实际数据的分析来评估所提出的方法与其他方法相比的优点。
translated by 谷歌翻译
学习解决图解推理(DR)对于计算机视觉研究社区来说可能是一个具有挑战性但令人感兴趣的问题。人们认为,下一代模式识别应用应该能够模拟人类大脑来理解和分析图像的推理。然而,由于缺乏图解推理的基准,本研究主要关注可应用于现实世界对象的视觉推理。在本文中,我们提出了一个图解推理数据集,它提供了大量的DR问题。此外,我们还提出了一个基于知识的长期短期记忆(KLSTM)来解决图解推理问题。我们提出的分析可以说是该研究中的第一项工作。在目前的背景下,已经使用了几种最先进的学习框架来与提出的KLSTM框架进行比较。初步结果表明,该领域与计算机视觉和模式识别研究高度相关,具有几个具有挑战性的途径。
translated by 谷歌翻译
期望最大化(EM)是隐藏(又称潜在)变量模型的参数估计的后退方法。给定完整批数据,EM在每次迭代时形成模型的负对数似然的上限,然后更新到该上限的最小化。我们引入EM的多功能在线变体,其中数据作为流到达。我们的动机是基于隐藏和可见变量的两个联合分布之间的相对熵差。我们将EM上限视为期望的蒙特卡罗近似,并表明联合相对熵会导致类似的期望形式。因此,我们将旧模型的差异作为惯性项用于激励我们的在线EMalgorithm。我们的动机比以前的更广泛适用,并且导致指数分布混合的简单在线更新,hiddenMarkov模型,以及卡尔曼滤波器的第一个已知在线更新。此外,惯性项的有限样本形式允许我们在有更新时导出在线更新没有封闭式解决方案。实验上,使用在线更新扫描数据的速度比批量更新快得多。基于Ourdivergence的方法也导致了一种组合隐藏变量模型的简单方法,这可以立即为分布式设置提供有效的算法。
translated by 谷歌翻译
机器人遥操作为手术领域的进步带来了巨大的潜力。外科医生远程接触患者的能力打开了令人兴奋的机会。早期的远程机器人手术经验很有意思,但临床可行性仍然遥不可及,主要是由于通信延迟的不良影响。远程操作任务受到不可避免的信号延迟的显着影响,这直接导致操作失败,运动精度降低,人为错误增加。引入手术工作流程的重大变化,例如通过引入半自动化或自我纠正,显示出过于重要的技术和道德商业手术机器人系统的负担。在本文中,我们提出了三个简单直观的运动标量解决方案来对抗延迟下的远程操作机器人系统,并有助于提高操作员的准确性。运动缩放提供了潜在的改进的用户性能和减少错误,同时对基础远程操作体系结构的改变最小。为了验证运动缩放作为性能增强器远程手术的使用,我们对17名参与者进行了用户研究,我们的结果表明所提出的解决方案确实降低了在高延迟下操作时的错误率。
translated by 谷歌翻译
在本文中,我们解决了在aighttime场景中的单个图像雾霾去除问题。夜间雾霾去除是一个严重不适合的问题,特别是由于存在各种颜色和不均匀照明的可见光源。这些光源具有不同的形状,并在夜景中引入明显的光晕。为了解决这些影响,我们引入了一种基于深度学习的DeGlow-DeHaze迭代架构,可用于改变颜色照明和发光。首先,我们的基于卷积神经网络(CNN)的DeGlow模型能够显着地消除发光效应,并且在其上面包括单独的DeHaze网络以消除雾度效应。对于我们的经常性网络训练,从纽约大学深度数据集合成模糊图像和相应的传输图,并随后恢复高质量的无雾图像。实验结果表明,我们的混合CNN模型在计算速度和图像质量方面优于其他最先进的方法。我们还展示了我们的模型在许多真实图像上的有效性,并将我们的结果与现有的夜间雾霾启发式模型进行了比较。
translated by 谷歌翻译
Wasserstein距离及其变化,例如切片的Wasserstein(SW)距离,最近引起了机器学习社区的注意。具体地说,SW距离具有与Wasserstein距离相似的特性,同时计算起来更简单,因此可用于各种应用,包括生成建模和一般监督/无监督学习。在本文中,我们首先阐明了SW距离和Radon变换之间的数学联系。 Wethen利用广义Radon变换来定义概率测度的一个新的距离族,我们称之为广义的Wasserstein(GSW)距离。我们还表明,类似于SWdistance,GSW距离可以扩展到最大GSW(max-GSW)距离。然后我们提供GSW和max-GSW距离确实是距离的条件。最后,我们比较了所提出的距离在几个生成建模任务中的数值性能,包括SW流和SWauto编码器。
translated by 谷歌翻译