我们介绍了一种基于功能空间上的近似贝叶斯推理而不是深度神经网络参数的有监督连续学习的新方法。我们使用通过将神经网络的最后一层的权重视为随机和高斯分布而获得的高斯过程。用于连续学习的功能正则化自然地通过以顺序方式应用变分稀疏GP推理方法来遇到新任务。在该过程的每个步骤中,构造当前任务的概要,其包括(i)诱导输入和(ii)在这些输入处的函数值的后验分布。本摘要通过出现在变分下界中的Kullback-Leiblerregularisation术语来定期学习未来任务,并减少灾难性遗忘的影响。我们充分发展了方法理论,并证明了它在分类数据集中的有效性,如Split-MNIST,Permuted-MNIST和Omniglot。
translated by 谷歌翻译
我们提出了一个概率框架,通过将行为策略定义为贝叶斯后验分布,直接在重新学习(RL)算法中插入先验知识。这种后验将任务特定信息与先验知识相结合,从而允许实现跨任务的转移学习。由此产生的方法是灵活的,它可以很容易地与任何标准的非政策和政策算法相结合,例如基于时间差异和政策梯度的算法。我们通过将先验知识表示为可用于各种任务(例如导航任务)的一般确定性规则来开发此贝叶斯转移RL框架的特定实例。此外,我们通过开发一种新的时间学习算法详细阐述了近期概率的熵正则化RL,并展示了如何将其与贝叶斯转移RL相结合。最后,我们展示了解决迷宫的方法,并证明可以获得显着的加速。
translated by 谷歌翻译
我们引入了完全可扩展的高斯过程,这是一种实现方案,解决了与高维输入数据一起处理大量训练实例的问题。我们的关键思想是在诱导变量(称为子空间诱导输入)之上的表示技巧。这与基于矩阵预处理的变分分布的参数化相结合,这导致简化和数值稳定的变分下界。我们的说明性应用程序基于挑战极端多标签分类问题,以及大量类标签的额外负担。我们通过呈现预测性能以及具有极大数量的实例和输入维度的低计算时间indatase来证明我们的方法的有用性。
translated by 谷歌翻译
The reparameterization gradient has become a widely used method to obtainMonte Carlo gradients to optimize the variational objective. However, thistechnique does not easily apply to commonly used distributions such as beta orgamma without further approximations, and most practical applications of thereparameterization gradient fit Gaussian distributions. In this paper, weintroduce the generalized reparameterization gradient, a method that extendsthe reparameterization gradient to a wider class of variational distributions.Generalized reparameterizations use invertible transformations of the latentvariables which lead to transformed distributions that weakly depend on thevariational parameters. This results in new Monte Carlo gradients that combinereparameterization gradients and score function gradients. We demonstrate ourapproach on variational inference for two complex probabilistic models. Thegeneralized reparameterization is effective: even a single sample from thevariational distribution is enough to obtain a low-variance gradient.
translated by 谷歌翻译
由于学习技术的进步,问题回答最近得到了人工智能社区的高度关注。早期的问答模式使用了基于规则的方法,并采用统计方法来解决大量可用的信息。然而,统计方法在处理动态性质和语言变化方面表现不佳。因此,学习模型已经显示出处理动态性质和语言变化的能力。许多深思熟虑的方法已被引入问答。与机器学习和统计方法相比,大多数深度学习方法都显示出更高的成果。语言的动态性质得益于深度学习中的非线性学习。这已经创造了突出的成功和问答的工作激增。本文讨论了在这些挑战中使用的问答系统和技术的问题和挑战。
translated by 谷歌翻译
基于端到端,自回归模型的TTS已经显示出优于传统的TTS的显着性能改进。然而,自回归模块训练受到暴露偏差或实际数据和预测数据的不同分布之间的不匹配的影响。虽然实际数据在培训中可用,但在测试中,只有预测数据可用于提供自回归模块。通过在训练中引入实际和生成的数据序列,我们可以减轻暴露偏差的影响。我们建议使用Generative Adversarial Network(GAN)以及教授强制训练的关键思想。 GAN中的鉴别器被联合训练以使真实数据和预测数据之间的差异均衡。在AB主观测试中,结果表明新方法优于标准转移学习,CMOS改进为0.1。句子水平可懂度测试显示病理学测试集显着改善.GAN训练的新模型也比基线更稳定,以产生更好的Tacotron输出比对。
translated by 谷歌翻译
可以直接从给定的字素或音素序列预测语音的端到端TTS已经表现出比传统TTS更好的性能。然而,其预测能力仍然受到训练数据的声学/语音覆盖的限制,通常受到训练集大小的约束。为了进一步提高发音,韵律和感知自然度的TTS质量,我们建议利用嵌入在句法解析树中的信息,其中句子的词组间/词语信息在多级树结构中组织。具体来说,研究了两个关键特征:短语结构和相邻词之间的关系。在三个测试集上测量的主观听力的实验结果表明,所提出的方法有效地提高了基线合成语音的发音清晰度,韵律和自然度。系统。
translated by 谷歌翻译
活动识别是一个具有挑战性的问题,有许多实际应用。除了视觉特征之外,最近的方法还受益于上下文的使用,例如,活动和对象之间的相互关系。然而,这些方法需要标记数据,事先完全可用,并且不能设计为连续更新,这使得它们不适合于监视应用。相比之下,我们提出了一种基于无标签视频的情境感知活动识别的连续学习框架,与现有方法相比具有两个明显的优势。首先,它采用了一种新颖的主动学习技术,不仅利用了个体活动的信息性,而且利用了它们。查询选择过程中的上下文信息;这导致显着减少廉价的手动注释工作。其次,随着更多数据的可用,学习模型可以在线调整。我们制定了一个对上下文进行编码的条件随机场模型,并设计了一种信息理论方法,利用节点的熵和互信息来计算由人类标记的大多数信息查询集合。这些标签与图形推理技术相结合,用于增量更新。我们通过分析解决方案提供主动学习框架的理论公式。六个具有挑战性的数据集的实验表明,我们的框架可以实现卓越的性能,同时显着减少手动标记。
translated by 谷歌翻译
在本文中,我们开发了核密度估计(KDE)方法,在紧凑的流形上进行模拟和预测复现轨迹。对于本文的目的,轨迹是由潜在的隐藏动力系统定义的相空间中的一系列坐标。我们的工作受到早期工作的启发,这些工作使用KDE来检测航运异常,使用高密度,高质量的自动信息系统(AIS)数据以及我们早期的轨迹建模工作。我们特别关注稀疏,噪声轨迹重建问题,其中数据是(i)稀疏采样和(ii)受到引入噪声的不完美观察者的影响。在某些非正规性假设下,我们证明了构造的估计量最小化了轨迹上定义的非特定能量函数,因为样本的数量增加了。
translated by 谷歌翻译
准确识别解剖标志是颅颌面(CMF)骨骼变形分析和手术计划的关键步骤。可用方法需要对感兴趣的对象进行分割以进行精确的标记。与此类似,我们在本研究中的目的是使用CMF骨骼的固有关系来执行解剖标记,而无需明确地对其进行分割。我们提出了一种新的深度网络架构,称为关系推理网络(RRN),用于准确了解地标的局部和全局关系。具体而言,我们感兴趣的是学习CMF区域中的地标:下颌骨,上颌骨和鼻骨。所提出的RRN以端到端的方式工作,利用基于密集块单元的地标的学习关系,而不需要分段。对于给定的几个界标作为输入,所提出的系统准确且有效地将剩余的界标定位在上述骨骼上。为了全面评估RRN,我们对250名患者进行了锥形束计算机断层扫描(CBCT)扫描。即使在骨骼中存在严重的病理或变形时,所提出的系统也非常准确地识别界标位置。建议的RRN还揭示了地标之间的独特关系,这有助于我们推断出几个有关地标点信息的推理。 RRN对于标记的顺序是不变的,并且它允许我们发现在感兴趣的对象(下颌骨)或附近的对象(上颌骨和鼻窦)内定位的地标的最佳配置(数量和位置)。据我们所知,这是第一个使用深度学习找到对象解剖关系的算法。
translated by 谷歌翻译