我们介绍了一种基于功能空间上的近似贝叶斯推理而不是深度神经网络参数的有监督连续学习的新方法。我们使用通过将神经网络的最后一层的权重视为随机和高斯分布而获得的高斯过程。用于连续学习的功能正则化自然地通过以顺序方式应用变分稀疏GP推理方法来遇到新任务。在该过程的每个步骤中,构造当前任务的概要,其包括(i)诱导输入和(ii)在这些输入处的函数值的后验分布。本摘要通过出现在变分下界中的Kullback-Leiblerregularisation术语来定期学习未来任务,并减少灾难性遗忘的影响。我们充分发展了方法理论,并证明了它在分类数据集中的有效性,如Split-MNIST,Permuted-MNIST和Omniglot。
translated by 谷歌翻译
Dropout是一种用于训练神经网络的随机正则化技术,最近被重新解释为贝叶斯神经网络的一种特定类型的近似推理算法。解释的主要贡献在于提供用于分析和扩展算法的理论框架。我们表明,拟议的框架存在几个问题;从真正的后验与使用不正确的先验的不确定或病态行为,到不明确的变分目标,相对于真实后验的近似分布的奇异性。我们对在变分高斯辍学中使用的不正确对数统一的分析表明,病理学通常是不可挽救的,并且该算法仍然有效,因为变分公式使一些病理学失效。为了解决奇点问题,我们提出了准KL(QKL)散度,一种用于近似高维分布的新近似推理目标。我们表明,基于离散化和噪声的变分伯努利辍学的动机将QKL作为一个极限。在理论上和简单的实际例子中研究了QKL的性质,这表明具有退化的全高斯高斯的QKL最优近似自然导致主成分分析解决方案。
translated by 谷歌翻译
虽然深度神经网络已经显示出很大的经验成功,但要理解它们的理论属性还有很多工作要做。在本文中,我们研究了具有多个隐藏层的随机,宽,​​完全连接,前馈网络和具有递归内核定义的高斯过程之间的关系。我们表明,在广泛的条件下,随着建筑越来越广泛,隐含的随机函数将分布收敛到高斯过程,将Neal(1996)的现有结果形式化并扩展到深层网络。为了准确地评估收敛速度,我们使用最大均值差异。然后,我们将有限贝叶斯深度网络从文献中与高斯过程进行比较,得出关键预测量,发现在某些情况下协议可能非常接近。我们讨论了高斯过程行为的可取性,并从文献中回顾了非高斯替代模型。
translated by 谷歌翻译
GPflow是一个高斯过程库,它使用TensorFlow进行核心计算,使用Python作为前端。 GPflow的显着特点是它使用变分推理作为主要的近似方法,通过使用自动差异提供简洁的代码,特别强调软件测试,并且能够开发GPU硬件。
translated by 谷歌翻译
Gaussian process (GP) models form a core part of probabilistic machinelearning. Considerable research effort has been made into attacking threeissues with GP models: how to compute efficiently when the number of data islarge; how to approximate the posterior when the likelihood is not Gaussian andhow to estimate covariance function parameter posteriors. This papersimultaneously addresses these, using a variational approximation to theposterior which is sparse in support of the function but otherwise free-form.The result is a Hybrid Monte-Carlo sampling scheme which allows for anon-Gaussian approximation over the function values and covariance parameterssimultaneously, with efficient computations based on inducing-point sparse GPs.Code to replicate each experiment in this paper will be available shortly.
translated by 谷歌翻译
如今几乎任何给定的任务都可以使用深网动物园,并且越来越不清楚在处理新任务时要从哪个网开始,或者将网用作初始化以微调新模型。为了解决这个问题,在本文中,我们开发了知识流,将“知识”从多个深层网络(称为教师)移动到一个新的深度网络模型,称为学生。教师和学生的结构可以不同,他们可以在不同的输出空间上完成不同任务的训练。在通过知识流程进行培训后,学生将独立于教师。我们展示了我们对各种监督和执行学习任务的方法,超越了微调和其他“知识交换”方法。
translated by 谷歌翻译
我们提出了一个动态四足运动的框架,在挑战中,选择合适的立足点对于行为的成功至关重要。我们使用有效的占用网格表示在线和在线构建环境模型。我们使用Any-time-Repairing A *(ARA *)在树上搜索可能的动作,选择粗糙的身体路径并相应地选择局部最佳的立足点。我们使用动态稳定性指标ZeroMoment Point(ZMP)对身体轨迹进行n步式前瞻优化,生成自然动态的全身运动。浮动基础逆动力学和虚拟模型的组合在一个积极顺应的系统上执行所需的运动。实验试验表明,这个框架允许我们以前一次工作速度的6倍的速度穿越地形,在同一组房间进行评估。
translated by 谷歌翻译
我们提出了一种有腿运动规划方法,用于四足运动过度挑战的地形。我们将问题分解为身体动作计划和足迹计划。我们使用晶格表示和一组定义的身体运动原语来计算身体动作计划。格子表示允许我们计划多种运动,确保每个可能的计划的可行性。为此,我们提出了一组规则来定义脚步搜索区域和给定身体动作的足迹序列。我们使用Anytime Repairing A *(ARA *)搜索来保证有限的次优计划。我们的主要贡献是生成在线多功能运动的计划方法。实验性试验证明了我们在一系列具有挑战性的地形条件下的计划方法。地形信息和计划是在线和在线计算的。
translated by 谷歌翻译
我们提供Column2Vec,它是基于列元数据的数据库列的分布式表示。我们的分布式表示有几个应用程序。使用列组的已知名称(即表名),我们训练模型为未命名表中的列生成适当的名称。我们使用从GitHub上的开源应用程序收集的模式信息来演示我们的方法的可行性。
translated by 谷歌翻译
本报告概述了利用大数据革命和大规模计算解决多信使天体物理学中的重大计算挑战的最新工作,特别强调实时发现活动。该文件承认了多信使天体物理学的跨学科性质,由物理学家,天文学,计算机科学,数据科学,软件和网络基础设施社区的成员编写,他们参加了NSF-,DOE-和NVIDIA资助的“多信使天体物理学的深度学习”。 :实时发现规模“研讨会,于2018年10月17日至19日在国家超级计算应用中心举办。本报告的重点包括一致同意这对于加速新型信号处理算法的开发和部署至关重要。利用人工智能(AI)和高性能计算之间的协同作用,最大限度地发挥Multi-Messenger天体物理学的潜在科学发现。我们讨论了实现这一努力的关键方面,即(i)为多信使天体物理学设计和利用可扩展和计算效率高的AI算法;(ii)数字模拟天体物理资源的网络基础设施要求,以及处理和解释多信使天体物理学数据; (iii)管理引力波探测和触发以实现电磁和天体粒子跟踪; (iv)利用未来发展的机器和深度学习以及网络基础设施资源的愿景与大数据时代的发现规模相结合; (v)需要建立一个社区,将领域专家与数据科学家一起进行平等,以最大限度地加速发现多信天体物理学的新兴领域。
translated by 谷歌翻译