我们介绍了一种基于功能空间上的近似贝叶斯推理而不是深度神经网络参数的有监督连续学习的新方法。我们使用通过将神经网络的最后一层的权重视为随机和高斯分布而获得的高斯过程。用于连续学习的功能正则化自然地通过以顺序方式应用变分稀疏GP推理方法来遇到新任务。在该过程的每个步骤中,构造当前任务的概要,其包括(i)诱导输入和(ii)在这些输入处的函数值的后验分布。本摘要通过出现在变分下界中的Kullback-Leiblerregularisation术语来定期学习未来任务,并减少灾难性遗忘的影响。我们充分发展了方法理论,并证明了它在分类数据集中的有效性,如Split-MNIST,Permuted-MNIST和Omniglot。
translated by 谷歌翻译
Dropout是一种用于训练神经网络的随机正则化技术,最近被重新解释为贝叶斯神经网络的一种特定类型的近似推理算法。解释的主要贡献在于提供用于分析和扩展算法的理论框架。我们表明,拟议的框架存在几个问题;从真正的后验与使用不正确的先验的不确定或病态行为,到不明确的变分目标,相对于真实后验的近似分布的奇异性。我们对在变分高斯辍学中使用的不正确对数统一的分析表明,病理学通常是不可挽救的,并且该算法仍然有效,因为变分公式使一些病理学失效。为了解决奇点问题,我们提出了准KL(QKL)散度,一种用于近似高维分布的新近似推理目标。我们表明,基于离散化和噪声的变分伯努利辍学的动机将QKL作为一个极限。在理论上和简单的实际例子中研究了QKL的性质,这表明具有退化的全高斯高斯的QKL最优近似自然导致主成分分析解决方案。
translated by 谷歌翻译
虽然深度神经网络已经显示出很大的经验成功,但要理解它们的理论属性还有很多工作要做。在本文中,我们研究了具有多个隐藏层的随机,宽,​​完全连接,前馈网络和具有递归内核定义的高斯过程之间的关系。我们表明,在广泛的条件下,随着建筑越来越广泛,隐含的随机函数将分布收敛到高斯过程,将Neal(1996)的现有结果形式化并扩展到深层网络。为了准确地评估收敛速度,我们使用最大均值差异。然后,我们将有限贝叶斯深度网络从文献中与高斯过程进行比较,得出关键预测量,发现在某些情况下协议可能非常接近。我们讨论了高斯过程行为的可取性,并从文献中回顾了非高斯替代模型。
translated by 谷歌翻译
GPflow是一个高斯过程库,它使用TensorFlow进行核心计算,使用Python作为前端。 GPflow的显着特点是它使用变分推理作为主要的近似方法,通过使用自动差异提供简洁的代码,特别强调软件测试,并且能够开发GPU硬件。
translated by 谷歌翻译
Gaussian process (GP) models form a core part of probabilistic machinelearning. Considerable research effort has been made into attacking threeissues with GP models: how to compute efficiently when the number of data islarge; how to approximate the posterior when the likelihood is not Gaussian andhow to estimate covariance function parameter posteriors. This papersimultaneously addresses these, using a variational approximation to theposterior which is sparse in support of the function but otherwise free-form.The result is a Hybrid Monte-Carlo sampling scheme which allows for anon-Gaussian approximation over the function values and covariance parameterssimultaneously, with efficient computations based on inducing-point sparse GPs.Code to replicate each experiment in this paper will be available shortly.
translated by 谷歌翻译
本报告概述了利用大数据革命和大规模计算解决多信使天体物理学中的重大计算挑战的最新工作,特别强调实时发现活动。该文件承认了多信使天体物理学的跨学科性质,由物理学家,天文学,计算机科学,数据科学,软件和网络基础设施社区的成员编写,他们参加了NSF-,DOE-和NVIDIA资助的“多信使天体物理学的深度学习”。 :实时发现规模“研讨会,于2018年10月17日至19日在国家超级计算应用中心举办。本报告的重点包括一致同意这对于加速新型信号处理算法的开发和部署至关重要。利用人工智能(AI)和高性能计算之间的协同作用,最大限度地发挥Multi-Messenger天体物理学的潜在科学发现。我们讨论了实现这一努力的关键方面,即(i)为多信使天体物理学设计和利用可扩展和计算效率高的AI算法;(ii)数字模拟天体物理资源的网络基础设施要求,以及处理和解释多信使天体物理学数据; (iii)管理引力波探测和触发以实现电磁和天体粒子跟踪; (iv)利用未来发展的机器和深度学习以及网络基础设施资源的愿景与大数据时代的发现规模相结合; (v)需要建立一个社区,将领域专家与数据科学家一起进行平等,以最大限度地加速发现多信天体物理学的新兴领域。
translated by 谷歌翻译
ChronoMID建立在跨模态卷积神经网络(X-CNN)成功的基础上,使该技术应用于医学成像数据。具体而言,本文介绍并比较了替代方法 - 时间戳和差异图像 - 以结合时间信息用于小鼠骨病的分类,应用于小鼠的微CT扫描。虽然之前关于疾病和疾病分类的许多工作都是基于结合了领域专业知识和假设的明确编码的数学模型,但是这里给出的方法利用计算资源的增长可用性来分析大数据集并且在空间和时间上都没有发现模式。在对平衡的75000幅图像进行训练之后,所有包含时间特征的模型在包含超过20000幅图像的看不见的平衡验证集上优于最新的CNN基线。表现最佳的模型准确率达到99.54%,而CNN基线达到73.02%。
translated by 谷歌翻译
在本文中,我们将树重加序列方法中提出的标准置信传播(BP)序列技术扩展到具有测地距离亲和力的完全连接的CRF模型。该方法已应用于立体匹配问题。此外,我们提出了一种新的BP算法解决方案,我们称之为单视点遮挡检测(OVOD)。与标准赢家进行全部(WTA)估计相比,提出的OROD解决方案允许在视差图中找到遮挡区域并同时改善匹配结果。因此,我们只能执行一个能量最小化过程,并避免第二个视图和左右检查过程的成本计算。我们表明,OVOD方法显着改善了成本增加和能量最小化技术的结果,与标准的单视图亲和空间实现相比。我们将方法应用于Middlebury数据集,并达到最先进的特别是形成者,平均和均方误差指标。
translated by 谷歌翻译
无监督域适应(UDA)对目标域进行预测,而手动注释仅在源域中可用。以前的方法可以最大限度地减少域差异,忽略类信息,这可能导致错位和泛化性能差。为了解决这个问题,本文提出了对比适应网络(CAN)优化新的度量,它明确地模拟了类内域差异和类间域差异。我们设计了一种以端到端方式加速CAN的交替更新策略。在两个真实世界的基准测试中的实验表明,CAN-31和VisDA-2017表明CAN对最先进的方法表现出色,并产生更多的辨别特征。我们很快就会发布代码。
translated by 谷歌翻译
深度生成模型的隐含目标是,这种模型应该能够生成先前在训练数据中看不到的新例子。在本文中,我们研究了这种属性在多大程度上适用于广泛采用的变分自动编码器(VAE)架构。 VAE最大化了对数边际可能性的下限,这意味着当提供足够表达的解码器时,它们将原则上过度拟合训练数据。在无限容量解码器的极限中,最优生成模型是训练数据上的均匀混合。更一般地,最佳解码器应该在训练数据中的示例上输出加权平均值,其中权重的大小由潜在空间中的邻近度确定。这导致了这样的假设:对于低容量的高容量编码器和解码器,VAE解码器将根据潜在空间中的坐标执行最近邻匹配。通过这个假设,我们研究了MNIST数据集的推广。我们考虑对先前看到的类的新示例的概括,以及对从训练集中隐瞒的类的概括。在这两个案例中,我们发现重建是由最近邻居密切近似的,用于更高维度的参数化。然而,当推广到unseenclasses时,低维参数化提供了明显的优势。
translated by 谷歌翻译