The likelihood model of high dimensional data X n can often be expressed as p(X n |Z n , θ), where θ := (θ k) k∈[K] is a collection of hidden features shared across objects, indexed by n, and Z n is a non-negative factor loading vector with K entries where Z nk indicates the strength of θ k used to express X n. In this paper, we introduce random function priors for Z n for modeling correlations among its K dimensions Z n1 through Z nK , which we call population random measure embedding (PRME). Our model can be viewed as a generalized paintbox model (Broderick et al., 2013) using random functions, and can be learned efficiently with neural networks via amortized variational inference. We derive our Bayesian nonparametric method by applying a representation theorem on separately exchangeable discrete random measures.
translated by 谷歌翻译
更广泛采用神经网络的障碍是缺乏可解释性。虽然存在用于一个预测的局部解释方法,但是大多数全局属性仍然将神经网络决策减少到单个特征集。作为回应,我们提出了一种生成全球分布的方法,称为GAM,它解释了亚群体中神经网络预测的前景。 GAM使用每个归因最佳解释的样本比例来增加全局解释,并指定每个归因描述的样本。全局解释也具有无法检测更多或更少亚群的粒度。我们证明了GAM的全局解释1)产生了模拟数据的已知特征重要性,2)匹配realdata上可解释统计模型的特征权重,3)通过用户研究对从业者来说是直观的。通过更透明的预测,GAM可以帮助确保生成神经网络决策的正确原因。
translated by 谷歌翻译
用于诸如递归神经网络(RNN)的顺序数据的模型经常隐含地将序列建模为在观察之间具有固定的时间间隔,并且当观察到多个序列时不考虑组级效应。我们提出了一种基于RNN的分组顺序数据模型,该模型通过学习每个序列可以恢复的组级基本参数来考虑序列中观察之间的变化时间间隔。 Ourapproach受混合成员资格框架的推动,我们展示了它如何用于动态主题建模,其中主题(不是主题本身)的分布正在及时发展。我们展示了我们对206K客户制作的340万个在线购物订单的adataset的方法。
translated by 谷歌翻译
集成学习是现代数据科学实践的支柱。 Conventionalensemble算法为基本模型分配一组确定性,恒定模型权重,这些权重(1)不完全考虑子组间基本模式的变化,也不(2)提供对于预测的不确定性估计,这可能导致误校准(即精确校准)但有偏见的预测可能反过来对实词应用程序中的算法性能产生负面影响。在这项工作中,我们提出了一种自适应的概率方法,用于集合学习,使用依赖的无尾过程作为集合权重先验。给定输入特征$ \ mathbf {x} $,我们的方法在特征空间$ \ mathbf {x} \ in \ mathcal {X} $中基于预测精度最佳地组合基础模型,并在模型选择和集合中提供可解释的不确定性估计预测。为了鼓励可扩展和校准推理,我们推导出一种结构化变分推理算法,该算法共同最小化KL目标和模型的校准分数(即连续排名概率分数(CRPS))。我们将该方法用于合成非线性函数回归任务,以及新英格兰粒子污染预测模型的时空整合的实际应用。
translated by 谷歌翻译
我们提出了一种基于特征聚合的简单而有效的深层树结构融合模型,用于解决问题。我们认为,通过有效地聚合特征,一个相对简单的网络仍然可以很好地处理严格的图像延迟问题。首先,为了捕捉雨的空间结构,我们使用了相关的卷积作为我们的基本网络块。然后,我们设计了atree结构的融合架构,该架构部署在每个块(空间信息)和所有块(内容信息)中。我们的方法基于相邻特征包含冗余信息的假设。这种冗余阻碍了新表示的产生,并且可以通过分层融合相邻特征来减少。因此,所提出的模型更紧凑并且可以有效地使用空间和内容信息。对合成和真实世界数据集的实验表明,我们的网络以更少的参数实现更好的取消结果。
translated by 谷歌翻译
由于缺乏模型可解释性,金融服务行业的深度学习应用受到限制。然而,已经提出了几种技术来解释由神经网络做出的预测。我们对这些技术进行初步调查,以评估神经网络的信用风险。
translated by 谷歌翻译
医学图像数据内的病变分析对于有效的疾病诊断,治疗和预后是期望的。常见的病变分析任务(如分割和分类)主要基于具有良好配对的图像级或体素级标签的监督学习。然而,在医学图像中标记病变是非常费力的,需要高度专业化的知识。由于放射科医师根据专家知识进行诊断,根据广泛的经验发展出“健康”和“不健康”,我们提出了一种名为异常的医学图像合成模型。翻译生成性对抗网络(ANT-GAN)基于其看起来异常的对应物来预测看似正常的医学图像,而不需要用于训练的配对数据。与典型的GAN不同,其目的是生成具有变化的真实样本,我们更具限制性的模型旨在产生与包含病变的图像相对应的基本的正常外观图像,因此需要专门的设计。由于具有从异常组织中分割正常的能力,我们的模型能够基于其真实的包含病变的对应物生成高度逼真的无病变医学图像。能够提供医学图像的“正常”版本(如果有noillness,可能是相同的图像)不仅是一个有趣的主题,而且还可以作为预处理并为医学成像任务提供有用的辅助信息,如病变分割或我们的实验验证了分类。
translated by 谷歌翻译
在本文中,我们提出了一种全监督扬声器二值化方法,称为无界交错状态递归神经网络(UIS-RNN)。来自输入容量的提取的说话者判别嵌入(a.k.a.d-向量),每个单独的说话者由参数共享RNN建模,而不同说话者的RNN状态在时域中交织。 ThisRNN自然地与距离相关的中国餐馆进程(ddCRP)集成,以容纳未知数量的发言者。我们的系统受到严格监督,并能够从带有时间标记的扬声器标签的示例中学习。我们在NIST SRE2000 CALLHOME上实现了7.6%的diarization错误率,这比使用光谱聚类的最先进方法更好。此外,我们的方法以在线方式解码,而大多数最先进的系统依赖于离线群集。
translated by 谷歌翻译
我们开发了随机变分推理,一种可扩展的算法,用于后验分布。我们为大类概率模型开发了这种技术,我们用两个概率特征模型,潜在Dirichlet分配和分层Dirichlet过程主题模型来证明它。使用随机变分推理,我们分析了几个大型文档集:来自Nature的300K篇文章,来自纽约时报的1.8M文章和来自Wikipedia的3.8M文章。随机推断可以很好地处理这种大小的数据集,并且优于传统的变分推理,传统的变分推理只能处理较小的子集。 (我们还表明,贝叶斯非参数主题模型优于其参数对应物。)随机变分推理允许我们将复杂的贝叶斯模型应用于大规模数据集。
translated by 谷歌翻译
Mean-field variational inference is a method for approximate Bayesianposterior inference. It approximates a full posterior distribution with afactorized set of distributions by maximizing a lower bound on the marginallikelihood. This requires the ability to integrate a sum of terms in the logjoint likelihood using this factorized distribution. Often not all integralsare in closed form, which is typically handled by using a lower bound. Wepresent an alternative algorithm based on stochastic optimization that allowsfor direct optimization of the variational lower bound. This method usescontrol variates to reduce the variance of the stochastic search gradient, inwhich existing lower bounds can play an important role. We demonstrate theapproach on two non-conjugate models: logistic regression and an approximationto the HDP.
translated by 谷歌翻译