We describe latent Dirichlet allocation (LDA), a generative probabilistic model for collections of discrete data such as text corpora. LDA is a three-level hierarchical Bayesian model, in which each item of a collection is modeled as a finite mixture over an underlying set of topics. Each topic is, in turn, modeled as an infinite mixture over an underlying set of topic probabilities. In the context of text modeling, the topic probabilities provide an explicit representation of a document. We present efficient approximate inference techniques based on variational methods and an EM algorithm for empirical Bayes parameter estimation. We report results in document modeling, text classification, and collaborative filtering, comparing to a mixture of unigrams model and the probabilistic LSI model.

We develop stochastic variational inference, a scalable algorithm for approximating posterior distributions. We develop this technique for a large class of probabilistic models and we demonstrate it with two probabilistic topic models, latent Dirichlet allocation and the hierarchical Dirichlet process topic model. Using stochastic variational inference, we analyze several large collections of documents: 300K articles from Nature, 1.8M articles from The New York Times, and 3.8M articles from Wikipedia. Stochastic inference can easily handle data sets of this size and outperforms traditional variational inference, which can only handle a smaller subset. (We also show that the Bayesian nonparametric topic model outperforms its parametric counterpart.) Stochastic variational inference lets us apply complex Bayesian models to massive data sets.

One of the core problems of modern statistics is to approximate difficult-to-compute probability densities. This problem is especially important in Bayesian statistics, which frames all inference about unknown quantities as a calculation involving the posterior density. In this paper, we review variational inference (VI), a method from machine learning that approximates probability densities through optimization. VI has been used in many applications and tends to be faster than classical methods, such as Markov chain Monte Carlo sampling. The idea behind VI is to first posit a family of densities and then to find the member of that family which is close to the target. Closeness is measured by Kullback-Leibler divergence. We review the ideas behind mean-field variational inference, discuss the special case of VI applied to exponential family models, present a full example with a Bayesian mixture of Gaussians, and derive a variant that uses stochastic optimization to scale up to massive data. We discuss modern research in VI and highlight important open problems. VI is powerful, but it is not yet well understood. Our hope in writing this paper is to catalyze statistical research on this class of algorithms.

This paper presents a tutorial introduction to the use of variational methods for inference and learning in graphical models (Bayesian networks and Markov random fields). We present a number of examples of graphical models, including the QMR-DT database, the sigmoid belief network, the Boltzmann machine, and several variants of hidden Markov models, in which it is infeasible to run exact inference algorithms. We then introduce variational methods, which exploit laws of large numbers to transform the original graphical model into a simplified graphical model in which inference is efficient. Inference in the simpified model provides bounds on probabilities of interest in the original model. We describe a general framework for generating variational transformations based on convex duality. Finally we return to the examples and demonstrate how variational algorithms can be formulated in each case.

分析短文（例如社交媒体帖子）由于其固有的简洁而非常困难。除了对此类帖子的主题进行分类之外，一个常见的下游任务是将这些文档的作者分组以进行后续分析。我们提出了一个新颖的模型，该模型通过对同一文档中的单词之间的强大依赖进行建模以及用户级主题分布来扩展潜在的Dirichlet分配。我们还同时群集用户，消除了对事后集群估计的需求，并通过将嘈杂的用户级主题分布缩小到典型值来改善主题估计。我们的方法的性能和比传统方法的性能（或更好），我们在美国参议员的推文数据集中证明了它的有用性，恢复了反映党派意识形态的有意义的主题和群集。我们还通过表征参议员群体讨论并提供不确定性量化的主题的遗产，从而在这些政治家中开发了一种新的回声室衡量标准。

这项正在进行的工作旨在为统计学习提供统一的介绍，从诸如GMM和HMM等经典模型到现代神经网络（如VAE和扩散模型）缓慢地构建。如今，有许多互联网资源可以孤立地解释这一点或新的机器学习算法，但是它们并没有（也不能在如此简短的空间中）将这些算法彼此连接起来，或者与统计模型的经典文献相连现代算法出现了。同样明显缺乏的是一个单一的符号系统，尽管对那些已经熟悉材料的人（如这些帖子的作者）不满意，但对新手的入境造成了重大障碍。同样，我的目的是将各种模型（尽可能）吸收到一个用于推理和学习的框架上，表明（以及为什么）如何以最小的变化将一个模型更改为另一个模型（其中一些是新颖的，另一些是文献中的）。某些背景当然是必要的。我以为读者熟悉基本的多变量计算，概率和统计以及线性代数。这本书的目标当然不是​​完整性，而是从基本知识到过去十年中极强大的新模型的直线路径或多或少。然后，目标是补充而不是替换，诸如Bishop的\ emph {模式识别和机器学习}之类的综合文本，该文本现在已经15岁了。

期望 - 最大化（EM）算法是一种简单的元叠加，当观察到的数据中缺少测量值或数据由可观察到的数据组成时，它已多年来用作统计推断的方法。它的一般属性进行了充分的研究，而且还有无数方法将其应用于个人问题。在本文中，我们介绍了$ em $ $ and算法，EM算法的信息几何公式及其扩展和应用程序以及各种问题。具体而言，我们将看到，可以制定一个异常稳定推理算法，用于计算通道容量的算法，概率单纯性的参数估计方法，特定的多变量分析方法，例如概率模型中的主要组件分析和模态回归中的主成分分析，基质分解和学习生成模型，这些模型最近从几何学角度引起了深度学习的关注。

主题进化建模近几十年来收到了重大关注。虽然已经提出了各种主题演进模型，但大多数研究都关注单一文件语料库。但是，在实践中，我们可以轻松访问来自多个来源的数据，并且还可以观察它们之间的关系。然后，识别多个文本语料库之间的关系并进一步利用这种关系来提高主题建模。在这项工作中，我们专注于两个文本语料库之间的特殊关系，我们将其定义为“滞后关系”。这种关系表征了一个文本语料库会影响未来在另一个文本语料库中讨论的主题的现象。要发现引导滞后关系，我们提出了一个共同动态的主题模型，并开发了嵌入扩展，以解决大规模文本语料库的建模问题。通过认可的引导关系，可以改善两个文本语料库的相似性，可以改善在两种语料中学习的主题质量。我们使用合成数据进行数值调查联合动态主题建模方法的性能。最后，我们在两个文本语料库上应用拟议的模型，包括统计文件和毕业论文。结果表明，拟议的模型可以很好地认识到两种语料库之间的引导滞后关系，也发现了两种语料库的具体和共享主题模式。

贝叶斯网络是一种图形模型，用于编码感兴趣的变量之间的概率关系。当与统计技术结合使用时，图形模型对数据分析具有几个优点。一个，因为模型对所有变量中的依赖性进行编码，因此它易于处理缺少某些数据条目的情况。二，贝叶斯网络可以用于学习因果关系，因此可以用来获得关于问题域的理解并预测干预的后果。三，因为该模型具有因果和概率语义，因此是结合先前知识（通常出现因果形式）和数据的理想表示。四，贝叶斯网络与贝叶斯网络的统计方法提供了一种有效和原则的方法，可以避免数据过剩。在本文中，我们讨论了从先前知识构建贝叶斯网络的方法，总结了使用数据来改善这些模型的贝叶斯统计方法。关于后一项任务，我们描述了学习贝叶斯网络的参数和结构的方法，包括使用不完整数据学习的技术。此外，我们还联系了贝叶斯网络方法，以学习监督和无监督学习的技术。我们说明了使用真实案例研究的图形建模方法。

应用于潜在的Dirichlet分配（LDA）的变异贝叶斯（VB）已成为方面建模最受欢迎的算法。尽管从大型语料库中提取文本主题方面取得了足够的成功，但VB在识别有限数据的情况下识别方面的成功较少。我们提出了通过应用于潜在的Dirichlet分配（LDA）的新型变分信息，并将其与金标准VB进行比较并崩溃的Gibbs采样。在边缘化导致非混合消息的情况下，我们使用采样的想法来得出近似更新方程。如果存在共轭，则使用Loopy信念更新（LBU）（也称为Lauritzen-Spiegelhalter）。我们的算法Albu（近似LBU）与变异消息传递（VMP）具有很强的相似性（这是VB的消息传递变体）。为了比较在有限数据的存在下算法的性能，我们使用由推文和新闻组组成的数据集。此外，为了执行更多细性的评估和比较，我们使用模拟通过Kullback-Leibler Divergence（KLD）进行比较，以进行比较。使用文本语料库和KLD的相干度量与我们显示的模拟相比，Albu比VB更准确地学习潜在分布，尤其是对于较小的数据集。

象征性的AI社区越来越多地试图在神经符号结构中接受机器学习，但由于文化障碍，仍在挣扎。为了打破障碍，这份相当有思想的个人备忘录试图解释和纠正统计，机器学习和深入学习的惯例，从局外人的角度进行深入学习。它提供了一个分步协议，用于设计一个机器学习系统，该系统满足符号AI社区认真对待所必需的最低理论保证，即，它讨论“在哪些条件下，我们可以停止担心和接受统计机器学习。 “一些亮点：大多数教科书都是为计划专门研究STAT/ML/DL的人编写的，应该接受术语。该备忘录适用于经验丰富的象征研究人员，他们听到了很多嗡嗡声，但仍然不确定和持怀疑态度。有关STAT/ML/DL的信息目前太分散或嘈杂而无法投资。此备忘录优先考虑紧凑性，并特别注意与象征性范式相互共鸣的概念。我希望这份备忘录能节省时间。它优先考虑一般数学建模，并且不讨论任何特定的函数近似器，例如神经网络（NNS），SVMS，决策树等。它可以对校正开放。将此备忘录视为与博客文章相似的内容，采用有关Arxiv的论文的形式。

The success of machine learning algorithms generally depends on data representation, and we hypothesize that this is because different representations can entangle and hide more or less the different explanatory factors of variation behind the data. Although specific domain knowledge can be used to help design representations, learning with generic priors can also be used, and the quest for AI is motivating the design of more powerful representation-learning algorithms implementing such priors. This paper reviews recent work in the area of unsupervised feature learning and deep learning, covering advances in probabilistic models, auto-encoders, manifold learning, and deep networks. This motivates longer-term unanswered questions about the appropriate objectives for learning good representations, for computing representations (i.e., inference), and the geometrical connections between representation learning, density estimation and manifold learning.

This work considers a computationally and statistically efficient parameter estimation method for a wide class of latent variable models-including Gaussian mixture models, hidden Markov models, and latent Dirichlet allocation-which exploits a certain tensor structure in their low-order observable moments (typically, of second-and third-order). Specifically, parameter estimation is reduced to the problem of extracting a certain (orthogonal) decomposition of a symmetric tensor derived from the moments; this decomposition can be viewed as a natural generalization of the singular value decomposition for matrices. Although tensor decompositions are generally intractable to compute, the decomposition of these specially structured tensors can be efficiently obtained by a variety of approaches, including power iterations and maximization approaches (similar to the case of matrices). A detailed analysis of a robust tensor power method is provided, establishing an analogue of Wedin's perturbation theorem for the singular vectors of matrices. This implies a robust and computationally tractable estimation approach for several popular latent variable models.

本文开发了一个贝叶斯图形模型，用于融合不同类型的计数数据。激励的应用是从不同治疗方法收集的各种高维特征的细菌群落研究。在这样的数据集中，社区之间没有明确的对应关系，每个对应都与不同的因素相对应，从而使数据融合具有挑战性。我们引入了一种灵活的多项式高斯生成模型，用于共同建模此类计数数据。该潜在变量模型通过共同的多元高斯潜在空间共同表征了观察到的数据，该空间参数化了转录组计数的多项式概率集。潜在变量的协方差矩阵诱导所有转录本之间共同依赖性的协方差矩阵，有效地融合了多个数据源。我们提出了一种可扩展的可扩展性变异期望最大化（EM）算法，用于推断模型的潜在变量和参数。推断的潜在变量为可视化数据提供了常见的维度降低，而推断的参数则提供了预测性的后验分布。除了证明变异性程序的模拟研究外，我们还将模型应用于细菌微生物组数据集。

当分布生成数据变化时，ChangePoint分析处理时间序列数据中的时间点的无监督检测和/或估计。在本文中，我们在大规模文本数据的上下文中考虑\ emph {offline} ChangePoint检测。我们在主题比例分布的分布中构建了一个专门的时间主题模型。随着该模型的完全可能性推断是在计算上难以解决的，我们开发了一个计算易诊的近似推理过程。更具体地，我们使用样品分离来首先估计多个主题，然后将似然比统计与Fryzlewicz等人的野生二进制分割算法的修改版本一起应用。 （2014）。我们的方法促进了大公司的结构变化的自动检测，而无需通过域专家手动处理。随着我们模型下的变换点对应于主题结构的变化，估计的变化点通常是高度可解释的，因为标志着时尚主题的普及涌现或下降。我们在两个大型数据集上应用我们的程序：（i）从1800-1922期（Underweet Al，2015年）的英语文学语料库; （ii）来自高能物理arxiv存储库的摘要（Clementet al。，2019）。我们获得一些历史上众所周知的改变点，发现一些新的变化点。

变异推理（VI）的核心原理是将计算复杂后概率密度计算的统计推断问题转换为可拖动的优化问题。该属性使VI比几种基于采样的技术更快。但是，传统的VI算法无法扩展到大型数据集，并且无法轻易推断出越野数据点，而无需重新运行优化过程。该领域的最新发展，例如随机，黑框和摊销VI，已帮助解决了这些问题。如今，生成的建模任务广泛利用摊销VI来实现其效率和可扩展性，因为它利用参数化函数来学习近似的后验密度参数。在本文中，我们回顾了各种VI技术的数学基础，以构成理解摊销VI的基础。此外，我们还概述了最近解决摊销VI问题的趋势，例如摊销差距，泛化问题，不一致的表示学习和后验崩溃。最后，我们分析了改善VI优化的替代差异度量。

Unsupervised vector-based approaches to semantics can model rich lexical meanings, but they largely fail to capture sentiment information that is central to many word meanings and important for a wide range of NLP tasks. We present a model that uses a mix of unsupervised and supervised techniques to learn word vectors capturing semantic term-document information as well as rich sentiment content. The proposed model can leverage both continuous and multi-dimensional sentiment information as well as non-sentiment annotations. We instantiate the model to utilize the document-level sentiment polarity annotations present in many online documents (e.g. star ratings). We evaluate the model using small, widely used sentiment and subjectivity corpora and find it out-performs several previously introduced methods for sentiment classification. We also introduce a large dataset of movie reviews to serve as a more robust benchmark for work in this area.

我们提出了一种新的非参数混合物模型，用于多变量回归问题，灵感来自概率K-Nearthimest邻居算法。使用有条件指定的模型，对样本外输入的预测基于与每个观察到的数据点的相似性，从而产生高斯混合物表示的预测分布。在混合物组件的参数以及距离度量标准的参数上，使用平均场变化贝叶斯算法进行后推断，并具有基于随机梯度的优化过程。在与数据大小相比，输入 - 输出关系很复杂，预测分布可能偏向或多模式的情况下，输入相对较高的尺寸，该方法尤其有利。对五个数据集进行的计算研究，其中两个是合成生成的，这说明了我们的高维输入的专家混合物方法的明显优势，在验证指标和视觉检查方面都优于竞争者模型。

本文研究了主题模型中高维，离散，可能稀疏的混合模型的估计。数据包括在$ n $独立文档中观察到的$ p $单词的多项式计数。在主题模型中，$ p \ times n $预期的单词频率矩阵被认为被分解为$ p \ times k $ word-top-topic矩阵$ a $ a $和a $ k \ times n $ topic-document $ t $ t $ 。由于两个矩阵的列代表属于概率简单的条件概率，因此$ a $的列被视为$ p $ - 二维混合组件，这些混合组件是所有文档共有的，而$ t $的列被视为$ k $二维的混合物特定文档并允许稀疏的权重。主要的兴趣是提供鲜明的，有限的样本，$ \ ell_1 $ norm收敛速率，用于混合物重量$ t $的估计量，当$ a $是已知或未知时。对于已知的$ a $，我们建议MLE估计为$ t $。我们对MLE的非标准分析不仅建立了其$ \ ell_1 $收敛率，而且揭示了一个非凡的属性：MLE，没有额外的正则化，可能完全稀疏，并且包含$ t $的真实零模式。我们进一步表明，MLE既是最佳的最佳选择，又适应了一大批稀疏主题分布中未知的稀疏性。当$ a $未知时，我们通过优化与$ a $ a $的插件的可能性功能来估计$ t $。对于任何满足与$ a $ $ a $的详细条件的估计器$ \ hat {a} $，显示出$ t $的估计器可保留为MLE建立的属性。环境尺寸$ k $和$ p $可以随着样本量而增长。我们的应用是对文档生成分布之间1-Wasserstein距离的估计。我们建议，估计和分析两个概率文档表示之间的新1-Wasserstein距离。

How can we perform efficient inference and learning in directed probabilistic models, in the presence of continuous latent variables with intractable posterior distributions, and large datasets? We introduce a stochastic variational inference and learning algorithm that scales to large datasets and, under some mild differentiability conditions, even works in the intractable case. Our contributions is two-fold. First, we show that a reparameterization of the variational lower bound yields a lower bound estimator that can be straightforwardly optimized using standard stochastic gradient methods. Second, we show that for i.i.d. datasets with continuous latent variables per datapoint, posterior inference can be made especially efficient by fitting an approximate inference model (also called a recognition model) to the intractable posterior using the proposed lower bound estimator. Theoretical advantages are reflected in experimental results.