应用于潜在的Dirichlet分配（LDA）的变异贝叶斯（VB）已成为方面建模最受欢迎的算法。尽管从大型语料库中提取文本主题方面取得了足够的成功，但VB在识别有限数据的情况下识别方面的成功较少。我们提出了通过应用于潜在的Dirichlet分配（LDA）的新型变分信息，并将其与金标准VB进行比较并崩溃的Gibbs采样。在边缘化导致非混合消息的情况下，我们使用采样的想法来得出近似更新方程。如果存在共轭，则使用Loopy信念更新（LBU）（也称为Lauritzen-Spiegelhalter）。我们的算法Albu（近似LBU）与变异消息传递（VMP）具有很强的相似性（这是VB的消息传递变体）。为了比较在有限数据的存在下算法的性能，我们使用由推文和新闻组组成的数据集。使用相干度量，我们表明ALBU比VB更准确地学习潜在分布，尤其是对于较小的数据集。

应用于潜在的Dirichlet分配（LDA）的变异贝叶斯（VB）已成为方面建模最受欢迎的算法。尽管从大型语料库中提取文本主题方面取得了足够的成功，但VB在识别有限数据的情况下识别方面的成功较少。我们提出了通过应用于潜在的Dirichlet分配（LDA）的新型变分信息，并将其与金标准VB进行比较并崩溃的Gibbs采样。在边缘化导致非混合消息的情况下，我们使用采样的想法来得出近似更新方程。如果存在共轭，则使用Loopy信念更新（LBU）（也称为Lauritzen-Spiegelhalter）。我们的算法Albu（近似LBU）与变异消息传递（VMP）具有很强的相似性（这是VB的消息传递变体）。为了比较在有限数据的存在下算法的性能，我们使用由推文和新闻组组成的数据集。此外，为了执行更多细性的评估和比较，我们使用模拟通过Kullback-Leibler Divergence（KLD）进行比较，以进行比较。使用文本语料库和KLD的相干度量与我们显示的模拟相比，Albu比VB更准确地学习潜在分布，尤其是对于较小的数据集。

Selecting the number of topics in LDA models is considered to be a difficult task, for which alternative approaches have been proposed. The performance of the recently developed singular Bayesian information criterion (sBIC) is evaluated and compared to the performance of alternative model selection criteria. The sBIC is a generalization of the standard BIC that can be implemented to singular statistical models. The comparison is based on Monte Carlo simulations and carried out for several alternative settings, varying with respect to the number of topics, the number of documents and the size of documents in the corpora. Performance is measured using different criteria which take into account the correct number of topics, but also whether the relevant topics from the DGPs are identified. Practical recommendations for LDA model selection in applications are derived.

Topic modeling is widely used for analytically evaluating large collections of textual data. One of the most popular topic techniques is Latent Dirichlet Allocation (LDA), which is flexible and adaptive, but not optimal for e.g. short texts from various domains. We explore how the state-of-the-art BERTopic algorithm performs on short multi-domain text and find that it generalizes better than LDA in terms of topic coherence and diversity. We further analyze the performance of the HDBSCAN clustering algorithm utilized by BERTopic and find that it classifies a majority of the documents as outliers. This crucial, yet overseen problem excludes too many documents from further analysis. When we replace HDBSCAN with k-Means, we achieve similar performance, but without outliers.

当分布生成数据变化时，ChangePoint分析处理时间序列数据中的时间点的无监督检测和/或估计。在本文中，我们在大规模文本数据的上下文中考虑\ emph {offline} ChangePoint检测。我们在主题比例分布的分布中构建了一个专门的时间主题模型。随着该模型的完全可能性推断是在计算上难以解决的，我们开发了一个计算易诊的近似推理过程。更具体地，我们使用样品分离来首先估计多个主题，然后将似然比统计与Fryzlewicz等人的野生二进制分割算法的修改版本一起应用。 （2014）。我们的方法促进了大公司的结构变化的自动检测，而无需通过域专家手动处理。随着我们模型下的变换点对应于主题结构的变化，估计的变化点通常是高度可解释的，因为标志着时尚主题的普及涌现或下降。我们在两个大型数据集上应用我们的程序：（i）从1800-1922期（Underweet Al，2015年）的英语文学语料库; （ii）来自高能物理arxiv存储库的摘要（Clementet al。，2019）。我们获得一些历史上众所周知的改变点，发现一些新的变化点。

分析短文（例如社交媒体帖子）由于其固有的简洁而非常困难。除了对此类帖子的主题进行分类之外，一个常见的下游任务是将这些文档的作者分组以进行后续分析。我们提出了一个新颖的模型，该模型通过对同一文档中的单词之间的强大依赖进行建模以及用户级主题分布来扩展潜在的Dirichlet分配。我们还同时群集用户，消除了对事后集群估计的需求，并通过将嘈杂的用户级主题分布缩小到典型值来改善主题估计。我们的方法的性能和比传统方法的性能（或更好），我们在美国参议员的推文数据集中证明了它的有用性，恢复了反映党派意识形态的有意义的主题和群集。我们还通过表征参议员群体讨论并提供不确定性量化的主题的遗产，从而在这些政治家中开发了一种新的回声室衡量标准。

潜在的Dirichlet分配（LDA）如潜在的概率主题模型已延伸到双语设置。其中几个扩展中的基本建模假设是输入语料库是文档对的形式，其成分文件共享单个主题分布。然而，对于类似的小型公司而言，这种假设是强大的，这些数据在基本上类似的文件，即又是最常见的或易于获得的。在本文中，我们通过提出配对的文档来具有分开的，但绑定的主题分布来放松此假设。 ％与配对文件的分布之间的绑定机制。我们建议界限的强度应该取决于每对对的语义相似性。估计以不同语言编写的文档的相似性，我们使用与浅层神经网络学习的交叉语言嵌入式。我们通过扩展两个主题模型来评估所提出的绑定机制：LDA的双语适应，该LDA假定单词袋输入和模型，该模型包含语义相干段的边界的形式的文本结构的一部分。为了评估新颖的主题模型的表现，我们对五种双语，英语文件的同类实验进行了内在和外在的实验，用法语，德语，意大利语，西班牙语和葡萄牙文档进行了英语文件的五种双语。结果展示了通过归一化的点亮互信息测量的主题一致性的方法的效率，以及通过困惑测量的泛化性能，并且在每个语言的交叉文档检索任务中的平均互惠级别方面对。

We describe latent Dirichlet allocation (LDA), a generative probabilistic model for collections of discrete data such as text corpora. LDA is a three-level hierarchical Bayesian model, in which each item of a collection is modeled as a finite mixture over an underlying set of topics. Each topic is, in turn, modeled as an infinite mixture over an underlying set of topic probabilities. In the context of text modeling, the topic probabilities provide an explicit representation of a document. We present efficient approximate inference techniques based on variational methods and an EM algorithm for empirical Bayes parameter estimation. We report results in document modeling, text classification, and collaborative filtering, comparing to a mixture of unigrams model and the probabilistic LSI model.

使用机器学习算法从未标记的文本中提取知识可能很复杂。文档分类和信息检索是两个应用程序，可以从无监督的学习（例如文本聚类和主题建模）中受益，包括探索性数据分析。但是，无监督的学习范式提出了可重复性问题。初始化可能会导致可变性，具体取决于机器学习算法。此外，关于群集几何形状，扭曲可能会产生误导。在原因中，异常值和异常的存在可能是决定因素。尽管初始化和异常问题与文本群集和主题建模相关，但作者并未找到对它们的深入分析。这项调查提供了这些亚地区的系统文献综述（2011-2022），并提出了共同的术语，因为类似的程序具有不同的术语。作者描述了研究机会，趋势和开放问题。附录总结了与审查的作品直接或间接相关的文本矢量化，分解和聚类算法的理论背景。

主题进化建模近几十年来收到了重大关注。虽然已经提出了各种主题演进模型，但大多数研究都关注单一文件语料库。但是，在实践中，我们可以轻松访问来自多个来源的数据，并且还可以观察它们之间的关系。然后，识别多个文本语料库之间的关系并进一步利用这种关系来提高主题建模。在这项工作中，我们专注于两个文本语料库之间的特殊关系，我们将其定义为“滞后关系”。这种关系表征了一个文本语料库会影响未来在另一个文本语料库中讨论的主题的现象。要发现引导滞后关系，我们提出了一个共同动态的主题模型，并开发了嵌入扩展，以解决大规模文本语料库的建模问题。通过认可的引导关系，可以改善两个文本语料库的相似性，可以改善在两种语料中学习的主题质量。我们使用合成数据进行数值调查联合动态主题建模方法的性能。最后，我们在两个文本语料库上应用拟议的模型，包括统计文件和毕业论文。结果表明，拟议的模型可以很好地认识到两种语料库之间的引导滞后关系，也发现了两种语料库的具体和共享主题模式。

Most research studying social determinants of health (SDoH) has focused on physician notes or structured elements of the electronic medical record (EMR). We hypothesize that clinical notes from social workers, whose role is to ameliorate social and economic factors, might provide a richer source of data on SDoH. We sought to perform topic modeling to identify robust topics of discussion within a large cohort of social work notes. We retrieved a diverse, deidentified corpus of 0.95 million clinical social work notes from 181,644 patients at the University of California, San Francisco. We used word frequency analysis and Latent Dirichlet Allocation (LDA) topic modeling analysis to characterize this corpus and identify potential topics of discussion. Word frequency analysis identified both medical and non-medical terms associated with specific ICD10 chapters. The LDA topic modeling analysis extracted 11 topics related to social determinants of health risk factors including financial status, abuse history, social support, risk of death, and mental health. In addition, the topic modeling approach captured the variation between different types of social work notes and across patients with different types of diseases or conditions. We demonstrated that social work notes contain rich, unique, and otherwise unobtainable information on an individual's SDoH.

Few-shot methods for accurate modeling under sparse label-settings have improved significantly. However, the applications of few-shot modeling in natural language processing remain solely in the field of document classification. With recent performance improvements, supervised few-shot methods, combined with a simple topic extraction method pose a significant challenge to unsupervised topic modeling methods. Our research shows that supervised few-shot learning, combined with a simple topic extraction method, can outperform unsupervised topic modeling techniques in terms of generating coherent topics, even when only a few labeled documents per class are used.

We develop stochastic variational inference, a scalable algorithm for approximating posterior distributions. We develop this technique for a large class of probabilistic models and we demonstrate it with two probabilistic topic models, latent Dirichlet allocation and the hierarchical Dirichlet process topic model. Using stochastic variational inference, we analyze several large collections of documents: 300K articles from Nature, 1.8M articles from The New York Times, and 3.8M articles from Wikipedia. Stochastic inference can easily handle data sets of this size and outperforms traditional variational inference, which can only handle a smaller subset. (We also show that the Bayesian nonparametric topic model outperforms its parametric counterpart.) Stochastic variational inference lets us apply complex Bayesian models to massive data sets.

基于嵌入的神经主题模型可以通过将它们嵌入均匀的特征空间来明确表示单词和主题，从而显示出更高的解释性。但是，嵌入训练没有明确的限制，从而导致更大的优化空间。此外，仍然缺乏对嵌入的变化以及对模型性能的影响的清晰描述。在本文中，我们提出了一个嵌入式化的神经主题模型，该模型应用于单词嵌入和主题嵌入的特殊设计的训练约束，以减少参数的优化空间。为了揭示嵌入的变化和角色，我们将\ textbf {均匀性}引入基于嵌入的神经主题模型中，作为嵌入空间的评估度量。在此基础上，我们描述了嵌入在训练过程中如何通过嵌入均匀性的变化而变化。此外，我们通过消融研究证明了基于嵌入的神经主题模型中嵌入的变化的影响。在两个主流数据集上实验的结果表明，我们的模型在主题质量和文档建模之间的和谐方面显着优于基线模型。这项工作是利用统一性来探索基于嵌入的神经主题模型嵌入的变化及其对模型性能的影响，从而获得了我们的最佳知识。

我们为在不平衡的短文本数据集中发现稀缺主题提供了一个简单而通用的解决方案，即基于共同发生的网络模型CWIBTD，可以同时解决短文本主题的稀疏和不平衡的问题并减轻效果的效果。偶尔成对的单词出现，使模型更多地集中在发现稀缺主题上。与以前的方法不同，CWIBTD使用共发生的单词网络对每个单词的主题分布进行建模，从而改善了数据空间的语义密度，并确保其在识别稀有主题方面的敏感性，通过改善计算节点活动的方式和正常方式。在某种程度上，稀缺的话题和大主题。此外，使用与LDA相同的Gibbs采样使CWIBTD易于扩展到Viri-OUS应用程序方案。在不夸张的短文本数据集中进行的广泛实验验证证实了CWIBTD在发现稀有主题时的优越性。我们的模型可用于早期，准确地发现社交平台上新兴主题或意外事件。

随着大数据挖掘和现代大量文本分析的出现和普及，自动化文本摘要在从文档中提取和检索重要信息而变得突出。这项研究从单个和多个文档的角度研究了自动文本摘要的各个方面。摘要是将庞大的文本文章凝结成简短的摘要版本的任务。为了摘要目的，该文本的大小减小，但保留了关键的重要信息并保留原始文档的含义。这项研究介绍了潜在的Dirichlet分配（LDA）方法，用于从具有与基因和疾病有关的主题进行摘要的医学科学期刊文章进行主题建模。在这项研究中，基于Pyldavis Web的交互式可视化工具用于可视化所选主题。可视化提供了主要主题的总体视图，同时允许并将深度含义归因于流行率单个主题。这项研究提出了一种新颖的方法来汇总单个文档和多个文档。结果表明，使用提取性摘要技术在处理后的文档中考虑其主题患病率的概率，纯粹是通过考虑其术语来排名的。 Pyldavis可视化描述了探索主题与拟合LDA模型的术语的灵活性。主题建模结果显示了主题1和2中的流行率。该关联表明，本研究中的主题1和2中的术语之间存在相似性。使用潜在语义分析（LSA）和面向召回的研究测量LDA和提取性摘要方法的功效，以评估模型的可靠性和有效性。

Non-negative matrix factorization is a popular unsupervised machine learning algorithm for extracting meaningful features from data which are inherently non-negative. However, such data sets may often contain privacy-sensitive user data, and therefore, we may need to take necessary steps to ensure the privacy of the users while analyzing the data. In this work, we focus on developing a Non-negative matrix factorization algorithm in the privacy-preserving framework. More specifically, we propose a novel privacy-preserving algorithm for non-negative matrix factorisation capable of operating on private data, while achieving results comparable to those of the non-private algorithm. We design the framework such that one has the control to select the degree of privacy grantee based on the utility gap. We show our proposed framework's performance in six real data sets. The experimental results show that our proposed method can achieve very close performance with the non-private algorithm under some parameter regime, while ensuring strict privacy.

在矿业行业中，在项目管理过程中产生了许多报告。这些过去的文件是未来成功的知识资源。但是，如果文件未经组织和非结构化，则可以是一个繁琐而挑战的任务是检索必要的信息。文档聚类是一种强大的方法来应对问题，并且在过去的研究中介绍了许多方法。尽管如此，没有银弹可以对任何类型的文件表现最佳。因此，需要探索性研究来应用新数据集的聚类方法。在本研究中，我们将研究多个主题建模（TM）方法。目标是使用昆士兰，资源部，昆士兰州政府部的地质调查的数据集找到采矿项目报告的适当方法，并了解内容，以了解如何组织它们。三种TM方法，潜在的Dirichlet分配（LDA），非负矩阵分解（NMF）和非负张量分解（NTF）在统计和定性地比较。评估后，我们得出结论，LDA对数据集执行最佳;然而，可以通过一些改进来采用其他方法的可能性仍然存在。

科学世界正在快速改变，新技术正在开发，新的趋势正在进行频率增加。本文介绍了对学术出版物进行科学分析的框架，这对监测研究趋势并确定潜在的创新至关重要。该框架采用并结合了各种自然语言处理技术，例如Word Embedding和主题建模。嵌入单词嵌入用于捕获特定于域的单词的语义含义。我们提出了两种新颖的科学出版物嵌入，即PUB-G和PUB-W，其能够在各种研究领域学习一般的语义含义以及特定于域的单词。此后，主题建模用于识别这些更大的研究领域内的研究主题集群。我们策划了一个出版物数据集，由两条会议组成，并从1995年到2020年的两项期刊从两个研究领域组成。实验结果表明，与其他基线嵌入式的基于主题连贯性，我们的PUB-G和PUB-W嵌入式与其他基线嵌入式相比优越。

本文采用了两种主要的自然语言处理技术，即主题建模和聚类，以在民间故事中找到模式，并揭示区域之间的文化关系。特别是，我们使用潜在的Dirichlet分配和伯托式分配来提取反复出现的元素，以及将K-均值聚类提取到集体民间故事。我们的论文试图回答这个问题，民间故事之间有什么相似之处，以及他们对文化的看法。在这里，我们表明民间故事之间的共同趋势是家庭，食物，传统的性别角色，神话人物和动物。此外，民间主题的主题是根据地理位置而有所不同的，在具有不同动物和环境的不同地区发现的民间故事。我们并不感到惊讶的是，宗教人物和动物是所有文化中的一些共同主题。但是，我们感到惊讶的是，欧洲和亚洲的民间故事经常结合在一起。我们的结果表明，世界各地文化中某些元素的流行率。我们预计我们的工作将成为对民间故事的未来研究的资源，也是使用自然语言处理来分析特定领域中文档的一个例子。此外，由于我们仅根据文件进行分析，因此可以在分析这些民间故事的结构，情感和特征方面做更多的工作。