基于嵌入的神经主题模型可以通过将它们嵌入均匀的特征空间来明确表示单词和主题，从而显示出更高的解释性。但是，嵌入训练没有明确的限制，从而导致更大的优化空间。此外，仍然缺乏对嵌入的变化以及对模型性能的影响的清晰描述。在本文中，我们提出了一个嵌入式化的神经主题模型，该模型应用于单词嵌入和主题嵌入的特殊设计的训练约束，以减少参数的优化空间。为了揭示嵌入的变化和角色，我们将\ textbf {均匀性}引入基于嵌入的神经主题模型中，作为嵌入空间的评估度量。在此基础上，我们描述了嵌入在训练过程中如何通过嵌入均匀性的变化而变化。此外，我们通过消融研究证明了基于嵌入的神经主题模型中嵌入的变化的影响。在两个主流数据集上实验的结果表明，我们的模型在主题质量和文档建模之间的和谐方面显着优于基线模型。这项工作是利用统一性来探索基于嵌入的神经主题模型嵌入的变化及其对模型性能的影响，从而获得了我们的最佳知识。

主题进化建模近几十年来收到了重大关注。虽然已经提出了各种主题演进模型，但大多数研究都关注单一文件语料库。但是，在实践中，我们可以轻松访问来自多个来源的数据，并且还可以观察它们之间的关系。然后，识别多个文本语料库之间的关系并进一步利用这种关系来提高主题建模。在这项工作中，我们专注于两个文本语料库之间的特殊关系，我们将其定义为“滞后关系”。这种关系表征了一个文本语料库会影响未来在另一个文本语料库中讨论的主题的现象。要发现引导滞后关系，我们提出了一个共同动态的主题模型，并开发了嵌入扩展，以解决大规模文本语料库的建模问题。通过认可的引导关系，可以改善两个文本语料库的相似性，可以改善在两种语料中学习的主题质量。我们使用合成数据进行数值调查联合动态主题建模方法的性能。最后，我们在两个文本语料库上应用拟议的模型，包括统计文件和毕业论文。结果表明，拟议的模型可以很好地认识到两种语料库之间的引导滞后关系，也发现了两种语料库的具体和共享主题模式。

近年来，人们对开发自然语言处理（NLP）中可解释模型的利益越来越多。大多数现有模型旨在识别输入功能，例如对于模型预测而言重要的单词或短语。然而，在NLP中开发的神经模型通常以层次结构的方式构成单词语义，文本分类需要层次建模来汇总本地信息，以便处理主题和标签更有效地转移。因此，单词或短语的解释不能忠实地解释文本分类中的模型决策。本文提出了一种新型的层次解释性神经文本分类器，称为提示，该分类器可以自动以层次结构方式以标记相关主题的形式生成模型预测的解释。模型解释不再处于单词级别，而是基于主题作为基本语义单元。评论数据集和新闻数据集的实验结果表明，我们所提出的方法与现有最新的文本分类器相当地达到文本分类结果，并比其他可解释的神经文本更忠实于模型的预测和更好地理解人类的解释分类器。

我们考虑如何在从流环境中学习贝叶斯模型时有效地使用先验知识，其中数据无限依次出现。这个问题在数据爆炸时代非常重要，富有培训的模型，本体，维基百科等珍贵外部知识的富裕来源非常重要。我们表明一些现有的方法可以忘记任何知识。然后，我们提出了一种新颖的框架，使能够将不同形式的先验知识纳入基础贝叶斯模型的数据流。我们的框架载有一些现有的时序/动态数据的流行模型。广泛的实验表明，我们的框架优于具有大边距的现有方法。特别是，我们的框架可以帮助贝叶斯模型在极短的文本上概括，而其他方法过度装备。我们的框架的实施是在https://github.com/bachtranxuan/tps.git上获得的。

科学世界正在快速改变，新技术正在开发，新的趋势正在进行频率增加。本文介绍了对学术出版物进行科学分析的框架，这对监测研究趋势并确定潜在的创新至关重要。该框架采用并结合了各种自然语言处理技术，例如Word Embedding和主题建模。嵌入单词嵌入用于捕获特定于域的单词的语义含义。我们提出了两种新颖的科学出版物嵌入，即PUB-G和PUB-W，其能够在各种研究领域学习一般的语义含义以及特定于域的单词。此后，主题建模用于识别这些更大的研究领域内的研究主题集群。我们策划了一个出版物数据集，由两条会议组成，并从1995年到2020年的两项期刊从两个研究领域组成。实验结果表明，与其他基线嵌入式的基于主题连贯性，我们的PUB-G和PUB-W嵌入式与其他基线嵌入式相比优越。

长篇小说（LSG）是自然语言处理中的垂灾目标之一。与大多数文本生成任务不同，LSG要求基于更短的文本输入输出丰富的内容的长话，并且通常存在信息稀疏性。在本文中，我们提出了\ emph {topnet}来缓解这个问题，通过利用神经主题建模的最新进步来获得高质量的骨架词来补充短输入。特别是，而不是直接生成故事，首先学会将简短的文本输入映射到低维主题分布（由主题模型预先分配）。基于此潜在主题分布，我们可以使用主题模型的重建解码器来对与故事的骨骼相互相关的单词序列。两个基准数据集的实验表明，我们的框架在骨架词选择中非常有效，在自动评估和人类评估中显着优于最先进的模型。

Recently, discrete latent variable models have received a surge of interest in both Natural Language Processing (NLP) and Computer Vision (CV), attributed to their comparable performance to the continuous counterparts in representation learning, while being more interpretable in their predictions. In this paper, we develop a topic-informed discrete latent variable model for semantic textual similarity, which learns a shared latent space for sentence-pair representation via vector quantization. Compared with previous models limited to local semantic contexts, our model can explore richer semantic information via topic modeling. We further boost the performance of semantic similarity by injecting the quantized representation into a transformer-based language model with a well-designed semantic-driven attention mechanism. We demonstrate, through extensive experiments across various English language datasets, that our model is able to surpass several strong neural baselines in semantic textual similarity tasks.

文档检索使用户能够准确，快速找到所需的文档。为了满足检索效率的要求，普遍的深神经方法采用了基于表示的匹配范式，该范式通过离线预先存储文档表示节省了在线匹配时间。但是，上述范式会消耗庞大的本地存储空间，尤其是将文档存储为单词元素表示时。为了解决这个问题，我们提出了TGTR，这是一种基于主题的文本表示模型，用于文档检索。遵循基于表示的匹配范式，TGTR将文档表示脱机存储以确保检索效率，而通过使用新颖的主题格式表示，而不是传统的单词元素，则大大降低了存储要求。实验结果表明，与单词粒度的基线相比，TGTR在检索准确性方面始终在TREC CAR和MS MARCO上竞争，但其所需的存储空间的少于1/10。此外，TGTR绝大多数在检索准确性方面超过了全球粒度的基线。

应用于潜在的Dirichlet分配（LDA）的变异贝叶斯（VB）已成为方面建模最受欢迎的算法。尽管从大型语料库中提取文本主题方面取得了足够的成功，但VB在识别有限数据的情况下识别方面的成功较少。我们提出了通过应用于潜在的Dirichlet分配（LDA）的新型变分信息，并将其与金标准VB进行比较并崩溃的Gibbs采样。在边缘化导致非混合消息的情况下，我们使用采样的想法来得出近似更新方程。如果存在共轭，则使用Loopy信念更新（LBU）（也称为Lauritzen-Spiegelhalter）。我们的算法Albu（近似LBU）与变异消息传递（VMP）具有很强的相似性（这是VB的消息传递变体）。为了比较在有限数据的存在下算法的性能，我们使用由推文和新闻组组成的数据集。使用相干度量，我们表明ALBU比VB更准确地学习潜在分布，尤其是对于较小的数据集。

In this work, we compare different neural topic modeling methods in learning the topical propensities of different psychiatric conditions from the psychotherapy session transcripts parsed from speech recordings. We also incorporate temporal modeling to put this additional interpretability to action by parsing out topic similarities as a time series in a turn-level resolution. We believe this topic modeling framework can offer interpretable insights for the therapist to optimally decide his or her strategy and improve psychotherapy effectiveness.

We describe latent Dirichlet allocation (LDA), a generative probabilistic model for collections of discrete data such as text corpora. LDA is a three-level hierarchical Bayesian model, in which each item of a collection is modeled as a finite mixture over an underlying set of topics. Each topic is, in turn, modeled as an infinite mixture over an underlying set of topic probabilities. In the context of text modeling, the topic probabilities provide an explicit representation of a document. We present efficient approximate inference techniques based on variational methods and an EM algorithm for empirical Bayes parameter estimation. We report results in document modeling, text classification, and collaborative filtering, comparing to a mixture of unigrams model and the probabilistic LSI model.

应用于潜在的Dirichlet分配（LDA）的变异贝叶斯（VB）已成为方面建模最受欢迎的算法。尽管从大型语料库中提取文本主题方面取得了足够的成功，但VB在识别有限数据的情况下识别方面的成功较少。我们提出了通过应用于潜在的Dirichlet分配（LDA）的新型变分信息，并将其与金标准VB进行比较并崩溃的Gibbs采样。在边缘化导致非混合消息的情况下，我们使用采样的想法来得出近似更新方程。如果存在共轭，则使用Loopy信念更新（LBU）（也称为Lauritzen-Spiegelhalter）。我们的算法Albu（近似LBU）与变异消息传递（VMP）具有很强的相似性（这是VB的消息传递变体）。为了比较在有限数据的存在下算法的性能，我们使用由推文和新闻组组成的数据集。此外，为了执行更多细性的评估和比较，我们使用模拟通过Kullback-Leibler Divergence（KLD）进行比较，以进行比较。使用文本语料库和KLD的相干度量与我们显示的模拟相比，Albu比VB更准确地学习潜在分布，尤其是对于较小的数据集。

分布式文档表示是自然语言处理中的基本问题之一。目前分布式文档表示方法主要考虑单词或句子的上下文信息。这些方法不考虑文件作为整体的一致性，例如文档之间的关系，文档中的纸张标题和抽象，标题和描述或相邻机构之间的关系。一致性显示文档是否有意义，逻辑和句法，尤其是科学文档（论文或专利等）。在本文中，我们提出了一个耦合文本对嵌入（CTPE）模型来学习科学文档的表示，其通过分割文档来维护文档与耦合文本对的相干性。首先，我们将文档划分为构造耦合文本对的两个部分（例如，标题和抽象等）。然后，我们采用负面采样来构建两个部分来自不同文档的未耦合文本对。最后，我们训练模型以判断文本对是否被耦合或解耦并使用所获得的耦合文本对的嵌入作为嵌入文档。我们在三个数据集上执行实验，以获得一个信息检索任务和两个推荐任务。实验结果验证了所提出的CTPE模型的有效性。

潜在的Dirichlet分配（LDA）如潜在的概率主题模型已延伸到双语设置。其中几个扩展中的基本建模假设是输入语料库是文档对的形式，其成分文件共享单个主题分布。然而，对于类似的小型公司而言，这种假设是强大的，这些数据在基本上类似的文件，即又是最常见的或易于获得的。在本文中，我们通过提出配对的文档来具有分开的，但绑定的主题分布来放松此假设。 ％与配对文件的分布之间的绑定机制。我们建议界限的强度应该取决于每对对的语义相似性。估计以不同语言编写的文档的相似性，我们使用与浅层神经网络学习的交叉语言嵌入式。我们通过扩展两个主题模型来评估所提出的绑定机制：LDA的双语适应，该LDA假定单词袋输入和模型，该模型包含语义相干段的边界的形式的文本结构的一部分。为了评估新颖的主题模型的表现，我们对五种双语，英语文件的同类实验进行了内在和外在的实验，用法语，德语，意大利语，西班牙语和葡萄牙文档进行了英语文件的五种双语。结果展示了通过归一化的点亮互信息测量的主题一致性的方法的效率，以及通过困惑测量的泛化性能，并且在每个语言的交叉文档检索任务中的平均互惠级别方面对。

使用机器学习算法从未标记的文本中提取知识可能很复杂。文档分类和信息检索是两个应用程序，可以从无监督的学习（例如文本聚类和主题建模）中受益，包括探索性数据分析。但是，无监督的学习范式提出了可重复性问题。初始化可能会导致可变性，具体取决于机器学习算法。此外，关于群集几何形状，扭曲可能会产生误导。在原因中，异常值和异常的存在可能是决定因素。尽管初始化和异常问题与文本群集和主题建模相关，但作者并未找到对它们的深入分析。这项调查提供了这些亚地区的系统文献综述（2011-2022），并提出了共同的术语，因为类似的程序具有不同的术语。作者描述了研究机会，趋势和开放问题。附录总结了与审查的作品直接或间接相关的文本矢量化，分解和聚类算法的理论背景。

从数据流学习隐藏的主题已经成为绝对必要的，但构成了挑战性问题，如概念漂移以及短而嘈杂的数据。使用先验知识来丰富主题模型是应对这些挑战的潜在解决方案之一。先前知识，其来自人类知识（例如Wordnet）或预先训练的模型（例如Word2Vec）是非常有价值的，并且有助于帮助主题模型更好地工作。然而，在数据到达不断且无限的流动环境中，现有研究仅限于有效利用这些资源。特别是，忽略了包含有意义的词关系的知识图形。在本文中，为了有效利用知识图，我们提出了一种新颖的图形卷积主题模型（GCTM），它将图形卷积网络（GCN）集成到一个主题模型和学习方法，它同时学习网络和主题模型数据流。在每个小纤维中，我们的方法不仅可以利用外部知识图，还可以平衡外部和旧知识，以便在新数据上表现良好。我们进行广泛的实验来评估我们的方法，以评估我们的知识图（WordNet）和由预先接受训练的Word Embeddings（Word2VEC）构建的图形的图表。实验结果表明，在概率预测措施和主题连贯性方面，我们的方法比最先进的基线达到更好的表现。特别是，在处理短文本以及概念漂移时，我们的方法可以很好地工作。 GCTM的实现可在\ URL {https://github.com/bachtranxuan/gctm.git}。

分析短文（例如社交媒体帖子）由于其固有的简洁而非常困难。除了对此类帖子的主题进行分类之外，一个常见的下游任务是将这些文档的作者分组以进行后续分析。我们提出了一个新颖的模型，该模型通过对同一文档中的单词之间的强大依赖进行建模以及用户级主题分布来扩展潜在的Dirichlet分配。我们还同时群集用户，消除了对事后集群估计的需求，并通过将嘈杂的用户级主题分布缩小到典型值来改善主题估计。我们的方法的性能和比传统方法的性能（或更好），我们在美国参议员的推文数据集中证明了它的有用性，恢复了反映党派意识形态的有意义的主题和群集。我们还通过表征参议员群体讨论并提供不确定性量化的主题的遗产，从而在这些政治家中开发了一种新的回声室衡量标准。

Instead of mining coherent topics from a given text corpus in a completely unsupervised manner, seed-guided topic discovery methods leverage user-provided seed words to extract distinctive and coherent topics so that the mined topics can better cater to the user's interest. To model the semantic correlation between words and seeds for discovering topic-indicative terms, existing seed-guided approaches utilize different types of context signals, such as document-level word co-occurrences, sliding window-based local contexts, and generic linguistic knowledge brought by pre-trained language models. In this work, we analyze and show empirically that each type of context information has its value and limitation in modeling word semantics under seed guidance, but combining three types of contexts (i.e., word embeddings learned from local contexts, pre-trained language model representations obtained from general-domain training, and topic-indicative sentences retrieved based on seed information) allows them to complement each other for discovering quality topics. We propose an iterative framework, SeedTopicMine, which jointly learns from the three types of contexts and gradually fuses their context signals via an ensemble ranking process. Under various sets of seeds and on multiple datasets, SeedTopicMine consistently yields more coherent and accurate topics than existing seed-guided topic discovery approaches.

多标签文本分类是指从标签集中分配其最相关标签的问题。通常，在现实世界应用中提供给定文件的元数据和标签的层次结构。然而，大多数现有的研究专注于仅建模文本信息，几次尝试利用元数据或层次结构，而不是它们都是。在本文中，我们通过在大型标签层次结构中正式化Metadata感知文本分类问题来弥合差距（例如，数万个标签）。为了解决这个问题，我们介绍了匹配解决方案 - 一个端到端的框架，它利用元数据和层次结构。为了合并元数据，我们预先培训了同一空间中的文本和元数据的嵌入，并且还利用完全连接的关注来捕获它们之间的相互关系。要利用标签层次结构，我们提出了不同的方法来规范其父母每个子标签的参数和输出概率。在具有大规模标签层次结构的两个大规模文本数据集上的广泛实验证明了匹配最先进的深度学习基线的有效性。

The peer merit review of research proposals has been the major mechanism for deciding grant awards. However, research proposals have become increasingly interdisciplinary. It has been a longstanding challenge to assign interdisciplinary proposals to appropriate reviewers, so proposals are fairly evaluated. One of the critical steps in reviewer assignment is to generate accurate interdisciplinary topic labels for proposal-reviewer matching. Existing systems mainly collect topic labels manually generated by principal investigators. However, such human-reported labels can be non-accurate, incomplete, labor intensive, and time costly. What role can AI play in developing a fair and precise proposal reviewer assignment system? In this study, we collaborate with the National Science Foundation of China to address the task of automated interdisciplinary topic path detection. For this purpose, we develop a deep Hierarchical Interdisciplinary Research Proposal Classification Network (HIRPCN). Specifically, we first propose a hierarchical transformer to extract the textual semantic information of proposals. We then design an interdisciplinary graph and leverage GNNs for learning representations of each discipline in order to extract interdisciplinary knowledge. After extracting the semantic and interdisciplinary knowledge, we design a level-wise prediction component to fuse the two types of knowledge representations and detect interdisciplinary topic paths for each proposal. We conduct extensive experiments and expert evaluations on three real-world datasets to demonstrate the effectiveness of our proposed model.