我们为在不平衡的短文本数据集中发现稀缺主题提供了一个简单而通用的解决方案，即基于共同发生的网络模型CWIBTD，可以同时解决短文本主题的稀疏和不平衡的问题并减轻效果的效果。偶尔成对的单词出现，使模型更多地集中在发现稀缺主题上。与以前的方法不同，CWIBTD使用共发生的单词网络对每个单词的主题分布进行建模，从而改善了数据空间的语义密度，并确保其在识别稀有主题方面的敏感性，通过改善计算节点活动的方式和正常方式。在某种程度上，稀缺的话题和大主题。此外，使用与LDA相同的Gibbs采样使CWIBTD易于扩展到Viri-OUS应用程序方案。在不夸张的短文本数据集中进行的广泛实验验证证实了CWIBTD在发现稀有主题时的优越性。我们的模型可用于早期，准确地发现社交平台上新兴主题或意外事件。

分析短文（例如社交媒体帖子）由于其固有的简洁而非常困难。除了对此类帖子的主题进行分类之外，一个常见的下游任务是将这些文档的作者分组以进行后续分析。我们提出了一个新颖的模型，该模型通过对同一文档中的单词之间的强大依赖进行建模以及用户级主题分布来扩展潜在的Dirichlet分配。我们还同时群集用户，消除了对事后集群估计的需求，并通过将嘈杂的用户级主题分布缩小到典型值来改善主题估计。我们的方法的性能和比传统方法的性能（或更好），我们在美国参议员的推文数据集中证明了它的有用性，恢复了反映党派意识形态的有意义的主题和群集。我们还通过表征参议员群体讨论并提供不确定性量化的主题的遗产，从而在这些政治家中开发了一种新的回声室衡量标准。

应用于潜在的Dirichlet分配（LDA）的变异贝叶斯（VB）已成为方面建模最受欢迎的算法。尽管从大型语料库中提取文本主题方面取得了足够的成功，但VB在识别有限数据的情况下识别方面的成功较少。我们提出了通过应用于潜在的Dirichlet分配（LDA）的新型变分信息，并将其与金标准VB进行比较并崩溃的Gibbs采样。在边缘化导致非混合消息的情况下，我们使用采样的想法来得出近似更新方程。如果存在共轭，则使用Loopy信念更新（LBU）（也称为Lauritzen-Spiegelhalter）。我们的算法Albu（近似LBU）与变异消息传递（VMP）具有很强的相似性（这是VB的消息传递变体）。为了比较在有限数据的存在下算法的性能，我们使用由推文和新闻组组成的数据集。此外，为了执行更多细性的评估和比较，我们使用模拟通过Kullback-Leibler Divergence（KLD）进行比较，以进行比较。使用文本语料库和KLD的相干度量与我们显示的模拟相比，Albu比VB更准确地学习潜在分布，尤其是对于较小的数据集。

随着互联网技术的发展，信息超载现象变得越来越明显。用户需要花费大量时间来获取所需的信息。但是，汇总文档信息的关键词非常有助于用户快速获取和理解文档。对于学术资源，大多数现有研究通过标题和摘要提取关键纸张。我们发现引用中的标题信息还包含作者分配的密钥次。因此，本文使用参考信息并应用两种典型的无监督的提取方法（TF * IDF和Textrank），两个代表传统监督学习算法（NA \“IVE贝叶斯和条件随机场）和监督的深度学习模型（Bilstm- CRF），分析参考信息对关键症提取的具体性能。从扩大源文本的角度来提高关键术识别的质量。实验结果表明，参考信息可以提高精度，召回和F1自动关键肾上腺瓶在一定程度上提取。这表明了参考信息关于学术论文的关键症提取的有用性，并为以下关于自动关键正萃取的研究提供了新的想法。

科学世界正在快速改变，新技术正在开发，新的趋势正在进行频率增加。本文介绍了对学术出版物进行科学分析的框架，这对监测研究趋势并确定潜在的创新至关重要。该框架采用并结合了各种自然语言处理技术，例如Word Embedding和主题建模。嵌入单词嵌入用于捕获特定于域的单词的语义含义。我们提出了两种新颖的科学出版物嵌入，即PUB-G和PUB-W，其能够在各种研究领域学习一般的语义含义以及特定于域的单词。此后，主题建模用于识别这些更大的研究领域内的研究主题集群。我们策划了一个出版物数据集，由两条会议组成，并从1995年到2020年的两项期刊从两个研究领域组成。实验结果表明，与其他基线嵌入式的基于主题连贯性，我们的PUB-G和PUB-W嵌入式与其他基线嵌入式相比优越。

Graph neural networks (GNNs) have been utilized for various natural language processing (NLP) tasks lately. The ability to encode corpus-wide features in graph representation made GNN models popular in various tasks such as document classification. One major shortcoming of such models is that they mainly work on homogeneous graphs, while representing text datasets as graphs requires several node types which leads to a heterogeneous schema. In this paper, we propose a transductive hybrid approach composed of an unsupervised node representation learning model followed by a node classification/edge prediction model. The proposed model is capable of processing heterogeneous graphs to produce unified node embeddings which are then utilized for node classification or link prediction as the downstream task. The proposed model is developed to classify stock market technical analysis reports, which to our knowledge is the first work in this domain. Experiments, which are carried away using a constructed dataset, demonstrate the ability of the model in embedding extraction and the downstream tasks.

新闻库中的自动事件检测是开采快速发展的结构化知识的至关重要的任务。由于现实世界事件具有不同的粒度，从顶级主题到关键事件，然后再提及与具体行动相对应的事件，因此通常有两条研究：（1）主题检测从新闻语料库的主要主题中标识（例如，。 ，“ 2019年香港抗议活动”与“ 2020年美国总统大选”），具有非常不同的语义； （2）从一份文件提取的行动提取提取级别的行动（例如，“警察击中抗议者的左臂”），无法理解该事件。在本文中，我们提出了一项新任务，即在中间级别的关键事件检测，目的是从新闻语料库的关键事件（例如，“ 8月12日至14日的HK机场抗议”）中进行检测，每一次都发生在特定时间/位置并专注于同一主题。由于新闻文章的快速发展性质，这项任务可以弥合事件的理解和结构，并且由于关键事件的主题和时间紧密以及标记的数据的稀缺而具有固有的挑战。为了应对这些挑战，我们开发了一个无监督的关键事件检测框架Evmine，（1）使用新颖的TTF-ITF分数提取时间频繁的峰值短语，（2）将峰值短语合并为事件 - 指示特征集，通过从我们的我们检测我们的社区中。设计的峰短语图可以捕获文档的共发生，语义相似性和时间亲密信号，以及（3）迭代地检索与每个关键事件相关的文档，通过训练具有从事件指标特征集中自动生成的伪标签的分类器，并完善该分类器使用检索的文档检测到关键事件。广泛的实验和案例研究表明，Evmine的表现优于所有基线方法及其在两个现实世界新闻机构上的消融。

播客已经出现在大量消耗的在线内容中，特别是由于生产手段的可访问性和通过大型流平台进行缩放分布。分类系统和信息访问技术通常使用主题作为组织或导航播客集合的主要方式。然而，用主题注释播客仍然是非常有问题的，因为分配的编辑类型是广泛的，异构或误导性的，或者因为数据挑战（例如，MetaData文本短，嘈杂的成绩单）。在这里，我们使用主题建模技术来评估从播客元数据，标题和描述中发现相关主题的可行性。我们还提出了一种新的策略来利用命名实体（NES），通常存在于播客元数据中，以非负矩阵分解（NMF）主题建模框架。我们在Spotify和iTunes和Deezer中的两个现有数据集的实验，该数据来自提供播客目录的新数据集，显示我们所提出的文档表示Neice，导致基于基线的主题连贯性。我们释放了结果的实验​​性再现性的代码。

Topic modeling is widely used for analytically evaluating large collections of textual data. One of the most popular topic techniques is Latent Dirichlet Allocation (LDA), which is flexible and adaptive, but not optimal for e.g. short texts from various domains. We explore how the state-of-the-art BERTopic algorithm performs on short multi-domain text and find that it generalizes better than LDA in terms of topic coherence and diversity. We further analyze the performance of the HDBSCAN clustering algorithm utilized by BERTopic and find that it classifies a majority of the documents as outliers. This crucial, yet overseen problem excludes too many documents from further analysis. When we replace HDBSCAN with k-Means, we achieve similar performance, but without outliers.

少数群体一直在使用社交媒体来组织社会运动，从而产生深远的社会影响。黑人生活问题（BLM）和停止亚洲仇恨（SAH）是两个成功的社会运动，在Twitter上蔓延开来，促进了抗议活动和活动，反对种族主义，并提高公众对少数群体面临的其他社会挑战的认识。但是，以前的研究主要对与用户的推文或访谈进行了定性分析，这些推文或访谈可能无法全面和有效地代表所有推文。很少有研究以严格，量化和以数据为中心的方法探讨了BLM和SAH对话中的Twitter主题。因此，在这项研究中，我们采用了一种混合方法来全面分析BLM和SAH Twitter主题。我们实施了（1）潜在的DIRICHLET分配模型，以了解顶级高级单词和主题以及（2）开放编码分析，以确定整个推文中的特定主题。我们通过#BlackLivesMatter和#Stopasianhate主题标签收集了超过一百万条推文，并比较了它们的主题。我们的发现表明，这些推文在深度上讨论了各种有影响力的话题，社会正义，社会运动和情感情感都是两种运动的共同主题，尽管每个运动都有独特的子主题。我们的研究尤其是社交媒体平台上的社会运动的主题分析，以及有关AI，伦理和社会相互作用的文献。

社交媒体平台主持了有关每天出现的各种主题的讨论。理解所有内容并将其组织成类别是一项艰巨的任务。处理此问题的一种常见方法是依靠主题建模，但是使用此技术发现的主题很难解释，并且从语料库到语料库可能会有所不同。在本文中，我们提出了基于推文主题分类的新任务，并发布两个相关的数据集。鉴于涵盖社交媒体中最重要的讨论点的广泛主题，我们提供了最近时间段的培训和测试数据，可用于评估推文分类模型。此外，我们在任务上对当前的通用和领域特定语言模型进行定量评估和分析，这为任务的挑战和性质提供了更多见解。

使用机器学习算法从未标记的文本中提取知识可能很复杂。文档分类和信息检索是两个应用程序，可以从无监督的学习（例如文本聚类和主题建模）中受益，包括探索性数据分析。但是，无监督的学习范式提出了可重复性问题。初始化可能会导致可变性，具体取决于机器学习算法。此外，关于群集几何形状，扭曲可能会产生误导。在原因中，异常值和异常的存在可能是决定因素。尽管初始化和异常问题与文本群集和主题建模相关，但作者并未找到对它们的深入分析。这项调查提供了这些亚地区的系统文献综述（2011-2022），并提出了共同的术语，因为类似的程序具有不同的术语。作者描述了研究机会，趋势和开放问题。附录总结了与审查的作品直接或间接相关的文本矢量化，分解和聚类算法的理论背景。

Most research studying social determinants of health (SDoH) has focused on physician notes or structured elements of the electronic medical record (EMR). We hypothesize that clinical notes from social workers, whose role is to ameliorate social and economic factors, might provide a richer source of data on SDoH. We sought to perform topic modeling to identify robust topics of discussion within a large cohort of social work notes. We retrieved a diverse, deidentified corpus of 0.95 million clinical social work notes from 181,644 patients at the University of California, San Francisco. We used word frequency analysis and Latent Dirichlet Allocation (LDA) topic modeling analysis to characterize this corpus and identify potential topics of discussion. Word frequency analysis identified both medical and non-medical terms associated with specific ICD10 chapters. The LDA topic modeling analysis extracted 11 topics related to social determinants of health risk factors including financial status, abuse history, social support, risk of death, and mental health. In addition, the topic modeling approach captured the variation between different types of social work notes and across patients with different types of diseases or conditions. We demonstrated that social work notes contain rich, unique, and otherwise unobtainable information on an individual's SDoH.

本次调查绘制了用于分析社交媒体数据的生成方法的研究状态的广泛的全景照片（Sota）。它填补了空白，因为现有的调查文章在其范围内或被约会。我们包括两个重要方面，目前正在挖掘和建模社交媒体的重要性：动态和网络。社会动态对于了解影响影响或疾病的传播，友谊的形成，友谊的形成等，另一方面，可以捕获各种复杂关系，提供额外的洞察力和识别否则将不会被注意的重要模式。

关键词提取是在文本文档中查找几个有趣的短语的任务，它提供了文档中的主要主题列表。大多数现有的基于图形的模型使用共同发生链接作为凝聚指示器来模拟语法元素的关系。但是，单词可能在文档中具有不同形式的表达式，也可能有几个同义词。只需使用共同发生信息无法捕获此信息。在本文中，我们通过利用Word Embeddings作为背景知识来增强基于图形的排名模型，以将语义信息添加到词语图。我们的方法是在既定的基准数据集和经验结果上评估的，表明嵌入邻域信息的单词提高了模型性能。

从数据流学习隐藏的主题已经成为绝对必要的，但构成了挑战性问题，如概念漂移以及短而嘈杂的数据。使用先验知识来丰富主题模型是应对这些挑战的潜在解决方案之一。先前知识，其来自人类知识（例如Wordnet）或预先训练的模型（例如Word2Vec）是非常有价值的，并且有助于帮助主题模型更好地工作。然而，在数据到达不断且无限的流动环境中，现有研究仅限于有效利用这些资源。特别是，忽略了包含有意义的词关系的知识图形。在本文中，为了有效利用知识图，我们提出了一种新颖的图形卷积主题模型（GCTM），它将图形卷积网络（GCN）集成到一个主题模型和学习方法，它同时学习网络和主题模型数据流。在每个小纤维中，我们的方法不仅可以利用外部知识图，还可以平衡外部和旧知识，以便在新数据上表现良好。我们进行广泛的实验来评估我们的方法，以评估我们的知识图（WordNet）和由预先接受训练的Word Embeddings（Word2VEC）构建的图形的图表。实验结果表明，在概率预测措施和主题连贯性方面，我们的方法比最先进的基线达到更好的表现。特别是，在处理短文本以及概念漂移时，我们的方法可以很好地工作。 GCTM的实现可在\ URL {https://github.com/bachtranxuan/gctm.git}。

应用于潜在的Dirichlet分配（LDA）的变异贝叶斯（VB）已成为方面建模最受欢迎的算法。尽管从大型语料库中提取文本主题方面取得了足够的成功，但VB在识别有限数据的情况下识别方面的成功较少。我们提出了通过应用于潜在的Dirichlet分配（LDA）的新型变分信息，并将其与金标准VB进行比较并崩溃的Gibbs采样。在边缘化导致非混合消息的情况下，我们使用采样的想法来得出近似更新方程。如果存在共轭，则使用Loopy信念更新（LBU）（也称为Lauritzen-Spiegelhalter）。我们的算法Albu（近似LBU）与变异消息传递（VMP）具有很强的相似性（这是VB的消息传递变体）。为了比较在有限数据的存在下算法的性能，我们使用由推文和新闻组组成的数据集。使用相干度量，我们表明ALBU比VB更准确地学习潜在分布，尤其是对于较小的数据集。

在矿业行业中，在项目管理过程中产生了许多报告。这些过去的文件是未来成功的知识资源。但是，如果文件未经组织和非结构化，则可以是一个繁琐而挑战的任务是检索必要的信息。文档聚类是一种强大的方法来应对问题，并且在过去的研究中介绍了许多方法。尽管如此，没有银弹可以对任何类型的文件表现最佳。因此，需要探索性研究来应用新数据集的聚类方法。在本研究中，我们将研究多个主题建模（TM）方法。目标是使用昆士兰，资源部，昆士兰州政府部的地质调查的数据集找到采矿项目报告的适当方法，并了解内容，以了解如何组织它们。三种TM方法，潜在的Dirichlet分配（LDA），非负矩阵分解（NMF）和非负张量分解（NTF）在统计和定性地比较。评估后，我们得出结论，LDA对数据集执行最佳;然而，可以通过一些改进来采用其他方法的可能性仍然存在。

在过去十年中，假新闻和错误信息变成了一个主要问题，影响了我们生活的不同方面，包括政治和公共卫生。灵感来自自然人类行为，我们提出了一种自动检测假新闻的方法。自然人行为是通过可靠的来源交叉检查新信息。我们使用自然语言处理（NLP）并构建机器学习（ML）模型，可自动执行与一组预定义的可靠源进行交叉检查新信息的过程。我们为Twitter实施了此功能，并构建标记假推送的模型。具体而言，对于给定的推文，我们使用其文本来查找来自可靠的新闻机构的相关新闻。然后，我们培训一个随机森林模型，检查推文的文本内容是否与可信新闻对齐。如果不是，则推文被归类为假。这种方法通常可以应用于任何类型的信息，并且不限于特定的新闻故事或信息类别。我们的实施此方法提供了70美元的$ 70 \％$准确性，这优于其他通用假新闻分类模型。这些结果为假新闻检测提供了更明智和自然的方法。

在科学研究中，该方法是解决科学问题和关键研究对象的必不可少手段。随着科学的发展，正在提出，修改和使用许多科学方法。作者在抽象和身体文本中描述了该方法的详细信息，并且反映该方法名称的学术文献中的关键实体称为方法实体。在大量的学术文献中探索各种方法实体有助于学者了解现有方法，为研究任务选择适当的方法并提出新方法。此外，方法实体的演变可以揭示纪律的发展并促进知识发现。因此，本文对方法论和经验作品进行了系统的综述，重点是从全文学术文献中提取方法实体，并努力使用这些提取的方法实体来建立知识服务。首先提出了本综述涉及的关键概念的定义。基于这些定义，我们系统地审查了提取和评估方法实体的方法和指标，重点是每种方法的利弊。我们还调查了如何使用提取的方法实体来构建新应用程序。最后，讨论了现有作品的限制以及潜在的下一步。