我们适应更高的批评（HC）拟合良好测试，以测量字频表之间的近距离。我们将这条措施应用于作者归因挑战，目标是使用其他文档来识别文档的作者。该方法简单但在没有手工和调谐的情况下表现良好;在各种当前挑战中报告最新状态的准确性。作为固有的副作用，HC计算标识了识别字的子集。在实践中，所确定的单词跨属于同质作者的语料库的文件方差低。我们得出结论，在比较新文件的相似性和单个作者的语料库中，HC大多受作者的特征的影响，并且相对不受主题结构的影响。
translated by 谷歌翻译
Selecting the number of topics in LDA models is considered to be a difficult task, for which alternative approaches have been proposed. The performance of the recently developed singular Bayesian information criterion (sBIC) is evaluated and compared to the performance of alternative model selection criteria. The sBIC is a generalization of the standard BIC that can be implemented to singular statistical models. The comparison is based on Monte Carlo simulations and carried out for several alternative settings, varying with respect to the number of topics, the number of documents and the size of documents in the corpora. Performance is measured using different criteria which take into account the correct number of topics, but also whether the relevant topics from the DGPs are identified. Practical recommendations for LDA model selection in applications are derived.
translated by 谷歌翻译
2021-11-29
当分布生成数据变化时，ChangePoint分析处理时间序列数据中的时间点的无监督检测和/或估计。在本文中，我们在大规模文本数据的上下文中考虑\ emph {offline} ChangePoint检测。我们在主题比例分布的分布中构建了一个专门的时间主题模型。随着该模型的完全可能性推断是在计算上难以解决的，我们开发了一个计算易诊的近似推理过程。更具体地，我们使用样品分离来首先估计多个主题，然后将似然比统计与Fryzlewicz等人的野生二进制分割算法的修改版本一起应用。 （2014）。我们的方法促进了大公司的结构变化的自动检测，而无需通过域专家手动处理。随着我们模型下的变换点对应于主题结构的变化，估计的变化点通常是高度可解释的，因为标志着时尚主题的普及涌现或下降。我们在两个大型数据集上应用我们的程序：（i）从1800-1922期（Underweet Al，2015年）的英语文学语料库; （ii）来自高能物理arxiv存储库的摘要（Clementet al。，2019）。我们获得一些历史上众所周知的改变点，发现一些新的变化点。
translated by 谷歌翻译
使用机器学习算法从未标记的文本中提取知识可能很复杂。文档分类和信息检索是两个应用程序，可以从无监督的学习（例如文本聚类和主题建模）中受益，包括探索性数据分析。但是，无监督的学习范式提出了可重复性问题。初始化可能会导致可变性，具体取决于机器学习算法。此外，关于群集几何形状，扭曲可能会产生误导。在原因中，异常值和异常的存在可能是决定因素。尽管初始化和异常问题与文本群集和主题建模相关，但作者并未找到对它们的深入分析。这项调查提供了这些亚地区的系统文献综述（2011-2022），并提出了共同的术语，因为类似的程序具有不同的术语。作者描述了研究机会，趋势和开放问题。附录总结了与审查的作品直接或间接相关的文本矢量化，分解和聚类算法的理论背景。
translated by 谷歌翻译
本文使用寄存器预测任务进行了39种语言的基于频率语料库相似性的实验。目的是量化（i）不同语料库与同一语言和（ii）单个语音的同质性之间的距离。这两个目标对于衡量基于语料库的语言分析如何从一个数据集推广到另一个数据集都至关重要。问题在于，以前的工作集中在印欧语上，提出了一个问题，即这些措施是否能够在各种语言上提供强大的概括。本文使用寄存器预测任务来评估跨39种语言的竞争措施：他们能够区分代表不同生产环境的语料库？每个实验都将单个语言的三个语料库与所有语言共享的三个数字寄存器进行比较：社交媒体，网页和Wikipedia。结果表明，语料库相似性的衡量标准保留了不同语言家族，写作系统和形态类型的有效性。此外，当对不域外的语料库，应用于低资源语言以及应用于不同的寄存器集时，这些措施仍然坚固。鉴于我们需要在可用于分析的迅速增加的情况下进行概括，因此这些发现很重要。
translated by 谷歌翻译
Determining the author of a text is a difficult task. Here we compare multiple AI techniques for classifying literary texts written by multiple authors by taking into account a limited number of speech parts (prepositions, adverbs, and conjunctions). We also introduce a new dataset composed of texts written in the Romanian language on which we have run the algorithms. The compared methods are Artificial Neural Networks, Support Vector Machines, Multi Expression Programming, Decision Trees with C5.0, and k-Nearest Neighbour. Numerical experiments show, first of all, that the problem is difficult, but some algorithms are able to generate decent errors on the test set.
translated by 谷歌翻译
本地语言识别（NLI）是培训（通过监督机器学习）的任务，该分类器猜测文本作者的母语。在过去的十年中，这项任务已经进行了广泛的研究，多年来，NLI系统的性能稳步改善。我们专注于NLI任务的另一个方面，即分析由\ emph {Aupplable}机器学习算法培训的NLI分类器的内部组件，以获取其分类决策的解释，并具有获得的最终目标，即获得最终的目标。深入了解语言现象````赋予说话者''的母语''。我们使用这种观点来解决NLI和（研究得多的）伴侣任务，即猜测是由本地人还是非本地人说的文本。使用三个不同出处的数据集（英语学习者论文的两个数据集和社交媒体帖子的数据集），我们研究哪种语言特征（词汇，形态学，句法和统计）最有效地解决了我们的两项任务，即，最大的表明说话者的L1。我们还提出了两个案例研究，一个关于西班牙语，另一个关于意大利英语学习者，其中我们分析了分类器对发现这些L1最重要的单个语言特征。总体而言，我们的研究表明，使用可解释的机器学习可能是TH的宝贵工具
translated by 谷歌翻译
Gutenberg文学英语语料库（Glec，Jacobs，2018a）为数字人文，计算语言学或神经认知诗学提供了丰富的文本数据来源。在这项研究中，我们解决了GLEC中不同文学类别的差异，以及作者之间的差异。我们报告了三项研究的结果，提供i）GLEC（即儿童和青年，散文，小说，戏剧，诗歌，故事）及其> 100作者，II）语义复杂性的新措施的主题和情绪分析作为Glec（例如，Jane Austen的六个小说）的工程的文学，创造力和书籍美容的指标，以及使用语义复杂性的新功能的文本分类和作者认可的两个实验。关于两种新型措施的数据估算文本的文献，文字术语和逐步距离（Van Cranenburgh等，2019）透露，戏剧是Glec中最具文学的文学，其次是诗歌和小说。计算文本创造力的新索引（Gray等，2016）揭示了诗歌和戏剧，作为最具创造力的作者，最具创造力的作者（米尔顿，教皇，Keats，Byron或Wordsworth）。我们还为Glec的作品计算了一种新颖的言语艺术感知的美丽指数，并预测Emma是奥斯汀的大小是最美丽的小说。最后，我们证明了这些语义复杂性的这些新颖的措施是文本分类和作者认可的重要特征，以及整体预测准确性在.75到.97范围内的整体预测精度。我们的数据为阅读心理学的未来计算和实验研究以及提供了多种基准和基准，用于分析和验证其他书籍语料库的途径。
translated by 谷歌翻译
文本的风格分析是研究领域的关键任务，从作者归因到法医分析和人格分析。现有的风格分析方法受到主题影响力，大量作者缺乏可区分性以及对大量不同数据的要求所困扰的。在本文中，确定了这些问题的来源，以及对解决方案的认知观点的必要性。引入了一种新型功能表示，称为基于轨迹的样式估计（TRASE），以支持此目的。在跨域场景中拥有超过27,000名作者和140万样本的作者归因实验，导致90％的归因精度表明该特征表示对这种负面影响不受影响，并且是对风格分析的出色候选者。最后，使用物理人类特征（如年龄）对TRASE进行定性分析，以验证其在捕获认知特征方面的主张。
translated by 谷歌翻译
本文衡量了跨语言寄存器变化的稳定性。寄存器是各种与语言上下文相关的语言。寄存器及其上下文之间的关系是功能的：构成寄存器的语言特征是由交流状况的需求和约束所激发的。该观点假设寄存器应该是通用的，因此我们期望定义寄存器的语言外部环境与寄存器所包含的语言特征集之间存在稳定的关系。在本文中，使用在可比的交流情况下生成的Corpora在60种语言中比较寄存器特定语言中的变化来测试寄存器变化的普遍性和鲁棒性：推文和Wikipedia文章。我们的发现证实了寄存器变化实际上是普遍的预测。
translated by 谷歌翻译
人类语言中发现的最强大的模式之一是ZIPF的缩写定律，即更短的单词的趋势。自ZIPF开创性研究以来，该定律被视为压缩的体现，即形式的长度最小化 - 自然交流的普遍原则。尽管对语言进行优化的说法已经变得时尚，但衡量语言优化程度的尝试却相当稀缺。在这里，我们证明压缩在无例外的大量语言中表现出来，并且独立于测量单位。这两个单词长度都可以在书面语言的字符以及口语的持续时间中检测到。此外，为了衡量优化程度，我们得出了一个随机基线的简单公式，并提出了两个分数归一化的分数，即，它们相对于最小值和随机基线都进行了归一化。我们分析了这些和其他分数的理论和统计优势和缺点。利用最佳分数，我们首次量化了语言中单词长度的最佳程度。这表明当单词长度以字符测量时，语言平均被优化至62％或67％（取决于源），当单词长度及时测量时，平均而言，平均而言，平均而言，平均而言，平均而言，平均而言，平均至65％。通常，口语持续时间比字符中的书面单词长度更优化。除了这里报告的分析外，我们的工作还铺平了衡量其他物种发声或手势的最佳程度的方法，并将其与书面，口语或签名的人类语言进行比较。
translated by 谷歌翻译
主题进化建模近几十年来收到了重大关注。虽然已经提出了各种主题演进模型，但大多数研究都关注单一文件语料库。但是，在实践中，我们可以轻松访问来自多个来源的数据，并且还可以观察它们之间的关系。然后，识别多个文本语料库之间的关系并进一步利用这种关系来提高主题建模。在这项工作中，我们专注于两个文本语料库之间的特殊关系，我们将其定义为“滞后关系”。这种关系表征了一个文本语料库会影响未来在另一个文本语料库中讨论的主题的现象。要发现引导滞后关系，我们提出了一个共同动态的主题模型，并开发了嵌入扩展，以解决大规模文本语料库的建模问题。通过认可的引导关系，可以改善两个文本语料库的相似性，可以改善在两种语料中学习的主题质量。我们使用合成数据进行数值调查联合动态主题建模方法的性能。最后，我们在两个文本语料库上应用拟议的模型，包括统计文件和毕业论文。结果表明，拟议的模型可以很好地认识到两种语料库之间的引导滞后关系，也发现了两种语料库的具体和共享主题模式。
translated by 谷歌翻译
社会科学研究中文本数据的使用增加受益于易于访问的数据（例如Twitter）。这种趋势是以研究成本需要敏感但难以分享的数据的成本（例如，访谈数据，警察报告，电子健康记录）。我们使用开源文本匿名软件_textwash_介绍了该僵局的解决方案。本文使用TILD标准介绍了该工具的经验评估：技术评估（工具的准确性？），信息损失评估（匿名过程中丢失了多少信息？）和De-Nomenymisation Test（可以可以使用（可以可以可以使用）测试（可以可以使用匿名测试（可以人类从匿名文本数据中识别个人吗？）。研究结果表明，TextWash的性能类似于最新的实体识别模型，并引入了可忽略的信息损失0.84％。对于De-nonymisation测试，我们任命人类从众包人的描述数据集中对非常著名，半著名和不存在的个人的描述来识别个人。该工具的现实用例的匿名率范围为1.01-2.01％。我们在第二项研究中复制了发现，并得出结论，Textwash成功地删除了潜在的敏感信息，这些信息实际上使人描述实际上是匿名的。
translated by 谷歌翻译
本文是我们尝试回答两个问题，涵盖道德和作者资格分析领域的问题。首先，由于用于执行作者身份分析的方法意味着他或她创建的内容可以识别作者，因此我们有兴趣找出作者身份证系统是否有可能正确地将作者归因于作者，如果年来，他们经历了重大的心理过渡。其次，从作者的道德价值观演变的角度来看，我们检查了如果作者归因系统在检测单个作者身份方面遇到困难，这将是什么意思。我们着手使用基于预训练的变压器模型的文本分类器执行二进制作者资格分析任务来回答这些问题，并依靠常规相似性指标来回答这些问题。对于测试套装，我们选择了教育史上的日本教育家和专家Arata Osada的作品，其中一半是在第二次世界大战之前写的书，在1950年代又是一半，在此期间，他进行了转变。政治意见的条款。结果，我们能够确认，在10年以上的时间跨度中，Arata Osada撰写的文本，而分类准确性下降了很大的利润率，并且大大低于其他非虚构的文本作家，预测的信心得分仍然与时间跨度较短的水平相似，这表明分类器在许多情况下被欺骗来决定在多年的时间跨度上写的文本实际上是由两个不同的人编写的，这反过来又使我们相信这种变化会影响作者身份分析，并且历史事件对人的著作中所表达的道德观。
translated by 谷歌翻译
系统发育比较方法在我们的领域是新的，并且对于大多数语言学家来说，至少有一点谜团。然而，导致他们在比较生物学中发现的道路与平衡抽样的方法论历史如此类似，这只是一个历史的事故，即他们没有被典型的专家发现。在这里，我们澄清了系统发育比较方法背后的基本逻辑及其对重点采样的深刻智力传统的基本相关性。然后我们介绍将在日常类型的研究中使用类型的概念，方法和工具，使类型学家能够在日常类型的研究中使用这些方法。系统发育比较方法和平衡采样的关键共性是他们试图因系谱而应对统计非独立性。虽然采样永远不会实现独立性，但需要大多数比较数据被丢弃，系统发育比较方法在保留和使用所有数据的同时实现独立性。我们讨论了系统发育信号的基本概念;关于树木的不确定性;典型的类型学平均值和比例对族谱敏感;跨语言家庭的比较;和体现的影响。广泛的补充材料说明了实际分析的计算工具，我们说明了与帕马尼云根腭膜对比的类型学案例研究讨论的方法。
translated by 谷歌翻译
作者归因是确定给定文本的作者的任务。大多数现有方法都使用手动设计的功能来捕获数据集的内容和样式。但是，这种依赖数据集的方法会产生不一致的性能。因此，我们建议使用对比度学习和监督学习（Contra-X）的结合来微调预训练的语言表示。我们表明，Contra-X在多个人类和机器作者身份归因基准上提高了最先进的方法，从而提高了高达6.8％的改善。我们还表明，在不同的数据方案中，Contra-X始终优于跨凝性微调。至关重要的是，我们介绍了这些改进的定性和定量分析。我们博学的表示形成了不同作者的高度可分开的群集。但是，我们发现对比度学习以牺牲某些作者的牺牲成本提高了整体准确性。解决这种紧张关系将是未来工作的重要方向。据我们所知，我们是第一个分析将对比度学习与跨凝性微调相结合的作者归因的效果。
translated by 谷歌翻译
We describe latent Dirichlet allocation (LDA), a generative probabilistic model for collections of discrete data such as text corpora. LDA is a three-level hierarchical Bayesian model, in which each item of a collection is modeled as a finite mixture over an underlying set of topics. Each topic is, in turn, modeled as an infinite mixture over an underlying set of topic probabilities. In the context of text modeling, the topic probabilities provide an explicit representation of a document. We present efficient approximate inference techniques based on variational methods and an EM algorithm for empirical Bayes parameter estimation. We report results in document modeling, text classification, and collaborative filtering, comparing to a mixture of unigrams model and the probabilistic LSI model.
translated by 谷歌翻译
大型语言数据集的可用性使数据驱动的方法能够研究语言改变。 Google Books Corpus Unigram频率数据集用于以八种语言调查排名动态。我们观察了1900年至2008年的Unigrams的等级变化，并将其与我们为分析开发的赖特 - 费舍尔灵感的模型进行了比较。该模型模拟中性进化过程，限制没有消失并添加单词。这项工作解释了模型的数学框架 - 用多项式过渡概率写作马尔可夫链 - 以展示单词频率如何变化。从我们的数据和我们的模型中的观察开始，Word Rank稳定性显示出两种类型的特点：（1）排名的增加/减少是单调，或（2）排名保持不变。基于我们的模型，高级词语往往更稳定，而低级词语往往更易挥发。有些词语以两种方式在两种方面发生变化：（a）通过累积小/减少等级和（b）的累积，通过增加/减少等级的冲击。我们所展示的所有语言中的大多数单词都是排名稳定，但并不像中立模型一样稳定。观察到的秒表和斯沃拉斯图单词在八种语言中排名稳定，这表明既定语言的语言符合性。这些签名提示所有语言的Unigram频率都以与纯粹中立的进化过程不一致的方式发生了变化。
translated by 谷歌翻译
Variable and feature selection have become the focus of much research in areas of application for which datasets with tens or hundreds of thousands of variables are available. These areas include text processing of internet documents, gene expression array analysis, and combinatorial chemistry. The objective of variable selection is three-fold: improving the prediction performance of the predictors, providing faster and more cost-effective predictors, and providing a better understanding of the underlying process that generated the data. The contributions of this special issue cover a wide range of aspects of such problems: providing a better definition of the objective function, feature construction, feature ranking, multivariate feature selection, efficient search methods, and feature validity assessment methods.
translated by 谷歌翻译
Deep Learning and Machine Learning based models have become extremely popular in text processing and information retrieval. However, the non-linear structures present inside the networks make these models largely inscrutable. A significant body of research has focused on increasing the transparency of these models. This article provides a broad overview of research on the explainability and interpretability of natural language processing and information retrieval methods. More specifically, we survey approaches that have been applied to explain word embeddings, sequence modeling, attention modules, transformers, BERT, and document ranking. The concluding section suggests some possible directions for future research on this topic.
translated by 谷歌翻译