旨在进行巴氏杀菌和量化特定现象的任何方法都必须包括使用强大的统计方法进行数据分析。考虑到这一点，这项研究的目的是介绍非参数非均匀数据框架中可能采用的统计方法，并检查其在自然语言处理和语言集群领域的应用。此外，本文讨论了语言数据挖掘和处理中非参数方法的许多用途。数据深度思想允许在任何维度上进行中心排序，从而导致新的非参数多元统计分析，该分析不需要任何分布假设。层次结构的概念用于历史语言分类和结构化，其目的是使用相同的前提将语言组织和聚集到亚家族中。在这方面，当前的研究提出了一种基于通过各种语言的单词类型结构产生的非参数方法的语言家族结构的新方法，然后使用MDS将其转换为笛卡尔框架。这种基于统计深度的架构允许使用基于数据深度的方法来实现强大的离群检测，这对于理解各种边界语言的分类非常有用，并允许对现有分类系统进行重新评估。其他基于深度的方法也适用于无监督和监督聚类等过程。因此，本文概述了可以在非参数框架中应用于非均匀语言分类系统的过程。
translated by 谷歌翻译
本文报告了在应用多维缩放（MDS）技术中以创建语言研究中的语义地图的最先进。 MDS指的是一种统计技术，其表示对象（词汇项，语言上下文，语言等）作为空间中的点，使得对象之间的密切相似性对应于表示表示中的对应点之间的距离。我们专注于使用MDS与在跨语言变异研究中使用的并行语料库数据相结合。我们首先介绍了MD的数学基础，然后略微概述过去的研究，采用MDS技术与并行语料库数据结合使用。我们提出了一组术语，以简便地描述特定MDS应用程序的关键参数。然后，我们表明，这种计算方法是理论中立的，即它可以用来在各种语言理论框架中回答研究问题。最后，我们展示了这在语言学中的MDS研究中的两条发展程度的发展。
translated by 谷歌翻译
系统发育比较方法在我们的领域是新的，并且对于大多数语言学家来说，至少有一点谜团。然而，导致他们在比较生物学中发现的道路与平衡抽样的方法论历史如此类似，这只是一个历史的事故，即他们没有被典型的专家发现。在这里，我们澄清了系统发育比较方法背后的基本逻辑及其对重点采样的深刻智力传统的基本相关性。然后我们介绍将在日常类型的研究中使用类型的概念，方法和工具，使类型学家能够在日常类型的研究中使用这些方法。系统发育比较方法和平衡采样的关键共性是他们试图因系谱而应对统计非独立性。虽然采样永远不会实现独立性，但需要大多数比较数据被丢弃，系统发育比较方法在保留和使用所有数据的同时实现独立性。我们讨论了系统发育信号的基本概念;关于树木的不确定性;典型的类型学平均值和比例对族谱敏感;跨语言家庭的比较;和体现的影响。广泛的补充材料说明了实际分析的计算工具，我们说明了与帕马尼云根腭膜对比的类型学案例研究讨论的方法。
translated by 谷歌翻译
集成不同学科的数据集很难，因为数据通常在含义，规模和可靠性中的定性不同。当两个数据集描述相同的实体时，许多科学问题可以围绕这种不同数据保守的（DIS）是否保守。我们的方法，清晰度，量化数据集的一致性，识别出现不一致的地方，并辅助其解释。我们使用三种不同的比较来说明这一点：基因甲基化与表达，语言的演变声音与单词使用，以及国家级经济指标与文化信仰。非参数方法对噪声和缩放的差异很强大，并且只有关于如何生成数据的弱假设。它通过将相似性分解为两个组件：类似于聚类的“结构”组件，以及这些结构之间的底层的“关系”。这允许使用从“结构”的可预测性的两个相似性矩阵之间的“结构比较”。在适合每个数据集的重新采样的帮助下评估重要性。本软件清晰度，可作为来自https://github.com/danjlawson/trarity的R包。
translated by 谷歌翻译
本文衡量了跨语言寄存器变化的稳定性。寄存器是各种与语言上下文相关的语言。寄存器及其上下文之间的关系是功能的：构成寄存器的语言特征是由交流状况的需求和约束所激发的。该观点假设寄存器应该是通用的，因此我们期望定义寄存器的语言外部环境与寄存器所包含的语言特征集之间存在稳定的关系。在本文中，使用在可比的交流情况下生成的Corpora在60种语言中比较寄存器特定语言中的变化来测试寄存器变化的普遍性和鲁棒性：推文和Wikipedia文章。我们的发现证实了寄存器变化实际上是普遍的预测。
translated by 谷歌翻译
作为对隐喻分析的贡献，我们介绍了一项基于统计的基于数据的研究，并对长期存在的猜想和对隐喻系统特征的有史以来的经验探索进行了经验分析。相反，这也使隐喻理论可作为含义出现的基础，可以定量探索并集成到NLP的框架中。
translated by 谷歌翻译
We review clustering as an analysis tool and the underlying concepts from an introductory perspective. What is clustering and how can clusterings be realised programmatically? How can data be represented and prepared for a clustering task? And how can clustering results be validated? Connectivity-based versus prototype-based approaches are reflected in the context of several popular methods: single-linkage, spectral embedding, k-means, and Gaussian mixtures are discussed as well as the density-based protocols (H)DBSCAN, Jarvis-Patrick, CommonNN, and density-peaks.
translated by 谷歌翻译
应用分层聚类算法所需的时间最常由成对差异度量的计算数量主导。对于较大的数据集，这种约束使所有经典链接标准的使用都处于不利地位。但是，众所周知，单个连锁聚类算法对离群值非常敏感，产生高度偏斜的树状图，因此通常不会反映出真正的潜在数据结构 - 除非簇分离良好。为了克服其局限性，我们提出了一个名为Genie的新的分层聚类链接标准。也就是说，我们的算法将两个簇链接在一起，以至于选择的经济不平等度量（例如，gini-或bonferroni index）的群集大小不会大大增加超过给定阈值。提出的基准表明引入的方法具有很高的实际实用性：它通常优于病房或平均链接的聚类质量，同时保持单个连锁的速度。 Genie算法很容易平行，因此可以在多个线程上运行以进一步加快其执行。它的内存开销很小：无需预先计算完整的距离矩阵即可执行计算以获得所需的群集。它可以应用于配备有差异度量的任意空间，例如，在实际矢量，DNA或蛋白质序列，图像，排名，信息图数据等上。有关R。另请参见https://genieclust.gagolewski.com有关新的实施（GenieClust） - 可用于R和Python。
translated by 谷歌翻译
人类语言中发现的最强大的模式之一是ZIPF的缩写定律，即更短的单词的趋势。自ZIPF开创性研究以来，该定律被视为压缩的体现，即形式的长度最小化 - 自然交流的普遍原则。尽管对语言进行优化的说法已经变得时尚，但衡量语言优化程度的尝试却相当稀缺。在这里，我们证明压缩在无例外的大量语言中表现出来，并且独立于测量单位。这两个单词长度都可以在书面语言的字符以及口语的持续时间中检测到。此外，为了衡量优化程度，我们得出了一个随机基线的简单公式，并提出了两个分数归一化的分数，即，它们相对于最小值和随机基线都进行了归一化。我们分析了这些和其他分数的理论和统计优势和缺点。利用最佳分数，我们首次量化了语言中单词长度的最佳程度。这表明当单词长度以字符测量时，语言平均被优化至62％或67％（取决于源），当单词长度及时测量时，平均而言，平均而言，平均而言，平均而言，平均而言，平均而言，平均至65％。通常，口语持续时间比字符中的书面单词长度更优化。除了这里报告的分析外，我们的工作还铺平了衡量其他物种发声或手势的最佳程度的方法，并将其与书面，口语或签名的人类语言进行比较。
translated by 谷歌翻译
最近有一项激烈的活动在嵌入非常高维和非线性数据结构的嵌入中，其中大部分在数据科学和机器学习文献中。我们分四部分调查这项活动。在第一部分中，我们涵盖了非线性方法，例如主曲线，多维缩放，局部线性方法，ISOMAP，基于图形的方法和扩散映射，基于内核的方法和随机投影。第二部分与拓扑嵌入方法有关，特别是将拓扑特性映射到持久图和映射器算法中。具有巨大增长的另一种类型的数据集是非常高维网络数据。第三部分中考虑的任务是如何将此类数据嵌入中等维度的向量空间中，以使数据适合传统技术，例如群集和分类技术。可以说，这是算法机器学习方法与统计建模（所谓的随机块建模）之间的对比度。在论文中，我们讨论了两种方法的利弊。调查的最后一部分涉及嵌入$ \ mathbb {r}^ 2 $，即可视化中。提出了三种方法：基于第一部分，第二和第三部分中的方法，$ t $ -sne，UMAP和大节。在两个模拟数据集上进行了说明和比较。一个由嘈杂的ranunculoid曲线组成的三胞胎，另一个由随机块模型和两种类型的节点产生的复杂性的网络组成。
translated by 谷歌翻译
聚类是一种无监督的机器学习方法，其中未标记的元素/对象被分组在一起，旨在构建成熟的群集，以根据其相似性对其元素进行分类。该过程的目的是向研究人员提供有用的帮助，以帮助她/他确定数据中的模式。在处理大型数据库时，如果没有聚类算法的贡献，这种模式可能无法轻易检测到。本文对最广泛使用的聚类方法进行了深入的描述，并伴随着有关合适的参数选择和初始化的有用演示。同时，本文不仅代表了一篇评论，该评论突出了所检查的聚类技术的主要要素，而且强调了这些算法基于3个数据集的聚类效率的比较，从而在对抗性和复杂性中揭示了其现有的弱点和能力，在持续的离散和持续的离散和离散和持续的差异。观察。产生的结果有助于我们根据数据集的大小提取有关检查聚类技术的适当性的宝贵结论。
translated by 谷歌翻译
在本文中，我们使用一系列建模技术来调查抽象手机是否可以从接触语音声音中出现。实际上，该研究代表了尝试从语言使用的抽象出现的基于使用的语言学理论设备的尝试。我们的任务侧重于最简单的这样的假设抽象。我们测试了两个关于语言知识在语言上的语言知识的反对原则：基于内存的学习（MBL）和纠错学习（ECL）。泛化的过程得到了抽象语言学家与之运作，我们探讨了MBL和ECL是否可以产生类似语言抽象的语言知识。每个模型都有一个由一个扬声器产生的大量预处理语音。我们评估了这些简单模型所学到的一致性或稳定性以及它们引起抽象类别的能力。两种类型的模型在这些测试方面的票价不同。我们表明ECL模型可以从输入中可靠地识别了ECL模型可以学习抽象，并且至少可以从输入中可靠地识别到传统类型中的电话库存和分组。
translated by 谷歌翻译
分层群集的主要挑战之一是如何适当地识别群集树较低级别的代表点，这些点将被用作群集树的较高级别的根源以进行进一步的聚合。然而，传统的分层聚类方法采用了一些简单的技巧来选择可能不像代表的“代表”点。因此，构造的簇树在其稳健性和可靠性较弱的方面不太吸引。针对这个问题，我们提出了一种新的分层聚类算法，其中，在构建聚类树形图的同时，我们可以有效地检测基于对每个子最小跨越树中的互易读数的互动最近数据点进行评分的代表点。 UCI数据集的广泛实验表明，所提出的算法比其他基准更准确。同时，在我们的分析下，所提出的算法具有O（nlogn）时间复杂度和O（logn）空间复杂度，表明它具有在处理具有更少时间和存储消耗的大规模数据方面具有可扩展性。
translated by 谷歌翻译
使用机器学习算法从未标记的文本中提取知识可能很复杂。文档分类和信息检索是两个应用程序，可以从无监督的学习（例如文本聚类和主题建模）中受益，包括探索性数据分析。但是，无监督的学习范式提出了可重复性问题。初始化可能会导致可变性，具体取决于机器学习算法。此外，关于群集几何形状，扭曲可能会产生误导。在原因中，异常值和异常的存在可能是决定因素。尽管初始化和异常问题与文本群集和主题建模相关，但作者并未找到对它们的深入分析。这项调查提供了这些亚地区的系统文献综述（2011-2022），并提出了共同的术语，因为类似的程序具有不同的术语。作者描述了研究机会，趋势和开放问题。附录总结了与审查的作品直接或间接相关的文本矢量化，分解和聚类算法的理论背景。
translated by 谷歌翻译
我们对基于上下文化的基于嵌入的方法的（可能错误的）输出进行了定性分析，以检测直接性语义变化。首先，我们引入了一种合奏方法优于先前描述的上下文化方法。该方法被用作对5年英语单词预测的语义变化程度进行深入分析的基础。我们的发现表明，上下文化的方法通常可以预测单词的高变化分数，这些单词在术语的词典意义上没有经历任何实际的历时语义转移（或至少这些转移的状态值得怀疑）。详细讨论了此类具有挑战性的案例，并提出了它们的语言分类。我们的结论是，预训练的情境化语言模型容易产生词典感官和上下文方差变化的变化，这自然源于它们的分布性质，但与基于静态嵌入的方法中观察到的问题类型不同。此外，他们经常将词汇实体的句法和语义方面合并在一起。我们为这些问题提出了一系列可能的未来解决方案。
translated by 谷歌翻译
在这项工作中，对于不确定和结构化数据的聚类计划被认为依赖于Wasserstein Barycenters的概念，并伴随着基于Wasserstein空间的内在几何形状的适当聚类指数，在该几何形状上执行了群集任务。这种类型的聚类方法在许多领域都高度赞赏，在观察/实验误差很大（例如，天文学，生物学，遥感等）或数据性质更为复杂，并且传统学习算法不适用或有效治疗，因此高度赞赏。它们（例如网络数据，间隔数据，高频记录，矩阵数据等）。从这个角度来看，每个观察结果都是通过适当的概率度量来确定的，并且提出的聚类方案依赖于歧视标准，这些标准通过最佳运输理论从概率测量方面利用了概率测量空间的几何结构。通过模拟研究和两个现实世界应用中的实施来说明拟议方法和地球标准性能的优势和能力：（a）根据其观察到的政府债券收益率曲线和（b）对欧元区国家的群集进行分类，并（b）对到某些土地的卫星图像使用类别，这是遥感中的标准任务。
translated by 谷歌翻译
本文使用寄存器预测任务进行了39种语言的基于频率语料库相似性的实验。目的是量化（i）不同语料库与同一语言和（ii）单个语音的同质性之间的距离。这两个目标对于衡量基于语料库的语言分析如何从一个数据集推广到另一个数据集都至关重要。问题在于，以前的工作集中在印欧语上，提出了一个问题，即这些措施是否能够在各种语言上提供强大的概括。本文使用寄存器预测任务来评估跨39种语言的竞争措施：他们能够区分代表不同生产环境的语料库？每个实验都将单个语言的三个语料库与所有语言共享的三个数字寄存器进行比较：社交媒体，网页和Wikipedia。结果表明，语料库相似性的衡量标准保留了不同语言家族，写作系统和形态类型的有效性。此外，当对不域外的语料库，应用于低资源语言以及应用于不同的寄存器集时，这些措施仍然坚固。鉴于我们需要在可用于分析的迅速增加的情况下进行概括，因此这些发现很重要。
translated by 谷歌翻译
异常检测或异常检测是数据分析中的重要任务。我们从几何学角度讨论问题，并提供一个框架来利用数据集的度量结构。我们的方法基于多种假设，即，所观察到的名义上高维数据位于较低的维歧管上，并且可以通过多种学习方法来推断这种内在结构。我们表明，利用这种结构可显着改善高维数据中外围观测值的检测。我们还基于数据流形的几何形状和拓扑结构，在数学上精确，精确且在结构异常值之间进行了新颖的区别，这是一个新颖的，并且阐明了整个文献中普遍存在的概念模棱两可。我们的实验将功能数据集中在一类结构化的高维数据上，但是我们提出的框架是完全一般的，我们包括图像和图形数据应用程序。我们的结果表明，可以使用歧管学习方法检测和可视化高维和非尾数据的离群结构，并使用应用于歧管嵌入向量的标准离群评分方法进行量化。
translated by 谷歌翻译
大型语言数据集的可用性使数据驱动的方法能够研究语言改变。 Google Books Corpus Unigram频率数据集用于以八种语言调查排名动态。我们观察了1900年至2008年的Unigrams的等级变化，并将其与我们为分析开发的赖特 - 费舍尔灵感的模型进行了比较。该模型模拟中性进化过程，限制没有消失并添加单词。这项工作解释了模型的数学框架 - 用多项式过渡概率写作马尔可夫链 - 以展示单词频率如何变化。从我们的数据和我们的模型中的观察开始，Word Rank稳定性显示出两种类型的特点：（1）排名的增加/减少是单调，或（2）排名保持不变。基于我们的模型，高级词语往往更稳定，而低级词语往往更易挥发。有些词语以两种方式在两种方面发生变化：（a）通过累积小/减少等级和（b）的累积，通过增加/减少等级的冲击。我们所展示的所有语言中的大多数单词都是排名稳定，但并不像中立模型一样稳定。观察到的秒表和斯沃拉斯图单词在八种语言中排名稳定，这表明既定语言的语言符合性。这些签名提示所有语言的Unigram频率都以与纯粹中立的进化过程不一致的方式发生了变化。
translated by 谷歌翻译
分销语义提供了研究形态学语义的新方法。这项研究的重点是名词奇异人的语义及其在英语中的复数变种变体。我们的目标是比较两个模型的多元化概念化。一个模型（FRACSS）提出，在预测来自单数语义的复数语义时，应考虑所有奇异对。另一个模型（CCA）认为，多元化的概念化主要取决于基本单词的语义类别。我们根据大量的美国英语语音与两个模型预测的语义矢量相一致的大量语料库中复数代币的语音信号的方式进行比较。采用了两项措施：表单与义映射的性能以及形式距离和含义距离之间的相关性。结果收敛于CCA的优质比对。我们的结果表明，基于用法的多元化方法，其中给定单词自己的语义社区的优先级优于理论，根据该理论，多元化被概念化为基于高级抽象的过程。我们看到，经常被认为是一个高度抽象的概念，[+复数]可以通过中级部分概括的家庭更好地捕获。
translated by 谷歌翻译