K-Medoids算法是K-均值算法的流行变体,广泛用于模式识别和机器学习。 K-Medoids算法的主要缺点是它可以被困在局部Optima中。最近提出了改进的K-Medoids算法(INCKM)来克服这一缺点,基于使用参数选择过程构建候选Medoid子集,但在处理不平衡数据集时可能会失败。在本文中,我们提出了一种新型的增量K-Medoids算法(INCKPP),该算法通过非参数和随机K-M-M-M-M-M-M-M-M-M-M-M-M-M-M-M-M-MEANS ++搜索程序,将簇数从2动态增加到K的数量。我们的算法可以在改进的K-Medoids算法中克服参数选择问题,改善聚类性能,并很好地处理不平衡数据集。但是我们的算法在计算效率方面具有弱点。为了解决此问题,我们提出了一种快速的Inckpp算法(称为Inckpp $ _ {sample} $),该算法可保留具有改进的聚类性能的简单和快速K-Medoids算法的计算效率。将所提出的算法与三种最新算法进行比较:改进的K-Medoids算法(INCKM),简单和快速的K-Medoids算法(FKM)和K-Means +++算法(KPP)。包括不平衡数据集在内的合成和现实世界数据集的广泛实验说明了所提出的算法的有效性。
translated by 谷歌翻译
基于密度的聚类算法被广泛用于发现模式识别和机器学习中的簇,因为它们可以处理非诸如球形群集,并且是处理异常值的稳健性。但是,基于密度的算法的运行时间通过在邻居附近找到固定 - 拉迪乌斯并计算密度,这在很大程度上是耗时的。同时,使用索引技术(例如KD树)的传统加速方法在处理高维数据方面无效。在本文中,我们提出了一种快速区域查询算法,借助快速主体组件分析技术与数据主属性提供的几何信息,可以处理高维度的高维度,这些算法可以处理数据的主要属性,这些信息可以处理高维度,从而可以处理高维度数据并轻松地应用于基于密度的方法,以在寻找邻居和估计密度时修剪不必要的距离计算。作为基于密度的聚类方法的应用,将FPCAP方法与使用噪声(DBSCAN)算法的应用程序的密度空间聚类相结合。然后,获得了改进的DBSCAN(称为IDBSCAN),该DBSCAN保留了DBSCAN的优势,同时大大降低了冗余距离的计算。七个基准数据集的实验表明,所提出的算法可显着提高计算效率。
translated by 谷歌翻译
The $k$-means algorithm is a very prevalent clustering method because of its simplicity, effectiveness, and speed, but its main disadvantage is its high sensitivity to the initial positions of the cluster centers. The global $k$-means is a deterministic algorithm proposed to tackle the random initialization problem of k-means but requires high computational cost. It partitions the data to $K$ clusters by solving all $k$-means sub-problems incrementally for $k=1,\ldots, K$. For each $k$ cluster problem, the method executes the $k$-means algorithm $N$ times, where $N$ is the number of data points. In this paper, we propose the global $k$-means$++$ clustering algorithm, which is an effective way of acquiring quality clustering solutions akin to those of global $k$-means with a reduced computational load. This is achieved by exploiting the center section probability that is used in the effective $k$-means$++$ algorithm. The proposed method has been tested and compared in various well-known real and synthetic datasets yielding very satisfactory results in terms of clustering quality and execution speed.
translated by 谷歌翻译
$ k $ -means集群是各学科的基本问题。此问题是非核解,并且标准算法仅保证找到本地最佳算法。利用[1]的本地解决方案的结构,我们提出了一种用于逃离不良局部解决方案并恢复全球解决方案(或地面真理)的一般算法框架。该框架包括迭代:(i)在本地解决方案中检测MIS指定的群集,并通过非本地操作来改进当前本地解决方案。我们讨论这些步骤的实施,并阐明所提出的框架如何从几何视角统一文献中的k $ -means算法的变体。此外,我们介绍了所提出的框架的两个自然扩展,其中初始数量的群集被遗漏。我们为我们的方法提供了理论理的理由,这是通过广泛的实验证实的。
translated by 谷歌翻译
分层群集的主要挑战之一是如何适当地识别群集树较低级别的代表点,这些点将被用作群集树的较高级别的根源以进行进一步的聚合。然而,传统的分层聚类方法采用了一些简单的技巧来选择可能不像代表的“代表”点。因此,构造的簇树在其稳健性和可靠性较弱的方面不太吸引。针对这个问题,我们提出了一种新的分层聚类算法,其中,在构建聚类树形图的同时,我们可以有效地检测基于对每个子最小跨越树中的互易读数的互动最近数据点进行评分的代表点。 UCI数据集的广泛实验表明,所提出的算法比其他基准更准确。同时,在我们的分析下,所提出的算法具有O(nlogn)时间复杂度和O(logn)空间复杂度,表明它具有在处理具有更少时间和存储消​​耗的大规模数据方面具有可扩展性。
translated by 谷歌翻译
FCM和PCM聚类方法都被广泛应用于模式识别和数据聚类。尽管如此,FCM对噪声和PCM偶尔会产生一致的簇。 PFCM是通过组合FCM和PCM的PCM模型的扩展,但这种方法仍然遭受PCM和FCM的弱点。在目前的纸张中,校正了PFCM算法的弱点,并提出了增强的可能性模糊C-MATIOM(EPFCM)聚类算法。 EPFCM仍然对噪音敏感。因此,我们通过利用模糊成员资格和两个fuzzifers $({\ theta} _1,{\ theta} _2 )$的可能性典型。我们的计算结果表明,与文献中的几种最先进的技术相比,拟议方法的优势。最后,实施了所提出的方法,用于分析微阵列基因表达数据。
translated by 谷歌翻译
应用分层聚类算法所需的时间最常由成对差异度量的计算数量主导。对于较大的数据集,这种约束使所有经典链接标准的使用都处于不利地位。但是,众所周知,单个连锁聚类算法对离群值非常敏感,产生高度偏斜的树状图,因此通常不会反映出真正的潜在数据结构 - 除非簇分离良好。为了克服其局限性,我们提出了一个名为Genie的新的分层聚类链接标准。也就是说,我们的算法将两个簇链接在一起,以至于选择的经济不平等度量(例如,gini-或bonferroni index)的群集大小不会大大增加超过给定阈值。提出的基准表明引入的方法具有很高的实际实用性:它通常优于病房或平均链接的聚类质量,同时保持单个连锁的速度。 Genie算法很容易平行,因此可以在多个线程上运行以进一步加快其执行。它的内存开销很小:无需预先计算完整的距离矩阵即可执行计算以获得所需的群集。它可以应用于配备有差异度量的任意空间,例如,在实际矢量,DNA或蛋白质序列,图像,排名,信息图数据等上。有关R。另请参见https://genieclust.gagolewski.com有关新的实施(GenieClust) - 可用于R和Python。
translated by 谷歌翻译
由于其简单性和实用性,密度峰值聚类已成为聚类算法的NOVA。但是,这是一个主要的缺点:由于其高计算复杂性,这是耗时的。在此,开发了稀疏搜索和K-D树的密度峰聚类算法来解决此问题。首先,通过使用k-d树来替换原始的全等级距离矩阵来计算稀疏距离矩阵,以加速局部密度的计算。其次,提出了一种稀疏的搜索策略,以加快与$ k $最近邻居的集合与由数据点组成的集合之间的相互分离的计算。此外,采用了决策值的二阶差异方法来自适应确定群集中心。最后,通过与其他六种最先进的聚类算法进行比较,在具有不同分布特性的数据集上进行实验。事实证明,该算法可以有效地将原始DPC的计算复杂性从$ O(n^2k)$降低到$ O(n(n^{1-1/k}+k))$。特别是对于较大的数据集,效率更加明显地提高。此外,聚类精度也在一定程度上提高了。因此,可以得出结论,新提出的算法的总体性能非常好。
translated by 谷歌翻译
聚类是一种无监督的机器学习方法,其中未标记的元素/对象被分组在一起,旨在构建成熟的群集,以根据其相似性对其元素进行分类。该过程的目的是向研究人员提供有用的帮助,以帮助她/他确定数据中的模式。在处理大型数据库时,如果没有聚类算法的贡献,这种模式可能无法轻易检测到。本文对最广泛使用的聚类方法进行了深入的描述,并伴随着有关合适的参数选择和初始化的有用演示。同时,本文不仅代表了一篇评论,该评论突出了所检查的聚类技术的主要要素,而且强调了这些算法基于3个数据集的聚类效率的比较,从而在对抗性和复杂性中揭示了其现有的弱点和能力,在持续的离散和持续的离散和离散和持续的差异。观察。产生的结果有助于我们根据数据集的大小提取有关检查聚类技术的适当性的宝贵结论。
translated by 谷歌翻译
K-means++ is an important algorithm to choose initial cluster centers for the k-means clustering algorithm. In this work, we present a new algorithm that can solve the $k$-means++ problem with near optimal running time. Given $n$ data points in $\mathbb{R}^d$, the current state-of-the-art algorithm runs in $\widetilde{O}(k )$ iterations, and each iteration takes $\widetilde{O}(nd k)$ time. The overall running time is thus $\widetilde{O}(n d k^2)$. We propose a new algorithm \textsc{FastKmeans++} that only takes in $\widetilde{O}(nd + nk^2)$ time, in total.
translated by 谷歌翻译
通过快速搜索并发现密度峰(DPC)(自2014年以来)的聚类已被证明是一种有希望的聚类方法,可以通过找到密度峰来有效地发现簇中心。 DPC的准确性取决于截止距离($ d_c $),群集号($ K $)和簇中心的选择。此外,最终分配策略是敏感的,容错的容量差。上面的缺点使该算法对参数敏感,仅适用于某些特定数据集。为了克服DPC的局限性,本文提出了基于天然最近邻域(DPC-PPPNNN)的密度峰值聚类的概率传播算法的提高。通过引入自然邻域和概率传播的想法,DPC-PPNNN实现了非参数聚类过程,并使该算法适用于更复杂的数据集。在几个数据集的实验中,DPC-PPNNN显示出优于DPC,K-均值和DBSCAN的表现。
translated by 谷歌翻译
广泛应用的密度峰聚类(DPC)算法使得直观的群集形成假设假设集群中心通常被具有较低局部密度的数据点包围,远离具有较高局部密度的其他数据点。然而,这种假设遭受一个限制,即在识别具有较低密度的簇时通常有问题,因为它们可以容易地合并到具有更高密度的其他簇中。结果,DPC可能无法识别具有变分密度的簇。为了解决这个问题,我们提出了一种变分浓度峰值聚类(VDPC)算法,该算法旨在系统地和自主地在具有各种类型的密度分布的数据集上执行聚类任务。具体而言,我们首先提出了一种新的方法,以确定所有数据点中的代表,并根据所确定的代表构建初始集群,以进一步分析集群财产。此外,我们根据其本地密度将所有数据点划分为不同的级别,并通过组合DPC和DBSCAN的优点来提出统一的聚类框架。因此,系统地处理跨越不同密度水平跨越不同密度水平的所有识别的初始簇以形成最终簇。为了评估所提出的VDPC算法的有效性,我们使用20个数据集进行广泛的实验,包括八个合成,六个现实世界和六个图像数据集。实验结果表明,VDPC优于两个经典算法(即,DPC和DBSCAN)和四种最先进的扩展DPC算法。
translated by 谷歌翻译
We consider a semi-supervised $k$-clustering problem where information is available on whether pairs of objects are in the same or in different clusters. This information is either available with certainty or with a limited level of confidence. We introduce the PCCC algorithm, which iteratively assigns objects to clusters while accounting for the information provided on the pairs of objects. Our algorithm can include relationships as hard constraints that are guaranteed to be satisfied or as soft constraints that can be violated subject to a penalty. This flexibility distinguishes our algorithm from the state-of-the-art in which all pairwise constraints are either considered hard, or all are considered soft. Unlike existing algorithms, our algorithm scales to large-scale instances with up to 60,000 objects, 100 clusters, and millions of cannot-link constraints (which are the most challenging constraints to incorporate). We compare the PCCC algorithm with state-of-the-art approaches in an extensive computational study. Even though the PCCC algorithm is more general than the state-of-the-art approaches in its applicability, it outperforms the state-of-the-art approaches on instances with all hard constraints or all soft constraints both in terms of running time and various metrics of solution quality. The source code of the PCCC algorithm is publicly available on GitHub.
translated by 谷歌翻译
We present a novel clustering algorithm, visClust, that is based on lower dimensional data representations and visual interpretation. Thereto, we design a transformation that allows the data to be represented by a binary integer array enabling the further use of image processing methods to select a partition. Qualitative and quantitative analyses show that the algorithm obtains high accuracy (measured with an adjusted one-sided Rand-Index) and requires low runtime and RAM. We compare the results to 6 state-of-the-art algorithms, confirming the quality of visClust by outperforming in most experiments. Moreover, the algorithm asks for just one obligatory input parameter while allowing optimization via optional parameters. The code is made available on GitHub.
translated by 谷歌翻译
本文研究了分层聚类问题,其中目标是生产一种在数据集的变化尺度上表示集群的树形图。我们提出了用于设计并行分层凝聚聚类(HAC)算法的Parchain框架,并使用该框架,我们获得了全面连锁,平均联系和病房的联动标准的新颖平行算法。与最先前的并行HAC算法相比,这需要二次存储器,我们的新算法仅需要线性存储器,并且可以扩展到大数据集。 PARCHAIN基于我们最近邻的链算法的并行化,并使多个群集能够在每一轮上合并。我们介绍了两个关键优化,这对于效率至关重要:范围查询优化,减少查找群集的最近邻居所需的距离计算数,以及存储可能重复使用的先前计算的距离子集的缓存优化。通过实验,我们表明,我们的高度优化实现,使用48个核心,通过双向超线程实现5.8--110.1倍的加速,通过最先进的并行HAC算法,实现了13.75--54.23倍的自相对加速。与最先进的算法相比,我们的算法较少的空间少于237.3倍。我们的算法能够扩展到具有数百万点的数据集大小,现有算法无法处理该算法。
translated by 谷歌翻译
在设计聚类算法时,初始中心的选择对于学习簇的质量至关重要。在本文中,我们基于数据的构建,我们开发了一种新的初始化方案,称为$ k $ -Median问题(例如图形引起的离散空间),基于数据的构造。从树中,我们提出了一种新颖有效的搜索算法,用于良好的初始中心,随后可用于本地搜索算法。我们提出的HST初始化可以产生与另一种流行初始化方法$ K $ -Median ++的初始中心,具有可比的效率。 HST初始化也可以扩展到差异隐私(DP)的设置,以生成私人初始中心。我们表明,应用DP本地搜索后,我们的私有HST初始化会改善对近似错误的先前结果,并在小因素内接近下限。实验证明了理论的合理性,并证明了我们提出的方法的有效性。我们的方法也可以扩展到$ k $ -MEANS问题。
translated by 谷歌翻译
非线性维度降低可以通过\纺织{歧管学习}方法来执行,例如随机邻居嵌入(SNE),局部线性嵌入(LLE)和等距特征映射(ISOMAP)。这些方法旨在产生两个或三个潜在嵌入的嵌入,主要用于可视化可理解的表示数据。此稿件提出了学生的T分布式SNE(T-SNE),LLE和ISOMAP的扩展,以实现多维数量和多视图数据的可视化。多视图数据是指从相同样本生成的多种类型的数据。与通过单独可视化所获得的数据,所提出的多视图方法提供了比较通过可视化所获得的多个数据的更可理解的预测。通常可视化用于识别样本内的底层模式。通过将获得的低维嵌入从多视图歧管中的方法结合到K-Means聚类算法中,示出了准确地识别出样品的簇。通过对实际和合成数据的分析,发现所提出的多SNE方法具有最佳性能。我们进一步说明了多SNE方法对分析多OMICS单细胞数据的适用性,目的是在与健康和疾病相关的生物组织中可视化和识别细胞异质性和细胞类型。
translated by 谷歌翻译
A major challenge when using k-means clustering often is how to choose the parameter k, the number of clusters. In this letter, we want to point out that it is very easy to draw poor conclusions from a common heuristic, the "elbow method". Better alternatives have been known in literature for a long time, and we want to draw attention to some of these easy to use options, that often perform better. This letter is a call to stop using the elbow method altogether, because it severely lacks theoretic support, and we want to encourage educators to discuss the problems of the method -- if introducing it in class at all -- and teach alternatives instead, while researchers and reviewers should reject conclusions drawn from the elbow method.
translated by 谷歌翻译
腔是总结数据的最受欢迎的范例之一。特别是,存在许多用于聚类问题的高性能核心,例如理论和实践中的$ k $ - 均值。奇怪的是,没有进行比较可用$ k $ - 均值核心的质量的工作。在本文中,我们进行了这样的评估。目前尚无算法来测量候选核心的失真。我们提供了一些证据,表明为什么这可能在计算上很难。为了补充这一点,我们提出了一个基准,我们认为计算核心具有挑战性,这也使我们对核心的评估很容易(启发式)评估。使用此基准和现实世界数据集,我们对理论和实践中最常用的核心算法进行了详尽的评估。
translated by 谷歌翻译
K均值是实践中使用最广泛的聚类模型之一。由于数据隔离的问题和对高模型性能的要求,如何共同建立实用和安全的K均值为多方成为行业中许多应用程序的重要主题。现有的工作主要是两种类型。第一种类型具有效率优势,但是信息泄漏会增加潜在的隐私风险。第二种类型是可证明的,但对于大规模数据稀疏方案而言,效率低下,甚至无助。在本文中,我们提出了一个新的框架,用于具有三个特征的有效稀疏感k均值。首先,我们的框架分为独立于数据的离线阶段和更快的在线阶段,并且离线阶段允许预先计算几乎所有的加密操作。其次,我们利用在线和离线阶段中的矢量化技术。第三,我们采用稀疏的矩阵乘法,以进一步提高效率。我们对三个合成数据集进行了全面的实验,并将模型部署在现实世界中的欺诈检测任务中。我们的实验结果表明,与最先进的解决方案相比,我们的模型在运行时间和沟通规模方面都能达到竞争性能,尤其是在稀疏数据集上。
translated by 谷歌翻译