广泛应用的密度峰聚类（DPC）算法使得直观的群集形成假设假设集群中心通常被具有较低局部密度的数据点包围，远离具有较高局部密度的其他数据点。然而，这种假设遭受一个限制，即在识别具有较低密度的簇时通常有问题，因为它们可以容易地合并到具有更高密度的其他簇中。结果，DPC可能无法识别具有变分密度的簇。为了解决这个问题，我们提出了一种变分浓度峰值聚类（VDPC）算法，该算法旨在系统地和自主地在具有各种类型的密度分布的数据集上执行聚类任务。具体而言，我们首先提出了一种新的方法，以确定所有数据点中的代表，并根据所确定的代表构建初始集群，以进一步分析集群财产。此外，我们根据其本地密度将所有数据点划分为不同的级别，并通过组合DPC和DBSCAN的优点来提出统一的聚类框架。因此，系统地处理跨越不同密度水平跨越不同密度水平的所有识别的初始簇以形成最终簇。为了评估所提出的VDPC算法的有效性，我们使用20个数据集进行广泛的实验，包括八个合成，六个现实世界和六个图像数据集。实验结果表明，VDPC优于两个经典算法（即，DPC和DBSCAN）和四种最先进的扩展DPC算法。
translated by 谷歌翻译
通过快速搜索并发现密度峰（DPC）（自2014年以来）的聚类已被证明是一种有希望的聚类方法，可以通过找到密度峰来有效地发现簇中心。 DPC的准确性取决于截止距离（$ d_c $），群集号（$ K $）和簇中心的选择。此外，最终分配策略是敏感的，容错的容量差。上面的缺点使该算法对参数敏感，仅适用于某些特定数据集。为了克服DPC的局限性，本文提出了基于天然最近邻域（DPC-PPPNNN）的密度峰值聚类的概率传播算法的提高。通过引入自然邻域和概率传播的想法，DPC-PPNNN实现了非参数聚类过程，并使该算法适用于更复杂的数据集。在几个数据集的实验中，DPC-PPNNN显示出优于DPC，K-均值和DBSCAN的表现。
translated by 谷歌翻译
由于其简单性和实用性，密度峰值聚类已成为聚类算法的NOVA。但是，这是一个主要的缺点：由于其高计算复杂性，这是耗时的。在此，开发了稀疏搜索和K-D树的密度峰聚类算法来解决此问题。首先，通过使用k-d树来替换原始的全等级距离矩阵来计算稀疏距离矩阵，以加速局部密度的计算。其次，提出了一种稀疏的搜索策略，以加快与$ k $最近邻居的集合与由数据点组成的集合之间的相互分离的计算。此外，采用了决策值的二阶差异方法来自适应确定群集中心。最后，通过与其他六种最先进的聚类算法进行比较，在具有不同分布特性的数据集上进行实验。事实证明，该算法可以有效地将原始DPC的计算复杂性从$ O（n^2k）$降低到$ O（n（n^{1-1/k}+k））$。特别是对于较大的数据集，效率更加明显地提高。此外，聚类精度也在一定程度上提高了。因此，可以得出结论，新提出的算法的总体性能非常好。
translated by 谷歌翻译
聚类是一种无监督的机器学习方法，其中未标记的元素/对象被分组在一起，旨在构建成熟的群集，以根据其相似性对其元素进行分类。该过程的目的是向研究人员提供有用的帮助，以帮助她/他确定数据中的模式。在处理大型数据库时，如果没有聚类算法的贡献，这种模式可能无法轻易检测到。本文对最广泛使用的聚类方法进行了深入的描述，并伴随着有关合适的参数选择和初始化的有用演示。同时，本文不仅代表了一篇评论，该评论突出了所检查的聚类技术的主要要素，而且强调了这些算法基于3个数据集的聚类效率的比较，从而在对抗性和复杂性中揭示了其现有的弱点和能力，在持续的离散和持续的离散和离散和持续的差异。观察。产生的结果有助于我们根据数据集的大小提取有关检查聚类技术的适当性的宝贵结论。
translated by 谷歌翻译
We review clustering as an analysis tool and the underlying concepts from an introductory perspective. What is clustering and how can clusterings be realised programmatically? How can data be represented and prepared for a clustering task? And how can clustering results be validated? Connectivity-based versus prototype-based approaches are reflected in the context of several popular methods: single-linkage, spectral embedding, k-means, and Gaussian mixtures are discussed as well as the density-based protocols (H)DBSCAN, Jarvis-Patrick, CommonNN, and density-peaks.
translated by 谷歌翻译
降低降低和聚类通常被用作许多复杂机器学习任务的初步步骤。噪声和离群值的存在可能会恶化此类预处理的性能，从而极大地损害了后续分析。在流形学习中，几项研究表明，当密度大大高于噪声所示时，可以消除接近结构的背景噪声或接近结构的解决方案。但是，在包括天文数据集在内的许多应用中，密度随埋在嘈杂背景的流形而变化。我们提出了一种基于蚂蚁菌落优化的思想，在存在噪声的情况下提取歧管的新方法。与现有的随机步行解决方案相反，我们的技术捕获了与歧管的主要方向局部对齐的点。此外，我们从经验上表明，蚂蚁信息素的生物学启发的配方增强了这种行为，使其能够恢复嵌入极其嘈杂的数据云中的多个歧管。与在几个合成和真实数据集上（包括宇宙学量的N体模拟）相比，证明了与最新的降噪方法的最新方法相比，算法性能。
translated by 谷歌翻译
聚类分析是机器学习中的关键任务之一。传统上，聚类一直是一项独立的任务，与异常检测分开。由于离群值可以大大侵蚀聚类的性能，因此，少数算法尝试在聚类过程中掺入离群值检测。但是，大多数这些算法基于基于无监督的分区算法，例如K-均值。鉴于这些算法的性质，它们通常无法处理复杂的非凸形簇。为了应对这一挑战，我们提出了SSDBCODI，这是一种半监督密度的算法。 SSDBCODI结合了基于密度的算法的优势，这些算法能够处理复杂形状的簇，以及半监督元素，该元素具有灵活性，可以根据一些用户标签调整聚类结果。我们还将离群检测组件与聚类过程合并。根据过程中产生的三个分数检测到潜在离群值：（1）达到性得分，该得分衡量了一个点的密度可至关重要是对标记的正常物体的测量值，（2）局部密度得分，该局部密度得分，它测量了相邻密度的密度数据对象和（3）相似性得分，该分数测量了一个点与其最近标记的异常值的接近度。然后，在下一步中，在用于训练分类器以进一步群集和离群值检测之前，基于这三个分数为每个数据实例生成实例权重。为了增强对拟议算法的理解，为了进行评估，我们已经针对多个数据集上的某些最新方法运行了拟议的算法，并分别列出了除聚类外检测的结果。我们的结果表明，我们的算法可以通过少量标签获得优异的结果。
translated by 谷歌翻译
异常值是一个事件或观察，其被定义为不同于距群体的不规则距离的异常活动，入侵或可疑数据点。然而，异常事件的定义是主观的，取决于应用程序和域（能量，健康，无线网络等）。重要的是要尽可能仔细地检测异常事件，以避免基础设施故障，因为异常事件可能导致对基础设施的严重损坏。例如，诸如微电网的网络物理系统的攻击可以发起电压或频率不稳定性，从而损坏涉及非常昂贵的修复的智能逆变器。微电网中的不寻常活动可以是机械故障，行为在系统中发生变化，人体或仪器错误或恶意攻击。因此，由于其可变性，异常值检测（OD）是一个不断增长的研究领域。在本章中，我们讨论了使用AI技术的OD方法的进展。为此，通过多个类别引入每个OD模型的基本概念。广泛的OD方法分为六大类：基于统计，基于距离，基于密度的，基于群集的，基于学习的和合奏方法。对于每个类别，我们讨论最近最先进的方法，他们的应用领域和表演。之后，关于对未来研究方向的建议提供了关于各种技术的优缺点和挑战的简要讨论。该调查旨在指导读者更好地了解OD方法的最新进展，以便保证AI。
translated by 谷歌翻译
分层群集的主要挑战之一是如何适当地识别群集树较低级别的代表点，这些点将被用作群集树的较高级别的根源以进行进一步的聚合。然而，传统的分层聚类方法采用了一些简单的技巧来选择可能不像代表的“代表”点。因此，构造的簇树在其稳健性和可靠性较弱的方面不太吸引。针对这个问题，我们提出了一种新的分层聚类算法，其中，在构建聚类树形图的同时，我们可以有效地检测基于对每个子最小跨越树中的互易读数的互动最近数据点进行评分的代表点。 UCI数据集的广泛实验表明，所提出的算法比其他基准更准确。同时，在我们的分析下，所提出的算法具有O（nlogn）时间复杂度和O（logn）空间复杂度，表明它具有在处理具有更少时间和存储消耗的大规模数据方面具有可扩展性。
translated by 谷歌翻译
由于传感器，社交媒体等，过去几十年来，数据流的分析已经受到相当大的关注。它旨在识别无序，无限和不断发展的观察流中的模式。聚类此类数据需要一些时间和内存的限制。本文介绍了一种新的数据流群集方法（IMOC流）。与其他聚类算法不同，这种方法使用两个不同的目标函数来捕获数据的不同方面。 IMOC流的目标是：1）通过使用空闲时间来减少计算时间以应用遗传操作并增强解决方案。 2）通过引入新的树概要来减少内存分配。 3）通过使用多目标框架查找任意形状的群集。我们对高维流数据集进行了实验研究，并将其与众所周知的流聚类技术进行了比较。实验表明我们的方法在优化时间和内存的同时在任意形状，紧凑且分开的群集中分区数据流的能力。我们的方法在NMI和Arand测量方面也表现出大部分流算法。
translated by 谷歌翻译
我们重新审视了Chierichetti等人首先引入的公平聚类问题，该问题要求每个受保护的属性在每个集群中具有近似平等的表示。即，余额财产。现有的公平聚类解决方案要么是不可扩展的，要么无法在聚类目标和公平之间实现最佳权衡。在本文中，我们提出了一种新的公平概念，我们称之为$ tau $ $ $ - fair公平，严格概括了余额财产，并实现了良好的效率与公平折衷。此外，我们表明，简单的基于贪婪的圆形算法有效地实现了这一权衡。在更一般的多价受保护属性的设置下，我们严格地分析了算法的理论特性。我们的实验结果表明，所提出的解决方案的表现优于所有最新算法，即使对于大量簇，也可以很好地工作。
translated by 谷歌翻译
在进化多目标聚类方法（EMOC）中，已将各种聚类标准应用于目标函数。但是，大多数EMOC并未提供有关目标功能的选择和使用的详细分析。旨在支持eMOC中目标的更好的选择和定义，本文提出了通过检查搜索方向及其在寻找最佳结果的潜力来分析进化优化中聚类标准的可采性的分析。结果，我们证明了目标函数的可接受性如何影响优化。此外，我们还提供有关eMOC中聚类标准的组合和使用的见解。
translated by 谷歌翻译
我们讨论集群分析的拓扑方面，并表明在聚类之前推断数据集的拓扑结构可以大大增强群集检测：理论论证和经验证据表明，聚类嵌入向量，代表数据歧管的结构，而不是观察到的特征矢量他们自己是非常有益的。为了证明，我们将流形学习方法与基于密度的聚类方法DBSCAN结合了歧管学习方法UMAP。合成和真实数据结果表明，这既简化和改善了多种低维问题，包括密度变化和/或纠缠形状的群集。我们的方法简化了聚类，因为拓扑预处理始终降低DBSCAN的参数灵敏度。然后，用dbscan聚类所得的嵌入可以超过诸如spectacl和clustergan之类的复杂方法。最后，我们的调查表明，聚类中的关键问题似乎不是数据的标称维度或其中包含多少不相关的功能，而是\ textIt {可分离}群集在环境观察空间中的\ textit {可分离}，它们嵌入了它们中。 ，通常是数据特征定义的（高维）欧几里得空间。我们的方法之所以成功，是因为我们将数据投影到更合适的空间后，从某种意义上说，我们执行了群集分析。
translated by 谷歌翻译
测量两个对象之间的相似性是将类似对象分组成群的现有聚类算法中的核心操作。本文介绍了一种名为Point-Set内核的新的相似性度量，其计算对象和一组对象之间的相似性。所提出的聚类程序利用这一新措施来表征从种子对象生长的每个集群。我们表明新的聚类程序既有效又高效，使其能够处理大规模数据集。相比之下，现有的聚类算法是有效的或有效的。与最先进的密度 - 峰值聚类和可扩展内核K-means聚类相比，我们表明该算法更有效，在申请数百万数据点的数据集时更快地运行数量级，在常用的计算机器。
translated by 谷歌翻译
dadapy是用于分析和表征高维数据歧管的Python软件包。它提供了估计固有维度和概率密度的方法，用于执行基于密度的聚类和比较不同的距离指标。我们回顾包装的主要功能，并在玩具案例和现实世界中的使用中举例说明其使用情况。dadapy可在开源Apache 2.0许可下自由使用。
translated by 谷歌翻译
聚类算法的全面基准是困难的两个关键因素：（i）〜这种无监督的学习方法的独特数学定义和（ii）〜某些聚类算法采用的生成模型或群集标准之间的依赖性的依赖性内部集群验证。因此，对严格基准测试的最佳做法没有达成共识，以及是否有可能在给定申请的背景之外。在这里，我们认为合成数据集必须继续在群集算法的评估中发挥重要作用，但这需要构建适当地涵盖影响聚类算法性能的各种属性集的基准。通过我们的框架，我们展示了重要的角色进化算法，以支持灵活的这种基准，允许简单的修改和扩展。我们说明了我们框架的两种可能用途：（i）〜基准数据的演变与一组手派生属性和（ii）〜生成梳理给定对算法之间的性能差异的数据集。我们的作品对设计集群基准的设计具有足够挑战广泛算法的集群基准，并进一步了解特定方法的优势和弱点。
translated by 谷歌翻译
众所周知，无监督的非线性维度减少和聚类对超公共表的选择敏感，特别是对于基于深度学习的方法，这阻碍了其实际使用。如何选择可能在不同应用程序中可能大致不同的网络结构是深度模型的艰难问题，因为少于对数据的知识很少。在本文中，我们探索了用于自动确定深层模型的最佳网络结构的集合学习和选择技术，命名为多层举屏网络（MBN）。具体地，我们首先提出了一种MBN集合（MBN-E）算法，它将具有不同网络结构的MBN基础模型集的稀疏输出连接到新的表示中。由于培训MBN的集合很昂贵，所以我们提出了一种快速版本的MBN-E（FMBN-E），其通过重新采样来替换MBN-E中的随机数据重新采样的步骤。从理论上讲，FMBN-E甚至比单个标准MBN更快。然后，我们采用MBN-E产生的新表示作为选择最佳MBN基础模型的参考。应用了两种集合选择标准，命名为优化选择标准和分配分配标准。重要的是，MBN-E及其集合选择技术维持基于第一邻邻学习的MBN的简单配方，并在没有手动超公共数据计调谐的情况下达到最先进的性能。 FMBN-E凭经验甚至比MBN-e快于MBN-E的数百次，而不会遭受性能下降。源代码可在http://www.xiaolei-zhang.net/mbn-e.htm上获得。
translated by 谷歌翻译
在本文中，我们提出了一种无监督的方法，用于高光谱遥感图像分割。该方法利用了平均移位聚类算法，该算法将作为输入的初步高光谱超像素分割以及光谱像素信息。所提出的方法不需要分割类的数量作为输入参数，也不需要利用有关要分割的土地覆盖或土地使用类型的A-Priori知识（例如水，植被，建筑等）。进行了Salinas，Salinasa，Pavia Center和Pavia University数据集的实验。绩效是根据归一化信息，调整后的RAND指数和F1得分来衡量的。结果证明了该方法与艺术状态相比的有效性。
translated by 谷歌翻译
We present a novel clustering algorithm, visClust, that is based on lower dimensional data representations and visual interpretation. Thereto, we design a transformation that allows the data to be represented by a binary integer array enabling the further use of image processing methods to select a partition. Qualitative and quantitative analyses show that the algorithm obtains high accuracy (measured with an adjusted one-sided Rand-Index) and requires low runtime and RAM. We compare the results to 6 state-of-the-art algorithms, confirming the quality of visClust by outperforming in most experiments. Moreover, the algorithm asks for just one obligatory input parameter while allowing optimization via optional parameters. The code is made available on GitHub.
translated by 谷歌翻译
流媒体数据中对异常的实时检测正在受到越来越多的关注，因为它使我们能够提高警报，预测故障并检测到整个行业的入侵或威胁。然而，很少有人注意比较流媒体数据（即在线算法）的异常检测器的有效性和效率。在本文中，我们介绍了来自不同算法家族（即基于距离，密度，树木或投影）的主要在线检测器的定性合成概述，并突出了其构建，更新和测试检测模型的主要思想。然后，我们对在线检测算法的定量实验评估以及其离线对应物进行了彻底的分析。检测器的行为与不同数据集（即元功能）的特征相关，从而提供了对其性能的元级分析。我们的研究介绍了文献中几个缺失的见解，例如（a）检测器对随机分类器的可靠性以及什么数据集特性使它们随机执行； （b）在线探测器在何种程度上近似离线同行的性能； （c）哪种绘制检测器的策略和更新原始图最适合检测仅在数据集的功能子空间中可见的异常； （d）属于不同算法家族的探测器的有效性与效率之间的权衡是什么； （e）数据集的哪些特定特征产生在线算法以胜过所有其他特征。
translated by 谷歌翻译