聚类是一种无监督的机器学习方法，其中未标记的元素/对象被分组在一起，旨在构建成熟的群集，以根据其相似性对其元素进行分类。该过程的目的是向研究人员提供有用的帮助，以帮助她/他确定数据中的模式。在处理大型数据库时，如果没有聚类算法的贡献，这种模式可能无法轻易检测到。本文对最广泛使用的聚类方法进行了深入的描述，并伴随着有关合适的参数选择和初始化的有用演示。同时，本文不仅代表了一篇评论，该评论突出了所检查的聚类技术的主要要素，而且强调了这些算法基于3个数据集的聚类效率的比较，从而在对抗性和复杂性中揭示了其现有的弱点和能力，在持续的离散和持续的离散和离散和持续的差异。观察。产生的结果有助于我们根据数据集的大小提取有关检查聚类技术的适当性的宝贵结论。

We review clustering as an analysis tool and the underlying concepts from an introductory perspective. What is clustering and how can clusterings be realised programmatically? How can data be represented and prepared for a clustering task? And how can clustering results be validated? Connectivity-based versus prototype-based approaches are reflected in the context of several popular methods: single-linkage, spectral embedding, k-means, and Gaussian mixtures are discussed as well as the density-based protocols (H)DBSCAN, Jarvis-Patrick, CommonNN, and density-peaks.

在过去二十年中，识别具有不同纵向数据趋势的群体的方法已经成为跨越许多研究领域的兴趣。为了支持研究人员，我们总结了文献关于纵向聚类的指导。此外，我们提供了一种纵向聚类方法，包括基于基团的轨迹建模（GBTM），生长混合模拟（GMM）和纵向K平均值（KML）。该方法在基本级别引入，并列出了强度，限制和模型扩展。在最近数据收集的发展之后，将注意这些方法的适用性赋予密集的纵向数据（ILD）。我们展示了使用R.中可用的包在合成数据集上的应用程序的应用。

聚类算法的全面基准是困难的两个关键因素：（i）〜这种无监督的学习方法的独特数学定义和（ii）〜某些聚类算法采用的生成模型或群集标准之间的依赖性的依赖性内部集群验证。因此，对严格基准测试的最佳做法没有达成共识，以及是否有可能在给定申请的背景之外。在这里，我们认为合成数据集必须继续在群集算法的评估中发挥重要作用，但这需要构建适当地涵盖影响聚类算法性能的各种属性集的基准。通过我们的框架，我们展示了重要的角色进化算法，以支持灵活的这种基准，允许简单的修改和扩展。我们说明了我们框架的两种可能用途：（i）〜基准数据的演变与一组手派生属性和（ii）〜生成梳理给定对算法之间的性能差异的数据集。我们的作品对设计集群基准的设计具有足够挑战广泛算法的集群基准，并进一步了解特定方法的优势和弱点。

异常值是一个事件或观察，其被定义为不同于距群体的不规则距离的异常活动，入侵或可疑数据点。然而，异常事件的定义是主观的，取决于应用程序和域（能量，健康，无线网络等）。重要的是要尽可能仔细地检测异常事件，以避免基础设施故障，因为异常事件可能导致对基础设施的严重损坏。例如，诸如微电网的网络物理系统的攻击可以发起电压或频率不稳定性，从而损坏涉及非常昂贵的修复的智能逆变器。微电网中的不寻常活动可以是机械故障，行为在系统中发生变化，人体或仪器错误或恶意攻击。因此，由于其可变性，异常值检测（OD）是一个不断增长的研究领域。在本章中，我们讨论了使用AI技术的OD方法的进展。为此，通过多个类别引入每个OD模型的基本概念。广泛的OD方法分为六大类：基于统计，基于距离，基于密度的，基于群集的，基于学习的和合奏方法。对于每个类别，我们讨论最近最先进的方法，他们的应用领域和表演。之后，关于对未来研究方向的建议提供了关于各种技术的优缺点和挑战的简要讨论。该调查旨在指导读者更好地了解OD方法的最新进展，以便保证AI。

由于其简单性和实用性，密度峰值聚类已成为聚类算法的NOVA。但是，这是一个主要的缺点：由于其高计算复杂性，这是耗时的。在此，开发了稀疏搜索和K-D树的密度峰聚类算法来解决此问题。首先，通过使用k-d树来替换原始的全等级距离矩阵来计算稀疏距离矩阵，以加速局部密度的计算。其次，提出了一种稀疏的搜索策略，以加快与$ k $最近邻居的集合与由数据点组成的集合之间的相互分离的计算。此外，采用了决策值的二阶差异方法来自适应确定群集中心。最后，通过与其他六种最先进的聚类算法进行比较，在具有不同分布特性的数据集上进行实验。事实证明，该算法可以有效地将原始DPC的计算复杂性从$ O（n^2k）$降低到$ O（n（n^{1-1/k}+k））$。特别是对于较大的数据集，效率更加明显地提高。此外，聚类精度也在一定程度上提高了。因此，可以得出结论，新提出的算法的总体性能非常好。

这项工作提出了一种基于形态重建和启发式方法的聚集算法，称为K-Morphological集合（K-MS）。在最坏情况下，K-MS比CPU并行K-均值快，并且可以增强数据集的可视化以及非常不同的聚类。它也比对密度和形状（例如有丝分裂和三升）敏感的类似聚类方法更快。另外，K-MS是确定性的，具有最大簇的内在含义，可以为给定的输入样本和输入参数创建，与K-均值和其他聚类算法不同。换句话说，给定恒定的k，一个结构元素和数据集，k-ms会在不使用随机/伪随机函数的情况下产生K或更少的簇。最后，所提出的算法还提供了一种简单的手段，可以从图像或数据集中删除噪声。

Clustering algorithms are attractive for the task of class identification in spatial databases. However, the application to large spatial databases rises the following requirements for clustering algorithms: minimal requirements of domain knowledge to determine the input parameters, discovery of clusters with arbitrary shape and good efficiency on large databases. The well-known clustering algorithms offer no solution to the combination of these requirements. In this paper, we present the new clustering algorithm DBSCAN relying on a density-based notion of clusters which is designed to discover clusters of arbitrary shape. DBSCAN requires only one input parameter and supports the user in determining an appropriate value for it. We performed an experimental evaluation of the effectiveness and efficiency of DBSCAN using synthetic data and real data of the SEQUOIA 2000 benchmark. The results of our experiments demonstrate that (1) DBSCAN is significantly more effective in discovering clusters of arbitrary shape than the well-known algorithm CLAR-ANS, and that (2) DBSCAN outperforms CLARANS by factor of more than 100 in terms of efficiency.

培训和测试监督对象检测模型需要大量带有地面真相标签的图像。标签定义图像中的对象类及其位置，形状以及可能的其他信息，例如姿势。即使存在人力，标签过程也非常耗时。我们引入了一个新的标签工具，用于2D图像以及3D三角网格：3D标记工具（3DLT）。这是一个独立的，功能丰富和跨平台软件，不需要安装，并且可以在Windows，MacOS和基于Linux的发行版上运行。我们不再像当前工具那样在每个图像上分别标记相同的对象，而是使用深度信息从上述图像重建三角形网格，并仅在上述网格上标记一次对象。我们使用注册来简化3D标记，离群值检测来改进2D边界框的计算和表面重建，以将标记可能性扩展到大点云。我们的工具经过最先进的方法测试，并且在保持准确性和易用性的同时，它极大地超过了它们。

群集分析需要许多决定：聚类方法和隐含的参考模型，群集数，通常，几个超参数和算法调整。在实践中，一个分区产生多个分区，基于验证或选择标准选择最终的分区。存在丰富的验证方法，即隐式或明确地假设某个聚类概念。此外，它们通常仅限于从特定方法获得的分区上操作。在本文中，我们专注于可以通过二次或线性边界分开的群体。参考集群概念通过二次判别符号函数和描述集群大小，中心和分散的参数定义。我们开发了两个名为二次分数的群集质量标准。我们表明这些标准与从一般类椭圆对称分布产生的组一致。对这种类型的组追求在应用程序中是常见的。研究了与混合模型和模型的聚类的似然理论的连接。基于Bootstrap重新采样的二次分数，我们提出了一个选择规则，允许在许多聚类解决方案中选择。所提出的方法具有独特的优点，即它可以比较不能与其他最先进的方法进行比较的分区。广泛的数值实验和实际数据的分析表明，即使某些竞争方法在某些设置中出现优越，所提出的方法也实现了更好的整体性能。

最近有一项激烈的活动在嵌入非常高维和非线性数据结构的嵌入中，其中大部分在数据科学和机器学习文献中。我们分四部分调查这项活动。在第一部分中，我们涵盖了非线性方法，例如主曲线，多维缩放，局部线性方法，ISOMAP，基于图形的方法和扩散映射，基于内核的方法和随机投影。第二部分与拓扑嵌入方法有关，特别是将拓扑特性映射到持久图和映射器算法中。具有巨大增长的另一种类型的数据集是非常高维网络数据。第三部分中考虑的任务是如何将此类数据嵌入中等维度的向量空间中，以使数据适合传统技术，例如群集和分类技术。可以说，这是算法机器学习方法与统计建模（所谓的随机块建模）之间的对比度。在论文中，我们讨论了两种方法的利弊。调查的最后一部分涉及嵌入$ \ mathbb {r}^ 2 $，即可视化中。提出了三种方法：基于第一部分，第二和第三部分中的方法，$ t $ -sne，UMAP和大节。在两个模拟数据集上进行了说明和比较。一个由嘈杂的ranunculoid曲线组成的三胞胎，另一个由随机块模型和两种类型的节点产生的复杂性的网络组成。

在机器学习中调用多种假设需要了解歧管的几何形状和维度，理论决定了需要多少样本。但是，在应用程序数据中，采样可能不均匀，歧管属性是未知的，并且（可能）非纯化；这意味着社区必须适应本地结构。我们介绍了一种用于推断相似性内核提供数据的自适应邻域的算法。从本地保守的邻域（Gabriel）图开始，我们根据加权对应物进行迭代率稀疏。在每个步骤中，线性程序在全球范围内产生最小的社区，并且体积统计数据揭示了邻居离群值可能违反了歧管几何形状。我们将自适应邻域应用于非线性维度降低，地球计算和维度估计。与标准算法的比较，例如使用K-Nearest邻居，证明了它们的实用性。

高斯混合物模型（GMM）提供了一个简单而原则的框架，具有适用于统计推断的属性。在本文中，我们提出了一种新的基于模型的聚类算法，称为EGMM（证据GMM），在信念函数的理论框架中，以更好地表征集群成员的不确定性。通过代表每个对象的群集成员的质量函数，提出了由所需群集的功率组组成的组件组成的证据高斯混合物分布来对整个数据集进行建模。 EGMM中的参数通过特殊设计的预期最大化（EM）算法估算。还提供了允许自动确定正确数量簇的有效性指数。所提出的EGMM与经典GMM一样简单，但可以为所考虑的数据集生成更有信息的证据分区。合成和真实数据集实验表明，所提出的EGMM的性能比其他代表性聚类算法更好。此外，通过应用多模式脑图像分割的应用也证明了其优势。

本报告探讨了机器学习技术在短时间内基因表达数据中的应用。虽然标准机器学习算法在更长的时间系列中工作良好，但它们通常无法从更少的时间点中找到有意义的见解。在本报告中，我们探索基于模型的群集技术。我们将流行无监督的学习技术相结合，如K-means，高斯混合模型，贝叶斯网络，隐藏的马尔可夫模型，具有众所周知的期望最大化算法。K-means和高斯混合模型是相当标准的，而隐藏的马尔可夫模型和贝叶斯网络聚类是更加新颖的想法，适合时间序列基因表达数据。

在这项工作中，对于不确定和结构化数据的聚类计划被认为依赖于Wasserstein Barycenters的概念，并伴随着基于Wasserstein空间的内在几何形状的适当聚类指数，在该几何形状上执行了群集任务。这种类型的聚类方法在许多领域都高度赞赏，在观察/实验误差很大（例如，天文学，生物学，遥感等）或数据性质更为复杂，并且传统学习算法不适用或有效治疗，因此高度赞赏。它们（例如网络数据，间隔数据，高频记录，矩阵数据等）。从这个角度来看，每个观察结果都是通过适当的概率度量来确定的，并且提出的聚类方案依赖于歧视标准，这些标准通过最佳运输理论从概率测量方面利用了概率测量空间的几何结构。通过模拟研究和两个现实世界应用中的实施来说明拟议方法和地球标准性能的优势和能力：（a）根据其观察到的政府债券收益率曲线和（b）对欧元区国家的群集进行分类，并（b）对到某些土地的卫星图像使用类别，这是遥感中的标准任务。

Standard agglomerative clustering suggests establishing a new reliable linkage at every step. However, in order to provide adaptive, density-consistent and flexible solutions, we study extracting all the reliable linkages at each step, instead of the smallest one. Such a strategy can be applied with all common criteria for agglomerative hierarchical clustering. We also study that this strategy with the single linkage criterion yields a minimum spanning tree algorithm. We perform experiments on several real-world datasets to demonstrate the performance of this strategy compared to the standard alternative.

空间数据在应对与城市相关的任务中的作用近年来一直在增长。要在机器学习模型中使用它们，通常需要将它们转换为向量表示，这导致了空间数据表示学习领域的开发。还有一种越来越多的各种空间数据类型，提出了一种表示学习方法。迄今为止，公共交通时间表迄今未被用于一个城市地区的学习陈述的任务。在这项工作中，开发了一种方法来将公共交通可用性信息嵌入到矢量空间中。要对其申请进行实验，从48个城市收集公共交通时间表。使用H3空间索引方法，它们被分成微区域。还提出了一种方法来识别具有类似公共交通报价特征的地区。在其基础上，定义了该地区的公共交通报价的多层次类型。本文表明，所提出的表示方法可以识别城市之间具有相似公共交通特性的微区域，并且可用于评估城市中可用的公共交通的质量。

聚类分析是机器学习中的关键任务之一。传统上，聚类一直是一项独立的任务，与异常检测分开。由于离群值可以大大侵蚀聚类的性能，因此，少数算法尝试在聚类过程中掺入离群值检测。但是，大多数这些算法基于基于无监督的分区算法，例如K-均值。鉴于这些算法的性质，它们通常无法处理复杂的非凸形簇。为了应对这一挑战，我们提出了SSDBCODI，这是一种半监督密度的算法。 SSDBCODI结合了基于密度的算法的优势，这些算法能够处理复杂形状的簇，以及半监督元素，该元素具有灵活性，可以根据一些用户标签调整聚类结果。我们还将离群检测组件与聚类过程合并。根据过程中产生的三个分数检测到潜在离群值：（1）达到性得分，该得分衡量了一个点的密度可至关重要是对标记的正常物体的测量值，（2）局部密度得分，该局部密度得分，它测量了相邻密度的密度数据对象和（3）相似性得分，该分数测量了一个点与其最近标记的异常值的接近度。然后，在下一步中，在用于训练分类器以进一步群集和离群值检测之前，基于这三个分数为每个数据实例生成实例权重。为了增强对拟议算法的理解，为了进行评估，我们已经针对多个数据集上的某些最新方法运行了拟议的算法，并分别列出了除聚类外检测的结果。我们的结果表明，我们的算法可以通过少量标签获得优异的结果。

The $k$-means algorithm is a very prevalent clustering method because of its simplicity, effectiveness, and speed, but its main disadvantage is its high sensitivity to the initial positions of the cluster centers. The global $k$-means is a deterministic algorithm proposed to tackle the random initialization problem of k-means but requires high computational cost. It partitions the data to $K$ clusters by solving all $k$-means sub-problems incrementally for $k=1,\ldots, K$. For each $k$ cluster problem, the method executes the $k$-means algorithm $N$ times, where $N$ is the number of data points. In this paper, we propose the global $k$-means$++$ clustering algorithm, which is an effective way of acquiring quality clustering solutions akin to those of global $k$-means with a reduced computational load. This is achieved by exploiting the center section probability that is used in the effective $k$-means$++$ algorithm. The proposed method has been tested and compared in various well-known real and synthetic datasets yielding very satisfactory results in terms of clustering quality and execution speed.

应用分层聚类算法所需的时间最常由成对差异度量的计算数量主导。对于较大的数据集，这种约束使所有经典链接标准的使用都处于不利地位。但是，众所周知，单个连锁聚类算法对离群值非常敏感，产生高度偏斜的树状图，因此通常不会反映出真正的潜在数据结构 - 除非簇分离良好。为了克服其局限性，我们提出了一个名为Genie的新的分层聚类链接标准。也就是说，我们的算法将两个簇链接在一起，以至于选择的经济不平等度量（例如，gini-或bonferroni index）的群集大小不会大大增加超过给定阈值。提出的基准表明引入的方法具有很高的实际实用性：它通常优于病房或平均链接的聚类质量，同时保持单个连锁的速度。 Genie算法很容易平行，因此可以在多个线程上运行以进一步加快其执行。它的内存开销很小：无需预先计算完整的距离矩阵即可执行计算以获得所需的群集。它可以应用于配备有差异度量的任意空间，例如，在实际矢量，DNA或蛋白质序列，图像，排名，信息图数据等上。有关R。另请参见https://genieclust.gagolewski.com有关新的实施（GenieClust） - 可用于R和Python。