Clustering is central to many data-driven application domains and has been studied extensively in terms of distance functions and grouping algorithms. Relatively little work has focused on learning representations for clustering. In this paper, we propose Deep Embedded Clustering (DEC), a method that simultaneously learns feature representations and cluster assignments using deep neural networks. DEC learns a mapping from the data space to a lower-dimensional feature space in which it iteratively optimizes a clustering objective. Our experimental evaluations on image and text corpora show significant improvement over state-of-the-art methods.

无监督学习的最有前途的方法之一是将深层表示学习和深入的聚类结合在一起。最近的一些作品建议使用深层神经网络同时学习表示形式，并通过在嵌入式特征之上定义聚类损失来执行聚类。但是，这些方法对数据不平衡和分布样本敏感。结果，这些方法通过将数据推向接近随机初始化的群集中心来优化聚类。当实例的数量在不同的类别中有所不同，或者很少有样本的群集的机会较小的机会被分配给良好的质心时，这是有问题的。为了克服这些局限性，我们引入了一个新的无监督框架，用于联合表述学习和图像群集。我们同时训练两个深度学习模型，一个捕获数据分布的深度表示网络，以及一个学习嵌入式功能并执行聚类的深度聚类网络。具体而言，聚类网络和学习表示网络都利用了我们提出的统计池块，该统计数据池块代表均值，方差和基数，以处理分布外样本和类不平衡。我们的实验表明，使用这些表示形式，可以大大改善各种图像数据集的不平衡图像聚类的结果。此外，当传输到分布数据集时，学到的表示形式可以很好地推广。

由于几个原因，很难聚集艺术品。一方面，识别基于领域知识和视觉感知的有意义的模式非常困难。另一方面，将传统的聚类和功能还原技术应用于高度尺寸的像素空间可能是无效的。为了解决这些问题，在本文中，我们提出了Delius：一种深入学习视觉艺术的深度学习方法。该方法使用预训练的卷积网络提取功能，然后将这些功能馈送到深层嵌入聚类模型中，在此，将输入数据映射到潜在空间的任务是通过在找到一组集群质心的任务，以在此任务进行优化。这个潜在空间。定量和定性实验结果表明了该方法的有效性。Delius对于与艺术分析有关的多个任务很有用，特别是在绘画数据集中发现的视觉链接检索和历史知识发现。

The latent space of autoencoders has been improved for clustering image data by jointly learning a t-distributed embedding with a clustering algorithm inspired by the neighborhood embedding concept proposed for data visualization. However, multivariate tabular data pose different challenges in representation learning than image data, where traditional machine learning is often superior to deep tabular data learning. In this paper, we address the challenges of learning tabular data in contrast to image data and present a novel Gaussian Cluster Embedding in Autoencoder Latent Space (G-CEALS) algorithm by replacing t-distributions with multivariate Gaussian clusters. Unlike current methods, the proposed approach independently defines the Gaussian embedding and the target cluster distribution to accommodate any clustering algorithm in representation learning. A trained G-CEALS model extracts a quality embedding for unseen test data. Based on the embedding clustering accuracy, the average rank of the proposed G-CEALS method is 1.4 (0.7), which is superior to all eight baseline clustering and cluster embedding methods on seven tabular data sets. This paper shows one of the first algorithms to jointly learn embedding and clustering to improve multivariate tabular data representation in downstream clustering.

这项工作为聚类提供了无监督的深入判别分析。该方法基于深层神经网络，旨在最大程度地减少群集内差异，并以无监督的方式最大化集群间差异。该方法能够将数据投射到具有紧凑和不同分布模式的非线性低维潜在空间中，以便可以有效地识别数据簇。我们进一步提供了该方法的扩展，以便可以有效利用可用的图形信息来提高聚类性能。带有或没有图形信息的图像和非图像数据的广泛数值结果证明了所提出的方法的有效性。

由于多源信息集成的能力，多视图聚类吸引了很多关注。尽管在过去几十年中已经提出了许多高级方法，但其中大多数通常忽略了弱监督信息的重要性，并且无法保留多种视图的特征属性，从而导致聚类性能不令人满意。为了解决这些问题，在本文中，我们提出了一种新颖的深度观看半监督聚类（DMSC）方法，该方法在网络填充过程中共同优化了三种损失，包括多视图集群损失，半监督的成对约束损失损失和多个自动编码器重建损失。具体而言，基于KL差异的多视图聚类损失被施加在多视图数据的共同表示上，以同时执行异质特征优化，多视图加权和聚类预测。然后，我们通过创新建议将成对约束集成到多视图聚类的过程中，通过执行所学到的必须链接样本的多视图表示（不能链接样本）是相似的（不同的），以便形成的聚类结构可以可以更可信。此外，与现有的竞争对手不同，该竞争对手仅保留网络填充期间每个异质分支的编码器，我们进一步建议调整完整的自动编码器框架，其中包含编码器和解码器。通过这种方式，可以缓解特定视图和视图共享特征空间的严重腐败问题，从而使整个培训程序更加稳定。通过在八个流行图像数据集上进行的全面实验，我们证明了我们提出的方法的性能要比最先进的多视图和单视竞争对手更好。

我们探索无监督模型解释和语法诱导的文本表示的深度聚类。由于这些表示是高维的，因此邮件中的开箱即用的方法不起作用。因此，我们的方法共同将表示转换为较低的聚类友好空间并群集它们。我们考虑了两种语法：在这项工作中的语音感应（POSI）和选区标签（Colab）的一部分。有趣的是，我们发现多语言伯爵（Mbert）包含令人惊讶的英语句法知识;甚至可能和英语伯特（Ebert）一样多。我们的模型可用作无可自由的探针，可使可以是较少偏见的探测方式。我们发现与监督探针相比，无监督探针显示出较高层次的益处。我们进一步注意，我们无监督的探测器使用Ebert和Mbert表示不同，特别是对于POSI。我们通过将其作为无监督的语法感应技术证明其能力来验证探针的功效。通过简单地调整输入表示，我们的探针适用于句法形式主义。我们举报了我们在45标签的英语POSI上探讨的竞争性表现，在10个语言上的12标签POSI上的最先进性能，以及Colab上的竞争结果。我们还对资源贫困语言进行零拍语法归纳，并报告强劲的结果。

One of the main problems in applying deep learning techniques to recognize activities of daily living (ADLs) based on inertial sensors is the lack of appropriately large labelled datasets to train deep learning-based models. A large amount of data would be available due to the wide spread of mobile devices equipped with inertial sensors that can collect data to recognize human activities. Unfortunately, this data is not labelled. The paper proposes DISC (Deep Inertial Sensory Clustering), a DL-based clustering architecture that automatically labels multi-dimensional inertial signals. In particular, the architecture combines a recurrent AutoEncoder and a clustering criterion to predict unlabelled human activities-related signals. The proposed architecture is evaluated on three publicly available HAR datasets and compared with four well-known end-to-end deep clustering approaches. The experiments demonstrate the effectiveness of DISC on both clustering accuracy and normalized mutual information metrics.

近年来，拥抱集群研究中的表演学习的深度学习技术引起了广泛的关注，产生了一个新开发的聚类范式，QZ。深度聚类（DC）。通常，DC型号大写AutoEncoders，以了解促进聚类过程的内在特征。如今，一个名为变变AualEncoder（VAE）的生成模型在DC研究中得到了广泛的认可。然而，平原VAE不足以察觉到综合潜在特征，导致细分性能恶化。本文提出了一种新的DC方法来解决这个问题。具体地，生成的逆势网络和VAE被聚结成了一种名为Fusion AutoEncoder（FAE）的新的AutoEncoder，以辨别出更多的辨别性表示，从而使下游聚类任务受益。此外，FAE通过深度剩余网络架构实施，进一步提高了表示学习能力。最后，将FAE的潜在空间转变为由深密神经网络的嵌入空间，用于彼此从彼此拉出不同的簇，并将数据点折叠在单个簇内。在几个图像数据集上进行的实验证明了所提出的DC模型对基线方法的有效性。

自我监督的学习（SSL）已成为无需人类注释而产生不变表示的流行方法。但是，通过在输入数据上利用先前的在线转换功能来实现所需的不变表示。结果，每个SSL框架都是针对特定数据类型（例如，视觉数据）定制的，如果将其用于其他数据集类型，则需要进行进一步的修改。另一方面，是一个通用且广泛适用的框架的自动编码器（AE），主要集中于缩小尺寸，不适合学习不变表示。本文提出了一个基于阻止退化解决方案的受限自我标签分配过程的通用SSL框架。具体而言，先前的转换函数被用无监督的对抗训练的训练过程得出，以实现不变表示。通过自我转化机制，可以从相同的输入数据生成成对的增强实例。最后，基于对比度学习的培训目标是通过利用自我标签分配和自我转化机制来设计的。尽管自我转化过程非常通用，但拟议的培训策略的表现优于基于AE结构的大多数最先进的表示方法。为了验证我们的方法的性能，我们对四种类型的数据进行实验，即视觉，音频，文本和质谱数据，并用四个定量指标进行比较。我们的比较结果表明，所提出的方法证明了鲁棒性并成功识别数据集中的模式。

聚类是一项基本的机器学习任务，在文献中已广泛研究。经典聚类方法遵循以下假设：数据通过各种表示的学习技术表示为矢量化形式的特征。随着数据变得越来越复杂和复杂，浅（传统）聚类方法无法再处理高维数据类型。随着深度学习的巨大成功，尤其是深度无监督的学习，在过去的十年中，已经提出了许多具有深层建筑的代表性学习技术。最近，已经提出了深层聚类的概念，即共同优化表示的学习和聚类，因此引起了社区的日益关注。深度学习在聚类中的巨大成功，最基本的机器学习任务之一以及该方向的最新进展的巨大成功所激发。 - 艺术方法。我们总结了深度聚类的基本组成部分，并通过设计深度表示学习和聚类之间的交互方式对现有方法进行了分类。此外，该调查还提供了流行的基准数据集，评估指标和开源实现，以清楚地说明各种实验设置。最后但并非最不重要的一点是，我们讨论了深度聚类的实际应用，并提出了应有的挑战性主题，应将进一步的研究作为未来的方向。

将高维数据嵌入到低维歧管上具有理论和实用的值。在本文中，我们建议将深神经网络（DNN）与数学引导的嵌入规则相结合，以进行高维数据嵌入的规则。我们介绍了一个通用的深度嵌入网络（DEN）框架，它能够从高维空间到低维空间的参数映射，由诸如Kullback-Leibler（KL）发散最小化的良好的目标引导。我们进一步提出了一种递归策略，称为深度递归嵌入（DRE），以利用潜在的数据表示来提升嵌入性能。我们举例说明DRE通过不同的架构和丢失功能的灵活性，并对我们的方法进行基准测试，以及针对两个最受欢迎的嵌入方法，即T分布式随机邻居嵌入（T-SNE）和均匀歧管近似和投影（UMAP）。所提出的DRE方法可以将样品超出数据和缩放到极大的数据集。与其他最先进的嵌入方法相比，一系列公共数据集的实验表明，在本地和全球结构保护方面提高了嵌入性能。

我们研究了用于半监控学习（SSL）的无监督数据选择，其中可以提供大规模的未标记数据集，并且为标签采集预算小额数据子集。现有的SSL方法专注于学习一个有效地集成了来自给定小标记数据和大型未标记数据的信息的模型，而我们专注于选择正确的数据以用于SSL的注释，而无需任何标签或任务信息。直观地，要标记的实例应统称为下游任务的最大多样性和覆盖范围，并且单独具有用于SSL的最大信息传播实用程序。我们以三步数据为中心的SSL方法形式化这些概念，使稳定性和精度的纤维液改善8％的CiFar-10（标记为0.08％）和14％的Imagenet -1k（标记为0.2％）。它也是一种具有各种SSL方法的通用框架，提供一致的性能增益。我们的工作表明，在仔细选择注释数据上花费的小计算带来了大注释效率和模型性能增益，而无需改变学习管道。我们完全无监督的数据选择可以轻松扩展到其他弱监督的学习设置。

T分布式随机邻居嵌入（T-SNE）是复杂高维数据的良好的可视化方法。然而，原始T-SNE方法是非参数，随机的，并且通常不能很好地预测数据的全局结构，因为它强调当地社区。通过T-SNE作为参考，我们建议将深度神经网络（DNN）与数学接地的嵌入规则相结合，以进行高维数据嵌入的规则。我们首先介绍一个深嵌入的网络（DEN）框架，它可以从高维空间到低维嵌入的参数映射。 DEN具有灵活的架构，可容纳不同的输入数据（矢量，图像或张量）和损耗功能。为提高嵌入性能，建议递归培训策略利用书房提取的潜在陈述。最后，我们提出了一种两级损耗功能，将两个流行的嵌入方法的优点相结合，即T-SNE和均匀的歧管近似和投影（UMAP），以获得最佳可视化效果。我们将建议的方法命名为深度递归嵌入（DRE），其优化了递归培训策略和两级吊袜带的DEN。我们的实验表明，在各种公共数据库中，所提出的DRE方法对高维数据嵌入的优异性能。值得注意的是，我们的比较结果表明，我们拟议的DRE可能导致全球结构改善。

深度集群（DC）利用深度架构的表示力来学习嵌入空间，这些空格是最佳的集群分析。此方法会滤除对聚类无关的低级信息，并已证明对于高维数据空间非常成功。一些DC方法采用生成的对抗网络（GANS），受到强大的潜在表示，这些模型能够隐含地学习。在这项工作中，我们提出了一种基于带有多个发电机（MGANS）的GAN的新技术，尚未探讨聚类。我们的方法受到观察到Mangan的每个生成器倾向于生成与实际数据分布的子区域相关的数据。我们使用此集群生成来训练分类器，以推断给定图像来自哪个生成器，从而为实际分配提供了语义有意义的聚类。此外，我们设计了我们的方法，使其在自上而下的分层聚类树中执行，从而提出了我们最佳知识的第一层级DC方法。我们进行若干实验来评估近期直流方法的提出方法，获得竞争力。最后，我们对分层聚类树进行了探索性分析，突出显示了它在语义相干模式的层次结构中组织的准确性。

降低降低技术旨在代表低维空间中的高维数据，以提取隐藏和有用的信息，或者促进对数据的视觉理解和解释。但是，很少有人考虑高维数据中隐含的潜在群集信息。在本文中，我们提出了基于T-SNE的新的图形非线性降低方法Laptsne，这是将高维数据视为2D散点图的最佳技术之一。具体而言，Laptsne在学习保留从高维空间到低维空间的局部和全球结构时，利用图形laplacian的特征值信息缩小了低维嵌入中的潜在簇。解决提出的模型是不平凡的，因为归一化对称拉普拉斯的特征值是决策变量的函数。我们提供了一种具有收敛保证的大型最小化算法，以解决LAPTSNE的优化问题，并显示如何分析梯度，当考虑使用Laplacian兼容的目标进行优化时，这可能引起人们的广泛关注。我们通过与最先进的方法进行正式比较，在视觉和既定的定量测量中评估我们的方法。结果证明了我们方法比T-SNE和UMAP等基线的优越性。我们还将方法扩展到光谱聚类并建立一种准确且无参数的聚类算法，该算法为我们提供了实际应用中的高可靠性和便利性。

深度聚类最近引起了极大的关注。尽管取得了显着的进展，但以前的大多数深度聚类作品仍有两个局限性。首先，其中许多集中在某些基于分布的聚类损失上，缺乏通过对比度学习来利用样本（或增强）关系的能力。其次，他们经常忽略了间接样本结构信息，从而忽略了多尺度邻里结构学习的丰富可能性。鉴于这一点，本文提出了一种新的深聚类方法，称为图像聚类，其中包括对比度学习和多尺度图卷积网络（IcicleGCN），该网络（ICICELGCN）也弥合了卷积神经网络（CNN）和图形卷积网络（GCN）之间的差距。作为对比度学习与图像聚类任务的多尺度邻域结构学习之间的差距。所提出的IcicleGCN框架由四个主要模块组成，即基于CNN的主链，实例相似性模块（ISM），关节群集结构学习和实例重建模块（JC-SLIM）和多尺度GCN模块（M -GCN）。具体而言，在每个图像上执行了两个随机增强，使用两个重量共享视图的骨干网络用于学习增强样品的表示形式，然后将其馈送到ISM和JC-SLIM以进行实例级别和集群级别的对比度分别学习。此外，为了实施多尺度的邻域结构学习，通过（i）通过（i）层次融合的层相互作用和（ii）共同自适应学习确保他们的最后一层，同时对两个GCN和自动编码器进行了同时培训。层输出分布保持一致。多个图像数据集上的实验证明了IcicleGCN优于最先进的群集性能。

现有的深度嵌入聚类工作仅考虑最深层的学习功能嵌入，因此未能利用来自群集分配的可用辨别信息，从而产生性能限制。为此，我们提出了一种新颖的方法，即深入关注引导的图形聚类与双自我监督（DAGC）。具体地，DAGC首先利用异质性 - 方向融合模块，以便于在每个层中自适应地集成自动编码器的特征和图形卷积网络，然后使用尺度明智的融合模块动态地连接不同层中的多尺度特征。这种模块能够通过基于注意的机制学习歧视特征。此外，我们设计了一种分配明智的融合模块，它利用群集分配直接获取聚类结果。为了更好地探索集群分配的歧视信息，我们开发了一种双重自我监督解决方案，包括软自我监督策略，具有三联kullback-Leibler发散损失和具有伪监督损失的硬自我监督策略。广泛的实验验证了我们的方法在六个基准数据集中始终如一地优于最先进的方法。特别是，我们的方法通过最佳基线超过18.14％的方法将ARI提高。

这是一门专门针对STEM学生开发的介绍性机器学习课程。我们的目标是为有兴趣的读者提供基础知识，以在自己的项目中使用机器学习，并将自己熟悉术语作为进一步阅读相关文献的基础。在这些讲义中，我们讨论受监督，无监督和强化学习。注释从没有神经网络的机器学习方法的说明开始，例如原理分析，T-SNE，聚类以及线性回归和线性分类器。我们继续介绍基本和先进的神经网络结构，例如密集的进料和常规神经网络，经常性的神经网络，受限的玻尔兹曼机器，（变性）自动编码器，生成的对抗性网络。讨论了潜在空间表示的解释性问题，并使用梦和对抗性攻击的例子。最后一部分致力于加强学习，我们在其中介绍了价值功能和政策学习的基本概念。

Clustering is a class of unsupervised learning methods that has been extensively applied and studied in computer vision. Little work has been done to adapt it to the end-to-end training of visual features on large scale datasets. In this work, we present DeepCluster, a clustering method that jointly learns the parameters of a neural network and the cluster assignments of the resulting features. DeepCluster iteratively groups the features with a standard clustering algorithm, kmeans, and uses the subsequent assignments as supervision to update the weights of the network. We apply DeepCluster to the unsupervised training of convolutional neural networks on large datasets like ImageNet and YFCC100M. The resulting model outperforms the current state of the art by a significant margin on all the standard benchmarks.