大多数现有的半监督基于图的聚类方法通过完善亲和力矩阵或直接限制数据点的低维表示来利用监督信息。亲和力矩阵代表图形结构,对于半监督基于图的聚类的性能至关重要。但是,现有方法采用静态亲和力矩阵来学习数据点的低维表示,并且在学习过程中不会优化亲和力矩阵。在本文中,我们提出了一种新型的动态图结构学习方法,用于半监督聚类。在这种方法中,我们通过利用给定的成对约束来同时优化数据点的亲和力矩阵和低维表示。此外,我们提出了一种交替的最小化方法,并通过可靠的收敛来解决提出的非凸模型。在迭代过程中,我们的方法周期性地更新数据点的低维表示并完善了亲和力矩阵,从而导致动态亲和力矩阵(图结构)。具体而言,为了更新亲和力矩阵,我们强制使用具有明显不同的低维表示的数据点具有相关值为0。点。在不同设置下的八个基准数据集上的实验结果显示了所提出方法的优势。
translated by 谷歌翻译
光谱型子空间聚类算法成功的关键点是寻求重建系数矩阵,这些矩阵可以忠实地揭示数据集的子空间结构。理想的重建系数矩阵应该具有两个属性:1)它是块对角线,每个块指示一个子空间; 2)每个块完全连接。尽管已经提出了各种光谱类型子空间聚类算法,但这些算法构建的重建系数矩阵中仍然存在一些缺陷。我们发现,归一化成员矩阵自然满足上述两个条件。因此,在本文中,我们设计了一种基本表示(IDR)算法来追求近似归一化成员矩阵的重建系数矩阵。 IDR设计了重建系数矩阵的新的IDEMTOTENT约束。通过将双随机约束结合在一起,可以直接实现与归一化构件矩阵封闭的系数矩阵。我们提出了用于解决IDR问题的优化算法,并分析其计算负担和收敛性。 IDR和相关算法之间的比较显示IDR的优势。对合成和现实世界数据集进行的大量实验证明,IDR是一种有效而有效的子空间聚类算法。
translated by 谷歌翻译
子空间聚类是将大约位于几个低维子空间的数据样本集合集合的经典问题。此问题的当前最新方法基于自我表达模型,该模型表示样品是其他样品的线性组合。但是,这些方法需要足够广泛的样品才能准确表示,这在许多应用中可能不一定是可以访问的。在本文中,我们阐明了这个常见的问题,并认为每个子空间中的数据分布在自我表达模型的成功中起着至关重要的作用。我们提出的解决此问题的解决方案是由数据扩展在深神经网络的概括力中的核心作用引起的。我们为无监督和半监督的设置提出了两个子空间聚类框架,这些框架使用增强样品作为扩大词典来提高自我表达表示的质量。我们提出了一种使用一些标记的样品进行半监督问题的自动增强策略,该问题取决于数据样本位于多个线性子空间的联合以下事实。实验结果证实了数据增强的有效性,因为它显着提高了一般自我表达模型的性能。
translated by 谷歌翻译
子空间聚类方法拥抱一个自表现模型,表示每个数据点作为数据集中的其他数据点的线性组合是强大的无监督学习技术。然而,在处理大规模数据集时,通过参考作为字典的所有数据点来表示每个数据点的表示患有高计算复杂度。为了缓解这个问题,我们通过梳理多个子集,引入并行的基于多子集的自表现模型(PMS),该模型表示每个数据点,每个数据点仅包括小百分比样本。子空间聚类中的PMS采用(PMSSC)导致计算优势,因为分解到每个子集中的每个优化问题很小,并且可以并行地求解。此外,PMSSC能够组合从子集获得的多个自我表达系数矢量,这有助于改善自表现。对合成数据和现实世界数据集的广泛实验表明了我们对竞争方法的方法的效率和有效性。
translated by 谷歌翻译
多视图子空间聚类传统上专注于集成异构特征描述以捕获更高维度信息。一种流行的策略是从不同视图生成常见的子空间,然后应用基于图形的方法来处理群集。但是,这些方法的性能仍然受到两个限制,即多视图融合模式以及融合过程与聚类任务之间的连接。为了解决这些问题,我们通过细粒度图形学习提出了一种新的多视图子空间聚类框架,可以在不同视图之间讲述本地结构之间的一致性,并比以前的重量规则更精细地集成所有视图。与文献中的其他模型不同,引入了点级图正规化和频谱聚类的重新介绍,以执行图形融合并将共享集群结构一起学习在一起。在五个真实数据集上进行了广泛的实验,表明该框架对SOTA算法具有可比性。
translated by 谷歌翻译
多视图聚类已进行了广泛的研究,以利用多源信息来提高聚类性能。通常,大多数现有作品通常通过某些相似性/距离指标(例如欧几里得距离)或学习的表示形式来计算N * n亲和力图,并探索跨视图的成对相关性。但是不幸的是,通常需要二次甚至立方复杂性,这使得在聚集largescale数据集方面遇到了困难。最近,通过选择具有K-均值的视图锚表演或通过对原始观测值进行直接矩阵分解来捕获多个视图中的数据分布。尽管取得了巨大的成功,但很少有人考虑了视图不足问题,因此隐含地认为,每个单独的观点都足以恢复群集结构。此外,无法同时发现潜在积分空间以及来自多个视图的共享群集结构。鉴于这一点,我们为快速多视图聚类(AIMC)提出了一个具有几乎线性复杂性的快速多视图聚类(AIMC)。具体而言,视图生成模型旨在重建来自潜在积分空间的视图观测值,并具有不同的适应性贡献。同时,具有正交性约束和群集分区的质心表示无缝构造以近似潜在的积分空间。开发了一种替代最小化算法来解决优化问题,事实证明,该问题具有线性时间复杂性W.R.T.样本量。与最新方法相比,在几个Realworld数据集上进行的广泛实验证实了所提出的AIMC方法的优越性。
translated by 谷歌翻译
尽管以前基于图的多视图聚类算法已经取得了重大进展,但其中大多数仍面临三个限制。首先,他们经常遭受高计算复杂性的困扰,这限制了他们在大规模场景中的应用。其次,他们通常在单视图级别或视图传感级别上执行图形学习,但经常忽略单视图和共识图的联合学习的可能性。第三,其中许多人依靠$ k $ - 表示光谱嵌入的离散化,这些嵌入缺乏直接使用离散群集结构直接学习图形的能力。鉴于此,本文通过统一和离散的两部分图(UDBGL)提出了一种有效的多视图聚类方法。具体而言,基于锚的子空间学习被合并为从多个视图中学习特定的二分化图,并利用双方图融合来学习具有自适应重量学习的视图 - 谐镜双分歧图。此外,施加Laplacian等级约束以确保融合的两分图具有离散的群集结构(具有特定数量的连接组件)。通过同时制定特定视图的两分图学习,视图 - 共表的两分图学习以及离散的群集结构学习到统一的目标函数中,然后设计有效的最小化算法来解决此优化问题,并直接实现离散的聚类解决方案解决方案解决方案解决方案解决方案。不需要其他分区,这特别是数据大小的线性时间复杂性。各种多视图数据集的实验证明了我们的UDBGL方法的鲁棒性和效率。
translated by 谷歌翻译
多个内核聚类(MKC)致力于从一组基础内核中实现最佳信息融合。事实证明,构建精确和局部核矩阵在应用中具有至关重要的意义,因为不可靠的远距离相似性估计将降低群集的每种形式。尽管与全球设计的竞争者相比,现有的局部MKC算法表现出改善的性能,但其中大多数通过考虑{\ tau} - 最终的邻居来定位内核矩阵来定位内核矩阵。但是,这种粗糙的方式遵循了一种不合理的策略,即不同邻居的排名重要性是相等的,这在应用程序中是不切实际的。为了减轻此类问题,本文提出了一种新型的本地样品加权多核聚类(LSWMKC)模型。我们首先在内核空间中构建共识判别亲和力图,从而揭示潜在的局部结构。此外,学习亲和力图的最佳邻域内核具有自然稀疏特性和清晰的块对角结构。此外,LSWMKC立即优化了具有相应样品的不同邻居的适应性权重。实验结果表明,我们的LSWMKC具有更好的局部流形表示,并且优于现有内核或基于图的聚类算法算法。可以从https://github.com/liliangnudt/lswmkc公开访问LSWMKC的源代码。
translated by 谷歌翻译
多视图聚类(MVC)最佳地集成了来自不同视图的互补信息,以提高聚类性能。尽管在各种应用中证明了有希望的性能,但大多数现有方法都直接融合了多个预先指定的相似性,以学习聚类的最佳相似性矩阵,这可能会导致过度复杂的优化和密集的计算成本。在本文中,我们通过对齐方式最大化提出了晚期Fusion MVC,以解决这些问题。为此,我们首先揭示了现有K-均值聚类的理论联系以及基本分区和共识之一之间的对齐。基于此观察结果,我们提出了一种简单但有效的多视算法,称为LF-MVC-GAM。它可以从每个单独的视图中最佳地将多个源信息融合到分区级别,并最大程度地将共识分区与这些加权基础分区保持一致。这种对齐方式有助于整合分区级别信息,并通过充分简化优化过程来大大降低计算复杂性。然后,我们设计了另一个变体LF-MVC-LAM,以通过在多个分区空间之间保留局部内在结构来进一步提高聚类性能。之后,我们开发了两种三步迭代算法,以通过理论上保证的收敛来解决最终的优化问题。此外,我们提供了所提出算法的概括误差约束分析。对十八个多视图基准数据集进行了广泛的实验,证明了拟议的LF-MVC-GAM和LF-MVC-LAM的有效性和效率,范围从小到大型数据项不等。拟议算法的代码可在https://github.com/wangsiwei2010/latefusionalignment上公开获得。
translated by 谷歌翻译
本文提出了FLGC,这是一个简单但有效的全线性图形卷积网络,用于半监督和无人监督的学习。基于计算具有解耦步骤的全局最优闭合液解决方案而不是使用梯度下降,而不是使用梯度下降。我们展示(1)FLGC强大的是处理图形结构化数据和常规数据,(2)具有闭合形式解决方案的训练图卷积模型提高了计算效率而不会降低性能,而(3)FLGC作为自然概括非欧几里德域的经典线性模型,例如Ridge回归和子空间聚类。此外,我们通过引入初始剩余策略来实现半监督的FLGC和无监督的FLGC,使FLGC能够聚集长距离邻域并减轻过平滑。我们将我们的半监督和无人监督的FLGC与各种分类和聚类基准的许多最先进的方法进行比较,表明建议的FLGC模型在准确性,鲁棒性和学习效率方面始终如一地优于先前的方法。我们的FLGC的核心代码在https://github.com/angrycai/flgc下发布。
translated by 谷歌翻译
随着数据采集技术的发展,多视图学习已成为一个热门话题。一些多视图学习方法假设多视图数据已经完成,这意味着所有实例都存在,但这太理想了。某些用于传递不完整多视图数据的基于张量的方法已经出现并取得了更好的结果。但是,仍然存在一些问题,例如使用传统的张量规范,这使计算高且无法处理样本外。为了解决这两个问题,我们提出了一种新的不完整的多视图学习方法。定义了一个新的张量规范来实现图形张量数据恢复。然后将恢复的图定于样品的一致的低维表示。此外,自适应权重配备了每种视图,以调整不同视图的重要性。与现有方法相比,我们的方法也不仅仅探讨视图之间的一致性,但也通过使用学习的投影矩阵获得了新样本的低维表示。基于不精确的增强Lagrange乘数(ALM)方法的有效算法旨在解决模型,并证明了收敛性。四个数据集的实验结果显示了我们方法的有效性。
translated by 谷歌翻译
旨在解决不完整的多视图数据中缺少部分视图的聚类问题的不完整的多视图聚类,近年来受到了越来越多的关注。尽管已经开发了许多方法,但大多数方法要么无法灵活地处理不完整的多视图数据,因此使用任意丢失的视图,或者不考虑视图之间信息失衡的负面因素。此外,某些方法并未完全探索所有不完整视图的局部结构。为了解决这些问题,本文提出了一种简单但有效的方法,称为局部稀疏不完整的多视图聚类(LSIMVC)。与现有方法不同,LSIMVC打算通过优化一个稀疏的正则化和新颖的图形嵌入式多视图矩阵分数模型来从不完整的多视图数据中学习稀疏和结构化的潜在表示。具体而言,在基于矩阵分解的这种新型模型中,引入了基于L1规范的稀疏约束,以获得稀疏的低维单个表示和稀疏共识表示。此外,引入了新的本地图嵌入项以学习结构化共识表示。与现有作品不同,我们的本地图嵌入术语汇总了图形嵌入任务和共识表示任务中的简洁术语。此外,为了减少多视图学习的不平衡因素,将自适应加权学习方案引入LSIMVC。最后,给出了有效的优化策略来解决我们提出的模型的优化问题。在六个不完整的多视图数据库上执行的全面实验结果证明,我们的LSIMVC的性能优于最新的IMC方法。该代码可在https://github.com/justsmart/lsimvc中找到。
translated by 谷歌翻译
基于自动编码器的深度子空间聚类(DSC)广泛用于计算机视觉,运动分割和图像处理。但是,它在自我表达的矩阵学习过程中遇到了以下三个问题:由于简单的重建损失,第一个对于学习自我表达权重的信息较小;第二个是与样本量相关的自我表达层的构建需要高计算成本。最后一个是现有正规化条款的有限连接性。为了解决这些问题,在本文中,我们提出了一个新颖的模型,名为“自我监督的深度”子空间聚类(S $^{3} $ CE)。具体而言,S $^{3} $ CE利用了自我监督的对比网络,以获得更加繁荣的特征向量。原始数据的局部结构和密集的连接受益于自我表达层和附加熵 - 标准约束。此外,具有数据增强的新模块旨在帮助S $^{3} $ CE专注于数据的关键信息,并通过光谱聚类来提高正面和负面实例的聚类性能。广泛的实验结果表明,与最先进的方法相比,S $^{3} $ CE的出色性能。
translated by 谷歌翻译
最小的平方和群集(MSSC)或K-Means型聚类,传统上被认为是无监督的学习任务。近年来,使用背景知识来提高集群质量,促进聚类过程的可解释性已成为数学优化和机器学习研究的热门研究课题。利用数据群集中的背景信息的问题称为半监督或约束群集。在本文中,我们为半监控MSSC提供了一种新的分支和绑定算法,其中背景知识被包含为成对必须 - 链接和无法链接约束。对于较低的界限,我们解决了MSSC离散优化模型的Semidefinite编程宽松,并使用了用于加强界限的纤维平面程序。相反,通过使用整数编程工具,我们提出了将K-Means算法适应受约束的情况。这是第一次,所提出的全局优化算法有效地管理,以解决现实世界的情况,最高可达800个数据点,具有必要的必须 - 链接和无法链接约束以及通用数量的功能。这个问题大小大约比最先进的精确算法解决的实例大约四倍。
translated by 谷歌翻译
学习遥感图像的歧管结构对于建模和理解过程是最重要的相关性,以及封装在减少一组信息特征中的高维度,以用于后续分类,回归或解密。歧管学习方法显示出优异的性能来处理高光谱图像(HSI)分析,但除非专门设计,否则它们不能提供明确的嵌入式地图,容易适用于采样超出数据。处理问题的常见假设是高维输入空间和(通常低)潜空间之间的转换是线性的。这是一种特别强烈的假设,特别是当由于数据的众所周知的非线性性质而处理高光谱图像时。为了解决这个问题,提出了一种基于高维模型表示(HDMR)的歧管学习方法,这使得能够将非线性嵌入功能呈现给潜伏空间的采样外部样本。将所提出的方法与其线性对应物一起进行比较,并在代表性齐谱图像的分类精度方面实现了有希望的性能。
translated by 谷歌翻译
这项工作为聚类提供了无监督的深入判别分析。该方法基于深层神经网络,旨在最大程度地减少群集内差异,并以无监督的方式最大化集群间差异。该方法能够将数据投射到具有紧凑和不同分布模式的非线性低维潜在空间中,以便可以有效地识别数据簇。我们进一步提供了该方法的扩展,以便可以有效利用可用的图形信息来提高聚类性能。带有或没有图形信息的图像和非图像数据的广泛数值结果证明了所提出的方法的有效性。
translated by 谷歌翻译
Spectral clustering is an effective methodology for unsupervised learning. Most traditional spectral clustering algorithms involve a separate two-step procedure and apply the transformed new representations for the final clustering results. Recently, much progress has been made to utilize the non-negative feature property in real-world data and to jointly learn the representation and clustering results. However, to our knowledge, no previous work considers a unified model that incorporates the important multi-view information with those properties, which severely limits the performance of existing methods. In this paper, we formulate a novel clustering model, which exploits the non-negative feature property and, more importantly, incorporates the multi-view information into a unified joint learning framework: the unified multi-view orthonormal non-negative graph based clustering framework (Umv-ONGC). Then, we derive an effective three-stage iterative solution for the proposed model and provide analytic solutions for the three sub-problems from the three stages. We also explore, for the first time, the multi-model non-negative graph-based approach to clustering data based on deep features. Extensive experiments on three benchmark data sets demonstrate the effectiveness of the proposed method.
translated by 谷歌翻译
K-Subspaces(KSS)方法是用于子空间聚类的K-均值方法的概括。在这项工作中,我们介绍了KSS的本地收敛分析和恢复保证,假设数据是由Smari-random的子空间模型生成的,其中$ n $点是从$ k \ ge 2 $重叠子空间随机采样的。我们表明,如果KSS方法的初始分配位于真实聚类的邻域内,则它以高等的速率收敛,并在$ \ theta(\ log \ log \ log n)$迭代中找到正确的群集。此外,我们提出了一种基于阈值的基于内部产品的光谱方法来初始化,并证明它在该社区中产生了一个点。我们还提出了研究方法的数值结果,以支持我们的理论发展。
translated by 谷歌翻译
多视图无监督的特征选择(MUF)已被证明是一种有效的技术,可降低多视图未标记数据的维度。现有方法假定所有视图都已完成。但是,多视图数据通常不完整,即,某些视图中显示了一部分实例,但并非所有视图。此外,学习完整的相似性图,作为现有MUFS方法中重要的有前途的技术,由于缺少的观点而无法实现。在本文中,我们提出了一个基于互补的和共识学习的不完整的多视图无监督的特征选择方法(C $^{2} $ IMUFS),以解决上述问题。具体而言,c $^{2} $ imufs将功能选择集成到扩展的加权非负矩阵分解模型中,配备了自适应学习视图和稀疏的$ \ ell_ {2,p} $ - norm-norm,它可以提供更好的提供适应性和灵活性。通过从不同视图得出的多个相似性矩阵的稀疏线性组合,介绍了互补学习引导的相似性矩阵重建模型,以在每个视图中获得完整的相似性图。此外,c $^{2} $ imufs学习了跨不同视图的共识聚类指示器矩阵,并将其嵌入光谱图术语中以保留本地几何结构。现实世界数据集的全面实验结果证明了与最新方法相比,C $^{2} $ IMUF的有效性。
translated by 谷歌翻译
由于巨大的未标记数据的出现,现在已经增加了更加关注无监督的功能选择。需要考虑使用更有效的顺序使用样品训练学习方法的样本和潜在效果的分布,以提高该方法的鲁棒性。自定步学习是考虑样本培训顺序的有效方法。在本研究中,通过整合自花枢学习和子空间学习框架来提出无监督的特征选择。此外,保留了局部歧管结构,并且特征的冗余受到两个正则化术语的约束。 $ l_ {2,1 / 2} $ - norm应用于投影矩阵,旨在保留歧视特征,并进一步缓解数据中噪声的影响。然后,提出了一种迭代方法来解决优化问题。理论上和实验证明了该方法的收敛性。将所提出的方法与九个现实世界数据集上的其他技术的算法进行比较。实验结果表明,该方法可以提高聚类方法的性能,优于其他比较算法。
translated by 谷歌翻译