张量分解是学习多通道结构和来自高维数据的异质特征的有效工具,例如多视图图像和多通道脑电图(EEG)信号,通常由张量表示。但是,大多数张量分解方法是线性特征提取技术,它们无法在高维数据中揭示非线性结构。为了解决此类问题,已经提出了许多算法,以同时执行线性和非线性特征提取。代表性算法是用于图像群集的图形正则非负矩阵分解(GNMF)。但是,正常的2阶图只能模拟对象的成对相似性,该对象无法充分利用样品的复杂结构。因此,我们提出了一种新型方法,称为HyperGraph Narodarized非负张量分解(HyperNTF),该方法利用超图来编码样品之间的复杂连接,并采用了与最终的典型多形(CP)分解模式相对应的因子矩阵,为低维度表示。关于合成歧管,现实世界图像数据集和脑电图信号的广泛实验,表明HyperNTF在降低,聚类和分类方面优于最先进的方法。
translated by 谷歌翻译
Nonnegative Tucker Factorization (NTF) minimizes the euclidean distance or Kullback-Leibler divergence between the original data and its low-rank approximation which often suffers from grossly corruptions or outliers and the neglect of manifold structures of data. In particular, NTF suffers from rotational ambiguity, whose solutions with and without rotation transformations are equally in the sense of yielding the maximum likelihood. In this paper, we propose three Robust Manifold NTF algorithms to handle outliers by incorporating structural knowledge about the outliers. They first applies a half-quadratic optimization algorithm to transform the problem into a general weighted NTF where the weights are influenced by the outliers. Then, we introduce the correntropy induced metric, Huber function and Cauchy function for weights respectively, to handle the outliers. Finally, we introduce a manifold regularization to overcome the rotational ambiguity of NTF. We have compared the proposed method with a number of representative references covering major branches of NTF on a variety of real-world image databases. Experimental results illustrate the effectiveness of the proposed method under two evaluation metrics (accuracy and nmi).
translated by 谷歌翻译
部分最小二平方回归(PLSR)是一个广泛使用的统计模型,可揭示来自自变量和因变量的潜在因子的线性关系。但是,传统方法\ ql {用于求解PLSR模型通常基于欧几里得空间,并且很容易陷入局部最低限度。为此,我们提出了一种新的方法来解决部分最小平方回归,该方法通过对Bi-Grassmann歧管(PLSRBIGR)的优化命名为PLSR。 \ ql {具体来说,我们首先要杠杆}跨互联矩阵的三因素SVD型分解,定义在Bi-Grassmann歧管上,将正交约束优化问题转换为Bi-Grassmann歧管上的无约束优化问题,然后结合矩阵缩放的Riemannian预处理,以调节每次迭代中的Riemannian度量。 \ ql {plsrbigr经过验证},并通过各种实验在运动成像(MI)和稳态视觉诱发电位(SSVEP)任务中解码EEG信号。实验结果表明,PLSRBIGR在多个EEG解码任务中的表现优于竞争算法,这将极大地促进小样本数据学习。
translated by 谷歌翻译
由于巨大的未标记数据的出现,现在已经增加了更加关注无监督的功能选择。需要考虑使用更有效的顺序使用样品训练学习方法的样本和潜在效果的分布,以提高该方法的鲁棒性。自定步学习是考虑样本培训顺序的有效方法。在本研究中,通过整合自花枢学习和子空间学习框架来提出无监督的特征选择。此外,保留了局部歧管结构,并且特征的冗余受到两个正则化术语的约束。 $ l_ {2,1 / 2} $ - norm应用于投影矩阵,旨在保留歧视特征,并进一步缓解数据中噪声的影响。然后,提出了一种迭代方法来解决优化问题。理论上和实验证明了该方法的收敛性。将所提出的方法与九个现实世界数据集上的其他技术的算法进行比较。实验结果表明,该方法可以提高聚类方法的性能,优于其他比较算法。
translated by 谷歌翻译
学习遥感图像的歧管结构对于建模和理解过程是最重要的相关性,以及封装在减少一组信息特征中的高维度,以用于后续分类,回归或解密。歧管学习方法显示出优异的性能来处理高光谱图像(HSI)分析,但除非专门设计,否则它们不能提供明确的嵌入式地图,容易适用于采样超出数据。处理问题的常见假设是高维输入空间和(通常低)潜空间之间的转换是线性的。这是一种特别强烈的假设,特别是当由于数据的众所周知的非线性性质而处理高光谱图像时。为了解决这个问题,提出了一种基于高维模型表示(HDMR)的歧管学习方法,这使得能够将非线性嵌入功能呈现给潜伏空间的采样外部样本。将所提出的方法与其线性对应物一起进行比较,并在代表性齐谱图像的分类精度方面实现了有希望的性能。
translated by 谷歌翻译
旨在解决不完整的多视图数据中缺少部分视图的聚类问题的不完整的多视图聚类,近年来受到了越来越多的关注。尽管已经开发了许多方法,但大多数方法要么无法灵活地处理不完整的多视图数据,因此使用任意丢失的视图,或者不考虑视图之间信息失衡的负面因素。此外,某些方法并未完全探索所有不完整视图的局部结构。为了解决这些问题,本文提出了一种简单但有效的方法,称为局部稀疏不完整的多视图聚类(LSIMVC)。与现有方法不同,LSIMVC打算通过优化一个稀疏的正则化和新颖的图形嵌入式多视图矩阵分数模型来从不完整的多视图数据中学习稀疏和结构化的潜在表示。具体而言,在基于矩阵分解的这种新型模型中,引入了基于L1规范的稀疏约束,以获得稀疏的低维单个表示和稀疏共识表示。此外,引入了新的本地图嵌入项以学习结构化共识表示。与现有作品不同,我们的本地图嵌入术语汇总了图形嵌入任务和共识表示任务中的简洁术语。此外,为了减少多视图学习的不平衡因素,将自适应加权学习方案引入LSIMVC。最后,给出了有效的优化策略来解决我们提出的模型的优化问题。在六个不完整的多视图数据库上执行的全面实验结果证明,我们的LSIMVC的性能优于最新的IMC方法。该代码可在https://github.com/justsmart/lsimvc中找到。
translated by 谷歌翻译
多视图无监督的特征选择(MUF)已被证明是一种有效的技术,可降低多视图未标记数据的维度。现有方法假定所有视图都已完成。但是,多视图数据通常不完整,即,某些视图中显示了一部分实例,但并非所有视图。此外,学习完整的相似性图,作为现有MUFS方法中重要的有前途的技术,由于缺少的观点而无法实现。在本文中,我们提出了一个基于互补的和共识学习的不完整的多视图无监督的特征选择方法(C $^{2} $ IMUFS),以解决上述问题。具体而言,c $^{2} $ imufs将功能选择集成到扩展的加权非负矩阵分解模型中,配备了自适应学习视图和稀疏的$ \ ell_ {2,p} $ - norm-norm,它可以提供更好的提供适应性和灵活性。通过从不同视图得出的多个相似性矩阵的稀疏线性组合,介绍了互补学习引导的相似性矩阵重建模型,以在每个视图中获得完整的相似性图。此外,c $^{2} $ imufs学习了跨不同视图的共识聚类指示器矩阵,并将其嵌入光谱图术语中以保留本地几何结构。现实世界数据集的全面实验结果证明了与最新方法相比,C $^{2} $ IMUF的有效性。
translated by 谷歌翻译
多视图子空间聚类传统上专注于集成异构特征描述以捕获更高维度信息。一种流行的策略是从不同视图生成常见的子空间,然后应用基于图形的方法来处理群集。但是,这些方法的性能仍然受到两个限制,即多视图融合模式以及融合过程与聚类任务之间的连接。为了解决这些问题,我们通过细粒度图形学习提出了一种新的多视图子空间聚类框架,可以在不同视图之间讲述本地结构之间的一致性,并比以前的重量规则更精细地集成所有视图。与文献中的其他模型不同,引入了点级图正规化和频谱聚类的重新介绍,以执行图形融合并将共享集群结构一起学习在一起。在五个真实数据集上进行了广泛的实验,表明该框架对SOTA算法具有可比性。
translated by 谷歌翻译
最近,从图像中提取的不同组件的低秩属性已经考虑在MAN Hypspectral图像去噪方法中。然而,这些方法通常将3D矩阵或1D向量展开,以利用现有信息,例如非识别空间自相似性(NSS)和全局光谱相关(GSC),其破坏了高光谱图像的内在结构相关性(HSI) )因此导致恢复质量差。此外,由于在HSI的原始高维空间中的矩阵和张量的矩阵和张量的参与,其中大多数受到重大计算负担问题。我们使用子空间表示和加权低级张量正则化(SWLRTR)进入模型中以消除高光谱图像中的混合噪声。具体地,为了在光谱频带中使用GSC,将噪声HSI投影到简化计算的低维子空间中。之后,引入加权的低级张量正则化术语以表征缩减图像子空间中的前导。此外,我们设计了一种基于交替最小化的算法来解决非耦合问题。模拟和实时数据集的实验表明,SWLRTR方法比定量和视觉上的其他高光谱去噪方法更好。
translated by 谷歌翻译
由于需要经济的储存和二元法规的效率,因此无监督的哈希对二元表示学习引起了很多关注。它旨在编码锤子空间中的高维特征,并在实例之间保持相似性。但是,大多数现有方法在基于多种的方法中学习哈希功能。这些方法捕获了数据的局部几何结构(即成对关系),并且在处理具有不同语义信息的实际特征(例如颜色和形状)的真实情况时缺乏令人满意的性能。为了应对这一挑战,在这项工作中,我们提出了一种有效的无监督方法,即共同个性化的稀疏哈希(JPSH),以进行二进制表示学习。具体来说,首先,我们提出了一个新颖的个性化哈希模块,即个性化的稀疏哈希(PSH)。构建了不同的个性化子空间,以反映不同群集的特定类别属性,同一群集中的自适应映射实例与同一锤子空间。此外,我们为不同的个性化子空间部署稀疏约束来选择重要功能。我们还收集了其他群集的优势,以避免过度拟合,以构建PSH模块。然后,为了在JPSH中同时保留语义和成对的相似性,我们将基于PSH和歧管的哈希学习纳入无缝配方中。因此,JPSH不仅将这些实例与不同的集群区分开,而且还保留了集群中的本地邻里结构。最后,采用了交替优化算法,用于迭代捕获JPSH模型的分析解决方案。在四个基准数据集上进行的大量实验验证了JPSH是否在相似性搜索任务上优于几个哈希算法。
translated by 谷歌翻译
多视图聚类(MVC)最佳地集成了来自不同视图的互补信息,以提高聚类性能。尽管在各种应用中证明了有希望的性能,但大多数现有方法都直接融合了多个预先指定的相似性,以学习聚类的最佳相似性矩阵,这可能会导致过度复杂的优化和密集的计算成本。在本文中,我们通过对齐方式最大化提出了晚期Fusion MVC,以解决这些问题。为此,我们首先揭示了现有K-均值聚类的理论联系以及基本分区和共识之一之间的对齐。基于此观察结果,我们提出了一种简单但有效的多视算法,称为LF-MVC-GAM。它可以从每个单独的视图中最佳地将多个源信息融合到分区级别,并最大程度地将共识分区与这些加权基础分区保持一致。这种对齐方式有助于整合分区级别信息,并通过充分简化优化过程来大大降低计算复杂性。然后,我们设计了另一个变体LF-MVC-LAM,以通过在多个分区空间之间保留局部内在结构来进一步提高聚类性能。之后,我们开发了两种三步迭代算法,以通过理论上保证的收敛来解决最终的优化问题。此外,我们提供了所提出算法的概括误差约束分析。对十八个多视图基准数据集进行了广泛的实验,证明了拟议的LF-MVC-GAM和LF-MVC-LAM的有效性和效率,范围从小到大型数据项不等。拟议算法的代码可在https://github.com/wangsiwei2010/latefusionalignment上公开获得。
translated by 谷歌翻译
随着数据采集技术的发展,多视图学习已成为一个热门话题。一些多视图学习方法假设多视图数据已经完成,这意味着所有实例都存在,但这太理想了。某些用于传递不完整多视图数据的基于张量的方法已经出现并取得了更好的结果。但是,仍然存在一些问题,例如使用传统的张量规范,这使计算高且无法处理样本外。为了解决这两个问题,我们提出了一种新的不完整的多视图学习方法。定义了一个新的张量规范来实现图形张量数据恢复。然后将恢复的图定于样品的一致的低维表示。此外,自适应权重配备了每种视图,以调整不同视图的重要性。与现有方法相比,我们的方法也不仅仅探讨视图之间的一致性,但也通过使用学习的投影矩阵获得了新样本的低维表示。基于不精确的增强Lagrange乘数(ALM)方法的有效算法旨在解决模型,并证明了收敛性。四个数据集的实验结果显示了我们方法的有效性。
translated by 谷歌翻译
子空间聚类是将大约位于几个低维子空间的数据样本集合集合的经典问题。此问题的当前最新方法基于自我表达模型,该模型表示样品是其他样品的线性组合。但是,这些方法需要足够广泛的样品才能准确表示,这在许多应用中可能不一定是可以访问的。在本文中,我们阐明了这个常见的问题,并认为每个子空间中的数据分布在自我表达模型的成功中起着至关重要的作用。我们提出的解决此问题的解决方案是由数据扩展在深神经网络的概括力中的核心作用引起的。我们为无监督和半监督的设置提出了两个子空间聚类框架,这些框架使用增强样品作为扩大词典来提高自我表达表示的质量。我们提出了一种使用一些标记的样品进行半监督问题的自动增强策略,该问题取决于数据样本位于多个线性子空间的联合以下事实。实验结果证实了数据增强的有效性,因为它显着提高了一般自我表达模型的性能。
translated by 谷歌翻译
This survey provides an overview of higher-order tensor decompositions, their applications, and available software. A tensor is a multidimensional or N -way array. Decompositions of higher-order tensors (i.e., N -way arrays with N ≥ 3) have applications in psychometrics, chemometrics, signal processing, numerical linear algebra, computer vision, numerical analysis, data mining, neuroscience, graph analysis, and elsewhere. Two particular tensor decompositions can be considered to be higher-order extensions of the matrix singular value decomposition: CANDECOMP/PARAFAC (CP) decomposes a tensor as a sum of rank-one tensors, and the Tucker decomposition is a higher-order form of principal component analysis. There are many other tensor decompositions, including INDSCAL, PARAFAC2, CANDELINC, DEDICOM, and PARATUCK2 as well as nonnegative variants of all of the above. The N-way Toolbox, Tensor Toolbox, and Multilinear Engine are examples of software packages for working with tensors.
translated by 谷歌翻译
多视图聚类已进行了广泛的研究,以利用多源信息来提高聚类性能。通常,大多数现有作品通常通过某些相似性/距离指标(例如欧几里得距离)或学习的表示形式来计算N * n亲和力图,并探索跨视图的成对相关性。但是不幸的是,通常需要二次甚至立方复杂性,这使得在聚集largescale数据集方面遇到了困难。最近,通过选择具有K-均值的视图锚表演或通过对原始观测值进行直接矩阵分解来捕获多个视图中的数据分布。尽管取得了巨大的成功,但很少有人考虑了视图不足问题,因此隐含地认为,每个单独的观点都足以恢复群集结构。此外,无法同时发现潜在积分空间以及来自多个视图的共享群集结构。鉴于这一点,我们为快速多视图聚类(AIMC)提出了一个具有几乎线性复杂性的快速多视图聚类(AIMC)。具体而言,视图生成模型旨在重建来自潜在积分空间的视图观测值,并具有不同的适应性贡献。同时,具有正交性约束和群集分区的质心表示无缝构造以近似潜在的积分空间。开发了一种替代最小化算法来解决优化问题,事实证明,该问题具有线性时间复杂性W.R.T.样本量。与最新方法相比,在几个Realworld数据集上进行的广泛实验证实了所提出的AIMC方法的优越性。
translated by 谷歌翻译
Multi-view unsupervised feature selection has been proven to be efficient in reducing the dimensionality of multi-view unlabeled data with high dimensions. The previous methods assume all of the views are complete. However, in real applications, the multi-view data are often incomplete, i.e., some views of instances are missing, which will result in the failure of these methods. Besides, while the data arrive in form of streams, these existing methods will suffer the issues of high storage cost and expensive computation time. To address these issues, we propose an Incremental Incomplete Multi-view Unsupervised Feature Selection method (I$^2$MUFS) on incomplete multi-view streaming data. By jointly considering the consistent and complementary information across different views, I$^2$MUFS embeds the unsupervised feature selection into an extended weighted non-negative matrix factorization model, which can learn a consensus clustering indicator matrix and fuse different latent feature matrices with adaptive view weights. Furthermore, we introduce the incremental leaning mechanisms to develop an alternative iterative algorithm, where the feature selection matrix is incrementally updated, rather than recomputing on the entire updated data from scratch. A series of experiments are conducted to verify the effectiveness of the proposed method by comparing with several state-of-the-art methods. The experimental results demonstrate the effectiveness and efficiency of the proposed method in terms of the clustering metrics and the computational cost.
translated by 谷歌翻译
深度学习(DL)已在脑电图(EEG)基于脑电图(EEG)的大部分应用中广泛研究,尤其是在过去五年中对于运动成像(MI)分类。 MI-EEG分类的主流DL方法使用卷积神经网络(CNN)利用EEG信号的暂时性模式,这些模式在视觉图像中取得了显着成功。但是,由于视觉图像的统计特征从根本上偏离了脑电图信号,因此出现了一个自然的问题,除了CNN之外是否存在替代网络体系结构。为了解决这个问题,我们提出了一个名为Tensor-CSPNET的新型几何深度学习(GDL)框架,该框架是源自对称阳性(SPD)的EEG信号的空间协方差矩阵(SPD)歧管(SPD)歧管,并完全捕获了使用临时性跨性别模式,并使用现有的深神经网络捕获了现有的深神经网络SPD流形,与许多成功的MI-EEG分类器的经验集成以优化框架。在实验中,张量-CSPNET在两个常用的MI-EEG数据集中的交叉验证和保留方案上达到或略微优于当前最新性能。此外,可视化和可解释性分析还表现出张量-CSPNET对MI-EEG分类的有效性。总而言之,在这项研究中,我们通过将DL方法概括为SPD歧管,为问题提供了可行的答案,该方法表明了MI-EEG分类的特定GDL方法的开始。
translated by 谷歌翻译
本文中描述的模型属于专为数据表示和降低尺寸而设计的非负矩阵分解方法的家族。除了保留数据阳性属性外,它还旨在在矩阵分解过程中保留数据结构。这个想法是在NMF成本函数中添加一个惩罚术语,以在原始数据点和转换数据点的成对相似性矩阵之间实现比例关系。新模型的解决方案涉及为系数矩阵得出新的参数化更新方案,这使得在用于群集和分类时可以提高还原数据的质量。将所提出的聚类算法与某些现有的基于NMF的算法以及应用于某些现实生活数据集时的某些基于多种学习的算法进行了比较。获得的结果显示了所提出的算法的有效性。
translated by 谷歌翻译
在数据挖掘,神经科学和化学计量学在内的各个领域,分析各种数据集中的多路测量结果是一个挑战。例如,测量可能会随着时间的流逝而发展或具有不一致的时间曲线。 PARAFAC2模型已成功地用于分析此类数据,通过在一种模式(即演变模式)下允许基础因子矩阵跨切片进行更改。拟合PARAFAC2模型的传统方法是使用基于最小二乘的交替算法,该算法通过隐式估计不断发展的因子矩阵来处理Parafac2模型的恒定交叉产生约束。这种方法使对这些因素矩阵充满挑战。目前尚无算法可以灵活地将这种正规化施加,并具有一般的惩罚功能和硬性约束。为了应对这一挑战并避免隐性估计,在本文中,我们提出了一种算法,用于拟合PARAFAC2基于与乘数交替方向方法(AO-ADMM)的交替优化拟合parafac2。通过在模拟数据上进行数值实验,我们表明所提出的PARAFAC2 AO-ADMM方法允许灵活约束,准确地恢复了基础模式,并且与先进的ART相比,计算有效。我们还将模型应用于神经科学和化学计量学的两个现实世界数据集,并表明限制发展模式可改善提取模式的解释性。
translated by 谷歌翻译
多视图光谱聚类(MVSC)由于多样化的数据源而引起了越来越多的关注。但是,大多数现有作品在样本外预测中被禁止,并且忽略了模型的解释性和聚类结果的探索。在本文中,通过限制内核机框架通过共享潜在空间提出了一种新的MVSC方法。通过偶联特征双重性的镜头,我们为MVSC施加了加权内核主成分分析问题,并开发了修改的加权共轭特征二重性以制定二元变量。在我们的方法中,双重变量扮演着隐藏特征的角色,所有视图都共享了构造一个常见的潜在空间,并通过从特定的空间中学习预测来耦合视图。这种潜在空间可促进分离的簇,并提供直接的数据探索,促进可视化和解释。我们的方法只需要一个单一的特征分类,其维度独立于视图数量。为了提高高阶相关性,引入了基于张量的建模而不增加计算复杂性。我们的方法可以通过样本外扩展灵活地应用,从而极大地提高了具有固定尺寸内核方案的大规模数据的效率。数值实验验证了我们的方法在准确性,效率和可解释性方面有效,显示出明显的特征值衰减和不同的潜在变量分布。
translated by 谷歌翻译